Telegram Import

Incrementally import Telegram messages from SQLite to LanceDB with Qwen3-Embedding-4B vectors, supporting checkpoint resume and filtering empty messages.

增量导入 Telegram 消息（SQLite → LanceDB），使用 Qwen3-Embedding-4B 向量，支持检查点续传和空消息过滤。

未分类 clawhub v1.0.0 1 版本 100000 Key: 无需

★ 0

Stars

📥 279

下载

💾 0

安装

版本

#latest

概述

telegram-import Skill

将 Telegram 消息从 SQLite 数据库增量导入 LanceDB 向量库。

数据源

DB: D:\chat\telegram_messages.db
表: telegram_messages
字段: id, group_name, group_id, message_id, date, sender_id, sender_name, message, matched_keywords, is_reply, media_type, has_6_digit_number, created_time

目标存储

LanceDB: D:\edata.lance
Checkpoint: D:\edata.lance\temp\telegram.ckpt（pickle 格式，断点续传）

Schema

字段	类型	说明
------	------	------
id	string	`telegram:{group_id}:{message_id}`
text	string	消息文本
vector	float[2560]	Qwen3-Embedding-4B 向量
category	string	固定 `telegram`
scope	string	固定 `shared`
importance	float	固定 `0.5`
timestamp	int	消息时间戳（Unix）
metadata	string	JSON：group_name, group_id, message_id, sender_id, sender_name, matched_keywords, is_reply, media_type, has_6_digit_number

Embedding

LM Studio: http://127.0.0.1:1234/v1/embeddings
Model: text-embedding-qwen3-embedding-4b
维度: 2560

执行命令

python.exe "C:\Users\admin\.openclaw\workspace\skills\telegram-import\scripts\chunk_db.py" telegram

增量逻辑

启动时加载 telegram.ckpt 恢复 seen_keys 和 last_idx
从 last_idx + 1 继续扫描 DB
跳过 seen_keys 中已存在的 key
过滤空消息（message 为 NULL 或空字符串）
每 500 行保存一次 checkpoint

版本历史

共 1 个版本

v1.0.0 当前

2026-05-07 20:45 安全安全

安全检测

腾讯云安全 (Keen)

安全，无风险

查看报告

腾讯云安全 (Sanbu)

安全，无风险

查看报告

🔗 相关推荐

dev-programming

Mcporter

steipete

使用 mcporter CLI 直接列出、配置、认证及调用 MCP 服务器/工具（支持 HTTP 或 stdio），涵盖临时服务器、配置编辑及 CLI/类型生成功能。

★ 198 📥 68,169

dev-programming

Github

steipete

使用 `gh` CLI 与 GitHub 交互，通过 `gh issue`、`gh pr`、`gh run` 和 `gh api` 管理议题、PR、CI 运行及高级查询。

★ 686 📥 330,812

office-efficiency

Ai Ppt Generate.Skip2

lulu-owo

百度提供的智能PPT生成工具，可根据用户给出的主题或问题智能生成PPT。使用...

★ 0 📥 536