douyin-selenium-scraper — 抖音数据爬虫 v2.1

> 一键抓取抖音热门视频 / 电商带货 / 热搜榜 TOP10，输出结构化报告 + CSV。

目录

• 快速开始
• 输出模板
• 代码架构
• 数据源与URL
• 分类体系
• 完整操作流程
• 集成自动化
• 排障指南

快速开始

前置条件

安装依赖

python -m venv .venv
.venv/Scripts/pip install selenium requests beautifulsoup4 pandas lxml webdriver-manager

运行

.venv/Scripts/python.exe douyin_scraper.py

预期产出

reports/
├── douyin_report_20260526_111825.txt    # 结构化报告（四段式）
├── douyin_hot_videos_20260526_111825.csv  # 热门视频原始数据
└── douyin_ecommerce_20260526_111825.csv   # 电商带货原始数据

输出模板

报告文件 .txt 结构（四段式）

============================================================
抖音热门视频 TOP 10
============================================================

🏆 Top 1 - {视频标题}
达人：{作者名}
热度：{点赞数格式化}
详情链接：https://www.douyin.com/video/{ID}

🥈 Top 2 - ...
...（共10条）

============================================================
抖音热榜 TOP 10
============================================================

🏆 Top 1 - {热搜词}
热度：{万级热度值}
详情链接：https://www.douyin.com/search/{URL编码词}
...（共10条）

============================================================
电商带货热榜视频 TOP 10
============================================================

🏆 Top 1 - {商品标题（含话题标签+挂车商品信息）}
达人：{作者名}
热度：{点赞数格式化}
详情链接：https://www.douyin.com/video/{ID}
...（共10条）

============================================================
趋势洞察
============================================================

赛道分布：萌宠(1条)、搞笑(1条)、美妆时尚(1条)...
热搜特征：财经商业 / 社会民生 / ...
超级爆款：{标题} 等 N 条视频突破30万点赞
电商热品：食品饮料(3条)、美妆护肤(2条)、家居日用(1条)...
带货王：{标题}(@达人) 以 X万 点赞领跑
今日节点：体育赛事、教育考试、天气气候... 相关内容占据主导
黑马观察：{冷门内容}(@达人)等冷门赛道内容异军突起

数据更新时间：YYYY年MM月DD日 HH:MM

CSV 文件字段

热门视频 CSV (douyin_hot_videos_*.csv)：

电商带货 CSV (douyin_ecommerce_*.csv)：字段同上，「赛道分类」替换为电商品类。

排名徽章

• 🏆 第1名
• 🥈 第2名
• 🥉 第3名
• 第4-10名 无徽章

代码架构

文件位置

<workspace>/
├── douyin_scraper.py          # 主脚本（~1100行）
├── .venv/                     # Python虚拟环境 + 依赖
└── reports/                   # 输出目录（自动创建）

核心模块

douyin_scraper.py
│
├── 配置区（第38-76行）
│   ├── OUTPUT_DIR / TODAY / NOW_TIME          # 输出路径和时间戳
│   ├── TARGET_URLS                            # 热门视频榜 URL 字典
│   ├── ECOMMERCE_URLS                         # 电商带货榜 URL 字典
│   ├── HEADERS                                # 请求头 UA
│   └── PAGE_LOAD_TIMEOUT / ELEMENT_WAIT_TIMEOUT
│
├── 浏览器初始化（第83-117行）
│   └── create_driver() → headless Chrome + stealth JS 注入
│
├── 页面抓取（第125-179行）
│   ├── fetch_page_selenium() → Selenium 渲染 + 3次滚动加载
│   └── fetch_page_requests() → 纯 requests 备用方案
│
├── 数据解析（第187-429行）★核心
│   ├── parse_chanmama()        → 三策略降级入口
│   │   ├── 策略1: 表格 <table> 解析（主力）
│   │   ├── 策略2: CSS卡片列表匹配
│   │   └── 策略3: 正则兜底全文提取
│   │
│   ├── _extract_douyin_share_links() → 提取 iesdouyin 分享链接
│   ├── convert_ies_to_douyin()            → 转换为 douyin.com 地址
│   ├── clean_author_name()                → 达人名清理（去粉丝数/时间戳）
│   ├── clean_title()                      → 标题清理
│   ├── _extract_from_cells()              → 表格行→字典
│   └── _extract_from_card() / _fallback_extract()
│
├── 数据清洗工具（第437-485行）
│   ├── _parse_number()     → "38.6万" → 386000
│   ├── _safe_int()
│   └── _deduplicate_and_rank()           → 去重 + 排序 + 补充排名
│
├── 分类引擎（第488-580行）
│   ├── categorize_video()   → 视频18赛道自动分类
│   └── _categorize_ecommerce() → 商品7大品类自动分类
│
├── 输出模块（第520-565行 / 887-977行）
│   ├── save_to_csv()        → UTF-8-BOM CSV 写入
│   ├── save_report()        → 四段式文本报告生成
│   └── _format_num()        → 数字格式化为可读字符串
│
├── 热搜抓取（第573-770行）
│   ├── fetch_hot_search_top10()      → 调度入口
│   ├── _fetch_baidu_realtime()       → 百度JSON提取（主源）★
│   ├── _fetch_tophub_douyin()       → 备用（已弃用）
│   └── _fetch_hot_selenium()         → 备用（已弃用）
│
├── 趋势洞察（第778-893行）★AI分析
│   ├── generate_trend_insights()     → 5维度分析入口
│   │   ├── 维度1: 赛道分布统计
│   │   ├── 维度2: 热搜话题分类（_classify_topics）
│   │   ├── 维度3: 超级爆款识别（>30万点赞）
│   │   ├── 维度4: 电商热点分析（新增）
│   │   ├── 维度5: 今日节点事件关键词
│   │   └── 维度6: 黑马观察（冷门赛道高赞）
│   └── _classify_topics()
│
└── 主流程 main()（第972-1053行）
    ├── Step 1: 初始化浏览器
    ├── Step 2: 抓取热门视频（TARGET_URLS）
    ├── Step 3: 抓取电商带货（ECOMMERCE_URLS） ★新增
    ├── Step 4: 抓取热搜榜（百度实时热搜）
    ├── Step 5: 写入热门视频CSV
    ├── Step 5b: 写入电商带货CSV ★新增
    ├── Step 6: 生成四段式报告
    └── Step 7: 打印预览 + 关闭浏览器

数据源与 URL

# Step 1: 执行爬虫
cd <workspace>
.venv/Scripts/python.exe douyin_scraper.py

# Step 2: 查看最新报告
cat reports/douyin_report_$(date +%Y%m%d)*.txt

# Step 1: 运行爬虫获取原始数据
.venv/Scripts/python.exe douyin_scraper.py
LATEST_REPORT=$(ls -t reports/douyin_report_*.txt | head -1)

# Step 2: 读取CSV进行AI增强
# （由Agent执行以下步骤）
#   a. 为每条视频补充一句话点评（分析爆火原因/传播特征）
#   b. 识别异常数据或值得关注的趋势变化
#   c. 与前一日数据对比，标记新上榜/掉榜/排名大幅变动

# Step 3: 格式化为 MDX → 推送到腾讯文档
# 调用 mcp__tencent-docs__create_smartcanvas_by_mdx
# content_format: mdx
# 使用 ColumnList / Callout / Table 等组件排版

def main():
    driver = create_driver()
    # ... 只保留需要的Step ...
    # 例：只跑电商带货
    # html = fetch_page_selenium(driver, list(ECOMMERCE_URLS.values())[0])
    # records = parse_chanmama(html)
    # ...

你是一个定时运行的抖音数据分析助手。每天自动执行以下任务：

#### Step 1：运行 Selenium 爬虫
在 workspace 目录下执行：

等待执行完成。

#### Step 2：读取最新报告
读取 reports/ 下最新的 douyin_report_*.txt 和两个 CSV 文件。

#### Step 3：AI 增强
基于数据进行分析：
- 为每条视频写一句话点评（爆火原因/传播点）
- 对比昨日数据（如有），标注排名变动（↑↓新）
- 识别今日特别值得关注的内容

#### Step 4：格式化并推送
将增强后的报告格式化为 Markdown，
通过 mcp__tencent-docs API 推送到腾讯文档。

#### Fallback
如果爬虫失败（日志出现 ❌），降级为 WebSearch 方式：
搜索「抖音今日热门视频」「抖音电商带货」等关键词，
手动整理 TOP10 后继续后续步骤。

.venv/Scripts/python.exe -c "
import csv, glob, os

# 检查最新CSV
csv_files = sorted(glob.glob('reports/douyin_hot_videos_*.csv'), reverse=True)
ec_files = sorted(glob.glob('reports/douyin_ecommerce_*.csv'), reverse=True)
txt_files = sorted(glob.glob('reports/douyin_report_*.txt'), reverse=True)

print(f'=== 最新文件 ===')
for f in csv_files[:1]:
    rows = list(csv.DictReader(open(f, encoding='utf-8-sig')))
    print(f'视频CSV: {os.path.basename(f)} → {len(rows)}条')
for f in ec_files[:1]:
    rows = list(csv.DictReader(open(f, encoding='utf-8-sig')))
    print(f'电商CSV: {os.path.basename(f)} → {len(rows)}条')
for f in txt_files[:1]:
    size = os.path.getsize(f)
    has_ec = '电商带货' in open(f, encoding='utf-8').read()
    print(f'报告TXT: {os.path.basename(f)} → {size}B, 含电商板块: {has_ec}')
"