← 返回
未分类 Key

Finance Data Scraper

完整的财经数据抓取Skill,包含: 1. 每日财经新闻(Chrome插件抓取) 2. 每日财经新闻(无头浏览器抓取) 3. 每日大盘数据 4. 每日热门板块数据 5. 每日涨停个股数据 6. Chrome浏览器Tab清理(防止内存溢出) 包含所有入库表配置、定时任务配置、去重规则等
财经数据抓取Skill:每日抓取财经新闻(Chrome插件、无头浏览器),大盘、热门板块、涨停个股数据;自动清理Chrome标签页防内存溢出;含入库表配置、定时任务、去重规则。
hoovaycn hoovaycn 来源
未分类 clawhub v1.0.1 1 版本 100000 Key: 需要
★ 0
Stars
📥 296
下载
💾 0
安装
1
版本
#data#finance#latest#scraping

概述

财经数据抓取Skill(完整版)

完整的财经数据抓取解决方案,包含多种抓取方式、入库配置、定时任务、内存清理等功能!


🚨 前置条件(必须满足!)

  1. OpenClaw浏览器扩展已安装并连接(用于Chrome插件抓取)
  2. NocoDB配置已提供(BASE_URL、TOKEN、各表ID)
  3. sshpass已安装(如果需要上传文件到服务器,可选)
  4. Python 3.7+已安装

📋 抓取任务总览

任务编号任务名称抓取内容入库表ID建议定时配置抓取方式
----------------------------------------------------------
1每日财经新闻(Chrome插件)东方财富财经导读、财联社等新闻需用户提供(示例:m2w**33m30 9,12,15,18 *(每天4次)Chrome浏览器插件(OpenClaw browser API)
2每日财经新闻(无头浏览器)东方财富财经导读等新闻需用户提供0 9,12,15,18 *(每天4次)无头浏览器(Playwright/Puppeteer)
3每日大盘数据每日大盘指数数据需用户提供(示例:mhmt**ibzo0 15:05 *(每日收盘后)东方财富数据接口
4每日热门板块数据每日一级行业板块涨幅TOP3需用户提供(示例:mcit**je2710 15 *(每日15:10)东方财富数据接口
5每日涨停个股数据每日涨停个股(代码/名称/涨幅/成交额/封单/连板数/行业等)需用户提供(示例:mq8**ct705 15 *(每日15:05)东方财富数据接口
6Chrome浏览器Tab清理保留1个东方财富tab,关闭其他所有tab20,50 (每小时20分和50分)scripts/cleanup_tabs.py

🔧 NocoDB统一配置(必须提供!)

配置项说明示例值
---------------------
BASE_URLNocoDB API基础URLhttps://nocodb.*.com/api/v2
TOKENNocoDB API Token需用户提供
TABLE_ID_NEWS财经新闻入库表ID需用户提供
TABLE_ID_MARKET每日大盘数据入库表ID需用户提供
TABLE_ID_PLATES每日热门板块数据入库表ID需用户提供
TABLE_ID_LIMIT_UP每日涨停个股数据入库表ID需用户提供

📁 使用前准备

步骤1:确认前置条件已满足

  • OpenClaw浏览器扩展已安装并连接
  • NocoDB配置信息已准备好

步骤2:配置NocoDB

复制 config-examples/nocodb-config.example.jsonnocodb-config.json,填入你的配置:

cp config-examples/nocodb-config.example.json nocodb-config.json

步骤3:配置定时任务

参考 config-examples/cron-configs/ 目录下的示例配置,创建你的定时任务配置文件!


🔨 脚本使用说明

1. Chrome浏览器Tab清理脚本

路径scripts/cleanup_tabs.py

功能:防止浏览器tab过多造成内存溢出

策略

  • 保留1个东方财富标签页(必须有至少1个)
  • 关闭其他所有多余的东方财富标签页
  • 关闭所有非东方财富标签页

使用

python scripts/cleanup_tabs.py

2. NocoDB导入脚本

路径scripts/import_to_nocodb.py

功能:批量导入财经新闻到NocoDB

去重规则:按 source + content 组合去重

使用

# 使用最新的JSON文件
python scripts/import_to_nocodb.py

# 指定文件
python scripts/import_to_nocodb.py /path/to/data.json

📚 参考文档

  • config-examples/:配置示例(NocoDB配置、Cron配置)
  • references/:抓取规范文档(待补充)

⚠️ 注意事项

  1. 定时任务配置:请根据你的实际情况调整定时时间(考虑交易时间)
  2. 内存管理:务必配置Chrome浏览器Tab清理任务,防止内存溢出
  3. 去重规则:财经新闻按 source + content 组合去重
  4. 板块数据规则:仅保留一级行业,排除地域板块、细分行业和概念板块

版本历史

共 1 个版本

  • v1.0.1 当前
    2026-05-08 13:34 安全 安全

安全检测

腾讯云安全 (Keen)

安全,无风险
查看报告

腾讯云安全 (Sanbu)

安全,无风险
查看报告

🔗 相关推荐

data-analysis

AdMapix

fly0pants
AdMapix 原始数据层,提供广告创意、应用、排名、下载/收入及市场元数据。返回 AdMapix API 的结构化 JSON;调用方...
★ 297 📥 142,167
ai-agent

Product Design Workflow

hoovaycn
完整的产品设计全流程(含每日定时任务+汇报机制):每日定时生成3个产品Idea(1个入门级+2个普通级),覆盖市场行情/A股/基金主题;生成PRD文档;制作HTML原型;上传服务器;分步汇报至指定群组。用户提供服务器配置等参数。
★ 1 📥 510
data-analysis

Tavily 搜索

jacky1n7
通过 Tavily API 进行网页搜索(Brave 替代方案)。当用户要求搜索网页、查找来源或链接,且 Brave 网页搜索不可用时使用。
★ 274 📥 101,048