数据采集 Skill

配置来源：workspace-yoyo/config.py

数据分类结构

📊 collect-market-data
├── 市场表现类（Market Performance）
│   ├── 股票：美股(道琼斯/标普500/纳指/VIX)、A股(上证/深证/创业板/沪深300/科创50)、港股(恒生/恒科/国企指数)、欧洲(DAX/CAC40/FTSE)、亚太(日经/KOSPI/ASX200)
│   ├── 债券：美债(10年/2年收益率)、中国10年国债收益率
│   ├── 大宗商品：黄金(WTI/COMEX)、白银、工业金属(铜/铝)
│   └── 外汇：美元指数、USD/CNY、EUR/USD、GBP/USD、AUD/USD、USD/JPY、USD/KRW
├── 政策类（Policy）
│   ├── 货币政策：美联储/欧央行/英央行/日本央行/韩国央行/中国央行 利率决议、官员讲话、流动性工具
│   ├── 监管政策：SEC/证监会/港证监会/ESMA/FSA/FSC 证券监管、行业新规、交易规则
│   ├── 产业财政：消费刺激、基建、房地产、新能源、半导体、医药、出口管制、各国产业补贴
│   └── 地缘经贸：国际贸易、关税、中美关系、地缘事件、区域合作、G20/APEC、高层会议
├── 科技企业动态（Tech Enterprise）
│   ├── 美股科技：英伟达/AMD/微软/谷歌/Meta/苹果/亚马逊/特斯拉/OpenAI 财报、并购、AI芯片、智能驾驶
│   ├── A股科技：阿里/腾讯/字节/百度/小米/宁德/BYD/中芯国际/华为 财报、AI大模型、半导体、新能源车
│   ├── 港股科技：腾讯/阿里/美团/小米/京东/百度 港股动态
│   └── 欧日韩半导体：ASML/ARM/三星/SK海力士/索尼/软银/东京电子 半导体/电子龙头
│   ├── 过滤规则：剔除消费/能源/传统金融/地产/传统工业，仅保留科技类事实信息
│   └── 覆盖维度：财报业绩、回购并购、人事调整、产能供应链、项目落地、监管诉讼、经营风险、技术新品、产业链动态
├── 经济数据类（Economic Data）
│   ├── 中国：GDP/CPI/PPI/PMI/制造业PMI、北向资金、南向资金、10年国债收益率
│   ├── 美国：失业率/PPI/零售销售/工业产出
│   ├── 美国就业市场：当周初请/续请失业金、Challenger裁员、ADP就业、非农前瞻预测
│   ├── 欧洲/亚太：(待实现)
│   └── 重要经济日历：当日全球宏观数据发布清单（中国/美国/欧元区/日本/韩国/澳大利亚）
├── 休市情况（Market Holidays）
│   └── 欧美/港/Australia股市、CME贵金属/美油、ICE布油、国内期货夜盘 交易安排
└── 汇总类（Daily Global Summary）
    └── 核心：每日环球市场速览（各市场涨跌幅一览 + 核心事件一句话）

快速使用

方式1：一键运行（推荐）

执行主控脚本，自动完成全部数据采集：

python skills/collect-market-data/scripts/run_data_collection.py

方式2：分步执行

如需单独执行某类数据采集：

# Step 1: 市场表现类 + 经济数据类（API调用）
python skills/collect-market-data/scripts/collect_market_data.py

# Step 2: 政策类 + 企业类 + 汇总类（Web Search）
python skills/collect-market-data/scripts/collect_news_websearch.py

方式3：通过 Skill 调用

当用户说"采集今日市场数据"或触发日报生成流程时，自动执行：

用户: "采集今日市场数据"
→ 执行: run_data_collection.py
→ 输出: E:\daily\{YYYY-MM-DD}\market_data.json

脚本分工

覆盖范围详细清单

市场表现类

经济数据类

政策类（Web Search）

企业类（Web Search）

输出格式

保存为 E:\daily\{YYYY-MM-DD}\market_data.json：

{
  "_meta": {
    "report_date": "2026年04月26日",
    "data_date": "2026年04月25日",
    "collection_time": "2026-04-26T08:00:00+08:00",
    "supplement_time": "2026-04-26T08:15+08:00",
    "sources": {
      "美股": "TickDB API",
      "A股": "akshare",
      "港股": "Tencent QT API",
      "欧洲股市": "Yahoo Finance",
      "亚太股市": "Yahoo Finance",
      "政策动态": "Web Search (Tavily)",
      "企业动态": "Web Search (Tavily)"
    }
  },
  "市场表现": {
    "美国股市": {
      "标普500指数": {"price": 5182.23, "change": 0.13},
      "纳斯达克综合指数": {"price": 16324.56, "change": 0.31},
      "道琼斯工业平均指数": {"price": 38547.12, "change": -0.62},
      "VIX恐慌指数": {"price": 15.23, "change": -0.82}
    },
    "美国债券与外汇": {
      "10年期美债收益率": {"price": 4.685, "change": 3.24, "unit": "%"},
      "美元指数(DXY)": {"price": 105.34, "change": 0.28}
    },
    "美国大宗商品": {
      "WTI原油期货": {"price": 83.50, "change": 1.22, "unit": "USD/桶"},
      "COMEX黄金期货": {"price": 2345.40, "change": -0.46, "unit": "USD/盎司"}
    },
    "A股": {
      "上证指数": {"price": 3050.23, "change": -0.72},
      "深证成指": {"price": 9521.56, "change": -1.10},
      "创业板指": {"price": 1830.42, "change": -1.52},
      "沪深300": {"price": 3550.87, "change": -0.93}
    },
    "港股": {
      "恒生指数": {"price": 17223.45, "change": -0.85},
      "恒生科技指数": {"price": 3550.12, "change": -1.45}
    },
    "欧洲股市": {
      "德国DAX 30": {"price": 18450.23, "change": 0.42},
      "法国CAC 40": {"price": 8025.67, "change": 0.15},
      "英国富时100": {"price": 7890.45, "change": -0.28}
    },
    "亚太股市": {
      "日经225指数": {"price": 39250.12, "change": 0.55},
      "韩国综合指数": {"price": 2680.45, "change": 0.23},
      "澳洲S&P/ASX 200": {"price": 7845.67, "change": -0.35}
    },
    "中国外汇与贵金属": {
      "USD/CNY": {"price": 7.2456, "change": 0.12},
      "现货黄金(XAUUSD)": {"price": 2318.50, "change": -0.32, "unit": "USD/盎司"}
    }
  },
  "经济数据": {
    "中国": {
      "制造业PMI": {"月份": "2026年03月", "数值": 50.8, "备注": "高于50荣枯线"},
      "CPI": {"月份": "2026年03月", "同比": "0.1%"}
    },
    "美国": {
      "失业率": {"时间": "2026-03-01", "数值": "3.8%"},
      "初请失业金人数": {"时间": "2026-04-19", "数值": "21.2万人"}
    },
    "今日经济数据日历": [
      {"时间": "09:45", "事件": "中国 4月财新制造业PMI"}
    ]
  },
  "政策动态": {
    "美国": [{"标题": "...", "内容": "...", "来源": "...", "时间": "..."}],
    "欧洲": [],
    "中国": [],
    "亚太日本韩国": []
  },
  "企业动态": {
    "美国": [{"公司": "...", "事件": "...", "时间": "...", "来源": "..."}],
    "中国": [],
    "中国香港": [],
    "欧洲": [],
    "日本": [],
    "韩国": []
  },
  "环球市场速览": {
    "更新时间": "2026-04-26T08:15+08:00",
    "句子数": 12,
    "段落列表": [
      "美股三大指数涨跌互现，小幅收涨，科技股表现强于大盘，市场情绪整体基本持平。",
      "美债收益率小幅走高，反映市场对美联储政策路径的重新定价，长端利率波动加大。",
      "美元指数小幅上涨，显示避险需求温和走高，汇率市场波动加剧。",
      "原油市场温和上涨，地缘政治因素与供需预期博弈加剧，国际油价波动区间扩大。",
      "黄金作为避险资产小幅回落，在通胀预期与美元走势交织影响下，贵金属板块表现分化。",
      "A股市场收跌，整体承压，成长股领跌，成交量维持温和水平。",
      "港股市场承压调整，外资小幅收跌，科技股表现相对平稳，市场流动性有所改善。",
      "欧洲股市涨跌互现，英股表现优于欧陆，能源板块与金融股分化明显，市场对欧央行政策预期修正。",
      "亚太市场方面，日股温和收涨，韩股跟随上涨，亚洲新兴市场整体表现优于发达市场。",
      "人民币汇率小幅贬值，在美元指数波动与贸易数据影响下，外汇市场整体保持平稳。",
      "中国制造业PMI显示经济温和复苏，内需修复与外需扰动并存，稳增长政策仍有发力空间。",
      "政策面来看，美国、中国、欧洲等地监管机构发布重要政策指引，市场对这些政策动向反应积极，政策预期成为短期市场波动的重要驱动因素。市场情绪方面，投资者保持相对理性，风险偏好维持在均衡水平，预计短期市场将以结构性行情为主。综合来看，全球主要市场在通胀预期、货币政策与地缘政治等多重因素交织下呈现分化走势，投资者需关注美联储政策路径与中国经济复苏进程的边际变化。"
    ],
    "概述": "美股三大指数涨跌互现，小幅收涨，科技股表现强于大盘，市场情绪整体基本持平。"
  }
}

环球市场速览结构说明

段落列表 包含12-13句总结性言论，每句为完整的市场描述段落，不使用具体数字，采用定性描述：

描述词汇参考表：

---

## 核心架构：三级数据源 × 宽松解析 × 动态渲染

每类市场数据配置 **3 个稳定数据源**，按优先级轮询，任一成功即停止：

源1（最优先） → 源2（备用） → 源3（保底） → Web Search 补充

每个 HTTP 请求都携带：
- **自动重试**（2~3次）
- **超时控制**（5~20s）
- **随机延迟**（0.5~2.5s，防封/防限流）
- **宽松文本解析**：不写死 XPath，提取数字和百分比时不依赖固定结构
- **动态渲染**：Selenium Headless 等待 JS 渲染完成后采集（仅第二/第三数据源触发）

## 数据源优先级（每类指标 3 个）

| 市场 | 源1 | 源2 | 源3 |
|------|-----|-----|-----|
| **美国股市（指数+VIX）** | TickDB API | akshare（新浪美股） | Yahoo Finance |
| **美国债券/美元指数** | TradingEconomics(Selenium) | FRED API | Yahoo Finance ETF |
| **大宗商品（原油/黄金）** | Yahoo Finance | Sina期货(Selenium) | TickDB |
| **A股（上证/深证/创业板/沪深300）** | akshare | Sina A股 | Tencent A股 |
| **港股（恒生/恒生科技）** | Tencent QT | TickDB | Sina 港股 |
| **欧洲股市（DAX/CAC40/富时）** | Yahoo Finance | Investing.com(Selenium) | Sina 欧洲 |
| **亚太股市（日经/KOSPI/ASX）** | Yahoo Finance | Sina 亚太 | Investing.com(Selenium) |
| **外汇/贵金属** | Sina Finance API | TickDB | Yahoo Finance |
| **中国经济数据（PMI/CPI/PPI/GDP）** | akshare | Sina 宏观 | Web Search |
| **美国经济数据（失业率/初请等）** | FRED API | akshare | Web Search |

---

## 数据分类结构

| 优先级 | 数据源 | 覆盖品种 | 稳定性 |
|--------|--------|----------|--------|
| 1 | akshare | A股指数、中国经济指标 | ✅ 最稳定 |
| 2 | TickDB API | 美股(SPX/NDX/DJI/VIX)、贵金属(XAUUSD/XAGUSD)、EURUSD | ✅ 速度快 |
| 3 | Tencent QT API | 港股恒生指数、恒生科技指数 | ✅ 稳定 |
| 4 | Sina Finance API | USD/CNY汇率 | ✅ 稳定 |
| 5 | Yahoo Finance | COMEX黄金、WTI/布伦特原油、欧洲/亚太股市 | ⚠️ 限流 |
| 6 | FRED API | 美债收益率、美元指数、美国就业数据 | ⚠️ 网络慢 |
| 7 | Web Search (Tavily) | 政策动态、企业动态、欧元区经济、汇总 | ✅ AI搜索 |

---

## 已知限制与应对

| 数据源 | 限制 | 应对策略 |
|--------|------|----------|
| **Yahoo Finance** | 连续调用被限流（429错误） | 每请求间延时2秒，重试3次 |
| **TickDB 免费版** | 美股个股(AAPL/TSLA/NVDA)、港股个股(700/9988)不在范围 | 只获取指数(SPX/NDX/DJI)，个股跳过 |
| **FRED API** | 网络较慢，易超时 | 超时设为20秒，失败由Web Search补充 |
| **akshare 港股接口** | 偶有连接中断 | 优先使用Tencent QT API |
| **akshare 美国宏观** | `macro_usa_*`函数下载历史数据极慢(>60s) | 跳过，使用FRED + Web Search |
| **政策/企业数据** | akshare无直接接口 | 统一使用Web Search AI搜索 |

---

## 日志

所有操作记录写入 `E:\daily\logs\financial_assistant.log`

---

## 更新历史

- **2026-04-26**: 重构为五大分类结构（市场表现/政策/企业/经济数据/汇总），新增亚太（日本、韩国）覆盖