← 返回
内容创作

Web Content Fetcher

网页内容获取工具 | 当常规爬虫被过滤时,使用替代服务获取网页内容。支持:1) r.jina.ai - 最稳定 2) markdown.new - Cloudflare 专用 3) defuddle.md - 备用方案。触发词:获取网页内容、网页转markdown、内容抓取、fetch webpage、bypas...
网页内容获取工具 | 当常规爬虫被过滤时,使用替代服务获取网页内容。支持:1) r.jina.ai - 最稳定 2) markdown.new - Cloudflare 专用 3) defuddle.md - 备用方案。触发词:获取网页内容、网页转markdown、内容抓取、fetch webpage、bypas...
mrtommywu
内容创作 clawhub v1.0.1 1 版本 96584.9 Key: 无需
★ 33
Stars
📥 14,386
下载
💾 141
安装
1
版本
#latest

概述

网页内容获取工具

当常规 web_fetch/web_search 无法获取内容时,使用替代服务获取网页 Markdown 格式内容。

支持的服务

优先级服务用法适用场景
------------------------------
1r.jina.aihttps://r.jina.ai/{url}最稳定,通用性强
2markdown.newhttps://markdown.new/{url}Cloudflare 保护网站
3defuddle.mdhttps://defuddle.md/{url}备用方案

使用方法

直接调用

当需要获取网页内容时,按顺序尝试:

  1. 首先用 web_fetch 尝试获取
  2. 如果失败或被过滤,调用本工具
# 使用 jina.ai (首选)
curl -s "https://r.jina.ai/https://example.com"

# 使用 markdown.new (Cloudflare)
curl -s "https://markdown.new/https://example.com"

# 使用 defuddle.md (备用)
curl -s "https://defuddle.md/https://example.com"

API 格式

# 简单获取
fetch_webpage <url>

# 指定方法
fetch_webpage <url> --method jina|markdown|defuddle

示例

用户: 帮我获取 https://news.example.com/article/123 的内容
助手: (使用 r.jina.ai 获取)

工具脚本

本目录包含 fetch.sh 脚本,可直接调用:

./fetch.sh https://example.com
./fetch.sh https://example.com jina

让网页内容获取不再受限 🌐

版本历史

共 1 个版本

  • v1.0.1 当前
    2026-03-29 06:44 安全 安全

安全检测

腾讯云安全 (Keen)

安全,无风险
查看报告

腾讯云安全 (Sanbu)

安全,无风险
查看报告

🔗 相关推荐

content-creation

Humanizer

biostartechnology
消除AI写作痕迹,使文本更自然真实。基于维基百科"AI写作特征"指南,识别并修正夸张象征、宣传用语、肤浅-ing分析、模糊归因、破折号滥用、三项排比、AI词汇、负面平行结构及冗长连接词等模式。
★ 857 📥 199,239
content-creation

AdMapix

fly0pants
广告情报与应用数据分析助手,支持搜索广告素材、分析应用排名、下载量、收入及市场洞察,用于广告素材和竞品分析。
★ 294 📥 136,395
content-creation

Baidu Wenku AIPPT

ide-rea
使用百度文库 AI 智能生成 PPT,自动根据内容选择模板。
★ 66 📥 46,126