dsh-web-search-edge
Verifieddsh-web-search-edge · v0.4.0 · MIT
Keyless, zero-cost web_search for DeepSeek Harness: renders Shenma with your local Edge browser over CDP and reads Bing over HTTP. No API key, no model call, no bill.
Install
dsh plugin add dsh-web-search-edge Confirm the layer applied with dsh --profile default --dump-config — see the install guide.
Source
Tags
Creators
Readme
# dsh-web-search-edge
零密钥、零费用的 web_search 后端,给 DeepSeek Harness 用。抓取走本机 Edge 浏览器。
它解决的是什么坑
DSH 自带的 deepseek-official 搜索提供方没有独立搜索接口,它把一次搜索实现成一次完整的
Messages 模型调用(带上服务端的 web_search_20250305 工具),抓到的网页正文就是输入
token。于是每次 web_search 都真实扣一次 DeepSeek 余额——哪怕你聊天的模型是别人家的,
搜索这一下仍然记在你自己的账上。
本插件改成直接读搜索结果页,归一化成 ctx.web 需要的 WebSearchResult:无密钥、不调模型、
不计费。它注册进同一个 ctx.web 破缝,dsh-tool-web 依旧负责模型侧的 web_search 契约。
为什么用 Edge 而不是 HTTP 抓取
值得用的中文引擎都是客户端渲染的:服务器发回来的 HTML 里根本没有结果卡片,结果由页面 自己的 JavaScript 填充。HTTP 抓取永远看不到它们,Edge 渲染后就能拿到。
实测(本机,--headless=new --dump-dom):
| 引擎 | 通道 | 实测 |
|---|---|---|
神马 m.sm.cn |
Edge 渲染 | 渲染后 372 KB,稳定 10 条结果,标题/来源/真实 URL 齐全,无广告位,不限流 |
| Bing | HTTP | 250–450 ms,10 条。HTML 里就有结果,渲染它反而要 5.5 秒,纯属浪费 |
| 360 | — | 按出口 IP 限流,连着几次整机进验证码。已从本插件移除 |
| 百度 / 搜狗 / Quark | Edge 渲染 | 仍然被验证码或反爬页拦住,不可用 |
关键否定结果:360 和百度的拦截是按出口 IP的,不是按指纹。用真实 Edge 无头跑同一个 URL,拿到的还是同一个验证码页。所以这类引擎不是"换个浏览器就能过",而是没有价值,已删除。
引擎与通道
transport: auto # 默认:每个引擎走自己能用的通道
transport |
行为 |
|---|---|
auto(默认) |
神马走 Edge 渲染(约 4–5 秒),Bing 走 HTTP(约 0.3 秒)。正确且最快 |
browser |
全部走 Edge 渲染。最慢,但完全不受 HTTP 层拦截影响 |
http |
全部走普通抓取。最快;神马这类客户端渲染的引擎会明确报告"渲染型引擎,请用 auto"而不是静默返回空 |
| 引擎 id | 说明 |
|---|---|
shenma |
神马/UC。中文质量最好,走 Edge。 |
bing |
始终可达。英文/技术查询强,但按源 IP 定位,本地中文查询会漂移到别的城市。 |
旧 id 会被映射,配置写错不会让整个搜索挂掉:
smcn / sm / uc / shenma-mobile → shenma
bing-html / google / duckduckgo → bing
四个关键机制
相关性闸门(按稀有度加权)。一个词如果每条候选里都有("下载"、"天气"),它不能区分答案;
只在少数页面出现的词(works2、stm32f103、梯形图)才决定相关性。所以每个词按
1 / (0.5 + 文档频率/候选数) 加权,并且命中至少要落在一个有区分度的词上,否则整条丢掉。
标题命中权重 2、URL 1.5、摘要 1。
答非所问提示。Bing 会按 IP 地理位置给答案,而且给得很自信。所以当最终结果没有覆盖查询里
的区分性词(例如问"上海"却全是滨州的页面),插件不假装成功:照常返回结果,但在 content
里写一句"这些来源没覆盖 X,是最接近的匹配而非确认答案"。dsh-tool-web 会把 content 印在
来源列表上方,模型能自己决定要不要换词重查。
限流冷却。引擎返回验证码/反爬页时记一笔,默认 10 分钟内不再问它——反复戳验证码端点只会 让 IP 关得更久,而且每次重试都把整次搜索拖到超时。冷却中的引擎不会在每次搜索里刷提示,只有 在结果确实可疑、或只剩一个引擎答上来时才会说明。
同站限额。blog.csdn.net 和 bbs.csdn.net 是两个 host、一个站。默认同一注册域最多占 3
条;超出名额在别的站不够用时再回填,所以限额不会缩短结果集。
配置
| 字段 | 默认 | 含义 |
|---|---|---|
engines |
[shenma, bing] |
引擎列表,顺序仅用于打平。 |
maxResults |
8 |
单次搜索返回上限。 |
maxPerSite |
3 |
同一注册域最多几条。 |
timeoutMs |
15000 |
单个 HTTP 请求预算。 |
transport |
auto |
auto / browser / http,见上表。 |
browserPath |
"" |
显式指定 Edge;空则自动探测(DSH_SEARCH_BROWSER / DSH_EDGE_PATH 也可)。 |
browserTimeoutMs |
30000 |
单次无头渲染预算。 |
cooldownMs |
600000 |
被限流后跳过多久。 |
minAnchorCoverage |
0.75 |
结果要覆盖多少比例的区分性词,低于此值才出提示;0 关闭。 |
debugDomDir |
"" |
填一个目录就把每次渲染的 DOM 存下来,便于排查页面改版。 |
Edge 的用法与隐私
渲染用 msedge --headless=new --dump-dom <url>,每次都用全新的临时 profile 目录,用完即删。
它不会读写你真实的 Edge 配置、历史、cookie 或扩展,也不会和你已经打开的 Edge 窗口冲突。
--virtual-time-budget=9000 让渲染器快速推进定时器,这样结果填完才截图 DOM。
接线
profile 的 cordis.patch.yml:
- id: web
config:
searchProvider: free-scrape
fetchProvider: http
- id: web-search-deepseek
disabled: true # 计费的那条提供方直接关掉,写错配置也只会报错不会扣钱
- insert:
- id: web-search-free
name: dsh-web-search-edge
config:
engines: [shenma, bing]
transport: auto
web-fetch-http 仍是 fetch 提供方,web_fetch 一直是免费的,没有变化。
取舍
- 结果就是引擎给的结果:标题、URL、摘要,永远没有合成答案(
content只用来放上述提示), 模型拿来源自己去web_fetch。 - 走 Edge 的神马通道每次约 4–5 秒,主要开销是 Edge 启动本身;实测把渲染预算从 9 秒降到 4 秒 对结果数量没有影响,所以预算是够用就好,不是越大越好。
- 中文长尾质量取决于神马是否可达;只剩 Bing 时本地化查询可能偏移,插件会明说,不会装作答上了。
- 抓取受各引擎自身条款约束;这是给个人低频率查询用的,不是批量爬取。
回滚
删掉 profile patch 里的三段(web 覆盖、web-search-deepseek 禁用、web-search-free insert),
searchProvider 回到默认的 deepseek-official。改完重启 DSH 生效。