feat: 站点熔断——同站撞反爬墙后,后续采集快速跳过
- harvest.sh 运行前检查 .wall-<port>:熔断期内同站源直接跳过(不碰浏览器/ 不耗 API),last.log 记'⏸ 站点熔断';12h 过期自动解除 - 触发条件:本次 FAILED 且 0 交付 + 反爬特征(≥3 篇 EMPTY_BODY/CAPTCHA/ LOGIN_REQUIRED,或 0 尝试整场拒绝) - keepalive.sh 每小时确认站点正常(wall=false)即删除熔断标记,自动恢复采集 - 调度中心熔断状态显示灰色徽标(区别于红失败) - 实测:昨夜 reuters-world 墙记录判定触发;模拟熔断标记后 nikkei-world 1 秒跳过、零副作用
Showing
Please register or sign in to comment