• 郭阔's avatar
    feat: 站点熔断——同站撞反爬墙后,后续采集快速跳过 · db013080
    郭阔 authored
    - harvest.sh 运行前检查 .wall-<port>:熔断期内同站源直接跳过(不碰浏览器/
      不耗 API),last.log 记'⏸ 站点熔断';12h 过期自动解除
    - 触发条件:本次 FAILED 且 0 交付 + 反爬特征(≥3 篇 EMPTY_BODY/CAPTCHA/
      LOGIN_REQUIRED,或 0 尝试整场拒绝)
    - keepalive.sh 每小时确认站点正常(wall=false)即删除熔断标记,自动恢复采集
    - 调度中心熔断状态显示灰色徽标(区别于红失败)
    - 实测:昨夜 reuters-world 墙记录判定触发;模拟熔断标记后 nikkei-world
      1 秒跳过、零副作用
    db013080
keepalive.sh 2.92 KB