Commit 9de21dd2 authored by 郭阔's avatar 郭阔

feat(harvest): 未过文章校验的候选重载一次再判——懒加载首载缺正文致误拒

实测 reuters-business 08:55 场 9 个'Not an article'拒绝,重跑后 8 个成功:
og:type/body 首载判定对懒加载页面过早下结论。契约要求等 5 秒重载再判,
重载仍不过才按非文章页跳过。
parent c7c990c7
......@@ -166,6 +166,8 @@ run_claude_once() { # 执行一次采集会话(带看门狗);RESUME_SESSION 非
- 不要使用后台 shell、nohup、& 或任何形式的异步执行。
- 所有文章抓取完毕后再依次生成摘要并写入 Obsidian,全部完成后再返回结果。
- 如果某篇文章抓取失败,跳过它继续下一篇,不要因此中断整个任务。
- 候选首次未通过文章页校验(og:type/正文缺失)时,先等待 5 秒重载一次再判;
懒加载页面首载常缺正文,重载仍不过才算非文章页跳过(勿只凭首载下结论)。
- 阶段实时上报(面板展示用,必须严格执行):每当进入新阶段,第一时间执行
echo '<阶段>' > ~/NewsHarvester/logs/${SOURCE}.phase
阶段只允许三个值:采集中(列表页浏览与逐篇抓取)、摘要生成(写中文摘要)、推送/收尾(finalize 与推送)。
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment