【开发日志】OldWebsiteToNew 开发全记录四十三（7月20日）Day 38 沙盒文章规范化清洗 v2 流水线与双站同步

7-20 上午把沙盒文章清洗流水线从 v1 升级到 v2,主要改动是新增中文标点全角化、删多余空格、活动名称/口号用中文双引号标注、口号内多词用顿号分隔、截断 img 标签清理等 5 条新铁律。试跑 10 篇给项目负责人审,通过后下午又跑 100 篇。

v2 流水线在原有按语意切段的基础上,加了一个 normalize 阶段,对每段做全角标点替换(半角逗号、句号、分号、冒号、括号 → 全角),并通过正则匹配”开展 X 活动”、”宣誓 X Y ! “、”以 X Y 为 Z”等 5 种模式自动加双引号,口号内部多词自动转顿号。

下午又调整策略:沙盒清洗完后批量同步主站,不用两套独立 pipeline。同步脚本第一次用 mysqldump 加 ssh pipe,发现主键冲突(mysqldump 输出 INSERT 包含原 id,主站已有同 id 记录会静默失败)。改用 UPDATE BY slug 模式,在沙盒侧用 mysql 生成 UPDATE 语句,按 slug 映射到主站,主站保留自己的 ID,沙盒 ID 各自独立。

图一是主站文章 ID 8 炳辉中学开展烈士纪念日活动详情页,内容含”承将军志、做未来人”主题班会,”我和国旗合个影”活动,v2 流水线清洗后活动名称用中文双引号正确标注。

125 篇清洗后,沙盒 80 篇实际改动,45 篇 unchanged(本就规范),5 篇缺失图片删除。同步主站 125 篇全部 UPDATE 成功,主站 body_html 长度跟沙盒一致。主站 ENV=prod 跑 render 全部 200,Playwright 截 5 张主站图,选 3 张入今日记录。

图二是主站文章 ID 16 解放军报写罗炳辉将军之子罗新安心愿详情页,正文”慰问功臣”活动名称用中文双引号规范标注,段落首行缩进整齐,版式符合中文阅读习惯。

明天 Day 39 计划继续跑沙盒 200 篇(126-325 范围),用 v2 流水线跑完后批量同步主站。流水线还需优化 quote_activity_names 模式覆盖,目前还有 49 篇没匹配到,后续会扩展模式或换用更智能的启发式匹配。

图三是主站文章 ID 100 电影《从奴隶到将军》与罗炳辉,v2 清洗后段落首行缩进整齐,标题干净无乱码,正文呈现完整。