当页面从几十个增长到几百上千个,最先该停止手工做的不是内容创作,而是那些每次都要重复、且出错后需要全站返工的工作。判断标准只有一条:这项操作的结果是否会被后续所有页面复用。如果是,就该退出人工流程;如果只影响单个页面,保留手工反而更稳。
规模小的时候,手工改标题、手工加内链、手工提交页面都不会出问题,因为总量可控。但页面数量上去之后,成本不是线性增加,而是成倍增加。原因在于手工操作依赖记忆和当时的判断,一旦前面某个决定后来改了,之前手工做过的部分就要重新翻一遍。
典型的分界线是:这项工作的输入是否来自一份可以统一维护的清单。如果来自清单,就适合改为批量或模板化处理;如果每个页面的判断都不同,手工仍然合理。比如栏目页的导航结构、站点地图、canonical 规则,这些是全站共用的,手工维护必然滞后。而某篇深度文章的配图选择、某段案例的措辞,仍然适合人工决定。
当站点有统一模板或内容管理系统时,robots.txt、站点地图、分页规则、参数处理这类配置应当由模板或插件统一生成。手工维护的前提是页面结构长期不变,而规模扩大后这个前提通常不成立。一个实际动作是:抽查站内十到二十个不同层级的页面,看它们的 canonical 和分页链接是否由同一套逻辑输出。如果发现不一致,说明手工干预已经混进了自动流程,下一步应先把规则收敛到模板层,再谈其他优化。
要注意,配置统一之后抓取量或索引量没有立刻变化,并不能单独证明处理正确。抓取减少也可能是服务器响应变慢、内链变少或内容质量变化导致,需要结合日志和页面状态一起判断。
内链手工做在小站是优势,因为可以精确控制上下文。但页面过百之后,手工内链会出现两个问题:重要页面被反复链接,长尾页面没人链。这时可以改为半自动:先由规则生成候选链接,再由人筛选。前提是站内已经有清晰的栏目和标签体系,否则规则生成的结果会很乱。
如果缺少完整的点击数据或权限,最小可执行的动作是手工统计一批核心页面的入链数量,看分布是否严重倾斜。这个动作只能说明链接分布现状,不能推出某个页面因此排名不好,因为排名还受内容匹配、竞争页面和抓取情况影响。
不是所有重复劳动都该交给程序。涉及意图判断的工作,比如两个相似页面是否应该合并、一段内容是否真的回答了搜索需求,仍然需要人工。规模扩大后,这类工作反而更值得投入时间,因为它决定了批量流程的方向是否正确。把人工从机械操作里释放出来,正是为了做这些判断。
假设一个站点有三百个产品页,最初由编辑逐个修改标题标签。半年后栏目结构调整,所有产品页的分类前缀变了,这时手工改过的标题有一半和新结构对不上。如果当初标题由模板按“产品名 + 分类 + 站点名”的规则生成,结构调整只需要改一次模板。这个例子的数字只是用来说明比较方法,不代表任何真实项目的效果。
这个对比说明:判断一项工作是否该退出人工,可以问一句——如果上游规则变了,这项工作的返工量有多大。返工量随页面数量放大的,就属于应该优先自动化的对象。
如果暂时拿不到完整的抓取日志或后台权限,不必等到数据齐全再动手。可以先做两件低成本的事:一是列出当前所有由人工维护的全站性配置,标注每一项的更新频率;二是随机抽取若干页面,核对它们的标题、canonical、内链是否与预期一致。前者帮你找到最该先自动化的一项,后者帮你确认手工流程是否已经产生偏差。
完成这两步之后,下一步不是立刻全站改造,而是选一个影响面最大的配置先改为模板输出,观察一段时间内页面状态和抓取情况的变化,再决定是否扩大范围。这样即使判断有误,返工范围也可控。