避免重复建设页面的核心做法是:在立项和上线前,用一套可核对的页面清单和唯一主题规则做去重判断。具体来说,先明确每个页面要解决的用户问题,再检查站内是否已有页面承担相同任务,最后决定新建、合并还是改写。重复建设通常不是技术问题,而是规划流程缺少验收节点。
两个页面是否重复,不看标题是否相似,而看它们是否在争夺同一批用户需求和同一组搜索意图。可以从三个维度核对:
判断结果分三种:完全重复,应合并或删除;部分重叠,应改写或补充差异;互不重叠,才允许新建。适用条件是站内已有内容可被检索到;如果旧页面尚未被索引,不能据此断定不存在重复,需要查看站点地图和后台发布记录。
要避免重复建设,不能只靠编辑记忆。每新建一个页面前,应准备以下资料并作为验收依据:
这套资料的意义在于:如果缺少比对表,编辑很容易凭印象新建页面;如果缺少验收标准,重复页面会在上线后才被发现,此时已产生抓取和索引成本。
查重不是搜索一次标题就结束。可以按以下顺序操作:
site: 查询,分别检索主题句中的核心词和变体词。假设某站点已有一篇“新手如何选择建站程序”,编辑计划再写“建站程序怎么选”。查重后发现两页主题句几乎一致,目标查询也高度重叠,此时应合并为一篇,把新补充的内容并入旧页面,而不是新建。这个例子只用于说明判断方法,不是真实项目结果。
如果两页确实面向不同阶段用户,例如一个讲首次选型、一个讲迁移换程序,则可以在主题句和目标查询上写出差异,并互相链接,避免内容互相竞争。
要长期避免重复建设,需要把查重作为发布前的固定节点,而不是事后补救。可以约定:新建页面前必须提交主题句和已有页面比对结果;上线后若发现两页争夺同一查询,优先合并或改写,不直接删除有外链或已有流量的页面。抓取、索引和排名是不同环节,页面被收录不代表它没有与站内其他页面重复;反过来,未被收录的旧页面也可能仍在站点地图中造成重复。下一步可以直接做一件事:拉取当前站点地图和栏目列表,为每个页面补一句主题句,标出主题句相同或高度接近的页面,先处理最明显的一组重复。