先给结论:报告页数大于你认定的对象数量,通常不是“多抓了页面”,而是统计口径不同。去重的第一步不是删行,而是先确定“对象”指什么——是URL、规范链接、内容主体,还是带参数的同一页面。只有口径统一后,才能判断该保留、改写还是退出该报告。
多数SEO软件平台在导出时至少涉及三层计数。抓取数指工具实际请求到的响应;对象数指按某种规则归并后的唯一实体;报告行数则是导出文件的行数,可能因分页、筛选或字段展开而放大。三者不一致时,先查导出设置里是否勾选了“包含重复URL”“按参数展开”或“按设备拆分”。
一个可区分原因的证据是:把报告按URL排序,看重复行是否成对出现且参数不同。如果重复行仅查询参数不同,多半是口径问题;如果同一URL完全重复,才可能是导出或合并环节出错。
保留适用于重复行承载不同信息的情况。例如同一商品页的桌面版与移动版分别记录了状态码和加载时间,这不是重复,而是同一对象的多维观测。此时应保留并加一列“观测维度”,而不是去重。
改写适用于报告口径与你的分析目标不一致。假设你要统计“需要优化的落地页数量”,而报告按URL计数,带跟踪参数的链接会让同一页出现多次。此时可新增一列,用去掉查询参数的规则生成“对象键”,再按该键聚合。动作的结果是行数下降,但你必须回头核对被合并的行是否真的指向同一内容,否则会掩盖真实差异。
退出适用于报告本身无法支撑你的判断。如果工具只提供聚合计数而不给原始URL,你无法验证归并规则,那么继续在这份报告上加工只会放大误差。退出不是否定工具,而是换一份可核对的明细再决策。
建议按以下顺序做一次小规模核对,而不是直接全量去重:
这套动作的关键在于:先形成判断依据,再决定保留或合并。跳过核对直接去重,等于用未知规则覆盖已知数据。
假设某报告导出1200行,你按去参数规则聚合后剩900行。这个结果本身不能证明“正确”,因为减少的300行可能包含真实不同的页面。下一步应抽查这300行中规范链接是否一致:若一致,可并入聚合结果;若不一致,应恢复为独立对象。这个例子只说明比较方法,不代表任何真实项目的数据。
需要提醒的是,抓取量或报告行数下降,也可能来自筛选条件变化、时间窗口调整或工具侧归并策略更新,不能单独作为去重正确的证据。
无论最终选择保留、改写还是退出,都应把规则写下来:对象如何定义、哪些字段参与归并、哪些差异必须保留。这样下次报告页数再次与直觉不符时,你能快速判断是口径变了,还是数据真的变了。具体工具的功能入口和字段名称需要以你当前使用的版本为准,不同平台并不通用。