先给结论:去重的核心不是把数字改小,而是先确定报告里的“一行”代表什么对象。如果一行代表一个URL,就先按URL规范化去重;如果一行代表一个查询词与页面的组合,就不能按URL直接删行,否则会误删真实存在的词页对应关系。两种做法都合理,区别在于你要回答的问题是什么。
同一份导出文件,页数统计有时明显高于站点实际页面数,原因往往不是工具出错,而是行级对象的粒度不同。第一种解释是:报告按“查询词×落地页”展开,一个页面命中多个词就会产生多行,页面数自然被放大。第二种解释是:报告按“URL×参数或协议变体”展开,同一个内容页因为带追踪参数、大小写、尾斜杠或http与https的差异被拆成多行。
这两种解释对应的去重动作完全不同。前者要去的是“重复的页面维度”,保留词页关系;后者要去的是“同一对象的多种写法”,需要先做URL规范化再统计。把两者混在一起处理,就会出现删完之后词页覆盖关系也一起消失的情况。
可以抽取少量行做对照,而不是直接对全表去重。具体动作是:随机取二十行,记录每行的URL、查询词和点击或展示字段,然后按URL分组,看同一URL下是否保留了多个不同的查询词。
这个动作的结果会直接决定下一步:确认是词页组合后,页面数统计应改为“去重后的URL计数”,而不是删除明细行;确认是写法差异后,才适合对URL做统一映射再重新汇总。
按URL规范化去重适合回答“有多少个独立页面被报告覆盖”。适用条件是同一内容的多种URL写法可以明确映射到同一个规范地址,例如去掉追踪参数、统一小写主机名、统一尾斜杠规则。代价是会暂时隐藏同一页面在不同参数下的细分表现,如果参数本身代表不同内容或不同频道,就不能直接合并。
按词页组合保留明细适合回答“哪些词对应哪些页面”。适用条件是你需要判断页面覆盖了哪些查询意图,或者要把词页关系交给执行人员。代价是页面计数会偏高,不能直接拿行数当页面数使用,需要在汇总层单独计算去重后的URL数量。
假设一份报告有若干行,其中同一个页面因为带参数出现多次,同时又对应多个查询词。如果直接按URL删行,词页关系会减少;如果只按词页组合保留,页面计数仍然偏高。更稳妥的做法是先在明细层做URL规范化,再在汇总层按规范URL计数,同时保留规范化后的词页关系。
如果报告里出现请求量、抓取量或某项统计归零,不能单独据此判断去重正确。归零还可能来自筛选条件、时间范围、权限范围或数据延迟,需要回到原始导出条件核对。
去重不是为了得到一个更小的数字,而是为了让后续动作有明确对象。若下一步是排查页面覆盖,就输出规范URL清单和对应的词页关系;若下一步是评估内容范围,就输出去重后的URL计数和口径说明。两者都应在报告里注明“一行代表什么”,否则执行人员会再次把行数当页面数,重复出现页数与对象数量不一致的问题。具体工具的字段名称和导出选项需要以实际界面为准,不同工具的默认粒度可能不同,核对时以原始字段定义为准。