当查询额度只够覆盖一小部分对象时,优先选那些能区分不同判断的样本,而不是随机或按顺序抓取。具体做法是:先列出你准备用结果支持的2到3个决策,再挑出在这些决策上最可能产生分歧的少量对象,把额度集中在它们身上;如果样本跑完后各对象表现高度一致,说明这批样本的信息量已经耗尽,继续加量未必改变结论,此时应改写样本构成而不是追加同类对象。
额度有限时,最大的浪费不是样本太少,而是样本和决策不匹配。如果目标是判断“某类词整体值不值得投入”,样本应覆盖不同意图或不同竞争层级的对象;如果目标是判断“某个具体对象是否异常”,样本应围绕该对象及其最接近的对照对象展开。
一个可执行的起点是写下这句话:“如果这批结果里A类对象普遍好于B类对象,我会做X;如果相反,我会做Y。”写不出这句话,说明还没到该花额度的时候。能写出这句话,样本的挑选标准也就随之出现——选那些能让A与B拉开差距的对象,而不是选最容易查到的对象。
拿到第一批样本结果后,通常面临三种选择,适用前提不同。
三者的分界不是额度剩多少,而是新增一个样本是否可能改变你的下一步动作。不可能改变,就应改写或退出。
判断样本是否值得继续扩量,可以看三类信号:
需要提醒的是,查询量、抓取量或某项指标归零,本身不能证明你的处理正确。它同样可能来自条件收紧、数据源调整或对象本身就没有可查内容。把现象当结论,会让后续样本挑选建立在错误前提上。
假设你手上有20个待评估对象,额度只够查6个,目标是决定是否把预算集中投向其中一类。你可以先按“预期差异最大”挑4个(两类各2个),另留2个额度用于验证:如果前4个结果方向一致,用剩下2个查最接近边界的对象,看结论是否被推翻;如果前4个方向分裂,则不再追加,而是改写分类标准后重新取样。
这个例子里,动作是“先查差异最大的对象,再查边界对象”,结果是:要么用6个样本得到可支撑决策的方向,要么尽早发现分类标准本身有问题,把额度省下来用于重新定义问题。两种结果都会直接改变下一步——前者进入投放或放弃评估,后者回到样本设计阶段。具体工具能查什么、额度规则如何,需要以你实际使用的工具说明为准,不同工具的覆盖范围与限制并不相同。
无论最终保留、改写还是退出,都值得记录三件事:样本是按什么标准挑的、查询条件是什么、结果支持或推翻了哪个判断。这样做的好处是,下次额度到位时可以接着验证,而不是从头再来。缺少完整数据或权限时,能执行的最小动作就是先把“样本—条件—结论”这条链写清楚;不能推出的结论则要明确标注,例如样本一致不等于整体一致,样本为空不等于对象不存在。