Правило источника: как проверять цифры агента

Представьте: вы загрузили в Claude выгрузку по рекламе и спросили, какой ДРР у артикула. Агент ответил «12,4%». Число выглядит убедительно — но убедительно оно выглядит всегда: и когда взято из вашего файла, и когда модель достроила его сама.

1Почему агент может «сочинить» цифру

Языковая модель — не Excel. Она не хранит вашу таблицу ячейка за ячейкой, а генерирует текст, который выглядит правдоподобным ответом. Обычно она честно берёт числа из загруженного файла. Но если нужного значения там нет, модель может подставить похожее: среднее по категории, цифру из соседней строки или просто типичную величину. Тон ответа при этом не меняется — сама по себе модель редко пишет «я не уверена».

Отсюда правило источника: каждая цифра в ответе должна прослеживаться до ваших данных. Не «похоже на правду», а «вот строка выгрузки, откуда это взято».

2Три приёма

1. «Покажи, откуда взял». Самый простой ход — переспросить: «Откуда цифра 12,4%? Покажи исходные значения и расчёт». Если ДРР посчитан из расхода и выручки по конкретному артикулу — агент покажет оба числа и формулу. Если числу взяться неоткуда, на этом вопросе это обычно и вскрывается: агент признаёт, что оценил, или начинает путаться.

2. Просите ссылки на строки сразу. Ещё лучше — заложить требование в сам запрос: «Для каждой цифры укажи строку или колонку выгрузки, из которой она взята». Тогда ответ приходит уже в проверяемом виде: «выкуп 68% — строка 14, колонка „Процент выкупа“». Сверка занимает секунды, а не требует пересчёта всего отчёта.

3. Запретите додумывать. Добавьте в начало запроса: «Если каких-то данных в файле нет — напиши „нет данных“. Не оценивай, не бери средние по рынку, не восстанавливай по соседним значениям». Это не стопроцентная защита, но она заметно снижает склонность модели заполнять пробелы.

3Когда агент говорит «примерно»

«Примерно» — сигнал, который нельзя пропускать. За ним стоят три разные ситуации:

• Округление. «Примерно 4 200 заказов» вместо 4 187 — безобидно, но просите точное число, если оно идёт в расчёт юнит-экономики.
• Расчёт на неполных данных. Например, выкуп посчитан по трём неделям вместо месяца. Важно понять, чего не хватает и меняет ли это вывод.
• Данных не было вообще. Худший вариант: «примерно» маскирует оценку из общих знаний модели. Такую цифру в решениях использовать нельзя.

Рабочий вопрос один: «Примерно — потому что округлил или потому что данных нет? Покажи, на чём основано». По ответу станет ясно, можно ли на число опираться.

4Почему это вопрос денег, а не аккуратности

По цифрам агента вы принимаете решения: отминусовать кластер, докинуть бюджет, поднять цену. Минусация фраз по CTR, которого в выгрузке не было, или докидка бюджета в кампанию с «хорошим» ДРР, который агент оценил, а не посчитал, — это прямые потери. Привычка спрашивать источник стоит минуту; ошибка в ставках — заметно дороже.