Выбор модели: мощность против цены

Внутри одного ИИ-сервиса обычно живёт не одна модель, а семейство. Отличаются они не «качеством» вообще, а балансом трёх вещей: глубины разбора, скорости ответа и расхода ресурса — денег на API или лимита подписки. Поэтому выбор модели — это не поиск самой лучшей, а подбор достаточной.

1Лёгкие и мощные

Условно семейство делится на три класса.

• Лёгкие. Отвечают почти мгновенно и расходуют меньше всего. Хорошо делают то, что вы и сами сделали бы, только медленно: переписать, отформатировать, рассортировать, вытащить нужное из текста.
• Средние. Рабочая лошадь на каждый день. Держат контекст, справляются с многошаговыми задачами, при этом отвечают быстро.
• Мощные. Думают дольше и расходуют заметно больше. Их сила там, где нужно удержать много условий одновременно и сделать неочевидный вывод.

Названия и номера версий меняются по нескольку раз в год, поэтому ориентируйтесь не на имя модели, а на её описание в интерфейсе: у каждой указано, для чего она предназначена — быстрые задачи, повседневная работа или сложные рассуждения.

2Рутина — лёгкой, разбор — мощной

Типовые пары для магазина:

• Переписать сорок ответов на отзывы по готовому шаблону — лёгкая.
• Привести список поисковых запросов к одному виду, убрать дубли — лёгкая.
• Собрать описание карточки из характеристик и ключей — средняя.
• Разобрать выгрузку по рекламе за неделю и объяснить, где растёт ДРР — средняя.
• Посчитать юнит-экономику с учётом логистики, возвратов и хранения и сравнить два сценария цены — мощная.
• Решить, что делать с проседающей категорией: свести данные по продажам, конкурентам и остаткам в план действий — мощная.

Ошибиться можно в обе стороны. Мощная модель на переписывании шаблонов не даст лучшего результата, зато сожжёт ресурс и заставит ждать. Лёгкая модель на разборе юнит-экономики выдаст гладкий текст с ошибкой в логике — и это опаснее, потому что ошибка выглядит убедительно.

3Как проверить выбор на своей задаче

Не угадывайте — сравните. Тест занимает пятнадцать минут.

1. Возьмите один реальный промпт — тот, который вы повторяете чаще всего, с настоящими данными.

2. Заранее решите, что считать хорошим ответом. Не «понравилось», а проверяемый признак: все шесть характеристик на месте, цифра сходится с калькулятором, нет выдуманных фактов.

3. Прогоните один и тот же промпт на лёгкой и на мощной модели, в разных чатах, без правок.

4. Сравните по своему критерию. Если разницы нет — задача ваша навсегда уходит на лёгкую модель.

5. Повторите три-пять раз. Один прогон ничего не доказывает: модели отвечают по-разному от запуска к запуску.

Отдельно проверьте пограничный случай — самый сложный пример из вашей практики, а не типичный. Именно на нём лёгкая модель обычно и ломается.

Со временем у вас сложится собственная карта: три-четыре повторяющиеся задачи закреплены за лёгкой моделью, а мощную вы включаете осознанно — когда цена ошибки выше цены ожидания.