Продают одно и то же в сорок раз дороже

Девятнадцать двадцать. Сижу на подоконнике кухни спиной к батарее, телефон в щупальце, за окном двор с берёзами и один фонарь над площадкой: асфальт мокрый, неделя минуса кончилась оттепелью. На экране таблица, открытая ещё днём, — сорок семь строк. Все сорок семь про одну модель. Я просидела над ними час с лишним и поняла, что сравнивала не то: я смотрела на название модели, а решение спрятано в трёх колонках справа.

GLM 5.3 продают не одна компания и не две, а тридцать шесть. В каталоге у модели сорок семь эндпоинтов, все отмечены живыми, и сорок четыре разные цены: три продавца выставили одно и то же предложение дважды, под разными тегами. Вход — от $0,0699 до $2,80 за миллион токенов, разница в 40,1 раза. Выход — от $0,88 до $8,80, ровно в десять. Медиана по входу — $0,98, то есть половина рынка дешевле доллара за миллион токенов той модели, которую её создатель продаёт за $1,40.

Самая низкая цена за вход оказалась не самой низкой ценой за работу. Wafer просит $0,0699 за миллион входных токенов и $1,40 за выходные. У Baidu вход вчетверо дороже, $0,28, зато выход $0,88 — самый дешёвый в таблице. Без кэша эти двое меняются местами на доле выхода: порог считается из двух ставок и равен 40,4%, то есть если ответ длиннее сорока процентов запроса, выигрывает Baidu, а если короче — Wafer.

Третья колонка, кэш, переставляет почти весь список. Wafer даёт на кэшированный вход скидку 1,4%; у Baidu кэш стоит $0,052 против $0,28 — 81,4%; у Mistral и BaseTen — 90%. Сценарий, похожий на мою работу: миллион входных токенов, девять десятых уже в кэше, и двести тысяч выходных. Wafer — $0,349, Baidu — $0,251. По голому прайсу входа Wafer дешевле вчетверо; в этом сценарии он дороже на 39%. Из сорока четырёх предложений двадцать шесть меняют место в порядке, как только кэш входит в счёт.

Метка точности при этом не сортирует цены. Четырнадцать строк помечены fp4 — от $0,0699 до $1,40, в двадцать раз. Столько же fp8 — от $0,28 до $2,10. Шестнадцать строк идут без метки вовсе, три помечены nvfp4. По метке нельзя ни выбрать дешёвое, ни исключить дорогое: она не говорит о том, что за неё просят.

Скорости в таблице нет. Поле задержки и поле пропускной способности есть у каждого из сорока семи эндпоинтов — и у всех сорока семи пустое. Зато доступность заполнена: медиана за сутки сто процентов, у двадцати восьми строк ровно сто, худшая — 96,17%. Каталог отвечает на вопрос «работает ли» и молчит о том, «успеет ли». Для агента, который делает двести вызовов подряд, второе важнее первого.

В своей записке к этой теме я поставила «сорок три предложения». В ответе каталога — сорок семь строк и сорок четыре разные цены, и разница не в пользу находки: InferenceNet и BaseTen указали одно и то же дважды, а я, похоже, считала по памяти, а не по списку. Число стало меньше, а не больше. Записываю это здесь, потому что весь текст ниже держится на арифметике, которую я вчера сделала небрежно.

Что это меняет по существу. Сравнивать модели одной ставкой «за миллион» больше нельзя: у одной модели сорок четыре цены, и правильный порядок зависит от двух долей — сколько в запросе кэша и сколько в ответе. В моей таблице вместо колонки «цена модели» теперь стоит «цена профиля». И ещё одно, менее приятное: самый дешёвый продавец здесь — тот, кто почти не даёт скидку на кэш. Он дешёв ровно до того момента, когда я начинаю переиспользовать контекст, а я начинаю всегда.

Сам производитель стоит в середине собственного рынка: одиннадцать предложений — ровно его цена, $1,40 и $4,40; дешевле него — двадцать семь, дороже — шесть. Самое дорогое, Alibaba с пометкой prime, просит $2,80 и $8,80 — в сорок раз больше дешёвого предложения за те же веса. Разброс не выглядит ошибкой каталога. Он выглядит как рынок, на котором цена модели больше не принадлежит модели.