Ціна і швидкість ШІ-моделей: дешева проти дорогої

Дешева модель проти дорогої: у чому різниця простими словами

Уяви службу доставки. Відвезти піцу через два двори? Курʼєр на самокаті: дешево, швидко, доїхав. А диван через усе місто самокатом не повезеш - тут потрібна вантажівка з вантажниками. Дорожче, повільніше, зате тягне будь-що.

З родиною ШІ-моделей усе так само. Є малюки: меткі, дешеві, відповідають майже миттєво. Є важковаговики: розумніші, надійніші в складному, але дорожчі й трохи повільніші. І ось що важливо - це не «погана і хороша» модель. Це самокат і вантажівка. Під різний вантаж.

Навіщо тобі взагалі знати про ціну моделей

У чаті тобі зазвичай байдуже: натиснув кнопку, отримав відповідь, ліміт покриває підписка. Але варто підключити модель через API у свій застосунок чи скрипт - і за кожен чих платиш ти сам. Ось тут різниця між рівнями перетворюється на живі гроші наприкінці місяця.

• Зрозумієш, чому рахунок роздувається на рівному місці - і де його підрізати.
• Перестанеш хапати найдорожчий рівень «про всяк випадок» там, де вистачило б малюка.
• Звикнеш питати себе: «а це точно робота для вантажівки?» - і збережеш купу грошей.
• Дійдеш до автоматизацій - і одразу проєктуватимеш дешево, а не перероблятимеш потім.

Класична помилка новачка - ганяти флагман на задачах на кшталт «розклади листи по теках» чи «дістань телефон із тексту». Це як возити один конверт фурою. Їде. Але платиш за фуру.

За що ти платиш: токени, а не запити

Засвой головне: ти платиш не за «запит» і не за «хвилину». Ти платиш за токени Токен (token) - шматочок тексту, яким оперує модель. Це не рівно буква і не рівно слово: грубо - 3-4 символи, або близько трьох чвертей слова для англійської; для української зазвичай менше слів на токен. Текст ріжеться на токени і на вході, і на виході. - дрібні шматочки тексту.

І рахунок збирається з двох частин:

• Вхід (input) - усе, що ти надіслав моделі: питання, інструкція, прикріплений документ, історія листування. Довший ввід - дорожчий рахунок.
• Вихід (output) - усе, що модель написала у відповідь. Теж іде в рахунок, і зазвичай за тарифом вищим.

Рівні моделей усередині однієї родини: малюк, середнячок, важковаговик

У кожного великого виробника лінійка побудована сходинками. Умовно три полиці: малюк, середнячок, важковаговик. Ось два краї цієї драбинки.

Посередині зазвичай стоїть середнячок - універсал на кожен день: розумніший за малюка, дешевший за важковаговика. Його найчастіше й радять як «дефолт»: з нього стартуєш, а вбік рухаєшся, тільки коли впрешся в стелю.

Приклад із життя: як розкидати задачі по рівнях моделей

Скажімо, ти збираєш маленький сервіс, який розбирає вхідні листи. Не вали все на одну модель - розкидай по рівнях, як менеджер роздає задачі команді.

Малюку (дешево, швидко):

визначити мову листа;
зрозуміти, спам це чи ні;
витягти з тексту пошту, телефон, дату;
розкласти листи по теках (продажі, підтримка, інше);
зробити коротке резюме в один рядок.
Важковаговику (дорого, але розумніше):

написати вдумливу відповідь клієнту з урахуванням усього листування;
розібрати заплутаний юридичний чи технічний абзац;
спланувати багатокрокову дію, де легко помилитися;
усе, де ціна помилки вища, ніж ціна токенів.

Логіка проста: майже все - це рутина, і її спокійно тягне дешевий малюк. А дорогу модель ти бережеш для тих рідкісних випадків, де реально потрібна голова. Результат той самий, а рахунок падає в рази.

Як порахувати вартість запиту до ШІ за хвилину

Хочеш, щоб цифри стали відчутними? Прикинь вартість на око ще до запуску. Точні тарифи візьмеш на сайті провайдера, а формула проста і не змінюється роками.

Прикинь довжину входу в словах (питання плюс прикріплені файли та історія).
Помнож слова приблизно на 1,3 - отримаєш грубе число вхідних токенів.
Так само прикинь довжину очікуваної відповіді - це вихідні токени.
Візьми з сайту ціну за вхід і ціну за вихід (їх рахують за тисячу токенів).
Вартість = вхід у токенах × ціна входу + вихід у токенах × ціна виходу.
Помнож на кількість запитів на день - і побачиш, у що виллється місяць.

Один такий підрахунок на серветці протвережує краще за будь-яку статтю: одразу видно, що довга історія листування чи «напиши докладно» коштують відчутно дорожче за короткий діловий запит.

Чим ще можна зрізати рахунок за API

Окрім вибору рівня, є пара важелів, про які корисно хоча б знати (докладно - в уроках про оптимізацію):

• Кешування однакового входу. Шлеш раз за разом один і той самий довгий шматок - наприклад, інструкцію чи базу? Його можна закешувати, і повторні покази обійдуться значно дешевше.
• Пакетна обробка. Коли відповідь потрібна не «прямо зараз», а можна почекати, багато провайдерів рахують такі задачі дешевше за звичайні.
• Не тягати зайве в контексті. Кожен прикріплений файл і вся історія листування - це вхідні токени, за які платиш ти. Чисти те, що моделі не потрібне для поточної відповіді.

Часті помилки під час вибору моделі за ціною

• Хапати флагман «про всяк випадок». Найдорожчий рівень заради сортування листів - це фура через один конверт. Почни з малюка, підніми планку, тільки якщо він не впорається.
• Думати, що платиш за «запит». Ні - платиш за токени, і за вхід, і за вихід. Довгий документ на вході чи простирадло на виході тихо надувають рахунок.
• Забувати про історію листування. У довгому чаті кожне нове питання тягне з собою всю минулу розмову як вхід. Тому довгі діалоги дорожчають самі собою.
• Завчати конкретні ціни. Вони змінюються постійно. Тримай у голові принцип «дешево проти дорого», а число дивись у прайсі перед запуском.
• Гнатися лише за дешевиною. Якщо малюк видає кашу і ти переробляєш по три рази - економія уявна. Іноді важковаговик з першого разу виходить дешевше, ніж малюк із пʼятого.