Одно "спасибо" в ChatGPT стоит OpenAI… немного. А миллион спасибо в день? 🥲

Вежливость — это токены. А токены — это деньги
В итоге это уже не просто "спасибо", а несколько миллионов долларов в год на inference 🤑

Недавно Сэму Альтману в твиттере задали вопрос — во сколько компании обходятся вежливые обращения в запросах пользователей и действительно ли они помогают моделям лучше работать?

“Tens of millions of dollars well spent — you never know.” 🤭

🧠 Забавно, но такие soft промпты судя по всему реально работают лучше: модели выдают более полезные ответы, если к ним обращаться как к людям.

Если строишь LLM-based продукт с открытым чатом, нужно учитывать не только latency и quality,
но и как люди разговаривают с моделью. Потому что это влияет на стоимость. Сильно 😁