#клиентспросил Кейс про агента-писателя, которого научил ChatGPT

Сегодня я зарелизил вторую версию ассистента для маркетолога (описание изначального кейса тут). Теперь хочу кратко рассказать про реализацию технологических новинок под капотом.

Вторая версия отличается от первой:
- может писать на любые темы о продуктах компании (а не только про один продукт применительно к одной области)
- сама умеет выбирать релевантные тексты из базы знаний, мусор не тащит.
- пользователь может контроллировать процесс написания статьи на любом шаге (а может и клацкать Next)
- Базу знаний можно пополнять хоть как, главное следовать общим инструкциям по организации.

Это все фишки. Самое интересное - улучшения под капотом. А там я выкинул почти весь код и абсолютно все промпты. Вместо этого осталась дюжина квантов информации - эссе, конспектов и должностных инструкций на разные темы:

- как устроена база знаний, в какие папки и каким образом складываются тексты
- как правильно искать в базе знаний
- какие методы пробовать при написании плана статей, на какие вопросы отвечать?
- как правильно упоминать продукты компании в статьях
- как по шагам разворачивать план статьи в черновик

Все эти конспекты писал сам ChatGPT-4 с большим контекстом! 🚀

Я просто брал самый мощный ChatGPT, скармливал ему весь контекст, не жалея tokens. И просил ужать всю информацию в очень компактное эссе на заданную тему или должностную инструкцию.

Например, скармливал всю структуру базы знаний с выжимками и просил сформировать инструкции для "младшего ассистента", который будет искать там материалы на какие-то темы.

Либо брал пачку примерных запросов, просил классифицировать их с точки зрения разных подходов к поиску информации. А потом - написать эссе для "младшего ассистента".

Когда у нас есть такие конспекты, промпты превращаются в очень простую цепочку в формате:

Эй, младший ассистент. Дай мне названия файлов из базы знаний для написания статьи на тему X. Мы сейчас на первом шаге процесса написания статьи. См ниже должностные инструкции и гайды на эту тему.

- общее описание всего процесса написания статьи
- гайд про структуру базы знаний
- гайд про поиску в базе знаний на тему
- эссе про компанию и чем она вообще занимается
- краткий каталог продуктов и сервисов компании

Четыре промпта в таком духе и получается рабочий API. Остальные шаги:

- Шаг 2: набросай мне план статьи на тему X. См гайды и релевантные выдержки из базы знаний ниже
- Шаг 3: разверни мне этот план в черновик. Все те же выдержки, а так же статьи про красивое написание статей - ниже
- Шаг 4: вычитай вот этот черновик. Гайды по стилю компании и примеры красиво написанных статей на схожую тему - ниже.

Вот я вам и рассказал все секреты реализации 😊

Кстати, тут получается забавно. На первом и втором шаге LLM планирует свою работу на третьем шаге. Но при этом отталкивается от человеческого запроса и заранее написанных гайдов про выполнение этих запросов. А те планы-то писались все той же ChatGPT. Немножко похоже на агентов? 🤪

В общем, оказывается, не нужно мучаться, писать сложные промпты, городить большие шаблоны и retrieval-логику. Можно просто сесть с мощной GPT-4 и заранее подготовить конспекты, эссе и должностные инструкции, ужав в них всю релевантную информацию.

Вся эта информация и будет основным кодом работающего приложения с LLM под капотом.

А если появятся новые нюансы и моменты, всегда можно поднять старый промпт и попросить переписать эссе с учетом новой информации.

Кто еще использует ChatGPT для компрессии информации и написания промптов для агентов?

Ваш, @llm_under_hood 🤗

PS: В комментариях выложу пример черновика статьи, которую написала эта система, и отзыв клиента.

PPS: Другие посты из серии #клиентспросил:
- Автоматическое исправление ошибок в каталогах продуктов
- Кейс про товары, которые невозможно найти
- Персональный ассистент в компании