Zero-shot vs Few-shot. Пишем промпты эффективно

➡ Few-shot prompting
Здесь мы представляем модели примеры с инструкцией, как ей следует себя вести. После этого надеемся, что модель нас поймет, т.е. выучит in-context learning и выполнит запрос

Пример

Запрос:
Красный - один
Оранжевый - два
Желтый - три
Зеленый - четыре
Голубой - пять
Синий - шесть
Фиолетовый -

Ответ:
семь

➡ Zero-shot prompting
Это противоположность Few-shot. Здесь мы напрямую запрашиваем ответ у модели без дополнительных инструкций и надеемся, что ее достаточно хорошо обучили, чтобы она поняла, что мы от нее хотим.

Пример

Запрос:
Определи характер отзыва (позитивный, негативный или нейтральный).
Отзыв: Фильм в целом неплох.

Ответ:
Нейтральный

➡ Какие ограничения ?
Zero-Shot prompting неплохо себя показывают на каких-то простых задачах, основанных на общих знаниях. Few-shot уже может решать более сложные задачи и может помочь когда полноценный fine-tuning невозможен. Или когда нужно выучить несложные концепции. Еще Few-shot может повысить точность ответа.

Но и Few-shot - это не панацея. Он все еще неспособен решать достаточно сложные задачи на рассуждение. Если задача требует нескольких шагов рассуждения, даже набора примеров может оказаться недостаточно, чтобы LLM смогла найти нужную закономерность. Здесь обращаемся к Chain of Thoughts.

Иногда можно увидеть термины One-shot, Two-shot Prompting и т.д. Это просто частные случаи Few-shot prompting и они указывают на количество подаваемых в модель примеров.