pip install llm2vec
pip install flash-attn --no-build-isolation
LLM2Vec позволяет выполнить 3 простых шага:
1) включение двунаправленного внимания
2) обучение с скрытым предсказанием следующей лексемы
3) неконтролируемое контрастное обучение
При этом LLM может быть дополнительно настроена для достижения современной производительности.
@data_analysis_ml