На днях в Альбукерке завершила свою работу конференция NAACL 2025 ⤵️

В этом году конференцию посетили руководитель группы «Прикладное NLP» Елена Тутубалина и руководитель группы «Вычислительная семантика» Александр Панченко.

Исследователи представили 8 статей AIRI:

⚫️SynthDetoxM: Modern LLMs are Few-Shot Parallel Detoxification Data Annotators (main track)
В статье описан пайплайн для генерации многоязычных данных для параллельной детоксификации, а также представлен новый датасет для этой задачи под названием SynthDetoxM.

⚫️Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models (main track)
Исследователи разработали новый метод оценки неопределённости с учителем, основанный на генерации текста с помощью расстояния Махаланобиса.

⚫️Inference-Time Selective Debiasing to Enhance Fairness in Text Classification Models (main track)
Авторы представили новый механизм повышения качества развёрнутой модели с точки зрения производительности и справедливости прогнозирования, основанный на выборочном устранении смещений.

⚫️LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers (findings)
Авторы этой статьи выяснили, что токены, кодирующие знаки препинания, артикли и стоп-слова, играют более важную роль в обработке информации языковыми моделями, чем считалось ранее.

⚫️How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? (findings)
Авторы исследовали, можно ли внедрять новые факты в LLM с использованием LoRA без ущерба для ранее полученных знаний.

⚫️SkipCLM: Enchancing Crosslingual Alignment of Decoder Transformer Models via Contrastive Learning and Skip Connection (SRW)
В данной статье предлагается SkipCLM — новый метод улучшения многоязычного машинного перевода в декодерах-трансформерах.

⚫️Through the Looking Glass: Common Sense Consistency Evaluation of Weird Images (SRW)
В статье описан новый метод оценки согласованности изображений с использованием LVLM и энкодера на основе архитектуры трансформера.

⚫️SPY: Enhancing Privacy with Synthetic PII Detection Dataset (SRW)
Статья посвящена новому датасету SPY, который может быть полезен в задаче обнаружения персональных данных, позволяющих идентифицировать человека.

Делимся фотографиями с конференции!