🧠 Можно ли предсказать успех идеи до её реализации? Да — с помощью LLM.

Исследование предлагает использовать языковые модели для оценки перспектив научных идей ещё до их реализации — и это серьёзно повышает эффективность исследований.

🔧 Как это работает:

• Построен бенчмарк из 1 585 пар идей (прошедших верификацию людьми) + 6 000 обучающих пар из конференц-статей
• Используется дообученный GPT-4.1 в связке с retrieval‑агентом
• Агент генерирует запросы, ищет статьи, суммирует полные работы и фильтрует по релевантности
• GPT-4.1 дообучается на исторических данных по успешности идей

📌 Дообученная LLM обходит экспертов:
64.4% точности против 48.9% у людей

📌 Система в целом достигает 77% точности
Она устойчива к поверхностным факторам: новизне идеи, сложности формулировки и т.д.

📌 Самое интересное:
Модель предсказывает успех неопубликованных, AI-сгенерированных идей с точностью 63.6%

🧠 Это не просто фильтрация мусора — это шаг к автоматическому прогнозированию научного прорыва.

Читать

Machine learning Interview

🧠 Можно ли предсказать успех идеи до её реализации? Да — с помощью LLM.

Исследование предлагает использовать языковые модели для оценки перспектив научных идей ещё до их реализации — и это серьёзно повышает эффективность исследований.

🔧 Как это работает:

• Построен бенчмарк из 1 585 пар идей (прошедших верификацию людьми) + 6 000 обучающих пар из конференц-статей
• Используется дообученный GPT-4.1 в связке с retrieval‑агентом
• Агент генерирует запросы, ищет статьи, суммирует полные работы и фильтрует по релевантности
• GPT-4.1 дообучается на исторических данных по успешности идей

📌 Дообученная LLM обходит экспертов:
64.4% точности против 48.9% у людей

📌 Система в целом достигает 77% точности
Она устойчива к поверхностным факторам: новизне идеи, сложности формулировки и т.д.

📌 Самое интересное:
Модель предсказывает успех неопубликованных, AI-сгенерированных идей с точностью 63.6%

🧠 Это не просто фильтрация мусора — это шаг к автоматическому прогнозированию научного прорыва.

Читать

hottg.com/machinelearning_interview/1878

2.6K viewsJun 22 at 09:25