🚀BioGPT - это языковая модель transformer, разработанная исследователями Microsoft и оптимизированная для ответов на биомедицинские вопросы
Исследовательская группа Microsoft обучила BioGPT, используя только данные, относящиеся к конкретной предметной области. Они собрали статьи из PubMed, англоязычного источника текстовых метаданных биомедицинских статей, обновленной до 2021 года. В результате было получено в общей сложности 15 миллионов фрагментов контента с названиями и аннотациями, которые команда использовала для обучения BioGPT.
Для предварительной подготовки исследовательская группа использовала восемь графических процессоров Nvidia V100 для выполнения 200 000 шагов, в то время как тонкая настройка выполнялась с помощью одного графического процессора Nvidia V100 для выполнения 32 шагов.
Команда доработала предварительно подготовленную модель на основе GPT-2 с 357 миллионами параметров для последующих задач: извлечение сквозных связей, генерация текста, ответы на вопросы и классификация документов.
На сайте показан пример вопроса к BioGPT о лечении COVID-19. Базы будут обновляться, точность и актуальность ответов повышаться. Когда будет доступна - непонятно. Но выглядит интересно
https://the-decoder.com/biogpt-is-a-microsoft-language-model-trained-for-biomedical-tasks/
@it_and_ai
>>Click here to continue<<
