Яндекс Погода научилась прогнозировать грозы и показывать молнии в реальном времени

У ML-команды Яндекса вышел новый разбор: рассказали, как решали задачу прогноза гроз с опорой на данные о молниях и выкатывали обновление в продакшен. Сейчас Погода предупреждает о грозе с шагом в 10 минут и показывает молнии на карте в реальном времени.

Что интересного сделали:

1. Дообучили рабочую модель без деградации качества
Когда добавляли новую модальность — прогноз гроз по архивным данным с грозопеленгаторов — заморозили веса блока осадков и обучали только новые компоненты. Это позволило сохранить точность осадков и не испортить ранее выстроенные зависимости.

2. Переосмыслили работу с редкими событиями для обучения
Вместо использования точек с координатами ударов молний модель предсказывает вероятность грозовой активности в ячейках сетки с шагом по времени в 10 минут. Это сглаживает хаотичность обучающих данных и повышает устойчивость модели.

3. Обновили архитектуру: PredRNN++ → Temporal Attention Unit
Отказались от авторегрессинной архитектуры в пользу трансформера с вниманием по времени. В итоге улучшилась точность прогноза и ускорился inference.

4. Настроили лоссы для сегментации границ
Для выделения областей с вероятностью возникновения гроз использовали комбинацию BCE, Dice и Contour Loss. Последняя функция улучшает качество предсказаний по границам туч

5. Объединил мультимодальные источники
Тут объединили данные с радаров, спутников и грозопеленгаторов с предварительной калибровкой и выравниванием → система стала устойчивее к шуму и пропускам в отдельных каналах.

Подводя итог: кейс будет интересен специалистам из ИБ, медицины, финтеха, RecSys и компьютерного зрения и всем, кто работает с редкими событиями, мультимодальными данными и дообучением моделей — есть что перенять по части инженерных решений. Покопать статью

Generative Ai

Яндекс Погода научилась прогнозировать грозы и показывать молнии в реальном времени

У ML-команды Яндекса вышел новый разбор: рассказали, как решали задачу прогноза гроз с опорой на данные о молниях и выкатывали обновление в продакшен. Сейчас Погода предупреждает о грозе с шагом в 10 минут и показывает молнии на карте в реальном времени.

Что интересного сделали:

1. Дообучили рабочую модель без деградации качества
Когда добавляли новую модальность — прогноз гроз по архивным данным с грозопеленгаторов — заморозили веса блока осадков и обучали только новые компоненты. Это позволило сохранить точность осадков и не испортить ранее выстроенные зависимости.

2. Переосмыслили работу с редкими событиями для обучения
Вместо использования точек с координатами ударов молний модель предсказывает вероятность грозовой активности в ячейках сетки с шагом по времени в 10 минут. Это сглаживает хаотичность обучающих данных и повышает устойчивость модели.

3. Обновили архитектуру: PredRNN++ → Temporal Attention Unit
Отказались от авторегрессинной архитектуры в пользу трансформера с вниманием по времени. В итоге улучшилась точность прогноза и ускорился inference.

4. Настроили лоссы для сегментации границ
Для выделения областей с вероятностью возникновения гроз использовали комбинацию BCE, Dice и Contour Loss. Последняя функция улучшает качество предсказаний по границам туч

5. Объединил мультимодальные источники
Тут объединили данные с радаров, спутников и грозопеленгаторов с предварительной калибровкой и выравниванием → система стала устойчивее к шуму и пропускам в отдельных каналах.

Подводя итог: кейс будет интересен специалистам из ИБ, медицины, финтеха, RecSys и компьютерного зрения и всем, кто работает с редкими событиями, мультимодальными данными и дообучением моделей — есть что перенять по части инженерных решений. Покопать статью

Хабр

Как мы научились прогнозировать грозы на карте осадков в Яндекс Погоде

Экстремальные погодные явления оказывают большое влияние на нашу жизнь. Это может проявляться в бытовых вещах, просто чтобы не попасть под сильный ливень или грозу....

hottg.com/deeplearning_ru/1079

819 viewsJun 25 at 10:23