n Наукастинг заполняет пробел ЧПП, когда модели имеют недостаточную точность в течение первых часов выполнения расчетов (0 – 6 ч). Это стало возможным благодаря технологии наукастинга — краткосрочного гиперлокального прогноза осадков.
осадки в Европе
По прогнозу ведущего научного сотрудника центра погоды «Фобос» Михаила Леуса, в российской столице в четверг, 17 августа, ожидается переменная облачность, без осадков, воздух прогреется до + 29 °C, передаёт РИА Новости. Кроме этих распространенных вариантов, следует упомянуть наукастинг (до 2 часов) и климатический (на 2 года и более). Прогноз осадков на 2 часа (наукастинг). Ведущий специалист центра погоды «Фобос» Александр Синенков спрогнозировал резкие перепады температуры воздуха в ряде регионов России. Совместная технология детерминистского наукастинга и сверхкраткосрочного прогноза осадков на основе экстраполяции данных.
А можно поточнее? Как делается прогноз погоды и можно ли его улучшить?
Наукастинг в реальной жизни — по крайней мере, в головах менеджеров — выглядит либо как уведомление человеку в виде текста или пуш-нотификации, либо как карта осадков, которая движется со временем. Наукастинг (nowcasting) и сверхкраткосрочные прогнозы погоды очень важны. Доля точно предсказанных случаев начала дождя — это отношение количества правильно предсказанных случаев начала первого дождя на рассматриваемом окне в два часа ко всем случаям начала первого дождя на двухчасовых окнах.
Роман Вильфанд: вопрос использования "больших данных" обсуждается во всем метеорологическом мире
На карте анимации ветра вы наглядно увидите движение атмосферного воздуха, на ней также хорошо видны атмосферные вихри, такие как циклоны, тайфуны и ураганы. На карте температуры вы увидите прогнозируемое распределение тепла и холода в приземном слое атмосферы. Карта атмосферного давления считается одной из главных в метеорологии, на ней хорошо видны циклоны, антициклоны, барические гребни, ложбины и малоградиентные поля. На карте качества воздуха вы увидите области как с чистым воздухом, так и области загрязнения воздуха различными примесями по европейскому стандарту CAQI: 0 - воздух абсолютно чистый, 100 - воздух крайне загрязнен.
Сейчас нейронная сеть работает и выдает предсказания, схематически ее архитектура изображена здесь. Она составлена из 12 примерно одинаковых блоков. Каждый блок последовательно строит прогноз по своему горизонту, получая на вход некоторый тензор состояния и последний радарный снимок, последнее предсказание с предыдущего горизонта. Тензор состояния имеет довольно маленькую размерность, всего 32 x 32 на 30 каналов, но сверткой к инволюции мы получаем из него векторное поле, опорные вектора для преобразования thin plate spline.
И, наоборот, сверткой к деконволюции мы получаем места, где выпадают осадки. Такая архитектура нейросети учитывает, что в каких-то местах осадки выпадают традиционно. Например, туча, налетевшая на город, прольется с большей вероятностью, чем над лесом, потому что над городом другая атмосфера, микроклимат. Там, например, попросту теплее. От горизонта к горизонту, от блока к блоку мы передаем состояние, о котором идет речь, и попутно немного меняем его с помощью residual network. Residual — это когда мы сам тензор меняем совсем немного, прибавляя к нему измерения. Обученная часть — дельта от обучаемой части, изменение тензора. Мы берем запомненное состояние, с помощью деконволюции делаем из него какую-то карту выпадения осадков, складываем их с облаками и двигаем их.
Такова нынешняя архитектура сети. Она работает, предсказывает, и результаты получаются довольно хорошими — вы их можете увидеть на сайте. Но они довольно хорошие с точки зрения метрик data science, ROC AUC и F1-меры, а бизнесу интересны не абстрактные циферки и кривые, которые мы рисуем. Бизнесу интересна точность этих предсказаний, точность текста о том, что дождь закончится через 10 минут 20 секунд. Перед нами сейчас стоит другая задача. Сейчас нейросеть обучается с какой-то функцией потерь. Она максимизирует вероятность правильной классификации с помощью бинарной энтропии. А на самом деле надо улучшать другие, бизнесовые метрики — не правильность классификации, а правильность определения времени начала и прекращения осадков.
Исследования о том, как из бизнесовых метрик получить loss-функции для обучения нейросетей, — очень важны и интересны. Мы продолжаем развиваться в нужном направлении. Помимо бизнесовых требований, у нас еще есть довольно много планов по развитию текущего решения. Например, в данный момент мы используем только снимки, но у нас есть огромное количество информации. Самое интересное — радиальная скорость. Радар по доплеровскому эффекту определяет не только наличие частиц в воздухе, но и их скорость. По длине отраженной волны он понимает, с какой скоростью движутся, к радару или от него. Результаты тоже можно использовать для прогнозирования векторного поля.
Но к несчастью, у нас есть только радиальная скорость и только в местах, где реально находятся какие-то частицы, осадки. Можно подмешивать векторные поля из метеомоделирования. Там есть ветра, а можно добавлять и еще что-то — например, температуру. В городах осадки ведут себя по-другому, чем над огромным Балтийским морем. Они над ним пролетают и выпадают уже в Питере. Сейчас нейросеть строит прогноз только по одной зоне, вокруг одного радара.
В Москве за полтора часа выпала треть месячной нормы осадков Росгидромет: в Москве за полтора часа выпала треть месячной нормы осадков В Москве за полтора часа выпала треть месячной нормы осадков. Высота осадков составила 20 мм.
По данным столичного Департамента транспорта, до конца дня в городе будет дождь с грозой и сильный ветер. В вечерний разъезд локальные затруднения ожидаются по направлению в область на шоссе Энтузиастов и на Ленинградском шоссе.
Как мы делали краткосрочный прогноз осадков. Лекция в Яндексе
Удобный интерфейс сайта или мобильного приложения В идеале вся интересующая информация должна находиться на главной странице, а реклама не должна сильно отвлекать или занимать большое количество места на экране. Прогноз погоды на сутки Погода — часто меняющееся явление. Поэтому, если вам важна точность, советуем выбирать сервис, который показывает почасовой прогноз на ближайшие сутки. Это позволит скорректировать ваши планы и, например, вовремя захватить зонт. Прогноз погоды для отдельных районов города Это особенно актуально для жителей мегаполисов.
Часто случается, что погода на окраинах и в центре сильно различается.
Из ниоткуда возникало облако. Третьим решением стало последовательное применение одного и того же преобразования thin plate spline к одной картинке.
С одной стороны, оно способствовало накоплению ошибок. Это было первое реально работающее решение, которое мы показывали при внутреннем бета-тесте. Нейросеть получала на вход шесть радарных снимков за последний час, несколькими свертками приводила их к тензору из 16 векторов 4 x 4.
Cплайновое преобразование восстанавливалось по векторам и последовательно применялось к картинке для получения каждого следующего горизонта прогноза. Решение довольно хорошо себя показало, но оставался единственный вопрос: зачем нужна нейросеть? Если красные свертки — единственная часть, которую мы обучаем, почему бы нам не вычислить векторное поле самостоятельно, алгоритмически?
Так что четвертое решение, которое заметно улучшило результат, использовало явную минимизацию loss-функции. Мы искали векторное поле, которое бы одинаково хорошо приближало переход на 10 минут в последний час. От —60 минут до —50, потом до —40 и т.
Мы применяли это векторное поле к t0, чтобы получить прогноз на 10 минут дальше. Алгоритмически гораздо лучше находить векторное поле с помощью минимизации. Оно быстрее работает, не требует обучения.
Самое интересное — оно не требует всех данных. Можно пропустить какие-то данные — а радары довольно часто запаздывают. Мы долго думали, что же оставить — нейронные сети или алгоритмические вычисления векторного поля.
Но всё победил тот самый лазерный меч в Иваново. Когда он висит над вами как дамоклов меч и зануляет вокруг себя все вектора, то облака не могут ни пересечь его, ни двигаться в одном районе с ним. Даже какого-то физического движения на картинке не происходит.
Поэтому в конечном итоге мы пришли к нейронной сети. Сейчас нейронная сеть работает и выдает предсказания, схематически ее архитектура изображена здесь. Она составлена из 12 примерно одинаковых блоков.
Каждый блок последовательно строит прогноз по своему горизонту, получая на вход некоторый тензор состояния и последний радарный снимок, последнее предсказание с предыдущего горизонта. Тензор состояния имеет довольно маленькую размерность, всего 32 x 32 на 30 каналов, но сверткой к инволюции мы получаем из него векторное поле, опорные вектора для преобразования thin plate spline. И, наоборот, сверткой к деконволюции мы получаем места, где выпадают осадки.
Такая архитектура нейросети учитывает, что в каких-то местах осадки выпадают традиционно. Например, туча, налетевшая на город, прольется с большей вероятностью, чем над лесом, потому что над городом другая атмосфера, микроклимат. Там, например, попросту теплее.
От горизонта к горизонту, от блока к блоку мы передаем состояние, о котором идет речь, и попутно немного меняем его с помощью residual network. Residual — это когда мы сам тензор меняем совсем немного, прибавляя к нему измерения. Обученная часть — дельта от обучаемой части, изменение тензора.
Мы берем запомненное состояние, с помощью деконволюции делаем из него какую-то карту выпадения осадков, складываем их с облаками и двигаем их. Такова нынешняя архитектура сети.
Однако во второй половине дня осадки не будут такими интенсивными, уточнил Вильфанд. До 1 мая в городе прогнозируется ясная погода без дождей. Видео: Москва 24 В связи с непогодой на улицы города вышли 300 бригад Мосводостока. Специалисты ликвидируют последствия сильных осадков с применением 290 единиц техники.
Внизу: ожидаемые кадры во время предсказания. Здесь , а Мы предсказываем на два часа вперёд с шагом 10 минут. Это 12 кадров плюс ещё несколько про запас на случай перебоя в поставке данных с радара. Чаще всего решение такой задачи сводится либо к применению алгоритмов optical flow 1 , 2 , 3 , либо к нейросетевым методам 1 , 2 , 3 , 4 , 5 , 6.
Долгое время в продакшене у нас работал алгоритм на основе optical flow, который мы смогли натюнить таким образом, что он побил по метрикам нашу предыдущую нейросетевую архитектуру. Далее расскажем о том, как мы наконец обошли optical flow и сделали более качественный прогноз с использованием нейросетей. Авторы добавили вход для пространственной памяти обозначение в статье и расширили output gate, чтобы научиться её учитывать рисунок 3. Утверждается, что это помогает лучше запоминать пространственные изменения в последовательности кадров видеоряда.
Рисунок 3.
А можно поточнее? Как делается прогноз погоды и можно ли его улучшить?
Прогноз осадков на 2 часа (наукастинг). «Русскую» зиму отменили синоптики из-за феномена Эль-Ниньо в сезоне-2023/24. Наукастинг. Прогноз текущей погоды – детализированный прогноз погоды на ближайшие часы (до 2-6 часов).Продолжительность жизненного цикла некоторых погодных явлений (например, шквалов, ливней и т.д.) варьирует от минут до десятков минут. Прогноз осадков на 2 часа (наукастинг). Ведущий специалист центра погоды «Фобос» Александр Синенков спрогнозировал резкие перепады температуры воздуха в ряде регионов России. точный и подробный прогноз погоды в любом уголке мира на сегодня, завтра и неделю. Опасные явления — шквалистый ветер, сильные ливневые осадки, град — живут недолго, поэтому о них часто предупреждают лишь за несколько часов до возникновения. Прогноз осадков по ЕТР на 2 часа (наукастинг).
☔ТОП самых точных сайтов прогноза погоды на 2024 год
точный и подробный прогноз погоды в любом уголке мира на сегодня, завтра и неделю. Прогноз осадков на 2 часа (наукастинг). По данным центра «ФОБОС», Ленобласть находится под воздействием активного атлантического циклона, центр которого выходит в акваторию Ботнического залива. Наукастинг точен на 100%. Завтра, 28 декабря, погоду в Приморье определяет гребень антициклона, преимущественно без осадков.