Исследователи из международного коллектива разработали новый подход к обучению рекуррентных нейронных сетей (RNN) для реконструкции нелинейных динамических систем. Метод, получивший название GTF-DEER, сочетает параллельные во времени вычисления с обобщенным принудительным обучением (Generalized Teacher Forcing). Результаты работы опубликованы в архиве препринтов arXiv.
Классический алгоритм обратного распространения ошибки во времени (BPTT) требует линейного времени O(T) для последовательности длины T, что ограничивает длину обрабатываемых временных рядов. Новый подход использует параллельные ассоциативные сканы, снижая сложность до O(log T). Это позволяет работать с последовательностями, содержащими более 10 тысяч шагов.
Авторы рассмотрели два класса моделей: линейные, но неавтономные с нелинейным считыванием (например, современные State Space Models), и общие нелинейные модели, распараллеливаемые с помощью фреймворка DEER. Выяснилось, что линейные модели часто не способны точно обучаться для нелинейных динамических систем из-за ограничений рекуррентности на этапе обучения.
Для преодоления этой проблемы исследователи предложили GTF-DEER — вариант нелинейного фреймворка, который обеспечивает стабильное и эффективное обучение нелинейной динамики для произвольной длины последовательностей. Эксперименты показали, что использование сверхдлинных траекторий (T> 10^4) значительно улучшает качество реконструкции, особенно когда данные содержат медленные временные масштабы.
Работа демонстрирует, что доступ к длинным последовательностям может кардинально повысить точность моделирования сложных динамических систем. GTF-DEER позиционируется как надежный инструмент для data-driven discovery, а также подчеркивает неиспользованный потенциал обучения на длинных последовательностях в этой области.
Полученные результаты могут найти применение в таких сферах, как прогнозирование климата, анализ финансовых временных рядов, управление робототехническими системами и биоинформатика, где траектории систем часто имеют большую протяженность и сложную динамику.