Международная группа исследователей опубликовала работу, посвящённую решению вариационных неравенств с функциональными ограничениями. Эти задачи лежат в основе многих современных методов машинного обучения, включая генеративно-состязательные сети, обучение с подкреплением и состязательное обучение.
Авторы предложили новый тип алгоритмов, основанных на методе зеркального спуска. Ключевая особенность — адаптивное переключение между продуктивными и непродуктивными шагами в зависимости от текущих значений функциональных ограничений. Это позволяет эффективно обрабатывать ограничения-неравенства, которые часто встречаются в прикладных задачах.
Для предложенных алгоритмов доказана оптимальная скорость сходимости к решению с заданной точностью. Анализ проводился для задач с ограниченными монотонными операторами и липшицевыми выпуклыми функциональными ограничениями.
Кроме того, исследователи разработали модификацию, которая при продуктивном шаге учитывает каждое функциональное ограничение, а также первое нарушающее допустимость ограничение. Это позволяет сократить время работы при большом числе ограничений.
Также проведён анализ для ?-монотонных операторов, что позволяет применять алгоритмы к задачам минимизации с неточной информацией о субградиенте целевой функции. Численные эксперименты подтверждают работоспособность и эффективность предложенных методов.