Сегодня в индустрии искусственного интеллекта актуальны задачи повышения эффективности использования вычислительных ресурсов, ускорения обучения моделей, работы со сложными данными и снижения зависимости от дорогостоящей ручной разметки. Этим вопросам посвящена серия научных работ, представленных исследователями и инженерами на конференции International Conference on Machine Learning (ICML), проходящей в Сеуле (Южная Корея) с 6 по 11 июля.

Международная конференция по машинному обучению

ICML считается одной из крупнейших мировых конференций в области машинного обучения, ежегодно объединяя специалистов ведущих университетов, научных центров и технологических компаний. В 2026 году на рассмотрение было подано 23 918 научных работ, из которых в основную программу вошли 6 352 статьи (26,6% от общего числа заявок).

Эффективное использование вычислительных ресурсов

Современные разработчики искусственного интеллекта стремятся повысить производительность моделей без увеличения вычислительных мощностей. В одной из работ были предложены новые программные модули для графовых нейросетей, которые анализируют не только объекты, но и связи между ними (например, между пользователями и товарами, документами или участками дорожной сети). Эти модули позволяют значительно эффективнее использовать память видеокарт: в экспериментах удалось ускорить вычисления до 8,5 раз, снизить пиковое потребление памяти до 76 раз, а отдельные операции — в 3,9–10 раз. Код модулей опубликован в открытом доступе. Работа получила статус Spotlight, который присваивается статьям с высокими оценками программного комитета (в 2026 году такой статус получили 536 работ — 2,2% от всех поданных).

Ускорение обучения больших языковых моделей

В другой работе был рассмотрен вопрос ускорения обучения крупных языковых моделей с помощью метода конвейерного параллелизма (Pipeline Parallelism). При этом часть видеокарт простаивает в ожидании других устройств. Хотя асинхронные схемы позволяют устранить простои, считалось, что задержка градиентов делает их нестабильными для больших языковых моделей (LLM). Исследования показали, что деградация качества связана не с задержкой, а с выбором алгоритма оптимизации. Современные методы, такие как Muon, лучше справляются с задержкой градиентов по сравнению с классическим AdamW. Дополнительно была внедрена легковесная коррекция на уровне шагов оптимизатора, что позволило асинхронному методу на моделях Mixture of Experts (MoE) с 10 миллиардами параметров и обучением на 200 миллиардах токенов достигать качества, сопоставимого с синхронным обучением.

Новые алгоритмы оптимизации

В еще одной работе были предложены два новых алгоритма оптимизации — SoftSignum и SoftMuon, определяющие, как модель обновляет параметры во время обучения. В экспериментах эти методы стабильно превосходили несколько распространённых подходов, включая AdamW.

Работа со сложными данными

Для графовых задач была разработана модель GraphPFN, предварительно обученная на более чем 1,6 миллиона синтетических графов. Она показала высокое качество даже без дополнительной настройки, а при адаптации к конкретной задаче превзошла рассмотренные в работе подходы на большинстве реальных наборов данных. Метод позволяет быстрее создавать модели для новых задач и использовать меньше данных для обучения.

Другое исследование показало, что современные нейросети эффективнее работают с табличными данными, если учитывают неопределенность в данных. Для этого был предложен более эффективный способ представления числовых признаков.

Обучение моделей при нехватке данных

Во многих прикладных задачах имеется достаточно данных, но не хватает качественной разметки, особенно в областях, где требуется участие экспертов (например, медицина и промышленность). Для решения этой проблемы был предложен подход, позволяющий использовать небольшое количество размеченных данных в сочетании с большим объемом неразмеченных. Это помогает обучать модели в случаях, когда разметка новых данных слишком затратна или занимает много времени.

Ускорение поиска и рекомендаций

Поисковые и рекомендательные системы ежедневно обрабатывают большие объемы данных. Был предложен способ ускорения этой работы: в задачах, где самая точная модель слишком ресурсоемка для применения ко всем вариантам, новый метод позволяет заранее отбирать наиболее подходящих кандидатов, которых затем оценивает более точная модель. Это снижает вычислительные затраты.