Ученые заявляют об открытии нового метода увеличения мощности ИИ, но есть основания для скептицизма

Обнаружили ли исследователи новый "закон масштабирования" для ИИ? Именно такие слухи распространяются в социальных сетях, однако эксперты остаются скептически настроенными. Законы масштабирования ИИ — это неформальное понятие, описывающее, как улучшается производительность моделей ИИ с увеличением объема данных и вычислительных ресурсов, используемых для их обучения. До примерно прошлого года увеличение "предобучения" — обучение всё более крупных моделей на всё более крупных наборах данных — было доминирующим подходом, по крайней мере, в том смысле, что большинство передовых лабораторий ИИ придерживались его.

Однако дальнейшие исследования показывают, что просто увеличение числа параметров и данных больше не гарантирует значительных улучшений в производительности моделей. В последние годы увеличение эффективности алгоритмов и оптимизация архитектур ИИ стали столь же важными факторами для достижения высоких результатов. Это указывает на более сложную динамику в развитии ИИ, чем просто следование законам масштабирования.