Новая разработка Apple LaDiR: прорыв в улучшении больших языковых моделей

Команда исследователей Apple представила новый подход, который значительно повышает качество ответов больших языковых моделей (LLM) в таких областях, как математические рассуждения и генерация кода.

Объединение диффузии и авторегрессии

Специалисты Apple совместно с коллегами из Калифорнийского университета в Сан-Диего подробно описали свой фреймворк LaDiR (Latent Diffusion Enhances LLMs for Text Reasoning). В отличие от традиционных авторегрессионных моделей, которые генерируют текст последовательно, по одному элементу (токену), диффузионные модели обрабатывают множество токенов параллельно. Компания Apple ранее уже применяла диффузионные модели для прогнозирования сворачивания белков и генерации кода.

Суть LaDiR заключается в комбинировании этих двух подходов: процесс рассуждения осуществляется с использованием диффузии, а окончательный вывод генерируется авторегрессионно.

Принцип работы LaDiR

Система LaDiR параллельно обрабатывает множество путей рассуждения, причём каждый из них запускает собственный диффузионный процесс. Специальный механизм способствует исследованию различных возможностей, что приводит к формированию разнообразного набора потенциальных ответов.

В процессе вывода, когда модель формирует ответ на запрос пользователя, LaDiR генерирует последовательность скрытых блоков рассуждений. Каждый блок начинается как случайный шаблон (шум) и постепенно преобразуется в более связный шаг. Как только модель определяет, что рассуждений достаточно, она переключается на авторегрессивную генерацию окончательного ответа, токен за токеном.

Ключевая особенность заключается в способности LaDiR запускать несколько таких путей рассуждения параллельно. Механизм стимулирует исследование разных вариантов, предотвращая их слишком раннее схождение к одной и той же идее, что могло бы снизить эффективность подхода.

Важно отметить, что LaDiR не является новой моделью как таковой, а представляет собой фреймворк, надстраиваемый над существующими языковыми моделями. Он изменяет сам процесс рассуждения при решении задач, а не заменяет модели целиком.

Результаты тестирования LaDiR

В ходе исследования фреймворк LaDiR был применён к модели LLaMA 3.1 8B от Meta для задач математического рассуждения и планирования головоломок, а также к Qwen3-8B-Base для генерации кода.

• На математических бенчмарках LaDiR показал более высокую точность по сравнению с существующими методами и превосходные результаты даже в сложных, нестандартных задачах.
• В тестах на генерацию кода, таких как HumanEval, LaDiR продемонстрировал более надёжные выводы, значительно превзойдя стандартную донастройку, особенно при решении сложных проблем.
• В задачах на планирование головоломок, например, в игре Countdown, LaDiR исследовал более широкий спектр допустимых ответов, чем любая базовая модель, и находил правильные решения надёжнее всех универсальных аналогов. Однако по точности с первой попытки он уступил специализированным моделям, разработанным под конкретные задачи.

Хотя некоторые аспекты работы LaDiR могут показаться достаточно техническими, она представляет значительный интерес для тех, кто увлекается внутренним устройством больших языковых моделей и инновационными подходами к улучшению генерации текста.