Perplexity та NVIDIA скоротили витрати токенів на донавчання у 6–13 разів завдяки JOLT

21 жовтня Perplexity Research спільно з NVIDIA представили JOLT (Joint On-policy Learning and Teaching) — метод пост-тренування мовних моделей, покликаний зменшити витрати обчислювальних ресурсів під час формування навичок міркування.

Сьогодні базовим стандартом для таких завдань є навчання з підкріпленням за кінцевою винагородою (найчастіше алгоритм GRPO). Його головна проблема — розріджений сигнал: мережа дізнається результат лише наприкінці всього ланцюжка, через що в довгих агентних сценаріях спалюються терабайти згенерованих токенів. Дистиляція від окремої потужнішої моделі дає щільніший покроковий зворотний зв'язок, проте вимагає утримання стороннього «вчителя», чиї підказки не завжди адаптовані під можливості учня.

Автори JOLT об'єднали обидві ролі в одній моделі. «Вчитель» отримує привілейовану інформацію (наприклад, логи перевірок чи готове рішення), а «учень» бачить лише вихідну задачу. Аби вчитель зі шпаргалкою не давав недосяжних для учня підказок, його тренують із KL-регуляризацією, яка не дозволяє відриватися від поточних спроможностей учня. Останній, у свою чергу, навчається за оцінками вчителя для кожного токена.

За даними дослідників, розширена версія JOLT+ (що додає зважену кінцеву винагороду самого учня) перевершила GRPO на тестах моделей лінійки від Qwen3-0.6B до Qwen3-30B-A3B: на 4,2 в. п. у тесті MATH та на 9,9 в. п. в агентному середовищі AppWorld.

Головний виграш полягає в ефективності обчислень. На бенчмарку MATH для досягнення 63,4% точності алгоритму GRPO знадобилося 8,4 млн оброблених токенів, тоді як JOLT витратив 1,3 млн — приблизно в 6,5 раза менше. Якщо враховувати лише згенеровані токени, різниця сягає 13 разів.

Усі наведені показники базуються виключно на звіті розробників. Експерименти проводилися на відносно компактних моделях, а незалежних підтверджень ефективності підходу на великих масштабах наразі немає.

Джерело: habr

Джерело: Perplexity Blog