Google DeepMind випустила модель SL2T для перекладу жестової мови у текст

Google DeepMind представила SL2T — модель для перекладу американської жестової мови у текст. Нейромережу інтегрували в Gboard та Live Transcribe на Pixel 11: користувачі можуть вводити текст, показуючи жести на камеру.

У Gboard функція працює як голосове диктування: користувач спрямовує камеру на себе та жестикулює, а система перетворює рухи на англійський текст. Так можна писати повідомлення, набирати документи, вводити пошукові запити або спілкуватися з Gemini. У Live Transcribe технологія дозволяє відповідати жестами під час розмови зі співрозмовником, який використовує устну мову.

Модель SL2T побудована на базі трансформера та генерує переклад авторегресійно. На вхід надходить не зображення з камери, а послідовність координат 130 ключових точок обличчя, тіла та рук. Це важливо, оскільки зміст фраз часто передається не лише руками, а й рухами корпуса, голови та обличчя.

Система локально обробляє відео та одразу видаляє його, а на сервери компанії потрапляють лише координати. Це дає більше приватності, але накладає обмеження: SL2T не відстежує рух язика, не бачить навколишні об'єкти та не отримує інформацію про глибину. Система поки що може обробляти фрагменти тривалістю не більше 60 секунд, не зберігає історію реплік, не враховує активний застосунок і не підтримує користувацькі жести чи команди на кшталт «новий рядок».

Для навчання Google зібрала понад 100 тисяч годин даних понад 50 жестовими мовами, приблизно чверть припадає на ASL. У тестi FLEURS-ASL модель отримала 70 балів у режимі zero-shot, а на версії з жестами однією рукою — 74 бали. Точність розпізнавання за FSboard становить 64%. Компанія зазначає, що модель може гірше справлятися з регіональними варіантами, складними граматичними конструкціями та іноді генерувати галюцинації за відсутності жестів.

Джерело: habr