Житель Снежинска перевел на «безопасные счета» более 1,8 млн
сегодня, 11:17 Происшествия
Крупный пожар тушат в торговом центре в Магнитогорске, есть жертвы
сегодня, 10:58 Происшествия
Родителям будет грозить штраф до 7 тыс. рублей за курение детей
сегодня, 10:38 Общество
На крайнем севере Челябинской области зафиксированы слабые заморозки, на юге – град
сегодня, 09:41 Общество
В Челябинске с вечера 18 мая изменят маршруты троллейбусов № 5 и 7
сегодня, 08:36 Общество
18 мая – день памяти иконы «Неупиваемая чаша»: образ, который исцеляет от дурных пристрастий
сегодня, 08:03 Общество
Росстат: Абонентская плата за пакет услуг сотовой связи в апреле выросла на 8,5%
сегодня, 07:47 Общество
Холодный атмосферный фронт ненадолго испортит погоду на Урале
сегодня, 07:21 Общество
В Челябинской области будет локализовано несколько российско-китайских производств
вчера, 21:32 Экономика
На трассе М-5 в Челябинской области иномарка при обгоне улетела в лесополосу, водитель погиб
вчера, 21:13 Происшествия
Суд назначил предварительное заседание по делу экс-советника главы Челябинска
вчера, 19:23 Общество
Жительница Миасса лишилась 600 тыс., поверив мошенникам
вчера, 16:42 Происшествия
В трех регионах Урала объявлен предпоследний уровень погодной опасности
вчера, 16:27 Общество
На жителя Челябинской области завели уголовное дело из-за рыбалки во время нереста
вчера, 16:11 Общество
В центре Челябинска пройдет семейный фестиваль «Пикник на Алом»
вчера, 15:57 Общество
В Миассе арестован мужчина, убивший выстрелом из охотничьего ружья парня на стадионе
вчера, 15:22 Происшествия
Концерт Стаса Михайлова в Челябинске перенесли еще на 5 месяцев
вчера, 15:20 Общество
Полиция пресекла несанкционированные уличные мотозаезды в Челябинской области
вчера, 15:06 Происшествия
Курьера мошенников отдали под суд в Магнитогорске за хищение 1,6 млн у пенсионеров
вчера, 14:50 Общество
Глава СКР Бастрыкин затребовал доклад о школьном скандале в Челябинской области
вчера, 14:19 Общество
Пытаясь заработать на маркетплейсе, жительница Миасса лишилась более 225 тысяч
вчера, 14:16 Происшествия
Синоптики дали прогноз на выходные: на Южном Урале ожидается температурный зигзаг
вчера, 14:12 Общество
Жительница Челябинска, «нарисовав» ребенка, похитила у государства около 1 млн
вчера, 13:33 Общество
Из-за спортивного мероприятия в Челябинске 19 мая автобусы изменят маршруты
вчера, 13:14 Общество
Футбольный клуб «Челябинск» сыграет с именитой «Уфой»
вчера, 13:03 Общество
У жителя Челябинской области после пьяной поездки конфисковали автомобиль Mazda
вчера, 12:46 Общество
Дело о поджоге автомобиля челябинского госавтоинспектора из мести передали в суд 
вчера, 12:25 Происшествия
В Челябинске две девушки разложили 95 закладок в Советском районе
вчера, 12:24 Происшествия
Синоптики вновь предупреждают о заморозках в Челябинской области
вчера, 12:16 Общество
Челябинцу выстрелили в лицо из сигнального пистолета во время необычного знакомства
вчера, 12:07 Происшествия
В Челябинске компания подростков ради забавы перебегала ж/д пути перед поездами
вчера, 12:04 Происшествия
В Челябинске начинается судебный процесс над адвокатом, обвиняемым в мошенничестве
вчера, 11:46 Общество
Тело канадца, по ошибке похороненного в Челябинске, будет эксгумировано
вчера, 11:30 Общество
Движение транспорта будет закрыто 19 мая на северо-западе Челябинска из-за полумарафона
вчера, 11:29 Общество
В Челябинске изменятся маршруты 2 троллейбусов
вчера, 11:12 Общество
В 4 челябинских районах ДПС досматривает транспорт после вспышки африканской чумы свиней
вчера, 11:04 Общество
Глава Ростеха: Перенос вредного производства ЧЭМК оплатит инвестор, есть поручение Путина
вчера, 10:34 Экономика
Челябинская Госавтоинспекция предупредила о тотальных проверках
вчера, 10:20 Общество
Жители оторванной от «большой земли» деревни под Чебаркулем 15 лет ждут мост
вчера, 10:18 Общество
Заморозки до минус 2 отмечены на Южном Урале минувшей ночью
вчера, 10:03 Общество

Ученые представили модели ИИ, способные распознавать русский жестовый язык

Общество
23 ноября 2023 года, 16:40
- T +

Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык. Об этом на конференции AI Journey сообщил старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка Андрей Белевцев, передает корреспондент Агентства новостей «Доступ».

Команда Vision RnD (из Управления экспериментальных систем машинного обучения) в SberDevices, разрабатывающая одно из таких решений, первой в мире представила прототип общения с генеративной языковой моделью при помощи жестового языка в открытом доступе. Это стало возможно благодаря использованию GigaChat API, программного интерфейса доступа к сервису GigaChat. Генеративная модель GigaChat сама, без дополнительных преобразований, понимает контекст распознанных жестов. Например, распознанные отдельные слова: «Я Идти Улица Гулять» сервис сам преобразовывает в корректную фразу: «Я пошел гулять на улицу», сохраняя контекст передачи информации.

Текущая версия модели позволяет распознавать более 2500 жестов, включая понимание дактиля (произношение слов по буквам) и возможность распознавать составные жесты. Кроме того, модель понимает терминологию по темам банковской сферы, транспорта, животных, и даже несколько слов из сферы медицины и образования. Этот объем покрывает существенную часть словаря русского жестового языка, позволяя создавать сервисы с нужным прикладным применением.

На базе этой модели были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000. Достичь такого результата позволило использование самого разнообразного и большого в мире датасета для распознавания русского жестового языка — Slovo. Датасет и обученная на нем модель выложены в открытый доступ.

Другая команда исследователей, из подразделения Sber AI во благо общества, разработала и опубликовала в открытом доступе легкую модель распознавания жестового языка, не требовательную к вычислительным ресурсам. Модель работает на CPU, что снижает себестоимость решений, создаваемых на ее основе. Это дает возможность широкому кругу разработчиков проектировать инклюзивное программное обеспечение, например, продукты и сервисы для коммуникации или инструменты для изучения жестового языка. На сегодняшний день алгоритм распознает 1600 жестов и преобразовывает в слова до трёх жестов в секунду на стандартных персональных компьютерах. В 2024 году планируется тестирование и внедрение модели распознавания русского жестового языка и решений на ее основе в ряде регионов России.

Андрей Белевцев, старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка:

«Сервисы для распознавания русского жестового языка и созданная Сбером система искусственного интеллекта GigaChat позволят преодолеть коммуникационный разрыв и сделают мир доступнее для людей с нарушением слуха. Модели могут использоваться в рамках исследований, позволяющих развивать сервисы для пользователей с инвалидностью. Например, для создания доступной среды в многофункциональных центрах (МФЦ), в транспортной отрасли (аэропорты, вокзалы, метро), в больницах для общения пациента и врача, в банковских сервисах и адаптации онлайн и оффлайн-образования».

Фото: freepik.com

Общество / другие новости из раздела

Родителям будет грозить штраф до 7 тыс. рублей за курение детей На крайнем севере Челябинской области зафиксированы слабые заморозки, на юге – град В Челябинске с вечера 18 мая изменят маршруты троллейбусов № 5 и 7 18 мая – день памяти иконы «Неупиваемая чаша»: образ, который исцеляет от дурных пристрастий Росстат: Абонентская плата за пакет услуг сотовой связи в апреле выросла на 8,5% Холодный атмосферный фронт ненадолго испортит погоду на Урале Суд назначил предварительное заседание по делу экс-советника главы Челябинска В трех регионах Урала объявлен предпоследний уровень погодной опасности На жителя Челябинской области завели уголовное дело из-за рыбалки во время нереста В центре Челябинска пройдет семейный фестиваль «Пикник на Алом» Концерт Стаса Михайлова в Челябинске перенесли еще на 5 месяцев Курьера мошенников отдали под суд в Магнитогорске за хищение 1,6 млн у пенсионеров
Опрос

Какие у Вас планы на лето?

  • Выехать на природу, позагорать или искупаться
    28%
  • Ничего не делать, а просто расслабленно отдыхать
    11%
  • Поездка на автомобиле по разным городам
    7%
  • Дача, сад, огород
    45%
  • Еще не решил, подумаю позже
    9%

Всего проголосовало: 170

Все опросы