В СГТУ разработали систему управления антропоморфного ассистента педагога

Коллектив кафедры «Системотехника и управление в технических системах» Саратовского государственного технического университета имени Гагарина Ю.А.: Михаил Степанов, Дмитрий Петров, Вячеслав Мусатов, Игорь Егоров, Светлана Пчелинцева, Андрей Степанов и другие разработали при участии АО «НПО «Андроидная техника» (г.Магнитогорск) два прототипа антропоморфных ассистентов преподавателя для детей с когнитивными нарушениями.

Ученые назвали прототипы «Маша» и «Медведь».

В рамках проекта создания исследовательской лаборатории-полигона разработки программно-аппаратного комплекса робота-ассистента антропоморфного типа (ПАК РААТ) для педагога с применением контроля обучения на основе расшифровки паттернов активности головного мозга, выполняемого совместно с АО «НПО «Андроидная техника» (г.Магнитогорск) при поддержке Министерства науки и высшего образования РФ были созданы две лаборатории:

• Исследовательская лаборатория-полигон на базе АО «НПО «Андроидная техника».
• Учебно-исследовательская на базе кафедры «Системотехника и управление в технических системах» Саратовского государственного технического университета имени Гагарина Ю.А.

При разработке роботов для работы с детьми, в особенности с теми, у кого имеются когнитивные нарушения необходимо учитывать множество факторов и, прежде всего – безопасность.

«В режиме реального времени роботу требуется решать много различных задач. Эффективность их решения определяется не только наличием вычислительных ресурсов, но и продуманной организацией аппаратно-программного комплекса, ориентированного на специализированный класс задач автономного робота», – рассказывает о своей разработке Михаил Степанов, доктор технических наук, доцент, – «с этой целью проведён анализ комплекса задач робота ассистента для педагога, в частности – задачи получения информации об окружающей среде. Также мы проанализировали способ определения роботом состояния обучаемого: его внимание к процессу, интерес, вовлеченность. При необходимости робот должен уметь реагировать на состояние ребенка и производить определенные действия для возвращения внимания ученика. Для решения этой задачи мы построили теоретико-множественную модель программно-аппаратного комплекса, на основе которой строится оптимальная конфигурация архитектуры программно-аппаратного комплекса робота ассистента. Кроме того мы предусмотрели возможность параллельного решения задач и анализа ситуации».

На данный момент робот-ассистент, разработанный учеными СГТУ, может выполнять односложные действия, такие как:

• приносить предметы,
• заваривать себе кашу (смешивать крупы и заливать молоком из стакана),
• смешивать продукты и переставлять предметы с учетом их формы и размера,
• демонстрировать порядок действий по решению задач в соответствии с разработанными методиками.

Робот снабжен датчиками движения, дальномерами, системами технического зрения и речевого общения. В дальнейшем можно увеличить количество его функций за счет программных надстроек и программирования отдельных действий.

При разработке робота ученые ориентировались на исследования в области работы с детьми с аутизмом, которые проводились в 2014 году под руководством Кристины Костеску и Закари Воррена, согласно полученным данным:

• дети уделяют больше внимания роботу, чем человеку;
• задания с повторениями выполняются лучше при участии робота;
• познавательные способности детей одинаковы как при обучении роботом, так и человеком.

На основе этого исследования роботы-ассистенты педагога созданы с учетом следующих требований требований:

• небольшие габариты (высота примерно 155 см), что подсознательно соотносит его с ребенком подросткового возраста;
• наличие алгоритма отработки сложных навыков (речь, игра, умение смотреть в глаза);
• своевременная реакция на потребность в коммуникации и создании дружественной связи, удовлетворения проявленного любопытства;
• исключение любого вреда, наносимого ребенку даже при агрессии со стороны ребенка;
• распознавание приступов агрессии и других подозрительных жестов со стороны ребенка, которые могут ему навредить, и сообщать оператору.

Стоит отметить, что робот может лишь помочь преподавателю в проведении урока, а не заменить преподавателя. Например, в начальной школе, а так же в 5-6 классах робот может следить за дисциплиной. Его задача – контролировать состояние учащегося во время учебного процесса. Текущие состояние ученика определяется на основе исследования мозговой активности по данным электроэнцефалограмм (ЭЭГ) и эмоционального состояния по видеоизображению лица. Для анализа ЭЭГ-данных, анализа видеоизображения лица для идентификации психоэмоционального состояния обучаемого применяются искусственные нейронные сети глубокого обучения.

Действия робота-ассистента педагога направлены на повышение вовлечённости в учебный процесс и реализуются в соответствии с некоторой процедурой, адекватной текущему состоянию учащегося. Указанные процедуры разделяются на предопределенные (разработанные педагогом-методистом) и автоматически построенные подсистемой планирования решений задач.

Процедуры включают обязательное информирование оператора (педагога-методиста) о текущем состоянии учащегося и выбранном виде управляющего воздействия на него (если это целесообразно) для одобрения (допуска к выполнению) педагогом.

• выдача новых учебных заданий (более сложных для «передовиков» или менее сложных для «отстающих»);
• помощь (подсказка, демонстрация примерного варианта действий по решению задачи) в выполнении учебного задания;
• переключение внимания учащегося с целью повышения его мыслительной активности.

В 7-8 классах робот может выявлять психоэмоциональные проблемы у подростков и корректировать их в соответствии со встроенными алгоритмами. В старших классах специализированных школ возможно подключение обучаемых к работе с робототехническим комплексом в рамках проектной и научной деятельности для разработки собственных алгоритмов управления роботом.

Широкое разнообразие задач подлежащих решению требует распределенной организации вычислительной среды. На современном этапе развития информационных технологий в подобных ситуациях часто применяется подход, получивший обобщенное название «облачные вычисления», эта технология позволяет использовать дополнительные ресурсы, находящиеся на других серверах для решения больших вычислительно сложных задач. К таким задачам относятся: анализ ЭЭГ-данных, идентификация психоэмоционального состояния, обработка речевой информации, планирование действий и другие.

Новизна полученных методик и решений подтверждается 2 патентами, 4 заявками на изобретения, 14 публикациями в ведущих научных изданиях (включая Q1/Q2), индексируемых в базах данных Scopus/Web of Science, 20 свидетельствами Роспатента о регистрации программ для ЭВМ, реализующих разработанные методы и алгоритмы.