Виртуальный ассистент для музейных пространств

Выпускник кафедры «Прикладные информационные технологии» Института прикладных информационных технологий и коммуникаций СГТУ имени Гагарина Ю.А. Сергей Корнеев разработал модуль сетевого взаимодействия, который должен привнести интерактивность в музейное пространство.

«Музеи, галереи и выставки – одна из наиболее перспективных областей для применения искусственного интеллекта. Сегодня культурные объекты заинтересованы в интеграции современных технологий в свою работу. Они помогают сделать навигацию по экспозициям удобнее, дают посетителям возможность почувствовать себя сопричастными к той или иной исторической эпохе, позволяют повысить вовлеченность аудитории. Внедрение интеллектуальных помощников в работу музеев также повышает интерес к этим пространствам среди подрастающего поколения, ведь детям всегда нравится игровой формат получения знаний», - рассказал разработчик.

Под руководством доцента кафедры, кандидата технических наук Михаила Королёва был проведён детальный анализ существующих программных решений в данной сфере.

Особенностью разработанной в Политехе программы является использование интеграционного каркаса, объединяющего LLM-модель, сервис синтеза речи и модуль планирования действий NPC. Данный виртуальный ассистент может выступать гидом, при этом создавая эффект живого общения. Синхронная генерация реплик, жестов и анимации позволяет помощнику разговаривать с людьми, показывать экспонаты и рассказывать интересные факты. Так, гид-помощник может полноценно общаться по выбранной и заданной заранее тематике. При этом анимированная ЗD-модель сопровождает свою речь реалистичными жестами. Кроме того, детально проработана анимация губ помощника, которая генерируется во время разговора и подстраивается под динамично озвученный текст.

«Выполнен выбор технологий и средств разработки программных компонентов, включая инструменты для рендеринга трёхмерного окружения, синтеза речи, лицевой анимации, а также внешние интеграции с сервисами и библиотеками, необходимыми для функционирования комплекса. Отдельным этапом была реализована разработка модуля сетевого взаимодействия, обеспечивающего эффективную коммуникацию виртуального ассистента с пользователями через чат-бот и внешние сервисы», - поделился процессом работы Сергей Корнеев.

Отмечается, что в общении с посетителем персонаж не использует стандартные аудиодорожки, а каждый раз отвечает уникально. В базе программы – нейронная сеть, которая обучена по необходимой тематике. Так, сейчас формируется набор данных по теме истории Увекской археологической экспедиции, которая проводится более 20 лет на территории золотоордынского города Укек, располагавшегося в границах современного Саратова с середины XIII до конца XIV вв. Ассистент будет использоваться при проведении тематического ежегодного фестиваля.

Кроме того, интеллектуального помощника сейчас обучают и для использования в Институте прикладных информационных технологий и коммуникаций СГТУ имени Гагарина Ю.А. Он будет помогать абитуриентам и первокурсникам.

Автор разработки отмечает, что данный программный комплекс обеспечивает стабильное, удобное взаимодействие посетителей с виртуальным персонажем и демонстрирует возможности современных технологий для значительного повышения качества коммуникации пользователей с музейными экспозициями.