разработка тренажеров для обучения
Производственный VR тренажёр своими силами
Привет Хабр, сегодня в нашем блоге гостевой пост от инженеров — сотрудников Группы Магнезит, производителя огнеупорных материалов. Они расскажут о том, как разработали тренажёр виртуальной реальности, используя набор из Компас-3D + Blender + Unreal Engine.
Виртуальный тренажёр
Тренажёр потребовался для обучения сотрудников технике кладки огнеупоров в футеровку (облицовку) туннельного вагона. Футеровка вагонов состоит из нескольких слоёв. Верхние два ряда – изделия Группы Магнезит, изготовленные по индивидуальному дизайну, остальные входят в комплект поставки оборудования. Огнеупоры, составляющие кладку футеровки вагонов, подгоняются друг к другу посредством шлифовки на станке.
Далее передаем слово разработчикам VR-тренажёра Александру Байсарову и Игорю Минниханову, специалистам проектно-конструкторского отдела Управления инжиниринга, проектов и производства работ Группы Магнезит.
Разработчики VR тренажёра (Фото: Магнезитовец https://www.magnezitnews.com/)
Один из самых важных этапов в создании виртуального тренажёра — понять, в чём заключается процесс, самим разобраться в нём. Для этого мы выходили на производство, делали фотографии интересующих нас операций, фотографировали инструменты, чтобы их потом смоделировать. Производили замеры интересующих нас объектов.
Для создания тренажёра по футеровке вагонетки мы использовали три программы: КОМПАС-3D V15.2, Blender, Unreal Engine 4. Моделировать можно как в КОМПАС, так и в Blender. Но КОМПАС позволяет выполнить точную по размерам модель, поэтому именно он был использован в качестве программы для моделирования.
Первым практическим этапом стало моделирование футеровки вагонетки, а это почти 700 деталей.
Футеровка вагонетки
Но модели самой вагонетки недостаточно, необходимо было также смоделировать интерьер, чтобы было ощущение полного погружения в процесс. В частности в КОМПАС были смоделированы ручной вибратор, стол для изделий, рулонный материал.
Двигатель виброустановки
Из КОМПАС мы передавали в Blender через расширение STL. Тут возникла сложность. Blender открывал STL файлы как одно тело, а в конечном продукте нам нужны были отдельные компоненты, чтобы работать с каждым из них Поэтому нам подошли оба способа моделирования в КОМПАС, описанные выше. Также файлы STL не передают цвета модели, поэтому в КОМПАС мы не задавали цвета.
В Blender мы разделяли модели рядов на отдельные компоненты. Также на этом этапе подбирались материалы и текстуры, создавались UV-карты, чтобы выглядело реалистично. Далее из Blender мы через файлы расширения FBX модель полностью собранной футеровки вагонетки передавали в Unreal Engine 4.
В Unreal Engine 4 уже писался сам процесс футеровки в VR для конечного пользователя. До этого мы разрабатывали виртуальный тур по производственным площадкам предприятия, там была своя механика — ходить по помещению, изучать оборудование, но не взаимодействовать с окружающим миром. Для тренажера она не годилась. Здесь обучающийся должен иметь возможность производить виртуальные действия — взять огнеупорное изделие или материал и установить его в нужное место.
По итогу проделанной работы мы получили тренажёр с возможностью погрузиться в процесс футеровки вагонетки для туннельной печи. В тренажёре применяется VR-шлем Oculus Rift S. В нём имеются встроенные камеры для определения пространства, и поэтому нет необходимости в установке дополнительных датчиков по стенкам помещения.
Вот так выглядит модель в сборе в КОМПАС, но в полностью собранном виде модель нам была не нужна и эту сборку сделали только для того, чтобы показать модель футеровки вагонетки целиком.
Так футеровка выглядит в конечном виде для пользователя.
Тренажёр виртуальной реальности
Текстуры изделия Двигатель виброустановки
В последующем разработанное виртуальное пространство можно будет использовать для имитирования различных нештатных ситуаций: пожара, задымления, аварийной поломки оборудования. По результатам можно будет посмотреть, как поведёт себя человек в случае ЧП, отработать технику безопасности, не подвергая его риску. Одним из главных преимуществ виртуального тренажера является эффект погружения в процесс. Во время обычных занятий человек может отвлечься от изучаемого материала и упустить важные моменты, тогда как при обучении на VR-тренажере он сконцентрирован на предмете. Это позволяет быстрее и эффективнее проходить обучение, при этом изученный материал запоминается лучше. Применение VR-тренажеров – это ещё и экономия, отсутствие затрат на организацию помещения, имитирующего рабочее место, на закупку оборудования, инструментов. Для обучения достаточно шлема виртуальной реальности, пустого пространства и программного софта, создание которого под силу команде инжиниринга.
Разработка виртуальных тренажеров
Введение
Виртуальные тренажёры – это интерактивные приложения, основная цель которых – формирование и развитие навыков учащихся. Для этого тренажёр должен с достаточной точностью отражать реальные ситуации, с которыми в дальнейшем ученикам придётся иметь дело.
Как мы добиваемся реалистичности и почему мы так увлечены виртуальными тренажёрами, вы узнаете в этом разделе.
Какие проблемы решают виртуальные тренажёры
Мы постарались отразить типовые проблемы, которые могут решить виртуальные тренажёры, ниже:
Необходимость в дорогостоящем оборудовании
Это годами проверенная технология и она даёт отличные результаты, особенно, если оборудование имеется в достаточном количестве.
Но что, если пульты машиниста очень дорогие, и их так мало, что не хватает даже для переоснащения «боевых» поездов, не то что учебных?
Необходимость в имитации аварийных или опасных ситуаций
Тренировка действий в аварийных или опасных ситуациях – одна из задач, которые очень сложно отработать на практике и, тем более, на оборудовании.
Возможности тренажёров позволяют не только воссоздать аварийную ситуацию, но и скорректировать поведение человека в ней. В тренажёре также можно смоделировать неисправности оборудования и оценить действия ученика при её обнаружении и устранении.
Элементы виртуальной реальности в подобных случаях дают эффект полного погружения, что особенно важно именно для аварийных и опасных ситуаций.
Сложность доработки и обновления тренажёров
Оборудование и техника постоянно развиваются и обновляются. «Железные» тренажёры обновляются очень редко и быстро устаревают. Если такие тренажёры находятся вдали от предприятия-разработчика или крупного учебного центра, то это, фактически, означает, что они никогда не будут обновляться.
Виртуальные тренажёры проще доработать, обновить и распространить. В них всегда могут быть внесены изменения, и эти изменения будут доступны всем пользователям, вне зависимости от их удалённости.
Технологии, которые мы используем
Мы выбираем инструменты, исходя из назначения тренажёра и его сложности.
Для простых и веб-ориентированных тренажёров используются только технологии HTML5, что позволяет сделать тренажёры доступными для всех браузеров. При необходимости, они могут поддерживать стандарт SCORM или TinCan API.
Если вам требуется дополнить техническую документацию несложным тренажёром, то, возможно, вам подойдёт технология Flash.
Если вам требуется тренажёр с моделированием сложных физических процессов, воссозданием внешней обстановки или использованием технологий виртуальной реальности, то мы предложим вам использование специализированных игровых движков, например, Unity 3D. Такие тренажёры смогут собирать учебную статистику и передавать ее в вашу систему обучения при помощи TinCan API.
Примеры работ
Примеры наших курсов и тренажеров вы можете посмотреть в разделе «Примеры работ – Разработка курсов и тренажёров».
Контакты для консультаций и заказа
Хотите более подробно узнать о разработке тренажёров или заказать коммерческое предложение?
Пишите нам при помощи контактной формы на нашем сайте,
Опыт разработки программы-тренажера для проведения практических работ студентов
Столкнувшись с необходимостью проверить шесть десятков студенческих работ (6 практических работ * 10 студентов), я поняла, что этот процесс должен быть автоматизирован. Не говоря уже о сложности проверки рукописных решений, надо как-то решать проблему списывания. Еще в мою собственную бытность студенткой мне довелось сдавать практики по одной из дисциплин на компьютере со специально разработанной контрольно-обучающей программой-тренажером (под DOS). Сейчас захотелось повторить этот опыт.
Уточню, что речь идет о тренажере, а не системе тестирования. Различие между ними я бы обозначила так: система тестирования получает на вход набор тестов и набор ответов к ним, а в ходе работы выдает студенту тест и проверяет совпадение с ответом. Напротив, в тренажер заложены алгоритмы решения каждой задачи, поэтому каждый раз генерируется уникальное задание и осуществляется его решение, а затем ответ студента сверяется с ответом системы. Преимущество этого варианта в том, что нельзя обойти систему путем составления базы вопросов-ответов. Каждую вновь сгенерированную задачу приходится решать с нуля.
Вопрос о выборе языка и технологии разработки тренажера не стоял. Надо обеспечить заочникам и отстающим возможность сдавать работы, не выходя из дома. Поэтому только веб-приложение, а следовательно, PHP как самый удобный для меня язык. СУБД — MySQL.
Дисциплина, по которой мне потребовалось проверить практические работы, называется «Информационный поиск». Задачи — из книги Кристофер Д. Маннинг, Прабхакар Рагхаван, Хайнрих Шютце. Введение в информационный поиск. Необходимость обработки естественного языка усложнила дело.
Прежде всего надо было составить коллекцию документов, из которой будут генерироваться задания. Начала со словаря русских пословиц, но пришлось отказаться от этой идеи из-за сложности морфологического анализа русского языка и взять такой же англоязычный словарь, оговорив при этом в задании, что различные морфологические формы слова считаются разными словами, и указав регулярное выражение, в соответствии с которым проверяющий скрипт будет разбивать предложения на слова.
Для многих задач непростым делом оказалась и генерация исходных данных. К примеру, построение инвертированного индекса коллекции документов требует, чтобы пословицы, использующиеся в качестве таких «документов», имели по нескольку общих слов между собой. Иначе задачу будет неинтересно решать. Поэтому пришлось придумать целый алгоритм: выбрать случайное слово, найти все пословицы, в которых оно употребляется, попарно сравнить их, посчитать для каждой пары количество общих слов и записать в результат те пословицы, где это количество превышает заданный порог. Если в получившемся списке элементов меньше, чем другой заданный порог, то начать все сначала. Понятно, что на лету такие вещи генерировать сложно, поэтому пришлось заодно проиндексировать все пословицы, разбив их по словам и записав результат в базу данных. Сложно? И такой алгоритм пришлось придумать едва ли не для каждого задания!
Форма записи ответа — тоже не всегда тривиальный вопрос. Порой для ответа достаточно записать число или строку, но эти число или строка легко просчитываются на глаз и не требуют применения каких-либо формул. А проверить-то нужно именно знание формул! Поэтому форма записи ответа варьировалась. Где-то обычный textbox, где-то textarea. А вот для задачи вычисления расстояния Левенштейна между двумя словами пришлось вывести целую матрицу, поскольку важно проверить, что студент понял алгоритм расчета.
Что касается порядка работы с тренажером, то для получения доступа к заданиям требуется регистрация. Залогинившийся пользователь видит список всех работ и всех задач, причем те задачи, которые он сдал, даже отображаются без гиперссылки — к ним доступ запрещен.
Исправления ошибок не предусматривается — при каждом обращении к заданию скрипт генерирует его заново.
Расскажу теперь о том, как студенты восприняли такую систему контроля их знаний. На первых порах много нервов вызвала необходимость перерешивать задачу заново при малейшей ошибке. Вскоре были найдены два способа обойти это обстоятельство. Первый — использовать браузер Opera, в котором при нажатии кнопки «Назад» восстанавливалась вся страница целиком вместе со старым заданием. Второй — подменять post-запрос, в котором отправлялся на проверку не только ответ студента, но и задание, в скрытых элементах html-формы. Через пару занятий студентов озарило, что можно использовать подмену post-запроса для отправки не своего старого задания, а чужого. Таким образом научились списывать даже тут.
Впрочем, списывали не все, да и в любом случае одно-то решение точно надо сделать, хоть и на несколько человек. Поэтому вид компьютерного класса на наших практиках представлял собой замечательную картину напряженного умственного труда всех учащихся.
Для просмотра успеваемости я сделала скрипт, который выводил список сданных задач, отсортированный либо по убыванию даты-времени, либо по студентам.
Теперь можно было открыть этот список в воскресный день и увидеть, что пока ты отдыхаешь, твои студенты продолжают сдавать задачи.
Какие выводы можно сделать из этого опыта? Конечно, тренажер нуждается в совершенствовании. Нужно ограничить число попыток сдачи задания и предотвратить возможность подмены исходных данных. Я решила, что в этом семестре буду только наблюдать за процессом сдачи/обхода/взлома (мало ли) системы и ничего не буду исправлять. В дальнейшем думаю приспособить этот тренажер и для других дисциплин — везде, где есть задачи.
К сожалению, проверять таким же способом программный код, написанный студентами на лабораторных работах, едва ли получится. Тут мог бы использоваться разве что метод черного ящика, как на олимпиадах по программированию ACM/ICPC. Но тогда надо искать способы проверки работ на плагиат. Кроме того, никакая программа не заменит преподавателя-человека.
Вот, собственно, и все. Спасибо тем, кто прочел статью до конца. Жду комментариев, замечаний и советов.
РАЗРАБОТКА ОБУЧАЮЩИХ КУРСОВ И СИМУЛЯТОРОВ
Мы создаем и внедряем образовательные продукты с 2006 года. Специализируемся на обучении рабочим профессиям, охране труда и промышленной безопасности. Знаем всё про специфику обучения как взрослых людей, так и студентов. Поэтому с уверенностью можем сказать, что к обучению нужно подходить комплексно: нужны отдельные инструменты для подачи теории и качественной отработки практических навыков.
Мы готовы обсудить ваши цели обучения и предложить эффективное решение.
Благодаря многолетнему сотрудничеству с компанией SIKE, которая является ведущим разработчиком электронных учебных материалов в России, в учебный процесс уже было внедрено 16 мультимедийных обучающих продуктов. Среди них электронные курсы, направленные на изучение вопросов безопасности и технологии производства работ на горнорудных предприятиях, а также 3D-атласы, позволяющие в новом формате осваивать устройство сложного производственного оборудования. При этом специалистами компании SIKE были предложены как уже готовые интересные решения, так и выполнены уникальные работы по созданию новых программных продуктов, соответствующих специфике деятельности и техническому оснащению компании Норильский никель.
Выражаем благодарность коллективу компании SIKE за высокий уровень реализации сложных задач, надежность и ответственный подход к выполнению установленных сроков работы, максимальный учет всех потребностей заказчика, а также за умение находить нестандартные и интересные решения. Желаем дальнейшего непрерывного развития и уверены в продолжении взаимовыгодного сотрудничества!
Я бы оценил работу вашей компании на 10 баллов из 10.
Мне понравился ваш подход, мне понравилась ваша клиентоориентированность.
Все время моей ответственности за проекты, которые вы для нас делаете, чувствуется, что ты не один его ведешь, что ведут его профессионалы.
Нравится то, насколько вы готовы к изменениям, к помощи, к различным доработкам, профессионально даете советы, и в целом ваш подход к разработке.
Компания «Северсталь» имеет многолетний опыт создания электронного контента для системы подготовки персонала. Мы высоко ценим долгосрочные отношения с ведущими отечественными разработчиками электронных учебных материалов, к которым по праву относим компанию SIKE. Наше сотрудничество началось в 2010 году.
За это время разработаны интересные электронные курсы и тренажеры, как по технической реализации, так и по содержанию, о качестве которых говорит положительная обратная связь от реальных участников обучения.
Выражаем благодарность коллективу профессионалов компании SIKE за уникальные решения для самых сложных задач. Желаем успешного развития и надеемся на дальнейшее плодотворное сотрудничество!
Разработка виртуальных тренажеров и образовательных систем
Основной целью разработки образовательных систем и виртуальных тренажеров с дополненной реальностью является перенос методологии изучения какой-либо предметной дисциплины или знакомство с каким-то прибором, изделием, или агрегатом.
Данный программный продукт предназначен для быстрого визуального обучения низкоквалифицированных специалистов способам эксплуатации, обслуживания и ремонта сложного оборудования и техники, непосредственно на этой технике, с применением мобильных мультимедийных устройств, без участия обучающего персонала.
Система состоит из программной части, использующей в основе технологию компьютерного распознавания образов и мобильной аппаратной части – планшетного компьютера (или мультимедийных очков дополненной реальности, или шлема виртуальной реальности).
Для запуска обучения пользователю необходимо расположиться напротив изучаемого устройства. На планшетном компьютере (очках дополненной реальности, или шлеме виртуальной реальности) необходимо запустить соответствующее приложение, после чего навести камеру мобильного устройства на метки, расположенные на устройстве. Система трекинга распознает указанную деталь (или специализированную метку на этой детали) и запустит соответствующую образовательную программу.
Интерактивная образовательная программа наглядно демонстрирует непосредственно на устройстве порядок действий, сопровождаемых визуальными и голосовыми подсказками, который необходимо провести для выполнения той или иной технологической операции.
Обучение индивидуальное и проходит посредством демонстрации на экране мобильного устройства пользователя дополнительных информационных слоев, включающих 3D модели, подсказки, анимацию, текстовые и графические элементы, спозиционированные по координатам элементов конструкции изучаемого устройства. Совмещение координат виртуальных и реальных объектов достигается за счет технологии дополненной реальности, позволяющей отслеживать их изменение в пространстве посредством распознавания реальных объектов в видеопотоке, поступающем с камеры мобильного устройства.
Обучение поэтапное. Каждый этап сопровождается соответствующей демонстрацией, показывающей через 3D модели и дополнительные визуальные элементы необходимую информацию. Этапы, демонстрирующие последовательность определенных действий, сопровождаются голосовыми подсказками. Управление демонстрацией происходит при помощи голосовых команд и дополнительных устройств ввода и позиционирования (сенсорные панели, манипуляторы, устройства аппаратного позиционирования)
Система позволяет неподготовленному специалисту за 1-2 минуты визуально ознакомиться с технологической процедурой и выполнить данную процедуру непосредственно на устройстве (или приборе).
Для обеспечения универсальности и дополнительного резервирования аппаратной составляющей, программное обеспечение может быть запущено на мобильном устройстве под управлением ОС Android или iOS и оборудованном видеокамерой. Это может быть практически любой современный планшетный компьютер или смартфон. Для повышения стабильности распознавания позиции устройства в пространстве, объекты рядом с ним, или он сам, предварительно маркируется визуальными, либо инфракрасными метками, которые помогают работе системе трекинга и повышают точность позиционирования виртуальных объектов.
Организация работы системы визуального обучения реализуется на базе специально разработанного мобильного приложения. Данное мобильное приложение содержит следующие основные функциональные модули:
Программа обучения представляет собой визуальную пошаговую инструкцию, демонстрирующую основные шаги и необходимые инструменты, для выполнения конкретной технологической процедуры.
Для запуска программы, пользователю необходимо выбрать соответствующее приложение в мобильном устройстве и запустить его. После запуска на экран мобильного устройства начнется трансляция видеоизображения. Программа поддерживает несколько режимов работы:
Когда система трекинга распознает указанную деталь (или специализированную метку на этой детали) начнется отображение шагов визуальной инструкции, демонстрирующих операции, которые необходимо выполнить пользователю.
Демонстрация состоит набора этапов (шагов обучения). Каждый этап сопровождается соответствующая демонстрация. Во время демонстрации нужный элемент устройства, с которым производится операция, выделяется цветом для привлечения внимания пользователя. Анимация показывает пользователю то действие, которое ему необходимо выполнить. Выводится текстовая информация и воспроизводится голосовая подсказка о необходимом к выполнению действии. В случае, если операция является опасной, или непредсказуемой – система выводит соответствующие предупреждения, сопровождаемые индикацией и звуковым сигналом. В процессе обучения, пользователь является активным участником демонстрации и может управлять её процессом при помощи голосовых команд и навигационных элементов пользовательского интерфейса.