Soft Interaction Lab

Инструменты обучения анатомии

Наша коммерческая группа Artmisto.net

Исследовательская группа работает над разработкой цифровых инструментов дополненной реальности для изучения анатомии: ARnatomy и FlexAR . Студенты изучают остеологию и мышечную систему тазовой конечности собаки и грудной клетки человека, передвигающую физические кости перед камерой, подключенной к интеллектуальным устройствам, которые предоставляют различную анатомическую информацию.

ARnatomy

Интеграция традиционных материалов (костей) и дополненной реальности с использованием мобильных устройств сохраняет основное качество воплощенного опыта использования костей и создает мультимедийную информацию вокруг костей в вычислительной среде. Мы создали систему, которая может распознавать различные 3D-отпечатанные кости, когда пользователь держит и перемещает кость перед камерой мобильного устройства или за камерой. После распознавания кости заполняются виртуальными текстовыми метками, которые перемещаются на экране в соответствии с подачей костей видеокамерой. Ярлыки понятны и эффективны при указании областей интереса. Кроме того, мы создали дополнительный режим, который позволяет пользователю видеть распознанную кость в контексте всего скелета.

Система разделена на 3 основных компонента. Эти элементы получают данные с камеры мобильного устройства. Эти данные передаются в модуль распознавания и отслеживания объектов. Пространственные данные аппроксимируются и подаются в движок Unity3D Game на этапе графического интерфейса пользователя. Внутри приложения Unity3D будет набор компонентов, которые определяют содержимое ожидаемых и распознанных объектов. Все кости и учебный контент хранятся и отслеживаются на этом уровне. Этот набор данных описывает трехмерную сцену и воздействует на нее, которая представляется композиту пользователя вместе с видеопотоком с камеры.

Seo, JH , Storey, J., Chavez, J., Reyna, D., Suh, J., & Pine, M. (2014). ARnatomy: ощутимое приложение AR для изучения общей анатомии. Постеры ACM SIGGRAPH 2014 (SIGGRAPH '14). Нью-Йорк, штат Нью-Йорк, США.

Сео, J. H. (2015). Одна ARnatomy . Augmented World Expo 2015. Санта-Клара, Калифорния. СОЕДИНЕННЫЕ ШТАТЫ АМЕРИКИ.

FlexAR

Мы сосредоточены на демонстрации сгибания и разгибания различных групп мышц в результате перемещения физической модели скелета. Кроме того, мы хотели изучить разные стили интерфейса AR, чтобы увидеть, как они поддерживают разные стили обучения. Стили, которые мы исследовали, были носимые, планшетные и компьютерные. Пользователи нашего прототипа манипулируют физической моделью скелета, прикрепленной к целям дополненной реальности (AR).

Устройство с поддержкой AR записывает это взаимодействие и проецирует цифровую 3D-модель, состоящую из костей и основных мышц руки, над физической моделью. Затем пользователи могут исследовать как общую анатомию, так и сгибание и разгибание мышц. Пользователь также может взаимодействовать через графический интерфейс пользователя, чтобы выделить и отобразить дополнительную информацию об отдельных мышцах. Flex-AR был построен с использованием игрового движка Unity с плагином Qualcomm Vuforia, мобильной библиотекой AR, для управления захватом и отслеживанием наших целей дополненной реальности. Для FlexAR мы используем 4 цели: 1 для определения основного положения руки и другие для управления вращением плечевого, локтевого и запястного суставов 3D-модели. Ресурсы для оверлея 3D были разработаны в Maya с использованием нашей модели физической руки.

Saenz, M., Strunk, J., Maset, K., Malone, E. & Seo, JH (2015). См. Flex: исследование различных настроек дисплея для разных условий обучения. Плакаты SIGGRAPH 2015 (SIGGRAPH '15). ACM, Нью-Йорк, Нью-Йорк, США.