Використання технологій доповненої реальності для створення прототипу мобільного додатку



Розроблено прототип мобільного додатку з використанням технологій доповненої реальності з підтримкою розпізнавання маркерів і накладення на них 3D об'єкту та можливістю виведення інформації про відстежуваний об'єкт.

Ключові слова: доповнена реальність, комп'ютерний зір, відеопотік, маркер.

проф. Самотий В.В.

$1.$ Завідувач кафедри автоматики та інформаційних технологій,

Краківська політехніка ім. Тадеуша Костюшки

$2.$ Завідувач кафедри управління інформаційною безпекою,

Львівський державний університет безпеки життєдіяльності,

доц. Дзелендзяк У.Ю.

Доцент кафедри комп’ютеризованих систем автоматики,

Національний університет “Львівська політехніка”

Польща, Краків; Україна, Львів

Augmented reality technology usage for mobile application prototype creation

The mobile application prototype using augmented reality technology has been developed. It can identify markers, apply it in to 3D objects and display information about the measured object.

Key words: augmented reality, computer vision, video stream, marker.

prof. Samotyy V.V.

$1.$ Department of Automation and Information Technology,

Cracow University of Technology Tadeusz Kościuszko

$2.$ Department of Information Security Management,

Lviv State University of Life Safety

doc. Dzelendzyak U.Y.

Docent of The Department of Computerized Automatics Systems,

Lviv Polytechnic National University

Poland, Cracow; Ukraine, Lviv.

Вступ

Доповнену реальність (augmented reality, AR) можна розглядати як технології, що доповнюють зображення реальних об'єктів різними об'єктами комп'ютерної графіки і дають можливість поєднувати зображення,отримані від різних джерел, а саме, відеокамер, спектрометрів, тепловізорів та ін. [1] Отже, доповнена реальність робить можливим впровадження синтезованих об'єктів у природні відеосцени, чим відрізняється від "віртуальної реальності", яка є повністю штучно синтезованим світом (відеорядом).

Як правило, доповнена реальність є візуальним додатком реального світу, який отримується шляхом проектування і виведення будь-яких віртуальних, уявних об'єктів на даний простір (на екран комп'ютера, планшета, телефону). На сьогодні основною технологією доповненої реальності є отримання зображення з камери, його оброблення алгоритмами розпізнавання образів, з подальшим накладенням зображення. Технології доповненої реальності з кожним днем все міцніше інтегруються в сучасному світі. Можливості їх застосування величезні: від ігор до освіти, медицини і промисловості.

На даний час для реалізації рішень доповненої реальності існує ряд методів, проте актуальною є проблема використання технологій тривимірної розширеної реальності на мобільних платформах. Наявні мобільні пристрої є малопродуктивними, тому існуючі методи не можуть бути застосовані для них повною мірою. Отже, виникає необхідність дослідження даної області та розроблення нових методологій побудови доповненої реальності для переносних пристроїв.

Розроблення прототипу мобільного додатку

У мобільній доповненій реальності, користувачі дивляться на пряме зображення, отримане з відеокамери на їхньому мобільному пристрої і фрагменти реального світу, які вони бачать, доповнюються інтегрованими тривимірними віртуальними об’єктами, тобто об’єктами доповненої реальності.

Одним з найбільш важливих аспектів при розробленні систем доповненої реальності є створення відповідного інтуїтивно зрозумілого інтерфейсу між користувачем і віртуальними об'єктами в системі. Існують чотири основних способи взаємодії в додатках AR: матеріальний AR інтерфейс, спільний AR інтерфейс, гібридний AR інтерфейс, і нові мультимодальні інтерфейси [3].

Для створення нашого мобільного додатку, після огляду найбільш відомих ігрових рушіїв, було вирішено використовувати рушій Unity3D, оскільки він увібрав в себе багато різних цікавих технологій, які використовуються в професіональних та відомих рушіях. Головною перевагою Unity3D є його можливість легко створювати додатки одразу на декілька платформ [2]. Також можна створювати інтернет-застосунки за допомогою спеціального модуля Unity Web Player, який підключається до браузера, або за допомогою реалізації технології WebGL. Застосунки, створені за допомогою Unity, підтримують DirectX та OpenGL.

Unity3D має такі технічні характеристики: широкі можливості налаштування; сценарії на C#, JavaScript та Boo; доступний і зрозумілий інтерфейс; повна інтеграція рушія із середовищем розробки; існує система успадкування об'єктів; підтримка імпорту великої кількості форматів файлів; вбудований генератор ландшафтів; вбудована підтримка мережі; інструменти для сумісної розробки; можливість використання систем контролю версій [6]. Графічний рушій використовує DirectX (Windows), OpenGL (Mac, Windows, Linux), OpenGL ES (Android, iOS), та спеціальне власницьке API для Wii.

Огляд альтернатив з урахуванням найважливіших критеріїв показав, що найбільш оптимальним середовищем для розробки прототипу нашого мобільного додатку є Vuforia. Vuforia SDK - це програмне забезпечення для мобільних пристроїв, яке дозволяє створювати додатки доповненої реальності. Воно використовує технологію комп'ютерного зору для того, щоб розпізнавати і відстежувати плоскі зображення і прості 3D-об'єкти в режимі реального часу. Можливість реєстрації зображень дозволяє розробникам розташовувати і орієнтувати віртуальні об'єкти, такі як 3D-моделі і медіаконтент, у зв'язці з реальними образами при перегляді через камери мобільних пристроїв. Віртуальний об'єкт орієнтується на реальному образі так, що точки зору спостерігача на об'єкт співвідносяться з їх точкою зору на зображення для досягнення головного ефекту - відчуття, що віртуальний об'єкт є частиною реального світу [5].

Розроблений додаток доповненої реальності дає можливість віртуальним тривимірним об'єктам бути накладеними на відеопотік в реальному часі. Він використовує принцип, заснований на використанні чорно-білих маркерів, який працює наступним чином:

$1.$ Камера захоплює відеопотік зображень реального часу і відправляє їх мобільному пристрою для оброблення.

$2.$ Програмне забезпечення пристрою виконує пошук будь-яких маркерів в кадрі.

$3.$ Якщо маркер був знайдений, програмне забезпечення використовує математичний апарат для обчислення позиції камери відносно даного маркера.

$4.$ Коли позиція камери буде визначена,то графічна модель відображається безпосередньо в такій позиції.

$5.$ Графічна модель відображається поверх відеоряду і закріплюється за маркером.

$6.$ Фінальне зображення подається на дисплей мобільного пристрою.

Розроблений мобільний додаток можна встановити на мобільні телефони та планшети з різними операційними системами. А саме, Unity3D дозволяє «побудувати» додаток для таких операційних систем: як Android, Apple iOS, BlackBerry OS. Програмна частина додатку – це програма написана мовою С# з використанням технології DirectX.

Робочий інтерфейс розробленого додатку (застосунку) складається з чотирьох екранів, кожний з яких виконує певні функції.

В «Меню» відображено три кнопки для переходу до інших екранів. А саме режими зчитування маркерів двох типів та режим виведення тексту (рис. 1).

При натисканні на першу кнопку відбувається перехід до наступного робочого екрану з розпізнаванням маркеру першого типу. При переході на даний екран вмикається камера і стартує режим розпізнавання маркеру першого типу. При появі маркера перед камерою (перший раз маркер має бути чітким, рівним і повністю видним) починається зчитування маркеру та його аналіз. В результаті чого відображається відповідна 3D модель, в даному випадку – це 3D модель поршня.

При натисканні на другу кнопку відбувається перехід до наступного робочого екрану з розпізнаванням маркера другого типу. Після розпізнавання маркеру з’являється відповідний об’єкт. В даному випадку 3Dмодель поршня з колінвалом. (рис. 2).

При русі маркером рухається і 3D модель, що дозволяє оглянути її з усіх сторін. Також в даному режимі можна обертати віртуальний об’єкт. Обертання відбувається з допомогою сенсора, тобто доторкаючись до екрану. Ще однією особливістю цього екрану є можливість ввімкнення анімації. При натисканні кнопки із зображенням стрілочки на даному екрані ввімкнеться анімація відображеної на екрані моделі - поршня з колінвалом. При цьому маркер можна і далі переміщати та обертати, що також змінить позицію даного об’єкта.

При натисканні на головному екрані третьої кнопки вмикається режим виведення тексту на маркері (рис. 3). Аналогічно,як і в двох попередніх екранах (режимах) необхідний маркер, після аналізу якого з’являється наступний об’єкт - текст. Текст також переміщається відповідно до переміщення маркера та зберігає свої позиції відповідно до зображення.

Висновок

Розроблено прототип мобільного додатку з використанням технологій доповненої реальності. Він може розпізнавати маркери і накладати на них 3Dоб'єкти. Розроблений додаток можна доповнювати і застосовувати у навчальному процесі. Він дає можливість користувачеві отримувати інформацію про відстежуваний об’єкт. Традиційні обчислювальні машини - комп’ютери, останнім часом відходять на задній план, їм на заміну приходять мобільні пристрої та окуляри доповненої реальності. Тому більшість розробок для комп’ютерів вигідно переносити на мобільну техніку.

Для мобільних операційних систем існує багато додатків з використанням комп’ютерного зору та доповненої реальності, але в багатьох випадках ці додатки не мають практичного застосування в широкому доступі. У цій області є місце для розробки інноваційного, дійсно корисного додатка з використанням доповненої реальності. Поки що, мобільні пристрої поступаються в швидкодії більшості комп’ютерів, але найближчим часом ця ситуація зміниться, і тоді, можливо, буде вистачати ресурсів для оброблення великих об’ємів інформації на мобільному пристрої.

Успішною мобільною AR системою, як додаток, є система, яка дозволяє користувачу зосередитися на самому функціоналі системи та реалізує взаємодію з пристроєм у натуральному і соціально прийнятому вигляді, а також надає користувачу додаткову корисну інформацію. Це вказує на необхідність розроблення таких систем в легких, портативних мобільних пристроях, які володіють достатньою потужністю для складних обчислень і високими характеристиками давачів для надійного стеження та розпізнавання.

Перелік посилань

$[1]$ Azuma R.A Survey of Augmented Reality / AzumaR.// In Presence: Teleoperators and Virtual Environments. – 1997. – № 4. – P. 355–385.

$[2]$ Bay H. Speed up robust features / Bay H., Tuytelaars T., L. Van. Gool. Surf. // European Conference on Computer Vision, 2006. P. 404–417.

$[3]$ Hartley R. Multiple view geometry incomputer vision. 2nd edition. / Hartley R., Zisserman A. // Cambridge University Press, 2004.

$[4]$ Jae-Young Lee. Design and implementation of a wearable AR annotation system using gaze interaction/ Jae-Young Lee; Seok-Han Lee; Hyung-Min Park; Sang-Keun Lee; Jong-Soo Choi; Jun-Sik Kwon. //Consumer Electronics (ICCE), 2010 Digest of Technical Papers International Conference on, vol., no., pp.185–186, 9–13 Jan. 2010.

$[5]$ Sandor C. Immersive mixed-reality configuration of hybrid user interfaces. / C.Sandor, A. Olwal, B. Bell and S. Feiner. //In ISMAR ‘05, pp. 110–113, 2005.

$[6]$ Takahashi Dean. Unity Technologies developers will be able to publish 3D games via Adobe Flash. / Takahashi Dean // VentureBeat. Архів оригіналу за 2012-06-09.

Mar 20, 2017