КЛЮЧОВІ УМОВИ ТА ХАРАКТЕРИСТИКИ ФОРМУВАННЯ ДОПОВНЕНОЇ РЕАЛЬНОСТІ

ФОМІНА К. О.

Харківська державна академія дизайну і мистецтв

Метою дослідження є виділення ключових умов дизайну мультимедійної системи, за наявності яких вона створює доповнену реальність (augmented reality, скорочено AR).

Методологія дослідження ґрунтується на застосуванні загальнонаукових методів дослідження. Аналіз наукових робіт за темою та аналіз вибірки мультимедійних проєктів, які використовують технології для створення AR, спрямований на визначення особливостей утворення доповненої реальності.

Результати. Проведено аналіз публікацій, що розглядають явище доповненої реальності та визначають місце доповненої реальності в різних континуумах. Виявлено характеристики на базі технологій, якими наділяють AR системи: можливість реєстрації, обробки та відстеження. Визначено умови формування AR як явища. На прикладі ситуацій, коли застосовуються ті ж технічні засоби, що і для утворення доповненої реальності, та аналізу проєктів з AR обґрунтовано важливість одночасної наявності віртуальних даних, наративу та контексту. Виділено дві характеристики віртуальних даних у AR: інтерактивність та актуальність. Розглянуто опосередкований вплив інтерактивності на контекст та відмінність сутності доповненої реальності від звичайної цифрової модифікації. Опрацьовано різнобічні випадки оптичного та відеозмішування, зокрема, звичайні та 3D-проєкції, 3D-меппінг, доповнені зображення. Доведено, що утворення наративу є обов’язковою умовою створення доповненої реальності та зв’язком між віртуальними даними та контекстом.

Наукова новизна роботи полягає у визначенні умов формування доповненої реальності та характеристик компонентів, які утворюють AR.

Практична значущість одержаних результатів полягає в тому, що перевірка на відповідність умовам та характеристикам дозволяє відокремити проєкти з доповненою реальністю від інших видів мультимедіа.

Ключові слова: цифрове мистецтво; мистецтво «віртуального простору»; сучасне мистецтво; доповнена реальність; мультимедійний дизайн; AR проєкт; 3D-меппінг; аудіовізуальна проєкція.

KEY CONDITIONS AND CHARACTERISTICS OF THE AUGMENTED REALITY FORMATION

FOMINA K. A.

Kharkiv State Academy of Design and Arts

The purpose of the study is to highlight the key conditions of the design of a multimedia system, which are created an augmented reality.

The research methodology is based on the use of general scientific methods. The analysis of scientific papers on the topic and the analysis of multimedia which are using like AR projects technologies are aimed at determining the features of augmented reality formation.

Results. With the advent of a wide variety of multimedia projects, it is not always clear which of them belong to augmented reality. Some multimedia use only similar technologies, such as projections, but there is no question of augmented reality. On the example of simple and visual projections, as well as other projects, consider at what point the phenomenon of augmented reality occurs. The analysis of publications that consider the augmented reality and determine the place of augmented reality in various continuums is carried out. Has been determined the conditions for the AR formation as a phenomenon. We discuss the importance of the simultaneous presence of virtual data, narrative, and context. There were also indicated the significance of the relevance of virtual data for AR, the indirect influence of interactivity on the context, and the difference between the essence of augmented reality and ordinary digital modification. Various cases of optical and video mixing are considered conventional and 3D projections, 3D mapping, augmented images. It has been proven that the formation of a narrative is a prerequisite for creating augmented reality and the connection between virtual data and context.

The scientific novelty of the work consists in in determining the conditions for the formation of the augmented reality and their characteristics.

The practical significance of the results lies in the fact that the verification of compliance with the conditions and characteristics helps to separate augmented reality projects from other types of multimedia and other uses of similar technologies.

Keywords: digital art; multimedia design; AR projects; audiovisual projection; SAR; mixed reality.

КЛЮЧЕВЫЕ УСЛОВИЯ И ХАРАКТЕРИСТИКИ ФОРМИРОВАНИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

ФОМИНА К. А.

Харьковская государственная академия дизайна и искусств

Целью исследования является выделение ключевых условий дизайна мультимедийной системы, при наличии которых она создает дополненную реальность.

Методология исследования состоит в использовании общенаучных методов. Анализ научных работ по теме и анализ выборки мультимедийных проектов, использующих технологии для создания AR, направлен на определение особенностей образования дополненной реальности.

Результаты. Проведен анализ публикаций, рассматривающих явление дополненной реальности и определяющих место дополненной реальности в различных континуумах. Выявлены характеристики на базе технологий, которыми наделяют AR системы: возможность регистрации, обработки и отслеживания. Определены условия формирования AR как явления. На примере анализа ситуаций, когда применяются те же технические средства, что и для создания дополненной реальности, а также анализа проектов с AR обоснована важность одновременного наличия виртуальных данных, нарратива и контекста. Выделены две характеристики виртуальных данных в AR: интерактивность и актуальность. Рассмотрено опосредованное влияние интерактивности на контекст и отличие сущности дополненной реальности от обычной цифровой модификации. Разобраны разносторонние случаи оптического и видеосмешивания, в частности обычные и 3D-проекции, 3D-меппинг, дополненные изображения. Доказано, что образование нарратива является обязательным условием создания дополненной реальности и связью между виртуальными данными и контекстом.

Научная новизна работы состоит в определении условий формирования модели дополненной реальности и характеристик компонентов, образующих AR.

Практическая значимость результатов заключается в том, что проверка соответствия условиям и характеристикам помогает отделить проекты с дополненной реальностью от других видов мультимедийных проектов и прочих видов использования похожих технологий.

Ключевые слова: цифровое искусство; искусство «виртуального пространства»; современное искусство; дополненная реальность; мультимедийный дизайн; AR проекты; аудиовизуальная проекция.

Література

  1. AzumaR. T. A Survey of Augmented Reality Abstract. Journal of Materials Chemistry A. 2018. Vol. 6, No. 6. P. 2792–2796. DOI: 10.1039/c7ta11015d.
  2. BillinghurstM., Clark A., Lee G. A survey of augmented reality. Foundations and Trends in Human-Computer Interaction. 2015. Vol. 8, No. 2–3. P. 73–272 DOI: 10.1561/1100000049.
  3. BimberO., Raskar R., Inami M. Modern approaches to augmented reality: ACM SIGGRAPH 2007 Papers – International Conference on Computer Graphics and Interactive Techniques, 07. P. 1–111. DOI: 10.1145/1281500.1281628.
  4. Braz J. M., Pereira J. M. Tarcast: Taxonomy for augmented reality casting with web support. The International Journal of Virtual Reality. 2008. Vol. 7, No.4. P. 47–56. URL: https://www.inesc-id.pt/ ficheiros/publicacoes/4625.pdf.
  5. Caudell T. P., Mizell D. W. Augmented reality: an application of heads-up display technology to manual manufacturing processes: Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, Kauai, HI, USA, 92. P. 659–669. DOI: 10.1109/HICSS.1992.183317.
  6. Feiner S. K. Augmented reality: A new way of seeing. Scientific American. 2002. No. April. P. 52–62. DOI: 10.1038/scientificamerican0402-48.
  7. HuguesO., Fuchs P., Nannipieri O. New Augmented Reality Taxonomy: Technologies and Features of Augmented Environment: Handbook of Augmented Reality. Springer, 2011. 21 p.
  8. Mann S., Furness T., Yuan Y., et. al. All Reality: Virtual, augmented, mixed (X), mediated (X,Y), and multimediated reality. arXiv. 2018. No. X. 14 p. URL: https://arxiv.org/abs/1804.08386.
  9. Milgram P., Takemura H., Utsumi A., et. al. A class of displays on the reality-virtuality continuum: SPIE Proceedings Volume 2351: Telemanipulator and Telepresence Technologies, Boston, MA, United States, 95. P. 282–293. DOI: 10.1117/12.197321.
  10. MironovaT. V. Innovations in Ukrainian Modern Art: New Technologies. Contemporary Art. 2019. No. 15, P. 149–158. DOI: 10.31500/2309-8813.15.2019.185933.
  11. NormandJ. M., Servières M., Moreau G. A new typology of Augmented Reality applications: ACM International Conference Proceeding Series, 12. P. 1–8. DOI: 10.1145/2160125.2160143.
  12. NovikovM. Fields of the practical AR technology usage in the fine arts. Humanities science current issues. 2021. Vol. 3, No. 38. P. 28–33. DOI: 10.24919/2308-4863/38-3-5.
  13. OpalevM. Structure and Features of Audiovisual Content Design of Architectural 3D‑mapping. Vìsnik Harkìvsʹkoi deržavnoi akademìi dizajnu ì mistectv. 2021. Vol. 2021, No. 1. P. 30–42. DOI: 10.33625/visnik2021.01.030.
  14. PirandelloS. A Journey into Artworks: Storytelling in Augmented Reality and Mixed Reality. Cinergie – Il Cinema e le altre Arti. 2021. Vol. 10, No. 19, SE-Special. P. 135–145. DOI: 10.6092/issn.2280-9481/12219.
  15. Schnabel M. A., Wang X., Seichter H., et. al. From virtuality to reality and back. Proceedings of the International Association of Societies of Design Research. 2007. P.1–15. URL: http://cumincad. scix.net/data/works/att/b840.content.07392.pdf.
  16. Smart J. M., Cascio J., Paffendorf J. Metaverse roadmap overview, 2007: Веб-сайт. URL: http://www.metaverseroadmap.org/overview/ (дата звернення: 15.10.2020).
  17. Urbanscreen. Urbanscreen Casts Moving Art on O.M. Ungers’ Galerie der Gegenwart. 3D Wall Projections: Веб-сайт. URL: https://www. trendhuntecom/trends/3d-wall-projections-urbanscreen/ (дата звернення: 20.09.2021).
  18. Water Screen Projection – How We Created the World’s Largest Water Screen. Laservision: Веб-сайт. URL: https://www.laservision.com.au/water-screen-projection-world-record/ (дата звернення: 20.09.2021).

References

  1. Azuma, R. T. (2018). A Survey of Augmented Reality Abstract. Journal of Materials Chemistry A, 6(6), 2792–2796. doi:10.1039/c7ta11015d.
  2. Billinghurst, M., Clark, A., & Lee, G. (2015). A survey of augmented reality. Foundations and Trends in Human-Computer Interaction, 8(2–3), 73–272. doi:10.1561/1100000049.
  3. Bimber, O., Raskar, R., & Inami, M. (2007). Modern approaches to augmented reality. ACM SIGGRAPH 2007 Papers – International Conference on Computer Graphics and Interactive Techniques, 1–111. doi:10.1145/1281500.1281628.
  4. Braz, J. M., & Pereira, J. M. (2008). Tarcast: Taxonomy for augmented reality casting with web support. The International Journal of Virtual Reality, 7(4), 47–56. URL: https://www.inesc-id.pt/ficheiros/ publicacoes/4625.pdf.
  5. Caudell, T. P., & Mizell, D. W. (1992). Augmented reality: an application of heads-up display technology to manual manufacturing processes. Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, 2, 659–669. doi:10.1109/HICSS.1992.183317.
  6. Feiner, S. K. (2002). Augmented reality: A new way of seeing. Scientific American, April, 52–62. doi: 10.1038/scientificamerican0402-48.
  7. Hugues, O., Fuchs, P., & Nannipieri, O. (2011). New Augmented Reality Taxonomy: Technologies and Features of Augmented Environment. In Handbook of Augmented Reality (Handbook o, pp. 47–63). Springer. doi:10.1007/978-1-4614-0064-6_2.
  8. Mann, S., Furness, T., Yuan, Y., Iorio, J., & Wang, Z. (2018). All Reality: Virtual, augmented, mixed (X), mediated (X,Y), and multimediated reality. ArXiv, X. 1–14. URL: https://arxiv.org/abs/ 1804.08386.
  9. Milgram, P., Takemura, H., Utsumi, A., Kishino, F., & Fumio, K. (1995). A class of displays on the reality-virtuality continuum. SPIE Proceedings Volume 2351: Telemanipulator and Telepresence Technologies, 282–293. doi:10.1117/12.197321.
  10. Mironova, T. V. (2019). Innovations in Ukrainian Modern Art: New Technologies. Contemporary Art, 15, 149–158. doi: 10.31500/2309-8813.15.2019.185933 [in Ukrainian].
  11. Normand, J. M., Servières, M., & Moreau, G. (2012). A new typology of Augmented Reality applications. ACM International Conference Proceeding Series, 1–8. doi: 10.1145/2160125. 2160143.
  12. Novikov, M. (2021). Fields of the practical AR technology usage in the fine arts. Humanities Science Current Issues, 3(38), 28–33. doi:10.24919/2308-4863/38-3-5 [in Ukrainian].
  13. Opalev, M. (2021). Structure and Features of Audiovisual Content Design of Architectural 3D‑mapping. Vìsnik Harkìvsʹkoi Deržavnoi Akademìi Dizajnu ì Mistectv, 2021(1), 30–42. doi:10.33625/visnik2021.01.030 [in Ukrainian].
  14. Pirandello, S. (2021). A Journey into Artworks: Storytelling in Augmented Reality and Mixed Reality. Cinergie – Il Cinema e Le Altre Arti, 10(19), 135–145. doi:10.6092/issn.2280-9481/12219.
  15. Schnabel, M. A., Wang, X., Seichter, H., & Kvan, T. (2007). From virtuality to reality and back. Proceedings of the International Association of Societies of Design Research, 1–15. URL: http://www.sd.polyu.edu.hk/iasdr/proceeding/papers/From Virtuality to Reality and Back.pdf.
  16. Smart, J. M., Cascio, J., & Paffendorf, J. (n.d.). Metaverse roadmap overview, 2007. URL: http://www.metaverseroadmap.org/overview/(Last accessed: 20.09.2021).
  17. Urbanscreen. (2009). Urbanscreen Casts Moving Art on O.M. Ungers’ Galerie der Gegenwart. URL: https://www.trendhunter.com/trends/3d-wall-projections-urbanscreen (Last accessed: 20.09.2021).
  18. Water Screen Projection – How We Created the World’s Largest Water Screen. (2017). URL: https://www.laservision.com.au/water-screen-projection-world-record (Last accessed: 20.09.2021).