Совмещение голографической модели и реального объекта при нейронавигации методом дополненной реальности (AR): анализ точности трех методов

Введение. Технологии дополненной реальности (AR, augmented reality), позволяют хирургу накладывать трехмерные виртуальные модели на реальные объекты, улучшая визуализацию и облегчая выполнение сложных операций. Основной задачей использования AR в хирургии является точное совмещение виртуальной модели с реальной анатомией пациента, что позволяет хирургу видеть ключевые анатомические структуры в виде проекции на теле или внутри него.

Материалы и методы. При выполнении исследования были использованы HMD (head-mounted display) очки Microsoft Hololens 2 и программное обеспечение «Меджитал» для AR-навигации. В статье представлены результаты технического сравнения трех методов совмещения AR 3D-моделей с головой пациента: совмещение по краниометрическим точкам, использование QR-кода и 3D-печатной рамки, а также применение заранее запрограммированных точек с 3D-указкой. Проведена оценка точности регистрации опорных точек через показатели FRE (fiducial registration error) и времени выполнения для каждого метода, что позволило определить их преимущества и ограничения.

Результаты. Среднее значение FRE при совмещении по краниометрическим точкам – 1,1 ± 0,3 см, при использовании QR-кода и 3D-напечатанной рамки – 0,4 ± 0,3 см, при применении заранее запрограммированных точек и 3D-указки – 0,7 ± 0,6 см. Время проведения совмещения в среднем составило 180, 5 и 100 с соответственно. Выявлено, что метод с использованием QR-кода и 3D-рамки обладает наибольшей точностью, что делает его предпочтительным для большинства клинических ситуаций.

Заключение. Каждый метод имеет свои сильные и слабые стороны, и выбор зависит от клинической ситуации, доступного оборудования и требуемой точности. Интеграция AR-технологий с хирургическими методами повышает безопасность и точность оперативных вмешательств.

1. Kim Y, Kim H, Kim YO. Virtual reality and augmented reality in plastic surgery: A review. Arch Plast Surg. 2017; 44(3): 179-187. https://doi.org/10.5999/aps.2017.44.3.179

2. Azuma RT. A survey of augmented reality. Vol. 6. Presence: Teleoperators and virtual environments. 1997. doi.org: 10.1162/pres.1997.6.4.355

3. Mahmoud N, Grasa ÓG, Nicolau SA, Doignon C, Soler L, Marescaux J, et al. On-patient see-through augmented reality based on visual SLAM. Int J Comput Assist Radiol Surg. 2017; 12(1): 1-11. https://doi.org/10.1007/s11548-016-1444-x

4. Mitsuno D, Ueda K, Hirota Y, Ogino M. Effective application of mixed reality device HoloLens: Simple manual alignment of surgical field and holograms. Plast Reconstr Surg. 2019; 143(2): 647-651. https://doi.org/10.1097/PRS.0000000000005215. Erratum in: Plast Reconstr Surg. 2019; 143(4): 1283. https://doi.org/10.1097/PRS.0000000000005770

5. Lia H, Paulin G, Yi N, Haq H, Emmanuel S, Ludig K, et al. HoloLens in suturing training. Image-Guided Procedures, Robotic Interventions, and Modeling. 2018: 69. https://doi.org/10.1117/12.2293934

6. Kilgus T, Heim E, Haase S, Prüfer S, Müller M, Seitel A, Fangerau M, et al. Mobile markerless augmented reality and its application in forensic medicine. Int J Comput Assist Radiol Surg. 2015; 10(5): 573-586. https://doi.org/10.1007/s11548-014-1106-9

7. Wang H, Wang F, Leong AP, Xu L, Chen X, Wang Q. Precision insertion of percutaneous sacroiliac screws using a novel augmented reality-based navigation system: A pilot study. Int Orthop. 2016; 40(9): 1941-1947. https://doi.org/10.1007/s00264-015-3028-8

8. Van Krevelen DWF, Poelman R. A survey of augmented reality technologies, applications and limitations. Int J Virtual Real. 2010; 9(2): 1–20. https://doi.org/10.20870/IJVR.2010.9.2.2767

9. Badiali G, Ferrari V, Cutolo F, Freschi C, Caramella D, Bianchi A, et al. Augmented reality as an aid in maxillofacial surgery: Validation of a wearable system allowing maxillary repositioning. J Craniomaxillofac Surg. 2014; 42(8): 1970-1976. https://doi.org/10.1016/j.jcms.2014.09.001

10. Tepper OM, Rudy HL, Lefkowitz A, Weimer KA, Marks SM, Stern CS, et al. Mixed reality with HoloLens: Where virtual reality meets augmented reality in the operating room. Plast Reconstr Surg. 2017; 140(5): 1066–1070. https://doi.org/10.1097/PRS.0000000000003802

11. Yoon JW, Chen RE, Kim EJ, Akinduro OO, Kerezoudis P, Han PK, et al. Augmented reality for the surgeon: Systematic review. Int J Med Robot. 2018; 14(4): e1914. https://doi.org/10.1002/rcs.1914

12. Kuhlemann I, Kleemann M, Jauer P, Schweikard A, Ernst F. Towards X-ray free endovascular interventions – Using HoloLens for on-line holographic visualisation. Healthcare Technology Letters. Institution of Engineering and Technology. 2017: 184–187.