A kevert valósággal egy sci-fiben érezhetik magukat a sebészek

A levegőben materializálódó digitális képernyők, és a kezükkel jobbra-balra suhintó karakterek ősidők óta kirobbanthatatlanok a sci-fikből, elég csak Vasemberre gondolni, aki elé a J.A.R.V.I.S. nevű mesterséges intelligencia vetít ki teljesen interaktív háromdimenziós képeket. Attól egyelőre még elég messze vagyunk, hogy mindenki holografikus kivetüléseket böködjön, de a sebészek egy kicsit már most is Vasembernek érezhetik magukat a Microsoft két éve megjelent kevert valóságos szemüvege, a HoloLens 2 segítségével, melynek egészségügyre gyakorolt hatását egy kétnapos eseményen mutatták be.

A szemüveg elődjének segítségével már 2017-ben végeztek műtétet, most pedig tizenhárom ország sebészei tették meg ugyanezt. Amellett, hogy a HoloLens 2 egy lépéssel közelebb hozza a jövőt, a projektben részt vevő orvosok szerint tényleg rendkívül hasznos is, legyen szó akár tanácsok kéréséről, oktatásról, vagy a beavatkozási terület holografikus szimulálásáról és kielemzéséről.

Lebegő menük, lebegő csontok

A Microsoft 2016-ban dobta az első HoloLenst, és bár a kevert valóságos szemüvegnek voltak hiányosságai, többen már akkor meglátták a benne rejtőző potenciált. Köztük volt a francia Thomas Gregory, a párizsi Avicenne kórház orvosa, aki úgy gondolta, hogy a kézmozdulatokkal és hangokkal vezérelt kevert valóságos szemüveg tökéletes eszköz lehet a sebészek számára. A számításai pedig be is jöttek, 2017-ben ugyanis elvégezte a világ első, HoloLensszel asszisztált műtétjét. Az utóbbi egy évben a saját osztályán minden beavatkozásnál használják az eredeti HoloLens utódját, amely szerinte gyakorlatilag a sebészek okostelefonja és számítógépe egyben, ugyanis lehetővé teszi, hogy a műtétek közben is el tudjanak érni bármilyen információt.

A sterilizált környezetben alapesetben sem okostelefonok, sem számítógépek nem állnak az orvosok rendelkezésére. Emiatt jellemzően előre meg kell tervezniük a procedúra minden egyes lépését, miután ugyanis megkezdődik a műtét, viszonylag kevés lehetőségük van külső segítség bevonására, vagy akár a páciens adatainak megjelenítésére. A HoloLens ezt a problémát tökéletesen képes áthidalni azzal, hogy egy viszonylag könnyen kezelhető segédeszközzel látja el az orvosokat, és egy rakás olyan dolgot tesz lehetővé, ami nélküle elképzelhetetlen lenne, nem kis részben a kevert valóság rugalmasságának köszönhetően.

A virtuális valóságban (VR) az ember teljesen kiszakad a valódi környezetéből, a kiterjesztett valóságban (AR) pedig ugyan megvan az átmenet, de az egész mégsem életszerű – a valahol a kettő között elhelyezkedő kevert valóság ezzel szemben úgy keveri össze a virtuálist a valóságossal, hogy az hihetőnek, és életszerűnek tűnik.

A sebészek a szemüveg segítségével háromdimenziós hologramokon vizsgálhatják meg a pácienseiket, ezeket a képeket pedig kedvükre forgathatják is, hogy minden létező szögből megvizsgálják őket. Emellett pedig műtét közben is bármikor elérhetik a beteg adatait, videókat és különféle dokumentumokat nézhetnek meg, vagy akár egy másik országban tartózkodó specialistát is megkereshetnek az üggyel kapcsolatban. Ez leírva is marha izgalmasnak tűnik, de videón végigkövetni egy fokkal talán még érdekesebb volt, dacára annak, hogy a keretszoftver egyelőre azért láthatóan nem olyan gördülékeny, mint a sci-fikben.

Hiperrealisztikus ábrázolást egyelőre nem nagyon érdemes várni a rendszertől, de azt, hogy a sebészek 360 fokban kipakolhatnak maguk köré gyakorlatilag bármit a képektől kezdve egészen az egyes csontok mozgó, holografikus másáig, egészen lenyűgöző volt látni. Az egyes paneleket aztán kézmozdulatokkal tudják arrébb tenni, virtuális kezek segítségével, amelyek a valódi kezük mozdulatait követik le, és bár külső szemlélő számára elég hülyén néz ki, ahogy csipkedik és legyezik a levegőt maguk körül, már most látszik, hogy mennyire hasznos lehet a HoloLens az egészségügyben.

Az oktatás szempontjából is felbecsülhetetlen

A kétnapos eseményen összesen tizenhárom műtétet streamelt le a Microsoft, ezek között pedig panelbeszélgetésekkel terelték el a figyelmet a véres, felnyitott emberi testekről, kilátszó csontokról és nagy műgonddal a térdbe kalapált fémgömbökről. A megszólaló sebészorvosok és szakértők nem csak abban értettek egyet, hogy az eszköz hasznos, jellemzően az indokaik is megegyeztek. Visszatérő elem volt például az, hogy oktatási szempontból felbecsülhetetlennek tűnik a HoloLens értéke, ezzel ugyanis a fiatalabb kollégák

• egyrészt azonnal segítséget tudnak kérni, ha esetleg elakadnak egy komplikáltabb beavatkozás során,
• másrészt pedig a sebészek szemszögéből láthatják a beavatkozást anélkül, hogy egyáltalán ott tartózkodnának.

Dr. John Sledge amerikai sebészorvos például arról beszélt, hogy a sebészek esetében elég sokáig maradnak tanoncok az emberek, és akár száz műtétet is végig kell nézniük, mire őket is engedik műteni. A HoloLens segítségével viszont ők maguk végezhetik el ezt a száz beavatkozást egy szimulált környezetben, ahol még a viszonylag ritkán előforduló komplikációkra is választ kell adniuk. Ebben a környezetben a lehető legrosszabb eseteket is elő lehet idézni anélkül, hogy az bárki életét veszélybe sodorná, a sebészaspiránsok pedig alacsonyabb nyomás mellett oldhatják meg őket. Sledge szerint azzal, hogy világszerte mindenki ugyanazokat a problémákat látná, és oldaná meg, egységesíteni is lehetne a sebészképzést.

A HoloLens segítségével a világ bármely pontjáról be lehet csatlakozni egy műtétbe a Teamsen keresztül, ami különösen hasznos lehet az olyan kórházak számára, melyek nem tudják finanszírozni a különféle beavatkozások specialistáit. Az indiai Dr. Ashish Babhulkar szerint például érdemes belegondolni abba, hogy ha valaki Kenyában el akar végezni egy bonyolultabb műtétet, annak így nem kell elutaznia máshova, hogy megtanulja a procedúrát, helyette interneten keresztül végig tudják vezetni a folyamaton.

Ugyancsak fontos elem volt a páciens lemodellezése, amely többek közt a műtétek megtervezésében is nagy segítség lehet. Ahelyett, hogy ki kellene nyomtatni egy csont háromdimenziós mását, amin aztán egyetlen alkalommal lehet elvégezni egy beavatkozást, ezzel a módszerrel akármennyit lehet kísérletezni a modelleken. Ez abban is segíthet, hogy elmagyarázzák a betegnek, hogy pontosan mi fog történni vele, a nagyítható, animált holografikus modellekkel ugyanis ez sokkal könnyebb, mintha képeket mutogatnának nekik. A 3D-s modellekkel a műtétet végrehajtó sebész dolgát is meg lehet könnyíteni, ezek ugyanis egyfajta sorvezetőként szolgálhatnak a műtét egyes lépéseihez.

Ez már majdnem a jövő

Tíz évvel ezelőtt valószínűleg kevesen gondolták volna, hogy holografikus képek, vagy a virtuális és a valódi világot keverő megoldások fogják segíteni az orvosokat, a HoloLenst azonban egyre szélesebb körben használják az egészségügyben, a látottak alapján igazából nem is véletlenül. Elena Bonfiglioli, a Microsoft egészségügyi részlegének vezetője szerint a projektben részt vevők alapjaiban gondolják újra a sebészetet, amit egészen eddig hagyományos módszerekkel végeztek. Mint mondta, egyelőre még mindig gyerekcipőben járnak a HoloLens ilyen irányú használatával, de az út már ki van jelölve, és azok is itt vannak, akik véghezvihetik a változást.

„A gyógyítás jövője a holografikus számítástechnikában rejlik, mert ez egy új, vizuális dimenziót nyit meg előttünk. Együttműködni eddig is lehetett, és az adatokból is egyre többet lehetett kihozni a mesterséges intelligenciának köszönhetően, de eddig az emberek számára fontos vizuális síkot nem tudtuk kibővíteni. Ezért ilyen fontos ez a technológia, mert egymaga képes elhozni a változást, és segíteni azokat, akik a jövőbe tekintenek”

– mondta Bonfiglioli.

A Microsoft nemcsak a mostani esemény kapcsán működött együtt a HoloLens egészségügyi használatát felfuttató Thomas Gregoryval, januárban közösen alapították meg az Institut Moveo nevű kutató- és oktatóközpontot, ahol a sebészet és a mesterséges intelligencia kapcsolatával foglalkoznak, és a HoloLens sebészi használatát is oktatják. A jövőre vonatkozó tervek között szerepel a HoloLensszel végzett műtétek adatainak begyűjtése, és olyan algoritmusok létrehozatala, melyek javíthatják a beavatkozásokat, vagy akár a szemmozgásra alapozva megállapíthatják, ha a sebész problémába ütközik egy műtét során.

Gregory szerint a HoloLens a több millió dolláros sebészeti robotoknál jóval olcsóbban képes beépíteni a mesterséges intelligenciát a sebészi gyakorlatba, és még a kisebb kórházak számára is elérhetővé teheti a digitális forradalmat.