Nem könnyű a japán eladók élete: piackutatások szerint a szigetország lakói annál több mindent vesznek, minél több lehetőség közül választhatnak. Gondoljunk csak a több százféle Kit Katre, ami a klasszikus változattól kezdve kapható zöld teás, sajttortás és wasabis ízben is a japán boltokban. De persze ez nem csak a szelvényes csokira igaz, hanem sok más termékre is.
Ilyenek például a péksütemények. Japánban ezek történelmileg importterméknek számítanak (a kenyér japánul パン, azaz pan, ami a portugál pãóból ered), ezért a helyiek egy-egy tradicionális fajta helyett a nagyobb választékot szokták meg. Egy pékségben nem 5-10 péksüteményféléből lehet választani, hanem akár százból. Ez önmagában még nem feltétlenül jelentene bajt, hiszen elég lecsippantani a csomagoláson található vonalkódot, és fizethet is a vevő. Igen ám, de Japánban a műanyag csomagolás sokak számára olyan érzetet kelt, hogy a termék nem friss, tehát a csomagolásmentes péksüteményeket preferálják.
Ez azonban a New Yorker beszámolója szerint azt is jelenti, hogy egy eladónak akár hónapokat kell töltenie azzal, hogy megtanulja száz-egynéhány termék nevét és árát, és mindent kézzel kell, hogy beüssön. Ez nem túl hatékony módszer, és könnyű hibázni. Egy pékségnyitáson gondolkozó étteremlánc ezért kereste fel 2007-ben Kambe Hiszasi Brain nevű cégét, amely számítógépes képfelismeréssel foglalkozott; hátha ők egyszerűsíteni tudják a folyamatot.
Ez még a deep learning elterjedése előtt volt, tehát a Brain fejlesztői nem tudtak egyszerűen bevetni egy neurális hálózatot, ami az emberi idegrendszerhez hasonlóan dolgoz fel információt. Egy ilyet nagy vonalakban úgy lehet betanítani, hogy a fejlesztők képeket mutogatnak a hálózatnak, az pedig megpróbálja kitalálni, mit lát. Az elején sokat hibázik, a hibákból végül megtanulja, hogy mi hogy néz ki. Ehhez rengeteg példát kell mutogatni a rendszernek, de Kambéék nem rendelkeztek több tízezer péksüteményes képpel, ezért korabeli megoldásokat használtak:
készítettek egy digitális futószalagot, ami mellett olyan algoritmusok álltak, amik mind más szempontból vizsgálták meg az adott képet, hogy a végén közösen összerakják a megoldást.
A Brainnek ehhez először is jó minőségű képekre volt szüksége. Eleinte három szendviccsel próbálkoztak, amik ugyan különböző fajták voltak, mégis nagyon hasonlítottak egymásra. A fejlesztők két nagy problémát vázoltak fel: a különböző fajták hasonlóságát (például a fonott bagett kísértetiesen emlékeztetett egy édesburgonyás kenyérre, amit a pékség szintén árult), valamint az azonos fajták közötti különbségeket (például egy porcukrozott fánk máshogy néz ki, ha már ráolvadt a cukor).
Kambe és cége már a '80-as évek óta dolgozott képfelismeréssel – először textilmintákkal, majd japán írásjelekkel, és sok minden mással. 2007-ben elkezdtek dolgozni a péksütemény-felismerő rendszeren, ami tulajdonképpen életben tartotta a Braint a gazdasági válság közepén is. Gyakorlatilag minden más megrendelőjüket elvesztették, ezért a csapat óriási lelkesedéssel vetette bele magát a péksüteményes projektbe. Tíz különböző BakeryScan-prototípust fejlesztettek, amik kamerák, fények és algoritmusok más-más kombinációját használták.
Végül sikerült összerakniuk egy olyat, ami 50 különböző kenyérfélét 90 százalékos pontossággal tudott megkülönböztetni.
Ez azonban csak steril körülmények között (jól beállított fények, megfelelő hőmérséklet) működött hatékonyan, ezért alrendszereket kellett kifejleszteniük, amelyek segítségével a BakeryScan akkor is felismeri a sütiket, ha mondjuk kettő összeér, vagy pont szétestek.
Öt évvel később készen állt a szkennerük, ami lefényképezett egy alulról jól megvilágított péksüteményt, majd a jellegzetességei alapján megmondta, hogy sonkás vagy sajtos szendvicsről van szó. Ezt ma már rengeteg japán pékségben használják, a BakeryScan nagyjából 20 ezer dollárba (5,7 millió forintba) kerül. Az ügyfelek azt mondják, sokkal gyorsabbá és higiénikusabbá tette a vásárlást. Amíg a szkenner végzi a dolgát, az eladó cseveghet a vásárlóval, és nem is kell megtanulnia több száz termék árát.
Eleinte persze nem volt tökéletes, de a fejlesztők beépítettek egy figyelmeztető funkciót: ha a BakeryScan nem biztos egy meghatározásban, zöld helyett sárga vagy piros vonallal rajzolja körbe az adott terméket, és feldob néhány opciót a pultos képernyőjén, amik közül választhat. Ez is a folyamatos tanulásának része.
A rákos sejt olyan, mint egy kenyér
Az eszköz bejárta a japán médiát, igazi szenzációvá vált. Animált figuraként szerepelt reklámokban, de még az érettségi japán megfelelőjén is szerepelt egy kérdésben. Így figyelt fel rá a kiotói Louis Pasteur Orvosi Kutatóközpont egyik orvosa. Rájött, hogy a rákos sejtek tulajdonképpen távolról hasonlítanak a kenyerekre, tehát lehet, hogy a BakeryScan némi tanulás után azokat is fel tudná ismerni. Egy rövid tárgyalás után a Brain beleegyezett, hogy készítenek egy péksütiszkennert patológusoknak, amit AI-Scannek kereszteltek el. Az alapok már megvoltak, és a figyelmeztető funkciónak hála a szakértők viszonylag könnyen elkezdhették tanítani. A különbség annyi volt, hogy kakaós csiga helyett húgyúti sejtekről készült mikroszkópos képeket kellett elemeznie. Ezt a rákossejt-kutató rendszert Cyto-Aiscannek hívják, és már két nagy kórházban is tesztelik. Egyelőre nem egyedül dönt, de nagyban megkönnyíti az orvosok munkáját, elvileg 99 százalékos pontossággal dolgozik.
Az AI-Scan azóta kórházakban gyógyszereket különböztet meg, 18. századi metszeteken számolja a festett alakokat, és szentélyekben is segít az amulettek felcímkézésében.
Egy cég arra használta, hogy kiszúrja a hibás elemeket repülőgép-hajtóműveken. Vannak kutatók, akik lézerkutatásra használják. Kambe a New Yorkernek azt mondta, hogy sose gondolta volna, hogy ilyen különböző projekteken használják majd a fejlesztéseiket.
Néhány éve a Brain majdnem átállt a deep learning módszerére, de végül maradtak a hagyományosabb megoldásoknál. Bár a modernebb rendszer ugyanolyan hatékonyan felismerte a süteményeket, de sokkal nehezebb volt betanítani. Sok pékség hetente rukkol elő új termékekkel, így nincs kapacitás arra, hogy minden egyes új kifli bevezetésekor több ezer képet mutogassanak róla a rendszernek. A BakeryScan az első kép után 40, öt különböző példa után 90, húsz után pedig már szinte 100 százalékos pontossággal dolgozik.
A deep learning persze sok szempontból egyszerűbben és hatékonyabban tanul, mint Kambe mesterséges intelligenciája: a BakeryScannek meg kell külön tanítani, hogy egy-egy évszakban milyen árnyékra lehet számítani egy lyukas fánk közepén, míg egy deep learning rendszernek erre nincs szüksége, elég neki, ha nagyon sok példát átnéz, és magától megérti. Ha néhány évvel később kezdtek volna a projektbe, lehet, hogy inkább ezt a módszert használták volna – de az is előfordulhat, hogy bele se kezdenek.
A Brain közben más projekteken is dolgozik: a textilipar visszaesésével alkalmazkodniuk kellett, de a textilminta-felismerőjük némi változtatással most a Toyotánál szkennel, és légzsákokat tervez. A BakeryScannek is alkalmazkodnia kellett. Frissesség ide vagy oda, a járvány miatt magasabb az emberek higiéniai elvárása, így a pékségek elkezdték csomagolni a termékeiket. A műanyagon visszaverődő fény eleinte összezavarta a szkennert, ezért bevetettek egy neurális hálózatot, aminek megmutatták, hogy néz ki a termék csomagolás előtt és után, így az a szkenner számára gyakorlatilag el tudja tüntetni a műanyagot, hogy nyugodtan felismerhesse a szendvicseket.