Meg kell reformálni a kutatásokat, különben mindig visszatérünk az igaznak tűnő, de félrevezető üzenetekhez

A tudomány renoméja megszenvedte a koronavírus-járványt, és a kutatókba vetett bizalom is csökkenő tendenciát mutat – miközben hirtelen mindenki virológus, gyógyszer-, külpolitikai és gazdasági szakértő lett, és az Akadémia helyett a kommentmezőkben értekeznek.

Pedig a tudományos közösség nem hibázik többet, mint korábban, mindez inkább az internet által gerjesztett, nem feltétlenül megalapozott magabiztosságnak tulajdonítható. Ettől függetlenül a kutatók kutatnak, validálnak, publikálnak. De van még egy fontos szerepük: ellenőrzik saját magukat.

Az „elvégeztem otthon a saját kutatásomat” mentalitással ellentétben ugyanis a tudományos eredmények akkor vehetők igazán komolyan, ha az azokat előállító elemzések reprodukálhatók. Ez azonban felveti a kérdést, hogy maguk az eredmények reprodukálhatók-e. Ez foglalkoztatta Aczél Balázst, az ELTE Pedagógiai és Pszichológiai Karának egyetemi tanárát, a Metatudomány Kutatócsoport vezetőjét és Szászi Barnabást, a Corvinus Egyetem CIAS Viselkedéstudományi Központ és az ELTE Viselkedéstudományi Kutatócsoport vezetőjét.

Kíváncsiak voltak arra, hogy empirikus kutatások eredményei mennyire állják ki az újraelemzés próbáját, ezért egy kiterjedt, 500 fős nemzetközi kutatóhálózat segítségével több mint száz, 2009 és 2018 között publikált tanulmányt elemeztek újra független elemzőkkel. Eredményeiket a Nature szaklapban publikálták.

A kutatás fő eredménye az volt, hogy amikor szakemberek megkapták a korábban publikált tanulmányok adatállományát, és újraelemezték, 34 százalékban jutottak pontosan ugyanarra az eredményre, mint az eredeti szerzők. Összességében ennél jóval nagyobb arányban, az esetek 74 százalékában ugyanazt a konklúziót vonták le, még ha a pontos eredmény több esetben nem is lett ugyanaz, és csupán 2 százalék jutott az ellenkező konklúzióra. 24 százalékban az újraelemzés arra jutott, hogy a vizsgált jelenségnek nincs hatása, vagy nem volt egyértelmű az eredmény.

„Az elmúlt években egyre több cikk jelent meg arról, hogy az analitikus variabilitás egy lehetséges probléma, de hogy ez mennyire általános jelenség, mennyire nem csak demonstratív esetekben igaz – ennek a vizsgálatára volt egy elképzelésünk”

– mondta a Telexnek Aczél Balázs.

De mi ez az analitikus variabilitás? Lényegében az, hogy ha már megvan egy rakás adat, akkor sok módja van annak, hogy azokat hogyan dolgozzuk fel, és ezek az eltérő módszerek eltérő eredményekhez vezethetnek. Már az sem mindegy, hogy mi a kérdés, vagy hogy azt hogyan interpretáljuk. Ezek után eltérhet a változók definiálása, az adatfeldolgozás – például az, hogy milyen mintát választ az ember, milyen módszertant, szoftvert használ –, és mindez ahhoz vezethet, hogy több alternatív eredmény és konklúzió is kijöhet a kutatás végén, így a végeredmény részben azon múlhat, hogy a kutatók úgy folytatták le a vizsgálatukat, ahogy.

A szerzők egy korábbi cikkükben azt írták, hogy két mítosz terjedt el: az egyik az, hogy ha felteszünk egy kérdést, és vannak adataink, akkor annak egy jó elemzési útja van, a másik pedig az, hogy ha mégis van több elfogadható elemzési mód, azok mind ugyanazt az eredményt produkálják.

„Mindkettőről kiderült, hogy nem igaz. Ha egy adathalmazról felteszünk egy kérdést, akkor az elemzést több úton is el lehet végezni.”

Ennek az egyik leghíresebb példája az volt, amikor 70 kutatócsapat megkapta ugyanazt az fMRI-adathalmazt, és nem volt két olyan csapat, ami ugyanazt a módszert használta volna, és ez esetenként jelentős eredménybeli eltérésekhez vezetett. Ha csak egy csapat dolgozott volna a kutatáson, és csak ők nyújtották volna be az eredményeiket, akkor a lektorok azt gondolhatták volna, hogy oké, ez egy legitim elemzés legitim eredménnyel. Így viszont látszott, hogy nem mindegy, ki végzi el a kutatást, ahogy az sem, hogyan.

„Ez elég sokkoló volt akkor. Hangsúlyozom, hogy ez nem azt jelenti, hogy valaki jól, valaki meg rosszul tudja a statisztikát, csak azt, hogy olyan a természetük ezeknek a kutatásoknak és adatoknak, hogy lehet alternatív utakon is elvégezni az elemzést” – mondta Aczél.

De akkor honnan lehet tudni, kinek van igaza? Ez jó kérdés, de rögtön felmerül egy másik is. Mi az, hogy igazság? Az utóbbira nem nagyon van válasz, legalábbis nem olyan, ami belefér egy még élvezhető terjedelmű újságcikkbe. A két kutató rámutatott, hogy a társadalomtudományokban nem nagyon van ilyen, hiszen ami, mondjuk, száz évvel ezelőtt igaznak, általánosnak tűnt, ma már egyáltalán nem az. Pillanatképeket tudnak lőni, és azokból tudnak kiindulni. Persze minél közelebb kerülünk a fizikai, biológiai alapokhoz, annál könnyebben tudjuk valamire rámondani, hogy általános.

Az eredeti kérdésre pedig az a válasz, hogy egy mérés nem mérés, egy kutatás nem feltétlenül tudja megmondani a választ. Ennek komolyan vételéhez azonban a szerzők szerint reformra van szükség a tudományban, ugyanis jelenleg sokan inkább a mennyiséget preferálják, mint a minőséget. Úgy látják, hogy óriási publikációs nyomás van a kutatókon – amit a tanulmánygyárak megjelenése is mutat –, így kevesebb időt tudnak tölteni egy-egy kutatással, mert már végezni kell a következőt.

A nyomás miatt sokan úgy érzik, hogy minél kisebb, könnyebben feldolgozható mintákból minél nagyobb történeteket kell kihozniuk, amihez az kell, hogy a mérésekből nagy következtetéseket állapítsanak meg. „A pályázati rendszer, a publikációs rendszer vagy a társadalmi láthatóság arra tolja a kutatókat, hogy valamilyen, a társadalomra értelmezhető, nagy, tudományosan fontos konklúziót vonjanak le az eredményeikből” – mondta Aczél, aki szerint ezzel szemben „integratív szemléletre van szükség, ahol egy single-shot kutatás nem próbálja meg megmondani a választ, hanem szükség van nagyobb összefogásra. A lényeg az, hogy ezek mind valid eredmények, csak nem biztos, hogy a konklúziók lehetnek olyan messzemenőek, mivel csak egy elemzési utat néztek meg, vagy csak egyfajta módon vizsgálták az adott kérdést.”

Ennek már most van néhány ellenszere a publikációs rendszerben, amikkel ki lehet venni a publikációs torzítást, és ezekkel foglalkozik egyfajta tudományos reform. A szerzők szerint azonban szemléletváltásra van szükség, hiszen nem biztos, hogy ha egy tanulmány feltesz egy kérdést, akkor attól a tanulmánytól elvárható, hogy azt meg is válaszolja. A valós cél inkább az lenne, hogy adjon egy inputot a további kutatásokhoz, amik a témával foglalkoznak.

Bár az fMRI-elemzés jól illusztrálta a problémát, Szászi Barnabás szerint eddig csak néhány alterületen mutatták meg a kutatások, hogy ez az egész probléma létezik. Megjegyezte, hogy a kutatói szakma nagy része ezzel továbbra sem foglalkozik, vagy nem tud róla, mert nem találkozott a problémakörrel. „A mi kutatásunk abban mutatott nagyot, hogy eddig nem lehetett tudni, hogy ez a néhány korábbi kutatás, ahol hasonlóan többféle elemző másra jutott, az csak egy ad hoc válogatásnak az eredménye-e”, azaz csak néhány specifikus tudományterületen, például a pénzügyben vagy az fMRI-k vizsgálatánál létezik-e a probléma – mondta Szászi.

„Mi – amennyire az erőforrásaink engedték – megnéztük, hogy ez a teljes társadalomtudományban jelenlévő kihívás-e, amivel kezdenünk kell valamit.”

Egy kutatás elején a feltett kérdés absztrakt, amit aztán le kell fordítani valamilyen kísérleti dizájnra, elrendezésre, hogy kiderüljön, mik a releváns adatok, és mindezt át kell fordítani egy statisztikai modellre. De ebben is sok a lehetőség. Mit kezdünk a hiányos adatokkal? Hogy szűrjük ki a zajadatokat? Hogyan súlyozzuk azt, hogy a populációnak valamilyen speciális területéről származik az adatok egy része, és az hogyan lesz befolyással az egészre? És a többi, és a többi.

Tehát különböző feltételezésekre van szükség, amik végül mind részei lesznek a konklúziónak, azaz a konklúzióra kihat, hogy milyen feltételezéseket tettünk. Ez nem azt jelenti, hogy ezek hibák vagy tévedések, vagy hogy a kutatási dizájn összerakója nem ért hozzá, hanem azt, hogy a lehetséges döntési utak a kutatásban elágaznak, és egy-egy ilyen út ugyanúgy lehet védhető, mint a többi.

Óriási merítés

Aczél Balázsék a kutatásukkal megpróbálták lefedni a társadalomtudományok lehető legnagyobb részét, így több mint ötszáz újraelemzést végeztettek el például pszichológiai, szociológiai, közgazdaságtani, marketinges és kriminológiai eredményekre.

Ahhoz, hogy kiválasszák, hogy melyik cikkeket elemezzék újra, végig kellett olvasniuk rengeteg tanulmányt, hogy végül százra csökkentsék a merítést. Sőt nemcsak átnézniük kellett ezeket, hanem meg is kellett érteniük a legkülönbözőbb tudományterületekről szóló cikkeket.

„Nekem ez már majdnem PTSD-t okozott”

– mondta nevetve Szászi, aki általában pszichológiai, közgazdasági tanulmányokat olvas, de most olyan cikkeket látott, amiknél már a kérdésfeltevést is hosszasan kellett értelmeznie. Az ötéves folyamat nem is mindig volt könnyű, de azt mondták, hogy amikor egyikük kezdte kicsit elveszteni a motivációját, a másik visszahúzta a lelkesedésével.

Végül viszonylag jó arányban jutottak hasonló konklúzióra az újraelemzések, bár a konkrét statisztikai eredmények azért jelentősen eltérők lettek. Ez így elsőre ellentmondásosnak hangozhat, ezért a szerzők a cikk elején már idézett számok megértéséhez példaként hozták azt a kérdést, hogy a légkondicionáló javítja-e a túlélési esélyt nyáron. Itt ugye a konklúzió lehet az, hogy „igen, javítja”, hogy „nem, ront a helyzeten”, vagy hogy „nincs hatása”. Az összes újraelemezésből 74 százalék jutott ugyanarra a konklúzióra, mint az eredeti vizsgálatot végző kutatók. De ezek mögött ott van a statisztikai eredmény, azaz az, hogy ha van hatás, mekkora. Ebben már nagyobb eltérések voltak: csak az összes újraelemzés 34 százaléka jutott ugyanarra az eredményre.

„Szerintem bármelyik számot nézzük, az igazi üzenet az, hogy ha csak egy egyetlen utat lejárt elemzés eredményét és konklúzióját nézzük, akkor nem tudjuk, hogy mennyire kaphattunk volna mást, ha más végzi el az elemzést” – mondta Aczél.

Mit lehet ezzel kezdeni?

A kutatók szerint a probléma egyik ellenszere az lehet, hogy az adott kutatócsoport egy úgynevezett multiverz elemzést végez, így alternatív utakat is végigjár, vagy felkér más szakembereket, hogy saját módszereikkel elemezzék ki az adatokat. De már a kutatás előtt, szimulált adatokon megnézhetik, hogy adhatnak-e az alternatív utak nagyon más eredményeket, így már az adatfelvétel előtt csökkenthetik a lehetséges bizonytalanságokat.

Természetesen ez az analitikus variabilitás minden kutatást érint, így az Aczél és Szászi által vezetett vizsgálatot is. Az adatokat lehetett volna úgy értelmezni, hogy minden rendben, hiszen a vizsgálatok háromnegyede hasonló konklúzióra jutott, mint az eredeti, de úgy is, hogy a tudományban reformra van szükség, mivel csak az újraelemzések harmada jutott ugyanarra a statisztikai eredményre.

„Mi próbáltunk neutrálisak maradni, objektíven értelmezni az eredményeinket, sőt több elemzésünket alternatív módokon is megcsináltuk, tehát mindenki úgy olvassa a cikket, ahogy akarja. De akárhogy is nézzük, mindenhol az jön ki, hogy az analitikus variabilitás jelen van a kutatásokban”

– jelentette ki Aczél.

Szászi szerint a fő üzenetük az, hogy lehet ezzel a problémával nem foglalkozni, de akkor az óriási hitelvesztést fog okozni. A következő kutatásaikat ők már úgy alakítják ki, hogy minél jobban ki tudják küszöbölni az analitikus variabilitás problémáját.

Látják, hogy lehet ennek elijesztő hatása, hogy már a problémafelvetésből adódóan kivitelezhetetlennek is hangozhat a dolog. Nem lehet minden kutatást minden lehetséges úton elvégezni – gondolhatjuk –, mert ettől tuti ellehetetlenülne a kutatók munkája. A szerzők szerint a valóság pont ennek az ellenkezője, mert ha olyan eredményeknek a tömegét gyártjuk le, amik nem robusztusak, nem replikálhatók, nem integrálhatók, akkor igazából nem a tudásunk, hanem csak a cikkek mennyisége növekszik.

„De ha nem egyedi kutatásokban, hanem kutatási programokban gondolkodunk, amik egymással összekapcsolható, egymásra épülő kutatások, akkor végül kevesebb veszteséggel termelik ki a tudást, és jobban tudunk robusztus következtetésekhez jutni”

– mutatott rá Aczél.

„A nehézség abban rejlik, hogy a világunk komplex, és a tudománnyal szemben sokszor az az elvárás, hogy ezt a komplexitást próbálja érthetőbbé tenni. A cikkünk azonban nem egyszerűsíti a világ megértését, ezáltal pedig a felületes megfigyelőben még több kételyt gerjeszthet. De nincs más kiút ebből, mint a kritikai gondolkodás és bizonytalanság elfogadásának fejlesztése a társadalomban. Enélkül mindig vissza fogunk térni a leegyszerűsített, igaznak tűnő, de félrevezető üzenetekhez” – mondta Szászi. Aczél el tudja képzelni, hogy ha a tudóstársadalom nyíltabban beszél a limitációiról, akkor az rövid távon némi bizalomvesztéshez vezethet, de azt gondolja, hogy hosszú távon ez kell ahhoz, hogy még jobb minőségű munkát tudjanak végezni.