A tanulmányok fele rossz adatokon alapulhat, publikációs válságban a tudomány

2009-ben a Genentech biotechnológiai vállalat egyik vezetője, Marc Tessier-Lavigne azt írta a részvényeseinek: a kutatási eredményei teljesen meg fogják változtatni az Alzheimer-kórról alkotott jelenlegi tudományos felfogást. A Nature-ben megjelent szakcikke szerint Tessier-Lavigne és kutatócsoportja az Alzheimer-kór egy új, specifikus útvonalát találták meg, ami a tudós szerint olyan antitestek és molekulák kifejlesztését teszi lehetővé, ami segíthetne a betegségben szenvedőkön. A kutatást korszakalkotónak gondolták, Tessier-Lavigne-ből elismert szakember vált, 2016-ban megkapta a Stanford Egyetem elnöki pozícióját.

2022-ben aztán a Stanford diákújságja, a Stanford Daily, egy cikksorozatot tett közzé Tessier-Lavigne publikációiról, és a tudományos visszaélés vagy csalás lehetőségét vetette fel. A diákok négy, ellenőrzés alatt álló tudományos szakcikkről írtak, az egyikben található, módosított képek miatt. A négyből kettőt jegyzett társszerzőként az egyetem elnöke. A gyanú már 2015-ben felvetődött, amikor a PubPeer oldalon élesen bírálták Tessier-Lavigne cikkeit. Mindegyik, gyanúba keveredett tanulmány rangos folyóiratokban, például a Science-ben, a Nature-ben és a Cellben jelent meg.

A Stanford felállított egy kutatóbizottságot, hogy vizsgálják meg a szóban forgó kutatásokat. A Daily szerint az egyetem elismerte ugyan a problémákat, de bagatellizálta Tessier-Lavigne szerepét a csalásban. Hamar kiderült, hogy a 2009-es Alzheimer-tanulmány eredményeit sem lehet megismételni, márpedig a tudományosság fontos kritériuma a megismételhetőség: ha egy megismételt kísérlet eredménye egybevág az eredetivel, hitelesíti azt, ha nem, akkor valamilyen hiányosságra vagy hibára mutathat rá.

A problémás kutatások megismétléséhez a Tessier-Lavigne kutatócsoportjában dolgozó egyik tudóst, Anatolij Nyikolajevet is felkérték – csakhogy mielőtt elkezdhette volna a munkát, a kísérlet vegyszereit a tudta nélkül kicserélték. Csodálatos módon Nyikolajev még így is produkálta a „helyes” eredményeket, annak ellenére, hogy más vegyszerekkel ez valójában lehetetlen lett volna.

A Stanford belső vizsgálata 2023 nyarán fejeződött be, annak nyomán Tessier-Lavigne lemondott az egyetem elnöki posztjáról, de megtartotta a biológiaprofesszori pozícióját, annak ellenére, hogy a belső vizsgálat öt hibás tanulmányt talált, és a laboratóriumában „a kutatási adatok nem megfelelő manipulációját vagy hiányos tudományos gyakorlatot alkalmaztak, ami jelentős hibákhoz vezetett”. Ebben az öt tanulmányban Tessier-Lavigne volt a fő szerző. A belső vizsgálat szerint a Stanford egykori elnöke nem vett részt a manipulációban, és nem is volt tudatában annak, hogy ilyesmi történt. A lemondásakor még nem volt hajlandó az Alzheimer-tanulmánya visszavonására, de fél évvel később végül megtette, majd több további közleményt is visszavont.

Nem Tessier-Lavigne az egyetlen nagy hírű kutató azonban, aki csalás gyanújába keveredett. Valószínűleg 16 év Alzheimer-kutatása mehetett a kukába Sylvain Lesné és Karen Ashe 2016-os tanulmánya miatt, ami az addig is jó nevűnek számító tudósokat valóságos rocksztárrá tette az idegtudományi közösségben. Kiderült, hogy a tanulmányban az agyi felvételek nagy részét manipulálták, volt olyan is, amit több felvételből ollóztak össze. Úgy tűnik, a kutatás adatait egyszerűen meghamisították, hogy azok erősebben támasszák alá a tudósok hipotézisét. De Gregg Semenza Nobel-díjas kutató is kénytelen volt visszavonni négy tanulmányát, miután felvetődött a gyanú, hogy manipulálta benne a kutatást leíró képeket. És ezek csak az elmúlt évek legnagyobb visszhangot kiváltó tudományos csalásai (vagy, ha jóhiszeműek akarunk lenni: hibái) voltak – egyre több a visszavont tanulmány, egyre többször keverednek tudományos hanyagság vagy csalás miatt bajba neves kutatók is.

Ez azért is kétségbeejtő, mert a tudományos módszertanba vetett bizalmat ássa alá. Korábban az volt a mondás, hogy az ilyen hibákat és csalásokat a rendszer előbb-utóbb kiveti magából, és korrigálja, ez azonban láthatóan csak korlátozottan igaz, a probléma pedig sokszorozódik a tanulmánygyárak megjelenése, a tudományos lapok pénzéhsége, a mesterséges intelligencia fejlődése és az olyan krízishelyzetek miatt, mint amilyen a koronavírus-járvány is volt.

Dr. Szabó Csaba Svájcban dolgozó kutatóorvos professzor Elpazarolt orvostudomány címmel egész könyvet szentelt a problémának, amiben az orvosbiológiai tanulmányok megbízhatatlanságáról ír. A könyv remek betekintést kínál a tudomány működésébe, a pályázati rendszertől a kiadókon át az úgynevezett reprodukálhatósági és publikációs válság lehetséges megoldásáig. Aki érdeklődik az orvostudomány működése iránt, annak kötelező olvasmány lehet, és annak is, aki kíváncsi arra, milyen gondokkal néz szembe most a tudományterület.

A reprodukálhatósági válság egyébként nem új jelenség: Szabó Csaba megemlíti a könyvben, hogy 2005-ben már John Ioannidis amerikai biostatisztikus is írt cikket azzal a címmel, hogy „Miért nem igaz a legtöbb publikáció?”, leírva, hogy a publikált orvosbiológiai tudományos irodalom nagy része téves, vagyis mások által nem megismételhető. 2011-ben a Bayer gyógyszeripari vállalat kutatói keltettek feltűnést azzal, hogy az általuk átvett 67 preklinikai kísérletről szóló tudományos publikáció 75-80 százalékát nem tudták megismételni. 2012-ben az Amgen amerikai biotechnológiai cég kiválasztott 53 rákkutatással foglalkozó közleményt, amik vezető tudományos folyóiratokban jelentek meg, de az esetek 89 százalékában nem sikerült reprodukálni az eredményeiket. Sőt, Szabó Csaba könyve alapján a legtöbb kutató gyakran még a saját adatait sem tudja reprodukálni: egy Nature-kutatás azt mutatta ki, hogy a biológia és orvostudomány területén dolgozó válaszadók 50-60 százalékának a saját korábbi kutatási eredményei reprodukálásával is gondja akad.

A probléma összetettebb, mint amilyennek látszik: alapvetően valószínűleg szándékosan csaló kutatókból lényegesen kevesebb van, mint vétlenül hibázóból, ez abból is látszik, hogy gyakran a tanulmányt író kutatók maguk kezdeményezik azok visszavonását, vagy javítást a cikkeikben. Szabó Csaba azt írja: a hibákat – és gyakran a szándékos csalásokat is – vissza lehet vezetni a publikációs válságra, ami egyre fontosabb és égetőbb probléma a tudományos életben.

A publikációs krízisbe beletartozik a reprodukciós válság is, vagyis az, hogy a biotechnológiai és valószínűleg számos más tudományos területhez tartozó kutatásokat nem lehet megismételni. Szabó Csaba úgy becsüli, hogy nagyjából 50 százalékra tehető a nem reprodukálható közlemények aránya. Az úgynevezett reprodukciós kutatásokra egyébként is nagyon kevés pénz jut: az író, aki pályázati támogatási bírálóként is dolgozott, egyszer sem találkozott olyan pályázattal, ami egy korábbi eredmény megerősítésére összpontosított volna. Ennek egyszerű oka van: kicsi az esélye, hogy az ilyen pályázatot elfogadják, ha pedig mégis születik ilyen kutatás, azt nehéz jó folyóiratban publikálni, és azért még senki nem kapott Nobel-díjat, hogy meg tudta erősíteni valaki korábbi munkáját. Az amerikai Nemzeti Egészségügyi Intézet (NIH) RePORTER honlapján a több mint 870 ezer eredeti kutatási projektből csupán 1300, vagyis az összes projekt 0,15 százaléka tartalmazza a „replikáció” szót.

Ezen felül a publikációs krízisen azt is értjük, hogy a tudományos lapok információs csatorna helyett jól működő, profitorientált iparággá váltak. Kialakultak rangsorok, amik megállapítják, hogy egy-egy lapnak és ezzel együtt a benne megjelent tanulmányoknak mekkora a presztízsük. Szabó Csaba azt írja, hogy a kutatási infrastruktúra minden szereplője egyre nagyobb jelentőséget tulajdonít ennek a rangsornak, amit az úgynevezett impakt faktor jelez. Az Elpazarolt orvostudomány szerint a publikációk egyre szorosabban összefonódtak a tudományos karrierépítéssel és a pályázati finanszírozással, ez pedig azt hozza magával, hogy óriási a nyomás a kutatókon, hogy ilyen lapokban publikáljanak – sőt, hogy egyáltalán publikáljanak. Ez persze bizonyos fokig elvárható, hiszen azért végzik a munkájukat, hogy előbb-utóbb tudományos eredményeket produkáljanak, amiket publikálással hoznak a szakma és a nagyközönség tudomására – csakhogy a pályázatírás és a publikálás az idejük olyan nagy részét elviszi, hogy alig marad belőle a konkrét tudományos munkára.

A profitorientált tudományos lapok nagy része lektorálás során dönti el, hogy az adott tanulmány megüti-e a folyóiratban való megjelenéshez szükséges szintet. Ezek a lektorok általában ingyen, a saját munkájukon felül dolgoznak, gyakran túlterheltek, és nem is mindig megfelelő szempontok alapján bírálnak. Így lehet az, hogy sokszor olyan tanulmány is átcsúszik a kezeik között, aminek nem lenne szabad.

Erre jó példákat láthattunk a koronavírus-járvány alatt is. A Retraction Watch tanulmány-visszavonásokat gyűjtő portál külön gyűjtést írt a Covid–19 alatt visszavont publikációkról, ezek között sok a klinikai és kohorsz kutatás is. Az Elpazarolt orvostudomány alapvetően a preklinikai, vagyis sejttenyészeteken és állatokon végzett tanulmányokra koncentrál, a járvány alatt ebben a kategóriában is született több vagy szándékos csalással, vagy véletlen hibával készült tanulmány. Ivermectin témakörben kifejezetten sok publikációt vontak vissza (például itt, itt, itt, itt, itt, itt és itt), többüket szándékos adathamisítás miatt; de a koronavírus-vakcinákkal kapcsolatban is szép számmal akadtak visszavont tanulmányok (például itt, itt, itt és itt). A koronavírus-járvány során felgyorsult a tudományos publikációs gyakorlat, de ugyanígy nagyobb figyelem is összpontosult a témára, így a nagyszámú visszavonások valószínűleg ennek tulajdonítatók.

„Én úgy gondolom, hogy a járvány alatt a legnagyobb hatással a preprintek felemelkedése járt” – mondta a Telexnek dr. Sudip Parikh, az Amerikai Tudományos Haladásért Egyesület (AAAS) vezérigazgatója, a Science folyóiratcsalád ügyvezető kiadója. A preprintek olyan tanulmányok, amik még lektorálás előtt állnak, és nem látta őket bíráló, így nem is biztos, hogy megbízható adatokat tartalmaznak. „A preprintek fontosak. Lehetőséget adnak arra, hogy a kutatók nagyon gyorsan tudjanak ötleteket és adatokat megosztani egymással. De ugyanígy kihívást és kockázatot is rejtenek, amiket kezelnünk kell. Az egyik ilyen az, hogy az újságírók gyakran nem tudják, mi a különbség köztük és a lektorált tanulmányok között, és így számolnak be róluk. Néhány jó adatokkal dolgozik, néhány nem. Ezért kommunikálnunk kell, mi a különbség a kettő között. Mi mint kiadó, szeretünk olyan tanulmányt kapni, ami már preprintként is megjelent, mert a tudományos közösség már találkozott vele, és kaphatunk visszajelzést arról, hogy jó vagy rossz adatokat tartalmaz, ez pedig segít, hogy jó anyagok kerüljenek a lapba.” Sudip Parikh szerint a Covid–19 alatti publikációs hullám problémát okozott a többi orvosbiológiai témában, mivel ezeken a területeken lelassultak a publikációk.

Tovább csökkenti a tudomány hitelességét az, hogy ha egy tudóst hibán vagy akár szándékos csaláson kapnak, megesik, hogy nem vonják vissza a tanulmányát, és nem is vonják felelősségre. Jó példa erre Tessier-Lavigne, akinek végül hosszú évek múltán visszavonták ugyan az írásait, megtarthatta pozícióját mint a Stanford tanára – és ez csak egy példa a sok közül. „Az ösztönzőrendszerrel van a gond, egy intézet nem akarja kivizsgálni a helytelen magatartást, hiszen ez káros lehet rá nézve. Ezért évek telhetnek el, mire visszavonnak egy tanulmányt – mondta Sudip Parikh. – Jó lenne megváltoztatni ezt a kultúrát. A főszerkesztőnk, Holden Thorp írt is erről egy szerkesztői cikket A korrekció bátorság címmel. Néha csak ártatlan hibáról van szó. Volt a közelmúltban több olyan esetünk, amikor ez történt, és a kutató maga vonta vissza a tanulmányát egy hét leforgása alatt. Ez jó gyakorlat. Szeretnénk ezt bátorítani. Több Nobel-díjas kutató volt, akinek kellett közleményt visszavonnia, és mégis megnyerték a díjat.”

Érdekes, hogy ezek a tanulmányok úgy csúszhatnak át a bírálókon, hogy egyébként a rangos folyóiratokban nagyon nagy a visszautasítások aránya. Mint az Elpazarolt orvostudomány megjegyzi: a Nature és a Science a kéziratok 97-99 százalékát külső bírálat nélkül visszadobja, a Science Advances a beérkező tanulmányok 90 százalékát nem fogadja el. Szabó Csaba azt írja: a Nobel-díjas Randy Schekman a Nature-t és a Science-t már tíz éve is luxusfolyóiratnak nevezte, és kritizálta őket, hogy buborékot hoznak létre a divatos tudományterületeken anélkül, hogy figyelmet fordítanának a reprodukálhatóságra. Az ilyen lapokban való publikálás iránti vágy ösztönözheti a kutatókat az adatmasszírozásra, és hozzájárulhat a hibás közlemények megjelenéséhez.

A kutatók nem mindig gonosz, alávaló okokból hamisítanak vagy ferdítenek adatokat, még akkor sem, ha nem önkéntelen hibáról van szó. Becsúszhat torzítás a kutatási anyagok és vegyszerek megbízhatatlansága, az állatkísérleti alanyok (vagy ahogy Szabó Csaba hívja őket: az egérkollégák) sokszínűsége, a vétlen hibák, például egy fagyasztóláda meghibásodása miatt is. A publikációs nyomás óriási, a rendszer pedig ösztönzi a csalást – a kutatók kísértésbe eshetnek, csoportnyomásnak engedhetnek, vagy racionalizálhatják a csalást azzal, hogy a fals módosítások nem változtatják meg a kísérlet eredményét, csak erősebb bizonyítást adnak. A módszerek száma szinte végtelen, az utólagos hipotézisfelállítástól az adatmasszírozáson át a statisztikai csalásokig széles a skála.

„Az elmúlt néhány évtizedben a publikált tudományos tanulmányok száma nagyon megnőtt – mondta Sudip Parikh. – Ennek részben két oka van. Az egyik az, hogy a tudósokat ösztönzi a publikálás, ez segít nekik megszerezni az elismerést. A másik oldal viszont az, hogy ebben az új kiadói modellben a kiadók pénzt kapnak minden elfogadott közlemény után. Ez őket is arra ösztönzi, hogy minél több tanulmányt fogadjanak el. Ez egy szörnyű, gonosz körforgás, ami mindenkit leránt magával, mivel a kutatók hamisítanak, a kiadó pedig mindent elfogad, ami az útjába kerül.

Léteznek úgynevezett tanulmánygyárak, úgyhogy ha a nem reprodukálható tanulmányok százalékos számát nézzük, abban ezek munkája is benne van” – tette hozzá. A tanulmánygyárak valóban nagy problémát jelentenek: ezek az értelmetlen és rossz minőségű közleményeket kipöfögő gépezetek viszonylag új jelenséget képviselnek, viszont annyi van belőlük, mint fűszál a réten, és lehetetlen mindet tetten érni. A gyanús tudományos publikációkat futószalagon ontó vállalkozásokat az angolban „paper mill”, azaz papírgyár szóval illetik (a paper angolul nemcsak papírt, hanem tudományos publikációt is jelent), ez az, amit itthon tanulmánygyárnak hívunk. Ezek többféle szolgáltatást nyújtanak, természetesen pénzért. A két legjellemzőbb termék a szerzői pozíció és a hivatkozás. Előbbit lehet vásárolni változatos témájú és minőségű tanulmányokhoz, tankönyvfejezetekhez, szakkönyvekhez, szinte bármihez.

Az ilyen tanulmánygyárak működéséhez kapcsolódnak az úgynevezett ragadozó folyóiratok („predatory journal”), amik válogatás nélkül fogadják be a tanulmányokat pénzért cserébe. Szabó Csaba arról ír, hogy vannak úgynevezett szürke folyóiratok is, amik a legitimitás határán egyensúlyoznak, és valódi szerkesztőbizottságot tartanak fenn, ennek ellenére sok problematikus kézirat átcsúszik rajtuk. A ragadozó folyóiratok még idáig sem jutnak el: ezek egyetlen motivációja a profit, felkutatnak gyanútlan szerzőket, és legitim folyóiratnak adják ki magukat. Sok szerző azonban, aki ezekben a folyóiratokban publikál, pontosan tudja, hogy mire vállalkozik.

Mondhatnánk, hogy egyszerűen kiszűrhetők az ilyen folyóiratok: elég, ha tudjuk, hogy az a megbízható, ami szerepel az élettudományi és orvosbiológiai publikációk legnagyobb adatbázisának számító PubMed-ben. Csakhogy ragadozó folyóiratok is bekerülnek ide néha, például úgy, hogy a főszerkesztőnek van NIH-támogatása. Egy másik lehetőség, hogy valódi folyóiratokat térítenek el: a csalók megvásárolják őket, és tanulmánygyárak által gyártott hamis közleményekkel árasztják el. Jó példát hoz fel ezeknek a lapoknak a minőségi standardjára Szabó Csaba: David Maziéres és Eddi Kohler 2005-ben írt egy közleményt egy International Journal of Advanced Computer Technology nevű folyóiratba azzal a címmel, hogy „Vegyetek már le a kib***szott levelezőlistátokról”, ami csak ezt az egy mondatot tartalmazta 10 oldalon keresztül. A lap el is fogadta, sőt, az egyik „bíráló” még kiválónak is minősítette a kéziratot.

Bár a tanulmánygyárak és a ragadozó folyóiratok kétségkívül hozzáteszik a magukét a publikációs válsághoz, nem csak rajtuk múlik a probléma: Szabó Csaba azt írja a könyvében, hogy a vezető folyóiratok közleményeit is nagy arányban lehetetlen reprodukálni. „A kereskedelmi kiadók is sok pénzt keresnek az ilyen közleményekkel – mondta Sudip Parikh. – Én is sokszor hangoztattam már, hogy ahogy egyes országok nem igénylik a kereskedelmi kiadást, nyílt hozzáférésre váltunk azoknál a lapoknál is, ahol most nem vagyunk azok.” A vezérigazgató szerint a változást a finanszírozó ügynökségeknél kellene kezdeni, amik jellemzően állami intézmények vagy filantrópok. „Ők azok, akik a pénzt kontrollálják, és megmondhatják a szerzőknek, hogy ne fizessenek a publikálásért, olyan lapokat keressenek, amiknél nem kell. Így, ha ezeket a kiadókat támogatják, az enyhíti a kereskedelmi lapokra irányuló húzóerő egy részét. Rájönnek, hogy nem kapnak kéziratokat úgy, ahogyan most működnek.”

Könyvében Szabó Csaba egész fejezetet szentel annak, hogy ezt a publikációs válságot hogyan lehetne megoldani. A kutató szerint a tudósok mellett a pályázati támogatást nyújtó szervezetek, az intézmények és a kiadók együtt felelősek a problémáért, ezért nekik is kell megoldaniuk. Azt írja: elsősorban a kiváltó okokat kell megszüntetni, hiszen a mai tudománycsinálási gyakorlat minden eleme egy nagyon régi koncepcióban gyökeredzik: a független kutatóéban. A jelenlegi tudományos környezetben azonban mások a motivációk és az ösztönzők, a munka összetettebb és specializálódott, ezért a folyamat minden érintettjét meg kell reformálni, ráadásul egyszerre. Le kell állni például azzal a gyakorlattal, ami a publikációkat valamiféle univerzális valutának tekinti, és azzal is, hogy az intézmények a kutatásra úgy tekintenek, mint valamire, aminek mindenképpen pénzt kell hoznia az intézménynek. Szabó Csaba szerint a tudósok munkáját és karrierjét nem lenne szabad külső kutatási pályázati pénzek megszerzésétől függővé tenni.

Kiadói szempontból jó példának hozza fel az eLife folyóiratot, ahol minden olyan kéziratot közzétesznek, amiket kiválasztanak szakértői értékelésre, a bírálók megjegyzéseit pedig a közleménnyel együtt hozzák nyilvánosságra. Arra is szükség van, hogy visszamenőleg a teljes szakirodalmat megtisztítsák a hibáktól – ennek jelentős részét egyszerű képfelismerő szoftverrel ma már el lehetne végezni. A bírálói munkát Szabó Csaba szerint fizetett, hivatásos munkává kéne tenni, a folyóiratoknak pedig kötelező lenne feljelentést tenniük, ha tudományos csalást észlelnek. A könyv szerint a nyilvánosságnak is nagy szerepe lenne a reformokban, hiszen alapvetően az emberek fizetik a tudományos munkát, akinél pedig a pénztárca van, az irányít.

„Ha valaki azt mondja, hogy a tanulmányok 50 százaléka hibás, akkor azt lehet úgy csavarni, hogy azt higgyük: a közlemények rossz tudományt tartalmaznak. Ez nem így van, ez mind kimagasló színvonalú tudomány – mondta Sudip Parikh. – Viszont beszélnünk kell arról, hol vannak a nehézségek. Arról, hogy milyen mértékű és kontextusú nehézségekről van szó. De jelenleg a tudomány aranykorában élünk. Az innováció és a felfedezések üteme nagyon gyors. Ez pedig azzal járt, hogy megnőtt a tudományba fektetett pénz mennyisége világszerte. Ezek a dollárok, eurók pedig magukkal hozzák az emberiség teljes spektrumát. És lesznek olyan emberek, akik ezen csak pénzt akarnak keresni. Ezt fel kell ismernünk. Az egész környezetet össze kell fognunk, és meg kell kérdeznünk magunktól: hogyan tudjuk garantálni, hogy ez a pénz megfelelő tudomány irányába áramlik. Ehhez pedig meg kell változtatnunk a tudomány egész kultúráját, és ha valaki olyan közleményeket jelentet meg, amik nem méltók, annak következménye kell hogy legyen.”

Az Elpazarolt orvostudományt olvasva egyébként az embernek eleinte az az érzése támad, hogy már a tudományban sem lehet megbízni, de a könyv konklúziója egyáltalán nem ez. Szabó Csaba egy korábbi interjújában azt mondta: „A tudományban való bizalom abból fakad, hogy bár soha nem állít abszolút bizonyosságot, folyamatosan teszteli és finomítja saját állításait.” A tudomány még mindig jól működő gépezet, olyan felfedezésekkel, amik alapjaiban változtatják meg a világot és mentik meg az emberiséget – nagy szavak, de így van. Nemrég legyűrtünk egy világjárványt, egyre több a hatékony terápia a rák ellen, öröklődő betegségeket gyógyítunk, egyre közelebb vagyunk ahhoz, hogy megoldódjon a transzplantációs hiány, és egyre inkább úgy tűnik, hogy az AIDS gyógyítása is a kanyarban van. A publikációs válsággal viszont foglalkozni kell, azért hogy ezek az áttörések még gyorsabban és még hatékonyabban érkezhessenek meg.