Pokazalo se da se oko 50% znanstvenih eksperimenata NE može reproducirati

2024 Autor: Seth Attwood | [email protected]. Zadnja promjena: 2023-12-16 16:06

Slučajno sam u nizu vijesti i informacija naišao na članak u Nature Scientific Reports. Predstavlja podatke iz ankete 1500 znanstvenika o ponovljivosti rezultata znanstvenih istraživanja. Ako se ranije ovaj problem postavljao za biološka i medicinska istraživanja, gdje je s jedne strane objašnjiv (optužuje se lažne korelacije, opća složenost proučavanih sustava, ponekad čak i znanstveni softver), s druge strane ima fenomenološki karakter (primjerice, miševi se različito ponašaju sa znanstvenicima različitog spola (1 i 2)).

Međutim, nije sve glatko i uz višeprirodne znanosti kao što su fizika i inženjerstvo, kemija, ekologija. Čini se da se upravo te discipline temelje na "apsolutno" reproducibilnim eksperimentima provedenim u najkontroliranijim uvjetima, nažalost, nevjerojatan - u svakom smislu riječi - rezultat istraživanja: do 70%suočili istraživači Neponovljivoeksperimenti i rezultati dobiveni ne samo od strane drugih skupina znanstvenika, ALI i od strane autora/koautora objavljenih znanstvenih radova!

Hvali li svaki pješčanik svoju močvaru?

Iako 52% ispitanika ukazuje na krizu reproduktivnosti u znanosti, manje od 31% smatra objavljene podatke temeljno netočnima, a većina je navela da još uvijek vjeruje objavljenom radu.

Naravno, samo na temelju ove ankete ne biste trebali sjeckati s ramena i linčovati svu znanost kao takvu: polovica ispitanika i dalje su bili znanstvenici povezani, na ovaj ili onaj način, s biološkim disciplinama. Kako napominju autori, u fizici i kemiji razina ponovljivosti i povjerenja u dobivene rezultate je puno veća (vidi grafikon ispod), ali još uvijek nije 100%. Ali u medicini stvari stoje jako loše u usporedbi s ostalima.

Pada mi na pamet šala:

Marcus Munafo, biološki psiholog na Sveučilištu Bristol, Engleska, ima dugogodišnji interes za ponovljivost znanstvenih podataka. Prisjećajući se studentskih dana, kaže:

Jednom sam pokušao iz literature reproducirati eksperiment koji mi se činio jednostavnim, ali jednostavno nisam uspio. Imao sam krizu samopouzdanja, ali onda sam shvatio da moje iskustvo nije tako rijetko.

Problem širine i dužine dubine

Zamislite da ste znanstvenik. Naišli ste na zanimljiv članak, ali rezultati/pokusi se ne mogu reproducirati u laboratoriju. Logično je pisati o tome autorima izvornog članka, pitati za savjet i postavljati pojašnjavajuća pitanja. Prema anketi, manje od 20%su to učinili ikada u svojoj znanstvenoj karijeri!

Autori studije napominju da su, možda, takvi kontakti i razgovori preteški za same znanstvenike, jer otkrivaju njihovu nekompetentnost i nedosljednost u pojedinim pitanjima ili otkrivaju previše detalja aktualnog projekta.

Štoviše, apsolutna manjina znanstvenika pokušala je objaviti opovrgavanje neponovljivih rezultata, nailazeći na protivljenje urednika i recenzenata koji su zahtijevaoumanjiti usporedbu s izvornim istraživanjem. Je li čudo da je šansa da se izvijesti o neponovljivosti znanstvenih rezultata oko 50%.

Možda bi se, dakle, isplatilo barem provesti ispitivanje reproduktivnosti unutar laboratorija? Najžalosnije je što čak trećina ispitanika NIKADAi nije razmišljao o stvaranju metoda za provjeru podataka radi ponovljivosti. samo 40%naveli da redovito koriste takve tehnike.

Drugi primjer, biokemičarka iz Ujedinjenog Kraljevstva, koja nije htjela otkriti svoje ime, kaže da pokušaji ponavljanja, reproduciranja rada za njezin laboratorijski projekt jednostavno udvostručuju vremenske i materijalne troškove, bez davanja ili dodavanja išta novo u rad. Dodatne provjere provode se samo za inovativne projekte i neobične rezultate.

I, naravno, vječna ruska pitanja koja su počela mučiti strane kolege: tko je kriv i što učiniti?

Tko je kriv?

Autori rada identificirali su tri glavna problema ponovljivosti rezultata:

• Pritisak nadređenih da se rad objavi na vrijeme
• Selektivno izvješćivanje (navodno, znači potiskivanje nekih podataka, koji "kvare" cijelu sliku)
• Nedovoljna analiza podataka (uključujući statističke)

Što uraditi?

Od 1500 ispitanih, više od 1000 stručnjaka izjasnilo se za poboljšanje statistike u prikupljanju i obradi podataka, poboljšanje kvalitete nadzora od strane šefova i rigoroznije planiranje eksperimenata.

Zaključak i malo osobnog iskustva

Prvo, čak i za mene, kao znanstvenika, rezultati su zapanjujući, iako sam navikao na određeni stupanj neponovljivosti rezultata. To je posebno vidljivo u radovima koje izvode Kinezi i Indijci bez "revizije" treće strane u obliku američkih/europskih profesora. Dobro je da je problem prepoznat i da se razmisli o njegovom rješenju. O ruskoj znanosti, u vezi s nedavnim skandalom, taktično ću prešutjeti, iako mnogi pošteno rade svoj posao.

Drugo, članak zanemaruje (točnije, ne razmatra) ulogu znanstvene metrike i recenziranih znanstvenih časopisa u nastanku i razvoju problema neponovljivosti rezultata istraživanja. U potrazi za brzinom i učestalošću objavljivanja (čitaj, porast indeksa citiranosti), kvaliteta naglo pada i nema vremena za dodatnu provjeru rezultata.

Kako kažu, svi likovi su izmišljeni, ali temeljeni na stvarnim događajima. Nekako je jedan student imao priliku recenzirati članak, jer nema svaki profesor vremena i energije za promišljeno čitanje članaka, pa se prikuplja mišljenje 2-3-4 studenta i liječnika iz čega se formira recenzija. Napisana je recenzija koja je ukazala na neponovljivost rezultata prema metodi opisanoj u članku. To je profesoru jasno pokazano. No, kako se ne bi pokvarili odnosi s “kolegama” – uostalom, u svemu uspijevaju – recenzija je “ispravljena”. A objavljena su 2 ili 3 takva članka.

Ispada začarani krug. Znanstvenik šalje članak uredniku časopisa, gdje naznačuje “ željeni"I, uglavnom," nepoželjan »Recenzenti, odnosno, ostavljaju se samo oni koji su pozitivno raspoloženi prema autorskom timu. Recenziraju rad, ali ne mogu “srati u komentarima” i pokušati odabrati manje od dva zla - evo popisa pitanja na koja treba odgovoriti, a onda ćemo objaviti članak.

Drugi primjer, o kojem je urednik Naturea govorio prije samo mjesec dana, su Grazelovi solarni paneli. Zbog ogromnog interesa za ovu temu u znanstvenoj zajednici (uostalom, još uvijek žele članak u Nature!), urednici su morali izraditi poseban upitnik u kojem trebaju navesti puno parametara, dati kalibracije opreme, certifikate itd. kako bi potvrdili da je metoda za mjerenje učinkovitosti panela u skladu s nekim općim načelima i standardima.

I, treći, kad opet čujete za čudesno cjepivo koje osvaja sve i svakoga, nova priča o Jobsu u suknji, novim baterijama ili opasnostima/koristima GMO-a ili zračenja pametnih telefona, pogotovo ako su ga promovirali žuti književnici iz novinarstva, onda se odnosite s razumijevanjem i ne donosite prebrzo zaključke. Pričekajte potvrdu rezultata od strane drugih skupina znanstvenika, gomilanje niza i uzoraka podataka.

P. S: Članak je preveden i napisan na brzinu, o svim uočenim greškama i netočnostima pišite na LAN.