Psihološke studije su bile lažne u više od 50% slučajeva

2024 Autor: Seth Attwood | [email protected]. Zadnja promjena: 2023-12-16 16:06

Postoje "snažni položaji" koji grade samopouzdanje i smanjuju hormone stresa. Kada ljudi drže šalicu toplog napitka u rukama, postaju prijateljski raspoloženi prema onima oko sebe. Snaga volje je resurs koji trošimo kada se odupiremo iskušenju. Sposobnost odgađanja nagrade određuje djetetov budući uspjeh.

Te su izjave vrlo slične jedna drugoj: iza njih su poznata psihološka istraživanja, popularnoznanstveni bestseleri, kolumne u popularnim časopisima i TED razgovori.

Zajednička im je i još jedna stvar: ispostavilo se da su svi bili u krivu.

Kriza reproduktivnosti bacila je sumnju na cijela polja znanosti. Mnogi rezultati, koji su bili naširoko citirani u medijima, danas se smatraju pretjeranima ili lažnima. Kada su znanstvenici pokušali replicirati i klasične i nedavne psihološke eksperimente, rezultati su bili iznenađujuće dosljedni, s oko polovice slučajeva uspješno, a druga polovica neuspješna.

Kriza je konačno postala očita 2015. godine, kada su znanstvenici pod vodstvom Briana Noseka provjerili 100 psiholoških studija. Početne rezultate uspjeli su postići samo u 36 slučajeva. Glavni urednik Lanceta Richard Horton ubrzo je izjavio:

“Optužbe protiv znanosti prilično su jasne: barem polovica znanstvene literature je jednostavno pogrešna. Pateći od studija s malim uzorkom, oskudnim učinkom i pogrešnim analizama, kao i opsjednutosti modnim trendovima sumnjive važnosti, znanost je skrenula prema neznanju.

Reproducibilnost je jedan od ključnih zahtjeva za znanstvenu spoznaju. Što se rezultat bolje reproducira, to je pouzdaniji - to je jedini način da se stvarni obrasci odvoje od jednostavnih slučajnosti

Ali pokazalo se da taj zahtjev nije uvijek ispunjen.

Kriza je počela s medicinom, ali najviše je zahvatila psihologiju. U ljeto 2018. znanstvenici su pokušali replicirati izbor psiholoških studija objavljenih u Science and Nature, najprestižnijim svjetskim znanstvenim časopisima. Od 21 pokusa, samo 13 je potvrđeno – pa čak i u tim slučajevima izvorni rezultati bili su pretjerani za oko 50%.

Često na testu reproduktivnosti padnu one studije koje su bile naširoko replicirane u medijima i koje su uspjele utjecati na javnu svijest. Primjerice, djela koja tražilice narušavaju pamćenje, a čitanje beletristike razvija sposobnost empatije. Ako ponovljeni eksperimenti ne uspiju, to ne znači da su izvorne hipoteze bezvrijedne. Ali sada su potrebna bolja istraživanja kako bi se oni dokazali.

Kako predvidjeti budućnost pomoću statistike

2011. godine poznati američki psiholog Daryl Boehm objavio je članak koji je dokazao mogućnost vidovitosti. Ovaj zaključak nije bio proizvod njegove nasilne mašte, već se temeljio na desetljećima istraživanja koja su uključivala stotine ljudi. Mnogi su sumnjali da je Boehm odlučio dogovoriti nešto poput Sokalove prijevare i razotkriti psihologiju lažnim člankom s namjerno apsurdnim zaključcima. No, prema svim metodološkim standardima, članak je bio vrlo uvjerljiv.

U jednom od Behmovih eksperimenata ispred sudionika su postavljena dva ekrana – morali su pogoditi iza koje se slike krije. Slika je generirana nasumično odmah nakon odabira. Da su sudionici dobro odradili posao, to bi značilo da nekako mogu predvidjeti budućnost. U eksperimentu su korištene dvije vrste slika: neutralne i pornografske.

Boehm je sugerirao da ako šesto čulo postoji, ono vjerojatno ima drevno evolucijsko podrijetlo. Ako je tako, onda je vjerojatnije da je usklađen s našim najstarijim potrebama i porivima

Sudionici su pogađali pornografske slike 53% vremena - nešto češće nego što bi trebali da su puka slučajnost. S obzirom na veliki broj eksperimenata, Boehm bi mogao tvrditi da predviđanje postoji.

Kasnije su stručnjaci otkrili da je prilikom analize rezultata koristio ne sasvim ispravne metode. U pravilu se rezultat istraživanja smatra pouzdanim ako vjerojatnost da je dobiven slučajno ne prelazi 5%. Ali postoji mnogo načina da se ova vrijednost svede na potrebnu razinu: promijenite početne parametre analize, dodajte ili uklonite potreban broj primjera iz uzorka, koristite uspješnije hipoteze nakon prikupljanja podataka.

Problem je u tome što su iste tehnike koristili ne samo Boehm, već i mnogi drugi znanstvenici. Prema istraživanju iz 2011. godine, gotovo polovica psihologa je to priznala

Kad je izašao vidoviti članak, društveni znanstvenici Joseph Simmons, Leaf Nelson i Uri Simonson shvatili su da znanost ide prema vlastitoj propasti. Napravili su nekoliko računalnih modela i otkrili da korištenjem prilično standardnih statističkih tehnika možete nekoliko puta povećati razinu lažno pozitivnih rezultata. To znači da metode koje su formalno znanstvene mogu lako dovesti do potpuno apsurdnih zaključaka.

Kako bi to ilustrirali, znanstvenici su proveli eksperiment koji je potvrdio da slušanje pjesme "When I'm Sixty-four" slušatelja čini godinu i pol mlađim.

“Svi su znali da je pogrešno koristiti takve tehnike, ali su mislili da je to prekršaj po svom značaju – poput prelaska ceste na krivom mjestu. Ispalo je više kao pljačka banke”, zaključio je Simmons.

Kako razlikovati loše istraživanje od dobrog

Ubrzo je postalo jasno da problemi reproduktivnosti nisu ograničeni na psihologiju. U istraživanju raka, znanstveni dokazi potkrijepljeni su u 10-25% slučajeva. U ekonomiji, 7 od 18 laboratorijskih eksperimenata nije bilo moguće ponoviti. Istraživanja umjetne inteligencije također pokazuju znakove krize.

No, gubljenje vjere u znanost, čini se, još uvijek se ne isplati. Znanstvenici su već smislili nekoliko načina koji su uvelike poboljšali pouzdanost i kvalitetu novih istraživanja

Prije nekoliko godina gotovo nitko nije objavio rezultate ponovljenih eksperimenata, čak i ako su provedeni. To nije prihvaćeno, nije donijelo stipendije i nije pridonijelo uspješnoj znanstvenoj karijeri. Prema istraživanju Nature, više od 70% psihologa pokušalo je i nije uspjelo reproducirati tuđa istraživanja, oko polovice nije uspjelo ponoviti svoje, a gotovo nitko nije nastojao objaviti ove rezultate.

Kad se pojavila kriza reproduktivnosti, mnogo se toga promijenilo. Ponovljena istraživanja postupno su postala uobičajena; eksperimentalni podaci počeli su se sve češće objavljivati u javnosti; časopisi su počeli objavljivati negativne rezultate i bilježiti cjelokupni plan istraživanja i prije nego što su počeli.

Istraživanja su postala opsežnija - uzorak od 30-40 ljudi, što je bilo sasvim standardno u psihologiji, sada odgovara malom broju ljudi. Velike međunarodne organizacije – poput Psychological Science Acceleratora – testiraju iste hipoteze u nekoliko laboratorija diljem svijeta.

Prije provjere članaka iz Nature and Science, o kojima smo pisali na početku, znanstvenici su zamoljeni da se klade na nagradne igre. Morali su predvidjeti koja će istraživanja proći test, a koja neće uspjeti. Općenito, cijene su bile vrlo točne. “To znači, prvo, da znanstvena zajednica može predvidjeti koji će se radovi moći ponoviti, a drugo, da nemogućnost repliciranja studije nije puka slučajnost”, kažu organizatori eksperimenta.

Znanstvenici su općenito dobri u razlikovanju pouzdanih od nepouzdanih istraživanja - to je dobra vijest. Sada stručnjaci Centra za otvorenu znanost zajedno s agencijom DARPA pokušavaju stvoriti algoritam koji će istu zadaću obavljati bez ljudske intervencije.

Previše je članaka objavljenih svake godine da bi se čak i mali dio njih ručno ponovno provjerio. Ako se umjetna inteligencija baci na posao, sve će biti puno lakše.

Već u prvim testovima AI se uspješno nosio s predviđanjima u 80% slučajeva.

Što istraživanje najčešće čini nepouzdanim? Mali uzorci, nedosljednosti u brojkama, prelijepa potvrda hipoteza. I također - želja za senzacijama i prejednostavnim odgovorima na teška pitanja.

Predobro da bi bilo istinito

Najlakši način za stvaranje senzacionalnog istraživanja je prijevara. Poznati socijalni psiholog Diederik Stapel koristio je izmišljene podatke u nekoliko desetaka znanstvenih članaka. Stapelova su se istraživanja velikom brzinom širila po novinama i časopisima, dobio je nekoliko prestižnih znanstvenih nagrada, objavljivao se u Scienceu i smatrao se jednim od najvećih stručnjaka u svom području.

Jednom se pokazalo da Stapel dugo vremena uopće nije provodio istraživanje, već je jednostavno izmislio podatke i dao ih studentima na analizu.

Ovo je vrlo rijetko u znanosti. Mnogo češće glasne, ali netočne izjave nastaju iz drugih razloga. Ljudi očajnički traže jednostavne, razumljive i učinkovite odgovore na uzbudljiva pitanja. Vrlo je lako doći u iskušenje pomisliti da imate te odgovore, čak i ako ih stvarno nemate. Težnja za jednostavnošću i sigurnošću jedan je od glavnih razloga zašto mnoge studije ne uspijevaju testirati ponovljivost. Evo nekoliko značajnih primjera.

Eksperiment s marshmallowom

U eksperimentu su djeca bila zamoljena da biraju između jedne male nagrade - poput marshmallowa - koju bi mogli dobiti odmah, i dvostruke nagrade ako bi mogli malo pričekati. Kasnije se pokazalo da su djeca koja su dobila drugu nagradu postala uspješnija u odrasloj dobi. Studij je postao vrlo popularan i utjecao na neke školske programe.

2018. eksperiment je ponovljen na širem uzorku. Pokazalo se da je bogatstvo u obitelji puno važniji čimbenik o kojem ovisi i razina samokontrole.

"Poze snage" i "Poze slabosti"

Sudionici eksperimenta dvije su minute zauzeli jednu od dvije poze: zavalili su se u stolicu i bacili noge na stol ("poza snage") ili prekrižili ruke na prsima ("poza slabosti"). Zbog toga su se sudionici iz prve skupine osjećali sigurnije i češće su pristajali riskirati u kockanju. Oni koji su sjedili u jakom položaju povećali su razinu testosterona, a oni koji su sjedili u slabom položaju povećali su kortizol. U ponovljenim eksperimentima reproduciran je samo jedan učinak: "držači snage" pomogli su sudionicima da se osjećaju sigurnije, ali nisu promijenili njihovo ponašanje ili hormonalne parametre.

Asocijacije na starost tjeraju vas da se krećete sporije

Sudionici eksperimenta trebali su riješiti nekoliko zagonetki. Ako su se u njih ubacile riječi koje asociraju na starost – “zaboravan”, “stariji”, “usamljen” – tada su sudionici sporije napuštali prostoriju.

U nedavnim pokusima eksperiment je uspješno reproduciran samo u jednom slučaju: ako su eksperimentatori sami znali da sudionici u testovima nagovještavaju starost. Sam učinak je ostao, ali su razlozi već bili drugačiji.

Topli predmeti čine ljude prijateljskim

Sudionici eksperimenta smjeli su kratko držati šalicu tople ili hladne kave, a zatim su zamolili da ocijene osobnost osobe koristeći kratki opis. Sudionici koji su držali vruću šalicu kave ocijenili su tu osobu simpatičnijom. U drugom eksperimentu sudionici su dobili predmet u toplom ili hladnom pakiranju, a zatim su zamoljeni da ga zadrže ili daju prijatelju. Ako je predmet bio zamotan u topli paket, vjerojatnije je da će sudionici odabrati drugu opciju. Ponovljeni eksperimenti sa širim uzorkom nisu dali takve rezultate. Čini se da vas topla odjeća neće učiniti altruistom.

Snaga volje je iscrpljena kada se odupiremo iskušenjima

Ispred sudionika eksperimenta postavljena su dva tanjura - s kolačićima i rotkvicama. U prvoj skupini sudionici su smjeli jesti kolačiće, a u drugoj samo rotkvice. Zatim je svaki sudionik bio zamoljen da riješi nemoguću zagonetku. Sudionici koji su jeli samo rotkvice u prvom dijelu eksperimenta odustali su puno ranije od ostalih. U ponovljenim pokusima rezultati nisu potvrđeni.

U nekim slučajevima, sposobnost samokontrole nije iscrpljena, već se s vremenom čak intenzivirala. Mnogi psiholozi danas koncept "snage volje" smatraju previše pojednostavljenim.

Mnogo je već učinjeno u svjetskoj psihologiji kako bi istraživanja bila pouzdanija i ponovljiva. U Rusiji se ovaj problem tek treba shvatiti.

"U ruskoj psihologiji problemi krize uglavnom se odnose na znanstvenu mladež, koja je uvelike orijentirana na zapadnjačku znanost", rekao je za Knife Ivan Ivanchey, izvanredni profesor na RANEPA. - Kontrola kvalitete publikacija na ruskom općenito nije jako visoka. Časopisi rijetko odbijaju članke, pa se objavljuje puno nekvalitetnih istraživanja. Često se koriste mali uzorci, što također smanjuje vjerojatnost uspješne reprodukcije. Postoji sumnja da se, ako se ozbiljno pozabavi pitanjem ponovljivosti djela na ruskom jeziku, mogu otkriti mnogi problemi. Ali nitko nije izravno uključen u ovo."

U siječnju 2019. postalo je poznato da će ruska vlada značajno proširiti zahtjeve za znanstvenike u pogledu broja publikacija: minimalni broj članaka objavljenih godišnje trebao bi porasti za 30-50%.

Znanstvenici iz utjecajnog akademskog "Kluba 1. srpnja" kritizirali su inicijativu: "Zadaća znanosti nije proizvesti maksimalan broj publikacija, već istražiti svemir i iskoristiti znanje stečeno za čovječanstvo." Najvjerojatnije će novi zahtjevi samo povećati razmjere problema.

Priča o krizi reproduktivnosti nije priča o nadolazećoj apokalipsi i invaziji barbara. Da nije došlo do krize, sve bi bilo puno gore: i dalje bismo se pozivali na pogrešna istraživanja s punim povjerenjem da znamo istinu. Možda se vrijeme hrabrih naslova poput "Britanski znanstvenici dokazali" bliži kraju. Ali glasine da je znanost mrtva treba smatrati pomalo pretjeranima.