Vedkyňa Rohrerová: Krízu dôveryhodnosti v psychológii môže pomôcť vyriešiť otvorená veda

Si aktívnou obhajkyňou otvorenej vedy. Prečo? Čo ťa k tomu priviedlo?

Replikačná kríza sa u mňa „oficiálne“ začala keď som začala študovať v roku 2011. Približne v tejto dobe bol v popredných publikáciách zverejnený článok od Daryla Bema, ktorý údajne dokázal, že ľudia dokážu vidieť do budúcnosti. Zároveň sa objavil článok od Josepha Simmonsa, Leifa Nelsona a Uri Simonsohna, ktorý ukázal ako niektoré výskumné praktiky môžu viesť k veľkému množstvu falošne pozitívnych výsledkov. Ako mladá výskumníčka som si uvedomila, že vlastný výskum som založila na určitých vedomostiach. Avšak existovalo podozrenie, že mnohé zistenia sú dosť nejednoznačné.

Ako ťa to ovplyvnilo?

Začala som rozmýšľať, či môžeme dôverovať všetkým zisteniam a ako ich môžeme kriticky overiť. Preto otvorená veda ku mne prišla prirodzene. Chcela som urobiť dobrý psychologický výskum a dobrú štúdiu o vplyve rodiny na osobnosť. V relevantnej literatúre na túto tému som našla veľa flexibility v tom, ako ľudia robili analýzy. Chcela som urobiť výskum lepším spôsobom.

Mohla by si vysvetliť čo otvorená veda znamená?

Na jednej strane, otvorená veda je hnutie, ktoré je zamerané na diverzitu. To znamená, že každý by mal byť schopný zúčastniť sa na vede, bez ohľadu na jej zdroje. V psychológii je otvorená veda predovšetkým o takzvanej replikácii alebo kríze dôveryhodnosti. Hnutie je zamerané hlavne na to, aby sa zaistilo, že dôkazy pre naše tvrdenia sú dôsledné, a že tieto údaje môžu byť replikovateľné. To zahŕňa opatrenia ako otvorený prístup, otvorené materiály a pred-registráciu. Zdieľanie údajov a materiálov umožňuje ostatným kriticky preskúmať naše závery.

Otvorené údaje nie sú často reprodukovateľné?

V psychológii sa ľudia často snažia tak málo, ako je to len možné. Niekedy ľudia tvrdia, že niečo urobili - ako napr., že sprístupnili všetky svoje údaje ostatným - aj napriek tomu, že to v skutočnosti neurobili. Zistenia vtedy zostávajú nereprodukovateľné. Zaužívaná prax v otvorenej vede ako je napr. rozdávanie odznakov pre transparentné a otvorené správanie sa výskumníkov nestačí, musíme tiež pridať kontrolu. Mnoho výskumníkov v psychológii publikuje veľmi často. To znamená, že recenzenti nemajú záujem alebo čas dôkladne prekontrolovať údaje. Avšak podľa definície, úlohou recenzie je udržanie kvality výskumných záznamov a súčasťou toho je aj kontrola údajov. Takže niečo sa musí zmeniť.

Vedkyňa a výskumníčka Julia Rohrerová hovorí, že vo výskume musíme začať odznova a prehodnotiť, čo robíme a čo ešte nevieme. (zdroj: Ina Müller)

V čom vidíš hlavné výzvy?

Myslím si, že dôveru v naše štúdie a naše zistenia môžeme obnoviť tým, že všetko urobíme transparentným a otvoreným. Za prvé, vedci si musia začať navzájom znova dôverovať, avšak v ideálnom prípade by otvorenosť vyslala signál aj verejnosti. Ako vedci sme často financovaní verejnými financiami, takže je našou povinnosťou byť transparentní a zodpovední, keď vyslovujeme tvrdenia. Jedným zo vzrušujúcich vývojov je, že teraz máme niekoľko laboratórií venovaných meta-výskumu, ktoré skúmajú výskum a teda snažia sa vyhodnotiť, ako môžeme vedu vylepšiť.

Ako vplýva v súčasnosti koronavírus na otvorenú vedu?

Za prvé, pre epidemiológov a podobné odbory je teraz dôležité, aby mali prístup k najnovším informáciám a údajom. Niektoré vedecké časopisy sa vzdávajú svojich poplatkov alebo zverejňujú príslušné vedecké články zadarmo, čo je super. Na druhej strane vidím potenciálne riziko v tom, aby boli pracovné verzie štúdií zverejňované. Mnoho výskumníkov zdieľa články, na ktorých stále pracujú. Médiá tieto články preberú a tak zverejňujú zistenia, ktoré nemusia byť pravdivé. To odhaľuje fakt, že musíme vymyslieť spôsob, ako môžeme pracovať transparentne a ako môžeme dávať informácie kolegom čo najrýchlejšie a zároveň byť transparentní pri komunikácii so širokou verejnosťou. 

Je v psychológii kríza dôveryhodnosti?

Áno, je. My výskumníci musíme zistiť, kde sa stala chyba a čo je pravda. V mnohých prípadoch je pravdepodobné, že hypotéza výskumníka bola pravdivá, avšak v dôsledku chýb pri spracovaní údajov to nemôžeme povedať s istotou. Preto nám chýbajú dôkazy na určenie chyby a preto musíme začať odznova a prehodnotiť, čo robíme a čo nevieme.

Keď píšeme články, obvykle nepriznáme, že sme nič nenašli. To nevyhnutne neznamená, že výskumníci sa úmyselne snažia oklamať svojich čitateľov. Niektorí jednoducho zle pochopili štatistiku a myslia si, že je v poriadku to naďalej skúšať, až pokým niečo nenájdu. 

Ako by si čo možno najjednoduchšie vysvetlila v čom je problém vo väčšine vedeckých zistení súčasnej psychológie?

Rozmýšľať o tom je ako hádzanie mince. Ak je minca neporušená polovica hodení bude hlava a druhá polovica bude znak. Povedzme, že moja vedecká hypotéza je, že minca je porušená a má tendenciu padať znakom hore. Aby som ju dokázala, hodím mincu desať krát a naozaj v deviatich prípadoch uvidím znak - to by sme nečakali ak by minca nebola porušená. Takže je to dôkaz, že minca je poškodená. A teraz si predstavme, že mincu hodím tisíc krát, potom si prejdem výsledky a vyberiem desať po sebe idúcich prípadov, aby som dokázala svoju hypotézu. Práve tieto dodatočné informácie, že bolo viac pokusov, mení interpretáciu.

Čo to znamená?

To je problém pri testovaní viacerých hypotéz. Testujem mnoho vecí a náhodou mi niektoré dajú štatisticky významné výsledky. Je to ako opakované hádzanie mince. Ak zverejním všetky testy, čitatelia majú kompletné informácie. Avšak ak zverejním len tie, ktoré vyprodukovali významný efekt, obraz bude veľmi skreslený.

Vyskytuje sa tento problém v psychológii často?

Keď píšeme články, obvykle nepriznáme, že sme nič nenašli. To nevyhnutne neznamená, že výskumníci sa úmyselne snažia oklamať svojich čitateľov. Niektorí jednoducho zle pochopili štatistiku a myslia si, že je v poriadku to naďalej skúšať, až pokým niečo nenájdu. Viacnásobné testovanie, ak nie je urobené správne, vyprodukuje oveľa viac pozitívnych výsledkov. Predpokladáme, že sa niečo deje, aj keď to naše údaje nepodporujú.

Myslíš si, že vedci sú pod tlakom, aby vyprodukovali niečo zaujímavé aj keď to tam nie je?

Myslím si, že v psychológii je to citlivá otázka. Musíš mať sexy zistenia. Musia byť do určitej miery kontraintuitívne a senzačné a samozrejme tvoje štatistické dôkazy musia vyzerať presvedčivo. Existuje veľa tlakov - musíš mať kariéru, aby si dostala prácu. Ak sa to spojí s nedostatočným pochopením štatistiky, je z toho recept na zlý výskum.

Prečo? Odborná príprava v štatistike nie je dostatočne dobrá?

Na papieri môže byť odborná príprava v štatistike super. Ale v pozadí toho je kultúrny problém. Psychológovia sa často neučia z kníh ako robiť analýzu údajov. Pozorujú ako ich poradca narába s údajmi a ako bežne prebiehajú analýzy v ich laboratóriu. V laboratóriách existuje určitý spôsob robenia vecí a študenti sa väčšinou naučia len to. To je veľký faktor, ktorý robí mnoho analýz problematickými.

Môžeš uviesť príklad?

Napríklad v sociálnej psychológii existuje norma, že by si nemala mať len jednu štúdiu potvrdzujúcu tvoj argument, ale aspoň šesť alebo osem. Táto potreba je veľmi nákladná. Potrebuješ mať niekoľko vzoriek, z ktorých všetky potvrdzujú tvoju hypotézu. Veľké vzorky by boli príliš nákladné, takže namiesto toho ľudia zozbierajú niekoľko malých vzoriek. Malé vzorky často nezaznamenajú žiaden účinok, aj keď účinok existuje. Vtedy sa výskumníci začnú hrať s číslami, až pokým nenájdu niečo, čo sa dá použiť.

Ako by sa dali tieto problémy vyriešiť? Je otvorená veda riešenie?

Ak by ľudia začali zdieľať svoje údaje, rozhodne by to pomohlo. Ak tak v súčasnosti ľudia urobia, dostanú odznaky, a niekoľko pozícií už teraz vyžaduje od uchádzačov, aby demonštrovali, čo urobili pre podporu otvorenej vedy. To ale tiež znamená, že je to niečo, čo musíš urobiť, ak sa chceš stať profesorkou. Je to niečo, čo musíš pridať do svojho životopisu, ak chceš dostať prácu. Predpokladám, že ľudia sa opäť budú snažiť zmanipulovať systém. Otvorenú vedu môžu aplikovať zlým spôsobom. Môžu predstierať, že sú kompletne transparentní, keď v skutočnosti nie sú. Takže explicitná štruktúra stimulov nám bráni riešiť problémy vo vede, ak sa najprv nevysporiadame s kultúrnym problémom v ich pozadí: všetci sa stále snažíme uverejňovať veľa pekných výsledkov.

Ako sa majú veci v psychológii? Existuje nejaká šanca na zlepšenie?

Už teraz vidíme zmeny v tom, ako ľudia chápu dobrú vedu a čo je zodpovedné vedecké správanie sa. V súčasnej psychológii dochádza k určitej kultúrnej zmene.

Existuje niečo ako dobrá a zlá veda?

Ľudia majú normatívne predstavy o tom, ako by veda mala vyzerať. Sú často veľmi úzke. Avšak dobrá veda závisí od toho, aká metóda sa použije, akým spôsobom sa aplikuje, atď. Dobrá veda môže byť založená na veľmi odlišných základoch, ak sa zaistí, že v rámci danej sústavy sú dôkazy preskúmané dôsledne a závery sú zaručené. V súčasnej psychológii dominuje kvantitatívna metóda.

Je kvantitatívny výskum cenený viac v súčasnej psychológii?

Áno, veľmi. Kvalitatívny výskum je marginalizovaný - ak sa vôbec realizuje. Nikto v Nemecku nerobí významný psychologický výskum v kvalitatívnej oblasti, čo je škoda.

Prínos sociálnych vied by mal byť v tom, že by mali poskytnúť vedomosti, ktoré by sa dali použiť na zlepšenie kvality života ľudí.

Prečo si sa rozhodla pre vedu?

Vždy ma bavila matematika a štatistika, takže to bola prirodzená voľba. Ak má človek určité zručnosti, veda je veľmi lákavou voľbou.

Na čo je tvoj výskum zameraný?

Môj výskum je zameraný na subjektívny pocit zdravia a pohody, prostredníctvom čoho skúmam, ako sú ľudia spokojní so svojim životom a ako sa potenciálne determinanty môžu počas života zmeniť.

Aká je súčasná spoločenská hodnota spoločenskej vedy?

Vo všeobecnosti je zmyslom vedy snaha zhromaždiť robustné vedomosti o svete. Prínos sociálnych vied by mal byť v tom, že by mali poskytnúť vedomosti, ktoré by sa dali použiť na zlepšenie kvality života ľudí. Ak vedci dostávajú viac peňazí od verejnosti, mali by verejnosti vysvetliť, čo s nimi robia.