Tristny stav (svetoveho) empirickeho ekonomickeho vyskumu

Viete, aky je rozdiel medzi matematickymi a ekonomickymi clankami? Matematicke su takmer bez vynimky zalozene na rigoroznom dokazovani tvrdeni. Predpoklad, odvodenie, dokazane tvrdenie. Ekonomicke sa delia na dve skupiny. Jedna skupina je v podstate rovnaka ako v matematike. Presne formulovane predpoklady, odvodenie, dokazane tvrdenie. To su teoreticke clanky.

Druha skupina, ciastocne alebo uplne empiricke clanky, po sformulovani teorie (alebo jej prebrati od ineho autora) pristupuje k pouzitiu teorie na realnu situaciu. Teoria poskytne nejaky model, ktory ma niekolko mnoho parametrov, ktore si mozno zvolit, tak aby model zodpovedal skutocnosti. Jej pozorovanim a trpezlivym zbieranim udajov je mozne zvolit parametre relativne blizke pravde, za predpokladu, ze vseobecny model je dobrym odrazom skutocnosti. A este za jedneho predpokladu.

Vyskumnik by nikde nemal urobit chybu. Teda mal by:
= nepomylit sa v odvodeni modelu,
= pouzivat software, ktory nerobi chyby,
= nepomylit sa v zadavani modelu do software, ktory pouziva na analyzy,
= nepouzivat nekvalitne data reprezentujuce pozorovanie skutocnosti.

(Pravda, mozno dojst k spravnym vysledkom aj uplnou nahodou, ked sa chyby urobia... ale tak to hadam nikto nechce.)

Z tychto vsetkych podmienok je po precitani clanku lahko overitelna len prva. Vzdelany citatel, ktory vie, o com sa v clanku toci, si vezme papier a ceruzku a moze si prejst autorove odvodenia modelu. Niekedy to je divocina, ale v zasade by to malo ist.

Ako vsak overit dalsie tri? Realita je taka, ze vo vsetkych sa daju urobit chyby a vo vsetkych sa chyby robia vo velkom.

Po prve. Aj relativne trivialne a presne definovane veci zo statistickej analyzy (korelacna matica) vychadzaju v niektorych statistickych balikoch rozne. Kto zaruci, ze prave ten, ktory vyskumnik pouziva, pocita spravne?

Po druhe. Prevedenie modelu do statistickeho software je niekedy zalezitost jedneho kliku, ked sa robi len jednoducha linearna regresia. Inokedy je potrebne napisat aj zlozity kod... a kto programoval, vie, ze uplne bez chyb programuje len ... nebudem sa ruhat.

Po tretie. Kvalita dat je castokrat viac ako diskutabilna. Nedavno sa mi jeden absolvent celodenneho seminara, na ktorom ekonomovia prezentovali svoje vysledky so zhrozenim stazoval, ze autori studii casto prosto vezmu data z Bankscopu , bez akejkolvek kontroly kvality a uz regresuju len taky fukot. Pritom kto s Bankscopom kedy dlhsie pracoval, vie svoje, najma o datach mimo USA.

Ked si to zhrnieme: Je kde spravit chyby. Ked sa clanok uz publikuje, je celkom dobra sanca, ze nikto nikdy neskontroluje, ci nahodou autor niekde neurobil chybu. Nema moznost vediet, ake presne programy a algoritmy autor pouzil, ake data pouzil (logicky ziskat ich je tazko, kedze informacie su cenne a malokto horko-tazko nazbierane data da len tak z ruky ... zaplat!). Ako mozno potom takym vyskumom doverovat?

Clanok uvadza ako flagrantny priklad studiu Justina McCraryho, v ktorej sa pokusal len zreplikovat vypocty Stevena Levitta, povazovaneho za spickoveho vyskumnika. Uspel do tej miery, ze objavil chybu v algoritme. Nejde o to, ze ten slavny Levitt, autor slavnej knihy Freakonomics bol prichyteny pri chybe. Ide o to, ze spickovy vyskumnik urobi chybu, napriek tomu, ze techniku programovania ovlada, poziadavky na kvalitu dat ovlada. Co potom ostatni...