O týchto veciach sa musíme rozprávať
Cieľom prvého blogu nebolo zhodiť všetky prieskumy verejnej mienky, alebo nebodaj kvantitatívne metódy v sociálnych vedách ako také. Snažil som pýtať otázky, ktoré pomôžu čitateľom lepšie pochopiť kontext údajov, ktoré sa im dostávajú do ruky a poukázať na niektoré problémy, hlavne v transparentnosti v tejto oblasti.
Richard Fekete ma ale veľmi správne upozornil na fakt, že tomuto segmentu sa na Slovensku nevenujú len tieto tri agentúry, ale zopár ďalších, ktoré robia kvalitné neverejné výstupy pre svojich klientov. Toto je veľmi podstatná pripomienka, len si dovolím povedať, že predmetom blogu boli tri agentúry, ktoré ovplyvňujú verejnú diskusiu prostredníctvom svojich výstupov a analytického komentovania svojich predstaviteľov. Taktiež som bol upozornený, že mnoho freelancerov funguje bez webstránok a otvorených portfólií.
Prejdime však reakciám analytikov agentúr. Bude to kúsok dlhšie scrolovanie ale nechcel som to nejako editovať. K niektorým odpovediam sa vyjadrím pod nimi a na konci textu.
Ján Baránek
Ján Baránek z POLISu napísal do diskusného fóra pod blog nasledovné. Text kopírujem bez úpravy, jedine mením ESOMAR za SAVU, ktoré boli omylom uvedené naopak. Zvýrazňujem časť s ktorou budem pracovať neskôr.
Nezvyknem to robiť, ale teraz by som si dovolil zreagovať - napriek tomu, že autor textu je politicky zaradený. Poukážem teda iba na niektoré nezrovnalosti: "Agentúra POLIS oficiálne sídli v panelákovom byte v Ružinove...". To je pravda, v mieste môjho trvalého bydliska, keďže som majiteľom agentúry. Štúdio, odkiaľ sa vykonávajú prieskumy máme v Devínskej novej Vsi. Autora zaujíma aj biznis model Polis-u. Nechápem načo? Ale prosím - Polis Slovakia takmer výlučne realizuje prieskumy verejnej mienky pre politické strany na Slovensku, pre politikov kandidujúcich vo voľbách do NR SR, VÚC, europarlamentu, prezidentských kandidátov, do komunálnych volieb. Marketingové prieskumy nerobíme, venujeme sa takmer na 100% politickým prieskumom. Inak povedané, sme úzko špecializovanou agentúrou na politické prieskumy verejnej mienky. Čo sa klientov teda týka, je to snáď jasné, menovať ich nebudem. Tu je aj odpoveď, z čoho Polis Slovakia žije. Je na zvážení čitateľov, či takáto špecializácia je výhodou, alebo nevýhodou. Vzhľadom na množstvo zakázok od politických subjektov si dovolím tvrdiť, že naši klienti to vnímajú ako výhodu. Tu je aj dôvod toho, prečo nemáme web stránku. Nemáme na nej čo zverejňovať - realizované prieskumy sú výlučným vlastníctvom našich klientov a nie agentúry. Polis Slovakia navyše musí prísne dodržiavať diskrétnosť a zatiaľ si na 100% úspešne chránimeto, aby nám "neunikli" informácie jednotlivých konkurentov. ďalej - pokiaľ by Vám to stále nebolo jasné - Polis Slovakia nepotrebuje žiadny marketing. Na trhu je od r. 1999 a všetci relevantní klienti o nás vedia. A prosím Vás - ako môžete porovnávať našu prácu s prácou nejakých "freelancerov"v reklame, dizajne, manažmente??? A ešte upresnenie - my nerobíme "normálny, komerčný biznis". Politika má svoje špecifiká a veľmi citlivoich musíme vnímať aj so všetkým odlišnosťami v porovnaní s "normálnym, komerčným biznisom."Čo sa SAVA-u týka.Nie raz som už - aj verejne, povedal, že pokiaľ nevznikne na Slovensku nová organizácia, do stávajúcej Polis Slovakia nevstúpi. Dôvod? Keď vznikol Polis Slovakia v r. 1999, jedinou starosťou vtedajšieho vedenia tejto organizácie bolo, ako Polis Slovakia, ako novú konkurenciu - zlikvidovať. Ďalší dôvod - pokiaľ SAVA nezačne riešiť "čudesné" výstupy niektorých predvolebných preferencií niektorých agentúr, nevidím vôbec žiadny dôvod vstupovať tam. Ale ubezpečujem Vás, že Polis Slovakia dodržiava všetky príslušné štandardy. Existuje jednoduchá kontrola - pozrite si predvolebné preferencie agentúr od r. 2002 a to, ktorá agentúra bola odvtedy až do r. 2012 najpresnejšia. Presne na tomto základe máme toľko zakázok najmä od politických subjektov. Čo sa týka Vašej požiadavky spôsobu váženia dát - Polis Sovakia nezverejňuje modely, ale prieskumy. Vaše ostatné závery, resp. požiadavky sú nerelevantné, nebudem sa k nim vyjadrovať, resp. by si vyžadovali príliš dlhý priestor. Napr.Vaša požiadavka, cit.: "že nových 12 som získal zo skupiny respondentov, ktorí sú reprezentatívnou vzorkou..." je nerelevantná. Skrátka to tak nefunguje. Trochu by ste si mali naštudovať teóriu veľkých čísiel a najmä teóriu fraktálov (zasahuje tu - do istej miery, aj tzv. "čudesný atraktor", ale to by som už príliš komplikoval.) No a čo sa mojej osoby týka, keďže Váš blog je aj o tom. Ubezpečujem Vás, že sa do žiadneho médiá nevnucujem!!! Navyše - čomu asi málokto uverí - okrem novinárov samotných, tí o tom vedia, všetky moje mediálne vystúpenia sú zadarmo. Skrátka - pokiaľ je po nich dopyt, tak ich dávam.
A nedávam ich iba pre Slovenské média - pred voľbami pravidelne komentujem v ČT24, v Českom rozhlase, pred poslednými voľbami preberali moje živé vstupy TA3, ČT 24 a AP paralelne. Takisto som v minulosti - v časoch mečiarizmu, prispieval do českých denníkov, poľského Zycia, sporadicky do National geographic a spolu s Christinou Spolar (vtedy, už pracuje inde) z Washington Post sme vypracovali a WP zverejnilo (tuším to bolo v r. 1995) na dvoch vnútorných dvojstranách materiál o Slovensku za Mečia. V tom čase som bol totiž predsedom "Komisie SSN na ochranu novinárov na Slovensku". No a pokiaľ by som sa mal vrátiť ešte ďalej, pred r. 1989 som sa stretával s katolíckym disentom , ale aj s občianskym, za čo som si vyslúžil od boľśevika veľmi nepríjemné obvinenie a pred basou ma zachránila revolúcia v r. 89. A aby bolo jasné - tento dlhý text nepíšem kvôli Vám - vy ste mi len zavdali príležitosť. Týmto som chcel informovať aj tých, ktorí ma počúvajú-sledujú, aj tých ktorí ma nepočúvajú. A na záver informácia pre tých, ktorí sa zaujímajú o to, kto ma platí. Poviem to ešte raz verejne už som to musel urobiť pred voĺbami v r. 2012 v SRo. Som katolík a mám zmluvu s Bohom, ktorá funguje - tá zmluva je o tom, že ja robím poctivo a On sa stará o mňa a moju rodinu. Takže: platia ma všetci, pre ktorých realizujem prieskumy. Ale nepodplatil ma ešte nikto a nikomu sa to nepodarí (pokusov bolo neúrekom), lebo iba hlupák by zrušil zmluvu, ktorá funguje.Navyše mám tri deti a aká je suma za pokazenie aj ich mena? Taká neexistuje. Ďakujem Vám za pozornosť a prajem príjemný deň. RNDr. Ján Baránek.
Zmienka o tom, že POLIS robí jedine politické prieskumy je veľmi zaujímavá. Hlavne v kontexte toho, že autor následne vystupuje v televízii ako nezávislý analytik. Zdá sa mi viac než zrejmé, že komentovať napr. konanie svojich klientov (politické kampane a strany) je konflikt záujmov, Človek môže mať záujem, aby sa im darilo (a platili ma ďalej) a formovať verejnú diskusiu tak ako to ukazujú moje dáta a strategické odporúčania (a klient si ma naďalej držal).
Samozrejme, Slovensko je malá krajina a dobrých analytikov je málo, ale spôsob ako hrať túto hru fér, v prípade agentúry, ktorá robí 100% prieskumov pre politikov, je napríklad neverejne informovať TA3 a príbuzné médiá, ktoré udalosti či strany nebudem komentovať, lebo je tu problém s konfliktom. A určite by sa patrilo opustiť značku nezávislého analytika/politológa za niečo príznačnejšie, napr. politický konzultant. V každom prípade však platí veľmi zásadná otázka, je si TA3 vedomá tohto problému?
Len pre príklad uvádzam ako k tejto problematike pristupuje Etický kódex BBC, alebo NY Times (čl. 136-138)
TA3 som ešte minulý štvrtok poprosil o vyjadrenie k tejto otázke, v piatok mi prisľúbili stanovisko v pondelok, ktoré mi doteraz nezaslali. Ak príde, blog updatnem.
Update, 29.4., 17:54 - Stanovisko TA3
Hodnotenie práce redaktorov, moderátorov a odborníkov, ktorí spolupracujú s TA3 pokladá televízia za svoju internú záležitosť.
Myslite nato, keď si ju budete najbližšie zapínať.
Čo sa týka mojich neznalostí metodológie, z komentára som celkom nepochopil o čo by sa malo jednať. Myslím, že už len pre zvýšenie dôvery a pochopenia prieskumov zo strany verejnosti by bolo dobré, keby to pán Baránek rozviedol. K otázke reprezentatívnosti a jej vytvárania sa pán Baránek, ak som ho správne pochopil, nevyjadril. Ostatok jeho reakcie nechávam na posúdení čitateľov.
Martin Slosiarik
Martin Slosiarik z FOCUSu mi v stredu a vo štvrtok napísal nasledujúce maily.
Dnes som si precital vas blog. Ja si myslim, ze ak sa uz rozhodnete pisat nieco o nasej agenture, respektive prieskumoch verejnej mienky, ktore realizujeme, nemamproblem vam odpovedat na vase pripadne otazky, aby sme sa vyhli pripadnym nespravnym interpretaciam.
Tak napr. nasa agentura najskor realizovala len socialne (nie marketingove) prieskumy a na zaklade toho si vystavala vlastnu anketarsku siet. Lenze ak by sme mali len taketo portfolio sluzieb, tak neprezijeme. Anketarov potrebujete zapajat do prieskumov pravidelne. Klientela na socialny prieskum je u nas relativne slaba. Preferencie robime roky na vlastne naklady a je to samozrejme aj otazka nasej prezentacie, ale aj forma nasho obcianskeho postoja, pretoze si myslime, ze ludia maju pravo na taketo informacie. Toto cele je vsak na dlhsiu debatu.
Ak mate pochybnosti o serioznosti nasej agentury, sem s nimi, bavme sa na zaklade faktov a nie nejakych dojmov. Kludne sa bavme o efektivnej velkosti vzorky,vyberovej chybe, intervaloch spolahlivosti, hladinach vyznamnosti a pod.
Pokial ide o interpretaciu rastu Smeru - pozor jedna vec je co sa pise v novinach a druha co povie analytik (privlastok politickY som si nedal ja ale media). Ale ok, v tomto pripade som povedal, ze sa prepad zastavil a povedal som to preto, ze dolezite su trendy (ako pisete sam na inom mieste). Treba si pozriet aj prieskumy pred marcom 2013.
Martina Slosiarika som sa opýtal na tvrdenie o tom, že prepad sa zastavil, pričom stále sa pohyboval vo vlastnom intervale spolahlivosti a taktiež nato, že na základe čoho dedukoval kauzálne efekty Modrého z neba a US Steelu na ich vývoj.
Takze pokial ide o SMER februar 34,6 / marec 36,8 / april 39,0. Ano intervaly spolahlivosti sa ciastocne prekryvaju, ale dovolim si na zaklade mojej 14 rocnej skusenosti vo vyskume verejnej mienky tvrdit, ze zmena preferencii o 4,4 percentualneho bodu nie su vysledkom len cistej statistickej nahody (ak chcete chyby).
Bolo by super, keby sme mohli efekty pripadnych zmien testovat prostrednictvom kauzalnych modelov, ale tu sa uz asi pohybujeme trocha na inej rovine - mam na mysli nie len casovu, ale aj financnu. Idealne by bolo keby sme sa pri takychto modeloch inspirovali priekopnikom v tejto oblasti (P.F. Lazarsfeld) a jeho publikaciou People´s choise, kde su uvedene zaklady paneloveho zistovania preferencii.
Preferencie sa u nas bezne zverejnuju z omnibusovych prieskumov, ktore sa robia na mesacnej (alebo inej) baze. To znamena, ze su to "fotky" spolocenskej reality mesiac po mesiaci. Menia sa respondenti (kedze to nie je panel) a preto nie mozne vystopovat priame kauzalne suvislosti. To znamena, ze nam neostava nic ine, nez hladat faktory, ktore mohli sposobit zmenu v case. Za taketo faktory ja v poslednom mesiaci povazujem pozitivne spravy v oblasti udrzania velkeho zamestnavatela na Slovensku, informacie o prichode novych investorov a kladne medialne vystupenie premiera v relacii, ktora ma vysoku sledovanost. Nenarokujem si na to, ze som vysvetlil vsetky faktory, ktore mohli mat vplyv na rast preferencii Smeru. Zaroven je potrebne kontrolovat ine pripadne zdroje chyb vo vyskume(napr. dizajnovu chybu), ktore vyplyvaju z pouzitia inej metodiky, znenia otazky a pod. Toto vsak mozeme vylucit, kedze metodika, znenie otazky a ine zdroje design error boli kontrolovane.
Ide ale o to, ci sa o tychto veciach bavime na politickej alebo odbornej rovine. A ja mam pocit, ze sa bavime na politickej, ktora mna pri mojej interpretacii nezaujima. Samozrejme v omnibuse sma mali aj ine politicke otazky (pre konkretneho klienta), ktore naznacuju velmi pozitivne score premiera u volicov v poslednom mesiaci (udaje zial nemozem zverejnit).
Martin Slosiarik zrejme celkom presne identifikoval problém so súčasnými výskumami. Nedostatok prostriedkov. Práca s panelovým výskumom, kde sa pracuje stále s jednou skupinou respondentov by bola cestou vpred. Interpretatívne hodnotenia sú teda zatiaľ výsledkom informovaného, na 14 rokoch skúseností, založeného odhadu, čo je v poriadku. Dôležité je, aby si toho bol čitateľ vedomý a podľa toho to aj posudzoval.
Pavel Haulík
Pavla Haulíka som navštívil v piatok v priestoroch MVK. Na Grösslingovej ulici. To, že MVK je na Grössingovej sa nemá človek ako dozvedieť, tak som sa ho aj rovno opýtal, prečo nepovažuje za dôležité o sebe a svoje firme prezentovať aspoň základné údaje. Podľa jeho slov je súčasťou generácie, pre ktorú to nebolo dôležité a všetci jeho potencionálni klienti o ňom vedia, takže jeho prezentácia nie je dôležitá.
MVK sa venuje politickým prieskumom momentálne približne na 90% z celkového obratu firmy. Podľa slov p. Haulíka "MVK stála pri zrode väčšiny nových politických projektov", keďže im poskytovala detailné prieskumy verejnej mienky. Za najväčšiu komparatívnu výhodu MKV považuje Pavel Haulík kvalitnú sieť anketárov, skrz ktorých sú vykonávané relatívne detailné prieskumy (30-40 minút na dotazník), na rozdiel od náhodného telefonického prieskumu.
Za prieskumom, podľa ktorého by Bezák porazil Fica si MVK stojí v plnej miere. V prípade väčšieho tlaku, alebo žaloby na ochranu dobrého mena spoločnosti by MVK nemala problém predložiť aj samotné hárky respondentov.
Asi najsilnejší pocit, ktorý som si z toho stretnutia odniesol bolo ten, že otázky štandardov a transparentnosti týchto prieskumov nik nerieši nie kvôli tomu, že by mal diabolský masterplan, ale jednoducho to nikoho netrápi. Opakovane odznievalo, "ste prvý, kto sa nato pýtal".
Poznámka na záver
Cieľom týchto blogov nebolo vyvyšovanie sa, ani prázdne nadávanie. Čitateľská verejnosť právom očakáva od médií, že im budú poskytovať expertné informácie v takej podobe, že si o ich hodnote budú vedieť urobiť názor čo najlepšie. Rozhodne som nechcel tvrdiť to, ako opakovane objavilo v diskusií pod blogom, že agentúry sú kúpené. Nato neexistuje žiaden dôkaz. Za problém však považujem to, že týmto prieskumom a analytikom s nimi spojených sa umožňuje extrémna interpretačná voľnosť, pri čom o ich práci, pozadí a možných konfliktoch záujmov vieme pri málo. Rovnaké zásady by však mali platiť pre prácu novinárov s expertmi zo všetkých oblastí a samozrejme aj pre nich samotných.
Výsledkom tejto konverzácie nemá byť nič iné, než to, že k zisteniam spoločensko-vedného výskumu (medzi ktoré patria aj tieto prieskumy) budeme pristupovať kriticky, informovane a transparentne.
Ak sa Vám text páčil, vďaka za podporu na vybrali.sme.sk
