Voimmeko luottaa galluppeihin?: Kaikki riippuu

Voimmeko luottaa galluppeihin? Parhaissa olosuhteissa vastaus on 'Ei välttämättä ilman melkoista määrää yksityiskohtaista tietoa siitä, kuinka ne on suoritettu.' Tämä yleinen varoitus koskee kaikkia kyselyn kuluttajia milloin tahansa. Mutta nykyään, kun mielipidemittaukset lisääntyvät tiedotusvälineissä ja metodologiset huolenaiheet lisääntyvät äänestysteollisuudessa, varovaisuus on vieläkin perusteltua. Tämä ei tarkoita sitä, että kyselytietojen yleinen laatu heikkenee tai että kyselyntekijöiden kohtaamiin ongelmiin ei ole vastauksia. Silti kyselytietojen kuluttajien on oltava varovaisempia kuin koskaan.

Lisääntyvät gallupit

Nopeasti kehittyvän teknologian ja tietokoneiden, kaukopuhelupalveluiden ja tilastoohjelmistojen kustannusten laskun aikana aloittavien yritysten on helpompi kuin koskaan päästä mukaan äänestystoimintaan. Koska suurin osa äänestyksistä tapahtuu nykyään puhelimitse, on edullista ja helppoa sellaisen, joka haluaa ryhtyä kyselyihin, ostaa näyte, kirjoittaa lyhyt kyselylomake tietokoneavusteisen puhelinhaastattelun (CATI) sovellukseen, ostaa haastattelupalveluita kenttätalossa ja saat raportin kunkin kysymyksen marginaalien perusteella sekä rajallisen joukon ristikkäisiä taulukoita.



Tämän seurauksena mahdollisuus nähdä huonosti suoritetun gallupin tulokset ovat yleistyneet, vaikka emme voikaan arvioida tarkasti, onko näkemisen todennäköisyys muuttunut. Ongelma pahenee, koska toimittajat ja muut, jotka raportoivat yleisestä mielipiteestä, eivät yleensä ole hyvin koulutettuja arvioimaan kyselyn tuloksia, eivätkä näin ollen voi aina karsia 'huonoja' kyselyn tuloksia ennen kuin ne tulevat uutisvirtaan ja muuttuvat 'faktaiksi'. Joten riski kasvaa, että kansallisia tai paikallisia kysymyksiä koskevat paikalliset gallupit ovat huonommin suoritettuja tai raportoitu huonommin kuin suurten kansallisten järjestöjen tekemät.

Kyselyn kuluttajilla tai kyselyistä kirjoittavilla toimittajilla ei ole pääsyä laadunvalvontakriteereihin tai sertifiointiprosesseihin, joiden avulla voitaisiin arvioida tiettyjä yrityksiä tai henkilöitä. Tämän seurauksena kaikkien on luotettava uutisorganisaatioihin arvioidakseen kyselyjä sellaisten järjestöjen, kuten American Association for Public Opinion Researchin (AAPOR) ja National Council of Public Polls (NCPP), kyselytulosten julkistamisstandardien perusteella. Heidän tulee myös ilmoittaa kaikista tällaisista asioista huolissaan. Näin saataville saadut tiedot sellaisista yksityiskohdista, kuten otanta, kysymysten sanamuoto, kenttien päivämäärät ja vastausprosentit, ovat hyödyllisiä niille harvoille valistuneille kyselyn kuluttajille, jotka voivat tulkita sen.

Laskeva vastausprosentti

Laskevat vastausprosentit ovat huolenaihe koko kyselytutkimusteollisuudelle, olivatpa sitten akateemisia tutkijoita, ehdokkaille työskenteleviä poliittisia konsultteja tai uutisorganisaatioita. Markkinointi- ja mielipidetutkimusneuvoston äskettäiset puhelinkyselyjen vastausprosentit viittaavat siihen, että lyhyen kenttäjakson tutkimukset ovat nyt keskimäärin noin 10 prosenttia, vaikka useimpien mediakyselyiden vastausprosentti on 30–45 prosenttia. Vaikka analyytikot ovat havainneet monia tekijöitä tämän pitkän aikavälin trendin takana – kuten mielipidekyselyn tekijöinä esiintyvien puhelinmyyjien kielteiset vaikutukset ja erilaisten puhelunseulontalaitteiden lisääntynyt käyttö – emme vielä ymmärrä hyvin, kuinka paljon kukin niistä vaikuttaa yleiseen laskuun. Tutkijat ovat myös alkaneet ymmärtää, että osallistumisasteiden aleneminen vaikuttaa todennäköisesti erilaisiin poliittisiin kyselyihin eri tavoin.

Kilpailun lopputulosta ennakoivien vaaleja koskevien mielipidemittausten osalta alustavat tutkimukset viittaavat siihen, että samat tekijät, jotka voivat alentaa osallistumista kyselyihin, voivat myös heikentää osallistumista vaaleihin. Laskeva vastausprosentti ei siis näytä vaarantavan viimeaikaisten presidentinvaalien tuloksia koskevien arvioiden tarkkuutta. Lisätutkimukset auttavat selvittämään, vaikuttaako osallistumisen väheneminen ennakkovaalien arvioihin muina vuosina pidetyissä alhaisemman äänestysprosenttiosuuden vaaleissa vai onko sillä ajan mittaan erilaisia ​​vaikutuksia tuleviin ennakkovaalien arvioihin.

Esivaaleja koskevat gallupit ovat epätavallisia, koska niiden tarkkuus voidaan verrata itse vaalien tulokseen. (Tämä ominaisuus voi luoda vääränlaisen luottamuksen kyselyyn yleensä, koska samanlaiset ulkoiset validoinnit eivät päde monissa muissa kyselytilanteissa.) Mitä tulee julkisen talouden politiikkaan liittyviin kyselyihin, emme tiedä kyselyihin osallistumisasteiden laskun mahdollista vaikutusta. koska meillä ei ole mitään keinoa tarkistaa kyselyjen tarkkuutta. Esimerkiksi kun gallupit arvioivat yleisön reaktiota tai arviota politiikoista, kuten sotilaallisista toimista Irakissa tai ehdotetuista veronalennuksista, ei ole vastaavaa riippumatonta tapaa mitata mittausten paikkansapitävyyttä. On kuitenkin olemassa viittauksia, joiden mukaan poliittiset äänestystulokset saattavat heijastaa konservatiivisempia tai republikaanisempia näkemyksiä kuin väestössä yleisesti – harha, joka ei olisi yllättävää, koska republikaanien on pitkään tiedetty äänestävän todennäköisemmin kuin demokraatit. Tämä tosiasia on otettu huomioon useimpien mielipidemittausyritysten käyttämissä todennäköisyysestimaattoreissa).

Uusi teknologia

Monet äänestysorganisaatiot omaksuvat uuden teknologian keinona leikata kustannuksia ja nopeuttaa tiedonkeruuta. Jotkut uudet tekniikat mahdollistavat myös useamman tyyppisen tiedon keräämisen. Esimerkiksi verkkopohjaisissa kyselyissä voidaan käyttää visuaalisia tai ääniärsykkeitä, jotka eivät ole mahdollisia muilla kyselylomakkeilla, mikä tekee niistä erinomaisen tavan arvioida poliittisia mainoksia, varsinkin kun niitä sovelletaan täydellisessä kokeellisessa suunnittelussa. Monet organisaatiot ovat myös turvautuneet verkkopohjaisiin kyselyihin lyhentääkseen läpimenoaikaa kyselylomakkeen suunnittelun ja data-analyysin alkamisen ja ensimmäisen tulosraportin laatimisen välillä.

Epäasianmukaisesti käytettynä tämä tekniikka kuitenkin tarjoaa useita mahdollisia sudenkuoppia tietojen laadulle. Ennen kaikkea vastaajien valintaan liittyvät otantakysymykset. Kyselyt hankkivat vastaajia kolmella tavalla. He ottavat 'vapaaehtoisia', jotka valitsevat itsensä vastaamaan yleisesti saatavilla oleviin kyselylomakkeisiin verkkosivustolla. He rekrytoivat vapaaehtoisia, joskus yhteen kyselyyn ja joskus paneeliin, josta otetaan seuraavat näytteet. Ja he käyttävät todennäköisyysotosta valitakseen vastaajia puhelimitse ja tarjotakseen Internet-yhteyden sitä tarvitseville.

Koska verkkoyhteyksien saatavuus ei ole jakautunut tasaisesti tai satunnaisesti yhteiskunnassa, digitaalisen kahtiajaon olemassaolo voi tuoda esiin yhden harhalähteen vapaaehtoisten näytteiden joukossa. Tällä tekniikalla esimerkiksi on taipumus tuottaa näytteitä, jotka ovat republikaanisempia ja konservatiivisempia, kuten olemme nähneet erilaisissa olosuhteissa, kuten vuoden 2000 jälkeisissä mielipidemittauksissa ja yleisemmissä julkisen politiikan arvioissa sen jälkeen. Tuloksena oleva ennakkoluulo suosii nykyistä Bushin hallintoa ja saattaa toimia demokraattista hallintoa vastaan. Muita mahdollisia ongelmia ovat väsymys, joka johtuu vaatimuksesta vastata säännöllisiin ja toistuviin kyselyihin paneelin tilan säilyttämiseksi – vaatimus, joka saattaa joissain olosuhteissa johtaa jopa ammattimaisiin vastaajiin. Näistä asioista on tehtävä enemmän tutkimusta, mutta vähintään kyselyn kuluttajan tulisi tietää vastaajien rekrytoinnista ja valinnasta verkkopohjaisiin kyselyihin.

Myös mielipidekyselyjen tekejien on taisteltava matkapuhelimien lisääntymisen kanssa. Huolimatta näiden laitteiden lisääntyvästä levinneisyydestä Yhdysvalloissa (lähes 75 prosenttia), alle 5 prosenttia amerikkalaisista luottaa pelkästään matkapuhelimeen. Mutta tämä osuus kasvaa – ja tuo kyselyntekijöille uusia ongelmia. Ensinnäkin matkapuhelinkeskuksilla ei ole yleistä hakemistoa, ja ne on jätetty pois näytteistä, joita useimmat julkiset äänestysyritykset voivat ostaa. Toiseksi matkapuhelimiin luottavat ihmiset ovat liikkuvampia kuin muu väestö, ja monet käyttävät yrityksensä tarjoamia puhelimia. Jos, kuten on todennäköistä, maantieteellinen vastaavuus puhelimille osoitettujen suuntanumeroiden ja niiden omistajien asuinpaikan välillä on huono, se voi olla ongelma yrityksille, jotka tekevät tutkimuksia kansallisilla otoksilla, mutta se voi olla ongelma niille, jotka suorittavat valtion otoksia. tai paikallisia tutkimuksia ja soittamalla tehokkaasti pois kohdealueeltaan.

Toinen uuteen teknologiaan liittyvä ongelma on soittajan tunnus. Tämä seulontalaite, joka ilmoittaa kotitalouksille soittajan, mahdollistaa puhelut alueensa ulkopuolelta tai tuntemattomista numeroista. Vastauksena kansalaisten pyyntöihin suojella puhelinmyyjiä liittovaltion hallitus on ryhtymässä kehittämään ei soita -luetteloa. Mielipidemiehien ei tarvitse kunnioittaa tällaista listajäsenyyttä nyt, mutta mielipidemittausten tai puhelinmyyjien tulevat väärinkäytökset voivat muuttaa tilanteen. Myös tämä tekniikka laskee vastausprosentteja.

Uudet äänestysmenetelmät ja ennakkoäänestäjät

Ennakkoäänestäjät kohtaavat kaksi suhteellisen uutta ongelmaa, joista molemmista he selviävät omistamalla enemmän taloudellisia resursseja työhönsä. Nähtäväksi jää, ovatko yritykset valmiita maksamaan enemmän kerätäkseen tietoja vähemmän virheitä tai harhaa käyttäen.

Lähes 10 vuoden ajan uudet hallinnolliset menettelyt ovat antaneet amerikkalaisten mahdollisuuden muuttaa tapojaan äänestää. Yhä useammin kansalaiset äänestävät ennen vaalipäivää – tai pikemminkin, kuten se alkaa tarkoittaa, ääntenlaskentapäivää.

Sellaisten menettelyjen avulla kuin ennakkoäänestys (jossa koneet asennetaan sopiviin paikkoihin, kuten ostoskeskuksiin tai kauppakeskuksiin jo kolme viikkoa ennen vaalipäivää), postitse äänestäminen (jossa jokaiselle rekisteröityneelle äänestäjälle lähetetään äänestyslippu enintään 20 päivää ennen vaalipäivää ) ja pysyvä poissaolorekisteröinti (jossa äänestäjät voivat pyytää, että heille lähetetään äänestyslippu ennen vaalipäivää ilmoittamatta, että he ovat poissa kaupungista), yhä useammat äänestäjät äänestävät ennakkoon. Vuoden 2000 vaaleissa noin kuudesosa kansallisista äänestäjistä äänesti ennakkoon, ja osuus on kasvussa. Valituissa valtioissa osuus voi olla paljon suurempi. Tätä kehitystä edesauttavat myös muut hallinnolliset muutokset, kuten vaalipäivän ilmoittautuminen, jolloin kansalaiset voivat viime hetkellä päättää, haluavatko he äänestää, vaikka he eivät olisi aiemmin ilmoittautuneet.

Tämä kehitys ei tarkoita sitä, että vaaleja edeltävät puhelinäänestykset olisivat vanhentuneita tai katoavat. He ehdottavat, että puhelinäänestysten suorittajien on käytettävä hybridimalleja, jotka sisältävät erilaisia ​​seulontakysymyksiä (Oletko jo äänestänyt? Oletko rekisteröitynyt äänestämään tulevissa vaaleissa?). Voter News Service käytti tällaisia ​​tekniikoita aiemmissa vaaleissa, samoin kuin yritykset suurissa osavaltioissa – kuten Kaliforniassa, Texasissa ja Floridassa – monien ennakkoäänestäjien kanssa. Lopulta puhelinäänestyksiä voidaan täydentää ennakkoäänestyspaikoilta poistuneiden äänestäjien poistumiskyselyillä. Tällaiset ongelmat eivät ole ylitsepääsemättömiä, mutta ne aiheuttavat lisäkustannuksia ja vaativat kehittyneempiä suunnitelmia, mikä todennäköisesti vaikeuttaa vaalien tulosten mallintamista yhä erilaisten tietolähteiden perusteella.

Toinen ennakkovaalien kyselyyn osallistuneiden kysymys – joka nousi esiin vuoden 2002 vaaleissa – on republikaanipuolueen kehittämä 24 tunnin työryhmä vastustaakseen ammattiliittoihin perustuvia äänestyskampanjoita. Vapaaehtoisia värvättyjä pyydettiin Internetissä soittamaan vähintään kolme puhelua kampanjan viimeisen 72 tunnin aikana kannustaakseen todennäköisiä republikaaniäänestäjiä äänestämään. Näiden ponnistelujen tehokkuutta ei ole analysoitu systemaattisesti, mutta niistä on saattanut olla hyötyä ainakin joissakin osavaltioissa, erityisesti etelässä. Vaikeus on, että vaaleja edeltävät mielipidemittaukset, erityisesti sanomalehdet, tekevät perinteisesti kyselyitä perjantaihin tai lauantaihin tuottamaan tarinan sunnuntain lehteen. Koska heidän äänestyksensä tyypillisesti päättyvät juuri näiden mobilisointipyrkimysten alkaessa, heidän kyselynsä saattavat aliarvioida republikaanien osuuden äänistä. Kyselyn tekijät voisivat torjua ongelman pidentämällä ennakkovaalien äänestysaikaa jopa maanantai-iltaan, mutta se uhmaa joukon uutisten tekemisen normeja siitä, mikä on paras aika julkaista tarinoita kampanjasta, jotta se tavoittaisi suurimman yleisön. Ja se myös lisäisi tiedonkeruukustannuksia.

Poistu Pollstersista

Poistumiskyselyillä on kaksi erillistä tehtävää: ne antavat tietoa siitä, kuka voitti vaalit, ja selittävät tämän menestyksen. Poistumisäänestys kehitettiin tekniikaksi yksittäisten äänestäjien sieppaamiseksi heidän poistuessaan äänestyspaikoista näytteissä piireissä. 1960-luvun lopulta lähtien poistuneiden kyselyt ovat antaneet sähköiselle medialle suuren edun vaalien kattamisessa, mukaan lukien kyky tuottaa uutisia tuloksista kauan ennen kuin kaikki äänet on laskettu. Poistuneiden mielipidemittareiden keräämät ja analysoimat tiedot ovat kuitenkin hyödyllisiä paitsi rotujen ennustamisessa, myös äänestäjien aikomusten ja käyttäytymisen analysoinnissa asenneominaisuuksien sekä kaikkien demografisten tekijöiden perusteella.

Paljon työtä on vielä jäljellä, ennen kuin tiedotusvälineet ovat valmiita käyttämään poistuneita kyselyjä analysoidakseen äänestämistä vuoden 2004 presidentinvaaleissa. Työ on ratkaisevan tärkeää, sillä poistumiskyselyistä – selittävästi, ei ennustavaksi – on tullut itsenäinen yleisön ääni, joka selittää mitä tapahtui ja miksi. Ilman tätä ääntä toimittajat ja poliittiset kommentaattorit palaavat vanhaan poliittisen raportoinnin tyyliin luottaen siihen, että puolueen virkamiehet ja strategit tarjoavat syy-yhteydet ja selityksen sille, miksi yksi puolue tai ehdokas menestyi toisesta.

Kahden viime vaalin aikana Voter News Servicen poistumiskyselytoimintaa vaivasi kaksi ongelmaa. Jokainen niistä tunnistettiin osaksi vuoden 2000 jälkeisiä arvioita sekä sisäisesti että kongressin lausunnossa, eikä kumpaakaan ole vielä ratkaistu. Ensimmäinen oli, olivatko VNS:ää (edelleen DOS-pohjainen järjestelmä keskustietokoneelle) tukeneet hallinnolliset ohjelmistot ja laitteistot tehtävänsä tasalla. Toinen, joka ei ole vielä saanut paljon keskustelua, oli VNS-järjestelmän tilastollinen mallinnus riittävää. VNS:n ennusteet eivät perustuneet pelkästään exit poll -haastatteluihin, vaan myös tilastolliseen mallinnukseen, joka sisälsi kunkin piirin yksityiskohtaisen historian, mukaan lukien tiedot äänestysprosentista ja äänien puolueellisesta jakautumisesta ajan mittaan; ennakkoarviot kunkin kilpailun tuloksista, jotka perustuvat tiedustelutietoihin, jotka sisälsivät vaaleja edeltävät kyselyt ja erilaiset asiantuntija-arviot; ja hyvin tiiviissä kilpailussa raakaäänestysten kokonaismäärä. Vaikka nämä mallit olivat käsitteellisesti sopivia, ne eivät käyttäneet viimeisimpiä tilastollisia teorioita ja malleja, kuten esimerkiksi brittiläinen BBC.

Pian vaalipäivän 2002 jälkeen verkot aloittivat uuden tarkastelun ja päättivät lopulta hajottaa VNS:n. Sen tilalle he ovat sopineet tukevansa uutta exit poll -operaatiota, National Elections Poolia (NEP), jota johtavat Warren Mitofsky ja Joe Lenski, kaksi veteraania, joilla on sekä kansallista että kansainvälistä kokemusta. Mutta julkista keskustelua tarvitaan lisää siitä, pitäisikö uuden toiminnan tilastollisia malleja tarkistaa.

Mitofskyn ja Lenskin tehtävä ei ole kadehdittava. Vanha VNS-ohjelmistojärjestelmä, olipa sen nykyinen omistus ja saatavuus mikä tahansa, ei kyennyt käsittelemään suuria tietomääriä nykytekniikalla. Ja vuonna 2002 VNS ei pystynyt yksinään, edes lähes kahden vuoden varoitusajalla, kehittämään uutta järjestelmää tuottamaan suhteellisen vähän arvioita vuoden ulkopuolisille vaaleille. Tulevat presidentinvaalit ja esivaalit antavat uudelle tiimille alle vuoden aikaa kehittää toinen uusi järjestelmä, joka tuottaa suuremman määrän parempia arvioita – vaikka Mitofsky ja Lenski pystyivät tarjoamaan CNN:lle sellaisen palvelun vuonna 2002 10 osavaltiossa RealVote-järjestelmänsä kautta. . Ja koska uusi tiimi todennäköisesti keskittyy ensisijaisesti tiedon keräämiseen ja käsittelyyn, se käyttää vähemmän aikaa ja vaivaa estimointimalleihin.

Tapahtuipa mitä tahansa, uusi organisaatio tuottaa edelleen todennäköisesti ainoat arviot tuloksista ja selityksistä, ja sekin on ongelma. Vähintään yhden muun lähteen tulisi kerätä tietoja itsenäisesti toisen arvion saamiseksi tuloksista. Toisen lähteen tulisi myös käyttää erilaista kyselylomaketta, joka teoriassa heijastaa sopivaa sisältöä koskevia uutisarvioita. Nämä kaksi arviota yhdessä antaisivat täydellisemmän selityksen ja luotettavammat arviot siitä, mitä tapahtui ja miksi.

Äänestyksen kansainvälistyminen

Viimeaikaiset sotilaalliset toimet Irakissa ovat lisänneet uutisorganisaatioiden kiinnostusta siihen, mitä ulkomaiset, erityisesti Lähi-idän tai Afganistanin ja Pakistanin kaltaisten valtioiden yleisöt ajattelevat Yhdysvalloista ja sen politiikasta. Mutta näiden alueiden äänestysteollisuus ei ole vielä hyvin kehittynyt, ja se perustuu tyypillisesti muutamalta suurelta kaupunkialueelta otettuihin näytteisiin maan laajuisen sijaan. Kansallinen yleisökyselyjen neuvosto on äskettäin ehdottanut, että kysymys saattaa usein olla pragmaattinen tiedonkeruuyritykselle. Matkakulujen leikkaamisen lisäksi nämä yksinkertaisemmat mallit voivat myös vähentää käännös- ja kieliongelmia. Mutta saadut tiedot vaativat myös toimittajia, jotka haluavat raportoida siitä, mitä muut ajattelevat amerikkalaisista, olemaan varovaisia ​​tekemiensä yleistysten tason ja tyypin suhteen.

terveyden ja terveydenhuollon taloustiede

Lisää galluppeja, enemmän ongelmia

Yleisön mielipidemittaukset, joita tehdään usein ja joiden tulokset ovat laajalti levitettyjä, ovat yksi terveen demokratian erottuva piirre. Ne tarjoavat kansalaisille keinon kommunikoida valittujen edustajiensa kanssa ja päinvastoin. Mutta niiden arvo tässä suhteessa riippuu korkealaatuisten, hyvin analysoitujen ja asianmukaisesti tulkittujen tietojen keräämisestä.

Viime aikoina kyselyjen saatavuus on lisääntynyt vaiheittain, ja siihen on liittynyt kysymyksiä mahdollisesta laadun heikkenemisestä. Tällainen kehitys ei ole ennennäkemätöntä: uusia tekniikoita on ennenkin ja tulee jatkossakin saataville, jotta dataa saadaan tuotettua nopeammin ja halvemmalla, kun taas syntyviä säästöjä ei käytetä erilaisten virheiden vähentämiseen. Kukaan ei vielä täysin ymmärrä, mitä seurauksia edellä kuvatuista ongelmista voi olla. Kyselyn kuluttajilla, kuten aina, ei ole muuta mahdollisuutta kuin kiinnittää mahdollisimman paljon huomiota siihen, mistä tiedot ovat peräisin ja miten ne analysoitiin.