Koulutustutkimuksen ja arvioinnin vaikutusten kartoitus

Tiivistelmä

Kasvatustutkimus on laaja, monialainen ala. Kun yritetään ymmärtää sitä tai tehdä arviota tärkeydestä, vaikutuksesta tai toiminnan paikasta, voi olla hyödyllistä nähdä kokonaiskuva, eikä meitä horjuta se, missä satumme istumaan kentällä. Viitetiedoista johdettu koulutustutkimuksen kartta voi auttaa näkemään kokonaiskuvan. Vastaukset yhteen viimeaikaisista Evidence Speaks -julkaisuistani ja sen suhde vuosittaiseen Koulutusviikko Edu-Scholar Influence Rankings ovat esimerkki siitä, kuinka kartta voi auttaa.

Johdanto

Kasvatustutkimus on laaja ala, johon osallistuu muun muassa psykologeja, ekonomisteja, sosiologeja, antropologeja ja valtiotieteilijöitä, jotka työskentelevät erilaisten ongelmien ja asioiden parissa. Kun arvioimme alaa, saatamme tehdä niin oman tutkimusyhteisömme näkökulmasta. Koulutustutkimuksen kartta voi auttaa meitä arvostamaan muita näkökulmia, mikä antaa meille mahdollisuuden moderoida ja tarkentaa harkintaa.



Vastaukset yhteen omaan Evidence Speaks -viestiini ja viimeaikaisiin Koulutusviikko RHSU Edu-Scholar Influence Rankings tarjoaa esimerkkejä siitä, kuinka ison kuvan näyttävä kartta voi laajentaa ymmärrystämme. [i]

Aiemmassa postauksessani, perustuen koulutuskirjallisuuden bibliometriseen analyysiin, raportoin, että alan kolme suurinta tutkimusyhteisöä olivat opetussuunnittelu (kutsuttiin tuossa viestissä kognitiivista kuormitusteoriaa), motivaatio ja tiedekasvatus. Näissä yhteisöissä eniten lainattuja, vaikutusvaltaisimpia ja tällä hetkellä aktiivisia tutkijoita olivat John Sweller, Richard Mayer, Albert Bandura, Herbert Marsh ja Michelene Chi. Tämä oli minusta täysin järkevää, koska olen viimeiset 35 vuotta katsonut koulutustutkimusta omasta näkökulmastani, joka perustuu psykologiaan ja kognitiotieteeseen.

Jotkut lukijat huomauttivat, että monet kasvatustutkijat eivät ehkä ole koskaan kuulleet kognitiivisen kuormituksen teoriasta tai siitä, kuinka mentaaliset esitykset vaikuttavat fysiikan ongelmien ratkaisemiseen. Tämä on pätevää kritiikkiä.

Väitteeni näyttivät erityisen kyseenalaisilta verrattuna RHSU Edu-Scholar Public Influence Rankingsiin. Joka vuosi Rick Hess listaa ne 200 tutkijaa (jäljempänä julkinen vaikuttaja), jotka ovat eniten vaikuttaneet kansalliseen koulutusdiskurssiin edellisen vuoden aikana. Opetussuunnittelu ja luonnontieteellinen koulutus eivät hyppää pois listan nimistä. Vuoden 2016 listan kärjessä olivat Diane Ravitch, Linda Darling-Hammond, Howard Gardner ja Gary Orfield. Yksikään mainitsemistani tutkijoista ei edes esiinny siinä.

Koulutustutkimuksen kartta voi auttaa meitä ymmärtämään tämän eron. Se tuottaa myös mielenkiintoisia kysymyksiä vaikutusluokista. Rankingissa on taipumus yliedustaa joissakin tutkimusyhteisöissä työskenteleviä tutkijoita ja aliedustettua toisia. Mielenkiintoista on, että se aliedustaa opetuksen ja aineiden oppimisen parissa työskenteleviä tutkijoita. Miksi näin voi olla?

Analyysi

Asiakirjan rinnakkaisviittauskartta edustaa tutkimusalan semanttista ja älyllistä rakennetta kuvaamalla lainattujen asiakirjojen rinnakkaisviittaussuhteita. Tässä analyysissä käytetty kartta perustuu 2 327 artikkeliin, jotka on julkaistu vuoden 2014 aikana Web of Science Education- ja Education Research -lehtien (52 lehteä) kärkikvartiilissa (vaikutustekijän mukaan). Näissä artikkeleissa lainataan 90 000 muuta artikkelia, eli yhteisviittauskartassa on 90 000 solmua. Huomaa, että nämä lainattu artikkeleita ei välttämättä julkaista kasvatustutkimuslehdissä. Niitä julkaistaan ​​aikakauslehdissä, jotka edustavat lukuisia muita tieteenaloja kuin kasvatustieteitä: psykologiaa, sosiologiaa, antropologiaa, politiikan tutkimuksia, taloustieteitä, kielitieteitä ja neurotieteitä. Kartta sisältää 2 775 lainausta, jotka ovat kirjoittaneet 195 200 julkisen vaikutuksen tekijästä. Yhteisviittausverkostoon sovellettu yhteisön tunnistusalgoritmi tunnistaa yli 110 tutkimusyhteisöä. [ii] Suurimmat yhteisöt sisältävät noin 5–6 prosenttia viittauksista.

Voidaan verrata viittausten jakautumista julkisten vaikuttajien työhön tutkimusyhteisöissä kaikkien viittausten jakautumiseen yhteisöissä. Tämä paljastaa yhteisöt, joissa julkisen vaikutuksen tekijät ovat yli, ali tai verrattain edustettuina verrattuna alaan kokonaisuutena. Yksi tutkimusyhteisö sisältää yli 16 prosenttia 2 775 julkisen vaikutuksen tekijän viittauksesta.

Huomaa, että lainaustietoja käytetään alan kartoittamiseen, tutkimusyhteisöjen tunnistamiseen ja sen määrittämiseen, mitkä tutkijat esiintyvät missäkin yhteisössä. Analyysi ei ota huomioon, että korkeasti siteeratut tutkijat olisivat välttämättä vaikuttavia akateemisen kirjallisuuden ulkopuolella. Se, kuinka monta kertaa tutkijaa on siteerattu tai lainataan yhdessä, ei ole tärkeää kartan luomisessa. Viittauskynnystä ei käytetä. Haluamme nähdä, missä tutkijat näkyvät kartalla, jopa ne, jotka on mainittu vain kerran. Julkiseen keskusteluun vaikuttavien tutkijoiden tunnistaminen on eri tehtävä kuin paljon siteerattujen tai yhdessä siteerattujen tutkijoiden tunnistaminen koulutuksen tutkimusyhteisössä; vaikka voisi toivoa tai odottaa, että monet julkisen vaikutuksen tutkijat kuuluvat myös akateemisesti merkittävien joukkoon.

Taulukko 1 esittää tulokset. Yhteisön merkinnät on johdettu tarkastelemalla lainattuja viitteitä (mukaan lukien kirjojen nimet ja raportit) ja lehtiä, joissa ne on julkaistu. Tarrat on tarkoitettu kuvaamaan kunkin yhteisön pääteemaa. Yhteisöjen tutkimuskeskukset käyvät ilmi etiketeistä kahdella poikkeuksella. Instructional Design keskittyy tutkimukseen, jossa yritetään suunnitella opetustoimenpiteitä, jotka ovat herkkiä ihmisen työmuistin (kognitiivisen kuormituksen) rajoituksille. Politiikka ja koulutus sisältää työtä koulutus- ja koulutuspolitiikan poliittisista vaikutuksista ja poliittisista sitoumuksista, eli yhteisen ytimen tai valtion osallistumisesta varhaiseen lastenhoitoon ja vanhemmuuteen.

Pöytä 1.

10 parasta koulutustutkimusyhteisöä

Yhteisö

% Koulutus. Res. Lainaukset

% Public Influence Scholars

Opetussuunnittelu

6.2

2.0

Varhaislapsuus

6.1

7.1

Tiedekasvatus

6.0

1.4

Lukeminen

5.8

1.7

Opetus, opettajien arviointi

4.8

9.6

Koulun organisaatio, johto

4.7

13.6

Motivaatio

3.7

2.6

Toisen kielen koulutus

3.6

0.1

Oppiminen sosiaalisissa konteksteissa

3.5

1.7

Politiikka ja koulutus

3.5

6.0

10 parasta Koulutusviikko Tutkimusyhteisöt

Yhteisö

% Koulutus. Res. Lainaukset

% Public Influence Scholars

Koulujen tehokkuus

16.5

3.0

Koulun organisaatio, johto

13.6

4.7

Opetus, opettajankoulutus

9.6

4.8

Rotu ja etnisyys

7.6

1.6

Koulujen erottelu

7.5

1.9

Varhaislapsuus

7.1

6.1

Politiikka ja koulutus

6.0

3.5

Koulutustekniikka

3.0

3.9

Motivaatio

2.6

3.7

Opetussuunnittelu

2.0

6.2

Ylin paneeli listaa kymmenen suurinta koulutusalan tutkimuskirjallisuuden tutkimusyhteisöä. Toisessa sarakkeessa näkyy kyseisessä yhteisössä esiintyvien julkisten vaikuttajien tekijöiden prosenttiosuus. Seitsemän kymmenestä yhteisöstä sisältää tutkimusta, joka liittyy suoraan opiskelijoiden oppimiseen ja motivaatioon, erityisesti tutkimusta tiettyjen aineiden oppimisesta (luonnontieteet, lukeminen ja toinen kieli). Kolme yhteisöä – opetus ja opettajankoulutus, koulun organisaatio ja hallinto, politiikka ja koulutus – käsittelevät koulutusta instituutiona tai ammatina koskevia kysymyksiä ja tutkimuskysymyksiä.

Varhaislapsuus- ja motivaatioyhteisöissä kirjallisuuden viittausten prosenttiosuudet ja julkisten vaikuttajien viittausten prosenttiosuudet näissä yhteisöissä ovat vertailukelpoisia. Opetussuunnittelussa ja useimmissa aiheyhteisöissä julkiset vaikuttajat ovat kuitenkin selvästi aliedustettuina. Instructional Design, suurin yksittäinen yhteisö, sisältää 6,2 prosenttia kaikista viittauksista, mutta vain 2 prosenttia julkisten kirjoittajien viittauksista. Julkisen vaikuttamisen tutkijat ovat myös aliedustettuina luonnontieteiden koulutuksessa, lukemisessa ja toisen kielen koulutuksessa.

Taulukon alapaneeli näyttää kymmenen suurinta julkista vaikuttajayhteisöä. School Effectiveness on suurin tällainen yhteisö. Rotu ja etnisyys on neljänneksi suurin, jota seuraa koulujen erottelu. Näissä viidessä parhaassa yhteisössä julkiset vaikuttajat ovat erittäin yliedustettuina koulujen tehokkuuden kannalta viisinkertaisesti.

Missä ovat neljä parasta julkista vaikuttajaa? Diane Ravitchin työt näkyvät politiikassa ja koulutuksessa, vaikka hänen työhönsä ei ole paljon lainausta artikkelisarjassa. Ravitchilla on luultavasti suurempi läsnäolo koulutuksessa ja yleisessä mediassa kuin tiukasti akateemisessa kirjallisuudessa. Darling-Hammond on artikkelisarjan siteeratuimpia kirjoittajia. Hänen töitään esiintyy useissa yhteisöissä, vaikka hänen ensisijainen yhteisönsä on Opetus ja opettajankoulutus. Howard Gardner on kohtalaisesti lainattu artikkelisarjassa, ja hänen työnsä esiintyy ensisijaisesti luovuuden tutkimusyhteisössä. Luovuusyhteisö sisältää noin 2 prosenttia 90 000 lainauksesta. Gary Orfield on School Desegregationin eniten lainattu kirjailija ja yhden sen keskeisimmistä julkaisuista.

Seuraukset ja spekulaatiot

Nämä tulokset selittävät ilmeiset erot aikaisempien löydösteni ja vaikutusluokkien implisiittisen kuvan välillä. Opetussuunnittelu ja tiedekasvatus, psykologian hallitsemat tutkimusyhteisöt, nousevat jälleen kahdeksi suurimmaksi tutkimusyhteisöksi. Isossa kuvassa näiden yhteisöjen sisältämät lainaukset edustavat kuitenkin vain 12 prosenttia kaikista kirjallisuudesta löytyvistä viittauksista. Kriitikoni olivat oikeassa. Saattaa hyvinkin olla niin, että tutkijat, jotka työskentelevät yhteisöissä, jotka sisältävät loput 88 prosenttia viittauksista, eivät tunne työtä eivätkä Opetussuunnittelussa ja Tiedekasvatuksessa esiintyviä tutkijoita. Päätelmäni olivat ilmeisiä ja minulle täysin järkeviä, koska olen viimeiset 35 vuotta seurannut kasvatustutkimusta psykologian ja kognitiotieteen näkökulmasta. Vastaavasti ei voitu helposti päätellä opetussuunnittelun ja tiedekasvatuksen näkyvyyttä kasvatustutkimuksessa julkisten vaikuttajien rankingista. Nämä tutkimusyhteisöt ovat yleensä aliedustettuina julkisen vaikutuksen rankingissa.

Kartta ja viittausten jakautuminen tutkimusyhteisöjen kesken herättävät mielenkiintoisen kysymyksen: Miksi jotkin tutkimusyhteisöt ovat yli- ja aliedustettuina julkisten vaikuttajien joukossa verrattuna kasvatustutkimuksen kirjallisuuteen kokonaisuudessaan? Ei tietenkään ole selvää syytä sille, miksi 200 suuren julkisen vaikutuksen omaavan kasvatustieteilijän listan pitäisi edustaa koulutusalaa kokonaisuutena, mutta ei ole myöskään selvää syytä, miksi he eivät olisi sitäkään.

Voidaan olettaa, että joidenkin tutkimusyhteisöjen työllä nähdään olevan laajempi poliittinen merkitys tai se on yleisempää kuin toisten. Koulujen erottelu, rotu ja etnisyys sekä politiikka ja koulutus ovat todennäköisiä ehdokkaita. Koulujen tehokkuustutkimus saattaa myös kuulua tähän luokkaan. Jos näin on, on todennäköistä, että koulutus ja yleinen media eivät vain poimi näitä piirteitä, vaan myös vahvistavat niitä kattauksellaan. Saattaa myös olla niin, että yhteiskunnallisesti ja poliittisesti merkittävien asioiden, kuten koulujen erottelun, parissa työskentelevät tutkijat tuntevat velvollisuuden tai taipumusta osallistua julkiseen keskusteluun. Tutkijat, jotka tutkivat sitä, miten väärinkäsitykset vaikuttavat luonnontieteiden oppimiseen tai fonologisen tietoisuuden tärkeyteen lukemisen oppimisessa, vaikka ovatkin innokkaita jakamaan havaintojaan, eivät ehkä tunne samaa velvollisuutta tai taipumusta. Jos näin on, akateemisten tutkimusyhteisöjen tutkijoiden on joko omaksuttava toissijainen asemansa julkisella areenalla tai harkittava kollektiivisen ajattelutapansa muuttamista ja ponnisteltava enemmän yleisön osallistumiseksi.

Voidaan myös olettaa, että opetussuunnittelun tai aineiden oppimisen parissa työskentelevillä tutkijoilla on yksinkertaisesti vähemmän osallistumista julkiseen dialogiin kuin yhteiskunnallisesti ja poliittisesti merkityksellisimpien tutkimusyhteisöjen tutkijoilla. Mielestäni tämä on epätodennäköistä, kun otetaan huomioon politiikan kirjallisuudessa esiintyvä opetus ja aineiden oppiminen. Esimerkiksi äskettäisessä Evidence Speaks -julkaisussa Brain Jacob (julkinen vaikuttajatutkija, jonka työ näkyy useimmiten koulun tehokkuusyhteisössä) esitti useita haasteita, joihin on vastattava tietokoneavusteisten opetus- ja verkko-oppimisympäristöjen parantamiseksi. Opetussuunnittelu on näiden haasteiden ratkaisemiseen tarvittavan perus- ja soveltavan tieteen lähde. Lisäksi valtakunnallisesti painotetaan STEM-koulutuksen parantamista. Tiedekasvatusyhteisön siteeratuimpia ja vaikutusvaltaisimpia julkaisuja ovat Kansallisen tutkimusneuvoston raportit vuosilta 1996, 2000 ja 2011. [iii] Näiden raporttien tarkoituksena on vaikuttaa politiikkaan. On vaikea uskoa, että näiden raporttien tekijöillä ja kirjoittajilla on vähän vaikutusta kansalliseen vuoropuheluun. Samanlaisen väitteen voisi esittää lukutaidosta ja toisen kielen koulutuksesta, monivuotisista poliittisista kysymyksistä.

Kolmas mahdollisuus on, että julkisen vaikuttamisen tutkijoiden valintaprosessissa on piirteitä, jotka vaikuttavat tutkimusyhteisöjen väliseen tasapainoon. Joka vuosi 150 parasta arvostettua tutkijaa säilytetään edelliseltä vuodelta; 75 prosenttia tutkijoista siirtyy vuodesta toiseen. Alkuperäinen epätasapaino julkisen vaikutuksen tutkijoiden valinnassa todennäköisesti jatkuu. Valintakomitea, joka koostuu muista arvostetuista tutkijoista, nimittää uudet ehdokkaat ja äänestää heistä. 50 parhaan joukkoon äänestetyt ehdokkaat lisätään säilytettyjen 150 joukkoon ja luokitellaan kriteereillä, kuten h-indeksi, kirjajulkaisut ja medianäkyvyys. Kaikki listalla olevat tutkijat valittiin kerrallaan.

Huomaa, että muut julkisen vaikutuksen tutkijat valitsevat tutkijat heidän julkisen vaikutuksensa perusteella ja arvostetaan sitten kriteerien avulla. Sijoituskriteereillä ei näytä olevan nimenomaista roolia valintaprosessissa.

Tämän vuoden valintakomitean jäsenet tulevat ylivoimaisesti vain kolmesta tutkimusyhteisöstä: koulujen tehokkuudesta, koulun organisaatiosta ja hallinnosta sekä opetus- ja opettajankoulutuksesta. [iv] Lähes 50 prosenttia valittajien viittauksista esiintyy näissä yhteisöissä. (Tietysti Evidence Speaksin kirjoittajat kokoontuvat koulujen tehokkuuteen (34,5 prosenttia viittauksistaan) ja varhaislapsuuteen (24,3 prosenttia).) Jos valitsijat pyrkivät nimittämään uusia ehdokkaita oman tutkimusyhteisönsä näkökulmasta, jopa parhaiden kanssa. Valintaprosessi voi johtaa julkisten vaikuttajien luetteloon, joka aliedustaa joitain tutkimusyhteisöjä ja yliedustaa toisia. Aliedustetut yhteisöt voisivat jopa olla aktiivisesti mukana kansallisessa keskustelussamme.

Sijoituskriteerit eivät voi korjata valintamenettelyn puutteita. Kriteerit auttavat järjestämään tutkijat, jotka on ennalta valittu vaikuttaviksi. Monilla tutkijoilla on erittäin korkeat pisteet näissä kriteereissä, mutta niitä voidaan pitää vaikutusvaltaisina tai ei. Taulukossa 2 on listattu kymmenen eniten siteerattua kirjoittajaa yhteisviittauskartalla. Niiden kaikkien h-indeksi on suurempi kuin 50, mikä antaisi heille Google Scholarin maksimipistemäärän 50 rankingissa. Tämä sijoittaisi kaikki nämä kirjoittajat sadan parhaan joukkoon pelkästään Google Scholarin h-indeksin perusteella. Vuodelta 2015 Richard Mayer sai kriteerien perusteella arvosanan noin 99, mikä nosti hänet listan 15 parhaan joukkoon, jos hänet koskaan valittaisiin siihen. Tapa pelata järjestelmää on tulla valituksi sisällytettäväksi ensiksi, ei manipuloida pisteitäsi mittareilla. [v]

Taulukko 2.

Parhaiten lainatut amerikkalaiset tutkijat

kuinka monta ydinasetta meillä on

Tutkija

Ensisijainen yhteisö

Lainaukset

R.E. Mayer

Opetussuunnittelu

259

A. Bandura

Koulun organisaatio

216

M.H.T. Chi

Opetussuunnittelu

155

S.W. Raudenbush

Koulujen tehokkuus

127

P.R. Pintrich

Motivaatio

126

L. Darling-Hammond

Opetus

122

A. Joten.

Motivaatio

100

C.A. Täydellinen

Lukeminen

93

R. Plant

Varhaislapsuus

84

J. Lava

Opetus ja opettajankoulutus

83

RHSU Edu-Scholar Influence Rankings -pisteytysrubriikin esittelyssä tunnustetaan sen heikkoudet, myönnetään, että sijoitukset ovat kaukana täydellisestä, ja otetaan vastaan ​​neuvoja. Kasvatustutkimuksen kartan avulla voimme tarkastella, miten eri tutkimusyhteisöt ovat edustettuina rankingissa. Tämä herättää kysymyksiä joidenkin tutkimusyhteisöjen näkemyksestä politiikan kannalta ja siitä, kuinka tehokkaita tutkimusyhteisöt ovat julkisessa sitoutumisessa. Mitä tulee itse rankingeihin, tutkijayhteisön rakenteen ymmärtäminen viittaa siihen, että tutkijoiden valintaprosessi ansaitsee jonkin verran huomiota. Ehkä kartta auttaa myös tässä.


[i] http://blogs.edweek.org/edweek/rick_hess_straight_up/2016/01/the_2016_rhsu_edu-scholar_public_influence_rankings.html

[ii] Tutkimusyhteisöjen tunnistamiseen käytetään Slow Local Moving -algoritmia, joka on sovellettu dokumenttien yhteisviittausverkostoon.

[iii] Katso http://www.nap.edu/catalog/4962/national-science-education-standards , http://www.nap.edu/catalog/9596/inquiry-and-the-national-science-education-standards-a-guide-for , ja http://www.nap.edu/catalog/13165/a-framework-for-k-12-science-education-practices-crosscutting-concepts .

[iv] http://blogs.edweek.org/edweek/rick_hess_straight_up/2016/01/the_rhsu_edu-scholar_public_influence_scoring_rubric_1.html

[v] Vaikutusmittareiden mediaanipisteet ovat: Google Scholar ≈ 30, Kirjapisteet ≈ 4, korkein Amazon-sijoitus = 0, koulutus Lehdistömaininnat = 1, Web-maininnat = 5–6, Maininnat sanomalehdissä = 3, kongressin ennätysmaininnat = 0, Klout-pisteet = 0.