Evalueringsarbeid forankret i virkelig materiale

Vi tar ansvar for den ustrukturerte datakomponenten av en evaluering. Dette betyr at vi analyserer avisdekningen og sosiale medier-diskursen rundt deres program eller arrangement. Deres eget evalueringsteam fortsetter å håndtere aspektene de kjenner best: definere mål og KPI-er, koordinere med interessenter, administrere spørreundersøkelser og sammenstille den endelige evalueringsrapporten. Det vi bidrar med er et grundig bevislag som viser hva innbyggere og medier faktisk sa om deres tiltak, hvordan de diskuterte det, hvilke temaer som dukket opp, og hvordan oppfatningen utviklet seg gjennom programmets løp. Dette komplementerer tradisjonelle evalueringsmetoder. Der spørreundersøkelser forteller deg hva folk sier når de blir spurt direkte, og besøksstatistikk forteller deg hvor mange som dukket opp, forteller vår analyse deg hva folk sa når de snakket seg imellom - i aviskommentarer, på sosiale medier, i kommentarfelt. Sammen gir dette et mye fyldigere bilde enn noen enkeltmetode alene.

Sosiale medier gir oss tilgang til noe tradisjonelle evalueringsmetoder sliter med å fange: hva innbyggerne genuint tenker når de ikke blir spurt direkte. Når noen svarer på en spørreundersøkelse, vet de at de blir evaluert og kan justere svarene deretter. Når noen poster på sosiale medier, uttrykker de seg til sitt eget nettverk, ofte uten bevissthet om at deres mening kan bli studert. Dette gjør sosiale medier til et vindu inn mot autentisk offentlig refleksjon. Vi har utviklet strukturerte, reproduserbare metoder for å analysere denne diskursen i stor skala. I stedet for å lese et utvalg innlegg og danne inntrykk, koder vi systematisk tusenvis av innlegg etter konsistente kriterier. Resultatet er konkrete, forsvarbare funn: hvilke temaer innbyggerne tok opp på eget initiativ, hvordan ulike grupper i samfunnet responderte, hvilke bekymringer eller kritikk som dukket opp organisk, hvilken ros eller entusiasme som viste seg, og hvordan den overordnede samtalen utviklet seg fra programmets begynnelse til dets avslutning. Dette er bevis på hva publikum faktisk tenkte - ikke hva vi antok de tenkte, og ikke hva de fortalte oss da vi spurte.

Nei, og dette er et viktig skille. Målene og KPI-ene for en evaluering bør defineres av organisasjonens eget team - menneskene som forstår programmets strategiske intensjoner, kjenner dets historie og vil stå ansvarlige for resultatene. Vi er ikke i posisjon til å fortelle en by hva deres Europeisk kulturhovedstad-program burde ha oppnådd, eller å definere suksesskriterier for et sosialt tiltak vi ikke var involvert i å utforme. Det vi gjør er å arbeide innenfor det evalueringsrammeverket dere har etablert. Når dere forteller oss hvilke spørsmål dere prøver å besvare og hvilke mål dere satte dere fore å oppnå, gir vi bevis fra offentlig diskurs som belyser disse spørsmålene. Vår rolle er å tilføre dybde, grundighet og skala til den ustrukturerte datakomponenten av evalueringen - å vise dere hva innbyggerne faktisk sa - ikke å designe selve evalueringen.

Å telle medieomtaler forteller deg hvor mye oppmerksomhet programmet ditt fikk, men det forteller deg ingenting om hva som faktisk ble sagt. Et program nevnt i tusen artikler kan ha blitt rost i alle, kritisert i alle, eller diskutert på måter som ikke hadde noe med målene deres å gjøre. Tallet alene avslører ingenting. Tilsvarende viser sporing av hashtagvolum at folk snakket, men ikke hva de sa eller om samtalen var positiv, negativ, substansiell eller overfladisk. Vår tilnærming er fundamentalt annerledes. Vi analyserer det faktiske innholdet i dekningen - argumentene som ble fremført, temaene som ble tatt opp, sentimentet som ble uttrykt, kritikken og rosen. Vi gjør dette systematisk på tvers av tusenvis av artikler og innlegg, med konsistente kriterier slik at funnene er reproduserbare og forsvarbare. Resultatet er ikke en metrikk, men en redegjørelse for hva deres tiltak betydde for folk, hvordan det ble forstått, og hvordan den forståelsen utviklet seg over tid. Dette er den typen bevis som genuint kan informere fremtidige beslutninger og demonstrere effekt på en måte enkle tellinger ikke kan.