Bergen Venstres organisatoriske nestleder, Stian Skår Ludvigsen, har doktorgrad fra Aarhus Universitet med spesialisering i sekundæranalyser av forskningslitteratur, og jobber til daglig med statistikk og analyse. Han har gjennomgått artikkelen til Rossow og Nordström, og har en rekke kritiske merknader.
1) For det første har artikkelen ingen beskrivelse av voldsstatistikken som er lagt til grunn. De skriver bare at statistikken er "the number of assaults reported to the police that occurred in the city centre at night-time (between 10 pm and 5 am) on week-ends (Friday-Saturday and Saturday-Sunday)" (s. 7-8). Videre bruker de "assaults" utenfor bykjernen som kontrollvariabel. Månedlige data fra Politidirektoratet ble aggregert opp til kvartalsvise data og omregnet til rater per 100 000 innbyggere.
De omtaler dataene som data om "violent crimes" (s. 8), men det fremgår ingen steder om hvilken voldelighetsgrad som måles. I Norge skiller vi mellom legemsfornærmelser og legemsbeskadigelser. Førstnevnte er av typen lette slag, spark, spytting, lugging som ikke krever legebehandling, mens sistnevnte er grovere vold som resulterer i legebehandling.
Ricks har tidligere utarbeidet en rapport fra Bergen som viser en nedgang i anmeldelser av legemsfornærmelser, men ikke i de mer alvorlige legemsbeskadigelsene, ved endringen i skjenketid i 2008, noe de i tillegg hevder kan ha sammenheng med måten politiet mottok anmeldelser på. Det blir da svært problematisk at Rossow og Nordström (RN) ikke skiller mellom type legemskrenkelser. Det er av stor betydning for publikum om det er grov vold som krever legebehandling som blir redusert ved en innskrenking av skjenketidene, eller om det "bare" er spytt og blåmerker. I Bergens tilfelle ville publikum, politi, legevakt, og media merket en endring på to tilfeller av grov utelivsvold per måned (ved en halvtimes utvidelse eller innskrenkelse som det står om) på en helt annen måte enn en endring på to tilfeller der offeret kan gå uskadet fra hendelsen. For oss politikere er det avgjørende at vi vet konsekvensene av vår politikk, og vår diskusjon om vi kan akseptere i snitt to tilfeller per måned vil være en helt annen om det er snakk om invalidiserende vold enn om det er snakk om blåmerker.
Vi må vite hva vi legger til grunn i diskusjonen rundt hvilken skjenkepolitikk vi skal ha. Vår aksept for krenkelser avhenger av graden av krenkelser og ringvirkningene for det øvrige samfunnet. Her svikter RN oss.
2) For det andre beskriver RN ikke hvilken variasjon det er i voldsstatistikken. Er det stor variasjon og mange mulige årsaksfaktorer, eller er bildet entydig? Er resultatene preget av avvikende observasjoner? RN gir oss ikke noe bilde av voldsstatistikken, og uten kunnskap om variasjonen kan vi ikke vite om funn som statistisk sett er signifikante faktisk er relevante. Det betyr lite om funnene er signifikante hvis endring i skjenketider bare forklarer noen få prosent av variasjonen, men dette får vi ikke vite. Uvanlig nok presenteres regresjonsanalysene uten noen form for teststatistikk som kunne fortalt oss dette.
Uten å vite forklaringskraften til modellene, er det vanskelig for oss politikere å vurdere endringer i skjenketid opp mot andre tiltak vi kan benytte for å bekjempe utelivsvold. Her svikter RN oss også.
3) Dette leder mod den tredje innsigelse: Det kan være en rekke andre faktorer som har betydning for endring i utelivsvolden. Jeg savner multivariate modeller som kan beskrive hvordan endring i skjenketid kan ses opp mot andre tiltak. Når RN ikke forteller oss dette blir artikkelen ubrukelig som verktøy for oss politikere.
RN har et overfokus på signifikans, uten å tegne et bilde for oss hvor relevant denne signifikansen faktisk er. Det kan være funnene deres faktisk er nyttige for oss politikere, men så svakt som dataene og modellene er beskrevet av RN, kan artikkelen ikke brukes til politikkutforming.
Bekjempelse av utelivsvold er særdeles viktig, men politikkutforming kan vi ikke ta lett på, spesielt ikke når den berører så mange av byens innbyggere og sysselsatte. Vi trenger et veldokumentert beslutningsgrunnlag.
Jeg vil avslutte med å sitere fra en artikkel av mine mentorer innen sekundæranalyse: "When reported estimates are selected for their statistical significance, valid empirical inference is threatened" (Stanley, Jarrell & Doucouliagos 2010: "Could It Be Better to Discard 90% of the Data? A Statistical Paradox", The American Statistician 64(1): 70-77).
Stian Skår Ludvigsen, ph.d
——————————
Oppdatert 17.11.11: Kritikken er utdypet i et Civita-notat (pdf) som får god omtale i dagens BT-leder.