torsdag 26 november 2015

Åldersbedömningsdjungeln, part deux

Gregor Noll, professor i folkrätt vid Lunds universitet, har skrivit en lång text om medicinsk åldersbedömning: ”Junk Science? Four`Arguments Against the Radiological Age Assessment of Unaccompanied Minors Seeking Asylum”. Det kanske är förvånande att en folkrättsprofessor talar med bukstöd i en medicinsk fråga, men texten dyker ofta upp i debatten och används som argument för att åldersbedömningar är ovetenskapliga och därför inte bör användas.

Eftersom jag har sett texten nämnas så många gånger i uppskattande ordalag, och eftersom frågan fortfarande diskuteras bestämde jag mig för att skriva en samlad kritik. Varning för lång och en smula teknisk läsning, men jag har gjort mitt bästa för att uttrycka mig pedagogiskt så att även icke-insatta kan följa med. Det är ganska intressant!

Först några avgränsningar:

Mitt mål är att undersöka om Noll har fog för sin anklagelse om pseudovetenskap. Jag tar här inte ställning till huruvida de aktuella metoderna bör införas eller inte. Det är ett politiskt beslut. Däremot är jag helt enig i premissen att det vore oklokt, faktiskt skandalöst, om ovetenskapliga metoder sanktionerades av politiska beslut. Jag går heller inte in på Nolls juridiska kritik mot metoderna, helt enkelt eftersom jag är medicinare och inte jurist. Avsaknad av sakkunskap innebär inte per definition att man inte kan säga kloka saker om ett område, men jag väljer här att lägga fokus på det område jag har någon som helst kunskap om, nämligen medicinsk-vetenskaplig metodik. Det är emellertid tankeväckande att Noll går ut så hårt mot experter på andra områden än hans eget och faktiskt anser sig ha kompetens att avgöra vad som är god medicinsk vetenskap. Att experter på andra områden går ut och klagar på juridiken är naturligtvis vanligt förekommande, men oftast sker detta under skydd av en deklaration av okunskap.

Nåväl, låt oss börja:
Nolls första argument är ”referensgruppsargumentet”. Radiologisk åldersbedömning går till på så sätt att man bedömer patientens ben- eller tandmognad på röntgenbilder, och med kunskap om vid vilken ålder vissa mognadsprocesser vanligtvis befinner sig i ett visst stadium kan man göra en bedömning av patientens ålder. Detta är naturligtvis osäkert, eftersom det finns individuella skillnader. För att ytterligare komplicera bilden finns etniska skillnader, olika folkgrupper ”mognar” helt enkelt i genomsnitt vid olika tidpunkter. För att förbättra precisionen i undersökningarna används därför ett referensmaterial som ska vara så relevant som möjligt med tanke på patientens etnicitet. Märk väl att detta är en fråga om precision i svaret, inte en fråga om huruvida undersökningen kan genomföras eller inte. Även individer inom en ”etniskt korrekt” referensgrupp uppvisar individuella variationer, så även om förekomst av en helt relevant referensgrupp gör säkerheten större betyder det inte att undersökningen är värdelös om en helt relevant referensgrupp saknas.

För att ta ett trivialt exempel:

Jag försöker bedöma sannolikheten för att det blir minusgrader i Norrköping imorgon. Till mitt förfogande har jag föregående veckas temperaturer i Linköping, Söderköping, Katrineholm och Malmö. Min bedömning hade naturligtvis varit säkrare om jag hade haft samma temperaturinformation för Norrköping, men det innebär inte att jag inte kan göra en hyfsad bedömning av sannolikheten för minusgrader i Norrköping även utan denna information. Har det varit 25 grader i samtliga andra samhällen vet jag att sannolikheten är nära noll, till exempel. Jag är också rimligt säker på att Söderköping och Linköping är mer relevanta för denna bedömning än Malmötemperaturerna. Däremot är det inte möjligt att på ett ens någorlunda säkert sätt uttala sig om exakt hur många grader det blir i Norrköping, men det är inte i första hand det de radiologiska undersökningarna av ensamkommande flyktingbarn går ut på – och det är en ytterst viktig distinktion. Som vi ska se är jag inte säker på att Noll har förstått det.



Noll visar, med all respekt, tecken på bristande förståelse för medicinsk vetenskap i denna passage, och jag tar upp det även om det egentligen inte spelar någon roll för budskapet, inte som uttryck för skadeglädje, men som exempel på vanskligheten i att uttala sig tvärsäkert utanför sitt expertområde:

Schmeling skriver att man i många studier (”numerous studies”) från Afrika inte har lyckats bekräfta försökspersonernas ålder, dvs det förmodade referensmaterialets faktiska ålder är osäkert. Schmeling skriver då att de studier där detta är ett problem bör uteslutas från rättsmedicinskt användande eftersom de är osäkra. Noll drar då, felaktigt, slutsatsen att Scheling menar att alla studier från Afrika kan exkluderas (”if we exclude studies from Africa, we have no relevant reference group”). Det är förstås möjligt att det inte finns några metodologiskt klanderfria studier på en afrikansk befolkning, men det följer inte av citatet, och kan mycket väl ha ändrats sedan 2006. Han har också fel när han skriver att användandet av andra referensgrupper förutsätter identisk utveckling mellan olika etniska grupper. Detta eftersom den ökade osäkerheten avspeglas i ett större sannolikt åldersintervall (dvs om en medicinsk bedömning hade gett ett 95% sannolikt intervall på 19-23 år MED en relevant referensgrupp hade motsvarande resultat exempelvis kunnat vara 17-25 UTAN relevant referensgrupp). Han har fel igen när han skriver att undersökningar utan relevant referensgrupp är ”unscientific speculation” – som nämnt är det bara mer osäkert. Att han sedan kröner stycket med slutklämmen ”It is as simple as that” är måhända olyckligt, men icke desto mindre talande.

Kapitlet som följer är i stor utsträckning en upprepning av tidigare referensgruppsargument, men Noll har även dykt ned i den vetenskapliga litteraturen i ämnet. Med syftet att visa att etniska skillnader är så uttalade att de omöjliggör åldersbedömning om etniskt relevant referensgrupp saknas åberopar han tre studier (Zafar, Yan och Pechnikova) av alla som publicerats på detta ämne av forskare från hela världen. men låt oss för all del ta en titt på dem i tur och ordning:

Zafar-studien:



För att svara på Nolls retoriska fråga: Nej, eftersom inga metoder ska användas isolerat. Man ska alltså inte BARA använda handledsröntgenbedömning ad modum Greulich-Pyle, man ska, enligt gällande riktlinjer, röntga både skelett och tänder. Att Greulich-Pyle inte är tillräckligt bra ensamt säger alltså inte mer (för att återanvända min väderanalogi) än att termometern inte är tillräcklig som ensamt instrument för att kunna bedöma huruvida man kan duka ute på midsommarafton – även nederbörd och vind måste beaktas innan man ställer fram utemöblerna. Det innebär naturligtvis inte att termometern är värdelös.

Till råga på allt, och detta är lite festligt, visar Zafarstudien faktiskt att Greulich-Pyle fungerar alldeles utmärkt för åldersbedömningar när det gäller ”adolescents” (ungdomar 13-18 år) av manligt kön – här var det ingen signifikant skillnad mellan skelettålder och kronologisk ålder, med en genomsnittlig skillnad på drygt tre månader! Som bekant är det just denna kategori som är relevant för den aktuella frågan. Störst avvikelse observerades för pojkar 4-8 år, vilket torde sakna betydelse för utredning av ensamkommande flyktingbarn där frågeställningen är huruvida de sannolikt är över eller under 18 år gamla.





Yan-studien:
Noll tar sedan upp en metaanalys av 26 studier som utvärderar Demirjian-metoden för tandutveckling.


Även här visar det sig att skillnaderna, när man faktiskt läser studien, generellt sett är mycket små. Det är dessutom så att pojkar med asiatiskt ursprung skiljer sig mindre (åtminstone numeriskt) från den fransk-kanadensiska referensgruppen än pojkar med europeiskt/kaukasiskt ursprung (0,28 vs 0,38 år). (Inte direkt något som ger stöd åt "referensgruppsargumentet".) 

För pojkar i de äldsta undersökta åldersintervallen 15-17 år befinns metoden vara antingen mycket precis (15-16) eller underskatta den kronologiska åldern (16-17 år; 1,66 års underskattning i genomsnitt) (det ska dock sägas att det var mycket få individer (35) i den sistnämnda gruppen). En underskattning är förvisso en brist, men den verkar alltså till den undersöktes fördel i det här fallet.


Pechnikova-studien:


Denna studie används alltså av Noll för att dra slutsatsen att Greulich-Pyle-metoden är värdelös eftersom endast 17% av de undersökta får sin ålder skattad inom 12 månader (dvs +/- 6 månader) från den korrekta åldern. Detta resonemang visar med utsökt tydlighet att Noll inte förstår, eller inte låtsas förstå, syftet med dessa bedömningar i det aktuella sammanhanget. Syftet är inte i första hand att fastställa exakt ålder med radiologisk undersökning, syftet är att bedöma hur stor sannolikheten är att den undersökte är under 18 år! Pechnikovas fynd att 17% av de uppskattade åldrarna ligger inom +/- 6 månader från patientens faktiska ålder stämmer för övrigt alldeles utmärkt med Socialstyrelsens bedömning att ålder kan bedömas radiologiskt inom ett intervall +/- 2-4 år med 95% sannolikhet. (Under förutsättning att fördelningskurvan inte ser extremt avvikande ut, förstås.)

Alltså: Noll bygger resonemanget om de radiologiska metodernas undermålighet på en genomgång av tre studier. Inte bara har han feltolkat allihop, eller i alla fall läst dem slarvigt. Han har dessutom överfört de resultat han felaktigt utläst till ett sammanhang som är irrelevant för den aktuella frågeställningen. Och, om det behöver påpekas, i det här sammanhanget blir två fel inte ett rätt.

Noll fortsätter med en tankeväckande utläggning om fusk i Österrike och etiska resonemang i Tyskland, som inte på något sätt utgör argument mot metodernas vetenskaplighet. 

Därefter kommer en förvisso intressant, om än spekulativ, diskussion om huruvida trauma hos flyktingbarn kan leda till ökad osäkerhet i de radiologiska undersökningarna. Detta är dåligt undersökt, och där får jag ge Noll en poäng. Däremot har han fel när han säger att detta ignorerar ”an important body of scientific knowledge” – det finns ju ingen sådan information (dvs om hur de radiologiska metoderna påverkas av dessa traumata) att ta ställning till, bara en mer eller mindre välgrundad misstanke om att de påverkas.

Efter detta följer en mycket läsvärd rättsfilosofisk diskussion, innan Noll genom ett exempel en gång för alla avslöjar att han missförstått, eller i alla fall inte drar sig för att sprida missförstånd om, hur dessa radiologiska undersökningar ska användas:


Det är alltså, som nämnt, inte i första hand tal om att de radiologiska undersökningarna ska fastställa en ålder! Svaret som återges ovan är också ett talande exempel på varför man inte ska ta kapsågen med sig på expeditioner långt bortom det egna expertisområdet. Att ange 95% sannolikhet för en exakt ålder på det här sättet är nonsens, det handlar om ett sannolikt intervall. Exempelvis: Den kronologiska åldern är med 95% sannolikhet i intervallet 18-24 år, eller 21+/-3 år.  Det stämmer, som Noll skriver, att en sammanfattande bedömning av "mest sannolik ålder" görs i det samlade medicinska utlåtandet, men de radiologiska undersökningarna är bara 2 av 10 parametrar i detta samlade utlåtande, där psykosocial bedömning, fysisk mognad etc också ingår.

Resten av detta kapitel är intressant, och jag tycker att fler borde läsa Nolls diskussion om hur rätten hanterar, och ofta överskattar ”expertutlåtanden”. Denna beklagliga tendens är vanlig inom media, men för all del även inom medicinen, där alltför många alltför ofta litar på överläkaren eller professorn utan att gå till källorna.

Min slutsats av denna granskning är att det är förvånande att Noll uttrycker sig så tvärsäkert utanför sitt kompetensområde. De studier han åberopar utgör inte bara inget stöd för hans tes, de motsäger den rent faktiskt, och han tycks inte ha förstått syftet med de radiologiska åldersbedömningarna. Om han är medveten om hur de ska användas och ändå väljer att formulera sig som han gör, vittnar det om en likgiltighet inför spridningen av missförstånd. Nolls text är intressant och lärorik (för mig) när han håller sig till juridiken, och där väcker han viktiga frågor om övertro till experter och det medikojuridiska gränslandet. Men i en eventuell diskussion om huruvida radiologiska åldersbedömningar är baserade på vetenskap eller inte tillför Noll ingenting.










2 kommentarer:

  1. Svårt att ta del av din text då du skriver ganska dåligt, ibland hänger jag tyvärr inte riktigt med på vad du menar. Din kritik av Noll är relevant i vissa delar, men främst på marginalen. Nolls huvudtes om att det inte finns några vetenskapliga metoder som på ett tillfredsställande sätt kan fastställa vare sig exakt ålder eller åldersintervall kvarstår.

    En fråga: Varför tror du att så många juridiska och medicinska experter avfärdar dessa typer av tester? Åtminstone juristerna vore väl de första att förespråka dessa tester om de var möjliga att använda på ett etiskt och rättssäkert sätt. Så är emellertid inte fallet.

    SvaraRadera
  2. Hej Niklas, och tack för din kommentar! Alltid kul med feedback. Tråkigt att du tycker att jag skriver dåligt och att du inte kan hänga med. Jag hoppades att jag skulle lyckas bättre med den föresats jag uttryckte i andra stycket. Samtidigt är diskussioner av forskningsresultat ofta tämligen komplicerade.

    Du skriver att min kritik är "relevant i vissa delar, men främst på marginalen". Min kritik är i korthet att Noll totalt har missförstått de studier han citerar, och att de snarare motsäger hans tes än bekräftar den. Jag har faktiskt lite svårt att tänka mig hur en sådan kritik kan vara "relevant, men främst på marginalen". Antingen har Noll missförstått studierna, eller så har jag gjort det. Ett tredje alternativ är förstås att jag har missförstått Nolls tolkning av dem.

    Jag kan inte heller se hur Nolls huvudtes skulle kunna kvarstå när de argument han framför bygger på vetenskapliga studier som han feltolkar. Faller argumenten faller rimligen även tesen. Eller ja, rent formellt kan man förstås säga att tesen kvarstår, men den har inget stöd.

    Frågan varför "så många juridiska och medicinska experter avfärdar" dessa tester är intressant. Som jag skriver i texten kan jag mycket lite om juridik och är därför ovillig att uttala mig om det. När det gäller medicinska experter som avfärdar testerna vet jag faktiskt inte vilka du talar om.

    Socialstyrelsen skriver instruktioner för hur testerna ska genomföras i enlighet med vetenskap och beprövad erfarenhet tillsammans med Barnläkarföreningen. Tyder denna omfattande genomgång av data och det omsorgsfulla författandet av instruktioner på att de avfärdar testerna? Nej, det tyder på att testerna är komplicerade, att osäkerhetsmoment finns och att det därför är angeläget att instruktionerna blir tydliga och evidensbaserade.

    Jag känner inte till en enda expert på åldersbedömning som "avfärdar" de tester som Socialstyrelsen och Barnläkarföreningen rekommenderar. Och nej, Hjern och hans vänner är inte experter på åldersbedömning. De har mig veterligen inte publicerat någon egen forskning inom detta område, men ett stort antal debattinlägg. Väl att märka, Hjern ställer sig såvitt jag kan se bakom BLF:s instruktioner från 2014, där dessa metoder ingår som en del av en medicinsk helhetsbedömning. Jag kan inte se att man på något intellektuellt hederligt sätt kan förena stöd för en sådan instruktion med ett totalt avfärdande av de metoder som instruktionerna omfattar.

    Om du tål ännu en (kanske också dåligt skriven, samma författare...) text kan jag tipsa om min introduktionstext till ämnet: http://asiktsfacit.blogspot.se/2015/11/aldersbedomningsdjungeln.html

    Där tror jag att jag svarar i lite mer detalj på de frågor ditt inlägg väcker.

    SvaraRadera