De risico's van self report studies

Een veelgebruikte vorm van onderzoek in het academische veld is de self report study, ofwel zelfrapportage. Deze methode houdt in dat een participant mondeling of schriftelijk vertelt over gevoelens en ervaringen. Self report studies kunnen nuttige inzichten bieden. Zo kan worden onderzocht in hoeverre de politiestatistieken in overeenstemming zijn met de werkelijke hoeveelheid criminaliteit, door daders en slachtoffers te onderwerpen aan zelfrapportage. Toch is deze onderzoeksmethode zeker niet waterdicht, want self report studies kennen veel risico’s en nadelen.

Vooronderstellingen gestuurd

Een vraag is nooit helemaal neutraal. Wanneer een onderzoeker (schriftelijk of mondeling) een vraag stelt aan iemand, dan zullen daar altijd onbewust persoonlijke opvattingen en een verwachting in schuilen. Dit kan naar voren komen in de vraagstelling, maar ook door de intonatie of houding van de onderzoeker. Hierdoor wordt een participant in zijn of haar antwoorden enigszins gestuurd. Bovendien is het mogelijk dat de participant een beeld vormt van de doelstelling en/of hypothese van het onderzoek en daardoor onbewust zal trachten het vermoeden van de onderzoeker te bevestigen.

Gebrek aan inzicht in eigen gedrag

Bij zelfrapportage wordt de participant geacht te rapporteren over eigen gedrag, handelingen en ervaringen. Het spreekt voor zich dat de participant dan inzicht moet hebben in het eigen gedrag. Uit eerdere onderzoeken (zie Hornsveld et al. in bronnenlijst) blijkt dat participanten met bepaalde stoornissen, waaronder schizofrenie, beperkt inzicht hebben in het eigen gedrag. Ook zeer laagbegaafde personen hebben in enkele gevallen niet voldoende inzicht om op hun gedrag te kunnen reflecteren en daarover te kunnen rapporteren. Het is belangrijk om als onderzoeker vast te stellen in hoeverre een participant inzichtelijkheid toont, zodat er geen vertekend beeld optreedt.

Vertekende herinneringen

Als een participant wel voldoende inzicht heeft in het eigen gedrag, maar zich de situaties en ervaringen niet goed herinnert, dan maakt dat een valide zelfrapportage onmogelijk. Participanten zullen zich in veel gevallen pas tijdens het beantwoorden van de vragen beseffen dat zij zich niet alles herinneren, dus het is belangrijk om daar als onderzoeker achteraf naar te vragen (vooral wanneer het een vragenlijst betreft, want daarbij is niet mondeling op te merken dat iemand hapert). In sommige gevallen zal de participant overtuigd zijn van een bepaalde herinnering, terwijl deze herinnering door de tijd heen toch een andere vorm heeft aangenomen. Dit valt niet te controleren en daarom is het extra belangrijk voor de onderzoeker om zich hiervan bewust te zijn bij het analyseren van de onderzoeksdata.

Lees meer...

Lees ook:
Bitdefender onderzoek: topzorgen cybersecurity professionals

Sociale wenselijkheid (socially desirable responding)

Het kan zo zijn dat de participant zichzelf (om wat voor reden dan ook) in een positief daglicht wil plaatsen. Het gevolg daarvan is dat de beantwoording van de vragen gebeurt vanuit sociale wenselijkheid (ook wel: socially desirable responding (SDR)). Om vast te kunnen stellen in hoeverre er sprake is van sociale wenselijkheid, kan gebruik worden gemaakt van de Marlow-Crowne Social Desirability Scale (MC-SDS) of de Balanced Inventory of Desirable Responding (BIDR).

Stel dat… er sprake is van een delinquent, die een forensisch psychiatrisch onderzoek ondergaat als onderdeel van het strafproces, om te kunnen beoordelen of de delinquent wel of niet toerekeningsvatbaar is en of er sprake is van een stoornis of gebrekkige ontwikkeling. Een deel van dit onderzoek berust op de verhalen van de delinquent zelf. In deze zelfrapportage is het denkbaar dat de delinquent zichzelf positiever zal presenteren, omdat hij of zij verwacht dat dit een gunstige uitwerking heeft op de uitkomst van het onderzoek. Ook het tegenovergestelde is mogelijk: de delinquent kan doen lijken alsof er sprake is van een stoornis, zodat hij of zij als verminderd toerekeningsvatbaar zal worden beoordeeld.

Gebrek aan context

Bij een deel van de zelfrapportage onderzoeken is er geen ruimte voor de context, als het een kwantitatief onderzoek betreft. Dat zien we vooral bij vragenlijsten. Er is vaak geen ruimte voor open vragen, omdat de antwoorden moeten worden geclassificeerd om een overzichtelijk beeld te geven van de data. Vooral bij zeer grote onderzoeken is er geen tijd en geld om de antwoorden op open vragen handmatig te verwerken en te classificeren. Bovendien kan er op papier niet worden doorgevraagd door een onderzoeker om een antwoord te doorgronden, wat resulteert in een gebrek aan context. Dit kan bezwaarlijk zijn, omdat gebeurtenissen zonder context een vertekend beeld kunnen geven of belangrijke informatie achterwege laten.

Geen beeld van de emotie

Dit probleem doet zich ook vooral voor bij schriftelijke zelfrapportage. Een vragenlijst kan de gevoelens van een participant niet volledig overbrengen, omdat gezichtsuitdrukkingen, lichaamstaal en intonatie niet blijken uit een schriftelijke rapportage. Deze informatie had wel zeer nuttig kunnen zijn voor het onderzoek.

Foutieve interpretatie

Bij schriftelijke zelfrapportage bestaat tot slot de kans dat de participant de vraagstelling niet begrijpt of foutief interpreteert. Er is geen mogelijkheid tot verduidelijking en dat kan invloed uitoefenen op de data.

Wanneer de validiteit van het zelfrapportage onderzoek door bovenstaande factoren in het geding komt, dan kan er gebruik worden gemaakt van verschillende tools en methoden om te meten in hoeverre het onderzoek beïnvloed wordt. Bovendien bestaan er tools om de vertekening in de resultaten te minimaliseren, zoals het vooraf toetsen van de vraagstelling op duidelijkheid en gerichtheid.

Bronnen:

Gepubliceerd in Risicomanagement

Geschreven op 22 Maart 2021 door