Regressie naar het gemiddelde

Regressie naar het gemiddelde is het verschijnsel dat als de waargenomen waarde van een toevalsvariabele sterk van het gemiddelde afwijkt, er een grote kans is dat de volgende waarneming zich dichter bij het gemiddelde zal bevinden. Deze regressie of terugkeer is het gevolg van de kansverdeling van stochastisch processen waarin de kans op een extreme waarde minder groot is dan die van waarden in de buurt van het gemiddelde. Dit moet niet verward worden met de gokkersmisvatting dat de eerdere meting de kans van de volgende meting beïnvloedt. Het onderscheid tussen toeval en oorzakelijkheid of causaliteit is onder meer van belang bij kwantitatief onderzoek. Het fenomeen van regressie naar het gemiddelde is daarbij een belangrijk element om toevallige processen te onderscheiden van deterministisch processen.

Bij training kan een stijgende lijn in de competentie verwacht worden − het oorzakelijke deel − maar ook toeval zal een rol spelen waardoor tijdelijke afwijkingen van de stijgende lijn optreden. De kans is dan groot dat de volgende observatie dichter bij de lijn ligt.

Francis Galton was de eerste die in Regression Towards Mediocrity in Hereditary Stature uit 1886 over zijn onderzoek naar overerving dit verschijnsel beschreef. Hij observeerde dat bij ouders met een sterk van het gemiddelde afwijkende lichaamslengte de kinderen een minder afwijkende lengte hadden. De kinderen van lange ouders waren weliswaar relatief lang, maar gemiddeld minder lang dan hun ouders. Bij korte ouders was een vergelijkbaar effect te vinden waarbij de lengte van de kinderen dichter bij het gemiddelde lag. Als dit een volledig stochastisch proces zou zijn, dan zou het effect bij lange en korte ouders in gelijke mate op moeten treden. Als er echter sprake is van sturing door omgevingsfactoren, dan zal het effect sterker optreden bij de ene groep dan bij de andere.

Een bekend voorbeeld uit de psychologie van trainingssituaties is dat van Daniel Kahneman, waarin een instructeur van de Israëlische luchtmacht inging tegen zijn stelling dat belonen van goede prestaties beter werkt dan het afstraffen van ondermaats optreden. De ervaringen van de instructeur waren dat piloten die na een goede vlucht een compliment kregen, daarna slechter presteerden, terwijl piloten die gestraft werden na een slechte prestatie daarna beter gingen vliegen. Kahneman werd toen duidelijk dat de instructeurs slachtoffer waren van de regressievalkuil en geen rekening hadden gehouden met het fenomeen van regressie naar het gemiddelde.

Ook in de medische wereld moet met het verschijnsel rekening gehouden worden in het onderzoek naar het effect van een behandeling. Verbetering na behandeling kan optreden door de behandeling, maar kan ook door het eigen afweersysteem in gang zijn gezet, of er kan sprake zijn van toeval. Dan zal, van een behandeling die in eerste instantie is opgevallen door zijn effectiviteit, op de langere termijn blijken dat het effect kleiner is dan dat waarmee hij is opgevallen.

Bij aandelen wordt gesproken over mean reversion, waarbij de koers op korte termijn volatiel kan zijn, maar op langere termijn stabieler wordt.