Percentiel

De geordende steekproef ${\displaystyle x_{(1)}\leq x_{(2)}\leq \ldots \leq x_{(n)}}$ bestaat uit de van klein naar groot geordende ${\displaystyle n}$ data. Voor het ${\displaystyle 100p}$-de percentiel neemt men het element in de dataset met het rangnummer dat "het dichtst" bij ${\displaystyle pn}$ ligt, en wel, met ${\displaystyle k=\lceil pn\rceil }$:

${\displaystyle x_{p}=x_{(k)}}$

Hoewel de bovenstaande geijkte crf-definitie van het ${\displaystyle p}$-de percentiel een eenduidig bepaalde waarde oplevert, blijken softwarepakketten en rekenmachines, afhankelijk van de specifieke dataset, verschillende waarden voor hetzelfde percentiel te geven. De percentielcalculator op de website (1) biedt maar liefst acht verschillende methoden voor het berekenen van percentielen.

Iets van de problematiek van praktische percentielberekeningen zien we bij de berekening van kwartielen door de rekenmachines TI-83 en TI-84, die veel in het middelbaar onderwijs worden gebruikt. Voor de dataset 1, 2, ... , 9 geven deze rekenmachines ${\displaystyle Q_{1}=2{,}5}$ en ${\displaystyle Q_{3}=7{,}5}$, terwijl volgens de crf-definitie ${\displaystyle x_{0{,}25}=3}$ en ${\displaystyle x_{0{,}75}=7}$. Datzelfde verschijnsel treedt op bij alle datasets met ${\displaystyle n=4i+1}$.

Dat probleem is op te lossen door in voorkomende gevallen de kwartielen te berekenen, waarbij de mediaan inclusief zowel tot de linkerhelft als de rechterhelft van de dataset wordt gerekend.

Het instructieboekje van de TI-83 vermeldt dat ${\displaystyle Q_{1}}$ de mediaan is van de punten tussen ${\displaystyle X_{\text{min}}}$ en ${\displaystyle \mathrm {Med} }$, en dat ${\displaystyle Q_{3}}$ de mediaan is van de punten tussen ${\displaystyle \mathrm {Med} }$ en ${\displaystyle X_{\text{max}}}$. Bij oneven ${\displaystyle n}$ wordt echter de mediaan niet meegerekend, noch in de linker-, noch in de rechterhelft. Wel worden de kleinste en de grootste waarde in de rij meegerekend. De relatie tussen de geijkte percentielen en ${\displaystyle Q_{1}}$ en ${\displaystyle Q_{3}}$ is zwak. Bij bijvoorbeeld de dataset 1, 2, ... , 11 vallen drie punten uit de dataset: 3, 6 en 9, die immers medianen van een oneven aantal getallen zijn. Daardoor ligt links van ${\displaystyle Q_{1}}$ slechts 18,2% van de getallen en niet 25%. We zien dat door bepaalde keuzes percentielpunten (in dit geval kwartielen) anders berekend worden dan volgens de hierboven besproken geijkte crf-methode.

In softwarepakketten worden diverse methoden gebruikt om percentielen van niet-geklasseerde data te berekenen. Dat er voor verschillende berekeningen wordt gekozen, heeft te maken met een eigenaardigheid van de crf-definitie. Alle ${\displaystyle p}$-de percentielen, met ${\displaystyle k/n<p<(k+1)/n}$ zijn volgens deze definitie ${\displaystyle x_{p}=x_{k+1}}$. Voor veel percentages ${\displaystyle p}$ vallen de percentielen dus samen met hetzelfde datapunt. Dat is een gevolg van het discrete karakter van een eindige dataset. Als de dataset een steekproef is uit een continue stochast en een percentiel van de dataset een schatting is van de percentiel van de populatie, dan is dat samenvallen van percentielen ongewenst. Dat is de reden dat percentielen vaak via lineaire interpolatie worden berekend. Feitelijk vervangt men dan de discontinue crf-grafiek door een continue polygoon. Men kan daarbij echter op verschillende manieren te werk gaan, waarbij verschillende methoden ook verschillende waarden voor hetzelfde percentiel kunnen opleveren.

Om verschillende methoden om percentielen te berekenen te kunnen onderscheiden, gebruiken we een referentiepunt, een getal, zoals ${\displaystyle np}$, dat is afgeleid van ${\displaystyle p}$ en ${\displaystyle n}$. We onderscheiden van het betreffende referentiepunt het gehele deel ${\displaystyle k}$ en de fractie ${\displaystyle f}$, zodat ${\displaystyle \mathrm {referentiepunt} =k+f}$. Zie ook de websites (1) en (2).

Bij deze methode is ${\displaystyle np=k+f}$.

Submethode A1: ${\displaystyle {\begin{cases}f=0\to x_{p}={\tfrac {1}{2}}(x_{k}+x_{k+1})\\f>0\to x_{p}=x_{k+1}\\\end{cases}}}$ (bovenstaande geijkte crf-methode)

Submethode A2: ${\displaystyle {\begin{cases}f=0\to x_{p}=x_{k}\\f>0\to x_{p}=x_{k+1}\\\end{cases}}}$ (variant op geijkte crf-methode, zonder gemiddelde)

Submethode A3: ${\displaystyle x_{p}=(1-f)\cdot x_{k}+f\cdot x_{k+1}}$ (gewogen gemiddelde)

Bij deze methode is ${\displaystyle (n+1)p=k+f}$.

Submethode B1: ${\displaystyle x_{p}=(1-f)\cdot x_{k}+f\cdot x_{k+1}}$ (PERCENTIEL.EXC in Microsoft Excel 2013)

Submethode B2: ${\displaystyle {\begin{cases}f=0\to x_{p}=x_{k}\\f>0\to x_{p}=f\cdot x_{k}+(1-f)\cdot x_{k+1}\\\end{cases}}}$ (gewogen gemiddelde)

Submethode B3: ${\displaystyle {\begin{cases}f=0\to x_{p}=x_{k}\\0<f<0{,}5\to x_{p}=x_{k}\\f=0{,}5\to x_{p}={\frac {1}{2}}(x_{k}+x_{k+1})\\0{,}5<f<1\to x_{p}=x_{k+1}\\\end{cases}}}$ (Excel 2007 en oudere versies)

Bij deze methode is ${\displaystyle np+{\tfrac {1}{2}}=k+f}$.

${\displaystyle np+{\tfrac {1}{2}}=k+f\to x_{p}=x_{k}}$ (dichtstbijzijnde datapunt, geen lineaire interpolatie)

Het afronden van deze methode vindt op de gebruikelijke wijze plaats, maar om statistische vertekening te voorkomen, is afronden op even hier aan te raden.

Bij deze methode is ${\displaystyle (n-1)p=k+f}$.

${\displaystyle {\begin{cases}f=0\to x_{p}=x_{k+1}\\f>0\to x_{p}=x_{k+1}+f\cdot (x_{k+2}-x_{k+1})\\\end{cases}}}$

Bij deze methode is ${\displaystyle (n-1)p+1=k+f}$.

${\displaystyle x_{p}=(1-f)\cdot x_{k}+f\cdot x_{k+1}}$ (PERCENTIEL.INC in Microsoft Excel 2013)

Gegeven de volgende dataset van 13 geordende getallen:

Rangnummer	1	2	3	4	5	6	7	8	9	10	11	12	13
Data	1	2	3	5	8	13	21	34	35	45	58	66	77

Met behulp van de negen besproken methoden en de TI-83 berekenen we de drie kwartielen en het 40e percentiel:

Methode:	A1	A2	A3	B1	B2	B3	C	D	E	TI-83
${\displaystyle x_{0{,}25}}$	5	5	3,5	4	4	4	3	5	5	4
${\displaystyle x_{0{,}40}}$	13	13	9	11	10	13	8	12	12	-
${\displaystyle x_{0{,}50}}$	21	21	17	21	21	21	21	21	21	21
${\displaystyle x_{0{,}75}}$	45	45	42,5	51,5	51,5	51,5	45	45	45	51,5

We zien dat afhankelijk van de berekeningsmethode, voor bovenstaande dataset, het 40e percentiel kan variëren van 8 tot 13. Opmerkelijk is dat methode A3 een mediaan oplevert die niet het middelste datapunt is.

De versie 2013 van Excel kent zowel methode B1 als methode E voor het berekenen van percentielpunten. Het verschil tussen de rangnummers van een exclusief berekende percentiel en een inclusief berekende percentiel is: ${\displaystyle R_{\text{EXC}}-R_{\text{INC}}=2p-1}$. Het inclusief berekende percentiel ligt daardoor dichter bij de mediaan dan het exclusief berekende percentiel, maar het verschil neemt toe met de afstand tot de mediaan. Hoe groter deze afstand, des te meer ‘trekt’ de mediaan aan het percentiel.

Nemen we als voorbeeld het percentiel ${\displaystyle x_{0{,}25}}$ van de dataset in het voorbeeld. Het rangnummer van het eerste kwartiel volgens de exclusieve methode (B1) is 3,5 en het bijbehorende eerste kwartiel is dus 4. Het rangnummer van het eerste kwartiel volgens de inclusieve methode (E) is 4 en het bijbehorende eerste kwartiel is 5. De inclusieve kwartielen liggen een half rangnummer dichter bij de mediaan dan de exclusieve kwartielen.

Zoals uit het bovenstaande blijkt berekenen softwarepakketten percentielen van niet over klassen verdeelde data met verschillende methoden. Men mag dus niet zeggen dat de percentielwaarde die een pakket produceert ‘het’ percentiel is. De gebruiker van het pakket dient zich bewust te zijn van de methode waarmee de berekening wordt uitgevoerd. Statistische software kan niet blindelings worden gebruikt.

Het 40e percentiel van de standaardnormale verdeling is ${\displaystyle x_{0{,}40}=-0{,}2533}$.

Dit is een voorbeeld dat men kan vinden op website (2). Zeven studenten beoordelen hun leraar op een schaal van 1 tot en met 5. Als de scores 3, 3, 3, 3, 4, 4, 4 zijn, dan is de mediaan van de niet-gegroepeerde data 3; als de scores 3, 3, 3, 4, 4, 4, 4 zijn, dan is de mediaan van de niet-gegroepeerde data 4. Men kan zich afvragen of het verschil tussen deze twee medianen wel realistisch is. Als we daarentegen de scores over twee klassen verdelen vinden we de medianen 3,375 en 3,675. Gezien de twee rijen scores lijken dit ‘eerlijker’ medianen.

Ook hier zien we dat onze keuze voor een specifieke methode bepalend is voor het antwoord dat we krijgen.