Kolik lidí potřebujete na test použitelnosti: pět, dvacet, nebo čtyřicet
Pravidlo pěti uživatelů zná každý, kdo kdy testoval. Platí ale jen pro jednu otázku. Kdy pět lidí stačí, kdy potřebujete čtyřicet a jak poznat, že máte dost.
Tým Tacku··7 min čtení
Stručná odpověď
Záleží na tom, co chcete zjistit. Na hledání problémů s použitelností stačí kolem pěti lidí na jedno kolo testu. Odhalí zhruba 85 % problémů, na které narazí aspoň třetina uživatelů. Lepší jsou tři kola po pěti s opravami mezi nimi než jedno kolo s patnácti lidmi.
Na čísla, třeba úspěšnost úkolu nebo průměrné skóre obtížnosti, potřebujete víc lidí. S dvaceti dostanete hrubý odhad, Nielsen Norman Group pro kvantitativní studie doporučuje čtyřicet. Na porovnání dvou verzí ještě víc, protože nejistotu mají obě čísla.
Na této stránce
Dvě různé otázky, dvě různá čísla
Otázka „kolik lidí potřebuji“ má dvě odpovědi, protože test může hledat dvě různé věci:
- Co lidem překáží. Chcete najít problémy a opravit je. Nezajímá vás, jestli problém má 30 nebo 40 % lidí, ale že existuje a co ho způsobuje. Tady stačí málo lidí.
- Jak dobře to funguje. Chcete číslo, které obstojí: úspěšnost úkolu, skóre obtížnosti, srovnání s minulou verzí. Tady rozhoduje přesnost a ta roste s počtem lidí pomalu.
Většina malých týmů potřebuje hlavně to první. Čísla přijdou na řadu později.
Odkud se bere pravidlo pěti uživatelů
Jakob Nielsen a Tom Landauer v roce 1993 spočítali, že jeden uživatel v průměru narazí na 31 % problémů rozhraní. Každý další najde část nových a část těch, které už znáte. Podíl odhalených problémů pak roste podle vzorce 1 − (1 − p)n, kde p je pravděpodobnost, že na problém člověk narazí, a n počet lidí (NN/g, MeasuringU).
| Počet lidí | Problém, který má 31 % lidí | Problém, který má 10 % lidí |
|---|---|---|
| 1 | 31 % | 10 % |
| 3 | 67 % | 27 % |
| 5 | 84 % | 41 % |
| 10 | 98 % | 65 % |
| 20 | 100 % | 88 % |
Z tabulky plyne i to, kdy pravidlo neplatí. Pět lidí spolehlivě najde časté problémy, ale vzácnější, které má každý desátý uživatel, odhalí jen zhruba ze 40 %. Když máte hodně různých typů uživatelů nebo hledáte vzácnější chyby, potřebujete víc lidí.
Ukazuje to i studie Laury Faulkner z roku 2003. Otestovala 60 lidí a pak náhodně vybírala skupiny po pěti. Některé pětice našly 99 % problémů, jiné jen 55 %. Skupiny po deseti našly vždy aspoň 80 % a skupiny po dvaceti aspoň 95 % (Behavior Research Methods).
Proč víc kol po pěti, ne jedno velké
Když máte rozpočet na patnáct lidí, nedávejte je všechny do jednoho kola. Rozdělte je do tří:
- První pětice najde nejčastější problémy. Opravíte je.
- Druhá pětice ověří, že opravy fungují, a narazí na problémy, které ty první zakrývaly. Člověk, který se zasekl na registraci, se ke zbytku aplikace nedostal.
- Třetí pětice potvrdí, že je hotovo, nebo najde poslední zbytky.
U prototypu vytvořeného s AI je to ještě výhodnější, protože oprava mezi koly trvá minuty. Tři kola zvládnete za pár dní.
Kolik lidí potřebujete na čísla
Když čtyři lidé z pěti úkol zvládnou, úspěšnost je 80 %. Jenže skutečná úspěšnost mezi všemi uživateli může být kdekoli mezi 36 a 98 %. S rostoucím počtem lidí se interval zužuje, ale pomalu:
| Počet lidí | Zvládli | Skutečná úspěšnost je nejspíš mezi |
|---|---|---|
| 5 | 4 | 36 a 98 % |
| 10 | 8 | 48 a 95 % |
| 20 | 16 | 58 a 93 % |
| 40 | 32 | 65 a 90 % |
| 100 | 80 | 71 a 87 % |
Prakticky to znamená:
- Pět lidí vám řekne, jestli úkol funguje, nebo je rozbitý. Číslo úspěšnosti z pěti lidí do prezentace nedávejte.
- Dvacet lidí dá hrubý odhad, užitečný pro rozhodnutí v týmu.
- Čtyřicet lidí doporučuje Nielsen Norman Group pro většinu kvantitativních studií (NN/g).
Přesný interval pro vlastní výsledky si spočítáte v kalkulačkách u metrik, například u SEQ nebo CSAT.
Porovnání dvou verzí
Chcete vědět, jestli je nová verze lepší než stará? Potřebujete víc lidí než na jedno měření, protože nejistotu mají obě čísla a rozdíl musí být větší než jejich součet. S pěti lidmi na verzi poznáte jen velké rozdíly, typicky když jedna verze funguje a druhá ne.
Pro malý tým je obvykle rozumnější nepočítat statistickou významnost, ale testovat po kolech: když problém z prvního kola ve druhém zmizel, oprava zabrala.
Rychlé shrnutí
| Co chcete zjistit | Kolik lidí |
|---|---|
| Co lidem nejvíc překáží | 5 na kolo, ideálně 2–3 kola |
| Funguje oprava? | 5 v dalším kole |
| Hrubý odhad úspěšnosti nebo obtížnosti | 20 |
| Číslo, které obstojí v reportu | 40 |
| Rozdíl mezi dvěma verzemi | Desítky na každou verzi a víc |
Otázky
Kolik respondentů potřebuji na test použitelnosti?
Na hledání problémů stačí kolem pěti lidí na jedno kolo, nejlépe ve dvou až třech kolech s opravami mezi nimi. Když potřebujete spolehlivá čísla, třeba úspěšnost úkolu, počítejte s dvaceti až čtyřiceti lidmi.
Platí pravidlo pěti uživatelů vždycky?
Ne. Pět lidí najde zhruba 85 % problémů, na které narazí aspoň třetina uživatelů. Vzácnější problémy, které má třeba každý desátý, odhalí jen asi ze 40 %. Pravidlo také neplatí pro čísla, jako je úspěšnost úkolu, kde je pět lidí na spolehlivý odhad málo.
Proč je lepší víc malých kol než jedno velké?
Protože první kolo najde nejčastější problémy, vy je opravíte a další kolo pak narazí na problémy, které ty první zakrývaly. Zároveň ověří, že opravy fungují. Tři kola po pěti lidech dají víc než jedno kolo s patnácti.
Kolik lidí potřebuji na kvantitativní uživatelský test?
Nielsen Norman Group doporučuje pro většinu kvantitativních studií 40 lidí. S dvaceti dostanete hrubý odhad. Interval spolehlivosti pro vlastní výsledky si spočítáte v kalkulačce u metriky.