Když chcete porovnat několik uživatelských rozhraní v jedné studii, existují dva způsoby přiřazení testu účastníci těchto několik podmínek:
- Mezi předměty (nebo mezi skupinami) design studie: různí lidé vyzkoušet každý stav, tak, že každý člověk je pouze vystaven jednotného uživatelského rozhraní.
- návrh studie v rámci subjektů (nebo opakovaných opatření): stejná osoba testuje všechny podmínky (tj. všechna uživatelská rozhraní).,
(Všimněte si, že zde používáme slovo „design“, abychom odkazovali na návrh experimentu, a nikoli na design webových stránek.)
například, pokud bychom chtěli porovnat dvě auta-pronájem místa a a B, při pohledu na to, jak účastníci rezervujte automobilů na každém místě, naše studie by mohla být určen dvěma různými způsoby, oba naprosto legitimní:
- Mezi předměty: Každý účastník mohl vyzkoušet jeden auto-pronájem místa a rezervovat si auto pouze na tomto místě.
- v rámci předmětů: každý účastník mohl vyzkoušet obě místa pronájmu automobilů a rezervovat si auto na každém.,
jakýkoli typ uživatelského výzkumu, který zahrnuje více než jednu zkušební podmínku, musí určit, zda má být mezi subjekty nebo uvnitř subjektů. Rozdíl je však zvláště důležitý pro kvantitativní studie.
Experimentální Design, Kvantitativní Studie
na Rozdíl od kvalitativní studie, kvantitativní studií použitelnosti, cílem je dosáhnout zjištění, že je statisticky pravděpodobné, že se zobecnit na celé populace uživatelů. Jak jsou data z těchto studií analyzována, závisí na způsobu, jakým byla studie navržena (tj.,
Často, hlavním cílem kvantitativní použitelnost studie je porovnat — stránky s konkurencí, dvou různých iterací návrhu, nebo dvě různé skupiny uživatelů (například odborníci vs. nováčci)., Jako v každém vědeckém experimentu, ve kterém chceme detekovat kauzální vztahy, kvantitativní studie zahrnuje dva typy proměnných:
- Nezávislé proměnné, které jsou přímo manipulovat výzkumník
- Závislé proměnné, které jsou měřeny (a očekává, že se liší jako výsledek nezávislé proměnné manipulace)
(Pokud studie produkuje statisticky významné výsledky, pak můžeme říci, že změny v nezávislé proměnné způsobila změnu v závisle proměnné.)
vraťme se k našemu původnímu příkladu autopůjčovny., Pokud bychom chtěli měřit, která z těchto dvou lokalit, A nebo B, je lepší pro tento úkol rezervovat auto, mohli jsme si vybrat Místo (dvě možné hodnoty nebo úrovně — a, B) jako nezávislé proměnné, a čas na úkol a přesnost pro rezervaci vozu by mohl být závislé proměnné. Cílem studie by bylo zjistit, zda se závislé proměnné (čas a přesnost) změní, když změníme místo nebo zůstanou stejné. (Pokud zůstanou stejné, pak žádný z webů není lepší než druhý.,)
plánovat náš obor, další otázka, kterou musíme zodpovědět, je, zda studie by měla být mezi-předměty, nebo v rámci předmětů — to je, zda účastníkem studie by měly být vystaveny všechny různé podmínky pro nezávislou proměnnou v našem studiu (v rámci předmětů), nebo pouze na jeden stav (mezi subjekty). Volba experimentálního designu ovlivní typ statistické analýzy, která by měla být použita na vašich datech.,
je možné, že experiment design je jak v-předměty a mezi předměty. Předpokládejme například, že v případě našeho auta-pronájem studia, byli jsme také zájem vědět, jak se účastníci mladší než 30 provedení ve srovnání se staršími účastníky. V tomto případě budeme mít dvě nezávislé proměnné:
- Věk, s 2 úrovních: do 30 let, nad 30
- Stránky, s 2 úrovně: a a B
Pro obor, jsme se zaměstnat stejný počet účastníků v každé věkové skupině., Předpokládejme, že se rozhodneme, že každý účastník, ať už pod nebo nad 30, bude auto-pronájem rezervace na obě místa a na místo B. V tomto případě, studie je v rámci předmětů s ohledem na nezávislé proměnné Stránky (protože každý člověk vidí oba úrovní této proměnné — to je to, jak místo a a místo B). Studie je však mezi subjekty s ohledem na věk: jedna osoba může být pouze v jedné věkové skupině (buď mladší nebo starší 30 let, ne obojí)., (Technicky byste mohli vybrat skupinu mladších 30 let a počkat, až se otočí 30, aby je znovu otestovali, ale toto nastavení je pro většinu situací v reálném světě velmi nepraktické.)
některé nezávislé proměnné mohou Uložit volbu návrhu. Věk je jedním z nich, jak je vidět výše. Jiní jsou odbornost (pokud chceme porovnat odborníky a nováčky), typ uživatele (pokud chceme porovnat různé skupiny uživatelů nebo osobnosti — například business traveler vs. leisure traveler) nebo pohlaví (za předpokladu, že osoba nemůže být několika pohlaví současně)., Mimo použitelnost jsou studie s drogami jedním běžným případem návrhu mezi subjekty: účastníci jsou vystaveni pouze jedné léčbě: buď testovanému léku, nebo placebu, ne oběma. A někdy i manipulaci se změní stav účastníka: například, pokud chcete zjistit, které ze dvou studijních programů, je více efektivní pro výuku čtení, jste nemohli mít stejné studentské být vystavena, protože jakmile se naučil číst, nemůže se to odnaučit.
což je lepší: mezi-subjekty nebo uvnitř-subjekty?
bohužel na tuto otázku není snadná odpověď., Jak je vidět výše, někdy vaše nezávislé proměnné diktují experimentální design. Ale v mnoha situacích mohou být oba návrhy možné.
- mezi subjekty minimalizuje učení a přenos napříč podmínkami. Poté, co osoba dokončila řadu úkolů na místě pronájmu automobilů, je o této doméně informovanější než předtím. Například nyní může vědět, že si půjčovny aut účtují příplatek za řidiče mladší 21 let nebo za to, co je prominutí kolize., Tyto znalosti jí pravděpodobně pomohou zefektivnit druhou půjčovnu aut, i když toto druhé místo se může velmi lišit od prvního.
při návrhu mezi předměty není tento přenos znalostí problémem-účastníci nejsou nikdy vystaveni několika úrovním stejné nezávislé proměnné.
- studie mezi subjekty mají kratší sezení než studie v rámci předmětu. Účastník, který testuje jednu půjčovnu aut, bude mít kratší relaci než ten, kdo testuje dva., Kratší sezení jsou méně únavné (nebo nudné) pro uživatele, a může být také vhodnější pro dálkové nemoderované testování (zejména proto, že nástroje, jako UserZoom obvykle vyžadují poměrně krátkou délku relace).
- experimenty mezi jednotlivými subjekty se snadněji nastavují, zejména pokud máte více nezávislých proměnných. Když je studie uvnitř subjektů, budete muset použít randomizaci vašich podnětů, abyste se ujistili, že neexistují žádné účinky objednávky. Například, v našem auto-pronájem studia, musíme se ujistit, že účastníci nemají vždy začít s stránky a pak přejít na stránky B., Pořadí stránek musí být pro každého účastníka náhodné. To je snadné s pouhými dvěma weby: náhodně přiřadit 50% uživatelů začít s každým webem. Ale jak zvýšíte počet nezávislých proměnných a úrovní pro nezávislou proměnnou, randomizace se stává obtížnější implementovat v rámci některých stávajících platforem pro kvantitativní testování použitelnosti.
- návrhy v rámci předmětu vyžadují méně účastníků a jsou levnější., Ke zjištění statisticky významný rozdíl mezi dvěma podmínkami, budete často potřebovat značný počet datových bodů (často nad 30) v každém stavu. Pokud máte návrh v rámci předmětu, každý účastník poskytne datový bod pro každou úroveň nezávislé proměnné. Pro naši studii autopůjčovny poskytne 30 účastníků datové body pro obě stránky. Pokud je však studie mezi subjekty, budete potřebovat dvakrát tolik, abyste získali stejný počet datových bodů. To znamená dvojnásobek nákladů.
- návrh uvnitř subjektů minimalizuje náhodný šum., Snad nejdůležitější výhodou návrhů v rámci předmětu je to, že je méně pravděpodobné, že skutečný rozdíl, který existuje mezi vašimi podmínkami, zůstane nezjištěn nebo bude pokryt náhodným hlukem.
jednotliví účastníci přinášejí do testu svou vlastní historii, znalosti pozadí a kontext. Jeden může být unavený po dlouhé noci párty, další se může nudit, další může dostat skvělou zprávu těsně před studiem a být šťastný. Pokud stejný účastník interaguje se všemi úrovněmi proměnné, ovlivní je stejným způsobem., Šťastný člověk bude šťastný na obou místech, unavený bude unavený na obou. Pokud je však studie mezi subjekty, šťastný účastník bude komunikovat pouze s jedním webem a může ovlivnit konečné výsledky. Budete se muset ujistit, že dostanete podobného šťastného účastníka v druhé skupině, aby potlačil její účinky.
V praxi, vědci nebudou moci posoudit tyto rozdíly mezi účastníky — i když mohou odpovídat pohlaví, zkušenosti a věk celé skupiny, to bude obtížné předvídat nebo rozpoznat další faktory, specifické pro každého účastníka.,
Randomizace: Zásadní pro Oba Typy Designu
Ať už vaše experimentální design je v rámci předmětů nebo mezi předměty, budete mít obavy být s randomizace, i když v mírně odlišné způsoby.
výše jsme diskutovali, proč je randomizace důležitá v návrzích uvnitř předmětu: působí proti možným účinkům pořadí a minimalizuje přenos a učení napříč podmínkami.,
Pro mezi-předmětem vzorů, musíte se ujistit, že účastníci jsou přiděleny náhodně podmínky, protože chcete zajistit, že váš účastník přiřazení nemá vliv na vaše studijní výsledky., Tedy, pokud se výzkumník rozhodne, že všichni účastníci, že se mu líbí, by měl komunikovat s webu a pak zjistí, že místo fungovala lépe, než stránky B, nebude vědět, zda, že objevil skutečný rozdíl mezi stránky, nebo zda se výsledek jednoduše odráží jeho úkol (například, protože lidé, kteří pocit, že jsou líbil mají tendenci oplatit, a může být více trpěliví, nebo mít pozitivní myšlení v průběhu zkoušky).
i bez takového zjevného zkreslení, jako jsou vaše osobní preference, je snadné získat randomizaci špatně., Řekněme, že vedete studii během čtyř dnů, od soboty do úterý. Možná, že se rozhodnete mít první polovině testu uživatelé začít s stránky a mít druhé polovině uživatelé začít s stránky B. Nicméně, to není pravda, randomizace, protože je velmi pravděpodobné, že určité typy lidí jsou více pravděpodobné, aby se dohodly na studii, během víkendu a další typy lidí jsou více pravděpodobné, že se přihlásit na svůj všední den testování sloty.,
závěr
uživatelský výzkum může být mezi subjekty nebo uvnitř subjektů (nebo obojí), v závislosti na tom, zda je každý účastník vystaven pouze jedné podmínce nebo všem podmínkám, které jsou v rámci studie různé. Každý z těchto typů experimentální design má své vlastní výhody a nevýhody; v-předměty design vyžaduje méně účastníků a zvyšuje šanci odhalit skutečný rozdíl mezi vaší podmínek; mezi-předměty návrhy minimalizovat dopady na učení napříč podmínek, vést kratší sezení, a může být jednodušší nastavit a analyzovat.