När du vill jämföra flera användargränssnitt i en enda studie finns det två sätt att tilldela dina testdeltagare till dessa flera villkor:
- mellan-subjects (eller between-groups) study design: olika människor testar varje tillstånd, så att varje person endast utsätts för ett enda användargränssnitt.
- inom-ämnen (eller upprepade-åtgärder) studiedesign: samma person testar alla villkor (dvs. alla användargränssnitt).,
(Observera att här använder vi ordet ”design” för att hänvisa till experimentets utformning och inte till webbdesign.)
om vi till exempel ville jämföra två biluthyrningsplatser A och B genom att titta på hur deltagarna bokar bilar på varje webbplats, skulle vår studie kunna utformas på två olika sätt, både helt legitima:
- mellan ämnen: Varje deltagare kunde testa en enda biluthyrningsplats och boka en bil endast på den webbplatsen.
- inom-ämnen: varje deltagare kunde testa både biluthyrning webbplatser och boka en bil på varje.,
varje typ av användarforskning som innebär mer än ett enda testförhållande måste avgöra om det ska vara mellan-ämnen eller inom-ämnen. Skillnaden är dock särskilt viktig för kvantitativa studier.
experimentell Design i kvantitativa studier
till skillnad från kvalitativa studier syftar kvantitativa användbarhetsstudier till att resultera i resultat som är statistiskt sannolika att generalisera till hela användarpopulationen. Hur data från sådana studier analyseras beror på hur studien utformades (det vill säga på studiens experimentella design).,
ofta är huvudmålet med kvantitativa användbarhetsstudier att jämföra-en webbplats med sina konkurrenter, två olika iterationer av en design eller två olika grupper av användare (som experter vs. nybörjare)., Liksom i alla vetenskapliga experiment där vi vill upptäcka orsakssamband, innefattar en kvantitativ studie två typer av variabler:
- oberoende variabler, som direkt manipuleras av forskaren
- beroende variabler, vilka mäts (och förväntas variera som ett resultat av den oberoende variabla manipuleringen)
(om studien ger statistiskt signifikanta resultat kan vi säga att en förändring i den oberoende variabeln orsakade en förändring i den beroende variabeln.)
låt oss gå tillbaka till vårt ursprungliga bilhyresexempel., Om vi ville mäta vilken av de två platserna, A eller B, som är bättre för uppgiften att reservera en bil, kunde vi välja plats (med två möjliga värden eller nivåer — a och B) som den oberoende variabeln, och tiden på uppgiften och noggrannheten för att boka en bil kan vara de beroende variablerna. Målet med studien skulle vara att se om de beroende variablerna (tid och noggrannhet) ändras när vi varierar webbplatsen eller de förblir desamma. (Om de förblir desamma, då ingen av platserna är bättre än den andra.,)
för att planera vår studie är nästa fråga som vi behöver svara på om studiedesignen ska vara mellan-ämnen eller inom-ämnen — det vill säga om en deltagare i studien ska utsättas för alla olika villkor för den oberoende variabeln i vår studie (inom-ämnen) eller endast till ett villkor (mellan-ämnen). Valet av experimentell design kommer att påverka vilken typ av statistisk analys som ska användas på dina data.,
det är möjligt att en experimentdesign är både inom-ämnen och mellan-ämnen. Anta till exempel att vi, när det gäller vår biluthyrningsstudie, också var intresserade av att veta hur deltagare yngre än 30 presterar jämfört med äldre deltagare. I det här fallet skulle vi ha två oberoende variabler:
- ålder, med 2 nivåer: under 30, över 30
- webbplats, med 2 nivåer: a och B
för studien kommer vi att rekrytera lika många deltagare i varje åldersgrupp., Låt oss anta att vi bestämmer att varje deltagare, under eller över 30, kommer att göra en hyrbil bokning på både plats A och på plats B. I det här fallet är studien inom ämnen med avseende på den oberoende variabla platsen (eftersom varje person ser båda nivåerna av denna variabel — det vill säga både plats A och plats B). Studien är dock mellan-ämnen med avseende på ålder: en person kan bara vara i en enda åldersgrupp (antingen under eller över 30, inte båda)., (Tja, tekniskt kan du välja en grupp under 30-åringar och vänta tills de fyller 30 för att få dem att testa platserna igen, men den här inställningen är mycket opraktisk för de flesta verkliga situationer.)
vissa oberoende variabler kan innebära valet av design. Ålder är en av dem, som ses ovan. Andra är expertis (om vi vill jämföra experter och nybörjare), Användartyp (om vi vill jämföra olika användargrupper eller personas — till exempel affärsresenären vs. fritidsresenären) eller kön (förutsatt att en person inte kan vara av flera kön samtidigt)., Utanför användbarhet är läkemedelsförsök ett vanligt fall av ämnesdesign: deltagarna utsätts för endast en behandling: antingen läkemedlet som testas eller placebo, inte båda. Och ibland ändrar manipulationen själv deltagarens tillstånd: till exempel, om du vill se vilken av två läroplaner som är effektivare för att undervisa läsning, kunde du inte ha samma elev utsatt för båda, för när hon har lärt sig att läsa kan hon inte unlearn det.
vilket är bättre: mellan-ämnen eller inom-ämnen?
tyvärr finns det inget enkelt svar på den här frågan., Som framgår ovan, ibland dina oberoende variabler kommer att diktera experimentell design. Men i många situationer kan båda mönstren vara möjliga.
- mellan-ämnen minimerar lärande och överföring över förhållanden. När en person har slutfört en serie uppgifter på en biluthyrning webbplats, hon är mer kunnig om domänen än hon var innan. Till exempel kan hon nu veta att biluthyrning webbplatser tar ut en extra avgift för förare under 21, eller vad en kollisionsskada undantag är., Den kunskapen kommer sannolikt att hjälpa henne att bli effektivare på en andra biluthyrning, även om den andra platsen kan vara väldigt annorlunda än den första.
med mellan ämnesdesign är denna överföring av kunskap inte ett problem-deltagarna utsätts aldrig för flera nivåer av samma oberoende variabel.
- mellan-ämnen studier har kortare sessioner än inom-ämnesstudier. En deltagare som testar en enda biluthyrning webbplats kommer att ha en kortare session än en som testar två., Kortare sessioner är mindre tröttsamt (eller tråkigt) för användare, och kan också vara mer lämpligt för fjärr omodern testning (särskilt eftersom verktyg som UserZoom vanligtvis kräver en ganska kort sessionslängd).
- mellan-ämnesexperiment är lättare att ställa in, särskilt när du har flera oberoende variabler. När studien är inom-ämnen måste du använda randomisering av dina stimuli för att se till att det inte finns några ordereffekter. Till exempel, i vår hyrbil studie, vi måste se till att deltagarna inte alltid börjar med plats A och sedan gå vidare till plats B., Ordningen på platserna måste vara slumpmässig för varje deltagare. Detta är enkelt med bara två platser: slumpmässigt tilldela 50% av användarna att börja med varje webbplats. Men när du ökar antalet oberoende variabler och nivåer för en oberoende variabel blir randomisering svårare att implementera inom några av de befintliga plattformarna för kvantitativ användbarhetstestning.
- inom ämnesdesigner kräver färre deltagare och är billigare att köra., För att upptäcka en statistiskt signifikant skillnad mellan två villkor behöver du ofta ett rättvist antal datapunkter (ofta över 30) i varje tillstånd. Om du har en ämnesdesign, kommer varje deltagare att tillhandahålla en datapunkt för varje nivå i den oberoende variabeln. För vår biluthyrning studie, 30 deltagare kommer att ge datapunkter för båda platserna. Men om studien är mellan-ämnen behöver du dubbelt så många för att få samma antal datapunkter. Det betyder dubbelt så mycket.
- inom-ämnen design minimera slumpmässigt brus., Kanske är den viktigaste fördelen med inom-ämnesdesigner att de gör det mindre troligt att en verklig skillnad som finns mellan dina förhållanden kommer att förbli oupptäckt eller täckas av slumpmässigt ljud.
enskilda deltagare tar in på prov sin egen historia, bakgrundskunskap och sammanhang. Man kan vara trött efter en lång natt av festande, en annan kan vara uttråkad, ännu en kan ha fått en stor nyhet strax före studien och vara glad. Om samma deltagare interagerar med alla nivåer av en variabel, kommer hon att påverka dem på samma sätt., Den lyckliga personen kommer att vara glad på båda sidor, den trötta kommer att vara trött på båda. Men om studien är mellan ämnen, kommer den lyckliga deltagaren bara att interagera med en webbplats och kan påverka slutresultatet. Du måste se till att du får en liknande glad deltagare i den andra gruppen för att motverka hennes effekter.
i praktiken kommer forskarna inte att kunna bedöma sådana skillnader mellan deltagarna — även om de kan matcha kön, erfarenhet och ålder mellan grupper, kommer det att bli svårt att förutsäga eller upptäcka andra faktorer som är specifika för varje deltagare.,
randomisering: viktigt för båda typerna av Design
om din experimentella design är inom-ämnen eller mellan-ämnen, måste du vara oroad över randomisering, men på något olika sätt.
ovan diskuterade vi varför randomisering är viktig inom ämnesdesigner: det motverkar de möjliga ordereffekterna och minimerar överföring och lärande över förhållanden.,
För mönster mellan ämne måste du se till att deltagarna tilldelas slumpmässigt till villkor, eftersom du vill se till att din deltagaruppgift inte påverkar dina studieresultat., Således, om en forskare beslutar att alla deltagare som han gillar ska interagera med plats A och sedan finner han att platsen a utförs bättre än plats B, han kommer inte att veta om han har upptäckt en sann skillnad mellan platserna eller om resultatet helt enkelt återspeglar hans uppdrag (till exempel, eftersom människor som känner att de är gillade tenderar att återgälda tjänsten, och kan vara mer tålmodig eller ha en positiv inställning under testet).
även utan en så uppenbar bias som dina personliga preferenser är det lätt att få randomisering fel., Säg att du kör en studie över fyra dagar, lördag till tisdag. Du kanske bestämmer dig för att ha den första halvan av testet användarna börjar med site A och har den andra halvan av användarna börjar med site B. Detta är dock inte en sann randomisering, eftersom det är mycket troligt att vissa typer av människor är mer benägna att gå med på en studie under helgen och andra typer av människor är mer benägna att registrera dig,
slutsats
användarforskning kan vara mellan-ämnen eller inom-ämnen (eller båda), beroende på om varje deltagare utsätts för endast ett villkor eller alla villkor som varieras inom en studie. Var och en av dessa typer av experimentell design har sina egna fördelar och nackdelar; inom-ämnen design kräver färre deltagare och ökar chansen att upptäcka en sann skillnad mellan dina villkor; mellan-ämnen mönster minimera inlärningseffekter över förhållanden, leda till kortare sessioner, och kan vara lättare att ställa in och analysera.