Når du ønsker at sammenligne flere brugergrænseflader, der er i en enkelt undersøgelse, der er to metoder til tildeling af din test deltagere til disse betingelser:
- Mellem-fag (eller mellem-grupper) studie design: forskellige mennesker test hver tilstand, således at hver person er kun udsættes for en enkelt bruger interface.
- inden for-emner (eller gentagne foranstaltninger) studiedesign: den samme person tester alle betingelserne (dvs.alle brugergrænseflader).,
(Bemærk, at her bruger vi ordet “design” til at henvise til eksperimentets design og ikke til websiteebstedsdesign.)
For eksempel, hvis vi ønsker at sammenligne to bil-leje websites, A og B ved at se på, hvordan deltagerne bog biler på hvert websted, vores undersøgelse kunne være udformet på to forskellige måder, både helt legitimt:
- Mellem-emner: Hver deltager kunne teste en enkelt bil-leje site og book en bil kun på dette websted.
- inden for-emner: hver deltager kunne teste begge biludlejningssider og bestille en bil på hver.,
enhver form for brugerforskning, der involverer mere end en enkelt testtilstand, skal afgøre, om der skal være mellem-fag eller inden-fag. Sondringen er imidlertid særlig vigtig for kvantitative undersøgelser.
eksperimentelt Design i kvantitative undersøgelser
i modsætning til kvalitative undersøgelser sigter kvantitative brugervenlighedsundersøgelser at resultere i fund, der statistisk sandsynligt vil generalisere til hele brugerpopulationen. Hvordan dataene fra sådanne undersøgelser analyseres afhænger af den måde, hvorpå undersøgelsen blev designet (det vil sige på undersøgelsens eksperimentelle design).,
ofte er hovedmålet med kvantitative brugervenlighedsundersøgelser at sammenligne — et siteebsted med sine konkurrenter, to forskellige iterationer af et design eller to forskellige grupper af brugere (såsom eksperter vs. nybegyndere)., Som i enhver videnskabelig eksperiment, hvor vi ønsker at påvise årsagssammenhænge, en kvantitativ undersøgelse omfatter to typer af variable:
- Uafhængige variable, som er direkte manipuleret af forskeren
- Afhængige variable, der er målt (og forventes at variere som følge af den uafhængige variabel manipulation)
(Hvis den undersøgelse, der producerer statistisk signifikante resultater, så kan vi sige, at en ændring i den uafhængige variabel, der er forårsaget af en ændring i den afhængige variabel.)
lad os gå tilbage til vores oprindelige Biludlejning eksempel., Hvis vi ønskede at måle, hvilken af de to sites, A eller B, der er bedre til den opgave, for at reservere en bil, vi kunne vælge Site (med to mulige værdier eller niveauer — A og B) som den uafhængige variabel, og den tid på opgaven, og nøjagtigheden for booking af en bil, kunne være den afhængige variable. Målet med undersøgelsen ville være at se, om de afhængige variabler (tid og nøjagtighed) ændres, når vi varierer siteebstedet, eller de forbliver de samme. (Hvis de forbliver de samme, er ingen af siderne bedre end de andre.,)
for At planlægge vores undersøgelse, er det næste spørgsmål, vi skal besvare, er, om undersøgelsen-design skal være mellem-fag eller inden for fag, der er, om en deltager i undersøgelsen bør blive udsat for alle de forskellige betingelser for den uafhængige variabel i vores undersøgelse (inden-fag) eller kun til én betingelse (mellem-fag). Valget af eksperimentelt design vil påvirke den type statistisk analyse, der skal bruges på dine data.,
Det er muligt, at et eksperiment design er både inden-fag og mellem fag. Antag for eksempel, at vi i tilfælde af vores biludlejningsundersøgelse også var interesseret i at vide, hvordan deltagere yngre end 30 klarer sig sammenlignet med ældre deltagere. I dette tilfælde ville vi have to uafhængige variabler:
- Alder, med 2 niveauer: under 30 over 30
- Site, med 2 niveauer: A og B
For undersøgelsen, vil vi ansætte lige så mange deltagere i hver aldersgruppe., Lad os antage, at vi beslutter, at hver deltager, enten under eller over 30, vil gøre en bil-leje reservation på begge site A og B. I dette tilfælde, at den undersøgelse, der er inden for fag med hensyn til den uafhængige variabel Stedet (fordi hver person ser begge niveauer af denne variabel, som er både site A og B). Undersøgelsen er imidlertid mellem-emner med hensyn til alder: en person kan kun være i en enkelt aldersgruppe (enten under eller over 30, ikke begge)., (Teknisk set kan du vælge en gruppe under 30-årige og vente, indtil de bliver 30 for at få dem til at teste sitesebstederne igen, men denne opsætning er meget upraktisk for de fleste virkelige situationer.)
nogle uafhængige variabler kan pålægge valg af design. Alder er en af dem, som det ses ovenfor. Andre er ekspertise (hvis vi vil sammenligne eksperter og nybegyndere), brugertype (hvis vi vil sammenligne forskellige brugergrupper eller personas — for eksempel forretningsrejsende kontra ferierejsende) eller køn (forudsat at en person ikke kan være af flere køn på samme tid)., Uden for brugervenlighed er lægemiddelforsøg et almindeligt tilfælde af design mellem fag: deltagerne udsættes kun for en behandling: enten det lægemiddel, der testes eller en placebo, ikke begge dele. Og undertiden ændrer selve manipulationen deltagerens tilstand: for eksempel, hvis du vil se, hvilken af to læseplaner der er mere effektiv til undervisning i læsning, kunne du ikke få den samme studerende til at blive udsat for begge, for når hun først har lært at læse, kan hun ikke aflære det.
hvilket er bedre: mellem-fag eller inden-fag?
Desværre er der ikke noget let svar på dette spørgsmål., Som det ses ovenfor, vil dine uafhængige variabler undertiden diktere det eksperimentelle design. Men i mange situationer kan begge designs være mulige.
- mellem-fag minimerer læring og overførsel på tværs af betingelser. Når en person har udført en række opgaver på en biludlejningsside, er hun mere vidende om domænet, end hun var før. For eksempel, Hun kan nu vide, at biludlejnings sitesebsteder opkræver et ekstra gebyr for chauffører under 21, eller hvad en kollisionsskadefritagelse er., Denne viden vil sandsynligvis hjælpe hende med at blive mere effektiv på et andet biludlejnings siteebsted, selvom det andet siteebsted kan være meget forskelligt fra det første.
med mellem fagdesign er denne overførsel af viden ikke et problem — deltagerne udsættes aldrig for flere niveauer af den samme uafhængige variabel.
- mellem fagstudier har kortere sessioner end inden for fag. En deltager, der tester en enkelt Biludlejning siteebsted vil have en kortere session end en, der tester to., Kortere sessioner er mindre trættende (eller kedelige) for brugerne, og kan også være mere hensigtsmæssigt, hvis fjernbetjeningen ikke-modererede test (især da værktøjer som UserZoom kræver normalt en forholdsvis kort session længde).
- mellem-emne eksperimenter er lettere at sætte op, især når du har flere uafhængige variabler. Når undersøgelsen er inden for emner, skal du bruge randomisering af dine stimuli for at sikre, at der ikke er nogen ordreeffekter. For eksempel, i vores biludlejningsundersøgelse, vi er nødt til at sørge for, at deltagerne ikke altid starter med Sted A og derefter går videre til sted B., Rækkefølgen af sitesebstederne skal være tilfældig for hver deltager. Dette er nemt med kun to steder: tilfældigt tildele 50% af brugerne til at starte med hvert .ebsted. Men når du øger antallet af uafhængige variabler og niveauer for en uafhængig variabel, bliver randomisering vanskeligere at implementere inden for nogle af de eksisterende platforme til kvantitativ brugbarhedstest.
- inden for fagdesign kræver færre deltagere og er billigere at køre., For at opdage en statistisk signifikant forskel mellem to tilstande, har du ofte brug for et rimeligt antal datapunkter (ofte over 30) i hver tilstand. Hvis du har et indenfor-emne design, vil hver deltager give et datapunkt for hvert niveau af den uafhængige variabel. Til vores biludlejningsundersøgelse leverer 30 deltagere datapunkter for begge sider. Men hvis undersøgelsen er mellem fag, skal du bruge dobbelt så mange for at få det samme antal datapunkter. Det betyder dobbelt så meget.
- inden-emner design minimere den tilfældige støj., Den vigtigste fordel ved design inden for emnet er måske, at de gør det mindre sandsynligt, at en reel forskel, der eksisterer mellem dine forhold, forbliver uopdaget eller dækkes af tilfældig støj.
individuelle deltagere bringer deres egen historie, baggrundsviden og kontekst til testen. Man kan være træt efter en lang nat med fester, en anden kan kede sig, endnu en kan have modtaget en god nyhed lige før studiet og være glad. Hvis den samme deltager interagerer med alle niveauer af en variabel, vil hun påvirke dem på samme måde., Den glade person vil være glad på begge sider, den trætte bliver træt på begge. Men hvis undersøgelsen er mellem-emner, vil den glade deltager kun interagere med et sted og kan påvirke de endelige resultater. Du skal sørge for, at du får en lignende glad deltager i den anden gruppe for at modvirke hendes virkninger.
i praksis vil forskere ikke være i stand til at vurdere sådanne forskelle mellem deltagere — selvom de kan matche køn, erfaring og alder på tværs af grupper, vil det være vanskeligt at forudsige eller opdage andre faktorer, der er specifikke for hver deltager.,
randomisering: væsentlig for begge typer Design
uanset om dit eksperimentelle design er inden for-emner eller mellem-emner, skal du være bekymret for randomisering, skønt på lidt forskellige måder.
ovenfor diskuterede vi, hvorfor randomisering er vigtig i design inden for emnet: det modvirker de mulige ordreeffekter og minimerer overførsel og læring på tværs af forhold.,
for mellemfagsdesign skal du sørge for, at deltagerne tildeles tilfældigt til betingelser, fordi du vil sikre dig, at din deltageropgave ikke påvirker dine studieresultater., Så hvis en forsker beslutter, at alle deltagerne om, at han kan lide interagerer med et websted og derefter han finder, at ejendommen A klaret sig bedre end B, vil han ikke vide, om han har opdaget en sand forskel mellem de steder, eller om resultatet blot afspejler sin opgave (for eksempel, fordi folk, der fornemmer, at de er holdt af, har en tendens til at gøre gengæld, og kan være mere tålmodig eller have en positiv tankegang under test).
selv uden en så åbenlyst bias som dine personlige præferencer, er det let at få randomisering forkert., Sig, at du kører et studie på tværs af fire dage, lørdag til tirsdag. Du kan vælge at have den første halvdel af testen brugere starte med En, og har den anden halvdel af brugerne starter med B. Men dette er ikke en ægte randomisering, fordi det er meget sandsynligt, at visse typer af mennesker er mere tilbøjelige til at acceptere at en undersøgelse i løbet af weekenden, og andre typer af mennesker er mere tilbøjelige til at melde sig til din hverdag test slots.,
konklusion
brugerforskning kan være mellem-emner eller inden-emner (eller begge), afhængigt af om hver deltager kun udsættes for en tilstand eller for alle tilstande, der varieres inden for en undersøgelse. Hver af disse typer af eksperimentelle design har sine egne fordele og ulemper, inden-fag design kræver færre deltagere og øger chancen for at opdage et sandt forskel blandt dine betingelser; mellem-fag designs minimere effekter på tværs betingelser, føre til kortere sessioner, og kan være nemmere at sætte op og analysere.