Når du vil sammenligne flere brukergrensesnitt i en enkelt undersøkelse, det er to måter å tilordne test deltakere til disse forholdene:
- Mellom-fag (eller mellom-grupper) studiedesign: forskjellige mennesker test hver tilstand, slik at hver person bare kan eksponert for en enkelt bruker grensesnitt.
- I-fag (eller gjentatt-tiltak) studiedesign: samme person tester alle betingelser (dvs., alle brukergrensesnitt).,
(Merk at vi her bruker ordet «design» for å referere til utformingen av forsøket, og ikke til nettstedet ditt design.)
For eksempel, hvis vi ønsket å sammenligne to leiebil nettsteder A og B ved å se på hvordan deltakerne bestill biler på hvert nettsted, vår studie kan være utformet på to forskjellige måter, både helt legitimt:
- Mellom-fag: Hver deltaker kan teste en eneste bil-utleie av stedet og bestill en bil bare på det området.
- I-fag: Hver deltaker kan teste både bil-utleie av nettsteder, og bestill en bil på hver.,
Alle typer brukere forskning som involverer mer enn en enkelt test tilstand har til å bestemme om det skal være mellom-fag eller innen-fag. Men skillet er særlig viktig for kvantitative studier.
Eksperimentell Design i Kvantitative Studier
i Motsetning til kvalitative studier, kvantitative brukervennlighet studier har som mål å resultere i funn som er statistisk sannsynlig å generalisere til hele befolkningen bruker. Hvordan data fra slike studier er analysert avhenger av hvordan studien ble designet (som er på undersøkelsen er eksperimentell design).,
Ofte, det viktigste målet for kvantitative brukervennlighet studier er å sammenligne — et nettsted med sine konkurrenter, to ulike versjoner av en design, eller to ulike grupper av brukere (for eksempel eksperter vs. nybegynnere)., Som i enhver vitenskapelig eksperiment der vi ønsker å påvise kausale relasjoner, en kvantitativ studie innebærer to typer variabler:
- Uavhengige variabler, som er direkte manipulert av forsker
- Avhengige variabler som er målt (og forventes å variere som et resultat av den uavhengige variabelen, manipulasjon)
(Hvis undersøkelsen gir statistisk signifikante resultater, da kan vi si at en endring i den uavhengige variabelen skyldes en endring i den avhengige variabelen.)
La oss gå tilbake til vår opprinnelige leiebil eksempel., Hvis vi ønsket å måle hvilken av de to nettstedene, A eller B, som er bedre for oppgaven med å reservere en bil, vi kunne velge Nettsted (med to mulige verdier, eller nivåer, A og B) som uavhengig variabel, og tiden på en oppgave og nøyaktighet for å bestille en bil, kan være de avhengige variablene. Målet med studiet vil være å se om de avhengige variablene (tid og nøyaktighet) endres når vi varierer nettstedet eller forblir de samme. (Hvis de forblir de samme, så ingen av nettstedene er bedre enn den andre.,)
for Å planlegge vår studie, er det neste spørsmålet vi må besvare, er om studiet design bør være mellom-fag eller innen fag — som er, om en deltaker i studien bør være utsatt for alle de ulike forhold for den uavhengige variabelen i vår studie (innen-fag) eller bare til en tilstand (mellom-fag). Valg av eksperimentell design vil påvirke den type statistiske analyser som skal brukes på dataene.,
Det er mulig at et eksperiment design er både innen fag og mellom fag. Anta For eksempel at, i tilfelle av våre leiebil studien, var vi også interessert i å vite hvordan deltakerne er yngre enn 30 utføre sammenlignet med eldre deltakere. I dette tilfellet ville vi ha to uavhengige variabler:
- Alder, med 2 nivåer: under 30, over 30
- Området, med 2 nivåer: A og B
For studien, vil vi rekruttere like mange deltakere i hver aldersgruppe., La oss anta at vi bestemmer oss for at hver deltaker, enten under eller over 30, vil gjøre en leiebil reservasjoner i både område A og område B. I denne case-studien er innenfor fag med hensyn til den uavhengige variabelen Området (fordi hver person ser begge nivåer av denne variabelen, som er både område A og område B). Men studien er mellom fagene med hensyn til Alder: en person kan bare være i en enkelt aldersgruppe (enten under eller over 30, og ikke begge)., (Vel, teknisk sett, at du kan plukke en gruppe av under-30-åringer og vente til de fyller 30 for å ha dem til å teste nettsteder igjen, men dette oppsettet er svært upraktisk for de fleste virkelige situasjoner.)
Noen uavhengige variabler kan pålegge valg av design. Alder er en av dem, som vi har sett ovenfor. Andre er Kompetanse (hvis vi ønsker å sammenligne eksperter og nybegynnere), Brukerdefinert Type (hvis vi ønsker å sammenligne ulike grupper eller personas — for eksempel forretningsreisende vs. fritidsreisende), eller Kjønn (forutsatt at en person ikke kan være av flere kjønn på samme tid)., Utenfor brukervennlighet, bedøve prøvelser er et vanlig tilfelle av mellom-emne design: deltakerne er utsatt for bare én behandling: enten stoffet som blir testet eller et placebo, ikke begge. Og noen ganger manipulasjon selv endrer tilstanden til deltaker: for eksempel, hvis du ønsker å se hvilken av de to læreplanene som er mer effektive for undervisning i lesing, kunne du ikke ha samme student bli utsatt for begge deler, fordi når hun lærte å lese, hun kan ikke glemme det.
noe Som Er Bedre: Mellom-Fag eller Innen-Fag?
Dessverre, det er ikke noe enkelt svar på dette spørsmålet., Som sett over, noen ganger er din uavhengige variabler vil diktere eksperimentelle design. Men i mange situasjoner, både design kan være mulig.
- Mellom-fag minimerer læring og transfer over forholdene. Etter at en person har gjennomført en rekke oppgaver på en bil-utleie nettstedet, hun er mer kunnskapsrike om domenet enn hun var før. For eksempel, kan hun nå vet at bil-utleie nettsteder belaste en ekstra avgift for førere under 21, eller hva en kollisjon skade fraskrivelse er., Denne kunnskapen vil trolig hjelpe henne til å bli mer effektiv på en bil nummer to for å leie stedet, selv om det andre nettstedet kan være svært forskjellig fra den første.
Med mellom-emne design, denne overføringen av kunnskap er ikke et problem — deltakerne er aldri utsatt for flere nivåer av det samme uavhengig variabel.
- Mellom-fag studier har kortere økter enn innenfor-emne seg. En deltaker som tester en enkelt bil-utleie-område har en kortere økt enn en som tester to., Kortere økter er mindre anstrengende (eller kjedelig) for brukere, og kan også være mer hensiktsmessig for ekstern unmoderated testing (spesielt siden verktøy som UserZoom krever vanligvis en ganske kort økt lengde).
- Mellom-emne eksperimenter er enklere å sette opp, spesielt når du har flere uavhengige variabler. Når studien er innenfor fag, du er nødt til å bruke randomisering av stimuli for å sørge for at det er ingen ordens effekter. For eksempel, i vår leiebil studien, vi må sørge for at deltakerne ikke alltid starte med nettsiden, og deretter gå videre til område B., Rekkefølgen på nettsteder trenger å være tilfeldig for hver deltaker. Dette er lett med bare to områder: tilfeldig tilordne 50% av brukerne til å begynne med hvert nettsted. Men som du øker antall uavhengige variabler og nivåer for en uavhengig variabel, randomisering blir vanskeligere å gjennomføre innen noen av de eksisterende plattformer for kvantitative usability testing.
- I-emne design krever færre deltakere, og er billigere å kjøre., For å påvise en statistisk signifikant forskjell mellom to forhold, vil du ofte trenger en god del av data poeng (ofte over 30) i hver tilstand. Hvis du har en innenfor faget design, og hver deltaker vil gi en data-poeng for hvert nivå av den uavhengige variabelen. For vår leiebil studie, 30 deltakere vil gi data poeng for begge stedene. Men hvis studien er mellom-fag du trenger dobbelt så mange for å få det samme antall datapunkter. Det betyr to ganger kostnaden.
- I-fag design minimere tilfeldig støy., Kanskje den viktigste fordelen av innen-emne design er at de gjør det mindre sannsynlig at en reell forskjell som finnes mellom forholdene vil forbli uoppdaget eller være dekket av tilfeldig støy.
de Enkelte deltakerne bringe inn for å teste sin egen historie, bakgrunn, kunnskap og kontekst. Man kan bli sliten etter en lang natt med festing, en annen kan være lei, men en annen kan ha fått gode nyheter like før studere og være lykkelig. Hvis den samme deltakeren fungerer med alle nivåer av en variabel, hun vil påvirke dem på samme måte., Den glad person vil være lykkelig på begge områdene, sliten man blir sliten på begge. Men hvis studien er mellom-fag, gjerne deltaker vil bare arbeide med ett område, og dette kan påvirke de endelige resultatene. Du må gjøre sikker på at du vil få en lignende fornøyd deltaker i den andre gruppen for å motvirke henne effekter.
I praksis, forskere vil ikke være i stand til å vurdere slike forskjeller mellom deltakerne — selv om de kan matche kjønn, erfaring og alder på tvers av grupper, vil det være vanskelig å forutsi eller oppdage andre faktorer som er spesifikke for hver deltaker.,
Randomisering: Viktig for Begge Typer Design
Om din eksperimentelle design er innenfor fag-eller mellom-fag, vil du har til å være opptatt med randomisering, men på litt forskjellige måter.
Over, diskuterte vi hvorfor randomisering er viktig i innen-emne design: det motvirker mulig for virkninger og reduserer overføring og læring på tvers av forholdene.,
For mellom-emne design, må du sørge for at deltakerne får tildelt tilfeldig forhold, fordi du ønsker å sikre at deltakeren oppdrag påvirker ikke resultatene fra denne undersøkelsen., Dermed, hvis en forsker som bestemmer seg for at alle deltakerne som han liker, bør samhandle med nettstedet En og da han finner ut at nettstedet En prestert bedre enn i område B, vil han ikke vet om han har oppdaget en sann forskjell mellom områdene eller om resultatet rett og slett gjenspeiler hans oppdrag (for eksempel, fordi folk som forstand at de likte tendens til å gjengjelde tjenesten, og kan være mer tålmodig eller ha en positiv tankesett under testen).
Selv uten en tydelig skjevhet som dine personlige preferanser, og det er lett å få randomisering galt., Si at du kjører en studie over fire dager, lørdag til tirsdag. Du kan velge å ha den første delen av testen brukere starte med nettsiden og har den andre halvparten av brukerne starte med nettstedet B. Men, dette er ikke en ekte randomisering, fordi det er svært sannsynlig at visse typer folk er mer sannsynlig å bli enige om en studie i løpet av helgen og andre typer folk er mer sannsynlig å registrere deg for en ukedag testing slots.,
Konklusjon
brukerundersøkelser kan være mellom-fag eller innen-fag (eller begge), avhengig av om den enkelte deltaker er utsatt for bare én betingelse eller til alle forhold som er variert i en undersøkelse. Hver av disse typer av eksperimentelle design har sine egne fordeler og ulemper, innen-fag design krever færre deltakere, og øker sjansen for å oppdage en sann forskjell mellom betingelsene, mellom-fag design minimere læringseffekt på tvers av forholdene, føre til kortere økter, og kan være enklere å sette opp og analysere.