wanneer u meerdere gebruikersinterfaces in een enkele studie wilt vergelijken, zijn er twee manieren om uw testdeelnemers aan deze meerdere voorwaarden toe te wijzen:
- tussen-proefpersonen (of tussen-groepen) studieontwerp: verschillende personen testen elke voorwaarde, zodat elke persoon slechts aan één enkele gebruikersinterface wordt blootgesteld.
- onderzoeksopzet binnen proefpersonen (of herhaalde metingen): dezelfde persoon test alle voorwaarden (d.w.z. alle gebruikersinterfaces).,
(merk op dat we hier het woord “design” gebruiken om te verwijzen naar het ontwerp van het experiment, en niet naar website design.)
bijvoorbeeld, als we twee autoverhuursites A en B willen vergelijken door te kijken hoe deelnemers auto ‘ s boeken op elke site, zou onze studie op twee verschillende manieren kunnen worden ontworpen, beide volkomen legitiem:
- tussen-onderwerpen: elke deelnemer kan een enkele autoverhuursite testen en alleen op die site een auto boeken.
- binnen-onderwerpen: elke deelnemer kon beide autoverhuursites testen en op elk een auto boeken.,
elk type gebruikersonderzoek waarbij meer dan één testvoorwaarde wordt gebruikt, moet bepalen of het gaat om tussen-proefpersonen of binnen-proefpersonen. Het onderscheid is echter bijzonder belangrijk voor kwantitatieve studies.
experimentele opzet in kwantitatieve Studies
In tegenstelling tot kwalitatieve studies, zijn kwantitatieve usability studies gericht op resultaten die statistisch gezien waarschijnlijk zullen generaliseren naar de gehele gebruikerspopulatie. Hoe de gegevens van dergelijke studies worden geanalyseerd hangt af van de manier waarop de studie werd ontworpen (dat wil zeggen, van de experimentele opzet van de studie).,
vaak is het belangrijkste doel van kwantitatieve usability studies om een site te vergelijken met zijn concurrenten, twee verschillende iteraties van een ontwerp, of twee verschillende groepen gebruikers (zoals experts vs.beginners)., Zoals in elk wetenschappelijk experiment waarin we causale relaties willen detecteren, omvat een kwantitatieve studie twee soorten variabelen:
- onafhankelijke variabelen, die direct worden gemanipuleerd door de onderzoeker
- afhankelijke variabelen, die worden gemeten (en naar verwachting variëren als gevolg van de onafhankelijke-variabele manipulatie)
(als de studie statistisch significante resultaten oplevert, dan kunnen we zeggen dat een verandering in de onafhankelijke variabele een verandering in de afhankelijke variabele veroorzaakte.)
laten we teruggaan naar ons originele voorbeeld van autoverhuur., Als we wilden meten welke van de twee sites, A of B, is beter voor de taak van het reserveren van een auto, konden we kiezen Site (met twee mogelijke waarden of niveaus — A en B) als de onafhankelijke variabele, en de tijd op de taak en de nauwkeurigheid voor het boeken van een auto zou de afhankelijke variabelen. Het doel van de studie zou zijn om te zien of de afhankelijke variabelen (tijd en nauwkeurigheid) veranderen wanneer we de site variëren of ze hetzelfde blijven. (Als ze hetzelfde blijven, dan is geen van de sites beter dan de andere.,)
om onze studie te plannen, is de volgende vraag die we moeten beantwoorden of de studieopzet moet zijn tussen-proefpersonen of binnen-proefpersonen — dat wil zeggen, of een deelnemer aan de studie moet worden blootgesteld aan alle verschillende voorwaarden voor de onafhankelijke variabele in onze studie (binnen-proefpersonen) of slechts aan één voorwaarde (tussen-proefpersonen). De keuze van het experimentele ontwerp zal van invloed zijn op het type statistische analyse dat moet worden gebruikt op uw gegevens.,
Het is mogelijk dat een experimentontwerp zowel binnen-proefpersonen als tussen-proefpersonen is. Neem bijvoorbeeld aan dat we in het geval van onze autoverhuurstudie ook geïnteresseerd waren in hoe deelnemers jonger dan 30 jaar presteren in vergelijking met oudere deelnemers. In dit geval zouden we twee onafhankelijke variabelen hebben:
- leeftijd, met 2 niveaus: jonger dan 30, ouder dan 30
- locatie, met 2 niveaus: A en B
Voor het onderzoek zullen we een gelijk aantal deelnemers in elke leeftijdsgroep werven., Laten we aannemen dat we besluiten dat elke deelnemer, jonger dan of ouder dan 30 jaar, een autohuur reservering zal maken op zowel site A en op site B. In dit geval is de studie binnen-onderwerpen met betrekking tot de onafhankelijke variabele Site (omdat elke persoon beide niveaus van deze variabele ziet-dat wil zeggen, zowel site A en site B). De studie is echter tussen-proefpersonen met betrekking tot leeftijd: één persoon kan slechts in een enkele leeftijdsgroep (jonger of ouder dan 30, niet beide)., (Nou, technisch, je kon kiezen voor een groep van onder-30-jarigen en wachten tot ze 30 om ze te testen de sites opnieuw, maar deze setup is zeer onpraktisch voor de meeste real-world situaties.)
sommige onafhankelijke variabelen kunnen de keuze van het ontwerp opleggen. Leeftijd is een van hen, zoals hierboven te zien. Anderen zijn Expertise (als we experts en beginners willen vergelijken), gebruikerstype (als we verschillende gebruikersgroepen of persona ‘ s willen vergelijken — bijvoorbeeld zakenreiziger Versus vakantieganger), of geslacht (ervan uitgaande dat een persoon niet van meerdere geslachten tegelijk kan zijn)., Buiten bruikbaarheid zijn medicijnproeven een veel voorkomend geval van tussen-onderwerp ontwerp: deelnemers worden blootgesteld aan slechts één behandeling: ofwel het geneesmiddel dat wordt getest of een placebo, niet beide. En soms verandert de manipulatie zelf de staat van de deelnemer: bijvoorbeeld, als je wilt zien welke van de twee curricula effectiever is voor het onderwijzen van lezen, zou je niet kunnen hebben dat dezelfde student aan beide wordt blootgesteld, want als ze eenmaal geleerd heeft te lezen, kan ze het niet afleren.
Wat Is beter: tussen-proefpersonen of binnen-proefpersonen?
helaas is er geen eenvoudig antwoord op deze vraag., Zoals hierboven gezien, soms uw onafhankelijke variabelen zal dicteren het experimentele ontwerp. Maar in veel situaties kunnen beide ontwerpen mogelijk zijn.
- tussen-proefpersonen minimaliseert het leren en de overdracht tussen voorwaarden. Nadat een persoon een reeks taken op een autoverhuursite heeft voltooid, is ze meer geïnformeerd over het domein dan ze voorheen was. Bijvoorbeeld, ze kan nu weten dat autoverhuursites een extra vergoeding voor bestuurders onder de 21, of wat een botsing-schade waiver is., Die kennis zal haar waarschijnlijk helpen efficiënter te worden op een tweede autoverhuursite, hoewel die tweede site heel anders kan zijn dan de eerste.
bij het ontwerp tussen de onderwerpen is deze overdracht van kennis geen probleem — deelnemers worden nooit blootgesteld aan verschillende niveaus van dezelfde onafhankelijke variabele.
- studies tussen proefpersonen hebben kortere sessies dan binnen proefpersonen. Een deelnemer die een enkele autoverhuursite test, zal een kortere sessie hebben dan één die er twee test., Kortere sessies zijn minder vermoeiend (of saai) voor gebruikers, en kunnen ook meer geschikt zijn voor remote ongemodereerde testen (vooral omdat tools zoals UserZoom meestal een vrij korte sessie lengte vereisen).
- tussen-subject experimenten zijn gemakkelijker op te zetten, vooral als je meerdere onafhankelijke variabelen hebt. Wanneer de studie binnen-proefpersonen is, zul je randomisatie van je stimuli moeten gebruiken om ervoor te zorgen dat er geen ordegevolgen zijn. In onze autoverhuurstudie moeten we er bijvoorbeeld voor zorgen dat deelnemers niet altijd beginnen met site A en dan verder gaan naar site B., De volgorde van de sites moet willekeurig zijn voor elke deelnemer. Dit is eenvoudig met slechts twee sites: willekeurig toewijzen 50% van de gebruikers om te beginnen met elke site. Maar als je het aantal onafhankelijke variabelen en niveaus voor een onafhankelijke variabele verhoogt, wordt randomisatie moeilijker te implementeren binnen enkele van de bestaande platforms voor kwantitatieve usability testen.
- binnen het onderwerp ontwerpen vereisen minder deelnemers en zijn goedkoper te draaien., Om een statistisch significant verschil tussen twee condities te detecteren, heb je vaak een behoorlijk aantal datapunten nodig (vaak boven 30) in elke conditie. Als u een binnen-onderwerp ontwerp, elke deelnemer zal een gegevenspunt voor elk niveau van de onafhankelijke variabele. Voor onze autoverhuurstudie zullen 30 deelnemers datapunten voor beide locaties verstrekken. Maar als de studie is tussen-onderwerpen zul je twee keer zoveel nodig om hetzelfde aantal datapunten te krijgen. Dat betekent twee keer zoveel.
- binnen-onderwerpen ontwerp minimaliseert de willekeurige ruis., Misschien wel het belangrijkste voordeel van binnen-onderwerp ontwerpen is dat ze maken het minder waarschijnlijk dat een echt verschil dat bestaat tussen uw voorwaarden onopgemerkt zal blijven of worden gedekt door willekeurige ruis.
individuele deelnemers testen hun eigen geschiedenis, achtergrondkennis en context. Men kan moe zijn na een lange nacht van feesten, een ander kan zich vervelen, nog een ander kan een groot nieuws hebben ontvangen net voor de studie en gelukkig zijn. Als dezelfde deelnemer samenwerkt met alle niveaus van een variabele, zal ze hen op dezelfde manier beïnvloeden., De gelukkige persoon zal gelukkig zijn op beide sites, de vermoeide zal moe zijn op beide. Maar als de studie is tussen-proefpersonen, zal de gelukkige deelnemer alleen interactie met één site en kan de uiteindelijke resultaten beïnvloeden. Je moet ervoor zorgen dat je een soortgelijke gelukkige deelnemer in de andere groep krijgt om haar effecten tegen te gaan.
in de praktijk zullen onderzoekers dergelijke verschillen tussen deelnemers niet kunnen beoordelen — hoewel ze kunnen overeenkomen met het geslacht, de ervaring en de leeftijd tussen de groepen, zal het moeilijk zijn om andere factoren te voorspellen of te detecteren die specifiek zijn voor elke deelnemer.,
randomisatie: essentieel voor beide typen ontwerp
of uw experimentele ontwerp zich nu binnen-subjecten of tussen-subjecten bevindt, u zult zich met randomisatie moeten bezighouden, zij het op enigszins verschillende manieren.
hierboven bespraken we waarom randomisatie belangrijk is in binnen-subject ontwerpen: het gaat de mogelijke ordeeffecten tegen en minimaliseert overdracht en leren tussen condities.,
Voor tussen-subject ontwerpen moet u ervoor zorgen dat deelnemers willekeurig worden toegewezen aan voorwaarden, omdat u ervoor wilt zorgen dat uw deelnemer toewijzing geen invloed heeft op uw studieresultaten., Dus, als een onderzoeker besluit dat alle deelnemers die hij leuk vindt moeten communiceren met site A en dan vindt hij dat site A beter presteerde dan site B, hij zal niet weten of hij heeft ontdekt een waar verschil tussen de sites of dat het resultaat gewoon weerspiegelt zijn opdracht (bijvoorbeeld, omdat mensen die voelen dat ze leuk zijn de neiging om de gunst terug te keren, en kan meer geduld of hebben een positieve mentaliteit tijdens de test).
zelfs zonder zo ‘ n voor de hand liggende bias als uw persoonlijke voorkeuren, is het gemakkelijk om randomisatie verkeerd te krijgen., Stel dat je vier dagen lang een studie doet, van zaterdag tot dinsdag. Je zou kunnen besluiten om de eerste helft van de test gebruikers beginnen met site A en hebben de tweede helft van de gebruikers beginnen met site B. Echter, dit is niet een echte randomisatie, omdat het ‘ s zeer waarschijnlijk dat bepaalde soorten mensen zijn meer kans om in te stemmen met een studie tijdens het weekend en andere soorten mensen zijn meer kans om zich aan te melden voor uw weekdag testen slots.,
conclusie
gebruikersonderzoek kan tussen-proefpersonen of binnen-proefpersonen (of beide) zijn, afhankelijk van het feit of elke deelnemer wordt blootgesteld aan slechts één aandoening of aan alle aandoeningen die binnen een studie variëren. Elk van deze soorten experimenteel ontwerp heeft zijn eigen voor-en nadelen; binnen-onderwerpen ontwerp vereist minder deelnemers en verhoogt de kans op het ontdekken van een echt verschil tussen uw voorwaarden; tussen-onderwerpen ontwerpen minimaliseren de leereffecten tussen de voorwaarden, leiden tot kortere sessies, en kan gemakkelijker worden opgezet en analyseren.