Durchsuchen Sie alle Themen und Autoren

Wenn Sie mehrere Benutzeroberflächen in einer einzigen Studie vergleichen möchten, gibt es zwei Möglichkeiten, Ihre Testteilnehmer diesen mehreren Bedingungen zuzuordnen:

• Zwischen-Probanden (oder zwischen-Gruppen) Studiendesign: Verschiedene Personen testen jede Bedingung, sodass jede Person nur einer einzigen Benutzeroberfläche ausgesetzt ist.
• In-Fächer (oder wiederholt-Maßnahmen) design der Studie: die gleiche person, die tests alle Bedingungen (D. H., alle Benutzer-Schnittstellen).,

(Beachten Sie, dass wir hier das Wort „design“ verwenden, um uns auf das Design des Experiments und nicht auf das Website-Design zu beziehen.)

Wenn wir zum Beispiel zwei Mietwagenseiten A und B vergleichen wollten, indem wir uns ansahen, wie die Teilnehmer Autos auf jedem Standort buchen, könnte unsere Studie auf zwei verschiedene Arten entworfen werden, die beide vollkommen legitim sind:

1. Zwischen-Themen: Jeder Teilnehmer könnte eine einzelne Mietwagenseite testen und ein Auto nur auf diesem Standort buchen.
2. Within-subjects: Jeder Teilnehmer konnte beide Mietwagenseiten testen und jeweils ein Auto buchen.,

Jede Art von Benutzerforschung, die mehr als eine einzige Testbedingung umfasst, muss bestimmen, ob sie zwischen den Probanden oder innerhalb der Probanden liegen soll. Die Unterscheidung ist jedoch besonders wichtig für quantitative Studien.

Experimentelles Design in quantitativen Studien

Im Gegensatz zu qualitativen Studien zielen quantitative Usability-Studien darauf ab, Ergebnisse zu erzielen, die statistisch wahrscheinlich auf die gesamte Benutzerpopulation verallgemeinert werden. Wie die Daten aus solchen Studien analysiert werden, hängt von der Art und Weise ab, in der die Studie entworfen wurde (dh vom experimentellen Design der Studie).,

Häufig besteht das Hauptziel quantitativer Usability-Studien darin, eine Website mit ihren Mitbewerbern, zwei verschiedenen Iterationen eines Designs oder zwei verschiedenen Benutzergruppen (z. B. Experten vs. Anfänger) zu vergleichen., Wie in jedem wissenschaftlichen Experiment, in dem wir kausale Zusammenhänge erkennen möchten, umfasst eine quantitative Studie zwei Arten von Variablen:

• Unabhängige Variablen, die direkt vom Forscher manipuliert werden
• Abhängige Variablen, die gemessen werden (und voraussichtlich als Ergebnis der Manipulation unabhängiger Variablen variieren)

(Wenn die Studie statistisch signifikante Ergebnisse liefert, können wir sagen, dass eine Änderung der unabhängigen Variablen eine Änderung der abhängigen Variablen verursacht hat.)

Kehren wir zu unserem ursprünglichen Mietwagenbeispiel zurück., Wenn wir messen wollten, welcher der beiden Standorte, A oder B, für die Aufgabe der Reservierung eines Autos besser geeignet ist, könnten wir den Standort (mit zwei möglichen Werten oder Ebenen — A und B) als unabhängige Variable auswählen, und die Zeit auf Aufgabe und die Genauigkeit für die Buchung eines Autos könnten die abhängigen Variablen sein. Das Ziel der Studie wäre zu sehen, ob sich die abhängigen Variablen (Zeit und Genauigkeit) ändern, wenn wir den Standort variieren oder sie gleich bleiben. (Wenn sie gleich bleiben, ist keine der Websites besser als die andere.,)

Um unsere Studie zu planen, ist die nächste Frage, die wir beantworten müssen, ob das Studiendesign zwischen den Fächern oder innerhalb der Fächer liegen sollte-das heißt, ob ein Studienteilnehmer allen unterschiedlichen Bedingungen für die unabhängige Variable in unserer Studie (innerhalb der Fächer) oder nur einer Bedingung (zwischen den Fächern) ausgesetzt sein sollte. Die Wahl des experimentellen Designs beeinflusst die Art der statistischen Analyse, die für Ihre Daten verwendet werden soll.,

Es ist möglich, dass ein Versuchsdesign sowohl innerhalb von-Subjekten als auch zwischen-Subjekten liegt. Nehmen wir zum Beispiel an, dass wir im Falle unserer Mietwagenstudie auch daran interessiert waren zu wissen, wie sich Teilnehmer jünger als 30 im Vergleich zu älteren Teilnehmern verhalten. In diesem Fall hätten wir zwei unabhängige Variablen:

• Alter, mit 2 Ebenen: unter 30, über 30
• Standort, mit 2 Ebenen: A und B

Für die Studie rekrutieren wir eine gleiche Anzahl von Teilnehmern in jeder Altersgruppe., Nehmen wir an, wir entscheiden, dass jeder Teilnehmer, ob unter oder über 30, eine Mietwagenreservierung sowohl auf Site A als auch auf site B vornimmt.In diesem Fall ist die Studie in Bezug auf die unabhängige Variable Site (da jede Person beide Ebenen dieser Variablen sieht-dh sowohl Site A als auch site B). Allerdings ist die Studie zwischen-Themen in Bezug auf das Alter: eine Person kann nur in einer einzigen Altersgruppe sein (entweder unter oder über 30, nicht beide)., (Nun, technisch gesehen könnten Sie eine Gruppe von Unter 30-Jährigen auswählen und warten, bis sie 30 werden, damit sie die Websites erneut testen, aber dieses Setup ist für die meisten realen Situationen sehr unpraktisch.)

Einige unabhängige Variablen können die Wahl des Designs erzwingen. Alter ist einer von Ihnen, wie oben gesehen. Andere sind Expertise (wenn wir Experten und Anfänger vergleichen möchten), Benutzertyp (wenn wir verschiedene Benutzergruppen oder Personas vergleichen möchten — zum Beispiel Geschäftsreisende vs. Urlaubsreisende) oder Geschlecht (unter der Annahme, dass eine Person nicht mehrere Geschlechter gleichzeitig haben kann)., Außerhalb der Usability sind Arzneimittelstudien ein häufiger Fall von Design zwischen den Probanden: Die Teilnehmer sind nur einer Behandlung ausgesetzt: entweder dem getesteten Medikament oder einem Placebo, nicht beiden. Und manchmal ändert die Manipulation selbst den Zustand des Teilnehmers: Wenn Sie beispielsweise sehen möchten, welcher von zwei Lehrplänen für den Leseunterricht effektiver ist, können Sie nicht denselben Schüler beiden aussetzen, denn sobald sie das Lesen gelernt hat, kann sie es nicht verlernen.

Was Ist Besser: Zwischen-Personen oder In-Themen?

Leider gibt es keine einfache Antwort auf diese Frage., Wie oben gesehen, bestimmen manchmal Ihre unabhängigen Variablen das experimentelle Design. In vielen Situationen können jedoch beide Designs möglich sein.

• Between-subjects minimiert das Lernen und den Transfer zwischen den Bedingungen. Nachdem eine Person eine Reihe von Aufgaben auf einer Mietwagenseite erledigt hat, kennt sie sich mit der Domain besser aus als zuvor. Zum Beispiel, Sie kann jetzt wissen, dass Autovermietungen für Fahrer unter 21 eine zusätzliche Gebühr erheben, oder was für ein Verzicht auf Kollisionsschäden ist., Dieses Wissen wird ihr wahrscheinlich helfen, auf einer zweiten Mietwagenseite effizienter zu werden, obwohl sich diese zweite Seite sehr von der ersten unterscheidet.

  Beim Design zwischen den Fächern ist dieser Wissenstransfer kein Thema — die Teilnehmer sind niemals mehreren Ebenen derselben unabhängigen Variablen ausgesetzt.

• Studien zwischen den Fächern haben kürzere Sitzungen als Studien innerhalb der Fächer. Ein Teilnehmer, der eine einzelne Mietwagenseite testet, hat eine kürzere Sitzung als einer, der zwei testet., Kürzere Sitzungen sind weniger ermüdend (oder langweilig) für Benutzer und können auch besser für Remote-unmoderierte Tests geeignet sein (zumal Tools wie UserZoom normalerweise eine ziemlich kurze Sitzungslänge erfordern).
• Experimente zwischen Probanden sind einfacher einzurichten, insbesondere wenn Sie mehrere unabhängige Variablen haben. Wenn die Studie innerhalb der Probanden ist, müssen Sie Randomisierung Ihrer Reize verwenden, um sicherzustellen, dass es keine Nebenwirkungen gibt. In unserer Mietwagenstudie müssen wir beispielsweise sicherstellen, dass die Teilnehmer nicht immer mit Site A beginnen und dann zu Site B übergehen., Die Reihenfolge der Websites muss für jeden Teilnehmer zufällig sein. Dies ist einfach mit nur zwei Websites: zufällig zuweisen 50% der Benutzer mit jeder Website zu starten. Wenn Sie jedoch die Anzahl unabhängiger Variablen und Ebenen für eine unabhängige Variable erhöhen, wird die Implementierung der Randomisierung auf einigen der vorhandenen Plattformen für quantitative Usability-Tests schwieriger.
• Designs innerhalb des Themas erfordern weniger Teilnehmer und sind billiger zu laufen., Um einen statistisch signifikanten Unterschied zwischen zwei Bedingungen zu erkennen, benötigen Sie häufig eine angemessene Anzahl von Datenpunkten (oft über 30) in jeder Bedingung. Wenn Sie ein Design innerhalb des Themas haben, stellt jeder Teilnehmer einen Datenpunkt für jede Ebene der unabhängigen Variablen bereit. Für unsere Mietwagenstudie stellen 30 Teilnehmer Datenpunkte für beide Standorte zur Verfügung. Wenn die Studie jedoch zwischen den Fächern liegt, benötigen Sie doppelt so viele, um die gleiche Anzahl von Datenpunkten zu erhalten. Das bedeutet das Doppelte der Kosten.
• Within-subjects-design minimiert das Rauschen., Der vielleicht wichtigste Vorteil von Designs innerhalb eines Subjekts besteht darin, dass es weniger wahrscheinlich ist, dass ein wirklicher Unterschied zwischen Ihren Bedingungen unentdeckt bleibt oder durch zufälliges Rauschen abgedeckt wird.

  Einzelne Teilnehmer bringen ihre eigene Geschichte, Hintergrundwissen und ihren Kontext auf den Prüfstand. Man kann nach einer langen Partynacht müde sein, ein anderer kann sich langweilen, ein anderer hat kurz vor dem Studium eine großartige Nachricht erhalten und ist glücklich. Wenn derselbe Teilnehmer mit allen Ebenen einer Variablen interagiert, wirkt er sie auf dieselbe Weise aus., Der glückliche Mensch wird auf beiden Seiten glücklich sein, der müde wird auf beiden Seiten müde sein. Wenn die Studie jedoch zwischen den Fächern stattfindet, interagiert der glückliche Teilnehmer nur mit einer Site und kann die Endergebnisse beeinflussen. Sie müssen sicherstellen, dass Sie eine ähnliche glückliche Teilnehmerin in der anderen Gruppe haben, um ihren Auswirkungen entgegenzuwirken.

  In der Praxis können Forscher solche Unterschiede zwischen den Teilnehmern nicht beurteilen-obwohl sie möglicherweise dem Geschlecht, der Erfahrung und dem Alter zwischen den Gruppen entsprechen, ist es schwierig, andere für jeden Teilnehmer spezifische Faktoren vorherzusagen oder zu erkennen.,

Randomisierung: Wichtig für beide Arten von Design

Ob Ihr experimentelles Design innerhalb von Subjekten oder zwischen Subjekten liegt, Sie müssen sich mit Randomisierung befassen, wenn auch auf etwas andere Weise.

Oben haben wir besprochen, warum Randomisierung bei Designs innerhalb von Fächern wichtig ist: Sie wirkt den möglichen Ordnungseffekten entgegen und minimiert den Transfer und das Lernen unter verschiedenen Bedingungen.,

Für Designs zwischen den Fächern müssen Sie sicherstellen, dass die Teilnehmer zufällig den Bedingungen zugewiesen werden, da Sie sicherstellen möchten, dass Ihre Teilnehmerzuweisung keine Auswirkungen auf Ihre Studienergebnisse hat., Wenn also ein Forscher entscheidet, dass alle Teilnehmer, die er mag, mit Site A interagieren sollten, und dann feststellt, dass Site A besser abschneidet als Site B, wird er nicht wissen, ob er einen wahren Unterschied zwischen den Sites entdeckt hat oder ob das Ergebnis einfach seine Aufgabe widerspiegelt (zum Beispiel, weil Leute, die spüren, dass sie gemocht werden, dazu neigen, den Gefallen zurückzugeben, und möglicherweise geduldiger sind oder während des Tests eine positive Einstellung haben).

Auch ohne eine so offensichtliche Voreingenommenheit wie Ihre persönlichen Vorlieben ist es leicht, die Randomisierung falsch zu machen., Angenommen, Sie führen eine Studie an vier Tagen durch, von Samstag bis Dienstag. Möglicherweise entscheiden Sie sich dafür, dass die erste Hälfte der Testbenutzer mit Site A beginnt und die zweite Hälfte der Benutzer mit Site B beginnt.Dies ist jedoch keine echte Randomisierung, da es sehr wahrscheinlich ist, dass bestimmte Arten von Personen einer Studie am Wochenende eher zustimmen und andere Arten von Personen sich eher für Ihre Wochentagstest-Slots anmelden.,

Schlussfolgerung

Die Benutzerforschung kann zwischen Subjekten oder innerhalb von Subjekten (oder beidem) erfolgen, je nachdem, ob jeder Teilnehmer nur einer Bedingung oder allen Bedingungen ausgesetzt ist, die innerhalb einer Studie unterschiedlich sind. Jede dieser Arten von experimentellem Design hat seine eigenen Vor-und Nachteile; Design innerhalb der Fächer erfordert weniger Teilnehmer und erhöht die Wahrscheinlichkeit, einen echten Unterschied zwischen Ihren Bedingungen zu entdecken; Designs zwischen den Fächern minimieren die Lerneffekte zwischen den Bedingungen, führen zu kürzeren Sitzungen und sind möglicherweise einfacher einzurichten und zu analysieren.