Jeśli chcesz porównać kilka interfejsów użytkownika w jednym badaniu, istnieją dwa sposoby przypisania uczestników testu do tych wielu warunków:
- między-przedmiotami (lub między grupami) projekt badania: różne osoby testują każdy warunek, tak aby każda osoba była narażona tylko na jeden interfejs użytkownika.
- wewnątrz-przedmiotów (lub powtórzeń) badania projektowania: ta sama osoba testuje wszystkie warunki (tj. wszystkie interfejsy użytkownika).,
(zauważ, że tutaj używamy słowa „design”, aby odnosić się do projektu eksperymentu, a nie do projektu strony internetowej.)
na przykład, gdybyśmy chcieli porównać dwie strony wynajmu samochodów A i B, patrząc na to, jak uczestnicy rezerwują samochody na każdej stronie, Nasze badanie mogłoby być zaprojektowane na dwa różne sposoby, oba całkowicie uzasadnione:
- Between-subjects: każdy uczestnik może przetestować jedną stronę wynajmu samochodów i zarezerwować samochód tylko na tej stronie.
- w ramach-tematów: każdy uczestnik może przetestować obie wypożyczalnie samochodów i zarezerwować samochód na każdej z nich.,
każdy rodzaj badania użytkownika, który obejmuje więcej niż jeden warunek testu, musi określić, czy ma być między-testerami, czy wewnątrz-testerami. Rozróżnienie to jest jednak szczególnie ważne w badaniach ilościowych.
projektowanie eksperymentalne w badaniach ilościowych
w przeciwieństwie do badań jakościowych, badania ilościowe mają na celu uzyskanie wyników, które statystycznie mogą uogólnić się na całą populację użytkowników. Sposób analizy danych z takich badań zależy od sposobu, w jaki badanie zostało zaprojektowane (to znaczy od projektu eksperymentalnego badania).,
często głównym celem ilościowych badań użyteczności jest porównanie — strony z konkurentami, dwóch różnych iteracji projektu lub dwóch różnych grup użytkowników (np. eksperci vs nowicjusze)., Podobnie jak w każdym eksperymencie naukowym, w którym chcemy wykryć związki przyczynowe, badanie ilościowe obejmuje dwa rodzaje zmiennych:
- zmienne niezależne, które są bezpośrednio manipulowane przez badacza
- zmienne zależne, które są mierzone (i oczekuje się, że zmienią się w wyniku manipulacji zmienną niezależną)
(jeśli badanie daje statystycznie znaczące wyniki, to możemy powiedzieć, że zmiana zmiennej niezależnej spowodowała zmianę zmiennej zależnej.)
wróćmy do naszego oryginalnego przykładu wypożyczalni samochodów., Gdybyśmy chcieli zmierzyć, które z dwóch miejsc, A lub B, jest lepsze dla zadania rezerwacji samochodu, moglibyśmy wybrać miejsce (z dwoma możliwymi wartościami lub poziomami-A i B) jako zmienną niezależną, a czas na zadanie i dokładność rezerwacji samochodu mogą być zmiennymi zależnymi. Celem badania byłoby sprawdzenie, czy zmienne zależne (czas i dokładność) zmieniają się, gdy zmieniamy miejsce, czy pozostają takie same. (Jeśli pozostają takie same, to żadna z witryn nie jest lepsza od drugiej.,)
aby zaplanować nasze badanie, kolejnym pytaniem, na które musimy odpowiedzieć, jest to, czy projekt badania powinien być między-przedmiotami lub wewnątrz-przedmiotów – to znaczy, czy uczestnik badania powinien być narażony na wszystkie różne warunki dla zmiennej niezależnej w naszym badaniu (wewnątrz-przedmiotów) lub tylko na jeden warunek (między-przedmiotami). Wybór projektu eksperymentalnego wpłynie na rodzaj analizy statystycznej, która powinna być stosowana na Twoich danych.,
możliwe jest, że projekt eksperymentu jest zarówno wewnątrz-testerów, jak i między-testerami. Załóżmy na przykład, że w przypadku naszego badania wypożyczalni samochodów byliśmy również zainteresowani tym, jak uczestnicy poniżej 30 roku życia radzą sobie w porównaniu ze starszymi uczestnikami. W tym przypadku mielibyśmy dwie niezależne zmienne:
- wiek, z 2 poziomami: poniżej 30, powyżej 30
- strona, z 2 poziomami: a i B
do badania rekrutujemy jednakową liczbę uczestników w każdej grupie wiekowej., Załóżmy, że decydujemy, że każdy uczestnik, niezależnie od tego, czy ma mniej niż 30 lat, dokona rezerwacji wynajmu samochodu zarówno w miejscu A, jak i w miejscu B. w tym przypadku badanie jest wewnątrz-przedmiotów w odniesieniu do niezależnej zmiennej Site (ponieważ każda osoba widzi oba poziomy tej zmiennej — tj. zarówno miejsce A, jak i miejsce B). Jednak badanie jest międzyosobnicze w odniesieniu do wieku: jedna osoba może być tylko w jednej grupie wiekowej (poniżej lub powyżej 30 lat, nie obu)., (Technicznie rzecz biorąc, możesz wybrać grupę poniżej 30 – latków i poczekać, aż ukończą 30 lat, aby ponownie przetestować strony, ale ta konfiguracja jest wysoce niepraktyczna w większości rzeczywistych sytuacji.)
niektóre zmienne niezależne mogą narzucać wybór projektu. Wiek jest jednym z nich, jak widać powyżej. Inne to wiedza specjalistyczna (jeśli chcemy porównać ekspertów i nowicjuszy), typ użytkownika (jeśli chcemy porównać różne grupy użytkowników lub osoby — na przykład podróżujący w interesach vs podróżujący w czasie wolnym) lub Płeć (zakładając, że osoba nie może być kilku płci jednocześnie)., Poza użytecznością, badania nad lekami są jednym z częstych przypadków projektowania międzyosobniczego: uczestnicy są narażeni na tylko jedno leczenie: albo badany lek, albo placebo, a nie oba. I czasami sama manipulacja zmienia stan uczestnika: na przykład, jeśli chcesz zobaczyć, który z dwóch programów nauczania jest bardziej skuteczny w nauczaniu czytania, nie możesz pozwolić, aby ten sam uczeń był narażony na oba, ponieważ gdy nauczy się czytać, nie może się tego oduczyć.
co jest lepsze: między-przedmiotami czy wewnątrz-przedmiotów?
Niestety nie ma łatwej odpowiedzi na to pytanie., Jak widać powyżej, czasami niezależne zmienne będą dyktować eksperymentalny projekt. Ale w wielu sytuacjach oba projekty mogą być możliwe.
- między przedmiotami minimalizuje naukę i transfer między Warunkami. Po wykonaniu serii zadań na stronie wypożyczalni samochodów, jest ona bardziej kompetentna na temat domeny niż wcześniej. Na przykład może teraz wiedzieć, że wypożyczalnie samochodów pobierają dodatkową opłatę za kierowców poniżej 21 roku życia lub co to jest zrzeczenie się kolizji., Ta wiedza prawdopodobnie pomoże jej stać się bardziej wydajnym na drugiej stronie wypożyczalni samochodów, nawet jeśli ta druga strona może się bardzo różnić od pierwszej.
przy projektowaniu między przedmiotami, ten transfer wiedzy nie jest problemem — uczestnicy nigdy nie są narażeni na kilka poziomów tej samej zmiennej niezależnej.
- studia między przedmiotami mają krótsze sesje niż sesje wewnątrz przedmiotu. Uczestnik, który testuje jedną stronę wypożyczalni samochodów, będzie miał krótszą sesję niż ten, który testuje dwie., Krótsze sesje są mniej męczące (lub nudne) dla użytkowników, a także mogą być bardziej odpowiednie dla zdalnych, niemoderowanych testów(zwłaszcza, że narzędzia takie jak UserZoom zwykle wymagają dość krótkiej sesji).
- eksperymenty między obiektami są łatwiejsze do skonfigurowania, zwłaszcza gdy masz wiele niezależnych zmiennych. Gdy badanie odbywa się wewnątrz przedmiotów, będziesz musiał użyć randomizacji bodźców, aby upewnić się, że nie ma efektów porządkowych. Na przykład w naszym badaniu wypożyczalni samochodów musimy upewnić się, że uczestnicy nie zawsze zaczynają od strony A, a następnie przechodzą do strony B., Kolejność stron musi być losowa dla każdego uczestnika. Jest to łatwe z tylko dwóch witryn: losowo przypisać 50% użytkowników, aby rozpocząć z każdej strony. Ale w miarę zwiększania liczby zmiennych niezależnych i poziomów dla zmiennej niezależnej, randomizacja staje się trudniejsza do wdrożenia w niektórych istniejących platformach do ilościowego testowania użyteczności.
- projekty wewnątrz przedmiotu wymagają mniejszej liczby uczestników i są tańsze w prowadzeniu., Aby wykryć statystycznie istotną różnicę między dwoma warunkami, często potrzebujesz odpowiedniej liczby punktów danych (często powyżej 30) w każdym stanie. Jeśli masz projekt wewnątrz przedmiotu, każdy uczestnik dostarczy punkt danych dla każdego poziomu zmiennej niezależnej. Dla naszego badania wypożyczalni samochodów 30 uczestników dostarczy punkty danych dla obu stron. Ale jeśli badanie jest między-badanych trzeba będzie dwa razy więcej, aby uzyskać tę samą liczbę punktów danych. To oznacza dwa razy więcej.
- konstrukcja wewnątrz obiektów minimalizuje przypadkowy szum., Być może najważniejszą zaletą projektów wewnątrz obiektu jest to, że zmniejszają one prawdopodobieństwo, że prawdziwa różnica między Twoimi warunkami pozostanie niezauważona lub zostanie pokryta losowym szumem.
poszczególni uczestnicy przynoszą do testu swoją własną historię, wiedzę i kontekst. Jeden może być zmęczony po długiej nocy imprezowania, inny może być znudzony, jeszcze inny może otrzymał wspaniałą wiadomość tuż przed badaniem i być szczęśliwy. Jeśli ten sam uczestnik wchodzi w interakcje ze wszystkimi poziomami zmiennej, wpłynie na nie w ten sam sposób., Szczęśliwy człowiek będzie szczęśliwy na obu stronach, zmęczony będzie zmęczony na obu. Ale jeśli badanie jest międzyosobnicze, szczęśliwy uczestnik będzie wchodzić w interakcje tylko z jednym miejscem i może mieć wpływ na ostateczne Wyniki. Będziesz musiał upewnić się, że masz podobną szczęśliwą uczestniczkę w drugiej grupie, aby przeciwdziałać jej efektom.
w praktyce naukowcy nie będą w stanie ocenić takich różnic między uczestnikami — chociaż mogą one dopasować płeć, doświadczenie i wiek w różnych grupach, trudno będzie przewidzieć lub wykryć inne czynniki specyficzne dla każdego uczestnika.,
randomizacja: niezbędna dla obu rodzajów projektowania
niezależnie od tego, czy twój eksperymentalny projekt jest wewnątrz przedmiotów, czy między przedmiotami, będziesz musiał zająć się randomizacją, chociaż w nieco inny sposób.
powyżej omówiliśmy, dlaczego randomizacja jest ważna w projektach wewnątrz przedmiotu: przeciwdziała możliwym efektom zamówienia i minimalizuje transfer i uczenie się w różnych warunkach.,
w przypadku projektów między przedmiotami musisz upewnić się, że uczestnicy są przydzielani losowo do warunków, ponieważ chcesz mieć pewność, że przypisanie uczestnika nie wpływa na wyniki badań., Tak więc, jeśli badacz zdecyduje, że wszyscy uczestnicy, których lubi, powinni wchodzić w interakcje z witryną A, a następnie stwierdzi, że witryna A działała lepiej niż witryna B, nie będzie wiedział, czy odkrył prawdziwą różnicę między witrynami, czy też wynik po prostu odzwierciedla jego zadanie (na przykład, ponieważ ludzie, którzy czują, że są lubiani, mają tendencję do odwdzięczania się i mogą być bardziej cierpliwi lub mieć pozytywny sposób myślenia podczas testu).
nawet bez tak oczywistych uprzedzeń, jak osobiste preferencje, łatwo jest pomylić randomizację., Powiedzmy, że prowadzicie badania przez cztery dni, od soboty do wtorku. Możesz zdecydować się, aby pierwsza połowa użytkowników testowych zaczynała się od strony A, a druga połowa użytkowników zaczynała się od strony B. Jednak nie jest to prawdziwa randomizacja, ponieważ jest bardzo prawdopodobne, że niektóre typy osób chętniej zgodzą się na badania w weekend, a inne typy osób chętniej zarejestrują się na twoje automaty testowe w dni powszednie.,
wnioski
badania Użytkowników mogą być między uczestnikami lub wewnątrz uczestników (lub obu), w zależności od tego, czy każdy uczestnik jest narażony na tylko jeden warunek, czy na wszystkie warunki, które są zróżnicowane w ramach badania. Każdy z tych rodzajów projektowania eksperymentalnego ma swoje zalety i wady; projektowanie wewnątrz przedmiotów wymaga mniejszej liczby uczestników i zwiększa szansę na odkrycie prawdziwej różnicy między Warunkami; projekty między przedmiotami minimalizują efekty uczenia się w różnych warunkach, prowadzą do krótszych sesji i mogą być łatwiejsze do skonfigurowania i analizy.