Sfoglia Tutti gli Argomenti, & Autori

Quando si desidera confrontare le diverse interfacce utente in un unico studio, ci sono due modi per assegnare il test di partecipanti a queste condizioni multiple:

• Tra soggetti (o tra i gruppi) studio di progettazione: persone diverse testare ogni condizione, in modo che ogni persona è esposta ad una singola interfaccia utente.
• All’interno-soggetti (o misure ripetute) studio di progettazione: la stessa persona verifica tutte le condizioni (cioè, tutte le interfacce utente).,

(Si noti che qui usiamo la parola “design” per riferirsi al design dell’esperimento e non al design del sito web.)

Ad esempio, se volessimo confrontare due siti di noleggio auto A e B osservando come i partecipanti prenotano auto su ciascun sito, il nostro studio potrebbe essere progettato in due modi diversi, entrambi perfettamente legittimi:

1. Tra soggetti: ogni partecipante potrebbe testare un singolo sito di noleggio auto e prenotare un’auto solo su quel sito.
2. Entro-soggetti: Ogni partecipante potrebbe testare entrambi i siti di noleggio auto e prenotare un’auto su ciascuno.,

Qualsiasi tipo di ricerca utente che coinvolge più di una singola condizione di test deve determinare se essere tra soggetti o all’interno di soggetti. Tuttavia, la distinzione è particolarmente importante per gli studi quantitativi.

Progettazione sperimentale negli studi quantitativi

A differenza degli studi qualitativi, gli studi di usabilità quantitativa mirano a portare a risultati che sono statisticamente suscettibili di generalizzare all’intera popolazione di utenti. Il modo in cui vengono analizzati i dati di tali studi dipende dal modo in cui lo studio è stato progettato (cioè dal design sperimentale dello studio).,

Spesso, l’obiettivo principale degli studi di usabilità quantitativa è quello di confrontare — un sito con i suoi concorrenti, due diverse iterazioni di un progetto, o due diversi gruppi di utenti (come esperti vs novizi)., Come in ogni esperimento scientifico in cui si desidera individuare relazioni causali, uno studio quantitativo comporta due tipi di variabili:

• variabili Indipendenti, che sono gestite direttamente dal ricercatore
• variabili Dipendenti, che sono misurati (e dovrebbe variare di conseguenza indipendente-variabile manipolazione)

(Se lo studio che produce risultati statisticamente significativi, quindi possiamo dire che un cambiamento nella variabile indipendente ha causato un cambiamento nella variabile dipendente.)

Torniamo al nostro esempio di noleggio auto originale., Se volessimo misurare quale dei due siti, A o B, è migliore per il compito di prenotare un’auto, potremmo scegliere il sito (con due possibili valori o livelli — A e B) come variabile indipendente, e il tempo sul compito e la precisione per la prenotazione di un’auto potrebbero essere le variabili dipendenti. L’obiettivo dello studio sarebbe quello di vedere se le variabili dipendenti (tempo e precisione) cambiano quando variiamo il sito o rimangono le stesse. (Se rimangono gli stessi, allora nessuno dei siti è migliore rispetto agli altri.,)

Per pianificare il nostro studio, la prossima domanda a cui dobbiamo rispondere è se il design dello studio dovrebbe essere tra-soggetti o all’interno — soggetti-cioè, se un partecipante allo studio dovrebbe essere esposto a tutte le diverse condizioni per la variabile indipendente nel nostro studio (all’interno-soggetti) o solo a una condizione (tra-soggetti). La scelta del design sperimentale influenzerà il tipo di analisi statistica che dovrebbe essere utilizzata sui tuoi dati.,

È possibile che un progetto di esperimento sia all’interno di soggetti e tra soggetti. Ad esempio, supponiamo che, nel caso del nostro studio di noleggio auto, ci interessasse anche sapere come si comportano i partecipanti di età inferiore ai 30 anni rispetto ai partecipanti più anziani. In questo caso avremmo due variabili indipendenti:

• Età, con 2 livelli: under 30, over 30
• Sito, con 2 livelli: A e B

Per lo studio, recluteremo un numero uguale di partecipanti in ogni fascia di età., Supponiamo di decidere che ogni partecipante, sotto o sopra i 30 anni, effettuerà una prenotazione di noleggio auto sia sul sito A che sul sito B. In questo caso, lo studio è all’interno-soggetti rispetto al sito variabile indipendente (perché ogni persona vede entrambi i livelli di questa variabile-cioè, sia il sito A che il sito B). Tuttavia, lo studio è tra soggetti rispetto all’età: una persona può essere solo in una singola fascia di età (sotto o sopra i 30 anni, non entrambi)., (Beh, tecnicamente, potresti scegliere un gruppo di bambini sotto i 30 anni e aspettare che compiano 30 anni per farli testare nuovamente i siti, ma questa configurazione è altamente poco pratica per la maggior parte delle situazioni del mondo reale.)

Alcune variabili indipendenti possono imporre la scelta del design. L’età è uno di questi, come visto sopra. Altri sono Competenza (se vogliamo confrontare esperti e novizi), Tipo di utente (se vogliamo confrontare diversi gruppi di utenti o persone — ad esempio, viaggiatore d’affari vs. viaggiatore di piacere), o Genere (supponendo che una persona non può essere di più generi allo stesso tempo)., Usabilità al di fuori, studi di droga sono un caso comune di progettazione tra soggetti: i partecipanti sono esposti a un solo trattamento: o il farmaco in fase di test o un placebo, non entrambi. E a volte la manipolazione stessa cambia lo stato del partecipante: per esempio, se vuoi vedere quale dei due curricula è più efficace per insegnare la lettura, non potresti avere lo stesso studente esposto a entrambi, perché una volta che ha imparato a leggere, non può disimpararlo.

Quale è meglio: tra i soggetti o all’interno dei soggetti?

Sfortunatamente, non esiste una risposta facile a questa domanda., Come visto sopra, a volte le variabili indipendenti detteranno il progetto sperimentale. Ma in molte situazioni, entrambi i disegni possono essere possibili.

• Tra i soggetti riduce al minimo l’apprendimento e il trasferimento tra le condizioni. Dopo che una persona ha completato una serie di attività su un sito di noleggio auto, è più informata sul dominio di quanto non fosse prima. Ad esempio, ora può sapere che i siti di noleggio auto addebitano un costo aggiuntivo per i conducenti sotto i 21 anni, o che cosa è una rinuncia ai danni da collisione., Quella conoscenza probabilmente la aiuterà a diventare più efficiente su un secondo sito di noleggio auto, anche se quel secondo sito potrebbe essere molto diverso dal primo.

  Con la progettazione tra soggetti, questo trasferimento di conoscenze non è un problema: i partecipanti non sono mai esposti a più livelli della stessa variabile indipendente.

• Gli studi tra soggetti hanno sessioni più brevi rispetto a quelli all’interno del soggetto. Un partecipante che prova un singolo sito di noleggio auto avrà una sessione più breve di uno che prova due., Le sessioni più brevi sono meno faticose (o noiose) per gli utenti e possono anche essere più appropriate per i test remoti non moderati (soprattutto perché strumenti come UserZoom di solito richiedono una durata della sessione piuttosto breve).
• Gli esperimenti tra soggetti sono più facili da configurare, specialmente quando si hanno più variabili indipendenti. Quando lo studio è all’interno dei soggetti, dovrai usare la randomizzazione dei tuoi stimoli per assicurarti che non ci siano effetti di ordine. Ad esempio, nel nostro studio di noleggio auto, dobbiamo assicurarci che i partecipanti non inizino sempre con il sito A e poi passino al sito B., L’ordine dei siti deve essere casuale per ogni partecipante. Questo è facile con solo due siti: assegnare in modo casuale il 50% degli utenti per iniziare con ogni sito. Ma man mano che si aumenta il numero di variabili indipendenti e di livelli per una variabile indipendente, la randomizzazione diventa più difficile da implementare all’interno di alcune delle piattaforme esistenti per il test di usabilità quantitativa.
• I progetti all’interno del soggetto richiedono meno partecipanti e sono più economici da eseguire., Per rilevare una differenza statisticamente significativa tra due condizioni, è spesso necessario un discreto numero di punti dati (spesso superiori a 30) in ciascuna condizione. Se si dispone di una progettazione all’interno del soggetto, ogni partecipante fornirà un punto dati per ogni livello della variabile indipendente. Per il nostro studio di noleggio auto, 30 partecipanti forniranno punti dati per entrambi i siti. Ma se lo studio è tra i soggetti, avrai bisogno del doppio per ottenere lo stesso numero di punti dati. Ciò significa il doppio del costo.
• All’interno-soggetti design ridurre al minimo il rumore casuale., Forse il vantaggio più importante dei progetti all’interno del soggetto è che rendono meno probabile che una vera differenza esistente tra le tue condizioni rimanga inosservata o sia coperta da rumore casuale.

  I singoli partecipanti mettono alla prova la propria storia, le proprie conoscenze di base e il proprio contesto. Uno può essere stanco dopo una lunga notte di festa, un altro può essere annoiato, ancora un altro può aver ricevuto una grande notizia poco prima dello studio ed essere felice. Se lo stesso partecipante interagisce con tutti i livelli di una variabile, li influenzerà allo stesso modo., La persona felice sarà felice su entrambi i siti, quella stanca sarà stanca su entrambi. Ma se lo studio è tra soggetti, il partecipante felice interagirà solo con un sito e potrebbe influenzare i risultati finali. Dovrai assicurarti di ottenere un partecipante felice simile nell’altro gruppo per contrastare i suoi effetti.

  In pratica, i ricercatori non saranno in grado di valutare tali differenze tra i partecipanti — sebbene possano corrispondere al sesso, all’esperienza e all’età tra i gruppi, sarà difficile prevedere o rilevare altri fattori specifici per ciascun partecipante.,

Randomizzazione: essenziale per entrambi i tipi di design

Se il tuo progetto sperimentale è all’interno di soggetti o tra soggetti, dovrai occuparti della randomizzazione, anche se in modi leggermente diversi.

Sopra, abbiamo discusso perché la randomizzazione è importante nei progetti all’interno del soggetto: contrasta i possibili effetti dell’ordine e riduce al minimo il trasferimento e l’apprendimento tra le condizioni.,

Per i progetti tra soggetti, è necessario assicurarsi che i partecipanti siano assegnati in modo casuale alle condizioni, poiché si desidera assicurarsi che l’assegnazione del partecipante non influisca sui risultati dello studio., Quindi, se un ricercatore decide che tutti i partecipanti che gli piace deve interagire con il sito e poi si scopre che Un sito fatto meglio di sito B, non so se ha scoperto una vera e propria differenza tra i siti o se il risultato riflette semplicemente il suo compito, per esempio, perché le persone che si sentono piaciuto tendono a restituire il favore, e può essere più paziente o di avere una mentalità positiva durante il test).

Anche senza un pregiudizio così ovvio come le tue preferenze personali, è facile sbagliare la randomizzazione., Dì che esegui uno studio per quattro giorni, da sabato a martedì. Si può decidere di avere la prima metà del test, gli utenti iniziano con il sito e la seconda metà degli utenti di iniziare con sito B. Tuttavia, questa non è una vera casualità, perché è molto probabile che alcuni tipi di persone che sono più propensi ad accettare uno studio durante il fine settimana e altri tipi di persone che sono più propensi a firmare per la vostra feriali test di slot.,

Conclusione

La ricerca utente può essere tra soggetti o all’interno di soggetti (o entrambi), a seconda che ciascun partecipante sia esposto a una sola condizione o a tutte le condizioni che sono variate all’interno di uno studio. Ognuno di questi tipi di design sperimentale ha i suoi vantaggi e svantaggi; la progettazione all’interno dei soggetti richiede meno partecipanti e aumenta la possibilità di scoprire una vera differenza tra le tue condizioni; i progetti tra soggetti riducono al minimo gli effetti di apprendimento tra le condizioni, portano a sessioni più brevi e possono essere più facili da configurare e analizzare.