parcourir tous les sujets et les auteurs

lorsque vous souhaitez comparer plusieurs interfaces utilisateur dans une seule étude, il existe deux façons d’affecter vos participants au test à ces multiples conditions:

• Inter-subjects (ou between-groups) study design: différentes personnes testent chaque condition, de sorte que chaque personne n’est exposée qu’à une seule interface utilisateur.
• Plan d’étude intra-sujets (ou mesures répétées): la même personne teste toutes les conditions (c’est-à-dire toutes les interfaces utilisateur).,

(notez qu’ici, nous utilisons le mot « design” pour désigner la conception de l’expérience, et non la conception de site web.)

par exemple, si nous voulions comparer deux sites de location de voitures A et B en regardant comment les participants réservent des voitures sur chaque site, notre étude pourrait être conçue de deux manières différentes, toutes deux parfaitement légitimes:

1. Entre-sujets: chaque participant pourrait tester un seul site de location de voitures et réserver une voiture
2. dans les sujets: chaque participant pourrait tester les deux sites de location de voitures et réserver une voiture sur chacun.,

tout type de recherche utilisateur qui implique plus d’une seule condition de test doit déterminer s’il doit être entre sujets ou à l’intérieur des sujets. Cependant, la distinction est particulièrement importante pour les études quantitatives.

plan expérimental dans les études quantitatives

Contrairement aux études qualitatives, les études quantitatives d’utilisabilité visent à aboutir à des résultats statistiquement susceptibles de se généraliser à l’ensemble de la population d’utilisateurs. La façon dont les données de ces études sont analysées dépend de la façon dont l’étude a été conçue (c’est-à-dire du plan expérimental de l’étude).,

souvent, l’objectif principal des études quantitatives d’utilisabilité est de comparer — un site avec ses concurrents, deux itérations différentes d’une conception, ou deux groupes d’utilisateurs différents (tels que les experts et les novices)., Comme dans toute expérience scientifique dans laquelle nous voulons détecter des relations causales, une étude quantitative implique deux types de variables:

• variables indépendantes, qui sont directement manipulées par le chercheur
• variables dépendantes, qui sont mesurées (et devraient varier à la suite de la manipulation de la variable indépendante)

(Si l’étude produit des résultats statistiquement significatifs, alors nous pouvons dire qu’un changement dans la variable indépendante a provoqué un changement dans la variable dépendante.)

revenons à notre voiture de location de exemple., Si nous voulions mesurer lequel des deux sites, A ou B, est le meilleur pour la tâche de réserver une voiture, nous pourrions choisir le Site (avec deux valeurs ou niveaux possibles — A et B) comme variable indépendante, et le temps sur la tâche et la précision pour réserver une voiture pourraient être les variables dépendantes. L’objectif de l’étude serait de voir si les variables dépendantes (temps et précision) changent lorsque nous varions le site ou si elles restent les mêmes. (S’ils restent les mêmes, alors aucun des sites n’est meilleur que l’autre.,)

pour planifier notre étude, la question suivante à laquelle nous devons répondre est de savoir si le plan d’étude doit être entre sujets ou à l’intérieur des sujets-c’est-à — dire si un participant à l’étude doit être exposé à toutes les conditions différentes pour la variable indépendante de notre étude (à l’intérieur des sujets) ou Le choix du plan expérimental affectera le type d’analyse statistique qui devrait être utilisé sur vos données.,

Il est possible qu’un plan d’expérience est à la fois intra-sujets et inter-sujets. Par exemple, supposons que, dans le cas de notre étude sur la location de voitures, nous voulions également savoir comment les participants de moins de 30 ans se comportent par rapport aux participants plus âgés. Dans ce cas, nous avons deux variables indépendantes:

• l’Âge, avec 2 niveaux: moins de 30 ans, plus de 30
• Site, avec 2 niveaux: A et B

Pour l’étude, nous allons recruter un nombre égal de participants dans chaque groupe d’âge., Supposons que nous décidons que chaque participant, qu’il ait moins de 30 ans ou plus, fera une réservation de location de voiture à la fois sur le site A et sur le site B. Dans ce cas, l’étude se situe dans les sujets par rapport au site variable indépendant (car chaque personne voit les deux niveaux de cette variable-c’est-à — dire Cependant, l’étude est entre les sujets en ce qui concerne L’âge: une personne ne peut appartenir qu’à un seul groupe d’âge (moins de 30 ans ou plus, pas les deux)., (Eh bien, techniquement, vous pouvez choisir un groupe de moins de 30 ans et attendre qu’ils atteignent 30 ans pour les faire tester à nouveau les sites, mais cette configuration est très peu pratique pour la plupart des situations réelles.)

certaines variables indépendantes peuvent imposer le choix du plan. L’âge est l’un d’entre eux, comme vu ci-dessus. D’autres sont L’Expertise (si nous voulons comparer les experts et les novices), le Type d’utilisateur (si nous voulons comparer différents groupes d’utilisateurs ou personas — par exemple, voyageur d’affaires vs voyageur de loisirs), ou le sexe (en supposant qu’une personne ne peut pas être de plusieurs sexes en même temps)., En dehors de la facilité d’utilisation, les essais de médicaments sont un cas commun de conception entre sujets: les participants ne sont exposés qu’à un seul traitement: soit le médicament testé, soit un placebo, pas les deux. Et parfois, la manipulation elle-même change l’état du participant: par exemple, si vous voulez voir lequel des deux programmes est le plus efficace pour enseigner la lecture, vous ne pouvez pas exposer la même élève aux deux, car une fois qu’elle a appris à lire, elle ne peut pas le désapprendre.

Quel est le meilleur: entre-sujets ou à l’intérieur-sujets?

Malheureusement, il n’y a pas de réponse facile à cette question., Comme vu ci-dessus, parfois vos variables indépendantes dicteront le plan expérimental. Mais dans de nombreuses situations, les deux conceptions peuvent être possibles.

• Entre les sujets minimise l’apprentissage et le transfert entre les conditions. Une fois qu’une personne a effectué une série de tâches sur un site de location de voitures, elle connaît mieux le domaine qu’elle ne l’était auparavant. Par exemple, elle sait peut-être maintenant que les sites de location de voitures facturent des frais supplémentaires pour les conducteurs de moins de 21 ans, ou ce qu’est une exonération de dommages par collision., Cette connaissance l’aidera probablement à devenir plus efficace sur un deuxième site de location de voiture, même si ce deuxième site peut être très différent du premier.

  avec la conception inter-sujet, ce transfert de connaissances n’est pas un problème — les participants ne sont jamais exposés à plusieurs niveaux de la même variable indépendante.

• Les études inter-sujets ont des sessions plus courtes que celles intra-sujet. Un participant qui teste un seul site de location de voiture aura une session plus courte qu’un participant qui en teste deux., Les sessions plus courtes sont moins fatigantes (ou ennuyeuses) pour les utilisateurs, et peuvent également être plus appropriées pour les tests non modérés à distance (d’autant plus que des outils comme UserZoom nécessitent généralement une durée de session assez courte).
• Les expériences entre sujets sont plus faciles à mettre en place, surtout lorsque vous avez plusieurs variables indépendantes. Lorsque l’étude est à l’intérieur des sujets, vous devrez utiliser la randomisation de vos stimuli pour vous assurer qu’il n’y a pas d’effets d’ordre. Par exemple, dans notre étude sur la location de voitures, nous devons nous assurer que les participants ne commencent pas toujours par le site A, puis passent au site B., L’ordre des sites doit être aléatoire pour chaque participant. C’est facile avec seulement deux sites: assigner au hasard 50% des utilisateurs pour commencer avec chaque site. Mais à mesure que vous augmentez le nombre de variables indépendantes et de niveaux pour une variable indépendante, la randomisation devient plus difficile à implémenter dans certaines des plates-formes existantes pour les tests quantitatifs d’utilisabilité.
• Les conceptions internes nécessitent moins de participants et sont moins coûteuses à exécuter., Pour détecter une différence statistiquement significative entre deux conditions, vous aurez souvent besoin d’un bon nombre de points de données (souvent supérieurs à 30) dans chaque condition. Si vous avez un plan interne au sujet, chaque participant fournira un point de données pour chaque niveau de la variable indépendante. Pour notre étude de location de voiture, 30 participants fourniront des points de données pour les deux sites. Mais si l’étude est entre sujets, vous aurez besoin de deux fois plus pour obtenir le même nombre de points de données. Cela signifie deux fois le coût.
• Dans la conception des sujets minimiser le bruit aléatoire., Peut-être que l’avantage le plus important des conceptions intra-sujet est qu’elles rendent moins probable qu’une différence réelle qui existe entre vos conditions ne soit pas détectée ou couverte par un bruit aléatoire.

  Les participants individuels apportent au test leur propre histoire, leurs connaissances de base et leur contexte. On peut être fatigué après une longue nuit de fête, un autre peut s’ennuyer, encore un autre peut avoir reçu une bonne nouvelle juste avant l’étude et être heureux. Si le même participant interagit avec tous les niveaux d’une variable, il les affectera de la même manière., La personne heureuse sera heureuse sur les deux sites, la personne fatiguée sera fatiguée sur les deux. Mais si l’étude est entre sujets, le participant heureux n’interagira qu’avec un seul site et peut affecter les résultats finaux. Vous devrez vous assurer que vous obtenez un participant heureux similaire dans l’autre groupe pour contrer ses effets.

  en pratique, les chercheurs ne seront pas en mesure d’évaluer de telles différences entre les participants — bien qu’elles puissent correspondre au sexe, à l’expérience et à l’âge d’un groupe à l’autre, il sera difficile de prédire ou de détecter d’autres facteurs spécifiques à chaque participant.,

randomisation: essentielle pour les deux types de plan

que votre plan expérimental soit à l’intérieur des sujets ou entre les sujets, vous devrez vous préoccuper de la randomisation, bien que de manières légèrement différentes.

ci-dessus, nous avons discuté pourquoi la randomisation est importante dans les conceptions intra-sujet: elle contrecarre les effets d’ordre possibles et minimise le transfert et l’apprentissage entre les conditions.,

pour les conceptions entre sujets, vous devez vous assurer que les participants sont attribués aléatoirement aux conditions, car vous voulez vous assurer que votre affectation de participant n’affecte pas les résultats de votre étude., Ainsi, si un chercheur décide que tous les participants qu’il aime doivent interagir avec le site A et qu’il trouve que le site A a un meilleur rendement que le site B, il ne saura pas s’il a découvert une vraie différence entre les sites ou si le résultat reflète simplement sa mission (par exemple, parce que les gens qui sentent qu’ils sont aimés ont tendance à retourner la faveur, et peuvent être plus patients ou avoir un État d’esprit positif pendant le test).

même sans un biais aussi évident que vos préférences personnelles, il est facile de se tromper de randomisation., Dites que vous menez une étude sur quatre jours, du samedi au mardi. Vous pouvez décider que la première moitié des utilisateurs du test commencent par le site A et que la seconde moitié des utilisateurs commencent par le site B. Cependant, ce n’est pas une véritable randomisation, car il est très probable que certains types de personnes soient plus susceptibles d’accepter une étude pendant le week-end et que d’autres types de personnes soient plus susceptibles de s’inscrire à vos créneaux de test en semaine.,

Conclusion

la recherche utilisateur peut être inter-sujets ou intra-sujets (ou les deux), selon que chaque participant est exposé à une seule condition ou à toutes les conditions qui varient au sein d’une étude. Chacun de ces types de conception expérimentale a ses propres avantages et inconvénients; la conception intra-sujets nécessite moins de participants et augmente les chances de découvrir une véritable différence entre vos conditions; les conceptions inter-sujets minimisent les effets d’apprentissage entre les conditions, conduisent à des sessions plus courtes et peuvent être plus faciles à configurer et à analyser.