Quando você quiser comparar várias interfaces de usuário em um único estudo, há duas maneiras de atribuir o teste participantes dessas várias condições:
- Entre indivíduos (ou entre grupos) desenho do estudo: pessoas diferentes de teste de cada condição, de modo que cada pessoa só é exposto a uma única interface de usuário.a mesma pessoa testa todas as condições (ou seja, todas as interfaces do utilizador).,
(Note que aqui usamos a palavra “design” para nos referirmos ao design do experimento, e não ao design do website.)
Por exemplo, se desejamos comparar duas car-aluguel de sítios A e B, observando o modo como os participantes do livro de carros em cada site, nosso estudo pode ser concebido de duas maneiras diferentes, tanto perfeitamente legítima:
- Entre-sujeitos: Cada participante poderia testar um carro de aluguer site e reserve um carro apenas no site.cada participante pode testar os locais de aluguer de Automóveis e reservar um carro em cada um deles.,
qualquer tipo de investigação do utilizador que envolva mais do que uma única condição de ensaio tem de determinar se deve ser entre indivíduos ou dentro de indivíduos. No entanto, a distinção é particularmente importante para os estudos quantitativos.ao contrário dos estudos qualitativos, os estudos de usabilidade quantitativa têm como objectivo obter resultados estatisticamente susceptíveis de generalizar para toda a população utilizadora. Como os dados de tais estudos são analisados depende da forma como o estudo foi projetado (ou seja, do projeto experimental do estudo).,
muitas vezes, o principal objetivo dos estudos de usabilidade quantitativa é comparar — um site com seus concorrentes, duas iterações diferentes de um projeto, ou dois grupos diferentes de usuários (como especialistas vs. noviços)., Como em qualquer experiência científica, na qual queremos detectar relações de causalidade, de um estudo quantitativo envolve dois tipos de variáveis:
- variáveis Independentes, que são manipulados diretamente pelo pesquisador
- variáveis Dependentes, que são medidos (e devem variar como resultado de os independentes-manipulação de variáveis)
(Se o estudo produz resultados estatisticamente significativos, então podemos dizer que uma mudança na variável independente causou uma mudança na variável dependente.)
Let’s go back to our original car-rental example., Se quiséssemos medir qual dos dois sites, A ou B, é melhor para a tarefa de reservar um carro, nós poderia escolher o Local (com dois valores ou níveis A e B) como a variável independente, e o tempo na tarefa e o rigor para a reserva de um carro poderia ser variáveis dependentes. O objetivo do estudo seria ver se as variáveis dependentes (tempo e precisão) mudam quando nós variamos o site ou eles permanecem os mesmos. (Se eles permanecem os mesmos, então nenhum dos sites é melhor do que o outro.,)
Para o plano de nosso estudo, a próxima pergunta que precisamos responder é se o desenho do estudo deve ser entre sujeitos ou entre-sujeitos, isto é, se um participante do estudo deve ser exposto a todas as condições diferentes para a variável independente em nosso estudo (dentro de disciplinas) ou apenas para uma condição (entre indivíduos). A escolha do design experimental afetará o tipo de análise estatística que deve ser usada em seus dados.,
é possível que uma experiência de design é tanto dentro-sujeitos e entre sujeitos. Por exemplo, suponha que, no caso do nosso estudo de aluguer de automóveis, também estávamos interessados em saber como os participantes com menos de 30 anos atuam em comparação com os participantes mais velhos. Neste caso, teríamos duas variáveis independentes:
- de Idade, com 2 níveis: abaixo de 30 anos, mais de 30
- o Site, com 2 níveis: A e B
Para o estudo, iremos recrutar um número igual de participantes em cada grupo de idade., Vamos assumir que nós decidimos que cada participante, seja abaixo ou acima de 30, vai fazer uma reserva de aluguer de automóveis no site a e no site B. Neste caso, o estudo está dentro-sujeitos com relação ao Site variável independente (porque cada pessoa vê ambos os níveis desta variável-ou seja, tanto site a e site B). No entanto, o estudo é entre-indivíduos em relação à idade: uma pessoa só pode estar em um único grupo etário (ou abaixo ou acima de 30, não ambos)., (Bem, tecnicamente, você pode escolher um grupo de menores de 30 anos e aguarde até 30 de tê-los teste os sites novamente, mas esta configuração é altamente impraticável para a maioria das situações do mundo real.)
algumas variáveis independentes podem impor a escolha do design. A idade é uma delas, como se vê acima. Outros são Especializados (se quisermos comparar especialistas e novatos), Tipo de Usuário (se quisermos comparar diferentes grupos de usuários ou personas, por exemplo, viajante de negócios vs. viajante de lazer), ou o Sexo (supondo que uma pessoa não pode ser de vários gêneros ao mesmo tempo)., Fora da usabilidade, os testes de drogas são um caso comum de design entre sujeitos: os participantes são expostos a apenas um tratamento: ou o medicamento que está sendo testado ou um placebo, não ambos. E às vezes a própria manipulação muda o estado do Participante: por exemplo, se você quiser ver qual de dois currículos é mais eficaz para ensinar leitura, você não poderia ter o mesmo aluno exposto a ambos, porque uma vez que ela aprendeu a ler, ela não pode desaprendê-lo.
Qual é melhor: entre-indivíduos ou dentro-indivíduos?
infelizmente, não há uma resposta fácil para esta pergunta., Como se vê acima, às vezes as suas variáveis independentes ditam o design experimental. Mas em muitas situações, ambos os projetos podem ser possíveis.
- entre-disciplinas minimiza a aprendizagem e a transferência através das condições. Depois de uma pessoa ter completado uma série de tarefas em um site de aluguer de automóveis, ela é mais conhecedor sobre o domínio do que ela era antes. Por exemplo, ela pode agora saber que os sites de aluguer de automóveis cobram uma taxa extra para motoristas com menos de 21 anos, ou o que é uma renúncia de colisão-dano., Esse conhecimento irá provavelmente ajudá-la a tornar-se mais eficiente em um segundo local de aluguer de automóveis, mesmo que esse segundo site pode ser muito diferente do primeiro.com o design entre assuntos, esta transferência de conhecimento não é um problema — os participantes nunca são expostos a vários níveis da mesma variável independente.
- entre sujeitos os estudos têm sessões mais curtas do que dentro dos sujeitos. Um participante que testa um único local de aluguer de automóveis terá uma sessão mais curta do que um que testa dois., Sessões mais curtas são menos cansativas (ou entediantes) para os usuários, e também podem ser mais apropriadas para testes remotos e não-modernos (especialmente porque ferramentas como UserZoom geralmente requerem um comprimento de sessão bastante curto).os experimentos entre sujeitos são mais fáceis de configurar, especialmente quando você tem várias variáveis independentes. Quando o estudo está dentro dos sujeitos, você terá que usar a aleatorização de seus estímulos para se certificar de que não há efeitos de ordem. Por exemplo, em nosso estudo de aluguer de automóveis, precisamos ter certeza de que os participantes nem sempre começam com o site a e, em seguida, passar para o site B., A ordem dos sites precisa ser aleatória para cada participante. Isto é fácil com apenas dois sites: atribuir aleatoriamente 50% dos usuários para começar com cada site. Mas à medida que você aumenta o número de variáveis independentes e de níveis para uma variável independente, a aleatorização torna-se mais difícil de implementar dentro de algumas das plataformas existentes para testes quantitativos de usabilidade.os projetos internos requerem menos participantes e são mais baratos de correr., Para detectar uma diferença estatisticamente significativa entre duas condições, muitas vezes você precisará de um número justo de pontos de Dados (Muitas vezes acima de 30) em cada condição. Se você tiver um projeto interno, cada participante fornecerá um ponto de dados para cada nível da variável independente. Para o nosso estudo de aluguer de automóveis, 30 participantes irão fornecer pontos de dados para ambos os sites. Mas se o estudo é entre-sujeitos você precisará duas vezes mais para obter o mesmo número de pontos de dados. Isso significa o dobro do custo.a concepção dentro dos indivíduos minimiza o ruído aleatório., Talvez a vantagem mais importante dos projetos dentro do assunto é que eles fazem com que seja menos provável que uma diferença real que existe entre as suas condições vai ficar indetectado ou ser coberto por ruído aleatório.os participantes individuais trazem para o teste sua própria história, conhecimento de fundo e contexto. Um pode estar cansado depois de uma longa noite de festa, outro pode estar entediado, e outro pode ter recebido uma grande notícia pouco antes do estudo e ser feliz. Se a mesma participante interage com todos os níveis de uma variável, ela irá afetá-los da mesma forma., A pessoa feliz será feliz em ambos os sites, o cansado será cansado em ambos. Mas se o estudo é entre-sujeitos, o participante feliz só vai interagir com um site e pode afetar os resultados finais. Terá de ter a certeza que terá uma participante feliz semelhante no outro grupo para neutralizar os efeitos dela.na prática, os investigadores não serão capazes de avaliar tais diferenças entre os participantes — embora possam corresponder ao sexo, à experiência e à idade entre os grupos, será difícil prever ou detectar outros factores específicos de cada participante.,
aleatorização: essencial para ambos os tipos de Design
quer o seu design experimental esteja dentro de indivíduos ou entre indivíduos, terá de se preocupar com a aleatorização, embora de formas ligeiramente diferentes.
acima, discutimos porque a aleatorização é importante em projetos dentro do assunto: ela contrasta os possíveis efeitos de ordem e minimiza a transferência e aprendizagem através das condições.,
para projetos entre sujeitos, você deve se certificar de que os participantes são distribuídos aleatoriamente para as condições, porque você quer garantir que sua atribuição de participante não afeta os resultados do seu estudo., Assim, se um pesquisador decide que todos os participantes de que ele gosta devem interagir com o site e, em seguida, ele descobre que o site de Um desempenho melhor do que o site B, ele não sabe se ele diz que descobriu uma verdadeira diferença entre os sites ou se o resultado reflete apenas a sua atribuição (por exemplo, porque as pessoas que se sentem gostei tendem a retornar o favor, e podem ser mais paciente ou ter uma atitude positiva durante o teste).
mesmo sem um viés tão óbvio como as suas preferências pessoais, é fácil obter a aleatorização errada., Diz que fazes um estudo durante quatro dias, de sábado a terça-feira. Você pode optar para ter a primeira metade dos usuários de teste começar com Um site e tem a segunda metade dos utilizadores começam com o site B. no Entanto, esta não é uma verdadeira aleatoriedade, porque é muito provável que certos tipos de pessoas são mais propensos a concordar com um estudo durante o fim-de-semana e outros tipos de pessoas são mais propensos a se inscrever para o seu dia da semana de testes de slots.,
conclusão
a investigação do utilizador pode ser entre-indivíduos ou dentro-indivíduos (ou ambos), dependendo se cada participante está exposto a apenas uma condição ou a todas as condições que são variadas dentro de um estudo. Cada um destes tipos de design experimental tem as suas próprias vantagens e desvantagens; o design dentro dos sujeitos requer menos participantes e aumenta a possibilidade de descobrir uma verdadeira diferença entre as suas condições; entre os projetos dos sujeitos minimizar os efeitos de aprendizagem através das condições, levar a sessões mais curtas, e pode ser mais fácil de configurar e analisar.