単一の研究で複数のユーザーインターフェイスを比較したい場合は、
- 被験者の間（またはグループ間）研究デザイン:異なる人々が各条件をテストし、それぞれの人が単一のユーザーインターフェイスにのみさらされるようにします。
- 被験者内（または反復測定）スタディデザイン：同じ人がすべての条件（すなわち、すべてのユーザーインターフェイス）をテストします。,
（ここでは、ウェブサイトのデザインではなく、実験のデザインを指すために”デザイン”という言葉を使用していることに注意してください。
例えば、参加者が各サイトで車を予約する方法を見て、二つのレンタカーサイトAとBを比較したい場合、私たちの研究は二つの異なる方法で設計することができます。
- Between-subjects:各参加者は、単一のレンタカーサイトをテストし、そのサイトでのみ車を予約することができます。
- 被験者内：各参加者は、両方のレンタカーサイトをテストし、それぞれに車を予約することができます。,
単一のテスト条件以上を含むユーザー研究のタイプは、被験者間または被験者内のどちらであるかを決定する必要があります。 しかしながら、この区別は定量的研究にとって特に重要である。
定量的研究における実験デザイン
定性的研究とは異なり、定量的ユーザビリティ研究は、統計的にユーザ集団全体に一般化する可能性が高い調査結果をもたらすことを目的としています。 そのような研究からのデータがどのように分析されるかは、研究が設計された方法（すなわち、研究の実験計画）に依存する。,
多くの場合、定量的ユーザビリティ研究の主な目的は、競合他社とサイト、デザインの二つの異なる反復、またはユーザーの二つの異なるグループ（専門家と初心者, 因果関係を検出したい科学実験と同様に、定量的研究には二つのタイプの変数が含まれます：
- 研究者によって直接操作される独立変数
- 従属変数は、測定される（独立変数操作の結果として変化すると予想される）
（研究が統計的に有意な結果をもたらす場合、独立変数の変化が従属変数の変化を引き起こしたと言うことができる。）
元のレンタカーの例に戻りましょう。, AとBのどちらが車を予約するタスクに適しているかを測定したい場合は、サイト（aとBの二つの可能な値またはレベルを持つ）を独立変数として選 この研究の目的は、サイトを変えたときに従属変数（時間と精度）が変化するか、それとも同じままであるかを確認することです。 （彼らが同じままであれば、他のサイトよりも優れているサイトはありません。,すなわち、研究の参加者が私たちの研究における独立変数のすべての異なる条件（被験者内）にさらされるべきか、あるいは一つの条件（被験者間）のみにさらされるべきかである。 実験計画の選択は、データに使用すべき統計分析のタイプに影響します。,
実験計画が被験者内および被験者間の両方である可能性があります。 たとえば、私たちのレンタカー調査の場合、30歳未満の参加者が高齢の参加者と比較してどのように行動するかを知ることにも興味があったとします。 この場合、我々は二つの独立変数を持つことになります：
- 年齢、2つのレベルで：30以下、30以上
- サイト、2つのレベルで：aとB
研究のために、我々は各年, 各参加者が、30歳以上であろうと、サイトAとサイトBの両方でレンタカー予約を行うと判断したとしましょう。この場合、研究は独立変数サイトに関して被験者内にあります(それぞれの人がこの変数の両方のレベル、つまりサイトAとサイトBの両方を見ているためです)。 しかし、この研究は年齢に関して被験者の間にあります：一人は単一の年齢層（30歳未満または以上のいずれか、両方ではない）にのみ参加できます。, （技術的には、30歳以下のグループを選び、30歳になるまで待ってサイトを再びテストすることができますが、この設定はほとんどの現実世界の状況では)
いくつかの独立変数は、設計の選択を課すことがあります。 上に見たように、年齢はその一つです。 その他には、専門知識（専門家と初心者を比較したい場合）、ユーザータイプ（異なるユーザーグループまたはペルソナを比較したい場合（たとえば、ビジネス旅行者とレジャー旅行者）、または性別（人が同時に複数の性別であることができないと仮定）があります。, ユーザビリティ以外では、薬物試験は被験者間のデザインの一つの一般的なケースです：参加者は、テストされている薬物またはプラセボのいずれかの そして時には操作自体が参加者の状態を変えることがあります例えば、二つのカリキュラムのどれが読書を教えるのに効果的であるかを見たい場合、同じ学生を両方にさらすことはできませんでした。
どちらが良いですか：Between-SubjectsまたはWithin-Subjects？
残念ながら、この質問に対する簡単な答えはありません。, 上記のように、時にはあなたの独立変数が実験計画を決定することがあります。 しかし、多くの状況では、両方の設計が可能かもしれません。
- 間-被験者間では、条件を越えた学習と転送を最小限に抑えます。 人はレンタカーサイト上の一連のタスクを完了した後、彼女は彼女が前にあったよりもドメインについてのより多くの知識があります。 例えば、彼女は今、レンタカーサイトが21歳未満のドライバーのための追加料金を請求すること、または衝突損傷免除が何であるかを知っているかもしれ, その知識は、おそらくその第二のサイトは、最初のものとは非常に異なるかもしれないにもかかわらず、彼女は、第二のレンタカーサイトでより効率的に
主題間の設計では、この知識の伝達は問題ではなく、参加者は同じ独立変数のいくつかのレベルにさらされることはありません。
- 被験者間の研究は、被験者内の研究よりも短いセッションを持っています。 参加者試験は単一の車レンタルサイトにおいて短いセッションの一方の試験。, 短いセッションは、ユーザーにとっては疲れにくい（または退屈な）ものであり、リモートの変更されていないテストにも適しています（特に、Us Zoomのようなツール
- 被験者間の実験は、特に複数の独立変数がある場合には、設定が簡単です。 研究が被験者内にある場合は、注文効果がないことを確認するために刺激のランダム化を使用する必要があります。 たとえば、私たちのレンタカー調査では、参加者が常にサイトAから始まり、サイトBに移動するとは限らないことを確認する必要があります。, サイトの順序は、各参加者ごとにランダムにする必要があります。 ランダムに各サイトで開始するユーザーの50％を割り当てます。 しかし、独立変数の数と独立変数のレベルを増やすにつれて、定量的なユーザビリティテストのための既存のプラットフォームの一部でランダム化を実
- サブジェクト内のデザインでは、参加者が少なく、実行するのが安価です。, 二つの条件の間で統計的に有意な差を検出するには、多くの場合、各条件でかなりの数のデータポイント（多くの場合30を超える）が必要になります。 被験者内計画がある場合、各参加者は独立変数の各レベルのデータポイントを提供します。 私たちのレンタカー調査では、30人の参加者が両方のサイトのデータポイントを提供します。 しかし、研究が被験者の間にある場合は、同じ数のデータポイントを取得するために倍の数が必要になります。 それは倍のコストを意味します。
- 被験者内の設計は、ランダムノイズを最小限に抑えます。, おそらく、被験体内設計の最も重要な利点は、条件間に存在する実際の違いが検出されないままであるか、ランダムノイズによってカバーされる可能性
個々の参加者は、自分の歴史、背景知識、および文脈をテストに持ち込みます。 一つは、パーティーの長い夜の後に疲れているかもしれません,別のものは退屈することがあります,さらに別のものは、ちょうど研究の前に素晴らしいニュー 同じ参加者が変数のすべてのレベルと対話する場合、彼女は同じ方法でそれらに影響を与えます。, 幸せな人は両方のサイトで幸せになり、疲れた人は両方で疲れるでしょう。 しかし、研究が被験者の間にある場合、幸せな参加者は一つのサイトとのみ対話し、最終結果に影響を与える可能性があります。 あなたは彼女の効果を打ち消すために、他のグループで同様の幸せな参加者を得ることを確認する必要があります。
実際には、研究者は参加者間のそのような違いを評価することはできません—彼らはグループ間で性別、経験、年齢に一致するかもしれませんが、各参加者に固有の他の要因を予測したり検出したりすることは困難です。,
ランダム化：両方のタイプのデザインに不可欠
あなたの実験デザインが被験者内または被験者間であるかどうか、あなたはわずかに異なる方法ではあるが、ランダム化に関心を持たなければならないでしょう。
上記では、ランダム化が被験者内の設計において重要である理由について議論しました：それは可能な順序効果を打ち消し、条件間での転送と学習を最小にします。,
科目間のデザインでは、参加者の割り当てが学習結果に影響しないようにするため、参加者が条件にランダムに割り当てられていることを確認する必要があります。, したがって、研究者が好きなすべての参加者がサイトAとやり取りするべきだと判断し、サイトAがサイトBよりも優れていることを発見した場合、サイト間の真の違いを発見したのか、結果が単に自分の課題を反映しているのかはわかりません(たとえば、好きだと感じる人は好意を返す傾向があり、テスト中により忍耐強いか、肯定的な考え方を持っているかもしれないからです)。
あなたの個人的な好みのような明白なバイアスがなくても、ランダム化を間違って取得するのは簡単です。, 土曜日から火曜日までの四日間にわたって研究を実行するとします。 ただし、特定のタイプのユーザーが週末に研究に同意する可能性が高く、他のタイプのユーザーが平日のテストスロットにサインアップする可能性が高いため、これは真のランダム化ではありません。,
結論
ユーザーリサーチは、各参加者が一つの条件のみにさらされているか、研究内で変化するすべての条件にさらされているかに応じて、被験者間または被験者内（またはその両方）にすることができます。 これらのタイプの実験計画にはそれぞれ独自の長所と短所があります。被験者内の設計では参加者が少なく、条件間の真の違いを発見する機会が増えます。被験者間の設計では、条件間の学習効果が最小限に抑えられ、セッションが短くなり、セットアップと分析が容易になります。