「求人票を変えたら応募が増えた」「スカウト文面を直したら返信率が上がった」と感じても、その変化が施策によるものか、候補者層や時期の違いによるものかは、単純な前後比較だけでは判断できません。
採用施策を改善するなら、A案とB案をできるだけ同じ条件で比較し、変更点と評価指標を事前に固定することが重要です。
採用施策のA/Bテストでは、まず「誰に」「何を1つだけ変え」「何を成果指標にするか」を決めます。そのうえで、必要な母数、実施期間、途中停止条件、採用する案の判定方法までテスト開始前に設定します。
この記事では、求人訴求・スカウト文面・応募導線を例に、人事・採用担当者が自社で検証を始められるところまで具体的に解説します。
関連する全体像や前提は「採用改善の効果測定は何をどう見ればいい？指標体系とPDCAの全体像」で整理しています。
採用施策のA/Bテストでは「1つの変更が成果に与えた差」を検証する
採用施策のA/Bテストとは、条件をできるだけそろえた候補者群に異なる2案を提示し、どちらが目的とする行動につながりやすいかを比較する方法です。
ポイントは、単に「2種類を試す」ことではありません。
例えば求人票Aと求人票Bで、タイトル、給与表現、仕事内容、写真、応募フォームまで同時に変えてしまうと、応募率に差が出ても何が原因だったのか分かりません。
基本形は次の通りです。
| 項目 | A案 | B案 |
|---|---|---|
| 対象職種 | 営業職 | 営業職 |
| 候補者条件 | 同一 | 同一 |
| 掲載媒体 | 同一 | 同一 |
| 掲載時期 | 同時期 | 同時期 |
| 変更するもの | 求人タイトルA | 求人タイトルB |
| その他の条件 | 原則同じ | 原則同じ |
| 主要KPI | 応募率 | 応募率 |
採用施策では母集団そのものが変化しやすいため、「変更した後の1か月」と「変更前の1か月」を比べるだけでは、季節要因や媒体側の変化が混ざります。
可能であれば、同じ時期にA案とB案を並行して比較してください。
最初に「何を改善したいテストなのか」を1つ決める
A/Bテストを始める前に、改善したい採用課題を1つに絞ります。
「応募を増やしたい」「良い人を採用したい」という大きな目的だけでは、何を測れば成功なのか決まりません。
採用ファネルのどこを改善する実験なのかを先に固定します。
| 採用課題 | 主なテスト対象 | 主要KPIの例 |
|---|---|---|
| 求人を見てもらえない | 求人タイトル・サムネイル・訴求 | クリック率 |
| 求人を見ても応募されない | 仕事内容・魅力訴求・応募条件 | 応募率 |
| スカウトが開封されない | 件名・送信タイミング | 開封率 |
| スカウトから返信されない | 冒頭文・訴求・CTA | 返信率 |
| 応募フォームで離脱する | 項目数・説明・画面構成 | 応募完了率 |
| 応募は増えたが対象外が多い | 求人要件・訴求内容 | 有効応募率 |
| 面談につながらない | 返信後の案内・日程導線 | 面談化率 |
A/Bテストの主要KPIは、原則1つにします。
複数の数字を確認すること自体は問題ありません。ただし、「応募率はBが勝ち、面接通過率はAが勝ち、クリック率も確認したらAが勝ち」のように、結果を見てから都合のよい数字を選ぶと判定がぶれます。
テスト開始前に「今回は応募率を主要KPIとする」と決めておくことが重要です。
求人訴求・スカウト・応募導線では何をA/Bテストするか
採用では、候補者が行動を判断するポイントごとにテスト対象を分けると設計しやすくなります。
求人票では「候補者が応募判断に使う情報」を1つずつ変える
求人票で検証しやすいのは次のような要素です。
- 求人タイトル
- 冒頭のキャッチコピー
- 仕事内容の説明順
- 仕事の魅力の見せ方
- キャリア形成の説明
- 働き方の説明
- 応募条件の表現
- 社員・職場情報の提示位置
- 応募CTAの文言
求人広告の表現が応募行動に影響し得ることは、実際の採用を対象にした研究でも確認されています。
Uberの600件超の求人を対象に約6万人をランダムに分けた2024年のフィールド実験では、任意・過剰な応募資格を求人票から削除した条件で、応募数が7％増加しました。ただし応募者層への影響は男女で異なっており、「応募条件を減らせば常に良い人材が増える」と単純には言えません。
また、56件の実際の求人広告と991件の応募を分析したフィールド実験では、企業が求める能力を中心に伝える求人と、候補者が仕事から得られる価値を中心に伝える求人で、応募行動や応募者プールの質に違いが確認されています。
つまり、求人原稿は固定された説明文ではなく、検証可能な採用施策の一つです。
スカウトでは件名と本文を分けて検証する
スカウトでは、最初から本文全体を書き換えるより、候補者行動を段階ごとに分けます。
開封率が低いのであれば、まず件名をテストします。
開封されているのに返信されないのであれば、本文の冒頭、候補者を選んだ理由、仕事内容、CTAなどをテストします。
例えば次のように設計します。
仮説
「会社名を中心にした件名より、候補者に関係する仕事内容を示した件名の方が開封されやすい」
A案
「株式会社○○からスカウトのご連絡」
B案
「○○の経験を活かせる新規事業ポジションのご相談」
主要KPI
開封率
このテストで本文まで同時に変える必要はありません。
開封率が改善した後に、次のテストとして本文を検証します。
応募導線では「応募開始」ではなく「応募完了」を見る
応募ページでは、CTAの色や文言だけに目を向けるのではなく、候補者がどこで離脱しているかを確認してください。
例えば、
応募ページ到達 ↓ 応募開始 ↓ 基本情報入力 ↓ 追加質問入力 ↓ 応募完了
という流れがある場合、フォームを短くするテストの主要KPIは「応募完了率」が適しています。
ボタンのクリックだけ増えても、応募完了が増えていなければ採用成果にはつながりません。
採用A/Bテストでは「一度に1要素だけ変える」が基本
A/Bテストで最も避けたいのは、複数の条件を同時に変更することです。
A/Bテストでは、対象や時期などの条件をそろえ、原則として一度に1要素だけ変更します。
例えばスカウトA案からB案へ、
- ターゲット年齢を変更
- 経験年数を変更
- 件名を変更
- 本文を変更
- 送信曜日を変更
と5項目を同時に変えたとします。
返信率が5％から10％になっても、何が効いたのか判断できません。
まずターゲット条件を固定し、件名だけを変える。その結果を反映した後、本文を変える。このように1つずつ検証すると、自社の採用ノウハウとして結果を再利用できます。
ただし、採用媒体の仕様上ランダム配信ができない場合もあります。
その場合も、
- 同じ職種
- 同程度の経験
- 同じ地域
- 同じ媒体
- 同じ曜日・時間帯
- 同程度の配信数
など、比較条件をできるだけそろえます。
「各案30通あればよい」のように母数を固定しない
A/Bテストに必要な母数は、現在の反応率と、どれだけの改善幅を検出したいかによって大きく変わります。
そのため、「各案30通」「50通送れば判定できる」という一律の基準は適切ではありません。
例えば、2群の比率差を比較する一般的な方法を使い、有意水準5％、検出力80％、A案・B案を同数とする条件で弊社が概算すると、必要母数は次の程度になります。
| 現在値 | 検出したいB案 | 必要数の概算／各案 |
|---|---|---|
| 5％ | 8％ | 約1,047件 |
| 5％ | 10％ | 約424件 |
| 10％ | 15％ | 約681件 |
| 10％ | 20％ | 約195件 |
| 20％ | 30％ | 約292件 |
必要母数は一律ではありません。現在の反応率と、どの程度の差を検出したいかによって大きく変わります。
※弊社算出。2群の比率差、有意水準5％・両側、検出力80％の条件による概算です。
基準率5％から6％へのような小さな改善まで統計的に判別したい場合、非常に大きな母数が必要になります。
一方、採用では1職種当たり数千件の応募・返信データを確保できない企業も少なくありません。
その場合は、「少数データから勝者を断定する」のではなく、次のように運用します。
- 大きな差だけを次の仮説として採用する
- 複数回のテストで同じ方向が再現するか確認する
- 職種をまたいで安易に結果を一般化しない
- 数字と候補者の返信内容など定性情報を併用する
- 「確定した勝ちパターン」ではなく「次に検証する有力案」として扱う
A/Bテストは、必ず一回で統計的な結論を出す作業ではありません。
限られた採用母数の中で、勘だけによる変更よりも比較可能な記録を蓄積することにも価値があります。
テスト期間は「○週間固定」ではなく候補者条件が偏らない長さにする
採用施策のテスト期間にも、すべての企業に共通する正解はありません。
重要なのはA案とB案が十分に似た候補者・市場環境で比較されていることです。
例えばA案を月初だけ、B案を月末だけ配信すると、候補者数や転職活動のタイミングが異なる可能性があります。
可能ならA案とB案を同じ期間に並行配信します。
少なくとも次の条件を確認してください。
- 平日と休日の偏りがないか
- 月初・月末だけに偏っていないか
- 求人媒体の掲載順位が大きく変わっていないか
- 大型連休をまたいでいないか
- 採用競合の動きが急変していないか
- A案とB案で対象候補者属性が偏っていないか
データが不足しているからといって、途中結果を見ながら毎日勝敗を決める運用も避けます。
テスト開始前に「勝ち」「引き分け」「停止」の条件を決める
A/Bテストは結果を見てから判定基準を作るのではなく、先に決めます。
最低限、以下を記録してください。
| 設計項目 | 記入例 |
|---|---|
| 課題 | スカウト開封率が低い |
| 仮説 | 仕事内容を件名に入れると開封率が上がる |
| 変更要素 | 件名のみ |
| A案 | 会社名中心 |
| B案 | 仕事内容中心 |
| 対象 | 東京勤務のWebマーケ経験3年以上 |
| 主要KPI | 開封率 |
| 副次KPI | 返信率 |
| 目標差 | 絶対値＋5ポイント |
| 予定母数 | 各200通 |
| 期間 | 2週間以上かつ予定母数到達まで |
| 勝ち条件 | B案が事前基準を満たす |
| 引き分け | 明確な差を確認できない |
| 停止条件 | 求人条件変更・媒体障害など |
A/Bテストでは必ず勝者を決める必要はありません。明確な差がなければ「引き分け」、比較条件が崩れた場合は「停止」も適切な判断です。
特に重要なのが「引き分け」を認めることです。
A/Bテストをすると、必ずAかBを勝者にしたくなります。
しかし、差が小さい場合は「今回のデータでは判断できない」が正しい結論です。
その場合は変更コストの小さい既存案を維持する、差が出そうな別要素をテストするなど、次の検証へ進みます。
応募数だけでなく「応募者の質」が悪化していないか確認する
採用施策の目的は、単純にクリックや応募を最大化することではありません。
応募率が上がっても、採用要件に合う応募者が減れば、採用成果は改善していない可能性があります。
そこで主要KPIのほかに、ガードレール指標を置きます。
ガードレール指標とは、主要KPIを改善する過程で別の重要指標が悪化していないか確認する数字です。
例えば応募率を主要KPIとする場合、
- 有効応募率
- 書類通過率
- 面接設定率
- 面接通過率
などを確認します。
求人条件を緩和するテストでは特に重要です。
前述のUberを対象とした実験でも、応募資格の削減で応募数自体は増えた一方、応募者のスキル構成への影響は一様ではありませんでした。
「応募が増えたから勝ち」ではなく、採用したい人材に近づいたかまで確認してください。
求人広告のA/Bテストでも事実と異なる労働条件は表示しない
求人広告のA/Bテストでは、数字を改善するために実際とは異なる条件を見せてはいけません。
厚生労働省は、募集情報について虚偽の表示や誤解を生じさせる表示を禁止し、正確かつ最新の内容に保つことを求めています。
したがって、
「A案は年収500万円、B案は年収700万円と書いて反応を見る」
というように、実際の募集条件とは異なる条件をテストする方法は避けます。
実務では、
- 同じ給与条件で説明順を変える
- 同じ仕事内容で訴求ポイントを変える
- 同じ勤務地条件で表現の分かりやすさを変える
- 同じ制度について見出しを変える
など、事実関係を維持したテストを行ってください。
また厚生労働省は、公正な採用選考について、応募者に広く門戸を開き、本人の適性・能力に基づいて採用することを基本としています。
候補者属性ごとに実験を分ける場合も、職務上必要な能力と関係のない属性を採用基準にしないよう注意が必要です。
採用A/Bテストは7ステップで設計する
実際にテストを始める場合は、次の順番で整理すると設計しやすくなります。
課題と仮説を決めた後、変更要素・KPI・母数・判定条件を事前に固定し、結果を次のテストへ引き継ぎます。
STEP1：改善したい採用課題を1つ決める
「応募率が低い」「スカウト返信率が低い」など、改善対象を限定します。
STEP2：原因仮説を一つ作る
「仕事内容が抽象的だから応募されない」など、変更理由を言語化します。
STEP3：変更する要素を一つ決める
タイトル、件名、冒頭文、CTAなど、基本的には一回のテストにつき一要素にします。
STEP4：主要KPIを決める
クリック率、応募率、返信率、応募完了率など、仮説に最も近い指標を設定します。
STEP5：母数・期間・対象条件を決める
現在値と検出したい差から必要母数を考えます。十分な母数を得られない場合は、その制約を記録します。
STEP6：判定・停止条件を決める
「どの状態ならB案を採用するか」「いつ引き分けとするか」「何が起きたらテストを中止するか」を決めます。
STEP7：結果と学びを記録する
勝敗だけでなく、「誰に」「何を変え」「どの条件で」「どんな結果になったか」を保存します。
この記録が蓄積されるほど、自社採用に固有の改善知識になります。
採用A/Bテストを始める前のチェックリスト
次の項目を確認できれば、最低限の比較可能性を確保しやすくなります。
- 何を改善したいか一文で説明できる
- 仮説が一つに絞られている
- A案とB案の変更箇所が明確
- 対象職種が同じ
- 候補者条件をそろえている
- 掲載・送信時期をできるだけそろえている
- 主要KPIを一つ決めている
- ガードレール指標を決めている
- 必要母数を検討している
- 結果を見る前に判定条件を決めている
- 途中で別の施策を変更しない
- 結果が出なければ「引き分け」と判断できる
- 求人条件の表示内容が事実と一致している
- 結果を職種・対象条件とセットで記録する
まとめ
採用施策のA/Bテストで重要なのは、「2種類作ること」ではなく、施策の差を比較できる状態を作ることです。
まず改善したい採用課題を一つに絞り、仮説、変更要素、対象候補者、主要KPIを固定します。A案とB案はできるだけ同じ時期・同じ条件で実施し、一回のテストでは原則一要素だけを変更します。
また、必要母数は「30通」「50通」などの固定値ではありません。現在の反応率と検出したい改善幅によって変わります。母数が少ない場合は、小さな差から勝者を断定せず、複数回の検証や定性情報を組み合わせることが重要です。
求人票、スカウト、応募導線のどこを改善する場合でも、「誰に、何を変えたら、何が変わったか」を記録してください。
A/Bテストを採用活動の定常的な改善プロセスとして運用すれば、担当者の感覚だけに依存せず、自社に合った求人訴求・スカウト・応募導線を蓄積していけます。
参考文献・データ元
- 「Words matter: Experimental evidence from job applications」Journal of Economic Behavior & Organization、2024年。600件超の求人・約6万人を対象とした求人資格表現の実験結果を、求人原稿変更が応募行動へ与える影響の根拠として使用。
- Schmidt, J. A., Chapman, D. S., Jones, D. A.「Does Emphasizing Different Types of Person–Environment Fit in Online Job Ads Influence Application Behavior and Applicant Quality?」Journal of Business and Psychology。56件の求人・991応募を対象としたフィールド実験を、求人訴求と応募行動の関係説明に使用。
- 厚生労働省「労働者の募集広告の表示について」。募集広告における虚偽・誤解を生じさせる表示の禁止等を確認。
- ハローワークインターネットサービス「労働法等に関する解説」。募集情報を正確かつ最新に保つ必要があることを確認。
- 厚生労働省「公正な採用選考の基本」。適性・能力に基づく採用選考の基本原則を確認。