ネット調査は「手抜き回答」が横行しているのは本当か?COLUMN

2015.10.09
マクロミル総合研究所
研究員 村上智章

ネットリサーチを批判した報道内容

2015年9月29日、朝日新聞デジタルに『ネット調査、「手抜き」回答横行か 質問文読まずに…』という見出しの記事が掲載された。http://digital.asahi.com/articles/ASH9C6QWKH9CUZPS001.html

その記事には
『長い質問文の末尾で「以下の質問には回答せずに次のページに進んで下さい」と指示していたが、一社は51.2%、もう一社は83.8%のモニターが指示を守らずに答えたという。』
と書かれている。これを見た人の中には「ネットリサーチ会社はいい加減な回答を見逃してけしからん」「ネットリサーチの結果はやはり信じられない」と思ってしまった人もいるだろう。

この報道の元となった研究論文は、三浦先生(関西学院大学)と小林先生(国立情報学研究所)が社会心理学研究に発表した『オンライン調査モニタのSatisficeに関する実験的研究』である。この論文は社会心理学会のホームページ(https://www.jstage.jst.go.jp/article/jssp/31/1/31_892/_html/-char/ja/)で公開されている。

私もマクロミルのネットリサーチの品質を管理する立場上、この論文が気になって内容を確認させていただいた。そして朝日新聞デジタルの記者が論文の詳細を理解していないせいなのか、表面的な結果だけを伝えてしまっていることに対して落胆してしまった。マクロミルはこの実証研究の実施機関ではないが、ネットリサーチの信用が毀損されていることに対して何らかの見解を示すべきであると思い、この場で意見を述べさせていただく。

この質問で回答してしまう人は不正なのか

WEB上の記事を読んだ人の多くは、実際にどのような質問をしたときに「質問文を読んでいない」となったのかを知らないままだろう。この実証研究で質問文を読んでいないとされたのは、下の図に示される長い質問文である。この質問はIMC設問(Instructional manipulation check)と呼ばれており、回答してはいけないという指示に従わずに回答してしまった人を違反者と定義づけている。

https://www.jstage.jst.go.jp/article/jssp/31/1/31_892/_html/figures/-char/ja/

私はこの質問を見たときに、この質問文を読ませようということ自体に無理があって、この質問文の指示を読まずに回答してしまったとしても何ら不正な回答だとは思わない。この設問において質問文を読んでいないのは明らかに質問文が長すぎるからであって、それはモニタが悪いのではなく質問文の長さとして調査の限界を超えていたのだろう。IMC設問がこのような長文であったことを知らないまま、一方的にネットリサーチ・モニタは質問を読んでいないという悪評が広がるのは非常に残念である。

このIMC設問にこれだけ多くの違反者が出現するということは、逆に違反しない対象者はとても慎重な回答者集団であるとも言える。慎重な人だけを抽出した本調査は、図らずともそこに大きな抽出誤差が発生してしまい、母集団全体の意識や行動ではなくなってしまう危険性を伴う。

三浦先生・小林先生もそのことは十分に認識されており、論文では『IMCほど強力な設問によるスクリーニングは必要なく、極めて回答への動機づけが低い、ごく短い項目すら読み飛ばす人を特定するだけで十分だろう』と述べられている。ネットリサーチで質問を読んでいない人の割合を報道するにしても、上記のような強力なIMC設問ではなく、もっと簡易的なIMC設問としての実施していたときの違反率であれば私も納得できる。

実証研究は特殊な条件で行われている

過去にもマクロミルの自主調査として実施したときに、約7割が他社モニタへ登録していると回答している。リサーチ会社にいる者としての肌感覚として、ネットリサーチ・モニタの多くは復数社のリサーチモニタに登録していると認識している。しかし、この調査では調査会社間のHouse Effectsを比較するために、調査対象者を「他社へのパネル登録をしていない人」に絞り込んでいる。

通常の調査では本件のように他社モニタへの登録を排除するわけではなく、モニタ全体の中から対象者を抽出している。しかし、本調査の対象者は通常のA社とB社の本調査に回答している人の約3割しかいない。同じパネル内で「他社登録あり群」と「他社登録なし群」を比較して、群間の同質性を確認しているわけではないので、通常の調査と同じように「他社モニタ登録あり」を含めて実施した場合は、今回と同じ結果になったとは限らない。

三浦先生・小林先生の論文中にも『スクリーニング調査の段階で復数の調査会社に登録しているモニタを排除したため、2社の特徴が際立った形で析出されていることには注意が必要である』と述べられている。しかし、そこには触れられずに、ネットリサーチは品質が悪いと印象を与えるような報道がされている。

通常、然るべきネットリサーチ会社は、品質向上のために然るべきデータクリーニングを行ってクライアントの皆様に調査データを納品している。しかし、この実証研究論文には『本研究の2つの設問については、どのように回答しても「不正」とみなさない』とも述べられている。いわば調査会社はクリーンな排気ガスを排出するようにしていたのに、この実証研究のために大気汚染物質を除去する装置を外した状態で実施したようなものである。先生方の実証研究の結果としては事実であるが、これは研究という特殊な条件の下での結果であり、実務は全くの別ものである。

ネットリサーチ会社は自助努力を行っている

アンケート調査はどのような調査手法であったとしても、回答するのは人間であるので、必ずヒューマンエラーを起こしてしまう。謝礼目的と言われてしまうかもしれないが、ネットリサーチの回答者もまた一般の生活者である。ときには誤回答をするかもしれない、本当にいい加減な回答をするかもしれない。調査会社は回答者の誤回答やいい加減な回答をできるだけ排除するために、調査画面の工夫やモニタとのコミュニケーションを通じて様々な企業努力を行っている。

訪問調査の実施が難しく、スピードやコストが重視される現在、ネットリサーチはマーケティング・リサーチにおいて有効な調査手法であることには間違いない。しかし、ネットリサーチは調査の設計者のスキルによって、データの良し悪しが左右される。1問1問の回答に対してしっかりとモチベーションを保って回答してもらわなければ、価値の失われたデータを取得するだけである。ネットリサーチで質の高いデータを得るためには、実務に携わる人たちは調査に対して謙虚な姿勢を忘れてはいけないと思う。

最後に、ネットリサーチ会社は報道にあったような「手抜き回答」が横行しているようなデータを納品していないことだけは強く訴えておきたい。クリーニングしていないデータを集計した研究発表の上辺だけを捉えて、ネットリサーチは危険であると信じてしまうことは早合点であり、誤解のないようにしていただきたい。また、報道する側にも実証研究調査がどのような前提条件の下で実施されていたのかを理解した上で公正なる情報を発信していただきたい。

執筆者プロフィール

マクロミル総合研究所 研究員
村上 智章(むらかみ・ともあき)
株式会社マクロミル
プロフィール詳細を見る