ホーム > 特許ランキング > 国立大学法人 筑波大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人 筑波大学の特許一覧 ▶ アイブリッジ株式会社の特許一覧
特開2023-28997不適切回答検出方法及びそのシステム、並びにそのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023028997
(43)【公開日】2023-03-03
(54)【発明の名称】不適切回答検出方法及びそのシステム、並びにそのプログラム
(51)【国際特許分類】
G06Q 30/0203 20230101AFI20230224BHJP
【ＦＩ】
G06Q30/02 312
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2021135037
(22)【出願日】2021-08-20
(71)【出願人】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(71)【出願人】
【識別番号】500391763
【氏名又は名称】アイブリッジ株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】尾▲碕▼ 幸謙
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049BB02
(57)【要約】
【課題】 様々な調査に適用でき、不適切回答の検出精度を向上させた不適切回答検出方法及びそのシステム、並びにそのプログラムを提供することにある。
【解決手段】 本実施形態に係る不適切回答検出方法は、複数の回答データを取得し、対象回答データの回答に要した回答時間を取得し（Ｓ１０１）、対象回答データの複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め（Ｓ１０２）、対象回答データの複数のリッカート尺度項目に対する回答カテゴリに基づいて、対象回答データの傾向を示す数値を求め（Ｓ１０３）、対象回答データの複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し（Ｓ１０４）、複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し（Ｓ１０５）、調査の項目数を取得して（Ｓ１０６）、対象回答データの回答が不適切であることを検出する（Ｓ１０７）。
【選択図】図２
【解決手段】 本実施形態に係る不適切回答検出方法は、複数の回答データを取得し、対象回答データの回答に要した回答時間を取得し（Ｓ１０１）、対象回答データの複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め（Ｓ１０２）、対象回答データの複数のリッカート尺度項目に対する回答カテゴリに基づいて、対象回答データの傾向を示す数値を求め（Ｓ１０３）、対象回答データの複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し（Ｓ１０４）、複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し（Ｓ１０５）、調査の項目数を取得して（Ｓ１０６）、対象回答データの回答が不適切であることを検出する（Ｓ１０７）。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数のリッカート尺度項目を含む調査の複数の回答データを取得し、
前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記調査の項目数を取得し、
前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を含むことを特徴とする不適切回答検出方法。
前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記調査の項目数を取得し、
前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を含むことを特徴とする不適切回答検出方法。
【請求項2】
前記傾向を示す数値は、前記対象回答データの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数であること
を特徴とする請求項１に記載の不適切回答検出方法。
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項3】
前記傾向を示す数値は、前記対象回答データにおいて、ａ個の回答カテゴリがあるリッカート尺度項目に対して、ｂ個の回答カテゴリのみに回答している割合が所定値以上か否かを示し、ａは２以上であり、ｂはａ未満であること
を特徴とする請求項１に記載の不適切回答検出方法。
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項4】
前記傾向を示す数値は、前記複数の回答データの各リッカート尺度項目の回答カテゴリの平均と前記対象回答データの各リッカート尺度項目の回答カテゴリとのそれぞれの乖離を合計した合計乖離値であること
を特徴とする請求項１に記載の不適切回答検出方法。
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項5】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答の文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答の文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項6】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるポジティブな単語のポジティブスコアに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるポジティブな単語のポジティブスコアに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項7】
前記ポジティブスコアは、前記自由記述回答の中で最も高いポジティブスコアであること
を特徴とする請求項６に記載の不適切回答検出方法。
を特徴とする請求項６に記載の不適切回答検出方法。
【請求項8】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるポジティブな単語の文字数であるポジティブ文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるポジティブな単語の文字数であるポジティブ文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項9】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるネガティブな単語のネガティブスコアに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるネガティブな単語のネガティブスコアに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項10】
前記ネガティブスコアは、前記自由記述回答の中で最も高いネガティブスコアであること
を特徴とする請求項９に記載の不適切回答検出方法。
を特徴とする請求項９に記載の不適切回答検出方法。
【請求項11】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるネガティブな単語の文字数であるネガティブ文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるネガティブな単語の文字数であるネガティブ文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項12】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対して自由記述回答をしたか否かに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対して自由記述回答をしたか否かに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項13】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対して実質的な内容を含まない特定の文章で回答したか否かに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対して実質的な内容を含まない特定の文章で回答したか否かに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１に記載の不適切回答検出方法。
【請求項14】
機械学習による学習済みモデルを用いて、前記対象回答データの回答が不適切であることを検出すること
を含むことを特徴とする請求項１に記載の不適切回答検出方法。
を含むことを特徴とする請求項１に記載の不適切回答検出方法。
【請求項15】
複数のリッカート尺度項目を含む調査の複数の回答データを記憶する回答データ記憶手段と、
前記回答データ記憶手段に記憶された前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得する回答時間取得手段と、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を演算する回数演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を演算する回答傾向演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算するマハラノビス距離演算手段と、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算する代表値演算手段と、
前記調査の項目数を取得する項目数取得手段と、
前記回答時間取得手段により取得された前記回答時間、前記回数演算手段により演算された前記回数、前記回答傾向演算手段により演算された前記傾向を示す数値、前記マハラノビス距離演算手段により演算された前記複数のマハラノビス距離、前記代表値演算手段により演算された前記代表値、及び、前記項目数取得手段により取得された前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出する検出手段と
を備えることを特徴とする不適切回答検出システム。
前記回答データ記憶手段に記憶された前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得する回答時間取得手段と、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を演算する回数演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を演算する回答傾向演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算するマハラノビス距離演算手段と、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算する代表値演算手段と、
前記調査の項目数を取得する項目数取得手段と、
前記回答時間取得手段により取得された前記回答時間、前記回数演算手段により演算された前記回数、前記回答傾向演算手段により演算された前記傾向を示す数値、前記マハラノビス距離演算手段により演算された前記複数のマハラノビス距離、前記代表値演算手段により演算された前記代表値、及び、前記項目数取得手段により取得された前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出する検出手段と
を備えることを特徴とする不適切回答検出システム。
【請求項16】
コンピュータが、複数のリッカート尺度項目を含む調査の複数の回答データを取得し、
前記コンピュータが、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記コンピュータが、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記コンピュータが、前記調査の項目数を取得し、
前記コンピュータが、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を含むように機能させることを特徴とする不適切回答検出プログラム。
前記コンピュータが、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記コンピュータが、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記コンピュータが、前記調査の項目数を取得し、
前記コンピュータが、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を含むように機能させることを特徴とする不適切回答検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、不適切回答を検出する不適切回答検出方法に関する。
【背景技術】
【0002】
一般に、調査において、不良回答を減らすことが知られている。例えば、不良回答を減らしてより多くの優良回答を効率的に収集することが開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－９５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、調査毎に調査内容は異なるため、全ての調査に適用できるような不適切回答の検出方法は知られていない。
本発明の目的は、様々な調査に適用でき、不適切回答の検出精度を向上させた不適切回答検出方法及びそのシステム、並びにそのプログラムを提供することにある。
本発明の目的は、様々な調査に適用でき、不適切回答の検出精度を向上させた不適切回答検出方法及びそのシステム、並びにそのプログラムを提供することにある。
【課題を解決するための手段】
【0005】
本発明の観点に従った不適切回答検出方法は、複数のリッカート尺度項目を含む調査の複数の回答データを取得し、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、前記調査の項目数を取得し、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含む。
【発明の効果】
【0006】
本発明によれば、様々な調査に適用でき、不適切回答の検出精度を向上させた不適切回答検出方法及びそのシステム、並びにそのプログラムを提供することができる。
【図面の簡単な説明】
【0007】
【図1】本発明の第１実施形態に係る調査システムの構成を示す構成図。
【図2】本実施形態に係る調査システムに適用される不適切回答検出方法の手順を示すフロー図。
【図3】本実施形態に係るアンケートの各質問に対する回答者の合計乖離値に関する各種数値を示す概略図。
【図4】本実施形態に係る不適切回答予測モデルを機械学習により構築する方法を示す概念図。
【図5】第２実施形態に係る不適切回答検出方法に用いる説明変数を作成する手順を示すフロー図。
【発明を実施するための形態】
【0008】
（第１実施形態）
図１は、本発明の第１実施形態に係る調査システム１の構成を示す構成図である。なお、図面における同一部分には同一符号を付して、重複する説明を適宜省略する。
図１は、本発明の第１実施形態に係る調査システム１の構成を示す構成図である。なお、図面における同一部分には同一符号を付して、重複する説明を適宜省略する。
【0009】
調査システム１は、ネットワークＮＴを介して、調査を実施し、回答を収集するシステムである。調査システム１は、アンケートについて収集した回答データに対して、不適切な回答を検出する不適切回答検出機能を有する。なお、不適切回答検出機能は、どのようなシステムに適用してもよく、調査を行う機能を有していなくてもよい。また、不適切回答検出機能のみを有するシステムが構成されてもよい。
【0010】
回答者端末２は、調査システム１が行うアンケートに回答するために、回答者が使用する端末である。回答者端末２は、主にコンピュータで構成される。例えば、回答者端末２は、デスクトップ、ラップトップ、又は、タブレット等、どのようなタイプのコンピュータでもよいし、スマートフォン等の携帯電話でもよい。
【0011】
例えば、ネットワークＮＴは、インタネット、固定電話網、又は、移動電話網等であり、これらを組合せてもよいし、その他の通信網を使用してもよい。また、調査システム１は、調査に回答する回答者端末２と相互に通信可能であれば、どのような通信経路に接続されてもよい。
【0012】
調査システム１は、アンケート生成部１１、アンケート回答部１２、回答データ集計部１３、適否判断部１４、入力部１５、出力部１６、調査データ記憶部ＳＴ１、及び、回答データ記憶部ＳＴ２を備える。
【0013】
調査システム１は、主にコンピュータで構成される。例えば、コンピュータは、Ｗｅｂサーバである。コンピュータは、１つに限らず、ネットワークで構成されてもよい。なお、調査システム１は、アンケート生成部１１、アンケート回答部１２、及び、調査データ記憶部ＳＴ１を設けずに、アンケートの回答データを回答データ記憶部ＳＴ２に直接入力するようにしてもよい。
【0014】
アンケート生成部１１は、調査データ記憶部ＳＴ１に記憶された調査に関するデータに基づいて、調査を実施するための質問が記載されたアンケートフォームＦｍを生成する。アンケート生成部１１は、生成したアンケートフォームＦｍを外部からアクセス可能な状態に開示する。例えば、アンケート生成部１１は、ＷｅｂサイトにアンケートフォームＦｍを表示する。
【0015】
アンケート回答部１２は、回答者端末２による回答データを受信する処理を行う。アンケート回答部１２は、ネットワークＮＴを経由して回答者端末２から入力されたデータを、入力部１５を介して受信する。アンケート回答部１２は、受信したデータに基づいて、回答データを生成し、回答データ記憶部ＳＴ２に記録する。例えば、回答者は、Ｗｅｂサイトに表示されたアンケートフォームＦｍの入力欄に回答し、アンケート回答部１２は、入力欄に入力されたデータを受け付ける。アンケート回答部１２は、受け付けたデータに基づいて、回答データを生成する。
【0016】
回答データ集計部１３は、回答データ記憶部ＳＴ２に記憶された複数の回答データを集計する。回答データ集計部１３は、集計したデータを適否判断部１４に送信する。集計する複数の回答データは、１回の調査に対する全ての回答データであるが、一部の回答データが含まれていなくてもよい。例えば、調査が継続中である場合は、集計が行われる時点で回答データ記憶部ＳＴ２に記憶されている回答データのみで、集計が行われてもよい。また、不適切であるか否かを判断する対象となる回答データＤｉを取り除いて、残りの回答データで集計が行われてもよい。
【0017】
適否判断部１４は、予め決められた判定条件及び回答データ集計部１３により集計されたデータに基づいて、選択された回答データＤｉが不適切であるか否か判断する。適否判断部１４は、判断した回答データＤｉの適否を出力部１６に出力する。
【0018】
入力部１５は、例えば、回答者端末２からデータを受信するために、ネットワークＮＴと接続するためのネットワークインタフェースである。なお、入力部１５は、調査システム１にアンケートの回答データを直接するための入力機器でもよい。例えば、このような入力機器は、キーボード、マウス、データ入力が可能なディスプレイ、又は、各種メディアの読取部などである。
【0019】
出力部１６は、適否判断部１４により判断された回答データＤｉの適否を提示する。例えば、出力部１６は、ディスプレイへの表示、プリンタの印刷、又は、各種メディアへの書き込みをする。
【0020】
次に、調査で行われるアンケートの項目について説明する。アンケートの項目は、回答データＤｉが不適切であるか否か判断するために用いる説明変数を求めるための質問項目である。
【0021】
アンケートは、リッカート尺度形式の項目（以下、「リッカート尺度項目」という。）を複数含む。リッカート尺度項目は、質問に対して、段階的に分類された複数の選択肢の中から１つを選んで回答する形式の項目である。選択肢は、多くは３つ以上であるが、２つでもよい。例えば、リッカート尺度項目は、商店のサービスについて調査をするためのアンケートにおいて、「１．満足」、「２．やや満足」、「３．どちらともいえない」、「４．やや不満」、「５．不満」の５つの選択肢から１つを選ばせる回答形式の質問項目である。
【0022】
また、アンケートは、属性変数についての項目、及び、自由記述回答項目を含めてもよい。属性変数についての項目は、回答者に対して、性別、年齢、又は、婚姻状況（例えば、配偶者の有無）等の回答を求める質問項目である。自由記述回答項目は、回答者が自由に回答を記述する形式の質問項目である。
【0023】
図２は、本実施形態に係る調査システム１に適用される不適切回答検出方法の手順を示すフロー図である。
【0024】
適否判断部１４は、回答データＤｉの回答者がアンケートの回答に要した回答時間を求める（ステップＳ１０１）。例えば、アンケートがコンピュータのプログラムにより実行される場合（Ｗｅｂサイト上のアンケート等）、アンケートを開始する操作してから、アンケートを終了する操作をするまでの時間を回答時間としてもよい。例えば、開始又は終了する操作は、画面に表示されたボタンの押下である。
【0025】
適否判断部１４は、回答データＤｉにおいて、リッカート尺度の同じ回答カテゴリを連続して選択した回数を求める（ステップＳ１０２）。具体的には、ある質問項目の回答が１番から５番まである５つの選択肢のうち３番である場合、この質問項目の前の質問項目の回答も３番であれば、１回とカウントする。このようにして、最終のリッカート尺度項目の回答までカウントした回数がここで求める回数となる。
【0026】
なお、ここで説明した回数のカウントの仕方は一例であり、プログラム等において、条件等に応じて１回に限らず、２回又は３回以上の回数でカウントしてもよい。以降の回数のカウントの仕方についても同様である。
【0027】
適否判断部１４は、回答データＤｉのリッカート尺度項目の回答カテゴリの傾向を示す変数を求める（ステップＳ１０３）。ここで、回答カテゴリの傾向を示す変数は、以下で説明するように大きく分けて３つあるが、少なくとも１つの変数を求めれば、いくつ求めてもよく、全ての変数を求めてもよい。求める変数によっては、一部の演算が回答データ集計部１３で行われ、適否判断部１４は、回答データ集計部１３の演算結果を用いて、目的の変数を求めてもよい。なお、以降で説明する変数に限らず、リッカート尺度項目の回答カテゴリの傾向を示すような変数であれば、どのような変数を求めてもよい。
【0028】
１つ目の変数は、回答データＤｉの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数である。即ち、この変数は、連続するリッカート尺度項目に対する回答カテゴリがジグザグに選択された回数である。具体的には、ある質問項目の回答が５つの選択肢のうち３番である場合、この質問項目の前の質問項目の回答が２番か４番であれば、１回とカウントする。このようにして、最終のリッカート尺度項目の回答までカウントした回数がここで求める変数となる。
【0029】
２つ目の変数は、ａ個の回答カテゴリがあるリッカート尺度項目に対して、ｂ個以下の回答カテゴリに回答している割合が所定値以上か否かを示す。ここで、ａは２以上であり、ｂはａ未満である。
【0030】
所定値が１００％の場合、この変数は、ｂ個以下の回答カテゴリのみに回答しているか否かを示す。具体例として、回答データＤｉにおいて、全てのリッカート尺度項目に対して、１番から５番の５つの回答カテゴリのうち、２番、３番又は４番の３つの回答カテゴリのみに回答していた場合について説明する。
【0031】
ｂ＝３の場合、この条件を満たすため、この変数は、この条件を満たすことを示す「１」に設定する。ｂ＝２の場合、この条件を満たさないため、この変数は、この条件を満たさないことを示す「０」に設定する。
【0032】
次に、所定値が９０％であり、回答データＤｉにおいて、１０個のリッカート尺度項目のうち９個のリッカート尺度項目に対しては、１番から５番の５つの回答カテゴリのうち、２番、３番又は４番の３つの回答カテゴリに回答し、残りの１個のリッカート尺度項目に対しては、１番の回答カテゴリに回答していた場合について説明する。
【0033】
ｂ＝３の場合、この条件を満たすため、この変数は、この条件を満たすことを示す「１」に設定する。ｂ＝２の場合、この条件を満たさないため、この変数は、この条件を満たさないことを示す「０」に設定する。
【0034】
なお、変数に設定する数値は、「０」と「１」を逆に設定してもよいし、これら以外の数値（例えば、正の数と負の数）を用いてもよい。また、この変数は、複数の条件に対応して、複数設けられてもよい。例えば、所定値が１００％と９０％のそれぞれについて、ａ＝３かつｂ＝２の場合とａ＝４かつｂ＝３の場合の合計４つの変数が設けられてもよい。
【0035】
３つ目の変数は、複数の回答データにより集計された各リッカート尺度項目の回答カテゴリの平均と回答データＤｉの各リッカート尺度項目の回答カテゴリとの乖離を合計した合計乖離値である。例えば、各リッカート尺度項目の回答カテゴリの平均は、回答データ集計部１３で演算され、その他の演算は、適否判断部１４で行われる。
【0036】
図３は、アンケートの各質問Ｑ１～Ｑ３に対する回答者Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５の合計乖離値に関する各種数値を示す概略図である。
【0037】
アンケートには、リッカート尺度項目として３つの質問Ｑ１，Ｑ２，Ｑ３がある。各質問Ｑ１～Ｑ３に対して、選択肢である回答カテゴリは５つある。各回答カテゴリは、段階的に変化する内容に対応して、１～５のいずれかに数値化されている。
【0038】
まず、各質問Ｑ１～Ｑ３の平均を演算する。質問１に対して、各回答者Ｐ１～Ｐ５の回答カテゴリの数値は、それぞれ２、３、３、４、４である。したがって、質問Ｑ１の平均は、３．２である。同様に、質問Ｑ１，Ｑ２のそれぞれの平均は、４、２．４となる。
【0039】
次に、各回答者Ｐ１～Ｐ５の各質問Ｑ１～Ｑ３に対する回答カテゴリの乖離を演算する。乖離は、質問Ｑ１～Ｑ３の平均と回答者Ｐ１～Ｐ５の回答カテゴリの数値との差分の絶対値である。回答者Ｐ１の質問Ｑ１に対する回答カテゴリの数値は、２であり、質問Ｑ１の平均は、３．２である。回答者Ｐ１の質問Ｑ１に対する回答カテゴリの乖離は、２－３．２の絶対値で１．２になる。このようにして、各回答者Ｐ１～Ｐ５の各質問Ｑ１～Ｑ３に対する回答カテゴリの乖離を演算する。
【0040】
回答者Ｐ１の各質問Ｑ１～Ｑ３に対する回答カテゴリのそれぞれの乖離は、１．２、１、０．４である。回答者Ｐ１の合計乖離値は、各質問Ｑ１～Ｑ３に対する回答カテゴリの乖離の合計であり、２．６である。このようにして、各回答者Ｐ１～Ｐ５の合計乖離値を演算する。
【0041】
適否判断部１４は、回答データＤｉのリッカート尺度項目に対するマハラノビス距離を演算する（ステップＳ１０４）。なお、適否判断部１４は、リッカート尺度項目に対するマハラノビス距離のｐ値を演算してもよい。また、アンケート内において最も相関の大きい１対のリッカート尺度項目用いて、マハラノビス距離を演算してもよいし、このマハラノビス距離のｐ値を演算してもよい。相関のある１対のリッカート尺度項目とは、互いに質問内容が関連する２つのリッカート尺度項目である。
【0042】
ここで、マハラノビス距離について説明する。マハラノビス距離は、観測データベクトルと標本平均ベクトルとの離れ具合を表す統計量である。マハラノビス距離は、次式により求まる。
【0043】
【数1】
【0044】
図３に示すように、リッカート尺度項目が全部で３項目（質問Ｑ１～Ｑ３）である場合、３項目を使用して、回答データＤｉのマハラノビス距離を演算する。上式のｘｉは、ｉが回答者Ｐ１の場合に（２，３，２）というベクトルになる。平均ベクトルは、（３．２，４，２．４）となる。共分散行列Σは、図３の左の５×３のデータ行列から計算される共分散行列（３×３）である。この計算により、各回答者Ｐ１～Ｐ５に対して１つのマハラノビス距離が与えられる。マハラノビス距離のｐ値は、このように計算されたマハラノビス距離の大きさに対する検定結果のｐ値である。
【0045】
回答データ集計部１３は、回答データＤｉが取得された調査における全ての回答データの回答時間の代表値を求める（ステップＳ１０５）。代表値は、例えば中央値であるが、平均値又は最頻値でもよいし、その他のどのような統計量を用いてもよい。ここでは、代表値は、中央値として説明する。例えば、ある調査に５人が回答し、回答時間が１０分、１５分、１２分、１４分、１９分だったとする。このとき、この調査における回答時間の中央値は１４分である。したがって、この調査の全ての回答データの回答時間の中央値は、１４に設定される。このように、回答時間の中央値は、調査毎に異なる値に設定される。回答データ集計部１３は、求めた回答時間の中央値を適否判断部１４に送信する。
【0046】
適否判断部１４は、回答データＤｉが取得されたアンケートの質問項目数を取得する（ステップＳ１０６）。例えば、ある調査を実施するためのアンケートに記載された全ての質問項目数が１００項目であれば、この調査の全ての回答データの質問項目数は、１００に設定される。このように、質問項目数は、調査毎に異なる値に設定される。
【0047】
適否判断部１４は、上記で求めた数値及び変数等を含む各種情報を説明変数として、対象の回答データｉが不適切か否かを判断する（ステップＳ１０７）。説明変数には、属性変数、及び、自由記述回答項目から得られる情報が含まれてもよい。例えば、適否判断部１４は、調査内容に対応し、回答データｉが不適切か否かを判断するための判断用関数を決定する。適否判断部１４は、説明変数を引数として、決定した判断用関数を用いて、回答データｉが不適切か否かを判断する。
【0048】
ここで、説明変数は、各調査データ内での相対的な値にするために、各調査データ内で標準化した値を用いるのが望ましい。例えば、「回答時間」を説明変数にする場合、第１の調査の「回答時間」は第１の調査のデータ内で標準化した値を説明変数にし、第２の調査の「回答時間」は第２の調査のデータ内で標準化した値を説明変数にする。仮に、第１の調査と第２の調査で同じ標準化していない回答時間があったとしても、第１の調査の方が平均的な回答時間が長いのであれば、標準化した回答時間は第２の調査の方が大きくなる。同様に、その他の変数についても、標準化可能であれば、標準化した値を説明変数に用いるのが望ましい。
【0049】
判断用関数は、予め適否判断部１４に設定されていてもよいし、調査毎に、適否判断部１４で自動的に作成されるようにしてもよい。また、判断用関数は、調査毎に、用いる説明変数又は条件式等を任意に変更してよい。さらに、判断用関数は、人為的に作成されたプログラム等でもよいし、コンピュータを用いた機械学習による学習済みの予測モデルを実行するプログラム等でもよいし、人とコンピュータが共に介在して作成されたプログラム等でもよい。
【0050】
図４を参照して、不適切回答予測モデルを機械学習により構築する方法について説明する。不適切回答予測モデルは、調査システム１の適否判断部１４において、対象の回答データｉが不適切か否かを判断するための判断用関数として用いられる。
【0051】
機械学習をさせるために用いる訓練データを収集するために、複数件の調査を実施する。この調査では、アンケートには、上記で説明した説明変数を得るための項目の他に、指示項目を含める。指示項目は、アンケートの回答者が適切な回答をするか否かを確かめるための質問である。例えば、指示項目の内容は、「選択肢の４番を選んでください。」というものである。これに対して、回答者が４番以外の選択肢を選択した場合、この回答者は、不適切回答者であることが認識できる。これにより、各調査の回答者の中で誰が不適切回答者であるか知ることができる。
【0052】
ここでは、ｋ件の調査が実施され、各調査のサンプルサイズ（回答者の人数）は、全てｎとする。なお、調査毎にサンプルサイズは、異なっていてもよい。
【0053】
ｋ件の調査が実施されることで、ｋ件の調査データＳＲ１，ＳＲ２，…，ＳＲｋが得られる。各調査データＳＲ１～ＳＲｋには、ｎ人分の回答データが含まれる。各回答データから、性別、回答時間及びマハラノビス距離等の説明変数を作成する。
【0054】
次に、各調査について、指示項目から作成された不適切回答者であるか否かを表す変数と各種説明変数からなるデータ行列ＤＭ１，ＤＭ２，…，ＤＭｋを作成する。各データ行列ＤＭ１～ＤＭｋのサイズは、変数の個数をｖ個とすると、n×ｖである。調査はk件あるので、n×ｖのデータ行列ＤＭ１～ＤＭｋがk個作成される。
【0055】
このように作成されたデータ行列ＤＭ１～ＤＭｋは、訓練データ記憶部ＳＴ３に記憶される。訓練データ記憶部ＳＴ３に記憶されたデータ行列ＤＭ１～ＤＭｋのデータは、機械学習を行うための訓練データとして扱われる。
【0056】
機械学習部２１は、訓練データ記憶部ＳＴ３に記憶された訓練データに基づいて、回答データが不適切回答であるか否かを予測する不適切回答予測モデルを構築するための機械学習を行う。機械学習部２１は、指示項目から作成された変数を正解ラベル付きのデータとして、教師あり学習を行う。
【0057】
機械学習部２１で行われる機械学習のアルゴリズムは、例えば、ランダムフォレストであるが、どのように機械学習が行われてもよい。例えば、機械学習のアルゴリズムは、ニューラルネットワーク、ディープラーニング、サポートベクターマシン（ＳＶＭ）、又は、決定木等でもよく、これらを任意に組み合わせてもよい。
【0058】
このようにして、機械学習部２１は、機械学習を行うことにより、不適切回答予測モデルを生成する。生成された不適切回答予測モデルは、そのまま適否判断部１４の判断用関数として適用してもよいし、強化学習により更新されることを前提とした初期値の関数として用いてもよいし、人為的に修正されてもよい。
【0059】
なお、機械学習部２１及び訓練データ記憶部ＳＴ３は、調査システム１の構成の一部でもよいし、調査システム１と関係なく独立して動作するコンピュータに実装されてもよい。
【0060】
本実施形態によれば、複数のリッカート尺度項目を含む調査の回答データに基づいて、回答データの傾向を示す数値を求め、この数値を含み、回答データから得られる各種情報に基づいて、回答データが不適切であることを検出することで、不適切回答の検出精度を向上させることができる。
【0061】
また、本実施形態は、調査を行うためのアンケートに複数のリッカート尺度項目を含めることで、不適切回答を検出することができるため、様々な調査内容に適用できる汎用性の高い検出方法である。
【0062】
さらに、本実施形態について、機械学習により構築した予測モデルを適用して実現し、パソコン、スマートフォン及びタブレット等の様々なデバイスで回答した回答データで検証したところ、いずれのデバイスにおいても不適切回答の検出に有効であることが実証された。したがって、本実施形態は、回答するデバイスに依存しない汎用性の高い検出方法である。
【0063】
（第２実施形態）
図５は、第２実施形態に係る不適切回答検出方法に用いる説明変数を作成する手順を示すフロー図である。
図５は、第２実施形態に係る不適切回答検出方法に用いる説明変数を作成する手順を示すフロー図である。
【0064】
本実施形態に係る不適切回答検出方法は、調査を実施するアンケートに、複数のリッカート尺度項目に加え、少なくとも１つの自由記述回答項目が含まれる場合に用いられる。自由記述回答項目は、質問に対して、回答者が回答を自由に記述する形式の項目である。
【0065】
本実施形態に係る不適切回答検出方法は、図１に示す第１実施形態に係る不適切回答検出方法で用いる説明変数に加え、不適切であるか否かを判断する対象の回答データｉにおける自由記述回答項目に対する回答から得られる情報を説明変数として用いたものである。その他の点は、第１実施形態に係る不適切回答検出方法と同様である。
【0066】
適否判断部１４は、回答データＤｉにおいて、自由記述回答の文字数を求める（ステップＳ２０１）。例えば、適否判断部１４は、全ての自由記述回答のそれぞれの文字数をカウントし、各自由記述回答の文字数の合計を演算する。なお、求める文字数は、予め決められた自由記述回答項目に対する自由記述回答の文字数でもよいし、予め決められた一部の自由記述回答項目に対するそれぞれの自由記述回答の合計の文字数でもよい。
【0067】
適否判断部１４は、回答データＤｉにおいて、自由記述回答のポジティブスコアを求める（ステップＳ２０２）。ポジティブスコアは、ポジティブな単語のそれぞれに対して設定されるスコアである。例えば、自由記述回答のポジティブスコアは、全ての自由記述回答に含まれる全てのポジティブな単語のポジティブスコアの合計であるが、予め決められた１つ以上の自由記述回答項目に含まれるポジティブスコアの合計でもよい。
【0068】
ここで、ポジティブな単語及びその単語のポジティブスコアは、適否判断部１４に設定された辞書に格納される。辞書は、調査システム１用に独自に作成したものでもよいし、既知の辞書でもよいし、ネガティブな単語及びその単語のネガティブスコアも格納されたいわゆる極性辞書でもよい。
【0069】
適否判断部１４は、回答データＤｉにおいて、自由記述回答のポジティブ文字数を求める（ステップＳ２０３）。具体的には、適否判断部１４は、全ての自由記述回答に含まれる全てのポジティブな単語を抽出し、抽出したポジティブな単語の文字数の合計を演算する。
【0070】
適否判断部１４は、回答データＤｉにおいて、全ての自由記述回答のネガティブ文字数を求める（ステップＳ２０４）。具体的には、適否判断部１４は、全ての自由記述回答に含まれる全てのネガティブな単語を抽出し、抽出したネガティブな単語の文字数の合計を演算する。
【0071】
適否判断部１４は、回答データＤｉにおいて、自由記述回答の中で最もポジティブな単語のポジティブスコアを求める（ステップＳ２０５）。具体的には、適否判断部１４は、全ての自由記述回答に含まれる全てのポジティブな単語を抽出し、抽出したポジティブな単語の全てのポジティブスコアを求める。求めたポジティブスコアの中から最も高いポジティブスコアを求める。この最も高いポジティブスコアが最もポジティブな単語のポジティブスコアとなる。
【0072】
適否判断部１４は、回答データＤｉにおいて、自由記述回答の中で最もネガティブな単語のネガティブスコアを求める（ステップＳ２０６）。具体的には、適否判断部１４は、全ての自由記述回答に含まれる全てのネガティブな単語を抽出し、抽出したネガティブな単語の全てのネガティブスコアを求める。求めたネガティブスコアの中から最も高いネガティブスコアを求める。この最も高いネガティブスコアが最もネガティブな単語のネガティブスコアとなる。
【0073】
適否判断部１４は、回答データＤｉにおいて、自由記述回答をしたか否かを判断する（ステップＳ２０７）。全ての自由記述回答項目に無回答（空欄）であれば、自由記述回答していないと判断する。なお、自由記述回答をしたか否かの判断は、予め判断条件を設けてもよい。例えば、回答が所定の文字数以下で、回答として意味を成していなければ、自由記述回答をしていないと判断してもよい。なお、適否判断部１４は、全ての自由記述回答項目に対して、一定の割合（例えば、９０％）以上が空欄であれば、自由記述回答していないと判断してもよい。
【0074】
適否判断部１４は、回答データＤｉにおいて、自由記述回答をしていると判断した場合は「１」に設定し、そうでないと判断した場合は「０」に設定する。なお、設定する数値は、「０」と「１」を逆に設定してもよいし、これら以外の数値（例えば、正の数と負の数）を用いてもよい。
【0075】
適否判断部１４は、回答データＤｉにおいて、自由記述回答に実質的な内容を含まない特定の文章で回答をしたかを判断する（ステップＳ２０８）。例えば、このような特定文章は、「無い」、「無し」、「特に無い」、又は、「特に無し」等であり、一部又は全部が平仮名又は片仮名でもよい。適否判断部１４は、このような特定の文章を予め設定しておくことで、自由記述回答に特定の文章で回答をしたか否かを判断する。
【0076】
なお、適否判断部１４は、複数の自由記述回答項目に対して、一定の割合以上の項目（例えば、全ての項目の８０％）に特定の文章で回答した場合、少なくとも１つの項目に特定の文章で回答した場合、又は、全ての項目に特定の文章で回答した場合等の条件を設定して、特定の文章で回答したか否かを判断してもよい。
【0077】
適否判断部１４は、回答データＤｉにおいて、実質的な内容を含まない特定の文章で回答をしていると判断した場合は「１」に設定し、そうでないと判断した場合は「０」に設定する。なお、設定する数値は、「０」と「１」を逆に設定してもよいし、これら以外の数値（例えば、正の数と負の数）を用いてもよい。
【0078】
適否判断部１４は、上述のステップＳ２０１～２０８で求めた数値等を説明変数として加え、図２に示す第１実施形態に係る不適切回答検出方法のステップＳ１０７と同様に、対象の回答データｉが不適切か否かを判断する。なお、適否判断部１４は、上述のステップＳ２０１～２０８で求めた数値等のうち少なくとも１つを説明変数として加えればよい。
【0079】
本実施形態によれば、リッカート尺度項目及び自由記述回答項目を含む調査において、自由記述回答項目に対する回答から得られる説明変数を用いることで、第１実施形態よりも検出精度を向上させることができる。
【0080】
なお、本発明は上述した実施形態に限定されず、構成要素を削除、付加又は変更等をしてもよい。また、複数の実施形態について構成要素を組合せ又は交換等をすることで、新たな実施形態としてもよい。このような実施形態が上述した実施形態と直接的に異なるものであっても、本発明と同様の趣旨のものは、本発明の実施形態として説明したものとして、その説明を省略している。
【符号の説明】
【0081】
１…調査システム、２…回答者端末、１１…アンケート生成部、１２…アンケート回答部、１３…回答データ集計部、１４…適否判断部、１５…入力部、１６…出力部、Ｆｍ…アンケートフォーム、ＳＴ１…調査データ記憶部、ＳＴ２…回答データ記憶部。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-02-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数のリッカート尺度項目を含む調査の複数の回答データを取得し、
前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記調査の項目数を取得し、
前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含み、
前記傾向を示す数値は、前記対象回答データの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数であること
を特徴とする不適切回答検出方法。
前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記調査の項目数を取得し、
前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含み、
前記傾向を示す数値は、前記対象回答データの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数であること
を特徴とする不適切回答検出方法。
【請求項2】
複数のリッカート尺度項目を含む調査の複数の回答データを取得し、
前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記調査の項目数を取得し、
前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含み、
前記傾向を示す数値は、前記対象回答データにおいて、ａ個の回答カテゴリがあるリッカート尺度項目に対して、ｂ個の回答カテゴリのみに回答している割合が所定値以上か否かを示し、ａは２以上であり、ｂはａ未満であること
を特徴とする不適切回答検出方法。
前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記調査の項目数を取得し、
前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含み、
前記傾向を示す数値は、前記対象回答データにおいて、ａ個の回答カテゴリがあるリッカート尺度項目に対して、ｂ個の回答カテゴリのみに回答している割合が所定値以上か否かを示し、ａは２以上であり、ｂはａ未満であること
を特徴とする不適切回答検出方法。
【請求項3】
複数のリッカート尺度項目を含む調査の複数の回答データを取得し、
前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記調査の項目数を取得し、
前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含み、
前記傾向を示す数値は、前記複数の回答データの各リッカート尺度項目の回答カテゴリの平均と前記対象回答データの各リッカート尺度項目の回答カテゴリとのそれぞれの乖離を合計した合計乖離値であること
を特徴とする不適切回答検出方法。
前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記調査の項目数を取得し、
前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含み、
前記傾向を示す数値は、前記複数の回答データの各リッカート尺度項目の回答カテゴリの平均と前記対象回答データの各リッカート尺度項目の回答カテゴリとのそれぞれの乖離を合計した合計乖離値であること
を特徴とする不適切回答検出方法。
【請求項4】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答の文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答の文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
【請求項5】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるポジティブな単語のポジティブスコアに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるポジティブな単語のポジティブスコアに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
【請求項6】
前記ポジティブスコアは、前記自由記述回答の中で最も高いポジティブスコアであること
を特徴とする請求項５に記載の不適切回答検出方法。
を特徴とする請求項５に記載の不適切回答検出方法。
【請求項7】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるポジティブな単語の文字数であるポジティブ文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるポジティブな単語の文字数であるポジティブ文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
【請求項8】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるネガティブな単語のネガティブスコアに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるネガティブな単語のネガティブスコアに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
【請求項9】
前記ネガティブスコアは、前記自由記述回答の中で最も高いネガティブスコアであること
を特徴とする請求項８に記載の不適切回答検出方法。
を特徴とする請求項８に記載の不適切回答検出方法。
【請求項10】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるネガティブな単語の文字数であるネガティブ文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対する自由記述回答に含まれるネガティブな単語の文字数であるネガティブ文字数に基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
【請求項11】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対して自由記述回答をしたか否かに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対して自由記述回答をしたか否かに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
【請求項12】
前記調査は、自由記述回答項目を含み、
前記対象回答データの前記自由記述回答項目に対して実質的な内容を含まない特定の文章で回答したか否かに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
前記対象回答データの前記自由記述回答項目に対して実質的な内容を含まない特定の文章で回答したか否かに基づいて、前記対象回答データの回答が不適切であることを検出すること
を特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
【請求項13】
機械学習による学習済みモデルを用いて、前記対象回答データの回答が不適切であることを検出すること
を含むことを特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
を含むことを特徴とする請求項１から請求項３のいずれか１項に記載の不適切回答検出方法。
【請求項14】
複数のリッカート尺度項目を含む調査の複数の回答データを記憶する回答データ記憶手段と、
前記回答データ記憶手段に記憶された前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得する回答時間取得手段と、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を演算する回数演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を演算する回答傾向演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算するマハラノビス距離演算手段と、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算する代表値演算手段と、
前記調査の項目数を取得する項目数取得手段と、
前記回答時間取得手段により取得された前記回答時間、前記回数演算手段により演算された前記回数、前記回答傾向演算手段により演算された前記傾向を示す数値、前記マハラノビス距離演算手段により演算された前記複数のマハラノビス距離、前記代表値演算手段により演算された前記代表値、及び、前記項目数取得手段により取得された前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出する検出手段とを備え、
前記傾向を示す数値は、前記対象回答データの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数であること
を特徴とする不適切回答検出システム。
前記回答データ記憶手段に記憶された前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得する回答時間取得手段と、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を演算する回数演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を演算する回答傾向演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算するマハラノビス距離演算手段と、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算する代表値演算手段と、
前記調査の項目数を取得する項目数取得手段と、
前記回答時間取得手段により取得された前記回答時間、前記回数演算手段により演算された前記回数、前記回答傾向演算手段により演算された前記傾向を示す数値、前記マハラノビス距離演算手段により演算された前記複数のマハラノビス距離、前記代表値演算手段により演算された前記代表値、及び、前記項目数取得手段により取得された前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出する検出手段とを備え、
前記傾向を示す数値は、前記対象回答データの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数であること
を特徴とする不適切回答検出システム。
【請求項15】
複数のリッカート尺度項目を含む調査の複数の回答データを記憶する回答データ記憶手段と、
前記回答データ記憶手段に記憶された前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得する回答時間取得手段と、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を演算する回数演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を演算する回答傾向演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算するマハラノビス距離演算手段と、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算する代表値演算手段と、
前記調査の項目数を取得する項目数取得手段と、
前記回答時間取得手段により取得された前記回答時間、前記回数演算手段により演算された前記回数、前記回答傾向演算手段により演算された前記傾向を示す数値、前記マハラノビス距離演算手段により演算された前記複数のマハラノビス距離、前記代表値演算手段により演算された前記代表値、及び、前記項目数取得手段により取得された前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出する検出手段とを備え、
前記傾向を示す数値は、前記対象回答データにおいて、ａ個の回答カテゴリがあるリッカート尺度項目に対して、ｂ個の回答カテゴリのみに回答している割合が所定値以上か否かを示し、ａは２以上であり、ｂはａ未満であること
を特徴とする不適切回答検出システム。
前記回答データ記憶手段に記憶された前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得する回答時間取得手段と、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を演算する回数演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を演算する回答傾向演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算するマハラノビス距離演算手段と、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算する代表値演算手段と、
前記調査の項目数を取得する項目数取得手段と、
前記回答時間取得手段により取得された前記回答時間、前記回数演算手段により演算された前記回数、前記回答傾向演算手段により演算された前記傾向を示す数値、前記マハラノビス距離演算手段により演算された前記複数のマハラノビス距離、前記代表値演算手段により演算された前記代表値、及び、前記項目数取得手段により取得された前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出する検出手段とを備え、
前記傾向を示す数値は、前記対象回答データにおいて、ａ個の回答カテゴリがあるリッカート尺度項目に対して、ｂ個の回答カテゴリのみに回答している割合が所定値以上か否かを示し、ａは２以上であり、ｂはａ未満であること
を特徴とする不適切回答検出システム。
【請求項16】
複数のリッカート尺度項目を含む調査の複数の回答データを記憶する回答データ記憶手段と、
前記回答データ記憶手段に記憶された前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得する回答時間取得手段と、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を演算する回数演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を演算する回答傾向演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算するマハラノビス距離演算手段と、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算する代表値演算手段と、
前記調査の項目数を取得する項目数取得手段と、
前記回答時間取得手段により取得された前記回答時間、前記回数演算手段により演算された前記回数、前記回答傾向演算手段により演算された前記傾向を示す数値、前記マハラノビス距離演算手段により演算された前記複数のマハラノビス距離、前記代表値演算手段により演算された前記代表値、及び、前記項目数取得手段により取得された前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出する検出手段とを備え、
前記傾向を示す数値は、前記複数の回答データの各リッカート尺度項目の回答カテゴリの平均と前記対象回答データの各リッカート尺度項目の回答カテゴリとのそれぞれの乖離を合計した合計乖離値であること
を特徴とする不適切回答検出システム。
前記回答データ記憶手段に記憶された前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得する回答時間取得手段と、
前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を演算する回数演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を演算する回答傾向演算手段と、
前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算するマハラノビス距離演算手段と、
前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算する代表値演算手段と、
前記調査の項目数を取得する項目数取得手段と、
前記回答時間取得手段により取得された前記回答時間、前記回数演算手段により演算された前記回数、前記回答傾向演算手段により演算された前記傾向を示す数値、前記マハラノビス距離演算手段により演算された前記複数のマハラノビス距離、前記代表値演算手段により演算された前記代表値、及び、前記項目数取得手段により取得された前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出する検出手段とを備え、
前記傾向を示す数値は、前記複数の回答データの各リッカート尺度項目の回答カテゴリの平均と前記対象回答データの各リッカート尺度項目の回答カテゴリとのそれぞれの乖離を合計した合計乖離値であること
を特徴とする不適切回答検出システム。
【請求項17】
コンピュータが、複数のリッカート尺度項目を含む調査の複数の回答データを取得し、
前記コンピュータが、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記コンピュータが、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記コンピュータが、前記調査の項目数を取得し、
前記コンピュータが、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含むように機能させ、
前記傾向を示す数値は、前記対象回答データの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数であること
を特徴とする不適切回答検出プログラム。
前記コンピュータが、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記コンピュータが、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記コンピュータが、前記調査の項目数を取得し、
前記コンピュータが、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含むように機能させ、
前記傾向を示す数値は、前記対象回答データの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数であること
を特徴とする不適切回答検出プログラム。
【請求項18】
コンピュータが、複数のリッカート尺度項目を含む調査の複数の回答データを取得し、
前記コンピュータが、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記コンピュータが、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記コンピュータが、前記調査の項目数を取得し、
前記コンピュータが、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含むように機能させ、
前記傾向を示す数値は、前記対象回答データにおいて、ａ個の回答カテゴリがあるリッカート尺度項目に対して、ｂ個の回答カテゴリのみに回答している割合が所定値以上か否かを示し、ａは２以上であり、ｂはａ未満であること
を特徴とする不適切回答検出プログラム。
前記コンピュータが、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記コンピュータが、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記コンピュータが、前記調査の項目数を取得し、
前記コンピュータが、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含むように機能させ、
前記傾向を示す数値は、前記対象回答データにおいて、ａ個の回答カテゴリがあるリッカート尺度項目に対して、ｂ個の回答カテゴリのみに回答している割合が所定値以上か否かを示し、ａは２以上であり、ｂはａ未満であること
を特徴とする不適切回答検出プログラム。
【請求項19】
コンピュータが、複数のリッカート尺度項目を含む調査の複数の回答データを取得し、
前記コンピュータが、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記コンピュータが、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記コンピュータが、前記調査の項目数を取得し、
前記コンピュータが、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含むように機能させ、
前記傾向を示す数値は、前記複数の回答データの各リッカート尺度項目の回答カテゴリの平均と前記対象回答データの各リッカート尺度項目の回答カテゴリとのそれぞれの乖離を合計した合計乖離値であること
を特徴とする不適切回答検出プログラム。
前記コンピュータが、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、
前記コンピュータが、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、
前記コンピュータが、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、
前記コンピュータが、前記調査の項目数を取得し、
前記コンピュータが、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含むように機能させ、
前記傾向を示す数値は、前記複数の回答データの各リッカート尺度項目の回答カテゴリの平均と前記対象回答データの各リッカート尺度項目の回答カテゴリとのそれぞれの乖離を合計した合計乖離値であること
を特徴とする不適切回答検出プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【0005】
本発明の観点に従った不適切回答検出方法は、複数のリッカート尺度項目を含む調査の複数の回答データを取得し、前記複数の回答データのうち不適切回答を検出する対象回答データの回答に要した回答時間を取得し、前記対象回答データの前記複数のリッカート尺度項目に対して、同じ回答カテゴリを連続して選択した回数を求め、前記対象回答データの前記複数のリッカート尺度項目に対する回答カテゴリに基づいて、前記対象回答データの傾向を示す数値を求め、前記対象回答データの前記複数のリッカート尺度項目に対する複数のマハラノビス距離を演算し、前記複数の回答データのそれぞれの回答に要した回答時間の代表値を演算し、前記調査の項目数を取得し、前記回答時間、前記回数、前記傾向を示す数値、前記複数のマハラノビス距離、前記代表値、及び、前記項目数に基づいて、前記対象回答データの回答が不適切であることを検出することを含み、前記傾向を示す数値は、前記対象回答データの連続するリッカート尺度項目に対して、回答カテゴリが１つずつずらして選択された回数である。