(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023037406
(43)【公開日】2023-03-15
(54)【発明の名称】情報処理方法および情報処理装置
(51)【国際特許分類】
G06Q 50/10 20120101AFI20230308BHJP
【ＦＩ】
G06Q50/10
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021144134
(22)【出願日】2021-09-03
(71)【出願人】
【識別番号】316016852
【氏名又は名称】株式会社マクロミル
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】瀧澤 伸
(72)【発明者】
【氏名】藤代 香織
(72)【発明者】
【氏名】小林 舞
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC12
(57)【要約】
【課題】アンケートの自由回答式の質問への回答に機械学習の技術を適用し、効率よく精度の高い分類を行う。
【解決手段】自由回答式の質問を含むアンケートを回答者に送信する送信ステップと、複数の回答者から、アンケートに対する回答を受信する受信ステップと、複数の回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、ベクトル情報に基づいてクラスタリングを行って複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリングステップと、ラベル情報と自由回答の文が対応付けられた教師データを用いて、自由回答の文を再クラスタリングするための学習済みモデルを生成する生成ステップと、複数の自由回答の文に学習済みモデルを適用して、再クラスタリングを行う第２のクラスタリングステップを有する情報処理方法を用いる。
【選択図】図３
【解決手段】自由回答式の質問を含むアンケートを回答者に送信する送信ステップと、複数の回答者から、アンケートに対する回答を受信する受信ステップと、複数の回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、ベクトル情報に基づいてクラスタリングを行って複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリングステップと、ラベル情報と自由回答の文が対応付けられた教師データを用いて、自由回答の文を再クラスタリングするための学習済みモデルを生成する生成ステップと、複数の自由回答の文に学習済みモデルを適用して、再クラスタリングを行う第２のクラスタリングステップを有する情報処理方法を用いる。
【選択図】図３
【特許請求の範囲】
【請求項1】
自由回答式の質問を含むアンケートを回答者に送信する送信ステップと、
複数の前記回答者から、前記アンケートに対する回答を受信する受信ステップと、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリングステップと、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成ステップと、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリングステップと、
を有することを特徴とする情報処理方法。
複数の前記回答者から、前記アンケートに対する回答を受信する受信ステップと、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリングステップと、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成ステップと、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリングステップと、
を有することを特徴とする情報処理方法。
【請求項2】
前記第１のクラスタリングステップで取得された前記ラベル情報を、前記自由回答の文とともにインターフェースに出力する出力ステップと、
操作者による前記インターフェースを用いた操作により前記ラベル情報から修正された修正ラベル情報の入力を受け付ける入力受付ステップと、
をさらに有し、
前記生成ステップにおいては、前記修正ラベル情報と前記自由回答の文が対応付けられた前記教師データが用いられる
ことを特徴とする請求項１に記載の情報処理方法。
操作者による前記インターフェースを用いた操作により前記ラベル情報から修正された修正ラベル情報の入力を受け付ける入力受付ステップと、
をさらに有し、
前記生成ステップにおいては、前記修正ラベル情報と前記自由回答の文が対応付けられた前記教師データが用いられる
ことを特徴とする請求項１に記載の情報処理方法。
【請求項3】
前記出力ステップにおいては、各クラスについて、前記ラベル情報とともに代表文が前記インターフェースに出力され、
前記入力受付ステップにおいては、前記操作者の操作により前記代表文から修正された修正代表文の入力を受け付ける
ことを特徴とする請求項２に記載の情報処理方法。
前記入力受付ステップにおいては、前記操作者の操作により前記代表文から修正された修正代表文の入力を受け付ける
ことを特徴とする請求項２に記載の情報処理方法。
【請求項4】
前記受信ステップで受信した前記自由回答の文に対して前処理を行う前処理ステップをさらに有する
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理方法。
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理方法。
【請求項5】
前記前処理には、データクレンジング処理と単語抽出処理の少なくともいずれか一方が含まれる
ことを特徴とする請求項４に記載の情報処理方法。
ことを特徴とする請求項４に記載の情報処理方法。
【請求項6】
前記第２のクラスタリングステップにおいて複数のクラスに再クラスタリングされた前記複数の回答を用いて集計処理を行う集計ステップをさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理方法。
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理方法。
【請求項7】
請求項１から６のいずれか１項に記載の情報処理方法の各ステップを情報処理装置に実行させる
ことを特徴とするプログラム。
ことを特徴とするプログラム。
【請求項8】
自由回答式の質問を含むアンケートを回答者に送信する送信手段と、
複数の前記回答者から、前記アンケートに対する回答を受信する受信手段と、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得手段と、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリング手段と、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成手段と、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリング手段と、
を有することを特徴とする情報処理装置。
複数の前記回答者から、前記アンケートに対する回答を受信する受信手段と、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得手段と、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリング手段と、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成手段と、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリング手段と、
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法および情報処理装置に関する。
【背景技術】
【0002】
回答者に対して質問を含むアンケートを送信して得られた回答を集計するアンケート調査がある。調査者は、多数の回答者にアンケートを行い、集計された回答を統計的に解析することで、マーケティングや商品開発などを行う際の意思決定支援、統計資料の作成、学術研究など、様々な活動に役立つ情報を得ることができる。
【0003】
特に近年、調査者がインターネット経由で多数の回答者にアンケートを行うネットリサーチの利用が進んでいる。ネットリサーチには、回答者の負担が比較的軽い、回答結果の集計が容易である、コストが比較的低いなどの利点がある。なお、アンケートをリサーチ業者に委託して行う場合、リサーチ業者が形成している、属性情報を把握済みの多数の回答者による会員組織を利用できるため、回答者を集めやすいという利点もある。
【0004】
アンケート中の質問を分類する方法の一つに、選択式の質問か、それとも自由回答式の質問か、という分け方がある。選択式とは、事前に用意された選択肢の中から回答者が回答を選択するものである。選択式の質問の中には、「Ｙｅｓ／Ｎｏ」方式や５段階評価方式などの択一選択方式もあるし、複数の選択肢を選択可能な場合もある。一方、自由回答式とは、自由記述式やフリーアンサー（ＦＡ）式とも呼ばれる方式であり、回答者が質問への回答を自由に記述する方式である。自由回答式の質問には、数値や単語などを記入する場合もあれば、文章による記入を求める場合もある。
【0005】
自由回答式の質問の特徴として、選択式では既存の選択肢に含まれる回答しか得られないのに比べて、自由回答式では運営者も想定していなかった自由な発想に基づく回答が得られることが挙げられる。
【0006】
その反面、選択式の質問に対する回答は選択肢に含まれるものに限られるため、自動的な集計に適しているのに比べて、自由回答式の質問に対する回答は、多様かつ不定形であり、典型的には自然言語からなる文であるため、自動的な集計や定量的な分析が難しい。すなわち、自由回答を定量的に処理するためには、回答の内容を人手またはツールによって分類する必要がある。従来、調査者が回答を一つ一つ目視して確認し、回答の内容に応じて「タグ」や「ラベル」と呼ばれるキーワードまたは符号を付与して分類することが行われていた。そのため、コストと作業時間の増大を招いていた。
【0007】
そこで近年、自由回答を効率的に分類するために様々な検討がなされている。特許文献１（特開２００１－２６６０６０号公報）には、テキスト分類エンジンを用いて自由回答を自動的に分析するアンケート分析システムが開示されている。また、特許文献２（特開２０１１－０２２８７４号公報）には、変換ワードデータベースを用いて自由回答式の回答データ中の語句を置換することで、定量的な分析を容易にするデータ処理装置が開示されている。
【0008】
また、自然言語の分類という観点から見ると、特許文献３（特開２０２０－１２６６３１号公報）には、自然言語をベクトル化し、類似度に基づいてクラスタリングすることにより分類を行い、ラベル付けをする技術が開示されている。
【0009】
さらに、自然言語に関する技術分野に機械学習を適用して、分類の効率化と精度向上を
図る試みもなされている。例えば、特許文献４（特開２０２１－０５６５９１号公報）では、機械学習に用いる教師データを作成するために、クラスタリングの結果をユーザに提示して、ユーザから指定されたラベルを用いて機械学習を行う技術が開示されている。また、特許文献５（特開２０２１－０６８２２５号公報）では、一般的な機械学習の技術として、教師データを用いて学習済みモデルを作成し、そのモデルを用いて言語処理を行うことが開示されている。
図る試みもなされている。例えば、特許文献４（特開２０２１－０５６５９１号公報）では、機械学習に用いる教師データを作成するために、クラスタリングの結果をユーザに提示して、ユーザから指定されたラベルを用いて機械学習を行う技術が開示されている。また、特許文献５（特開２０２１－０６８２２５号公報）では、一般的な機械学習の技術として、教師データを用いて学習済みモデルを作成し、そのモデルを用いて言語処理を行うことが開示されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開２００１－２６６０６０号公報
【特許文献2】特開２０１１－０２２８７４号公報
【特許文献3】特開２０２０－１２６６３１号公報
【特許文献4】特開２０２１－０５６５９１号公報
【特許文献5】特開２０２１－０６８２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかし、このような従来技術において、アンケートの自由回答式の質問に対する回答の分類における機械学習の適用は十分に検討されておらず、さらなる技術開発が必要とされていた。
【0012】
本発明は上記の課題に鑑みてなされたものであり、アンケートの自由回答式の質問への回答に機械学習の技術を適用し、効率よく精度の高い分類を行うことを目的とする。
【課題を解決するための手段】
【0013】
上記の目的を達成するため、本発明は以下のような構成を採用する。
すなわち、
自由回答式の質問を含むアンケートを回答者に送信する送信ステップと、
複数の前記回答者から、前記アンケートに対する回答を受信する受信ステップと、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリングステップと、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成ステップと、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリングステップと、
を有することを特徴とする情報処理方法である。
すなわち、
自由回答式の質問を含むアンケートを回答者に送信する送信ステップと、
複数の前記回答者から、前記アンケートに対する回答を受信する受信ステップと、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリングステップと、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成ステップと、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリングステップと、
を有することを特徴とする情報処理方法である。
【0014】
本発明はまた、以下の構成を採用する。
すなわち、
自由回答式の質問を含むアンケートを回答者に送信する送信手段と、
複数の前記回答者から、前記アンケートに対する回答を受信する受信手段と、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得手段と、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリング手段と、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回
答の文を再クラスタリングするための学習済みモデルを生成する生成手段と、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリング手段と、
を有することを特徴とする情報処理装置である。
すなわち、
自由回答式の質問を含むアンケートを回答者に送信する送信手段と、
複数の前記回答者から、前記アンケートに対する回答を受信する受信手段と、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得手段と、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリング手段と、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回
答の文を再クラスタリングするための学習済みモデルを生成する生成手段と、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリング手段と、
を有することを特徴とする情報処理装置である。
【発明の効果】
【0015】
本発明によれば、アンケートの自由回答式の質問への回答に機械学習の技術を適用し、効率よく精度の高い分類を行うことができる。
【図面の簡単な説明】
【0016】
【図1】情報処理システムの構成を説明する図である。
【図2】実施例１の処理フローを説明する図である。
【図3】情報処理システムの機能ブロックを説明する図である。
【図4】アンケートに含まれる質問について説明する図である。
【図5】回答者による回答とクラス情報について説明する図である。
【発明を実施するための形態】
【0017】
以下に図面を参照しつつ、本発明の好適な実施の形態を説明する。ただし、以下に記載されている構成要素やそれらの相対配置などは、発明が適用されるシステム等の各種条件に応じて適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
【0018】
本発明は、回答者に質問を行い、回答を取得するアンケート調査に好ましく適用できる。本発明は、このような調査を行う情報処理システムまたは情報処理方法として捉えられる。本発明はまた、情報処理システムを構成する情報処理装置としても捉えられる。本発明はまた、情報処理システムまたは情報処理装置の制御方法としても捉えられる。本発明はまた、情報処理装置の演算資源を利用して動作し、情報処理方法の各工程を実行するプログラムとしても捉えられる。本発明はまた、かかるプログラムが格納された記憶媒体としても捉えられる。記憶媒体は、コンピュータにより読み取り可能な非一時的な記憶媒体でもよい。
【0019】
以下の実施例において、調査者とは調査を行う主体であり、経済活動や研究など任意の調査目的に応じて回答者にアンケートを行い、収集した回答を集計し解析する。調査者は、調査目的を持つ企業等それ自身であっても良く、リサーチ業者のような調査代行者でも良い。回答者とは調査者から送られてきたアンケートに対して回答する自然人であり、モニタとも呼ばれる。
【0020】
［実施例１］
＜システム構成＞
本実施形態のシステム構成について、図１を参照しながら説明する。本実施例の情報処理システムは、ネットリサーチ業者である調査者が回答者３に対してアンケートを行う調査システム１である。調査システム１は、調査者が使用するサーバ４と、回答者３が使用する端末２を少なくとも備えている。操作者８は、調査者であるリサーチ業者に属し、サーバ４を操作してアンケートに関する業務を行う者であり、アンケートの設定や実施、質問への回答の分析などに従事する。サーバ４と端末２は、Ｗｅｂ６や専用回線等を介して相互に通信可能である。
＜システム構成＞
本実施形態のシステム構成について、図１を参照しながら説明する。本実施例の情報処理システムは、ネットリサーチ業者である調査者が回答者３に対してアンケートを行う調査システム１である。調査システム１は、調査者が使用するサーバ４と、回答者３が使用する端末２を少なくとも備えている。操作者８は、調査者であるリサーチ業者に属し、サーバ４を操作してアンケートに関する業務を行う者であり、アンケートの設定や実施、質問への回答の分析などに従事する。サーバ４と端末２は、Ｗｅｂ６や専用回線等を介して相互に通信可能である。
【0021】
調査者は、モニタに対してメールなどの連絡方法でアンケートへの参加を要請し、回答者３が端末２のブラウザや専用アプリを用いてサーバ４にアクセスすることにより、アンケートが開始される。なお、本番のアンケートの前に予備的なアンケートを行い、調査目
的に沿った属性を持つ複数の回答者からなる回答者群を決定し、アンケートの割り付け条件を満たすようにしてもよい。また、調査者であるリサーチ業者が回答者候補を会員として組織化している場合、それらの候補から回答者を選択してアンケートへの参加を要請してもよい。
的に沿った属性を持つ複数の回答者からなる回答者群を決定し、アンケートの割り付け条件を満たすようにしてもよい。また、調査者であるリサーチ業者が回答者候補を会員として組織化している場合、それらの候補から回答者を選択してアンケートへの参加を要請してもよい。
【0022】
端末２は、回答者３にアンケートの質問を表示するための画像表示手段２１と、回答者３が質問に回答するための入力手段２２と、装置の動作を制御する制御手段２３を少なくとも備える装置である。端末２としては、制御手段２３としてのＣＰＵなどのプロセッサ、メモリなどの記憶手段、通信手段などを備え、プログラムの指示や回答者３からの操作入力に従って動作する、ＰＣ、ワークステーション、スマートフォン、タブレットデバイスなどの情報処理装置が好適である。端末２がＰＣやワークステーションの場合、画像表示手段２１として液晶ディスプレイや有機ＥＬディスプレイなどの表示装置を利用でき、入力手段２２としてキーボードやマウスなどの入力インターフェースを利用できる。また、端末２がタッチパネル式のスマートフォンやタブレットデバイスの場合、タッチパネルが画像表示手段２１と入力手段２２を兼ねていてもよい。
【0023】
サーバ４は、Ｗｅｂ６を介して端末２に質問を含むアンケートを送信し、回答者３による回答を収集、分析するための情報処理装置である。サーバ４は、操作者８がアンケートの設定、実行および解析を行う際のインターフェースである画像表示手段４１および入力手段４２と、装置の動作を制御する制御手段４３を少なくとも備える。サーバ４としては、制御手段４３としてのＣＰＵなどのプロセッサ、メモリなどの記憶手段、通信手段などを備え、プログラムの指示や操作者８からの操作入力に従って動作する、ＰＣやワークステーションなどの情報処理装置が好適である。なお、サーバ４は必ずしも単一の情報処理装置で構成されていなくてもよく、複数の情報処理装置を組み合わせてサーバの機能を実現してもよい。また、サーバ４はクラウド上の演算資源を用いるものでもよい。本実施例における情報処理方法としての調査方法は、制御手段４３がプログラムの機能を実行することによって実現される。
【0024】
サーバ４は、アダプタやケーブル等の接続手段を介して、データベース４５と相互に通信可能に接続されている。データベース４５は、本実施例の調査方法に用いられるデータを記憶するものであり、例えばハードディスクやフラッシュメモリ等の記憶媒体を備える記憶装置が用いられる。データベース４５の物理的な構成や配置には特に限定は無く、オンプレミス方式またはクラウド方式のいずれを採用してもよい。本実施例のデータベース４５は関係データベースとし、少なくとも、回答者３に関する回答者情報を記憶する回答者テーブル４５１、アンケートに含まれる質問に関する質問情報を保持する質問テーブル４５２、回答者から得られた回答に関する回答情報を保持する回答テーブル４５３を含む。
【0025】
＜処理フロー＞
続いて、本実施例の処理の流れを説明する。図２は処理フロー図であり、各ステップは基本的にはサーバ４の各機能ブロックにより実行される。図３は、サーバ４における機能ブロック図であり、図中で「…部」と表記される各機能ブロックは、制御手段４３がプログラムの指令や操作者８の指示入力に従い動作することで実現される。各機能ブロックは、例えばＣＰＵに読み込まれて入力情報に対して情報処理を行うプログラムモジュールとして構成してもよい。
続いて、本実施例の処理の流れを説明する。図２は処理フロー図であり、各ステップは基本的にはサーバ４の各機能ブロックにより実行される。図３は、サーバ４における機能ブロック図であり、図中で「…部」と表記される各機能ブロックは、制御手段４３がプログラムの指令や操作者８の指示入力に従い動作することで実現される。各機能ブロックは、例えばＣＰＵに読み込まれて入力情報に対して情報処理を行うプログラムモジュールとして構成してもよい。
【0026】
ステップＳ１において、回答者３が決定される。回答者決定部４００は、データベース４５の回答者テーブル４５１を参照し、回答者候補からアンケートの条件に合う回答者３をアンケートの事前に決定する。例えば、調査者が保持する回答者候補の属性に基づいて回答者３を決定してもよく、事前アンケートを行って回答者３を絞り込んでもよい。アン
ケートの割り付け条件を満たす回答者群が決定された後、次ステップに進む。
ケートの割り付け条件を満たす回答者群が決定された後、次ステップに進む。
【0027】
ステップＳ２において、回答者３にアンケートが送信される。アンケート実施部４０５は、回答者３に、回答者情報に含まれる連絡手段によって、質問テーブル４５２が保持するアンケートを送信する。連絡手段は、メール形式、Ｗｅｂ形式、専用アプリ形式など任意である。また本実施例のアンケートには、少なくとも一つの自由回答式の質問が含まれるものとする。
【0028】
ステップＳ３において、回答者３から回答が受信される。アンケート実施部４０５は、受信した回答を回答テーブル４５３に保存する。
【0029】
ここで、本実施例のアンケートには、図４に示すように、５つの選択肢からの選択式の質問Ｑ１と、自由回答式の質問Ｑ２が含まれる。
【0030】
図５（ａ）は、回答テーブル４５３に保存される回答の例である。回答者ＩＤは、回答者３を特定するＩＤであり、回答者テーブル４５１には、回答者ＩＤと対応付けて様々な属性情報が保存されている。アンケートＩＤは、アンケートを特定するＩＤであり、質問テーブル４５２には、アンケートＩＤと関連付けて質問が保存されている。さらに、回答テーブル４５３には、アンケートＩＤおよび回答者ＩＤと関連付けて、各回答者３による回答が保存されている。回答者ＩＤとアンケートＩＤを組み合わせることにより、本実施例で用いる回答のサンプルＩＤを特定することができる。図に示す通り、回答Ａ１には選択肢が保存され、回答Ａ２には自由回答の内容が保存されている。
【0031】
続いて、ステップＳ４からＳ６にかけては、自由回答をベクトル化してクラスタリングするまでの一連の処理が行われ、本実施例において第１のクラスタリングとも呼ばれる。
【0032】
ステップＳ４において、自由回答に対する前処理が行われる。前処理部４１０は、自由回答の文を、後続処理が適正に実施できるように前処理する。前処理として例えば、ノイズとなるような無関係であったり不正確であったりするデータを削除または修正するデータクレンジング処理や、回答からの単語抽出処理などがある。抽出された単語は、例えばクラスタ別のラベルを自動生成する際に利用可能である。
【0033】
ステップＳ５において、自由回答のベクトル化が行われる。ベクトル化部４１５は、前処理後の自由回答にモデルを適用し、文単位でのベクトル情報を取得する。ベクトル化部４１５の処理により得られるベクトル情報には、処理対象となる自由回答の文の特徴を所定の次元の数値の組で表現したベクトルが含まれる。その際に用いるモデルとしては、自然言語処理向けの機械学習モデル、例えば文書の高品質なクラスタリングを目的としたＳｅｎｔｅｎｃｅＢＥＲＴなどのモデルを利用することができる。
【0034】
ステップＳ６において、文単位でのベクトル情報をもとにしたクラスタリングが行われる。クラスタリング部４２０は、ベクトル情報のデータセットにクラスタリング手法を適用して、複数の回答者から得られた自由回答を、特徴ベクトルに基づいて類似度を比較してグループ化し、複数のクラスに分類する。クラスの数は操作者８が具体的な数値で指定してもよく、既定のクラス数から選択してもよい。本ステップの処理により得られるクラス情報には、各クラスに付されたラベル、各データのクラスへの分類に関する情報、あるクラスを代表する文（以下、代表文という）等が含まれる。クラスタリング手法は任意であるが、例えばデータを自動的にクラス分類する教師なし機械学習モデルである混合ガウスモデル（ＧＭＭ）などが好適に利用できる。
【0035】
ここで図５（ｂ）を参照して、ステップＳ６により得られるデータの例を説明する。こ
こでのクラス名は、各クラスに付与されたラベル情報であり、本実施例ではクラスタリングのアルゴリズムが自動的に特徴ベクトルに基づいて決定したものを用いている。また代表文も、自動的に決定されたものを用いている。
こでのクラス名は、各クラスに付与されたラベル情報であり、本実施例ではクラスタリングのアルゴリズムが自動的に特徴ベクトルに基づいて決定したものを用いている。また代表文も、自動的に決定されたものを用いている。
【0036】
以上、ステップＳ６からＳ４にかけて行われる第１のクラスタリングでは、ある自由回答式の質問に対して複数の回答者３がそれぞれ答えた複数の回答をサーバ４に入力してから、クラスタリングが行われて代表文が取得されるまでの処理が行われる。これら一連の処理は回答データに対して所定の情報処理を施すことで実行可能であるため、サーバ上で動作するツールにより自動化することが好ましい。
【0037】
続いて、ステップＳ７およびＳ８では、調査目的に沿った結果が得られるように操作者８が第１のクラスタリングの出力結果を調整する、調整処理が行われる。この処理は、第１のクラスタリングで得られたデータを機械学習の教師データとして用いる前に、より調査の目的に最適化するために行われる。すなわち、ステップＳ４からＳ６の処理がツールにより自動的に行われる場合、処理時間や作業の手間は削減できるものの、出力されたクラス分類、クラス名、代表文などのクラス情報が調査の目的に最適化されていない場合がある。また、調査者が、顧客からの依頼を受けてアンケートを実施するリサーチ業者である場合、当該顧客の背景に応じて理解しやすい形式で調査結果を提供する必要がある。そのため、可能であればステップＳ７およびＳ８を実行することが好ましい。
【0038】
ステップＳ７において、出力部４２５が、操作者８がクラス情報を確認できるように画像表示手段４１への出力を行う。そこで操作者８は、出力された情報を確認してクラス情報を調整する。出力部４２５は、出力インターフェースへの表示を制御するプログラムモジュールであり、例えば画像表示手段４１にクラス情報を表示させる。
【0039】
ステップＳ８において、入力受付部４３０がその調整結果を受け付ける。入力受付部４３０は、操作者８が入力した内容を受け付けて解釈するプログラムモジュールであり、例えばキーボード等の入力インターフェースである入力手段４２により入力された代表文の調整結果の入力を受け付ける。以上、ステップＳ７からＳ８にかけて行われる調整処理では、自由回答をクラスタリングした各クラスについて、操作者８により調整されたクラス情報が取得される。
【0040】
ここで図５（ｃ）を参照して、ステップＳ８により取得されるデータの例を説明する。本実施例での調整対象は、クラス名と代表文とする。クラス名については、操作者８が当該クラスに含まれる自由回答の内容を参照しながら、適切な名前を付与することにより、修正ラベル名としての修正クラス名を入力する。また、「コーヒー・飲みたい」とラベリングされたクラスと「コーヒー・好き」とラベリングされたクラスを、「コーヒーが好き・飲みたい」という同じクラスに統合している。このようなクラスの統合のほかに、クラスを分割してもよいし、あるクラスに含まれる回答の一部を他のクラスに移動させてもよい。その他、操作者の知識と経験に基づき適切と判断される調整処理を行ってよい。また代表文については、顧客にとって理解しやすい自然な文となるように、修正代表文を作成している。
【0041】
続いて、ステップＳ９およびＳ１０では、調整済みのデータをもとにしたモデルＭの作成と、当該モデルを用いた再クラスタリングである第２のクラスタリングが行われる。ステップＳ９において、モデル作成部４３５が、自由回答の文と、当該自由回答が属する調整済みのクラスのクラス情報とがペアとして対応付けられた教師データを用いて機械学習を行い、モデルＭを生成する。モデルＭは、アンケートの自由回答を適切なクラスに分類するのに適した学習済みモデルである。
【0042】
ステップＳ１０において、分類部４４０は、モデルＭを回答テーブル４５３の自由回答に適用して分類を行う。これにより、各自由回答が調整済みのクラス情報に基づいて分類されて、ラベル情報としてのクラス名が付与される。その結果、自由回答が、定量的な解析に適しており、かつ調査の目的や顧客の背景に最適化された形で分類される。この第２のクラスタリングの結果として得られたクラス情報や代表文に対して、さらに操作者８による微調整を行ってもよい。
【0043】
ステップＳ１１において、集計部４４５は、分類済みの自由回答を用いて、マーケティングや統計資料の作成、学術研究など、所望の調査目的に応じた集計処理を行い、レポートを出力する。例えば、回答者の属性や、他の自由回答式の質問との間でクロス集計を行うことも可能である。なお、アンケート中に自由回答式の質問が複数含まれている場合は、質問ごとに本フローの処理を行えばよい。
【0044】
以上、本実施例の情報処理方法によれば、自由回答式の質問に対する多様な回答に対して、操作者の知識と経験を踏まえて、調査の目的に沿った理解しやすい適切なラベルを付与することができる。その結果、自由回答を定量的に集計・解析することが容易になり、コストの低減と調査精度の向上を図ることができる。
【符号の説明】
【0045】
４：サーバ、４１：画像表示手段、４２：入力手段、４３：制御手段、４０５：アンケート実施部、４１５：ベクトル化部、４２０：クラスタリング部、４２５：出力部、４３０：入力受付部、４３５：モデル生成部、４４０：分類部、Ｍ：モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-01-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理装置が、自由回答式の質問を含むアンケートを回答者に送信する送信ステップと、
前記情報処理装置が、複数の前記回答者から、前記アンケートに対する回答を受信する受信ステップと、
前記情報処理装置が、複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、
前記情報処理装置が、前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリングステップと、
前記情報処理装置が、前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文に、前記第１のクラスタリングステップにおけるクラスタリングとは異なるクラスタリングである再クラスタリングを行うための学習済みモデルを生成する生成ステップと、
前記情報処理装置が、複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリングステップと、
を有することを特徴とする情報処理方法。
前記情報処理装置が、複数の前記回答者から、前記アンケートに対する回答を受信する受信ステップと、
前記情報処理装置が、複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、
前記情報処理装置が、前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリングステップと、
前記情報処理装置が、前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文に、前記第１のクラスタリングステップにおけるクラスタリングとは異なるクラスタリングである再クラスタリングを行うための学習済みモデルを生成する生成ステップと、
前記情報処理装置が、複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリングステップと、
を有することを特徴とする情報処理方法。
【請求項2】
前記情報処理装置は、教師なし学習により前記第１のクラスタリングステップにおけるクラスタリングを行う
ことを特徴とする請求項１に記載の情報処理方法。
ことを特徴とする請求項１に記載の情報処理方法。
【請求項3】
情報処理装置が、自由回答式の質問を含むアンケートを回答者に送信する送信ステップと、
前記情報処理装置が、複数の前記回答者から、前記アンケートに対する回答を受信する受信ステップと、
前記情報処理装置が、複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、
前記情報処理装置が、前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報および代表文を含むクラス情報を取得する第１のクラスタリングステップと、
前記情報処理装置が、前記第１のクラスタリングステップで取得された前記ラベル情報および前記代表文を、前記自由回答の文とともにインターフェースに出力する出力ステップと、
前記情報処理装置が、操作者による前記インターフェースを用いた操作により前記ラベル情報から修正された修正ラベル情報および前記代表文から修正された修正代表文の入力を受け付ける入力受付ステップと、
前記情報処理装置が、前記修正ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成ステップと、
前記情報処理装置が、複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリングステップと、
を有することを特徴とする情報処理方法。
前記情報処理装置が、複数の前記回答者から、前記アンケートに対する回答を受信する受信ステップと、
前記情報処理装置が、複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得ステップと、
前記情報処理装置が、前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報および代表文を含むクラス情報を取得する第１のクラスタリングステップと、
前記情報処理装置が、前記第１のクラスタリングステップで取得された前記ラベル情報および前記代表文を、前記自由回答の文とともにインターフェースに出力する出力ステップと、
前記情報処理装置が、操作者による前記インターフェースを用いた操作により前記ラベル情報から修正された修正ラベル情報および前記代表文から修正された修正代表文の入力を受け付ける入力受付ステップと、
前記情報処理装置が、前記修正ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成ステップと、
前記情報処理装置が、複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリングステップと、
を有することを特徴とする情報処理方法。
【請求項4】
前記情報処理装置が、前記第１のクラスタリングステップで取得された前記ラベル情報を、前記自由回答の文とともにインターフェースに出力する出力ステップと、
前記情報処理装置が、操作者による前記インターフェースを用いた操作により前記ラベル情報から修正された修正ラベル情報の入力を受け付ける入力受付ステップと、
をさらに有し、
前記生成ステップにおいては、前記修正ラベル情報と前記自由回答の文が対応付けられた前記教師データが用いられる
ことを特徴とする請求項１に記載の情報処理方法。
前記情報処理装置が、操作者による前記インターフェースを用いた操作により前記ラベル情報から修正された修正ラベル情報の入力を受け付ける入力受付ステップと、
をさらに有し、
前記生成ステップにおいては、前記修正ラベル情報と前記自由回答の文が対応付けられた前記教師データが用いられる
ことを特徴とする請求項１に記載の情報処理方法。
【請求項5】
前記出力ステップにおいては、各クラスについて、前記ラベル情報とともに代表文が前記インターフェースに出力され、
前記入力受付ステップにおいては、前記操作者の操作により前記代表文から修正された修正代表文の入力が受け付けられる
ことを特徴とする請求項４に記載の情報処理方法。
前記入力受付ステップにおいては、前記操作者の操作により前記代表文から修正された修正代表文の入力が受け付けられる
ことを特徴とする請求項４に記載の情報処理方法。
【請求項6】
前記情報処理装置が、前記受信ステップで受信した前記自由回答の文に対して前処理を行う前処理ステップをさらに有する
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理方法。
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理方法。
【請求項7】
前記前処理には、データクレンジング処理と単語抽出処理の少なくともいずれか一方が含まれる
ことを特徴とする請求項６に記載の情報処理方法。
ことを特徴とする請求項６に記載の情報処理方法。
【請求項8】
前記情報処理装置が、前記第２のクラスタリングステップにおいて複数のクラスに再クラスタリングされた前記複数の回答を用いて集計処理を行う集計ステップをさらに有することを特徴とする請求項１から７のいずれか１項に記載の情報処理方法。
【請求項9】
請求項１から８のいずれか１項に記載の情報処理方法の各ステップを情報処理装置に実行させる
ことを特徴とするプログラム。
ことを特徴とするプログラム。
【請求項10】
自由回答式の質問を含むアンケートを回答者に送信する送信手段と、
複数の前記回答者から、前記アンケートに対する回答を受信する受信手段と、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得手段と
、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリング手段と、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文に、前記第１のクラスタリング手段によるクラスタリングとは異なるクラスタリングである再クラスタリングを行うための学習済みモデルを生成する生成手段と、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリング手段と、
を有することを特徴とする情報処理装置。
複数の前記回答者から、前記アンケートに対する回答を受信する受信手段と、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得手段と
、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報を含むクラス情報を取得する第１のクラスタリング手段と、
前記ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文に、前記第１のクラスタリング手段によるクラスタリングとは異なるクラスタリングである再クラスタリングを行うための学習済みモデルを生成する生成手段と、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリング手段と、
を有することを特徴とする情報処理装置。
【請求項11】
前記第１のクラスタリング手段は、教師なし学習によりクラスタリングを行う
ことを特徴とする請求項１０に記載の情報処理装置。
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項12】
自由回答式の質問を含むアンケートを回答者に送信する送信手段と、
複数の前記回答者から、前記アンケートに対する回答を受信する受信手段と、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得手段と、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報および代表文を含むクラス情報を取得する第１のクラスタリング手段と、
前記第１のクラスタリング手段により取得された前記ラベル情報および前記代表文を、前記自由回答の文とともにインターフェースに出力する出力手段と、
操作者による前記インターフェースを用いた操作により前記ラベル情報から修正された修正ラベル情報および前記代表文から修正された修正代表文の入力を受け付ける入力受付手段と、
前記修正ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成手段と、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリング手段と、
を有することを特徴とする情報処理装置。
複数の前記回答者から、前記アンケートに対する回答を受信する受信手段と、
複数の前記回答中の自由回答の文をベクトル化してベクトル情報を取得する取得手段と、
前記ベクトル情報に基づいてクラスタリングを行って前記複数の回答を複数のクラスに分類し、各クラスについてラベル情報および代表文を含むクラス情報を取得する第１のクラスタリング手段と、
前記第１のクラスタリング手段により取得された前記ラベル情報および前記代表文を、前記自由回答の文とともにインターフェースに出力する出力手段と、
操作者による前記インターフェースを用いた操作により前記ラベル情報から修正された修正ラベル情報および前記代表文から修正された修正代表文の入力を受け付ける入力受付手段と、
前記修正ラベル情報と前記自由回答の文が対応付けられた教師データを用いて、前記自由回答の文を再クラスタリングするための学習済みモデルを生成する生成手段と、
複数の前記自由回答の文に前記学習済みモデルを適用して、前記再クラスタリングを行う第２のクラスタリング手段と、
を有することを特徴とする情報処理装置。