特開 2024-31394 分析支援方法、分析支援装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024031394

(43)【公開日】2024-03-07

(54)【発明の名称】分析支援方法、分析支援装置及びプログラム

(51)【国際特許分類】

   G06Q 10/00 20230101AFI20240229BHJP

【ＦＩ】

G06Q10/00

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022134918

(22)【出願日】2022-08-26

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】598121341

【氏名又は名称】慶應義塾

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】光田 航

(72)【発明者】

【氏名】東中 竜一郎

(72)【発明者】

【氏名】高汐 一紀

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA00

(57)【要約】

【課題】共通基盤の構築過程の分析を支援すること。
【解決手段】それぞれが２以上の作業者を含む複数のグループが共通の課題を達成するためにグループ内における意思疎通を通じて行った作業の状況の履歴データに基づいて、前記作業の環境及び作業者間の関係に基づいて区別される類型ごとに、前記課題の達成の度合いを示す指標の推移を前記履歴データに基づいて算出する算出手順と、前記推移を出力する出力手順と、をコンピュータが実行する。
【選択図】図３

【特許請求の範囲】

【請求項1】

それぞれが２以上の作業者を含む複数のグループが共通の課題を達成するためにグループ内における意思疎通を通じて行った作業の状況の履歴データに基づいて、前記作業の環境及び作業者間の関係に基づいて区別される類型ごとに、前記課題の達成の度合いを示す指標の推移を前記履歴データに基づいて算出する算出手順と、
前記推移を出力する出力手順と、
をコンピュータが実行することを特徴とする分析支援方法。

【請求項2】

前記作業の環境は、前記意思疎通のために取りうる手段に基づいて区別される、
ことを特徴とする請求項１記載の分析支援方法。

【請求項3】

前記作業者間の関係は、知人であるか否かに基づいて区別される、
ことを特徴とする請求項１又は２記載の分析支援方法。

【請求項4】

前記複数のグループを前記課題の達成に成功した第１のグループと、前記課題の達成に失敗した第２のグループとに分類する分類手順、
をコンピュータが実行し、
前記算出手順は、前記第１のグループ又は前記第２のグループについて、前記類型ごとに前記推移を算出する、
ことを特徴とする請求項１記載の分析支援方法。

【請求項5】

それぞれが２以上の作業者を含む複数のグループが共通の課題を達成するためにグループ内における意思疎通を通じて行った作業の状況の履歴データに基づいて、前記作業の環境及び作業者間の関係に基づいて区別される類型ごとに、前記課題の達成の度合いを示す指標の推移を前記履歴データに基づいて算出するように構成されている算出部と、
前記推移を出力するように構成されている出力部と、
を有することを特徴とする分析支援装置。

【請求項6】

それぞれが２以上の作業者を含む複数のグループが共通の課題を達成するためにグループ内における意思疎通を通じて行った作業の状況の履歴データに基づいて、前記作業の環境及び作業者間の関係に基づいて区別される類型ごとに、前記課題の達成の度合いを示す指標の推移を前記履歴データに基づいて算出する算出手順と、
前記推移を出力する出力手順と、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分析支援方法、分析支援装置及びプログラムに関する。

【背景技術】

【0002】

対話システムにおいて、人間はコンピュータと対話を行うことで、種々の情報を得たり、要望を満たしたりする。また、所定のタスクを達成するだけではなく、日常会話を行う対話システムも存在する。これらによって、人間は精神的な安定を得たり、承認欲を満たしたり、信頼関係を築いたりする。対話システムの類型については非特許文献１に記載されている。

【0003】

非特許文献１にも示されているように、現在の雑談対話システムは状態を持たず、直前のユーザ発話の情報のみに基づいてシステム発話を選択及び生成する一問一答のものが主流である。一問一答の雑談対話システムは、一問一答を越える複雑な対話が難しいため、複雑なやり取りを必要とする雑談の場合、満足度が低いという問題がある。

【0004】

この問題を解決するための手段として、システムに共通基盤と呼ばれる情報を持たせる方法がある。対話において、対話の参加者の間で共有される知識や信念などの情報を共通基盤（又は、相互信念）と呼ぶ。対話をモデル化する上で、共通基盤は重要な概念の一つとされてきたが、共通基盤が構築される過程を分析した研究は少ない（非特許文献２）。

【0005】

共通基盤の構築をモデル化するための試みとして、二名の作業者が課題を達成するテキストチャットを収集、分析した研究が存在する（非特許文献３）。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】河原達也、「音声対話システムの進化と淘汰 --歴史と最近の技術動向--」、人工知能学会誌，Vol. 28，No. 1，p45-51，2013

【非特許文献2】中野幹生、「対話システムにおける基盤化処理」、言語・音声理解と対話処理研究会 SIG-SLUD-B901-01, 2019

【非特許文献3】光田航，東中竜一郎，大賀悠平，杵渕哲也、「共同図形配置課題における対話の共通基盤構築過程の分析」、言語処理学会第 27回年次大会発表論文集 (NLP2021), 2021

【発明の概要】

【発明が解決しようとする課題】

【0007】

ロボットやバーチャルエージェントが人と自然に対話するためには、ユーザとの共通基盤を構築することが不可欠である。人間同士の対話における共通基盤の構築過程の詳細を分析した事例は少なく、作業環境や作業者に関する各種条件が共通基盤の構築過程に与える影響を分析する手法は確立されていない。

【0008】

本発明は、上記の点に鑑みてなされたものであって、共通基盤の構築過程の分析を支援すること目的とする。

【課題を解決するための手段】

【0009】

そこで上記課題を解決するため、それぞれが２以上の作業者を含む複数のグループが共通の課題を達成するためにグループ内における意思疎通を通じて行った作業の状況の履歴データに基づいて、前記作業の環境及び作業者間の関係に基づいて区別される類型ごとに、前記課題の達成の度合いを示す指標の推移を前記履歴データに基づいて算出する算出手順と、前記推移を出力する出力手順と、をコンピュータが実行する。

【発明の効果】

【0010】

共通基盤の構築過程の分析を支援することができる。

【図面の簡単な説明】

【0011】

【図1】共同図形配置課題に用いたタスクツールを説明するための図である。

【図2】本発明の実施の形態における分析支援装置１０のハードウェア構成例を示す図である。

【図3】本発明の実施の形態における分析支援装置１０の機能構成例を示す図である。

【図4】共同図形配置課題の中で観察された対話の一例を示す図である。

【図5】図形操作と発話に関する統計情報の一例を示す図である。

【図6】条件の類型ごとのタスク結果の一例を示す図である。

【図7】各類型における成功パタンの図形配置間距離の平均の推移を示す図である。

【図8】各類型における失敗パタンの図形配置間距離の平均の推移を示す図である。

【発明を実施するための形態】

【0012】

作業環境や作業者間の関係条件を設定し、話者間で共通基盤が構築される対話を収集して対話の分析を行うことができれば、設定した条件が共通基盤の構築を加速させるかどうか、また、どのような条件が共通基盤の構築に必要かどうかの検討が可能となる。

【0013】

作業環境や作業者間の関係条件が共通基盤の構築過程に及ぼす影響を分析するため、調査したい条件下で二名の作業者が共通基盤を構築する課題（構築される共通基盤が定量化できる課題であれば何でもよい。）を実施し、共通基盤構築の時間推移を記録したコーパスを構築する。本実施の形態における分析支援装置１０は、このようなコーパスデータを入力とし、課題に関する行動や発話に関するデータ、条件の類型ごとのタスク達成率、共通基盤構築の進行状況を統計データとして出力する。この出力を人手で分析することで、設定した条件が共通基盤の構築を加速させるかどうか、また、どのような条件が共通基盤の構築に必要かどうかの検討が可能となる。

【0014】

以下、図面に基づいて本発明の実施の形態を説明する。

【0015】

本実施の形態では、二名の作業者が独立に図形を配置する共同図形配置課題を設定し、一致した図形配置を共通基盤とみなすことで、対話等の意思疎通と共通基盤を共同図形配置コーパスとして記録する課題を例に説明する。

【0016】

共同図形配置課題は、ランダムに配置された複数の図形の配置を二名が相談しながら独立に揃える課題である（非特許文献３）。図形の配置は、家具の配置作成や、地図上のシンボルの配置、デザインの作成などと共通する一般的な課題であり、実社会の多用な課題をカバーするものである。

【0017】

図１は、共同図形配置課題に用いたタスクツールを説明するための図である。図１には、共同図形配置課題において、タスク開始時の各作業者のツールの表示状態（ランダムな場所に配置された７つの図形）を示す。タスクの中で、それぞれの作業者は異なる場所に配置されている図形を互いに意思疎通を取りながら（例えば、話し合いながら）配置を一致させていく。作業者は画面上に表示された図形の位置を、マウスをドラッグさせることにより移動させることができる。但し、各作業者は、相手の図形の配置は参照することはできない。意思疎通は対面でなくてよく、例えば、チャット等を用いてネットワークを介して行われてもよい。或る時点において双方が配置に同意したら、各作業者は、ツールの上部にある「終了」ボタンを押すことによってタスクを終了する。タスクとは、課題を達成するための作業をいう。図形の操作、作業状況（操作に応じた図形の配置）、ステータスの変更（「開始」又は「終了」等）の履歴はログファイルにタイムスタンプと共に記録される。対話者間の図形配置の一致を共通基盤とみなすことによって、共通基盤の構築過程を分析することができる。

【0018】

本実施の形態において、作業環境は、意思疎通のために取りうる手段に基づいて区別される。具体的には、作業環境としては、音声のみによって意思疎通を図れる環境であるか、音声及び映像によって意思疎通を図れる環境であるかのいずれかの条件が設定される。また、作業者の関係は、知人であるか否かに基づいて区別される。このように区別される作業環境及び作業者間の関係の組み合わせによる４通りの条件の類型のうちのいずれかの類型が、が各タスク（各タスクを実施する作業者のペア（グループ））に対して設定される。なお、作業関係に関する条件は、作業環境におけるモダリティに関する条件である。作業者間の関係に関する条件は、作業者間の社会的関係性に関する条件である。

【0019】

具体的には、ビデオチャットツールのビデオをオフにした条件（以下、「Ｖｏｉｃｅ」という。）では、音声のみが相手に聞こえることとなる。ビデオをオンにした条件（以下、「Ｖｏｉｃｅ＋Ｖｉｄｅｏ」という。）では、音声に加えて相手の映像が各作業者に表示され、顔の表情やジェスチャーなどの非言語的行動も含めた伝達がなされるようになる。

【0020】

社会的関係性の条件では、作業者二者が実験以前から知り合いであるという条件（以下、「Ｆｒｉｅｎｄ」という。）と、初対面同士（以下、「Ｆｉｒｓｔ ｍｅｅｔ」という。）での対話を例とし、社会的関係性を制御した場合の共通基盤構築への影響を分析することを想定する。

【0021】

図２は、本発明の実施の形態における分析支援装置１０のハードウェア構成例を示す図である。図２の分析支援装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。

【0022】

分析支援装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0023】

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って分析支援装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。

【0024】

図３は、本発明の実施の形態における分析支援装置１０の機能構成例を示す図である。分析支援装置１０は、コーパスデータを入力とし、課題に関する行動や発話に関するデータ、条件（の類型）ごとのタスク達成率、共通基盤構築の進行状況を統計データとして出力する。出力を人手で分析することで、設定した条件が共通基盤の構築を加速させるかどうか、また、どのような条件が共通基盤の構築に必要かどうかの検討が可能となる。このような機能を実現するため、分析支援装置１０は、入力部１１、統計データ抽出部１２、タスク分類部１３及び出力部１４を有する。これら各部は、分析支援装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。

【0025】

［入力部１１］
入力部１１は、分析条件となる作業環境及び作業者間の関係に関する条件、並びに分析対象となる複数の共同図形配置コーパスデータを入力する。すなわち、入力部１１は、共通の課題を達成するために作業を行う複数のグループ（本実施の形態では作業者のペア）のそれぞれについてコーパスデータを入力する。各コーパスデータには以下の内容が含まれる。
・条件に関するデータ
・作業者ごとの共同図形配置課題作業データ
・作業者ごとの発話データ
・非言語行動に関するアノテーションデータ
いずれもタイムスタンプにより、時系列として扱うことができるデータである。なお、作業者ごとの共同図形配置課題作業データは、作業において行われた操作及び操作に応じた図形配置を時系列に示すデータであり、本実施の形態において、作業の状況の履歴データの一例である。

【0026】

図４は、共同図形配置課題の中で観察された対話の一例を示す図である。図４には、時系列順の発話ごとに、ＩＤ、Ｐ及び発話内容が示されている。ＩＤは、発話に対する識別子である。Ｐは、対話の参加者（作業者）の識別子（Ａ又はＢ）である。また、発話内容において、＜ｐ＞は、発話のオーバーラップを示す。

【0027】

ＩＤ＝Ｕ_８２では、位置が決定されていない最後の図形が台形であることがお互いに確認されている。ＩＤ＝Ｕ_８７とＵ_８８では、互いにジェスチャーを使用してこれまでに決定された図形の配置を含めて、図形の順番の確認が行われている。ＩＤ＝Ｕ_９０では、相手に同意する発話が行われ、最終的な共通基盤が構築されている状況である。

【0028】

［統計データ抽出部１２］
統計データ抽出部１２は、入力部１１が入力したコーパスデータ群を条件の類型ごとに分類し、その統計情報を、例えば図５に示すような形式で抽出する。

【0029】

図５において、平均図形操作数は、各タスクの総図形操作数の平均値である。総図形操作数とは、タスクの中で図形を操作した回数の参加者間の合計である。総ターンテイク数は、タスク中におけるターンテイク数の平均である。平均発話時間は、話者ごとの発話時間の合計の平均である。平均タスク時間は、タスクツールの「開始」ボタンが押されてから「終了」ボタンが押されるまでの時間の平均秒数である。

【0030】

総図形操作数は、作業者ごとの共同図形配置課題作業データから抽出（計算）可能である。ターンテイク数及び発話時間は、一般的な音声解析プログラム（例えば、Ｊｕｌｉｕｓ（https://julius.osdn.jp/index.php?q=newjulius.html））を用いて発話データを分析することで得ることができる。

【0031】

図５の例では、総ターンテイク数、平均発話時間及び平均タスク時間に関してはＶｏｉｃｅ＋ＶｉｄｅｏのＦｒｉｅｎｄ条件（類型）が最も大きい結果となっている。但し、総図形操作数に関しては当該条件が最も少なくなっており、Ｖｏｉｃｅ＋ＶｉｄｅｏのＦｒｉｅｎｄ条件では、互いによく話し合いながら、効率良く図形を操作している等の状況が推測できる。

【0032】

［タスク分類部１３］
タスク分類部１３は、タスクの最終的な達成率（本実施の形態では最終的な図形配置（以下、「最終図形配置」という。）の一致率）を比較するために、各タスクにおける二者間の最終図形配置の組み合わせ（以下、「タスク結果」という。）を複数のパタン（以下、「最終図形配置パタン」という。）のいずれかに分類して可視化を行う。最終図形配置パタンの種類はテキストチャットを対象としている先行事例（非特許文献３）と同様とする。すなわち、最終図形配置パタンは、以下の７つである。
１．完全一致：図形が完全に一致しているもの
２．原点ずれ：図形全体の位置が異なるもの
３．縮尺ずれ：図形全体のサイズが異なるもの
４．対称ずれ：図形全体の位置が対称的に異なるもの
５．同図形混同：同種の図形の位置が異なるもの
６．異図形混同：異種の図形の位置が異なるもの
７．完全不一致：図形の位置が全く異なるもの（１～６に該当しないもの）
このうち、成功パタンは、完全一致及び原点ずれであり、参加者間での共通基盤が完全に構築されているとみなされる。それ以外は失敗パタンである。なお、各作業者の最終図形配置は、作業者ごとの共同図形配置課題作業データから導出可能である。

【0033】

タスク分類部１３は、例えば、機械学習を用いて学習済みのモデルを利用して、各タスク結果をいずれかの最終図形配置パタンに分類する。このようなモデルは、例えば、図形配置とラベルがペアになった多量のデータを利用して、事前学習ずみのモデル（例えば、ＢＥＲＴ）を再学習（ｆｉｎｅ－ｔｕｎｉｎｇ）することで生成が可能である。

【0034】

又は、タスク結果の分類は人手によって行われてもよい。この場合、タスク分類部１３は、タスクごとに最終図形配置パタンの入力をユーザから受け付ければよい。

【0035】

タスク分類部１３は、「条件に関するデータ」によって指定された条件の類型ごとに、当該類型に該当するグループのタスク結果について最終図形配置パタンごとの割合（比率）を計算し、例えば、図６に示されるような情報を可視化（表示）する。なお、図６において、括弧内の数値は、該当するタスク数を示す。

【0036】

［出力部１４］
共通基盤構築の定量化指標（課題の達成の度合いを示す指標）として図形配置間距離をタスク中のステップごと（発話ごと）に算出し、作業環境や作業者間の関係に関する条件の類型ごとに、共同図形配置課題における操作単位での推移パタン及び時間推移パタンを可視化する。

【0037】

図形配置間距離とは、非特許文献３において導入されているように、共同図形配置課題における任意の二図形間で定義されるベクトルの差の距離の総和である。具体的には、作業者Ａの図形配置における図形ｉとｊの間で定義されるベクトルｖ_Ａ，ｉｊと、作業者Ｂで同様に定義されるベクトルｖ_Ｂ，ｉｊとの差の距離の総和が図形配置間距離である。この値が低いほど作業者間の図形配置が近く、共通基盤が構築されていることを示す。

【0038】

出力部１４は、条件の類型ごとに、かつ、成功パタンであるか失敗パタンであるかに基づいてタスクを分類するグループごとに、ステップごとの図形配置間距離の平均を算出する。出力部１４は、算出結果を、例えば、図７及び図８に示されるような形式で可視化（出力）する。

【0039】

図７には、各類型における成功パタンの図形配置間距離の平均の推移がグラフ形式で示されている。また、図８には、各類型における失敗パタンの図形配置間距離の平均の推移がグラフ形式で示されている。各図におけるグラフのｙ軸は図形配置間距離に対応し、ｘ軸は共同図形配置課題における図形操作のステップに対応する。図形操作のステップ数は線形変換を用いて１００ステップに正規化されている。

【0040】

図７からは、全ての条件において最終的に１００ステップ付近では図形配置間距離が小さくなる方向に収束しており、図形配置が一致していることが分かる。

【0041】

図７より、Ｖｏｉｃｅ／Ｆｉｒｓｔ ｍｅｅｔの場合、序盤の共通基盤構築が停滞するのに対し、Ｖｏｉｃｅ＋Ｖｉｄｅｏ／Ｆｒｉｅｎｄの場合、最初から最後までスムーズに共通基盤構築が進む等の分析結果を得ることが可能となる。また、Ｆｉｒｓｔ ｍｅｅｔ条件では、冒頭の確認行動や相手の意図を探りながらの図形移動が多く、タスクの序盤の共通基盤構築が緩やかになっている。したがって、Ｆｉｒｓｔ ｍｅｅｔよりもＦｒｉｅｎｄｓの方が共通基盤を築きやすく、ＶｏｉｃｅよりもＶｏｉｃｅ＋Ｖｉｄｅｏの方が作業が進みやすいことが示唆されていることが見てとれる。

【0042】

上述したように、本実施の形態によれば、コーパスデータを入力とし、上記の通り、統計データとして課題に関する行動や発話に関するデータ、条件の類型ごとのタスク達成率、共通基盤構築の進行状況（共通基盤構築の過程を操作単位での推移パタン又は時間推移パタン）が出力（出力）される。複数の作業者が対話等の意思疎通を通じて協調して課題を達成する際の作業環境や作業者間の関係条件が、課題達成に与える影響を人手で分析できるようになる。例えば、設定した条件が共通基盤の構築を加速させるかどうか、また、どのような条件が共通基盤の構築に必要かどうかの検討が可能となる。したがって、共通基盤の構築過程の分析を支援することができる。

【0043】

その結果、例えば、共通基盤が停滞した部分のフィードバック等、対話システムやコミュニケーションロボットの研究開発に有用な知見を得ることが可能となる。

【0044】

なお、本実施の形態では、二人の作業者が一つのグループを構成する例について説明したが、三人以上の作業者が一つのグループを構成してもよい。

【0045】

なお、本実施の形態において、出力部１４は、算出部及び出力部の一例である。

【0046】

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0047】

１０ 分析支援装置
１１ 入力部
１２ 統計データ抽出部
１３ タスク分類部
１４ 出力部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１０６ 表示装置
１０７ 入力装置
Ｂ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】