特表 2023-500974 対人インタラクション支援のために行動データを収集するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-11

(54)【発明の名称】対人インタラクション支援のために行動データを収集するシステム及び方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20221228BHJP

   G06Q 30/0201 20230101ALI20221228BHJP

   G06Q 10/063 20230101ALI20221228BHJP

【ＦＩ】

G06Q50/10

G06Q30/02 300

G06Q10/06 300

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022527180

(86)(22)【出願日】2020-11-10

(85)【翻訳文提出日】2022-05-11

(86)【国際出願番号】 EP2020081673

(87)【国際公開番号】W WO2021094330

(87)【国際公開日】2021-05-20

(31)【優先権主張番号】1916435.9

(32)【優先日】2019-11-12

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

(71)【出願人】

【識別番号】516045665

【氏名又は名称】リアルアイズ・オーウー

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ハジエフ，エルナー

(72)【発明者】

【氏名】サロ，マーティン

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA06

5L049BB02

5L049CC11

(57)【要約】

対人インタラクションに影響を与えるために行動データをキャプチャするためのシステム。一態様では、システムは、そのような対人インタラクションに関与することを役割とするエンティティの訓練を支援する。この態様では、収集された情報を使用して、パフォーマンスを判断したり、及び／または将来のインタラクションへのアプローチを適応または改善したりしてよい。別の態様では、システムは、ライブのインタラクションを支援してよい、すなわち、進行中の会話においてフィードバックを提供してよい。システムは、（ｉ）対人インタラクション中に行動データをキャプチャするように構成されたデータ収集デバイス、（ｉｉ）対人インタラクション中にオーディオデータをキャプチャするように構成されたマイクロフォン、及び（ｉｉｉ）感情状態情報及びコンテンツデータを抽出し、抽出したデータを使用して、インタラクション品質メトリックを評価して、対人インタラクションのインタラクションスコアを取得するように構成された分析モジュールを有するウェアラブルデバイスを含む。

【特許請求の範囲】

【請求項1】

対人インタラクション中に行動データを収集するシステムであって、
ウェアラブルデバイスであって、
前記対人インタラクション中に行動データをキャプチャするように構成されたデータ収集デバイスと、
前記対人インタラクション中にオーディオデータをキャプチャするように構成されたマイクロフォンと
を含む前記ウェアラブルデバイスと、
分析モジュールであって、
前記行動データから感情状態情報を抽出し、
前記オーディオデータからコンテンツデータを抽出し、
前記感情状態情報及び前記コンテンツデータを使用して、前記対人インタラクションのインタラクションスコアを取得するためにインタラクション品質メトリックを評価する
ように構成された前記分析モジュールと
を含む、前記システム。

【請求項2】

前記分析モジュールが、前記コンテンツデータに基づいて前記対人インタラクションのインタラクションタイプを決定するようにさらに構成される、請求項１に記載のシステム。

【請求項3】

前記分析モジュールが、前記対人インタラクションのインタラクション記録を生成及び記憶するようにさらに構成され、
前記インタラクション記録は、前記インタラクションタイプ及び前記インタラクションスコアを、前記対人インタラクション中の前記感情状態情報の変動を示す感情状態プロファイルと関連付けるデータ構造である、請求項２に記載のシステム。

【請求項4】

前記インタラクション記録データ構造が、
前記コンテンツデータを示す複数のコンテンツタグ、及び／または
参加者識別データ
をさらに含む、請求項３に記載のシステム。

【請求項5】

複数の対人インタラクションに対応する複数のインタラクション記録を記憶するように構成されたデータベースをさらに含む、請求項３または４に記載のシステム。

【請求項6】

前記対人インタラクションの前記インタラクションスコアを改善するための推奨事項を決定し、
前記推奨事項に対応するフィードバック命令を生成し、且つ、
前記フィードバック命令を出力する
ように構成されたフィードバック生成モジュールをさらに含む、請求項５に記載のシステム。

【請求項7】

前記分析エンジンから前記フィードバック命令を受信するように構成されたフィードバックコミュニケータをさらに含む、請求項６に記載のシステム。

【請求項8】

前記フィードバックコミュニケータが、第２のウェアラブルデバイスを含む、請求項７に記載のシステム。

【請求項9】

前記データ収集デバイスが、前記対人インタラクションの画像をキャプチャするように構成されたイメージングデバイスを含み、
前記行動データが画像データを含む、いずれかの先行請求項に記載のシステム。

【請求項10】

前記分析モジュールが、
前記イメージングデバイスによってキャプチャされた前記画像データから感情状態情報を抽出するように構成された画像分析モジュールと、
前記マイクロフォンによってキャプチャされた前記オーディオデータから前記コンテンツデータを抽出するように構成された音声認識モジュールと
を含む、請求項９に記載のシステム。

【請求項11】

前記分析モジュールが、前記感情状態情報及び前記コンテンツデータを使用して、前記インタラクションスコアを取得するための前記インタラクション品質メトリックを評価するように構成された分析エンジンを含む、いずれかの先行請求項に記載のシステム。

【請求項12】

前記分析エンジンが、前記ウェアラブルデバイスからリモートに配置され、
前記ウェアラブルデバイスが、前記感情状態情報及び前記コンテンツデータを前記分析エンジンに無線で送信するように構成されたトランシーバをさらに含む、請求項１１に記載のシステム。

【請求項13】

前記分析エンジンが前記ウェアラブルデバイスに設けられる、請求項１１に記載のシステム。

【請求項14】

前記ウェアラブルデバイスと無線通信するように構成された中間コンピューティングデバイスをさらに含み、
前記分析モジュールが、前記中間コンピューティングデバイスに設けられ、
前記ウェアラブルデバイスは、前記行動データ及び前記オーディオデータを前記中間コンピューティングデバイスに無線で通信するように構成されたトランシーバをさらに含む、
いずれかの先行請求項に記載のシステム。

【請求項15】

前記ウェアラブルデバイスが、プロセッサと、ソフトウェア命令を記憶したメモリとを含み、
前記分析モジュールが、前記プロセッサによる前記ソフトウェア命令の実行によって実行される１つまたは複数のソフトウェアモジュールを含む、請求項１～１３のいずれか一項に記載のシステム。

【請求項16】

前記行動データが、前記対人インタラクションの第１の参加者に関連し、前記ウェアラブルデバイスが、前記対人インタラクションの第２の参加者用に構成される、いずれかの先行請求項に記載のシステム。

【請求項17】

前記第２の参加者がソーシャルロボットである、請求項１６に記載のシステム。

【請求項18】

第１の参加者と第２の参加者との間の対人インタラクションに関する行動データを収集するコンピュータ実装方法であって、
前記第２の参加者が着用するウェアラブルデバイスを使用して前記第１の参加者の行動データを収集することであって、前記行動データは、前記対人インタラクション中にキャプチャされた画像データストリーム及びオーディオデータストリームを含む、前記収集することと、
前記画像データストリームから感情状態情報ストリームを抽出することと、
前記オーディオデータからコンテンツデータストリームを抽出することと、
前記感情状態情報ストリーム及び前記コンテンツデータストリームを使用して、前記対人インタラクションのインタラクションスコアを取得するためにインタラクション品質メトリックを評価することと
を含む、前記方法。

【請求項19】

前記コンテンツデータに基づいて前記対人インタラクションのインタラクションタイプを決定することと、
前記対人インタラクションのインタラクション記録を生成することと
をさらに含み、
前記インタラクション記録は、前記インタラクションタイプ及び前記インタラクションスコアを、前記対人インタラクション中の前記感情状態情報の変動を示す感情状態プロファイルと関連付けるデータ構造である、
請求項１８に記載の方法。

【請求項20】

前記インタラクション記録が、
前記コンテンツデータを示す複数のコンテンツタグ、及び、
参加者識別データ
のうちの任意の１つまたは複数をさらに含む、請求項１９に記載の方法。

【請求項21】

複数の対人インタラクションからの複数のインタラクション記録をデータベースに記憶することをさらに含む、請求項１９または２０に記載の方法。

【請求項22】

前記対人インタラクションの前記インタラクションスコアを改善するための推奨事項を決定することと、
前記推奨事項に対応するフィードバック命令を生成することと、
前記フィードバック命令を出力することと
をさらに含む、請求項１８～２１のいずれか一項に記載の方法。

【請求項23】

前記第２の参加者が人間である複数の対人インタラクションから第１の複数のインタラクション記録を取得することと、
前記第２の参加者がソーシャルロボットである複数の対人インタラクションから第２の複数のインタラクション記録を取得することと、
前記第１の複数のインタラクション記録を前記第２の複数のインタラクション記録と比較して、前記人間及び前記ソーシャルロボットのパフォーマンスメトリックを決定することと、
前記決定されたパフォーマンスメトリックに基づいて、将来のインタラクションに参加する前記人間または前記ソーシャルロボットのいずれかを選択することと
をさらに含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対人インタラクションを支援する目的で、例えば、その有効性を改善するか、またはその結果に影響を与える目的で、対人インタラクション（例えば、会話、会議など）の１人または複数の参加者から行動データを収集するためのコンピュータ実装システム及び方法に関する。インタラクションは、例えば店舗や他の販売環境での、販売員と潜在的な顧客との間の会話であってよい。販売員は、人間またはソーシャルロボットであってよい。

【0002】

一例では、収集された行動データは、インタラクションの参加者に返されるフィードバック情報を生成するために使用される、例えば、他の参加者の感情状態または関与に関する情報を提供するため、またはインタラクションを改善するための提案を提供するために使用される。

【0003】

別の例では、収集された行動データを使用して、会話の参加者のパフォーマンスを評価する。この評価は、例えば参加者の成長を監視するための訓練ツールとして使用されてよい。または、例えば、休憩を勧めるなど、他のアクションを決定するために使用されてよい。

【背景技術】

【0004】

例えば、ユーザがメディアコンテンツを消費したり、あるアクティビティに関与している間、ユーザの行動的または生理学的特性を示すデータを収集したりすることによって、感情状態データを受動的に測定することが知られている。例えば、顔の反応は、経験した感情状態の受動的指標として使用することができる。ウェブカメラによるビデオ取得が、メディアコンテンツがユーザによって消費されるときに画像フレームをキャプチャすることにより、顔の反応を監視するために使用することができる。したがって、ビデオ画像を処理することにより、ウェブカメラを使用して感情状態をキャプチャすることができる。

【0005】

生理学的パラメータも、経験した感情状態の良い指標になり得る。多くの生理学的パラメータは意識的に制御することができない、すなわち、消費者は生理学的パラメータに対して影響を与えない。したがって、生理学的パラメータを使用して、あるアクティビティに関与しているときのユーザの真の感情状態を判断することができる。測定できる生理学的パラメータの例には、音声分析、心拍数、心拍数の変動、皮膚電気活動（覚醒を示す場合がある）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号が含まれる。

【0006】

この方法で測定された感情状態情報は、例えば、売上高の伸びなどの商業的パフォーマンスと相関することが分かっている。したがって、この情報は、広告の効果を最大限にするために、ユーザがコンピューティングデバイスを操作するときに、ターゲティング広告のツールとして使用されてきた。

【0007】

ユーザの行動特性は、様々な形で現れる可能性がある。本明細書における「行動データ」または「行動情報」への言及は、ユーザの反応の視覚的側面を指してよい。例えば、行動情報は、顔の反応、頭部と体のジェスチャもしくは姿勢、及び視線追跡を含み得る。実際には、感情状態情報を取得するために、行動データ、生理学的データ、及び自己報告データを含む生データ入力の組み合わせを使用することが望ましい場合がある。上記のソースの２つまたは３つからの生データの組み合わせは、「誤った」指標を識別するのに役立ち得る。例えば、３つのソースすべてから得られた感情状態データが重複または一致している場合、取得された信号の信頼性が高まる。信号に不一致がある場合、誤った読み取りを示している可能性がある。

【発明の概要】

【課題を解決するための手段】

【0008】

最も一般的には、本発明は、行動データがキャプチャされ、行動データが対人インタラクションに影響を与えるために使用されるシステムを提案する。以下の説明は、２つの態様を提示する。第１の態様では、影響は、そのような対人インタラクションに関与することを役割とするエンティティの訓練を支援することである。このエンティティは、人（例えば、販売員または会社の販売代理人）または対人インタラクションに関与するように構成されたソーシャルロボットであってよい。この態様では、収集された情報を使用して、エンティティのパフォーマンスを判断したり、及び／またはエンティティの将来のインタラクションへのアプローチを適応または改善したりしてよい。第２の態様では、影響は、ライブのインタラクションに対してであってよい、すなわち進行中の会話の支援を提供することであってよい。支援は、単に意識を高めることであってもよく、または、会話の方向性に影響を与えるための提案を行うなどのアクティブなツールであってもよい。

【0009】

本発明によれば、対人インタラクション中に行動データを収集するためのシステムが提供される。このシステムは、ウェアラブルデバイスであって、対人インタラクション中に行動データをキャプチャするように構成されたデータ収集デバイスと、対人インタラクション中にオーディオデータをキャプチャするように構成されたマイクロフォンと、を含むウェアラブルデバイスと、行動データから感情状態情報を抽出し、オーディオデータからコンテンツデータを抽出し、且つ、感情状態情報及びコンテンツデータを使用して、対人インタラクションのインタラクションスコアを取得するためのインタラクション品質メトリックを評価するように構成された分析モジュールとを含む。

【0010】

上記のように、行動データは、対人インタラクションに対する参加者の反応の視覚的側面に関連し得る。例えば、行動情報は、顔の反応、頭部と体のジェスチャもしくは姿勢、及び視線追跡を含み得る。データ収集デバイスは、そのようなデータをキャプチャするための任意の適切なデバイスを含み得る。例えば、データ収集デバイスは、対人インタラクション中に画像データをキャプチャするように構成されたイメージングデバイスを含み得る。

【0011】

対人インタラクションは、第１の参加者と第２の参加者との間であってよい。１つの使用シナリオでは、第１の参加者は、第２の参加者からの情報またはサービスを求めている場合がある。第２の参加者は、ウェアラブルデバイスを着用して、インタラクションに関する画像データ及びオーディオデータをキャプチャしてよい。

【0012】

このシステムを使用すると、対人インタラクションをリアルタイムまたはイベント後に監視することができる。インタラクションスコアは、例えば１～１０のスケールの定量値であってよく、ここで、１はインタラクションが非常に悪いことを示し、１０はインタラクションが非常に良いことを示す。または、インタラクションスコアは、「悪い」、「適切」、「良い」など、いくつかの個別の指標の１つであってよい。

【0013】

インタラクション品質メトリックは、収集されたデータをインタラクションスコアに変換するための任意の適切なエンティティであってよい。例えば、インタラクション品質メトリックは、収集されたデータを入力として使用し、インタラクションスコアを出力する分類器またはその他のアルゴリズムであってよい。あるいは、インタラクション品質メトリックは、例えば、収集されたデータのプロパティを閾値と比較して、インタラクションスコアのカテゴリまたは値を決定するルールベースの決定木であってよい。

【0014】

ウェアラブルデバイスは、任意の適切な形態をとってよい。例えば、バッジ、アームバンド、ヘッドギア（例えば、帽子またはヘッドバンド）、眼鏡、ネックウェア（例えば、ネックストラップやネックレスなど）であってよい。

【0015】

分析モジュールは、任意の適切なコンピューティングデバイス、すなわち、キャプチャ画像データ及びオーディオデータを処理することができるデバイスであってよい。分析モジュールは、ウェアラブルデバイスに設けられてよい、またはウェアラブルデバイスからリモートに配置された別のデバイスに設けられてよい。別の例では、分析モジュールは、ウェアラブルデバイスとリモートデバイスとの間に分散されてよい。この場合、分析モジュールは、ウェアラブルデバイスで感情状態情報及びコンテンツデータを抽出してよく、インタラクション品質メトリックの評価はリモートで行われる。この構成は、参加者のプライバシの保護に役立つため、例えば、ウェアラブルデバイスに高い処理負荷をかけることなく、画像データまたはオーディオデータをウェアラブルデバイスから送信する必要がないため、有利な場合がある。

【0016】

分析モジュールは、対人インタラクションのインタラクションタイプを決定するようにさらに構成されてよい。インタラクションタイプは、コンテンツデータに基づいてよい。インタラクションタイプは、インタラクションの識別と分類を支援するラベルとして使用されてよい。そのため、例えば、参加者のインタラクションスコアをインタラクションタイプに基づいて評価できるため、訓練を支援することができ、以下で説明するように、他の同様のインタラクションとの比較を可能にするなどによってフィードバックの決定を支援することができる。

【0017】

インタラクションタイプは、所定のインタラクションタイプのリストから選択されてよい。インタラクションタイプは、確率が所定のインタラクションタイプのそれぞれに関連付けられているベクトル構造を有し得る。選択または確率の割り当ては、例えば、コンテンツデータを１つまたは複数のインタラクションタイプにマッピングするように構成された分類器または他の適切なアルゴリズムを使用して、自動的に行われてよい。分類器は、コンテンツデータのみを使用してよい、またはコンテンツデータと感情状態情報との組み合わせを使用してよい。

【0018】

分析モジュールは、対人インタラクションのインタラクション記録を生成及び記憶するようにさらに構成されてよい。インタラクション記録は、例えばウェアラブルデバイスからリモートでデータベースに記憶されてよい。あるいは、インタラクション記録を生成してウェアラブルデバイスに記憶し、後でリポジトリに転送してもよい。

【0019】

インタラクション記録は、インタラクションタイプをインタラクションスコアと対人インタラクション中の感情状態情報の変動を示す感情状態プロファイルとに関連付けるデータ構造であってよい。分析モジュールは、感情状態プロファイルを生成するために、経時的な感情状態の変化を測定するように構成されてよい。したがって、インタラクション記録は、インタラクションの進展を示し得る。インタラクションスコア自体は、時変パラメータであってよい。例えば、インタラクションスコアは、インタラクションの相対的変化の指標を提供するために、間隔をおいて、例えば、一定の間隔でまたはある所定の時点で評価されてよい。

【0020】

インタラクション記録は、コンテンツデータを示す複数のコンテンツタグをさらに含み得る。コンテンツタグは、オーディオから抽出された、またはその他の方法で抽出されたキーワードまたはフレーズであってよい。コンテンツタグは、会話の主題を示してよい。各コンテンツタグは、インタラクションの時間枠に関連付けられてよいので、インタラクション中のコンテンツの進展が記録される。感情状態プロファイルは、同様の時間枠を有してよく、これは、コンテンツタグがある感情または感情状態のある変化に関連付けられてよいことを意味する。これにより、コンテンツと感情状態の間のパターンをインタラクション品質メトリックで認識可能にし得る。

【0021】

インタラクション記録は、参加者識別データをさらに含み得る。例えば、画像データ及び／またはオーディオデータを使用して、インタラクションの各参加者のアイデンティティラベルを生成してよい。アイデンティティラベルは、参加者のプライバシを保護する方法で、例えば生の画像またはオーディオデータを記憶せずに、画像データ及び／またはオーディオデータから抽出されてよい。参加者識別データは、所与の参加者がインタラクションに関与する方法でパターン及び／または好みを認識するために使用されてよい。

【0022】

システムは、複数の対人インタラクションに対応する複数のインタラクション記録を記憶するように構成されたデータベースをさらに含み得る。インタラクションは、異なる参加者間であってよい。各インタラクション記録は、上記のように、例えば、インタラクションタイプ、コンテンツタグ、感情状態プロファイル、参加者識別子（複数可）、及びインタラクションスコアのうちの任意の１つまたは複数を含むように構成されてよい。したがって、データベースはインタラクション記録のリポジトリを記憶してよく、これは、推奨事項を取得したり、適切なラベル付けを使用して分類アルゴリズムを訓練したりするために使用できるリッチデータソースを形成する。

【0023】

インタラクション品質メトリックを評価することによって取得されたインタラクションスコアにより、例えば、以下で説明するように、推奨事項の取得に役立つように、インタラクション記録をランク付けすることを可能にし得る。

【0024】

インタラクション品質メトリックを評価することによって取得されるインタラクションスコアは、例えばデータベースから抽出された１つまたは複数の基準との比較に基づいて、統計的であってよい。

【0025】

システムは、フィードバック生成モジュールをさらに含んでよく、フィードバック生成モジュールは、対人インタラクションのインタラクションスコアを改善するための推奨事項を決定し、推奨事項に対応するフィードバック命令を生成し、且つ、フィードバック命令を出力する。推奨事項は、インタラクションが終了した後に決定されてよく、これにより、フィードバックは、参加者が将来のインタラクションでパフォーマンスを向上させるための訓練に関連し得る。代替的または追加的に、インタラクションの進行中に推奨事項がリアルタイムで決定されてよく、これにより、フィードバックは、現在のインタラクションの結果の改善に関連し得る。

【0026】

推奨事項は、記憶されたインタラクション記録、すなわち上記のリポジトリから取得、例えば抽出または導出されてよい。推奨事項は、統計的またはルールベースの手順を使用して決定されてよい。例えば、フィードバック生成モジュールは、一致するインタラクションタイプ、類似したコンテンツタグ、及び現在のインタラクションよりも優れたインタラクションスコアを持つ１つまたは複数のインタラクション記録を検索するように構成されてよい。推奨事項は、例えば、ある話題を会話に導入するためにコンテンツベースであってよい、または、例えば、ある感情的な反応を促すアクションを提案するために感情ベースであってよい。

【0027】

システムは、分析エンジンからのフィードバック命令を受信するように構成されたフィードバックコミュニケータをさらに含み得る。フィードバックコミュニケータは、例えば、インタラクションの参加者の１人が着用する第２のウェアラブルデバイスを含み得る。例えば、第２のウェアラブルデバイスは、イヤホンであってよい。代替的または追加的に、フィードバックコミュニケータは、携帯型コンピューティングデバイス、例えば、スマートフォン、タブレットコンピュータなどを含み得る。

【0028】

分析モジュールは、画像データ及びオーディオデータを処理するための別個のユニットを含み得る。例えば、分析モジュールは、イメージングデバイスによってキャプチャされた画像データから感情状態情報を抽出するように構成された画像分析器モジュールを含み得る。画像分析モジュールは、例えば、ＵＳ２０１７／０１０５６６８Ａ１号に開示された技術を使用して、参加者の顔画像から感情状態データまたは精神状態データを取得するための任意の既知の方法で動作してよい。

【0029】

分析モジュールは、マイクロフォンによってキャプチャされたオーディオデータからコンテンツデータを抽出するように構成された音声認識モジュールを含み得る。音声認識モジュールは、自然言語処理ツールを利用して、キャプチャされたオーディオデータからコンテンツデータを導出してよい。

【0030】

分析モジュールは、オーディオデータと画像データの両方を利用して、感情状態情報を抽出してよい。例えば、分析モジュールは、オーディオ（及び、特にオーディオデータ内のトーン情報）を感情状態情報にマッピングするように構成された第１の分類器を含み得る。分析モジュールは、顔画像を感情状態情報にマッピングするように構成された第２の分類器を含み得る。第１及び第２の分類器からの出力は、組み合わせられたり、検証のために使用されたりしてよい。あるいは、分析モジュールは、感情状態情報にマッピングされる入力としてオーディオデータと画像データの両方を受信する結合された分類器を含み得る。結合された分類器も、コンテンツデータを入力として使用してよい。

【0031】

分析モジュールは、感情状態情報及びコンテンツデータを使用して、インタラクションスコアを取得するためのインタラクション品質メトリックを評価するように構成された分析エンジンを含み得る。上記のように、分析エンジンはウェアラブルデバイスからリモートに配置されてよい。ウェアラブルデバイスは、感情状態情報及びコンテンツデータを分析エンジンに無線で送信するように構成されたトランシーバを含み得る。あるいは、分析エンジンは、ウェアラブルデバイスに設けられてもよい。

【0032】

このシステムは、ウェアラブルデバイスと無線通信するように構成された中間コンピューティングデバイスを含み得る。分析モジュールは、中間コンピューティングデバイスに設けられてよい。したがって、ウェアラブルデバイスは、例えば、短距離ネットワーク（例えば、ブルートゥース（登録商標））を使用して、またはローカルエリアネットワーク（例えば、ＷｉＦｉ）を介して、画像データ及びオーディオデータを中間コンピューティングデバイスに無線通信するように構成されたトランシーバを含み得る。

【0033】

ウェアラブルデバイスは、プロセッサと、ソフトウェア命令を記憶したメモリとを含んでよく、分析モジュールは、プロセッサによるソフトウェア命令の実行によって実行される１つまたは複数のソフトウェアモジュールを含む。

【0034】

上記のように、画像データは対人インタラクションの第１の参加者のものである。例えば、画像データは、第１の参加者の一連の顔画像を含み得る。ウェアラブルデバイスは、対人インタラクションの第２の参加者用に構成されてよい。第２の参加者は、人間またはソーシャルロボット、例えばインタラクティブデジタルアシスタントであってよい。インタラクションスコア及びインタラクション記録は、ロボット参加者のパフォーマンスを監視する手段を提供し得る。いくつかの例では、この監視は、ロボットからのインタラクションプロファイルを人間のインタラクションプロファイルと比較することを伴い得る。

【0035】

別の態様では、本発明は、第１の参加者と第２の参加者の間の対人インタラクションに関する行動データを収集するコンピュータ実装方法を提供してよく、この方法は、第２の参加者が着用するウェアラブルデバイスを使用して第１の参加者の行動データを収集することであって、行動データは、対人インタラクション中にキャプチャされた画像データストリーム及びオーディオデータストリームを含む、行動データを収集することと、画像データストリームから感情状態情報ストリームを抽出することと、オーディオデータからコンテンツデータストリームを抽出することと、感情状態情報ストリームとコンテンツデータストリームとを使用して、対人インタラクションのインタラクションスコアを取得するためにインタラクション品質メトリックを評価することとを含む。

【0036】

この方法は、コンテンツデータに基づいて対人インタラクションのインタラクションタイプを決定することと、対人インタラクションのインタラクション記録を生成することとを含み得る。上述のように、インタラクション記録は、インタラクションタイプ及びインタラクションスコアを、対人インタラクション中の感情状態情報の変動を示す感情状態プロファイルに関連付けるデータ構造であってよい。インタラクション記録は、コンテンツデータを示す複数のコンテンツタグ、及び参加者識別データのうちの任意の１つまたは複数をさらに含み得る。

【0037】

この方法は、複数の対人インタラクションからの複数のインタラクション記録をデータベースに記憶することを含み得る。一例では、この方法は、例えば、第２の参加者を含む、複数のインタラクション記録を集約することを含み得る。インタラクション記録は、集約前に正規化されてよい。集約されたインタラクション記録を使用して、複数のインタラクションにわたる第２の参加者のパフォーマンスを示す基準を取得してよい。

【0038】

この方法は、対人インタラクションのインタラクションスコアを改善するための推奨事項を決定することと、推奨事項に対応するフィードバック命令を生成することと、フィードバック命令を出力することとをさらに含み得る。推奨事項を決定するステップは、対応するコンテンツデータ及びより高いインタラクションスコアを有するデータベース内の１つまたは複数のインタラクション記録を検索することと、現在のインタラクションと１つまたは複数のインタラクション記録との差異を識別することとを含んでよく、推奨事項は、改善された感情状態またはインタラクションスコアに関連付けられた差異に基づく。対応するコンテンツデータを有するインタラクション記録を検索することは、現在のインタラクションと、データベース内で一致するインタラクションタイプを持つ１つまたは複数のインタラクション記録とのコンテンツデータ間の相関を評価することを含み得る。

【0039】

この方法は、例えば、将来のインタラクションを誰が支援すべきかについての決定に影響を与えるために、様々な第２の参加者のパフォーマンスを比較することを含み得る。例えば、この方法は、第２の参加者が人間である複数の対人インタラクションから第１の複数のインタラクション記録を取得することと、第２の参加者がソーシャルロボットである複数の対人インタラクションから第２の複数のインタラクション記録を取得することと、第１の複数のインタラクション記録を第２の複数のインタラクション記録と比較して、人間及びソーシャルロボットのパフォーマンスメトリックを決定することと、決定されたパフォーマンスメトリックに基づいて、将来のインタラクションに参加する人間またはソーシャルロボットのいずれかを選択することとを含み得る。比較は、インタラクションスコアに基づいてよい。この例は、人間参加者とロボット参加者を比較しているが、異なる人間または異なるロボットを比較することも同様に可能である。

【0040】

本発明の実施形態を添付の図面を参照しながら以下に詳細に説明する。

【図面の簡単な説明】

【0041】

【図1】本発明の実施形態である行動データ収集及び分析システムの概略図である。

【図2】本発明で使用し得るウェアラブルデータ収集タグの概略図である。

【図3】本発明で使用し得る分析システムの概略図である。

【図4】本発明の実施形態であるデータ収集方法のフロー図である。

【図5】本発明の実施形態で使用することができるインタラクション記録データ構造の概略図である。

【発明を実施するための形態】

【0042】

本発明の実施形態は、対人インタラクション中に行動データを収集及び利用するシステム及び方法に関する。

【0043】

図１は、本発明の実施形態である完全なデータ収集及び分析システム１００の概略図である。図１のシステムは、データの収集と分析を実行するための構成要素、及びそのデータのその後の使用のための、例えば、インタラクションの直接フィードバックを提供したり、インタラクションの参加者のパフォーマンスを評価したりする際の構成要素を示すことが理解できる。他の例では、これらの機能を有する別個のシステムが提供されてよい。

【0044】

本明細書において、「対人インタラクション」という用語は、個人間の任意のタイプのライブの社交を包含することを意図している。インタラクションの参加者と呼ばれ得る各個人は、人間であってもよく、または人間をシミュレートするように設計されたソーシャルロボットであってもよい。個人は、例えば、デジタルロボットアシスタントであってよい。インタラクションは、２人の間の会話などの１対１のインタラクションであってもよく、または会議やセミナなどの複数人のインタラクションであってもよい。システムは、あるタイプのインタラクション、例えば、あるコンテキストで発生する会話で使用するために構成されてよい。例えば、このシステムは、デパートやショールームなどの商業環境で使用されてよく、この場合、インタラクションの参加者は、一方は顧客（潜在的な購入者）であり、他方は販売員または店員である。

【0045】

図１に示す例は、２人の間の会話のコンテキストである。第１の参加者１０１は、以下では消費者または顧客と呼ばれてもよい。第２の参加者１０３は、販売員またはロボット店員であってよい。システムの目的は、第２の参加者１０３にフィードバックを提供して、第１の参加者１０１とのインタラクションの有効性を改善または最大化することであってよい。有効性は、ある目的に関して、例えば、第１の参加者がインタラクションの終了までに肯定的な感情状態に達すること、またはインタラクションが販売などの望ましい結果またはアクションにつながることを保証することに関して、設定または測定されてよい。

【0046】

システム１００は、ネットワーク化されたコンピューティング環境で提供され、いくつかの処理エンティティが、１つまたは複数のネットワークを介して通信可能に接続されている。この例では、システム１００は、行動データを収集（例えば、記録）するように構成されたウェアラブルデータ収集デバイス１０２を含む。例えば、ウェアラブルデータ収集デバイス１０２は、図２に関して以下でより詳細に説明するように、インタラクションに関連するオーディオデータ及び画像データをキャプチャするためのカメラ及びマイクロフォンなどの行動データキャプチャ装置を含み得る。ウェアラブルデバイス１０２は、インタラクションの参加者の１人によって着用される。この例では、第２の参加者１０３が着用している。ウェアラブルデバイス１０２は、例えば、名札に似ている場合がある。

【0047】

システム１００は、インタラクション中に参加者から生理学的情報を収集するために（いずれかの参加者上に）追加のウェアラブルデバイスなどの１つまたは複数の参加者センサユニット（図示せず）も含み得る。測定可能な生理学的パラメータの例には、音声分析、心拍数、心拍数の変動、皮膚電気活動（覚醒を示す場合がある）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号が含まれる。

【0048】

ウェアラブルデバイス１０２は、ネットワーク１０６を介して分析サーバ１１４に通信可能に接続されている。ウェアラブルデバイス１０２は、分析サーバ１１４などのリモートデバイスでの分析またはさらなる処理のために、ネットワーク１０６を介してインタラクションデータ１０４を送信するように動作する。インタラクションデータ１０４は、ウェアラブルデバイス自体で収集された生データ及び／または収集された生データから分析モジュールによって導出された行動データを含み得る。

【0049】

上記のように、本明細書における「行動データ」または「行動情報」への言及は、ユーザの反応に関する任意の収集された情報、例えば、ユーザの反応の視覚的側面または生理学的データを指してよい。例えば、行動情報は、顔の反応、頭部と体のジェスチャもしくは姿勢、及び視線追跡を含み得る。

【0050】

一例では、分析サーバ１１４に送信されるインタラクションデータ１０４は、例えば、インタラクション中にキャプチャされたユーザのビデオまたは画像のセットの形態で、ユーザの顔の反応を含み得る。インタラクションデータ１０４は、インタラクションのオーディオ録音も含み得る。他の例では、生データ（オーディオ及び画像）は、インタラクションデータ１０４で送信されない場合がある。代わりに、プライバシを維持するために、生データをウェアラブルデバイス１０２で分析して、そこから匿名化された情報を抽出してよい。例えば、ウェアラブルデバイス１０２は、生データから感情状態情報を抽出するように構成されてよい。例えば、感情状態情報は、画像データの顔画像及び／またはオーディオデータのトーンの変動から抽出されてよい。インタラクションデータ１０４は、参加者の画像を送信することなく、その参加者のインタラクション中の感情状態の進展を示す情報を含み得る。ウェアラブルデバイスはまた、例えば音声分析モジュールを使用して、オーディオ信号からコンテンツデータを抽出するように構成されてよい。したがって、インタラクションデータ１０４は、インタラクションの実際の記録を送信することなく、インタラクションのコンテンツを示す情報を含み得る。

【0051】

インタラクションの収集された行動データは、ウェアラブルデバイス１０２からのみ得られたものではない場合がある。インタラクションの近くに他の行動データ収集デバイスがあってよい。例えば、インタラクションが店舗またはショールームで発生する場合、インタラクションの画像データ１０８（及び／またはオーディオデータ）をキャプチャするカメラ１１０（例えば、ＣＣＴＶなど）があってよい。カメラ１１０は、画像データ１０８を分析サーバ１１４に供給するために、ネットワークを介して接続されてよい。したがって、分析サーバ１１４は、複数のソースから収集されたデータ１１２を含むデータストリームを効果的に受信してよく、収集されたデータ１１２は、インタラクションに関連する行動データを含む。

【0052】

分析サーバ１１４に送信される収集されたデータ１１２は、インタラクション中に１人または複数の参加者から取得された生理学的データも含み得る。生理学的データは、各ウェアラブルデバイスによって直接、送信されてよい、または生理学的データを記録するウェアラブルデバイスは、生理学的データを送受信するように構成されたウェアラブルデバイス１０２と対になってよい。

【0053】

分析サーバ１１４は、分析モジュール１１５の機能をコンピューティングデバイスに実行させるソフトウェア命令を実行するように構成されたプロセッサ及びメモリ（図示せず）を有するコンピューティングデバイスである。分析モジュール１１５によって実行されるタスクは、図３に関して以下でより詳細に説明する。

【0054】

分析モジュール１１５は、収集されたデータ１１２を使用してインタラクションを監視するように構成されてよい。監視は、いくつかの方法で実行されてよい。例えば、監視は、第１の参加者１０１の感情状態または注意力の変化を決定することを含み得る。インタラクションのコンテンツに関する情報と併せて、分析サーバは、第２の参加者１０３のパフォーマンスを第１の参加者１０１の気分または関与の変化とリンクさせる情報１１８を出力するように構成されてよい。この情報は、例えば第２の参加者の訓練を支援するために記録されてよい。

【0055】

分析モジュール１１５はまた、コンテンツデータを使用して、すなわち、例えば、所定のインタラクションタイプのリストから選択されるインタラクションタイプをそれに割り当てることによって、インタラクションを分類してよい。これにより、互いに類似したインタラクションの比較を容易にすることができる。

【0056】

インタラクションの監視の一態様は、キャプチャされたデータに基づいてインタラクションにスコアを付ける能力である。これは、分析モジュール１１５によって、インタラクション品質メトリックを評価することによって行われる。インタラクション品質メトリックは、コンテンツデータ及び感情状態情報を入力として使用し、インタラクションの品質を示すインタラクションスコアを出力するアルゴリズム、例えば、分類器または他の適切なマッピング関数であってよい。

【0057】

インタラクションスコアは、インタラクションに関連する他の情報と組み合わせて、出力情報１１８を生成してよい。出力情報１１８は、インタラクション記録１１９の形態をとってよい。図５は、インタラクション記録のデータ構造の例の概略図を示す。インタラクション記録１１９は、インタラクション識別子、インタラクションタイプ、インタラクションスコア、感情状態プロファイル、コンテンツタグのセット、及び参加者識別データのうちの任意の１つまたは複数が入力されたデータフィールドを有するデータ構造であってよい。感情状態プロファイルは、参加者の１つまたは複数の感情状態の経時的な変動のデータセットまたはグラフィック表示であってよい。

【0058】

インタラクションスコアも、時変エンティティであってよい。例えば、分析モジュール１１５は、インタラクション中のある時点で、例えばリアルタイムで、インタラクション品質メトリックを評価するように構成されてよい。したがって、インタラクションスコアは、インタラクションの期間を通じて変動し得る。

【0059】

分析サーバ１１４によって実行される別のタスクは、ネットワーク１０６を介して第２の参加者１０３にフィードバック１１６を提供することであってよい。一例では、第２の参加者１０３は、イヤホン、スマートフォン、タブレットコンピュータ、ラップトップコンピュータなどであり得るフィードバック受信デバイス１２０を所有している。フィードバック受信デバイス１２０は、フィードバック１１６を第２の参加者１０３に表示、再生、またはその他の方法で通知するように構成されてよい。フィードバック１１６は、第２の参加者１０３がインタラクションを改善するのを支援するためのヒントまたは提案を含み得る。

【0060】

フィードバック１１６は、現在のインタラクションについてのインタラクション記録の１つまたは複数の特徴を、以前のインタラクションに関連する複数のインタラクション記録と比較することによって、分析モジュール１１５で自動的に生成されてよい。分析モジュール１１５は、現在のインタラクションのインタラクション記録と、（例えば、同じインタラクションタイプを有する）以前のインタラクションの記憶されているインタラクション記録との間の差異に基づいて推奨事項を決定するように構成されたモデルを含み得る。

【0061】

モデルは、目的に対するパフォーマンスが分かっている複数のインタラクションについて収集された行動データを使用して訓練されたニューラルネットワークまたは同様の機械学習技術に基づいてよい。

【0062】

例えば、目的は、第１の参加者が肯定的な感情状態でインタラクションを終了することを保証することに関連してよい。収集されたデータの分析は、第１の参加者の現在の感情状態に関する情報を提供する場合がある。感情状態情報に加えて、収集されたデータは、例えば、インタラクションの情報コンテンツ（主題）（すなわち、参加者が話し合っていること）、及び話し合いのトーン（例えば、友好的、攻撃的、ニュートラルなど）に関する、コンテキストデータも含み得る。コンテキストデータも訓練セットに含まれているため、モデルは、目的に合うようにインタラクションを導くために、インタラクションのコンテキストに関連するフィードバックを提供することができる、例えば、話し合う話題や、尋ねる質問を提案することができる。例えば、第１の参加者の感情状態に疑いや信頼の欠如が含まれていることが確認された場合、第２の参加者は会話を始めるように促されてよい。

【0063】

フィードバック１１６は、第２の参加者１０３のパフォーマンスの傾向に基づいて決定された命令であってよい。例えば、収集されたデータが第２の参加者の疲労を示している場合、フィードバック１１６は、彼らに休憩を取るように促すか、または指示してよい。別の例では、インタラクションの傾向が否定的になる場合、フィードバックは、例えばマネージャを呼び出すことによって、支援を要求するように第２の参加者に指示してよい。場合によっては、支援が自動的に呼び出されてよい。

【0064】

別の例では、フィードバック１１６は、例えば、他の記憶されたインタラクション記録に対して分析するのではなく、行動データの収集を事前設定された閾値と比較することによって、ローカルで生成することができる。例えば、フィードバック１１６は、感情状態情報が第１の参加者の感情状態の下降傾向を示している場合、第２の参加者に支援を求めるように促してよい。

【0065】

フィードバック１１６の提供は任意選択であってよい。一例では、本発明は、将来のインタラクションにおける第２の参加者のパフォーマンスを評価及び改善するために、純粋に監視ツールとして使用されてよい。この例では、分析サーバ１１４は、インタラクション全体にわたる第１の参加者の感情状態及び／または関与の変化を示す出力データ１１８を生成してよい。この情報は、コンテキストデータに関連付けられてよいので、出力データ１１８は、感情状態または関与の変化を、インタラクションで生じていたこととリンクさせる。

【0066】

出力データ１１８は、第２の参加者１０３のパフォーマンスをベンチマークするために、または改善または追加の訓練が必要とされる領域を特定するための手段として使用されてよい。

【0067】

上記の可能な使用法は、収集されたデータ１１２で実行できることのほんの一例である。ウェアラブルデバイス１０２及び分析サーバ１０４は、インタラクションにおける参加者の感情状態をそのインタラクションのコンテキストとリンクさせるリアルタイム情報の収集及び配信のためのネットワーク対応プラットフォームを形成してよい。このようなプラットフォームは、小売部門以外の分野での用途も考え得る。例えば、取締役会、講義、セミナなど、他のタイプの対人インタラクションにおける状況認識を向上させるために使用されてよい。

【0068】

図２は、本発明で使用し得るウェアラブルデバイス１０２の概略図を示す。上記のように、ウェアラブルデバイス１０２は、例えば、インタラクションの参加者の衣服にピンで留めるように、名札に似ていてよい。ただし、ウェアラブルデバイスはこのフォームファクタに限定される必要はない。ウェアラブルデバイスは、帽子やキャップなどの頭にかぶるもの、または眼鏡やネックレスで具現化されてよい。これらの例はすべて、ウェアラブルデバイス１０２が参加者と同様の方向を向くようにすることを可能にし、これは、参加者がウェアラブルデバイス１０２をインタラクションの他の参加者に向けることが容易であることを意味する。

【0069】

ウェアラブルデバイス１０２は、いくつかの機能モジュールを支持するためのハウジングを含む。例えば、ウェアラブルデバイス１０２は、画像データをキャプチャするためのカメラ１２２（例えば、ウェブカメラなど）を含み得る。

【0070】

ウェアラブルデバイス１０２は、オーディオデータをキャプチャするためのマイクロフォン１２４をさらに含み得る。

【0071】

上記のように、カメラ１２２及びマイクロフォン１２４によってキャプチャされた生データは、インタラクションの参加者のプライバシを保護する方法でウェアラブルデバイス１０２で処理されてよい。例えば、ウェアラブルデバイス１０２は、カメラ１２２によって収集された画像から感情データを抽出するように動作し得るので、生の画像データを分析サーバ１１４に送信する必要がない。同様に、ウェアラブルデバイス１０２は、マイクロフォン１２４によって収集されたオーディオデータからコンテンツ及びトーン情報を抽出するように動作し得るので、生のオーディオデータを分析サーバ１１４に送信する必要がない。しかしながら、他の例では、この処理は、分析サーバまたはウェアラブルデバイス１０２が無線で通信することができる別の安全なネットワーク位置で（例えば、無線ネットワークを使用して）行われてよい。

【0072】

したがって、ウェアラブルデバイス１０２は、データ処理能力を備えていてよい、例えば、プロセッサ１２６、メモリ１２７、及びメモリに記憶されたソフトウェア命令を含み、これらは、実行されると、本明細書に記載される機能を実行するように動作する。機能の１つは、感情状態決定モジュールであってよく、ここで、画像データの参加者の感情状態が、任意の既知の方法で顔画像、姿勢、頭部姿勢などから導き出される。

【0073】

別の機能は、収集されたオーディオデータからコンテンツデータを抽出するように動作する音声認識及び分析モジュールであってよい。ＮＬＴＫなどの任意の適切な自然言語処理ツールが使用されてよい。

【0074】

ウェアラブルデバイス１０２は、分析サーバ１１４と無線方式で通信するように構成されたトランシーバ１２８をさらに含み得る。トランシーバ１２８は、（例えば、ＷｉＦｉまたはセルラネットワークを使用する）広域ネットワークを介して通信するためのネットワークモジュールを含み得る。あるいは、トランシーバ１２８は、短距離ネットワーク（例えば、ブルートゥース（登録商標）など）を介して、中間デバイス（例えば、第２の参加者によって保持されるスマートフォンまたはタブレットコンピュータ）と通信してよく、中間デバイスは、分析サーバ１１４と通信する。一例では、上記のウェアラブルデバイス１０２の処理能力は、中間デバイスで提供され得るが、これは必須ではない。

【0075】

トランシーバ１２８は、例えば、分析サーバ１１４または他の何らかの制御エンティティからデータ（例えば、ソフトウェアまたはファームウェアの更新）を受信するように構成されてよい。

【0076】

図３は、分析モジュール１１５の機能要素を示す概略図である。これらの機能要素は、従来の方法でソフトウェアモジュールとして実装されてよい。分析モジュール１１５は、収集されたデータ１１２を受信し、さらなる処理のためにそれを解析または他の方法で分割するためのデータ受信機１３０を含む。この例では、受信された収集データ１１２は、オーディオデータ及び画像データを含む。オーディオデータはオーディオ分析モジュール１３６に供給され、画像データは画像分析モジュール１３２に供給される。画像分析モジュール１３２は、例えば、従来の方法で分類器アルゴリズムを使用して、画像データから感情状態データを抽出するように構成される。オーディオデータは、このプロセスで、例えば分類器へのさらなる入力として使用されてもよい。オーディオ分析モジュール１３６は、音声認識技術を使用して、収集されたオーディオデータからコンテンツデータ１３８を抽出するように構成される。

【0077】

オーディオ分析モジュール１３６及び画像分析モジュール１３２は、それらの機能が上記のウェアラブルデバイス１０２（または中間デバイス）で実行される場合があるので、図３に点線で示されている。その場合、収集されたデータ１１２は、すでに感情状態データ１３４及びコンテンツデータ１３８を含み得る。

【0078】

感情状態データ１３４、コンテンツデータ１３８、及びトーンデータ１４０は、分析エンジン１４２に入力され、分析エンジン１４２は、コンテンツデータ１３８と感情状態データ１３４を入力として使用して、インタラクションスコア１４８を評価するように構成されるアルゴリズム１４４を含む。分析エンジン１４２はまた、例えばコンテンツデータ１３８に基づいて、インタラクションタイプ１４６をインタラクションに割り当てるように構成されてよい。

【0079】

アルゴリズム１４４は、インタラクションデータベース１５０内のデータを使用して訓練された分類器などの機械学習アルゴリズムであってよい。インタラクションデータベース１５０は、人間のアノテータによって以前にスコアを付けられた以前のインタラクションの収集されたデータを含み得る。いくつかの例では、収集されたデータ１１２は、ラベル付けのためにアノテーションツール１５２に供給されてよく、そうすると、インタラクションデータベース１５０内のデータを補足するために使用することができる。

【0080】

分析エンジン１４２からの出力は、そこから導き出されるさらなる情報（例えば、インタラクションタイプ１４６及びインタラクションスコア１４８）とともに、感情状態データ１３４及びコンテンツデータ１３８を含み得る。この出力は、例えば、インタラクション記録１１９として直接使用されてよい。インタラクション記録１１９は、例えば、インタラクションの有効性または第２の参加者のパフォーマンスを評価することを可能にするために、インタラクションの進展の多次元表現であってよい。出力は、例えばグラフィカルな方法で、適切なディスプレイに表示されてよい。例えば、出力は、各データセットの時系列のデータポイントとして表示されてよい。

【0081】

分析エンジン１４２からの出力はまた、上記のフィードバック１１６を生成するために使用されてよい。分析モジュール１１５は、出力を受信し、フィードバック１１６を生成するように構成された第２のアルゴリズム１５５への入力として出力を供給するフィードバック生成器１５４を含み得る。第２のアルゴリズム１５５は、結果データベース１５６に記憶されている、以前のインタラクションに関連するアノテーション付き（ラベル付けされた）インタラクション記録からのデータを使用して訓練されてよい。したがって、結果データベース１５６内のデータは、（おそらく、異なる参加者間であるが、同様の環境内の）複数の以前のインタラクションの進展の多次元表現であってよい。結果データは、特に所定の目的（例えば、前向きな感情、購入への同意など）に関連して、インタラクションの結果を示すアノテーションをさらに含み得る。したがって、第２のアルゴリズム１５５を使用して、現在のインタラクションのインタラクション記録１１９を以前に取得されたインタラクション記録と比較することによって、目的に関連して分析エンジン１４２からの出力データを評価して、例えば、目的に対するパフォーマンスを改善し得るアクションを決定してよい。これらのアクションは、フィードバック１１６の基礎を形成する。

【0082】

例えば、インタラクションから生じる１つまたは複数の実際の結果を示すために適切なラベルまたはタグが適用されるアノテーションツール１５８に、分析エンジン１４２からの出力データ１１８を供給することによって、追加情報を結果データベース１５６に追加して、例えば、第２のアルゴリズム１５５を更新してよい。アノテーションツール１５８からのアノテーション付きデータは、結果データベース１５６に記憶されてよい。

【0083】

図４は、本発明の実施形態であるコンピュータ実装方法２００のステップを示すフロー図である。方法２００は、図１に関して上述したようなシステムを使用して実行されてよい。

【0084】

方法２００は、対人インタラクションに関与する１人または複数の参加者から行動データを収集するステップ２０２から始まる。上記のように、行動データは、オーディオデータ及び画像データを含んでよく、それらは、参加者のうちの１人または複数のウェアラブルデバイスで、またはインタラクションが起こり得る領域を観察する静的デバイスで収集されてよい。

【0085】

方法２００は、例えば、１人または複数の参加者の顔画像データ、及び／または姿勢、頭部姿勢、視線方向などに関連する情報から収集された行動情報から感情状態情報を抽出するステップ２０４に続く。ステップ２０４は、参加者の感情状態を確立するために、いくつかのソースから同時に得られた行動データを利用してよい。

【0086】

方法２００は、収集されたオーディオデータからコンテンツデータを抽出するステップ２０６に続く。ステップ２０６は、ステップ２０４と同時にまたはステップ２０４に続いて実行されてよい。

【0087】

方法２００は、インタラクションのインタラクションスコアを取得するために、インタラクション品質メトリックを評価するステップ２０８に続く。この方法はまた、インタラクションタイプを割り当てることを含み得る。

【0088】

この方法は、ステップ２０８からの出力を取得してインタラクション記録を生成するステップ２１０に続き、ここで、上述の様々なパラメータ（例えば、感情、コンテンツ、関与、スコア）の経時的な進展は統合されてよい。このプロファイルは、インタラクションの参加者のパフォーマンスを評価したり、参加者の訓練を支援したりするために使用されてよい。

【0089】

この方法は、インタラクションの結果でインタラクション記録にアノテーションを付けるステップ２１２をさらに含み得る。複数のインタラクションからのアノテーション付きプロファイルは、インタラクションプロファイルを所望の目的にマッピングするように動作するモデルの訓練セットとして使用されてよい。上述のように、そのようなモデルは、目的が達成される確率を高めるための推奨事項または提案を生成するために使用されてよい。ステップ２１４及び２１６は、そのようなモデルを利用する。

【0090】

この方法は、上記の様々なパラメータ（例えば、感情、コンテンツ、関与、スコア）またはインタラクション記録を入力として使用してフィードバックデータを生成するステップ２１４に続いてよい。この方法は、フィードバックデータをインタラクション参加者に送信するステップ２１６に続く。上記のように、フィードバックデータは、目的が達成される確率を高めるための推奨事項または提案を含み得る。

【0091】

上記の例では、参加者は人間またはロボットであってよい。本発明の技術は、人間とロボットの両方の参加者が利用可能であるシナリオにおいて特に有用であってよい。複数のインタラクションのインタラクションプロファイルを観察する際に、システムは、インタラクションの分類を決定してよく、すなわち、異なるタイプのインタラクションを客観的に識別することを可能にする。システムは、各タイプのインタラクションにおける人間とロボットの参加者とのパフォーマンスを比較するようにさらに構成されてよい。その結果、システムは、どのタイプのインタラクションがロボット参加者によってより適切に提供され、どのタイプのインタラクションが人間参加者によってより適切に提供されるかを決定可能であってよい。さらに、比較データは、例えば、人間のパフォーマンスに匹敵するか、それを超えるために、ロボットの能力の向上が最も有益である領域を特定するのを支援し得る。

【0092】

上記のアイデアの展開において、システムはまた、他の参加者の好みを、例えば彼らの以前のインタラクションを通して学習してよい。例えば、店舗の顧客は、システムにプロファイルを記憶することに同意する場合がある。入店するとき、顧客は行動データ収集デバイスによって認識されてよく、そうすると、店内でのインタラクションの扱い方に影響を与えるために、顧客のプロファイルに関連付けられたあらゆる好みを使用し得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】