特許 6867701 モニタリング装置、モニタリングシステム、モニタリング方法及びモニタリングプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6867701

(24)【登録日】2021年4月13日

(45)【発行日】2021年5月12日

(54)【発明の名称】モニタリング装置、モニタリングシステム、モニタリング方法及びモニタリングプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210426BHJP

   G06T 7/20 20170101ALI20210426BHJP

【ＦＩ】

   G06T7/00 350B

   G06T7/20 300A

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2018-226486(P2018-226486)

(22)【出願日】2018年12月3日

(65)【公開番号】特開2020-91527(P2020-91527A)

(43)【公開日】2020年6月11日

【審査請求日】2021年2月19日

【早期審査対象出願】

(73)【特許権者】

【識別番号】514290339

【氏名又は名称】株式会社チームボックス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】矢倉 大夢

(72)【発明者】

【氏名】荒川 陸

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特表２００５−５３１８４５（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０７２８５４（ＷＯ，Ａ１）

【文献】 特開２００８−１４００９３（ＪＰ，Ａ）

【文献】 特開２００８−２８８８７０（ＪＰ，Ａ）

【文献】 特開２０１１−０７９３５０（ＪＰ，Ａ）

【文献】 特開２００９−１５７７８０（ＪＰ，Ａ）

【文献】 特開２０１８−１７３９１４（ＪＰ，Ａ）

【文献】 特表２０１７−５２５０７０（ＪＰ，Ａ）

【文献】 特開２０１５−２０７１７９（ＪＰ，Ａ）

【文献】 特開２００９−１７５９２９（ＪＰ，Ａ）

【文献】 特開２０１６−２０２３４８（ＪＰ，Ａ）

【文献】 特開２０１３−１４３００９（ＪＰ，Ａ）

【文献】 小林 宏充、外２名，“時空間特徴と教師なし学習を用いた製造機械の異常動作シーンの抽出”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１４年 ２月２７日，Vol.113, No.470，pp.87-92

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／１９４−１３／１９６，２５／００

(57)【特許請求の範囲】

【請求項1】

対象者の挙動を表す時系列データを取得する取得部と、
前記時系列データを、教師なし学習により生成された判定モデルに入力し、前記判定モデルの出力に基づき、前記時系列データが外れ値を含むか否かを判定する判定部と、
前記時系列データに基づいて、前記判定モデルに含まれるパラメータを更新する更新部と、
前記時系列データが外れ値を含むと判定された場合に、ユーザに通知する通知部と、
前記時系列データが外れ値を含むと判定された場合に、データを表示する表示部とを備え、
前記判定部は、前記時系列データのうち連続して取得された所定数のデータを前記判定モデルに入力し、
前記更新部は、前記所定数のデータに基づいて前記パラメータを更新し、
前記表示部は、前記時系列データが外れ値を含むと判定された場合に、前記所定数のデータのうち最も外れ度が大きいデータを表示するとともに、前記所定数のデータの一つ前に前記判定モデルに入力された所定数のデータのうち代表的なデータを表示する、
モニタリング装置。

【請求項2】

前記判定モデルは、混合ガウスモデルであり、
前記パラメータは、前記混合ガウスモデルの平均、分散及び混合重みを含む、
請求項１に記載のモニタリング装置。

【請求項3】

前記時系列データは、前記対象者の姿勢を表す姿勢データを含む、
請求項１または２に記載のモニタリング装置。

【請求項4】

前記対象者を撮影した動画に基づき、前記姿勢データを逐次生成する生成部をさらに備える、
請求項３に記載のモニタリング装置。

【請求項5】

前記時系列データは、前記対象者の視線の方向を表す視線データを含む、
請求項１から４のいずれか一項に記載のモニタリング装置。

【請求項6】

前記時系列データは、前記対象者の表情を表す表情データを含む、
請求項１から５のいずれか一項に記載のモニタリング装置。

【請求項7】

モニタリング装置と、ユーザにより装着されるウェアラブルデバイスと、を備えるモニタリングシステムであって、
前記モニタリング装置は、
対象者の挙動を表す時系列データを取得する取得部と、
前記時系列データを、教師なし学習により生成された判定モデルに入力し、前記判定モデルの出力に基づき、前記時系列データが外れ値を含むか否かを判定する判定部と、
前記時系列データに基づいて、前記判定モデルに含まれるパラメータを更新する更新部と、
前記時系列データが外れ値を含むと判定された場合に、前記ウェアラブルデバイスに通知する通知部と、
前記時系列データが外れ値を含むと判定された場合に、データを表示する表示部とを有し、
前記判定部は、前記時系列データのうち連続して取得された所定数のデータを前記判定モデルに入力し、
前記更新部は、前記所定数のデータに基づいて前記パラメータを更新し、
前記表示部は、前記時系列データが外れ値を含むと判定された場合に、前記所定数のデータのうち最も外れ度が大きいデータを表示するとともに、前記所定数のデータの一つ前に前記判定モデルに入力された所定数のデータのうち代表的なデータを表示し、
前記ウェアラブルデバイスは、
前記通知に応じて振動する振動部を有する、
モニタリングシステム。

【請求項8】

前記ウェアラブルデバイスは、
前記通知があったことを表示する表示部をさらに備える、
請求項７に記載のモニタリングシステム。

【請求項9】

前記ウェアラブルデバイスは、
前記判定モデルにより前記外れ値を検出する感度を調整する入力を受け付ける入力部をさらに備える、
請求項７又は８に記載のモニタリングシステム。

【請求項10】

対象者の挙動を表す時系列データを取得することと、
前記時系列データを、教師なし学習により生成された判定モデルに入力し、前記判定モデルの出力に基づき、前記時系列データが外れ値を含むか否かを判定することと、
前記時系列データに基づいて、前記判定モデルに含まれるパラメータを更新することと、
前記時系列データが外れ値を含むと判定された場合に、ユーザに通知することと、
前記時系列データが外れ値を含むと判定された場合に、データを表示することと、を含み、
前記判定する際には、前記時系列データのうち連続して取得された所定数のデータを前記判定モデルに入力し、
前記更新する際には、前記所定数のデータに基づいて前記パラメータを更新し、
前記表示する際には、前記時系列データが外れ値を含むと判定された場合に、前記所定数のデータのうち最も外れ度が大きいデータを表示するとともに、前記所定数のデータの一つ前に前記判定モデルに入力された所定数のデータのうち代表的なデータを表示する、
モニタリング方法。

【請求項11】

モニタリング装置に備えられたプロセッサを、
対象者の挙動を表す時系列データを取得する取得部、
前記時系列データを、教師なし学習により生成された判定モデルに入力し、前記判定モデルの出力に基づき、前記時系列データが外れ値を含むか否かを判定する判定部、
前記時系列データに基づいて、前記判定モデルに含まれるパラメータを更新する更新部、及び
前記時系列データが外れ値を含むと判定された場合に、ユーザに通知する通知部、
前記時系列データが外れ値を含むと判定された場合に、データを表示する表示部、
として機能させるプログラムであって、
前記判定部は、前記時系列データのうち連続して取得された所定数のデータを前記判定モデルに入力し、
前記更新部は、前記所定数のデータに基づいて前記パラメータを更新し、
前記表示部は、前記時系列データが外れ値を含むと判定された場合に、前記所定数のデータのうち最も外れ度が大きいデータを表示するとともに、前記所定数のデータの一つ前に前記判定モデルに入力された所定数のデータのうち代表的なデータを表示する、
モニタリングプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モニタリング装置、モニタリングシステム、モニタリング方法及びモニタリングプログラムに関する。

【背景技術】

【0002】

従来、コーチが対象者と面接して、対象者が自身の能力をより良く引き出せるように導くということが行われており、コーチングと呼ばれている。コーチングは、コーチと対象者による会話だけでなく、コーチが対象者の非言語メッセージを読み取ることで行われることがある。

【0003】

非言語メッセージの一種である姿勢をリアルタイムに検出する研究として、例えば下記非特許文献１及び２には、畳み込みニューラルネットワークによって、撮影された人物の姿勢を推定する技術が記載されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Shih-En Wei, Varun Ramakrishna, Takeo Kanade and Yaser Sheikh, "Convolutional Pose Machines", Proceedings of the 29th IEEE Conference on Computer Vision and Pattern Recognition, 2016.

【非特許文献2】Zhe Cao, Tomas Simon, Shih-En Wei and Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Proceedings of the 29th IEEE Conference on Computer Vision and Pattern Recognition, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来のコーチングでは、コーチが、自身の知識や経験に基づいて対象者の非言語メッセージを読み取り、対象者とのコミュニケーションに役立てている。しかしながら、知識や経験の少ないコーチにとって、非言語メッセージを読み取ることは難しい。また、熟練したコーチであっても、様々な事項を検討しながらコーチングにあたるため、非言語メッセージを見落とすおそれがある。

【0006】

そこで、本発明は、対象者が非言語メッセージを発していることをリアルタイムにユーザに知らせることができるモニタリング装置、モニタリングシステム、モニタリング方法及びモニタリングプログラムを提供する。

【課題を解決するための手段】

【0007】

本発明の一態様に係るモニタリング装置は、対象者の挙動を表す時系列データを取得する取得部と、時系列データを、教師なし学習により生成された判定モデルに入力し、判定モデルの出力に基づき、時系列データが外れ値を含むか否かを判定する判定部と、時系列データに基づいて、判定モデルに含まれるパラメータを更新する更新部と、時系列データが外れ値を含むと判定された場合に、ユーザに通知する通知部と、を備える。

【0008】

この態様によれば、教師なし学習によってユーザの主観に依存しないように生成された判定モデルのパラメータを逐次更新し、取得している時系列データに適した判定モデルによって外れ値を検出することで、対象者が非言語メッセージを発していることを検出し、リアルタイムにユーザに知らせることができる。

【0009】

上記態様において、判定部は、時系列データのうち連続して取得された所定数のデータを判定モデルに入力し、更新部は、所定数のデータに基づいてパラメータを更新し、時系列データが外れ値を含むと判定された場合に、所定数のデータのうち最も外れ度が大きいデータを表示する表示部をさらに備えてもよい。

【0010】

この態様によれば、対象者が発した非言語メッセージを確認し直すことができ、ユーザが対象者とより良くコミュニケーションをとれるように支援することができる。

【0011】

上記態様において、表示部は、時系列データが外れ値を含むと判定された場合に、所定数のデータの一つ前に判定モデルに入力された所定数のデータのうち代表的なデータを表示してもよい。

【0012】

この態様によれば、外れ値と判定された対象者の状態を、対象者の通常の状態と比較することができ、ユーザが対象者とより良くコミュニケーションをとれるように支援することができる。

【0013】

上記態様において、判定モデルは、混合ガウスモデルであり、パラメータは、混合ガウスモデルの平均、分散及び混合重みを含んでもよい。

【0014】

この態様によれば、時系列データが多鋒性の確率分布に従う場合であっても、精度よく判定を行うことができる。

【0015】

上記態様において、時系列データは、対象者の姿勢を表す姿勢データを含んでもよい。

【0016】

この態様によれば、対象者が発した姿勢に関する非言語メッセージを検出し、ユーザに通知することができる。

【0017】

上記態様において、対象者を撮影した動画に基づき、姿勢データを逐次生成する生成部をさらに備えてもよい。

【0018】

この態様によれば、動画から定量的な姿勢データを生成することができる。

【0019】

上記態様において、時系列データは、対象者の視線の方向を表す視線データを含んでもよい。

【0020】

この態様によれば、対象者が発した視線に関する非言語メッセージを検出し、ユーザに通知することができる。

【0021】

上記態様において、時系列データは、対象者の表情を表す表情データを含んでもよい。

【0022】

この態様によれば、対象者が発した表情に関する非言語メッセージを検出し、ユーザに通知することができる。

【0023】

本発明の他の態様に係るモニタリングシステムは、モニタリング装置と、ユーザにより装着されるウェアラブルデバイスと、を備えるモニタリングシステムであって、モニタリング装置は、対象者の挙動を表す時系列データを取得する取得部と、時系列データを、教師なし学習により生成された判定モデルに入力し、判定モデルの出力に基づき、時系列データが外れ値を含むか否かを判定する判定部と、時系列データに基づいて、判定モデルに含まれるパラメータを更新する更新部と、時系列データが外れ値を含むと判定された場合に、ウェアラブルデバイスに通知する通知部と、を有し、ウェアラブルデバイスは、通知に応じて振動する振動部を有する。

【0024】

この態様によれば、教師なし学習によってユーザの主観に依存しないように生成された判定モデルのパラメータを逐次更新し、取得している時系列データに適した判定モデルによって外れ値を検出することで、対象者が非言語メッセージを発していることを検出し、ウェアラブルデバイスの振動によってリアルタイムにユーザに知らせることで、ユーザと対象者のコミュニケーションを阻害しないように、ユーザに非言語メッセージが検出されたことを知らせることができる。

【0025】

上記態様において、ウェアラブルデバイスは、通知があったことを表示する表示部をさらに備えてもよい。

【0026】

この態様によれば、触覚のみならず、視覚を通じて非言語メッセージが検出されたことを知らせることができる。

【0027】

上記態様において、ウェアラブルデバイスは、判定モデルにより外れ値を検出する感度を調整する入力を受け付ける入力部をさらに備えてもよい。

【0028】

この態様によれば、実際の使用状況に応じて、通知の頻度を増減させることができる。

【0029】

本発明の他の態様に係るモニタリング方法は、対象者の挙動を表す時系列データを取得することと、時系列データを、教師なし学習により生成された判定モデルに入力し、判定モデルの出力に基づき、時系列データが外れ値を含むか否かを判定することと、時系列データに基づいて、判定モデルに含まれるパラメータを更新することと、時系列データが外れ値を含むと判定された場合に、ユーザに通知することと、を含む。

【0030】

この態様によれば、教師なし学習によってユーザの主観に依存しないように生成された判定モデルのパラメータを逐次更新し、取得している時系列データに適した判定モデルによって外れ値を検出することで、対象者が非言語メッセージを発していることを検出し、リアルタイムにユーザに知らせることができる。

【0031】

本発明の他の態様に係るモニタリングプログラムは、モニタリング装置に備えられたプロセッサを、対象者の挙動を表す時系列データを取得する取得部、時系列データを、教師なし学習により生成された判定モデルに入力し、判定モデルの出力に基づき、時系列データが外れ値を含むか否かを判定する判定部、時系列データに基づいて、判定モデルに含まれるパラメータを更新する更新部、及び時系列データが外れ値を含むと判定された場合に、ユーザに通知する通知部、として機能させる。

【0032】

この態様によれば、教師なし学習によってユーザの主観に依存しないように生成された判定モデルのパラメータを逐次更新し、取得している時系列データに適した判定モデルによって外れ値を検出することで、対象者が非言語メッセージを発していることを検出し、リアルタイムにユーザに知らせることができる。

【発明の効果】

【0033】

本発明によれば、対象者が非言語メッセージを発していることをリアルタイムにユーザに知らせることができるモニタリング装置、モニタリングシステム、モニタリング方法及びモニタリングプログラムを提供することができる。

【図面の簡単な説明】

【0034】

【図1】本発明の実施形態に係るモニタリングシステムの概要を示す図である。

【図2】本実施形態に係るモニタリング装置の機能ブロックを示す図である。

【図3】本実施形態に係るモニタリング装置の物理的構成を示す図である。

【図4】本実施形態に係るモニタリングシステムに含まれるウェアラブルデバイスの表示例を示す図である。

【図5】本実施形態に係るモニタリング装置の表示例を示す図である。

【図6】本実施形態に係るモニタリング装置により実行される第１処理のフローチャートを示す図である。

【図7】本実施形態に係るモニタリング装置により実行される第２処理のフローチャートを示す図である。

【発明を実施するための形態】

【0035】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0036】

図１は、本発明の実施形態に係るモニタリングシステム１００の概要を示す図である。モニタリングシステム１００は、モニタリング装置１０と、ユーザ１により装着されるウェアラブルデバイス（本例ではスマートウォッチ２０）と、カメラ３０と、アイトラッカー４０と、を備える。本例では、ユーザ１は、対象者２（Ｃｏａｃｈｅｅ）をコーチングするコーチ（Ｃｏａｃｈ）であり、モニタリング装置１０は、ユーザ１が用いるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であるため「Ｃｏａｃｈ´ｓ ＰＣ」と記載されている。また、スマートウォッチ２０は、「Ｓｍａｒｔｗａｔｃｈ」と記載され、カメラ３０は、「Ｗｅｂ Ｃａｍｅｒａ」と記載され、アイトラッカー４０は、「Ｅｙｅ ｔｒａｃｋｅｒ」と記載されている。

【0037】

モニタリング装置１０は、カメラ３０により撮影された動画及びアイトラッカー４０により測定された視線データを含む時系列データに基づいて、対象者２が発する非言語メッセージを検出する。モニタリング装置１０によって対象者２が非言語メッセージを発していることが検出された場合、即座にスマートウォッチ２０に通知がなされる。このとき、スマートウォッチ２０は、振動によって通知をユーザ１に知らせてよい。

【0038】

モニタリング装置１０によって対象者２が非言語メッセージを発していることが検出された場合、スマートウォッチ２０に通知を送るとともに、検出された場面を表す画像を表示部に表示してよい。

【0039】

図２は、本実施形態に係るモニタリング装置１０の機能ブロックを示す図である。モニタリング装置１０は、取得部１１、生成部１２、判定部１３、更新部１４、通知部１５及び表示部１０ｆを備える。

【0040】

取得部１１は、対象者２の挙動を表す時系列データを取得する。取得部１１は、例えば数Ｈｚのレートで時系列データを取得してよい。時系列データは、対象者２の姿勢を表す姿勢データを含んでよい。姿勢データは、対象者２の体の部位の位置を表すデータであってよい。ここで、体の部位は、両手首、両肘、両肩、首、目等を含んでよい。なお、本例では、対象者２が座った状態でコーチングを受ける場合を想定しているため、姿勢データは、上半身の部位の位置を表すデータであってよいが、一般には足関節や腰の位置を表すデータを含んでもよい。姿勢データを用いることで、対象者２が発した姿勢に関する非言語メッセージを検出し、ユーザ１に通知することができる。

【0041】

時系列データは、対象者２の視線の方向を表す視線データを含んでよい。視線データは、アイトラッカー４０により測定されたものであってよく、対象者２の両目の視線の方向を表すデータであってよい。なお、対象者２が目をこする等して視線が読み取れない場合、視線データは、欠損値を含んでよい。モニタリング装置１０は、このような欠損値も他の正常な値と同様に扱って、非言語メッセージを検出する処理を行ってよい。このように、対象者２が発した視線に関する非言語メッセージを検出し、ユーザ１に通知することができる。

【0042】

時系列データは、対象者２の表情を表す表情データを含んでよい。表情データは、例えば、中立、怒り、軽蔑、嫌悪、恐怖、喜び、悲しみ及び驚きといった感情に対応する離散値であってよい。これにより、対象者２が発した表情に関する非言語メッセージを検出し、ユーザ１に通知することができる。

【0043】

生成部１２は、対象者２を撮影した動画に基づき、姿勢データを逐次生成する。生成部１２は、例えば、非特許文献１及び２に記載の技術によって、動画に基づいて姿勢データを生成してよい。これにより、動画から定量的な姿勢データを生成することができる。

【0044】

また、生成部１２は、対象者２を撮影した動画に基づき、表情データを逐次生成してよい。生成部１２は、例えば、画像から人の表情を認識するＣＮＮ（Convolutional Neural Network）を用いて、表情データを生成してよい。これにより、動画から定量的な表情データを生成することができる。

【0045】

判定部１３は、時系列データを、教師なし学習により生成された判定モデル１３ａに入力し、判定モデル１３ａの出力に基づき、時系列データが外れ値を含むか否かを判定する。判定部１３は、時系列データのうち連続して取得された所定数のデータを判定モデル１３ａに入力してよい。より具体的には、所定数をＮと表し、時系列データの次元をＭと表すとき、判定モデル１３ａの入力は、ｘ^(t)というＮ×Ｍ行列であってよい。ここで、ｔは、時刻を表す変数である。

【0046】

更新部１４は、時系列データに基づいて、判定モデル１３ａに含まれるパラメータを更新する。更新部１４は、所定数のデータに基づいて、パラメータを更新してもよい。

【0047】

判定モデル１３ａは、混合ガウスモデルであり、パラメータは、混合ガウスモデルの平均、分散及び混合重みを含んでよい。具体的には、混合ガウスモデルの平均をμ^(t)_i、分散をΣ^(t)_i、混合重みをｃ^(t)_iと表すとき、判定モデル１３ａは、以下の数式（１）で表される外れ度ａ^(t)が閾値以上であれば、時系列データが外れ値を含むと判定してよい。一方、判定モデル１３ａは、外れ度ａ^(t)が閾値未満であれば、時系列データが外れ値を含まないと判定してよい。

【0048】

【数1】

【0049】

ここで、添え字ｉは、混合ガウス分布を構成する単一のガウス分布を識別するものである。本例の場合、判定モデル１３ａは、ｌ＋１個のガウス分布を混合した混合ガウスモデルである。

【0050】

更新部１４は、以下の数式（２）〜（７）によって、パラメータを更新してよい。

【0051】

【数2】

【0052】

【数3】

【0053】

【数4】

【0054】

【数5】

【0055】

【数6】

【0056】

【数7】

【0057】

このように、時系列データにアノテーションを付与して学習データを作成しなくても、教師なし学習によって、時系列データの外れ値を精度よく検出することができる。また、混合ガウスモデルを用いることで、時系列データが多鋒性の確率分布に従う場合であっても、精度よく判定を行うことができる。

【0058】

通知部１５は、時系列データが外れ値を含むと判定された場合に、ユーザ１に通知する。通知部１５は、ユーザ１が装着するスマートウォッチ２０に通知を送信し、スマートウォッチ２０は、通知に応じて振動する振動部を有してよい。このように、教師なし学習によってユーザ１の主観に依存しないように生成された判定モデル１３ａのパラメータを逐次更新し、取得している時系列データに適した判定モデル１３ａによって外れ値を検出することで、対象者２が非言語メッセージを発していることを検出し、リアルタイムにユーザ１に知らせることができる。

【0059】

また、対象者２が非言語メッセージを発していることを検出し、ウェアラブルデバイスの振動によってリアルタイムにユーザ１に知らせることで、ユーザ１と対象者２のコミュニケーションを阻害しないように、ユーザ１に非言語メッセージが検出されたことを知らせることができる。

【0060】

図３は、本実施形態に係るモニタリング装置１０の物理的構成を示す図である。モニタリング装置１０は、プロセッサに相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例ではモニタリング装置１０が一台のコンピュータで構成される場合について説明するが、モニタリング装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、モニタリング装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0061】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、動画や視線データに基づいて対象者２の非言語メッセージを検出するプログラム（モニタリングプログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。

【0062】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するモニタリングプログラム、動画及び視線データ等を記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

【0063】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えばモニタリングプログラムや、書き換えが行われないデータを記憶してよい。

【0064】

通信部１０ｄは、モニタリング装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。

【0065】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボードやタッチパネルを含んでよい。

【0066】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、撮影された画像を表示したり、検出された非言語メッセージを示す画像を表示したりしてよい。

【0067】

モニタリングプログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。モニタリング装置１０では、ＣＰＵ１０ａがモニタリングプログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、モニタリング装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0068】

図４は、本実施形態に係るモニタリングシステム１００に含まれるウェアラブルデバイスの表示例を示す図である。本例では、ウェアラブルデバイスは、スマートウォッチ２０である。スマートウォッチ２０は、モニタリング装置１０から通知があったことを表示する表示部を備える。スマートウォッチ２０の表示部には、メッセージＭ１と、第１ボタンＢ１と、第２ボタンＢ２とが表示されている。なお、スマートウォッチ２０は、表示部に重畳してタッチスクリーンが設けられており、第１ボタンＢ１又は第２ボタンＢ２をタッチすることで、それぞれのボタンを押下することができる。

【0069】

メッセージＭ１は、「Ａｌｅｒｔ！」という文字であり、時系列データが外れ値を含んでいると判定されたことをユーザ１に通知するものである。メッセージＭ１は、ユーザ１が一瞥しただけで理解できるように、単純な単語であることが望ましい。このように、スマートウォッチ２０は、振動部による振動と、表示部によるメッセージＭ１によって、ユーザ１に通知を行う。このように、触覚のみならず、視覚を通じて非言語メッセージが検出されたことを知らせることができる。

【0070】

スマートウォッチ２０は、判定モデル１３ａにより外れ値を検出する感度を調整する入力を受け付ける入力部を備える。本例では、入力部は、タッチスクリーンである。第１ボタンＢ１には「Ｍｏｒｅ」と記載され、第２ボタンＢ２には「Ｌｅｓｓ」と記載されている。ユーザ１により第１ボタンＢ１がタッチされると、モニタリング装置１０は、判定モデル１３ａによって外れ度ａ^(t)との比較に用いられる閾値を増大させる。また、ユーザ１により第２ボタンＢ２がタッチされると、モニタリング装置１０は、判定モデル１３ａによって外れ度ａ^(t)との比較に用いられる閾値を減少させる。

【0071】

このように、ユーザ１は、実際の使用状況に応じて、判定モデル１３ａによって外れ度ａ^(t)との比較に用いられる閾値を増減させ、通知の頻度を増減させることができる。

【0072】

図５は、本実施形態に係るモニタリング装置１０の表示例を示す図である。同図では、モニタリング装置１０の表示部１０ｆに表示される画面の一例を示している。画面の左側には、「検出されたフレーム」の第１画像Ｐ１が表示され、右側には「直前の代表的なフレーム」の第２画像Ｐ２が表示されている。ここで、第１画像Ｐ１は、モニタリング装置１０によって、外れ値と判定されたフレームの画像であり、非言語メッセージを含む蓋然性が高いフレームである。第１画像Ｐ１は、対象者が右手で後頭部を抑えている様子を示している。

【0073】

モニタリング装置１０は、連続して取得された所定数のデータを判定モデル１３ａに入力し、時系列データが外れ値を含むと判定された場合に、所定数のデータのうち最も外れ度が大きいデータを表示してよい。所定数のデータｘ^(t)_n（ｎ＝１〜Ｎ）のうち最も外れ度が大きいデータは、以下の数式（８）で与えられてよい。なお、モニタリング装置１０は、最も外れ度が大きいデータだけでなく、外れ度が上位所定順位以内のデータを表示してもよい。

【0074】

【数8】

【0075】

外れ値を検出した場合に、実際に撮影された画像を表示することで、対象者２が発した非言語メッセージを確認し直すことができ、ユーザ１が対象者とより良くコミュニケーションをとれるように支援することができる。

【0076】

モニタリング装置１０は、時系列データが外れ値を含むと判定された場合に、所定数のデータの一つ前にモデルに入力された所定数のデータのうち代表的なデータを表示してよい。直前に取得された所定数のデータｘ^(t-1)_n（ｎ＝１〜Ｎ）のうち代表的なデータは、以下の数式（９）で与えられてよい。ここでは、直前に取得された所定数のデータｘ^(t-1)_nから代表的なｌ＋１個のデータを選択する場合を示す。図５に示す例では、選択されたｌ＋１個のデータのうち１つを表示する場合を示しているが、モニタリング装置１０は、選択されたｌ＋１個のデータを並べて表示してもよい。また、モニタリング装置１０は、数式（９）により選択されたｌ＋１個のデータを、数式（８）により選択されたデータと比較可能に表示してもよい。さらに、モニタリング装置１０は、所定数のデータｘ^(t)_nのうち外れ度が上位ｌ＋１以内のデータを選択し、直前に取得された所定数のデータｘ^(t-1)_nからｌ＋１個の代表的なデータを選択して、並べて表示してもよい。

【0077】

【数9】

【0078】

外れ値を検出した場合に、直前に撮影された代表的な画像を表示することで、外れ値と判定された対象者２の状態を、対象者２の通常の状態と比較することができ、ユーザ１が対象者２とより良くコミュニケーションをとれるように支援することができる。

【0079】

図６は、本実施形態に係るモニタリング装置１０により実行される第１処理のフローチャートを示す図である。第１処理は、モニタリング装置１０によって外れ値を検出して、ユーザ１に通知する処理である。

【0080】

はじめに、モニタリング装置１０は、対象者２の動画を取得し（Ｓ１０）、動画を解析して姿勢データを生成し（Ｓ１１）、動画を解析して表情データを生成する（Ｓ１２）。これらの処理は、動画を撮影しながらリアルタイムで行われる。また、モニタリング装置１０は、対象者の視線データを取得する（Ｓ１３）。なお、表情データは、必ずしも生成されなくてもよい。

【0081】

モニタリング装置１０は、姿勢データ、表情データ及び視線データを含む時系列データを判定モデル１３ａに入力し、算出された外れ度を閾値と比較して、外れ値を含むか判定する（Ｓ１４）。また、モニタリング装置１０は、時系列データに基づいて、判定モデル１３ａに含まれるパラメータを更新する（Ｓ１５）。

【0082】

時系列データが外れ値を含む場合（Ｓ１６：ＹＥＳ）、モニタリング装置１０は、外れ値を含むと判定されたことをユーザ１に通知する（Ｓ１７）。一方、時系列データが外れ値を含まない場合（Ｓ１６：ＮＯ）、特に通知は行わずに次の処理に進む。

【0083】

処理を終了しない場合（Ｓ１８：ＮＯ）、モニタリング装置１０は、再び動画の取得（Ｓ１０）及び視線データの取得（Ｓ１３）を行い、以上の処理を繰り返す。一方、処理を終了する場合（Ｓ１８：ＹＥＳ）、モニタリング装置１０は、動作を停止して処理を終了する。

【0084】

図７は、本実施形態に係るモニタリング装置１０により実行される第２処理のフローチャートを示す図である。第２処理は、図６に示すユーザ１に通知を行う処理（Ｓ１７）である。

【0085】

モニタリング装置１０は、ユーザ１のスマートウォッチ２０にアラートを通知する（Ｓ１７１）。また、モニタリング装置１０は、ユーザ１のスマートウォッチ２０から閾値を調整する入力を受け付ける（Ｓ１７２）。

【0086】

そして、モニタリング装置１０は、現在のバッチに含まれる時系列データのうち最も外れ度が大きいデータを表示する（Ｓ１７３）。また、モニタリング装置１０は、直前のバッチに含まれる時系列データのうち代表的なデータを表示する（Ｓ１７４）。

【0087】

モニタリング装置１０は、閾値の調整がされた場合（Ｓ１７５：ＹＥＳ）、ユーザ１による入力に基づいて閾値を更新し（Ｓ１７６）、処理を終了する。一方、閾値の調整がされない場合（Ｓ１７５：ＮＯ）、処理を終了する。

【0088】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0089】

１…コーチ、２…対象者、１０…モニタリング装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…生成部、１３…判定部、１３ａ…判定モデル、１４…更新部、１５…通知部、２０…スマートウォッチ、３０…カメラ、４０…アイトラッカー、１００…モニタリングシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】