6594235 作業支援装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6594235

(24)【登録日】2019年10月4日

(45)【発行日】2019年10月23日

(54)【発明の名称】作業支援装置およびプログラム

(51)【国際特許分類】

   B25J 5/00 20060101AFI20191010BHJP

   B25J 13/00 20060101ALI20191010BHJP

【ＦＩ】

   B25J5/00 E

   B25J13/00 Z

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2016-52919(P2016-52919)

(22)【出願日】2016年3月16日

(65)【公開番号】特開2017-164851(P2017-164851A)

(43)【公開日】2017年9月21日

【審査請求日】2018年3月13日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100114258

【弁理士】

【氏名又は名称】福地 武雄

(74)【代理人】

【識別番号】100125391

【弁理士】

【氏名又は名称】白川 洋一

(72)【発明者】

【氏名】高山 伸也

(72)【発明者】

【氏名】酒澤 茂之

【審査官】 稲垣 浩司

(56)【参考文献】

【文献】 特開２０１５−０６６６２１（ＪＰ，Ａ）

【文献】 特開２００８−０１５５８５（ＪＰ，Ａ）

【文献】 特開２００６−０７２８９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００ − ２１／０２

(57)【特許請求の範囲】

【請求項1】

ユーザが行う作業を支援する作業支援装置であって、
予め特徴抽出がされたユーザの平常時の映像に対する時間的変化の不規則性をユーザの感情の変化量として示す情動度、またはユーザの生体信号の変動時系列データから算出されユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、
前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、
前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする作業支援装置。

【請求項2】

少なくとも前記映像または前記生体信号を取得する情報取得部を備えることを特徴とする請求項１記載の作業支援装置。

【請求項3】

前記映像または前記生体信号の少なくとも一つ、および、前記判定した情動度またはストレス指標の少なくとも一つを用いて、作業進行状況を判定する状況判定部を備え、
前記情報提示部は、前記判定した作業進行状況および前記生成したロボット動作に基づいて、前記作業進行状況に応じた作業手順に関する情報を提示することを特徴とする請求項１または請求項２記載の作業支援装置。

【請求項4】

ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得する周囲状況取得部を備えることを特徴とする請求項１から請求項３のいずれかに記載の作業支援装置。

【請求項5】

前記取得した環境情報に基づいて、前記作業手順に関する情報を変更する手順変更部を備えることを特徴とする請求項４記載の作業支援装置。

【請求項6】

前記映像、前記生体信号、または前記環境情報の少なくとも一つに応じて、物理的な作業支援を行う物理的協力部を備えることを特徴とする請求項４または請求項５記載の作業支援装置。

【請求項7】

いずれかの部位が可動であるロボット本体と、
前記部位を動かす駆動部と、を備え、
前記ロボット動作に基づいて、前記駆動部を駆動させることによって、前記ロボット本体の部位を動かすことを特徴とする請求項１から請求項６のいずれかに記載の作業支援装置。

【請求項8】

ユーザが行う作業を支援する作業支援装置のプログラムであって、
予め特徴抽出がされたユーザの平常時の映像に対する時間的変化の不規則性をユーザの感情の変化量として示す情動度、またはユーザの生体信号の変動時系列データから算出されユーザのストレスの度合いを示すストレス指標を判定する処理と、
前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する処理と、
前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザが行う作業を支援する作業支援装置およびプログラムに関する。

【背景技術】

【0002】

従来から、ユーザが行う作業手順を進行に合わせて提示する技術が知られている。特許文献１では、ユーザの返答から判定される経過情報に応じて適切な調理や仕事の手順を提示する技術が開示されている。

【0003】

また、特許文献２では、移動型ロボットを合理的に制御し、作業完了品を効率的に配達するロボットシステムに関する技術が開示されている。

【0004】

また、特許文献３では、ユーザの調理機器構成にあわせた調理方法を提示し、効率的な調理支援を行う調理支援システムに関する技術が開示されている。

【0005】

また、特許文献４では、複数の作業工程を並列に処理する場合において、注意を喚起する工程を提示する提示情報決定システムに関する技術が開示されている。

【0006】

また、特許文献５では、複数のステップで構成される生活タスクをユーザが実行する際、センサ情報から得たユーザの動作・状態からコンテキストを取得し、ステップに応じた情報やガイダンスを提示して支援するシステムに関する技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平１１−１８７８２４号公報

【特許文献2】特開２０１１−２４５５７７号公報

【特許文献3】特開２００１−１９０２３５号公報

【特許文献4】特開２００８−１５９０３９号公報

【特許文献5】特開２００８−０１５５８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１では、ユーザが入力した音声に基づいて経過情報が判定されるが、言葉を発することができない、調理や作業の音が大きい等、音声が取得困難な環境に適応できない。

【0009】

また、特許文献２では、物品を配達するという給仕には長けているものの、調理や仕事等の作業を協力的に実行する点に欠けている。

【0010】

また、特許文献３および特許文献４では、ユーザが使用する機器の構成や状況に応じて効率的な作業手順が提示されるが、映像表示機器が情報を提示するので、身振り手振りを交えた人間的な支援はできない。

【0011】

また、特許文献５では、取得されたユーザのコンテキストに応じて、予め定められたステップにおける情報やガイダンスを提示するが、時々刻々と変わるユーザの感情やストレスに応じた支援はできない。

【0012】

本発明は、このような事情に鑑みてなされたものであり、ユーザの感情やストレス、利用環境に応じて、ユーザが行う作業を支援する作業支援装置およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

（１）上記目的を達成するために、本発明の作業支援装置は、以下のような手段を講じた。すなわち、ユーザが行う作業を支援する作業支援装置であって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする。

【0014】

このように、作業支援装置は、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定し、判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成し、生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示するので、時々刻々と変わるユーザの感情やストレスに応じた作業支援をすることが可能となる。

【0015】

（２）また、本発明の作業支援装置は、少なくとも前記映像または前記生体信号を取得する情報取得部を備えることを特徴とする。

【0016】

このように、作業支援装置は、少なくとも映像または生体信号を取得するので、映像やセンサを用いることによって、音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。

【0017】

（３）また、本発明の作業支援装置は、前記映像または前記生体信号の少なくとも一つ、および、前記判定した情動度またはストレス指標の少なくとも一つを用いて、作業進行状況を判定する状況判定部を備え、前記情報提示部は、前記判定した作業進行状況および前記生成したロボット動作に基づいて、前記作業進行状況に応じた作業手順に関する情報を提示することを特徴とする。

【0018】

このように、作業支援装置は、映像または生体信号の少なくとも一つ、および、判定した情動度またはストレス指標の少なくとも一つを用いて、作業進行状況を判定し、情報提示部は、判定した作業進行状況および生成したロボット動作に基づいて、作業進行状況に応じた作業手順に関する情報を提示するので、ユーザの作業進行状況に応じた作業支援を行うことが可能となる。

【0019】

（４）また、本発明の作業支援装置は、ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得する周囲状況取得部を備えることを特徴とする。

【0020】

このように、作業支援装置は、ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得するので、ユーザを取り囲んでいる環境を把握することが可能となる。

【0021】

（５）また、本発明の作業支援装置は、前記取得した環境情報に基づいて、前記作業手順に関する情報を変更する手順変更部を備えることを特徴とする。

【0022】

このように、作業支援装置は、取得した環境情報に基づいて、作業手順に関する情報を変更するので、ユーザを取り囲んでいる環境も考慮した作業支援を行うことが可能となる。

【0023】

（６）また、本発明の作業支援装置は、前記映像、前記生体信号、または前記環境情報の少なくとも一つに応じて、物理的な作業支援を行う物理的協力部を備えることを特徴とする。

【0024】

このように、作業支援装置は、映像、生体信号、または環境情報の少なくとも一つに応じて、物理的な作業支援を行うので、ユーザの状態や利用環境に応じた作業支援を行うことが可能となる。その結果、ユーザの状態や利用環境に応じて、例えば、動作のスピード、声掛け等の音声の音量やスピードを調整することが可能となる。

【0025】

（７）また、本発明の作業支援装置は、いずれかの部位が可動であるロボット本体と、前記部位を動かす駆動部と、を備え、前記ロボット動作に基づいて、前記駆動部を駆動させることによって、前記ロボットの部位を動かすことを特徴とする。

【0026】

このように、本発明の作業支援装置は、いずれかの部位が可動であり、部位を動かし、ロボット動作に基づいて、駆動部を駆動させることによって、ロボットの部位を動かすので、ユーザの状態や利用環境に応じた作業支援を行うことが可能となる。その結果、ユーザの状態や利用環境に応じて、例えば、動作のスピード、声掛け等の音声の音量やスピードを調整することが可能となる。

【0027】

（８）また、本発明のプログラムは、ユーザが行う作業を支援する作業支援装置のプログラムであって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する処理と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する処理と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする。

【0028】

このように、プログラムは、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定し、判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成し、生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示するので、時々刻々と変わるユーザの感情やストレスに応じた作業支援をすることが可能となる。

【発明の効果】

【0029】

本発明によれば、ユーザの映像や生体信号を用いることにより、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることが可能となる。また、映像やセンサを用いることによって、音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。

【図面の簡単な説明】

【0030】

【図1】第１の実施形態に係る作業支援装置の概略構成を示す図である。

【図2】第１の実施形態に係る作業支援装置の機能を示すブロック図である。

【図3】第１の実施形態に係る作業支援装置の動作例を示すフローチャートである。

【図4】第１の実施形態に係る作業支援装置が動作する際の関係図である。

【図5】ロボット動作再生時の動作例を示す図である。

【図6】第２の実施形態に係る作業支援装置の概略構成を示す図である。

【図7】第２の実施形態に係る作業支援装置の機能を示すブロック図である。

【図8】第２の実施形態に係る作業支援装置の動作例を示すフローチャートである。

【図9】第２の実施形態に係る作業支援装置が動作する際の関係図である。

【発明を実施するための形態】

【0031】

本発明者は、時々刻々と変わるユーザの感情やストレスに応じた作業支援ができない点に着目し、ユーザの映像、生体信号を取得することによって、ユーザの感情やストレスに応じた作業支援を行うことができることを見出し、本発明をするに至った。

【0032】

すなわち、本発明の作業支援装置は、ユーザが行う作業を支援する作業支援装置であって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする。

【0033】

これにより、本発明者は、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることを可能とした。また、映像やセンサを用いることによって音声等の取得が困難な環境であってもユーザの状態を把握することを可能とした。

【0034】

以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、本実施形態では、調理における作業を支援する作業支援装置を例として説明するが、これに限らない。

【0035】

［第１の実施形態］
図１は、第１の実施形態に係る作業支援装置の概略構成を示す図である。作業支援装置１は、ロボット１０、カメラ２０および脈拍センサ３０を備える。カメラ２０は、ユーザの映像を取得する。脈拍センサ３０は、ユーザの脈拍信号を取得する。なお、本発明の取得センサは、カメラまたは脈拍センサに限定されることなく、ユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得できれば、いずれの物理センサであっても、本発明の技術的思想は変わらない。また、図１では、カメラ２０または脈拍センサ３０は、ロボット１０の外部に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、ロボット１０の内部に内蔵されていても良い。なお、ロボット１０は、いずれかの部位が可動であるロボット本体と、可動部を動かす駆動部を備えていても良い。ここで各部位とは、ロボット本体の目、口、手、指、脚等に該当し、各アクチュエータを動作させることによって可動となる。

【0036】

ロボット１０は、カメラ２０または脈拍センサ３０から取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する。ここで、情動度とは、ユーザの感情の変化量を示す。また、ストレス指標とは、ユーザのストレスの度合いを示す。

【0037】

ロボット１０は、判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成する。さらに、ロボット１０は、生成されたロボット動作６０に応じて、調理手順等の作業手順に関わる情報（以下、調理手順に関わる情報７０ともいう）を提示する。作業手順に関わる情報は、予め保持していても良いし、外部から取得しても良い。

【0038】

図２は、第１の実施形態に係る作業支援装置の機能を示すブロック図である。ロボット１０は、情報取得部１０−１、感情判定部１０−２、動作生成部１０−３および情報提示部１０−４を備える。情報取得部１０−１は、カメラまたは脈拍センサ等の物理センサを用いて、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する。感情判定部１０−２は、情報取得部１０−１が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する。動作生成部１０−３は、感情判定部１０−２で判定したユーザの情動度４０またはユーザのストレス指標５０を用いて、ロボット動作６０を生成する。情報提示部１０−４は、動作生成部１０−３で生成されたロボット動作６０に応じて、調理手順に関わる情報７０を提示する。また、図示しないが、ロボット１０は、ディスプレイ等の情報提示装置を備えていても良い。情報提示装置を用いて、レクチャー等の映像情報を調理手順に関わる情報７０として提示することもできる。

【0039】

図３は、第１の実施形態に係る作業支援装置の動作例を示すフローチャートである。そして、図４は、第１の実施形態に係る作業支援装置が動作する際の関係図である。

【0040】

初めに、ロボット１０に接続されたカメラ２０または脈拍センサ３０が、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する（ステップＳ１）。次に、ロボット１０において、ステップＳ１で取得したユーザの映像またはユーザの脈拍信号を用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する（ステップＳ２）。

【0041】

ここで、［１］ユーザの映像を用いてユーザの情動度４０を判定する方法、および［２］ユーザの脈拍信号を用いてユーザのストレス指標５０を判定する方法、について説明する。

【0042】

［１］まず、ユーザの情動度を判定する方法について一例を述べる。なお、本実施形態では、ユーザの顔映像を用いる場合について述べるが、本発明の技術的思想は、これに限定されるわけではなく、ユーザの全身映像等、他の映像を用いても良い。

【0043】

取得したユーザの顔映像の各フレームにおいて特徴点検出を行い、特徴点座標付近において、Ｈａａｒ−ｌｉｋｅ特徴量に基づき、特徴抽出を行う。ここでは、予めユーザの平常時の顔画像における特徴抽出を行っておき、ステップＳ１で取得したユーザのｔフレーム目の映像における事後確率を算出し、平常度Ｈ（ｔ）の時間変化における不規則性を反映し、式（１）を用いて、ユーザの情動度Ｕ（ｔ）として判定する。

【0044】

【数1】

【0045】

［２］次に、ユーザのストレス指標を判定する方法について一例を述べる。なお、本実施形態では、ユーザの脈拍信号からストレス指標を判定する方法を用いる場合を述べるが、本発明の技術的思想は、これに限定されるわけではなく、他の生体信号を用いても良い。

【0046】

取得したユーザの脈拍信号から脈拍間隔に基づき脈拍変動時系列データを算出する。算出された脈拍変動時系列データを周波数解析し、時刻ｔにおける呼吸変動に対応する高周波成分Ｆ_h（ｔ）と、血圧変動に対応する低周波成分Ｆ_l（ｔ）を抽出する。式（２）に示す高周波成分Ｆ_h（ｔ）と低周波成分Ｆ_l（ｔ）との比Ｓ（ｔ）をユーザのストレス指標として判定する。

【0047】

【数2】

【0048】

［３］ユーザの情動度Ｕ（ｔ）およびユーザのストレス指標Ｓ（ｔ）が同時に判定された場合は、式（３）を用いて、ユーザの情動度およびユーザのストレス指標の合計値Ｐ（ｔ）として判定する。

【0049】

【数3】

ここで、重み係数ｗ_jは、ユーザの情動度Ｕ（ｔ）に対する重み、ｗ_sはユーザのストレス指標Ｓ（ｔ）に対する重みである。なお、ユーザの情動度Ｕ（ｔ）のみが判定された場合は、Ｓ（ｔ）＝０、ユーザのストレス指標Ｓ（ｔ）のみが判定された場合は、Ｕ（ｔ）＝０として、Ｐ（ｔ）を算出しても良い。以上説明した方法を用いて、ユーザの情動度およびユーザのストレス指標を判定することができる。

【0050】

次に、ステップＳ２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成する（ステップＳ３）。以下に、一例として、主成分分析を用いてロボット動作を生成する方法について説明するが、本発明の技術的思想は、主成分分析を用いる方法に限定されるわけでなく、非線形状態空間写像や機械学習等、別の方法を用いてロボット動作を生成しても良い。

【0051】

本実施形態では、まず、ロボット動作データベースを用意する。なお、ここで言うロボット動作データベースには、ロボットの全ての部位が任意の時刻において、いずれの空間位置座標に存在するかに関するデータが、予め記憶されている。

【0052】

ここで、ロボット動作データベースに登録された平常時および任意の時刻におけるユーザの情動度またはユーザのストレス指標に対応するロボット動作を学習し、線形回帰手法により、平常時のロボット動作から、ユーザの情動度またはユーザのストレス指標に対応するロボット動作に変換するためのパラメータ（以下、変換パラメータともいう）を算出する。すなわち、予め用意されたロボット動作をｍ（ｍ＝１，２，・・・）とすると、平常時のロボット動作データの第ｊ主成分座標の微分値ｋ_j（ｍ）を用いて、式（４）により線形回帰演算を行い、変換パラメータａ^j_i、ｂ^j_iを算出しておく。

【0053】

【数4】

ただし、ｑ^j_i（ｍ）は、ロボット動作ｍにおける任意の時刻のユーザの情動度またはユーザのストレス指標の値ｉに対応するロボット動作の第ｊ主成分座標の微分値を示している。ここでは、変換パラメータａ^j_i、ｂ^j_iを用いて、ステップＳ２で判定したユーザの情動度またはユーザのストレス指標の値Ｐ（ｔ）に応じて、ロボット動作ｍを変換し、ロボット動作を生成する。すなわち、生成するロボット動作ｇの第ｊ主成分座標の微分値ｒ^j（ｇ）は、式（５）で求められる。

【0054】

【数5】

【0055】

そして、ロボット動作の第ｊ主成分座標は、その初期座標をＣ^jとすると、式（６）で表わすことができる。

【0056】

【数6】

【0057】

次に、ステップＳ３で生成されたロボット動作６０に応じて、調理手順に関わる情報７０を提示する（ステップＳ４）。各ロボット動作６０としてロボット動作データベースに記憶されている、任意の時刻においてロボット１０の各部位がいずれの空間位置座標に存在するかの情報に基づいて、ロボット１０に搭載されている目、口、手、指、脚等の各アクチュエータを制御して、ロボット動作６０を再生する。

【0058】

図５は、ロボット動作再生時の動作例を示す図である。例えば、ユーザの情動度４０またはユーザのストレス指標５０が大きくなる場合、式（６）の変位が小さくなるため、図５で示すように、徐々にスピードが遅くなるロボット動作６０を再生して、調理手順に関わる情報７０を丁寧に指示することが可能となる。また、情報提示装置を用いて、映像情報として調理手順に関わる情報７０を提示しても良い。その場合、ステップＳ２で判定したユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）おける静的特徴量Ｅ（ｔ）を、式（７）を用いて算出し、ディスプレイ等の表示画面の背景色や音量を変更して、調理手順に関わる情報７０を提示する。

【0059】

【数7】

【0060】

このように、静的特徴量Ｅ（ｔ）を用いることで、ある程度長い期間継続している特徴量を算出することができる。例えば、ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）が大きくなる場合、式（７）において算出されるＥ（ｔ）の値も大きくなるため、図５で示すように、調理手順に関わる情報７０を強調して指示する等の作業支援が可能となる。

【0061】

このように、本実施形態によれば、ロボット１０に接続されたカメラ２０または脈拍センサ３０がユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得し、取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定し、判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成し、生成したロボット動作６０に応じて、調理手順に関わる情報７０を提示するので、時々刻々と変わるユーザの感情やストレス指標に応じた支援が可能となる。また、物理的な実体のあるロボットが身振り手振りを交えて支援することで、人間的な支援を実現することも可能となる。

【0062】

［第２の実施形態］
図６は、第２の実施形態に係る作業支援装置の概略構成を示す図である。作業支援装置２は、ロボット１０、カメラ２０または脈拍センサ３０、および宅内機器（電子機器）９０を備える。カメラ２０は、ユーザの映像を取得する。脈拍センサ３０は、ユーザの脈拍信号を取得する。なお、本実施形態においても、本発明の取得センサは、カメラまたは脈拍センサに限定されることなく、ユーザの映像またはユーザの脈拍信号等の生体信号を取得できれば、いずれの物理センサであっても、本発明の技術的思想は変わらない。

【0063】

ロボット１０は取得したユーザの映像またはユーザのストレス指標５０の少なくとも一つを用いて、ユーザの作業進行状況（以下、調理状況１００ともいう）を判定する。さらに、ロボット１０は、判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成する。そして、ロボット１０は、判定したユーザの調理状況１００および生成されたロボット動作６０に応じて、調理手順に関わる情報７０を提示する。

【0064】

宅内機器９０は、天気等のユーザの周囲の状況１１０を取得する。ロボット１０は、取得した周囲の状況１１０に応じて、調理手順に関わる情報７０を変更する。さらに、ロボット１０は、ユーザの調理作業を物理的に支援することができる。図６では、カメラ２０または脈拍センサ３０、および宅内機器９０は、ロボット１０の外部に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、ロボット１０の内部に内蔵されていても良い。

【0065】

図７は、第２の実施形態に係る作業支援装置の機能を示すブロック図である。ロボット１０は、情報取得部１０−１、感情判定部１０−２、動作生成部１０−３、情報提示部１０−４、状況判定部１０−５、手順変更部１０−６、物理的協力部１０−７、および宅内機器９０を備える。情報取得部１０−１は、カメラ２０または脈拍センサ３０等の物理センサを用いて、ユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得する。感情判定部１０−２は、情報取得部１０−１が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する。

【0066】

状況判定部１０−５は、情報取得部１０−１が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つ、および、感情判定部１０−２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ユーザの調理状況１００を判定する。動作生成部１０−３は、感情判定部１０−２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成する。情報提示部１０−４は、状況判定部１０−５で判定した調理状況１００および動作生成部１０−３で生成されたロボット動作６０に応じて、調理手順に関わる情報７０を提示する。

【0067】

宅内機器９０は、周囲状況取得部９０−１を備える。周囲状況取得部９０−１は、周囲の状況１１０を取得する。手順変更部１０−６は、周囲状況取得部９０−１で取得した周囲の状況１１０に応じて、調理手順に関わる情報７０を変更する。物理的協力部１０−７は、ユーザの調理作業を物理的に支援する。

【0068】

図８は、第２の実施形態に係る作業支援装置の動作例を示すフローチャートである。そして、図９は、第２の実施形態に係る作業支援装置が動作する際の関係図である。

【0069】

初めに、ロボット１０に接続されたカメラ２０または脈拍センサ３０が、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する（ステップＴ１）。次に、ロボット１０において、ステップＴ１で取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する（ステップＴ２）。

【0070】

次に、ステップＴ１で取得したユーザの映像またはユーザの脈拍信号の少なくとも一つ、および、ステップＴ２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ユーザの調理状況１００を判定する（ステップＴ３）。

【0071】

調理状況の判定について具体例［１］〜［３］を示す。ここでは、カメラ２０で取得した映像信号を、ＳＶＭ等の画像パターン認識法を用いて、「腕が真上に上がる」「手が左右に振られる」「視線が天井に向く」「視線がロボットに向く」等の行動情報に変換する。

【0072】

［１］
・ユーザの腕が真上に上がる映像を受信
→ 調理状況１００：完了
・ユーザの手が左右に振られる映像を受信
→ 調理状況１００：未完了
・ユーザの腕が真上に上がる映像も、ユーザの手が左右に振られる映像も受信しない
→ 調理状況１００：繁忙

【0073】

［２］
・ユーザの視線が天井に向く映像を受信
→ 調理状況１００：完了
・ユーザの視線がロボットに向く映像を受信
→ 調理状況１００：未完了
・ユーザの視線が天井に向く映像も、ユーザの視線がロボットに向く映像も受信しない
→ 調理状況１００：繁忙

【0074】

［３］
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ_A未満
→ 調理状況１００：完了
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ_A以上かつθ_B未満
→ 調理状況１００：未完了
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ_B以上
→ 調理状況１００：繁忙

【0075】

次に、ロボット１０において、ステップＴ３で判定したユーザの情動度４０またはユーザのストレス指標５０、および調理状況１００を用いて、ロボット動作６０を生成する（ステップＴ４）。

【0076】

次に、ロボット１０において、ステップＴ３で判定した調理状況１００、およびステップＴ４で生成されたロボット動作６０を用いて、調理手順に関わる情報７０を提示する（ステップＴ５）。以下に、ステップＴ５の動作例を説明する。本実施形態では、例えば、料理品名、その各調理手順における画像、目安の調理時間から構成される調理データベースを使用する。なお、調理データベースは、出版社やＩＳＰ等から提供されており、容易に取得可能である。もし手順化されていな場合には、文字認識技術やテキスト解析技術等を用いて、各調理手順、目安の調理時間を構成し、料理データベースを作成しても良い。

【0077】

現在の調理手順が先頭からＮ番目であるとする。以下に、ステップＴ３において調理状況を「完了」、「未完了」、「繁忙」と判定した場合の動作例を示す
・調理状況１００として、完了と判定
→ 料理データベースからＮ＋１番目の調理手順における画像を抽出し、調理手順に関わる情報７０として提示
・調理状況１００として、未完了と判定
→ 料理データベースからＮ番目の作業手順における画像を抽出し、調理手順に関わる情報７０として提示。
・調理状況１００として、繁忙と判定
→ 一定時間経過後、ステップＴ１へ戻る

【0078】

次に、ユーザの映像またはユーザの生体信号等とは別に、宅内機器９０において、周囲の状況１１０を取得し、取得した情報をデータに変換する（ステップＴ６）。なお、本実施形態では、宅内機器９０として、電話機、スマートフォン、ＰＣ、ＴＶ、インターフォン、降雪雨センサ・風速センサ・温度センサを使用し、周囲の状況１１０として、電話、電子メール、ＳＮＳ、ＴＶ放送、訪問者、天候等の情報を取得するが、本発明の技術的思想は、これらに限定されるわけではなく、他の宅内機器または周囲の状況を用いても良い。以下に、各種宅内機器を用いた場合の動作例を示す。

【0079】

・宅内機器９０として、電話機を使用
→ 電話機で検出された入電、電子メールの受信を当該通信手段の受信有無情報に変換
・宅内機器９０として、スマートフォンを使用
→ スマートフォンで検出された入電、電子メールの受信、ＳＮＳメッセージ等の受信を当該通信手段の受信有無情報に変換
・宅内機器９０として、ＴＶを使用
→ ＴＶの視聴予約開始時刻を数値データに変換
・宅内機器９０として、インターフォンを使用
→ インターフォンの押下をインターフォン押下有無情報に変換
・宅内機器９０として、降雪雨センサ・風速センサ・温度センサを使用
→ 降雪雨センサ・風速センサ・温度センサで検出された降雪雨、風速、温度を数値データに変換

【0080】

次に、周囲状況取得部でデータに変換された周囲の状況１１０は、ロボット１０へ送信される。以下に、周囲の状況１１０の送信の動作例を示す。
・宅内機器９０として、電話機を使用
→ 周囲の状況１１０として、電話機への入電をロボット１０に送信
→ 周囲の状況１１０として、電話機への電子メールの受信をロボット１０に送信
・宅内機器９０として、スマートフォンを使用
→ 周囲の状況１１０として、スマートフォンへの入電をロボット１０に送信
→ 周囲の状況１１０として、スマートフォンへの電子メールの受信をロボット１０に送信
→ 周囲の状況１１０として、スマートフォンへのＳＮＳメッセージの受信をロボット１０に送信
・宅内機器９０として、ＰＣを使用
→ 周囲の状況１１０として、ＰＣへの入電をロボット１０に送信
→ 周囲の状況１１０として、ＰＣへの電子メールの受信をロボット１０に送信
→ 周囲の状況１１０として、ＰＣへのＳＮＳメッセージの受信をロボット１０に送信
・宅内機器９０として、ＴＶを使用
→ 周囲の状況１１０として、視聴予約したＴＶ放送の開始をロボット１０に送信
・宅内機器９０として、インターフォンを使用
→ 周囲の状況１１０として、訪問者からの呼出をロボット１０に送信
・宅内機器９０として、降雪雨センサ・風速センサ・温度センサを使用
→ 周囲の状況１１０として、降雪雨の発生をロボット１０へ送信
→ 周囲の状況１１０として、強風の発生をロボット１０へ送信
→ 周囲の状況１１０として、気温の変化をロボット１０へ送信

【0081】

次に、ロボット１０において、ステップＴ６で取得した周囲の状況１１０に応じて、調理手順に関わる情報７０を変更する（ステップＴ７）。また、ここでは、予めユーザ取得した各周囲の状況１１０への応答時間θ_i（ｉ＝入電、電子メール受信、ＳＮＳメッセージ受信、視聴予約したＴＶ放送の開始、訪問者からの呼出、降雪雨の発生、強風の発生、気温の変化等）を指定しておくが、本発明の技術的思想は、これに限定されるわけではない。

【0082】

（１）θ_i≧Ｎ番目の調理手順における目安の調理時間−Ｎ番目の手順における作業経過時間
→ 調理手順に関わる情報７０：変更なし
（２）θ_i<Ｎ番目の調理手順における目安の調理時間−Ｎ番目の手順における作業経過時間
・料理データベースにおけるＮ＋１番目以降の目安の調理時間に、θ_i以下の調理手順（Ｍ番目）が存在し、且つＮ番目の調理手順と入れ替え可能
→ 調理手順に関わる情報７０：料理データベースからＭ番目の調理手順における画像を抽出し、調理手順に関わる情報７０として提示
・料理データベースにおけるＮ＋１番目以降の目安の調理時間に、θ_i以下の調理手順が存在しない、またはＮ番目の調理手順と入れ替え不可能
→ 調理手順に関わる情報７０：中断

【0083】

さらに、ロボット１０において、ユーザの作業を物理的に支援する（ステップＴ８）。なお、本実施形態では、ロボット１０に、物体の運搬や機器の操作を可能とする部位が装着されているが、本発明の技術的思想は、これに限定されるわけではなく、物体の運搬や機器の操作を指示するだけでも良い。

【0084】

ここで、ロボット１０は、例えば、Ｎ番目の調理手順に必要な調理器具を保管場所から取り出し、ユーザに渡す。また、ロボット１０は、Ｎ番目の調理手順に必要な調理機器の操作を行う。なお、ここでは、調理機器や調理器具の位置は、予め登録しても良いし、ロボット１０が認識して、各調理機器や調理器具の位置を把握しても良い。
・料理データベースにあるＮ番目の調理手順における調理器具と異なる調理器具を使用する映像を受信
→ 正しい調理器具を渡す
・料理データベースにあるＮ番目の調理手順における調理方法と異なる映像を受信
→ 正しい調理方法を提示する
・ユーザの視線がＮ番目の調理手順に使用する調理機器とは異なる方向に向く映像を受信
→ 警告を促す
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ以上
→ 各調理機器の安全装置を作動させる

【0085】

さらに、ステップＴ３で判定した調理状況１００またはステップＴ２で判定したユーザの情動度４０またはユーザのストレス指標５０に応じて、ロボット１０がユーザに声掛けを行う。
・作業進行状況：完了
→ ロボット１０：「良くできました」等、賞賛の声掛け
・作業進行状況：未完了
→ ロボット１０：「頑張って」等、激励の声掛け
・作業進行状況：繁忙
→ ロボット１０：「どうしたの？」等、心配の声掛け
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ以上
→ ロボット１０：「落ち着いて」等、慎重な声掛け

【0086】

加えて、ステップＴ１で取得したユーザの映像またはステップＴ２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、作業の手順や出来栄えを評価する。
・料理データベースにあるＮ番目の調理手順における作業結果との類似度を受信
→ 類似度を５段階で評価し、ロボット評価として出力する
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ以上
→ コーヒーメーカを起動し、ご褒美としてユーザにコーヒーを提供する

【0087】

以上説明したように、本実施形態によれば、ユーザの映像や生体信号を用いることにより、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることが可能となる。また、映像やセンサを用いることによって音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。

【符号の説明】

【0088】

１、２ 作業支援装置
１０ ロボット
１０−１ 情報取得部
１０−２ 感情判定部
１０−３ 動作生成部
１０−４ 情報提示部
１０−５ 状況判定部
１０−６ 手順変更部
１０−７ 物理的協力部
２０ カメラ
３０ 脈拍センサ
４０ ユーザの情動度
５０ ユーザのストレス指標
６０ ロボット動作
７０ 調理手順に関わる情報
９０ 宅内機器（電子機器）
９０−１ 周囲状況取得部
１００ 調理状況
１１０ 周囲の状況

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】