(58)【調査した分野】(Int.Cl.,DB名)
ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得する周囲状況取得部を備えることを特徴とする請求項1から請求項3のいずれかに記載の作業支援装置。
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1では、ユーザが入力した音声に基づいて経過情報が判定されるが、言葉を発することができない、調理や作業の音が大きい等、音声が取得困難な環境に適応できない。
【0009】
また、特許文献2では、物品を配達するという給仕には長けているものの、調理や仕事等の作業を協力的に実行する点に欠けている。
【0010】
また、特許文献3および特許文献4では、ユーザが使用する機器の構成や状況に応じて効率的な作業手順が提示されるが、映像表示機器が情報を提示するので、身振り手振りを交えた人間的な支援はできない。
【0011】
また、特許文献5では、取得されたユーザのコンテキストに応じて、予め定められたステップにおける情報やガイダンスを提示するが、時々刻々と変わるユーザの感情やストレスに応じた支援はできない。
【0012】
本発明は、このような事情に鑑みてなされたものであり、ユーザの感情やストレス、利用環境に応じて、ユーザが行う作業を支援する作業支援装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0013】
(1)上記目的を達成するために、本発明の作業支援装置は、以下のような手段を講じた。すなわち、ユーザが行う作業を支援する作業支援装置であって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする。
【0014】
このように、作業支援装置は、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定し、判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成し、生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示するので、時々刻々と変わるユーザの感情やストレスに応じた作業支援をすることが可能となる。
【0015】
(2)また、本発明の作業支援装置は、少なくとも前記映像または前記生体信号を取得する情報取得部を備えることを特徴とする。
【0016】
このように、作業支援装置は、少なくとも映像または生体信号を取得するので、映像やセンサを用いることによって、音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。
【0017】
(3)また、本発明の作業支援装置は、前記映像または前記生体信号の少なくとも一つ、および、前記判定した情動度またはストレス指標の少なくとも一つを用いて、作業進行状況を判定する状況判定部を備え、前記情報提示部は、前記判定した作業進行状況および前記生成したロボット動作に基づいて、前記作業進行状況に応じた作業手順に関する情報を提示することを特徴とする。
【0018】
このように、作業支援装置は、映像または生体信号の少なくとも一つ、および、判定した情動度またはストレス指標の少なくとも一つを用いて、作業進行状況を判定し、情報提示部は、判定した作業進行状況および生成したロボット動作に基づいて、作業進行状況に応じた作業手順に関する情報を提示するので、ユーザの作業進行状況に応じた作業支援を行うことが可能となる。
【0019】
(4)また、本発明の作業支援装置は、ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得する周囲状況取得部を備えることを特徴とする。
【0020】
このように、作業支援装置は、ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得するので、ユーザを取り囲んでいる環境を把握することが可能となる。
【0021】
(5)また、本発明の作業支援装置は、前記取得した環境情報に基づいて、前記作業手順に関する情報を変更する手順変更部を備えることを特徴とする。
【0022】
このように、作業支援装置は、取得した環境情報に基づいて、作業手順に関する情報を変更するので、ユーザを取り囲んでいる環境も考慮した作業支援を行うことが可能となる。
【0023】
(6)また、本発明の作業支援装置は、前記映像、前記生体信号、または前記環境情報の少なくとも一つに応じて、物理的な作業支援を行う物理的協力部を備えることを特徴とする。
【0024】
このように、作業支援装置は、映像、生体信号、または環境情報の少なくとも一つに応じて、物理的な作業支援を行うので、ユーザの状態や利用環境に応じた作業支援を行うことが可能となる。その結果、ユーザの状態や利用環境に応じて、例えば、動作のスピード、声掛け等の音声の音量やスピードを調整することが可能となる。
【0025】
(7)また、本発明の作業支援装置は、いずれかの部位が可動であるロボット本体と、前記部位を動かす駆動部と、を備え、前記ロボット動作に基づいて、前記駆動部を駆動させることによって、前記ロボットの部位を動かすことを特徴とする。
【0026】
このように、本発明の作業支援装置は、いずれかの部位が可動であり、部位を動かし、ロボット動作に基づいて、駆動部を駆動させることによって、ロボットの部位を動かすので、ユーザの状態や利用環境に応じた作業支援を行うことが可能となる。その結果、ユーザの状態や利用環境に応じて、例えば、動作のスピード、声掛け等の音声の音量やスピードを調整することが可能となる。
【0027】
(8)また、本発明のプログラムは、ユーザが行う作業を支援する作業支援装置のプログラムであって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する処理と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する処理と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする。
【0028】
このように、プログラムは、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定し、判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成し、生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示するので、時々刻々と変わるユーザの感情やストレスに応じた作業支援をすることが可能となる。
【発明の効果】
【0029】
本発明によれば、ユーザの映像や生体信号を用いることにより、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることが可能となる。また、映像やセンサを用いることによって、音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。
【発明を実施するための形態】
【0031】
本発明者は、時々刻々と変わるユーザの感情やストレスに応じた作業支援ができない点に着目し、ユーザの映像、生体信号を取得することによって、ユーザの感情やストレスに応じた作業支援を行うことができることを見出し、本発明をするに至った。
【0032】
すなわち、本発明の作業支援装置は、ユーザが行う作業を支援する作業支援装置であって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする。
【0033】
これにより、本発明者は、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることを可能とした。また、映像やセンサを用いることによって音声等の取得が困難な環境であってもユーザの状態を把握することを可能とした。
【0034】
以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、本実施形態では、調理における作業を支援する作業支援装置を例として説明するが、これに限らない。
【0035】
[第1の実施形態]
図1は、第1の実施形態に係る作業支援装置の概略構成を示す図である。作業支援装置1は、ロボット10、カメラ20および脈拍センサ30を備える。カメラ20は、ユーザの映像を取得する。脈拍センサ30は、ユーザの脈拍信号を取得する。なお、本発明の取得センサは、カメラまたは脈拍センサに限定されることなく、ユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得できれば、いずれの物理センサであっても、本発明の技術的思想は変わらない。また、
図1では、カメラ20または脈拍センサ30は、ロボット10の外部に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、ロボット10の内部に内蔵されていても良い。なお、ロボット10は、いずれかの部位が可動であるロボット本体と、可動部を動かす駆動部を備えていても良い。ここで各部位とは、ロボット本体の目、口、手、指、脚等に該当し、各アクチュエータを動作させることによって可動となる。
【0036】
ロボット10は、カメラ20または脈拍センサ30から取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度40またはユーザのストレス指標50の少なくとも一つを判定する。ここで、情動度とは、ユーザの感情の変化量を示す。また、ストレス指標とは、ユーザのストレスの度合いを示す。
【0037】
ロボット10は、判定したユーザの情動度40またはユーザのストレス指標50の少なくとも一つを用いて、ロボット動作60を生成する。さらに、ロボット10は、生成されたロボット動作60に応じて、調理手順等の作業手順に関わる情報(以下、調理手順に関わる情報70ともいう)を提示する。作業手順に関わる情報は、予め保持していても良いし、外部から取得しても良い。
【0038】
図2は、第1の実施形態に係る作業支援装置の機能を示すブロック図である。ロボット10は、情報取得部10−1、感情判定部10−2、動作生成部10−3および情報提示部10−4を備える。情報取得部10−1は、カメラまたは脈拍センサ等の物理センサを用いて、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する。感情判定部10−2は、情報取得部10−1が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度40またはユーザのストレス指標50の少なくとも一つを判定する。動作生成部10−3は、感情判定部10−2で判定したユーザの情動度40またはユーザのストレス指標50を用いて、ロボット動作60を生成する。情報提示部10−4は、動作生成部10−3で生成されたロボット動作60に応じて、調理手順に関わる情報70を提示する。また、図示しないが、ロボット10は、ディスプレイ等の情報提示装置を備えていても良い。情報提示装置を用いて、レクチャー等の映像情報を調理手順に関わる情報70として提示することもできる。
【0039】
図3は、第1の実施形態に係る作業支援装置の動作例を示すフローチャートである。そして、
図4は、第1の実施形態に係る作業支援装置が動作する際の関係図である。
【0040】
初めに、ロボット10に接続されたカメラ20または脈拍センサ30が、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する(ステップS1)。次に、ロボット10において、ステップS1で取得したユーザの映像またはユーザの脈拍信号を用いて、ユーザの情動度40またはユーザのストレス指標50の少なくとも一つを判定する(ステップS2)。
【0041】
ここで、[1]ユーザの映像を用いてユーザの情動度40を判定する方法、および[2]ユーザの脈拍信号を用いてユーザのストレス指標50を判定する方法、について説明する。
【0042】
[1]まず、ユーザの情動度を判定する方法について一例を述べる。なお、本実施形態では、ユーザの顔映像を用いる場合について述べるが、本発明の技術的思想は、これに限定されるわけではなく、ユーザの全身映像等、他の映像を用いても良い。
【0043】
取得したユーザの顔映像の各フレームにおいて特徴点検出を行い、特徴点座標付近において、Haar−like特徴量に基づき、特徴抽出を行う。ここでは、予めユーザの平常時の顔画像における特徴抽出を行っておき、ステップS1で取得したユーザのtフレーム目の映像における事後確率を算出し、平常度H(t)の時間変化における不規則性を反映し、式(1)を用いて、ユーザの情動度U(t)として判定する。
【0045】
[2]次に、ユーザのストレス指標を判定する方法について一例を述べる。なお、本実施形態では、ユーザの脈拍信号からストレス指標を判定する方法を用いる場合を述べるが、本発明の技術的思想は、これに限定されるわけではなく、他の生体信号を用いても良い。
【0046】
取得したユーザの脈拍信号から脈拍間隔に基づき脈拍変動時系列データを算出する。算出された脈拍変動時系列データを周波数解析し、時刻tにおける呼吸変動に対応する高周波成分F
h(t)と、血圧変動に対応する低周波成分F
l(t)を抽出する。式(2)に示す高周波成分F
h(t)と低周波成分F
l(t)との比S(t)をユーザのストレス指標として判定する。
【0048】
[3]ユーザの情動度U(t)およびユーザのストレス指標S(t)が同時に判定された場合は、式(3)を用いて、ユーザの情動度およびユーザのストレス指標の合計値P(t)として判定する。
【0049】
【数3】
ここで、重み係数w
jは、ユーザの情動度U(t)に対する重み、w
sはユーザのストレス指標S(t)に対する重みである。なお、ユーザの情動度U(t)のみが判定された場合は、S(t)=0、ユーザのストレス指標S(t)のみが判定された場合は、U(t)=0として、P(t)を算出しても良い。以上説明した方法を用いて、ユーザの情動度およびユーザのストレス指標を判定することができる。
【0050】
次に、ステップS2で判定したユーザの情動度40またはユーザのストレス指標50の少なくとも一つを用いて、ロボット動作60を生成する(ステップS3)。以下に、一例として、主成分分析を用いてロボット動作を生成する方法について説明するが、本発明の技術的思想は、主成分分析を用いる方法に限定されるわけでなく、非線形状態空間写像や機械学習等、別の方法を用いてロボット動作を生成しても良い。
【0051】
本実施形態では、まず、ロボット動作データベースを用意する。なお、ここで言うロボット動作データベースには、ロボットの全ての部位が任意の時刻において、いずれの空間位置座標に存在するかに関するデータが、予め記憶されている。
【0052】
ここで、ロボット動作データベースに登録された平常時および任意の時刻におけるユーザの情動度またはユーザのストレス指標に対応するロボット動作を学習し、線形回帰手法により、平常時のロボット動作から、ユーザの情動度またはユーザのストレス指標に対応するロボット動作に変換するためのパラメータ(以下、変換パラメータともいう)を算出する。すなわち、予め用意されたロボット動作をm(m=1,2,・・・)とすると、平常時のロボット動作データの第j主成分座標の微分値k
j(m)を用いて、式(4)により線形回帰演算を行い、変換パラメータa
ji、b
jiを算出しておく。
【0053】
【数4】
ただし、q
ji(m)は、ロボット動作mにおける任意の時刻のユーザの情動度またはユーザのストレス指標の値iに対応するロボット動作の第j主成分座標の微分値を示している。ここでは、変換パラメータa
ji、b
jiを用いて、ステップS2で判定したユーザの情動度またはユーザのストレス指標の値P(t)に応じて、ロボット動作mを変換し、ロボット動作を生成する。すなわち、生成するロボット動作gの第j主成分座標の微分値r
j(g)は、式(5)で求められる。
【0055】
そして、ロボット動作の第j主成分座標は、その初期座標をC
jとすると、式(6)で表わすことができる。
【0057】
次に、ステップS3で生成されたロボット動作60に応じて、調理手順に関わる情報70を提示する(ステップS4)。各ロボット動作60としてロボット動作データベースに記憶されている、任意の時刻においてロボット10の各部位がいずれの空間位置座標に存在するかの情報に基づいて、ロボット10に搭載されている目、口、手、指、脚等の各アクチュエータを制御して、ロボット動作60を再生する。
【0058】
図5は、ロボット動作再生時の動作例を示す図である。例えば、ユーザの情動度40またはユーザのストレス指標50が大きくなる場合、式(6)の変位が小さくなるため、
図5で示すように、徐々にスピードが遅くなるロボット動作60を再生して、調理手順に関わる情報70を丁寧に指示することが可能となる。また、情報提示装置を用いて、映像情報として調理手順に関わる情報70を提示しても良い。その場合、ステップS2で判定したユーザの情動度40またはユーザのストレス指標50の値P(t)おける静的特徴量E(t)を、式(7)を用いて算出し、ディスプレイ等の表示画面の背景色や音量を変更して、調理手順に関わる情報70を提示する。
【0060】
このように、静的特徴量E(t)を用いることで、ある程度長い期間継続している特徴量を算出することができる。例えば、ユーザの情動度40またはユーザのストレス指標50の値P(t)が大きくなる場合、式(7)において算出されるE(t)の値も大きくなるため、
図5で示すように、調理手順に関わる情報70を強調して指示する等の作業支援が可能となる。
【0061】
このように、本実施形態によれば、ロボット10に接続されたカメラ20または脈拍センサ30がユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得し、取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度40またはユーザのストレス指標50の少なくとも一つを判定し、判定したユーザの情動度40またはユーザのストレス指標50の少なくとも一つを用いて、ロボット動作60を生成し、生成したロボット動作60に応じて、調理手順に関わる情報70を提示するので、時々刻々と変わるユーザの感情やストレス指標に応じた支援が可能となる。また、物理的な実体のあるロボットが身振り手振りを交えて支援することで、人間的な支援を実現することも可能となる。
【0062】
[第2の実施形態]
図6は、第2の実施形態に係る作業支援装置の概略構成を示す図である。作業支援装置2は、ロボット10、カメラ20または脈拍センサ30、および宅内機器(電子機器)90を備える。カメラ20は、ユーザの映像を取得する。脈拍センサ30は、ユーザの脈拍信号を取得する。なお、本実施形態においても、本発明の取得センサは、カメラまたは脈拍センサに限定されることなく、ユーザの映像またはユーザの脈拍信号等の生体信号を取得できれば、いずれの物理センサであっても、本発明の技術的思想は変わらない。
【0063】
ロボット10は取得したユーザの映像またはユーザのストレス指標50の少なくとも一つを用いて、ユーザの作業進行状況(以下、調理状況100ともいう)を判定する。さらに、ロボット10は、判定したユーザの情動度40またはユーザのストレス指標50の少なくとも一つを用いて、ロボット動作60を生成する。そして、ロボット10は、判定したユーザの調理状況100および生成されたロボット動作60に応じて、調理手順に関わる情報70を提示する。
【0064】
宅内機器90は、天気等のユーザの周囲の状況110を取得する。ロボット10は、取得した周囲の状況110に応じて、調理手順に関わる情報70を変更する。さらに、ロボット10は、ユーザの調理作業を物理的に支援することができる。
図6では、カメラ20または脈拍センサ30、および宅内機器90は、ロボット10の外部に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、ロボット10の内部に内蔵されていても良い。
【0065】
図7は、第2の実施形態に係る作業支援装置の機能を示すブロック図である。ロボット10は、情報取得部10−1、感情判定部10−2、動作生成部10−3、情報提示部10−4、状況判定部10−5、手順変更部10−6、物理的協力部10−7、および宅内機器90を備える。情報取得部10−1は、カメラ20または脈拍センサ30等の物理センサを用いて、ユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得する。感情判定部10−2は、情報取得部10−1が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度40またはユーザのストレス指標50の少なくとも一つを判定する。
【0066】
状況判定部10−5は、情報取得部10−1が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つ、および、感情判定部10−2で判定したユーザの情動度40またはユーザのストレス指標50の少なくとも一つを用いて、ユーザの調理状況100を判定する。動作生成部10−3は、感情判定部10−2で判定したユーザの情動度40またはユーザのストレス指標50の少なくとも一つを用いて、ロボット動作60を生成する。情報提示部10−4は、状況判定部10−5で判定した調理状況100および動作生成部10−3で生成されたロボット動作60に応じて、調理手順に関わる情報70を提示する。
【0067】
宅内機器90は、周囲状況取得部90−1を備える。周囲状況取得部90−1は、周囲の状況110を取得する。手順変更部10−6は、周囲状況取得部90−1で取得した周囲の状況110に応じて、調理手順に関わる情報70を変更する。物理的協力部10−7は、ユーザの調理作業を物理的に支援する。
【0068】
図8は、第2の実施形態に係る作業支援装置の動作例を示すフローチャートである。そして、
図9は、第2の実施形態に係る作業支援装置が動作する際の関係図である。
【0069】
初めに、ロボット10に接続されたカメラ20または脈拍センサ30が、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する(ステップT1)。次に、ロボット10において、ステップT1で取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度40またはユーザのストレス指標50の少なくとも一つを判定する(ステップT2)。
【0070】
次に、ステップT1で取得したユーザの映像またはユーザの脈拍信号の少なくとも一つ、および、ステップT2で判定したユーザの情動度40またはユーザのストレス指標50の少なくとも一つを用いて、ユーザの調理状況100を判定する(ステップT3)。
【0071】
調理状況の判定について具体例[1]〜[3]を示す。ここでは、カメラ20で取得した映像信号を、SVM等の画像パターン認識法を用いて、「腕が真上に上がる」「手が左右に振られる」「視線が天井に向く」「視線がロボットに向く」等の行動情報に変換する。
【0072】
[1]
・ユーザの腕が真上に上がる映像を受信
→ 調理状況100:完了
・ユーザの手が左右に振られる映像を受信
→ 調理状況100:未完了
・ユーザの腕が真上に上がる映像も、ユーザの手が左右に振られる映像も受信しない
→ 調理状況100:繁忙
【0073】
[2]
・ユーザの視線が天井に向く映像を受信
→ 調理状況100:完了
・ユーザの視線がロボットに向く映像を受信
→ 調理状況100:未完了
・ユーザの視線が天井に向く映像も、ユーザの視線がロボットに向く映像も受信しない
→ 調理状況100:繁忙
【0074】
[3]
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ
A未満
→ 調理状況100:完了
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ
A以上かつθ
B未満
→ 調理状況100:未完了
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ
B以上
→ 調理状況100:繁忙
【0075】
次に、ロボット10において、ステップT3で判定したユーザの情動度40またはユーザのストレス指標50、および調理状況100を用いて、ロボット動作60を生成する(ステップT4)。
【0076】
次に、ロボット10において、ステップT3で判定した調理状況100、およびステップT4で生成されたロボット動作60を用いて、調理手順に関わる情報70を提示する(ステップT5)。以下に、ステップT5の動作例を説明する。本実施形態では、例えば、料理品名、その各調理手順における画像、目安の調理時間から構成される調理データベースを使用する。なお、調理データベースは、出版社やISP等から提供されており、容易に取得可能である。もし手順化されていな場合には、文字認識技術やテキスト解析技術等を用いて、各調理手順、目安の調理時間を構成し、料理データベースを作成しても良い。
【0077】
現在の調理手順が先頭からN番目であるとする。以下に、ステップT3において調理状況を「完了」、「未完了」、「繁忙」と判定した場合の動作例を示す
・調理状況100として、完了と判定
→ 料理データベースからN+1番目の調理手順における画像を抽出し、調理手順に関わる情報70として提示
・調理状況100として、未完了と判定
→ 料理データベースからN番目の作業手順における画像を抽出し、調理手順に関わる情報70として提示。
・調理状況100として、繁忙と判定
→ 一定時間経過後、ステップT1へ戻る
【0078】
次に、ユーザの映像またはユーザの生体信号等とは別に、宅内機器90において、周囲の状況110を取得し、取得した情報をデータに変換する(ステップT6)。なお、本実施形態では、宅内機器90として、電話機、スマートフォン、PC、TV、インターフォン、降雪雨センサ・風速センサ・温度センサを使用し、周囲の状況110として、電話、電子メール、SNS、TV放送、訪問者、天候等の情報を取得するが、本発明の技術的思想は、これらに限定されるわけではなく、他の宅内機器または周囲の状況を用いても良い。以下に、各種宅内機器を用いた場合の動作例を示す。
【0079】
・宅内機器90として、電話機を使用
→ 電話機で検出された入電、電子メールの受信を当該通信手段の受信有無情報に変換
・宅内機器90として、スマートフォンを使用
→ スマートフォンで検出された入電、電子メールの受信、SNSメッセージ等の受信を当該通信手段の受信有無情報に変換
・宅内機器90として、TVを使用
→ TVの視聴予約開始時刻を数値データに変換
・宅内機器90として、インターフォンを使用
→ インターフォンの押下をインターフォン押下有無情報に変換
・宅内機器90として、降雪雨センサ・風速センサ・温度センサを使用
→ 降雪雨センサ・風速センサ・温度センサで検出された降雪雨、風速、温度を数値データに変換
【0080】
次に、周囲状況取得部でデータに変換された周囲の状況110は、ロボット10へ送信される。以下に、周囲の状況110の送信の動作例を示す。
・宅内機器90として、電話機を使用
→ 周囲の状況110として、電話機への入電をロボット10に送信
→ 周囲の状況110として、電話機への電子メールの受信をロボット10に送信
・宅内機器90として、スマートフォンを使用
→ 周囲の状況110として、スマートフォンへの入電をロボット10に送信
→ 周囲の状況110として、スマートフォンへの電子メールの受信をロボット10に送信
→ 周囲の状況110として、スマートフォンへのSNSメッセージの受信をロボット10に送信
・宅内機器90として、PCを使用
→ 周囲の状況110として、PCへの入電をロボット10に送信
→ 周囲の状況110として、PCへの電子メールの受信をロボット10に送信
→ 周囲の状況110として、PCへのSNSメッセージの受信をロボット10に送信
・宅内機器90として、TVを使用
→ 周囲の状況110として、視聴予約したTV放送の開始をロボット10に送信
・宅内機器90として、インターフォンを使用
→ 周囲の状況110として、訪問者からの呼出をロボット10に送信
・宅内機器90として、降雪雨センサ・風速センサ・温度センサを使用
→ 周囲の状況110として、降雪雨の発生をロボット10へ送信
→ 周囲の状況110として、強風の発生をロボット10へ送信
→ 周囲の状況110として、気温の変化をロボット10へ送信
【0081】
次に、ロボット10において、ステップT6で取得した周囲の状況110に応じて、調理手順に関わる情報70を変更する(ステップT7)。また、ここでは、予めユーザ取得した各周囲の状況110への応答時間θ
i(i=入電、電子メール受信、SNSメッセージ受信、視聴予約したTV放送の開始、訪問者からの呼出、降雪雨の発生、強風の発生、気温の変化等)を指定しておくが、本発明の技術的思想は、これに限定されるわけではない。
【0082】
(1)θ
i≧N番目の調理手順における目安の調理時間−N番目の手順における作業経過時間
→ 調理手順に関わる情報70:変更なし
(2)θ
i<N番目の調理手順における目安の調理時間−N番目の手順における作業経過時間
・料理データベースにおけるN+1番目以降の目安の調理時間に、θ
i以下の調理手順(M番目)が存在し、且つN番目の調理手順と入れ替え可能
→ 調理手順に関わる情報70:料理データベースからM番目の調理手順における画像を抽出し、調理手順に関わる情報70として提示
・料理データベースにおけるN+1番目以降の目安の調理時間に、θ
i以下の調理手順が存在しない、またはN番目の調理手順と入れ替え不可能
→ 調理手順に関わる情報70:中断
【0083】
さらに、ロボット10において、ユーザの作業を物理的に支援する(ステップT8)。なお、本実施形態では、ロボット10に、物体の運搬や機器の操作を可能とする部位が装着されているが、本発明の技術的思想は、これに限定されるわけではなく、物体の運搬や機器の操作を指示するだけでも良い。
【0084】
ここで、ロボット10は、例えば、N番目の調理手順に必要な調理器具を保管場所から取り出し、ユーザに渡す。また、ロボット10は、N番目の調理手順に必要な調理機器の操作を行う。なお、ここでは、調理機器や調理器具の位置は、予め登録しても良いし、ロボット10が認識して、各調理機器や調理器具の位置を把握しても良い。
・料理データベースにあるN番目の調理手順における調理器具と異なる調理器具を使用する映像を受信
→ 正しい調理器具を渡す
・料理データベースにあるN番目の調理手順における調理方法と異なる映像を受信
→ 正しい調理方法を提示する
・ユーザの視線がN番目の調理手順に使用する調理機器とは異なる方向に向く映像を受信
→ 警告を促す
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ以上
→ 各調理機器の安全装置を作動させる
【0085】
さらに、ステップT3で判定した調理状況100またはステップT2で判定したユーザの情動度40またはユーザのストレス指標50に応じて、ロボット10がユーザに声掛けを行う。
・作業進行状況:完了
→ ロボット10:「良くできました」等、賞賛の声掛け
・作業進行状況:未完了
→ ロボット10:「頑張って」等、激励の声掛け
・作業進行状況:繁忙
→ ロボット10:「どうしたの?」等、心配の声掛け
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ以上
→ ロボット10:「落ち着いて」等、慎重な声掛け
【0086】
加えて、ステップT1で取得したユーザの映像またはステップT2で判定したユーザの情動度40またはユーザのストレス指標50の少なくとも一つを用いて、作業の手順や出来栄えを評価する。
・料理データベースにあるN番目の調理手順における作業結果との類似度を受信
→ 類似度を5段階で評価し、ロボット評価として出力する
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ以上
→ コーヒーメーカを起動し、ご褒美としてユーザにコーヒーを提供する
【0087】
以上説明したように、本実施形態によれば、ユーザの映像や生体信号を用いることにより、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることが可能となる。また、映像やセンサを用いることによって音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。