(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154466
(43)【公開日】2024-10-31
(54)【発明の名称】姿勢情報通知装置、姿勢情報通知方法、及びプログラム
(51)【国際特許分類】
G08B 21/18 20060101AFI20241024BHJP
G08B 25/00 20060101ALI20241024BHJP
A61B 5/11 20060101ALI20241024BHJP
【FI】
G08B21/18
G08B25/00 510M
A61B5/11 120
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023068272
(22)【出願日】2023-04-19
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】井澤 洋介
(72)【発明者】
【氏名】橋本 一輝
(72)【発明者】
【氏名】佐藤 崇
【テーマコード(参考)】
4C038
5C086
5C087
【Fターム(参考)】
4C038VA04
4C038VB35
4C038VC05
5C086AA60
5C086CA28
5C086CB36
5C086DA14
5C086DA33
5C086FA01
5C086FA11
5C087AA02
5C087AA03
5C087AA07
5C087AA31
5C087AA51
5C087BB74
5C087DD13
5C087DD20
5C087EE05
5C087EE14
5C087FF01
5C087FF02
5C087FF04
5C087GG02
5C087GG08
5C087GG66
(57)【要約】
【課題】より適切に姿勢についての情報を通知する。
【解決手段】姿勢情報通知装置100は、対象者11が撮像された可視光画像を取得する第1取得部(取得部101)と、対象者11及び対象者11が着座する椅子12の背もたれ12aが撮像された熱画像を取得する第2取得部(取得部101)と、取得した可視光画像に基づいて、対象者11の姿勢を推定し、推定した対象者11の姿勢が同じ姿勢での継続時間が第1閾値を超えたか否かを判定する姿勢推定部105と、判定結果に基づいて対象者11にアラートを発出する刺激部(第1刺激部106、第2刺激部107、第3刺激部108の少なくとも1つ)と、を備え、姿勢推定部105は、取得した熱画像に基づいて対象者11の背もたれ12aの使用の有無を判定し、対象者11が背もたれ12aを使用していると判定した場合に、継続時間をリセットする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
対象者の姿勢におけるリスクの有無の判定結果に基づいて前記対象者へのアラートを発出する姿勢情報通知装置であって、
前記対象者が撮像された可視光画像を取得する第1取得部と、
前記対象者及び前記対象者が着座する椅子の背もたれが撮像された熱画像を取得する第2取得部と、
取得した前記可視光画像に基づいて、前記対象者の姿勢を推定し、推定した前記対象者の姿勢が同じ姿勢での継続時間が第1閾値を超えたか否かを判定する姿勢推定部と、
判定結果に基づいて前記対象者にアラートを発出する刺激部と、を備え、
前記姿勢推定部は、
取得した前記熱画像に基づいて前記対象者の前記背もたれの使用の有無を判定し、
前記対象者が前記背もたれを使用していると判定した場合に、前記継続時間をリセットする
姿勢情報通知装置。
【請求項2】
前記姿勢推定部は、前記熱画像における前記対象者及び前記背もたれの温度差が所定の温度差以下である場合に、前記対象者が前記背もたれを使用していると判定する
請求項1に記載の姿勢情報通知装置。
【請求項3】
前記姿勢推定部は、取得した前記可視光画像に基づいて、前記対象者の姿勢が前記背もたれを使用していない不使用姿勢であるか否かを判定し、前記対象者の姿勢が前記不使用姿勢であると判定した場合に、取得した前記熱画像によらず、前記対象者が前記背もたれを使用していないと判定する
請求項1又は2に記載の姿勢情報通知装置。
【請求項4】
前記刺激部は、前記対象者に視覚、聴覚、嗅覚、及び、触覚の感覚のうち少なくとも1つの感覚の刺激を伴う第1アラートを発出する第1刺激部と、
前記対象者に視覚、及び、触覚のうちの少なくとも1つの感覚の刺激であって、前記第1刺激部において刺激される感覚とは異なる感覚の刺激を伴う第2アラートを発出する第2刺激部とを有し、
前記刺激部は、前記対象者の姿勢が同じ姿勢での継続時間が第1閾値を超えたと判定した場合に前記第1アラートを発出し、前記第1アラートを発出した後に前記対象者の姿勢が同じ姿勢での継続時間が前記第1閾値よりも大きい第2閾値を超えたと判定した場合には、前記第2アラートを発出する
請求項1又は2に記載の姿勢情報通知装置。
【請求項5】
対象者の姿勢におけるリスクの有無の判定結果に基づいて前記対象者へのアラートを発出する姿勢情報通知装置によって実行される姿勢情報通知方法であって、
前記対象者が撮像された可視光画像を取得するステップと、
前記対象者及び前記対象者が着座する椅子の背もたれが撮像された熱画像を取得するステップと、
取得した前記可視光画像に基づいて、前記対象者の姿勢を推定し、推定した前記対象者の姿勢が同じ姿勢での継続時間が閾値を超えたか否かを判定するステップと、
判定結果に基づいて前記対象者にアラートを発出するステップと、を含み、
前記判定するステップでは、
取得した前記熱画像に基づいて前記対象者の前記背もたれの使用の有無を判定し、
前記対象者が前記背もたれを使用していると判定した場合に、前記継続時間をリセットする
姿勢情報通知方法。
【請求項6】
請求項5に記載の姿勢情報通知方法をコンピュータに実行させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対象者の姿勢におけるリスクの有無の判定結果に基づいて前記対象者へのアラートを発出する姿勢情報通知装置、姿勢情報通知方法、及びプログラムに関する。
【背景技術】
【0002】
近年、疲労の蓄積から体調不良をはじめ、怪我及び事故等につながるといった事例が散見される。これに対して、疲労の程度を推定することにより、体調不良、怪我及び事故等を未然に防ぐ技術に注目されるようになった。例えば、疲労度を推定するための疲労推定システムとして、特許文献1には、力計測、及び生体電気インピーダンス計測に基づいて疲労の有無及び疲労の種類を判定する、疲労判定装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、疲労判定装置等によって推定された姿勢について、対象者へのフィードバック(つまり通知)が適切にできない場合がある。そこで、本開示では、より適切に姿勢についての情報を通知する姿勢情報通知装置等を提供する。
【課題を解決するための手段】
【0005】
本開示の一態様に係る姿勢情報通知装置は、対象者の姿勢におけるリスクの有無の判定結果に基づいて前記対象者へのアラートを発出する姿勢情報通知装置であって、前記対象者が撮像された可視光画像を取得する第1取得部と、前記対象者及び前記対象者が着座する椅子の背もたれが撮像された熱画像を取得する第2取得部と、取得した前記可視光画像に基づいて、前記対象者の姿勢を推定し、推定した前記対象者の姿勢が同じ姿勢での継続時間が第1閾値を超えたか否かを判定する姿勢推定部と、判定結果に基づいて前記対象者にアラートを発出する刺激部と、を備え、前記姿勢推定部は、取得した前記熱画像に基づいて前記対象者の前記背もたれの使用の有無を判定し、前記対象者が前記背もたれを使用していると判定した場合に、前記継続時間をリセットする。
【0006】
また、本開示の一態様に係る姿勢情報通知方法は、対象者の姿勢におけるリスクの有無の判定結果に基づいて前記対象者へのアラートを発出する姿勢情報通知装置によって実行される姿勢情報通知方法であって、前記対象者が撮像された可視光画像を取得するステップと、前記対象者及び前記対象者が着座する椅子の背もたれが撮像された熱画像を取得するステップと、取得した前記可視光画像に基づいて、前記対象者の姿勢を推定し、推定した前記対象者の姿勢が同じ姿勢での継続時間が閾値を超えたか否かを判定するステップと、判定結果に基づいて前記対象者にアラートを発出するステップと、を含み、前記判定するステップでは、取得した前記熱画像に基づいて前記対象者の前記背もたれの使用の有無を判定し、前記対象者が前記背もたれを使用していると判定した場合に、前記継続時間をリセットする。
【0007】
また、本開示の一態様に係るプログラムは、上記に記載の姿勢情報通知方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0008】
本開示の一態様に係る姿勢情報通知装置等によれば、より適切に姿勢についての情報を通知することができる。
【図面の簡単な説明】
【0009】
【
図1A】
図1Aは、実施の形態に係る姿勢の推定を説明するための第1図である。
【
図1B】
図1Bは、実施の形態に係る姿勢の推定を説明するための第2図である。
【
図2】
図2は、実施の形態に係る姿勢情報通知装置の機能構成を示すブロック図である。
【
図3】
図3は、実施の形態の別例に係る姿勢情報通知装置の配置構成を示す概略図である。
【
図4】
図4は、実施の形態に係る姿勢情報通知装置の動作例を示すフローチャートである。
【
図5】
図5は、実施の形態に係る姿勢のリスクの有無の判定の一例を示す図である。
【
図6】
図6は、実施の形態に係る姿勢情報通知装置における対象者及び背もたれが撮像された画像の一例を示す図である。
【
図7】
図7は、実施の形態の係る姿勢のリスクの判定を説明するためのフローチャートである。
【発明を実施するための形態】
【0010】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0011】
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
【0012】
(実施の形態)
[疲労推定装置]
以下、実施の形態に係る疲労推定装置の全体構成について説明する。
図1Aは、実施の形態に係る姿勢の推定を説明するための第1図である。
図1Bは、実施の形態に係る姿勢の推定を説明するための第2図である。
【0013】
本開示における姿勢情報通知装置100(後述する
図2参照)は、実施の形態では、撮像装置201を用いた対象者11の撮像によって出力された画像を用いて、当該対象者11における姿勢を推定し、姿勢のリスクがある場合にフィードバックとして刺激を伴うアラートを発出するシステムである。撮像装置201は、対象者11を撮像して画像を出力するカメラであればその設置に関する実現形態に限定はなく、
図1Aに示すように、建物等の壁面又は天井等に設置される固定式のカメラであってもよく、対象者11が操作するPC、スマートフォン、又はタブレット端末等に搭載されたカメラであってもよい。ただし、撮像装置201によって撮像され出力される画像には、可視光画像及び熱画像の2種類が含まれている。これについては、
図2を用いて詳しく説明する。
【0014】
ここで対象者11は、椅子12に着座した姿勢である。本開示における姿勢情報通知装置100では、対象者11が、姿勢が固定された静止姿勢をとることによって蓄積する疲労をもとに対象者11の姿勢のリスクの有無を判定する。これはつまり、姿勢が固定された状態により、筋肉及び関節の少なくとも一方における負荷ならびに悪化する血流(以下、血流量の低下ともいう)によって蓄積される疲労で上昇するリスクの有無を判定している。したがって、対象者11は、少なくとも一定の期間において座位で静止した静止姿勢である。一定の期間とは、例えば、数十秒又は数秒等、姿勢情報通知装置100において疲労が推定可能な最小の期間である。このような期間は、姿勢情報通知装置100及び撮像装置201による処理能力に依存して決定される。
【0015】
本開示では、対象者11は、椅子12に着座している場合に、その静止姿勢が疲労の蓄積を伴う姿勢であるか、又は、疲労の蓄積を伴わない姿勢であるかを判定する。具体的には、本開示において、対象者11は、椅子12の座面12bに臀部を接触させることで着座する。椅子12は、座面12bが、支持部12cによって所定の高さに支持されているが、支持部12cなしに、床面に直接置かれた座面12bを有する椅子12(いわゆる座椅子)であってもよい。また、椅子12には、背もたれ12aが設けられている。静止姿勢において、背もたれ12aに対象者11が背部を接触させている(背もたれ12aを使用している)場合、疲労の蓄積を伴わない姿勢であるといえる。逆に、静止姿勢において、背もたれ12aに対象者11が背部を接触させていない(背もたれ12aを使用していない)場合、疲労の蓄積を伴う姿勢であるといえる。このように、本開示では、同様の座位の静止姿勢であっても背もたれ12aを使用しているか否か(使用の有無)によって、疲労の蓄積を適切に行い、アラートを発出することが可能な姿勢情報通知装置100等について説明する。
【0016】
なお、このような静止姿勢をとる対象者11としては、例えば、オフィスにおけるデスクワーカ、移動体を操舵するドライバ、静止姿勢での負荷を利用した筋力トレーニングを行う者、病院等の施設の入所者、飛行機等の乗客及び乗員等が挙げられる。
【0017】
撮像装置201によって撮像され、出力された画像は、姿勢情報通知装置100によって処理され、
図1Bに示すように対象者11の姿勢が推定される。推定された対象者11の姿勢は、一例として剛体リンクモデル11aとして出力される。具体的には、
図1Bに示すように、直線で示す骨格が黒点で示す関節によって接続され、一つの関節によって接続される二つの骨格同士の位置関係によって、対象者11の姿勢を再現できる。姿勢の推定は、可視光画像による画像認識によって行われ、関節と骨格との位置関係に基づき、上記の剛体リンクモデル11aとして出力される。
【0018】
次に、本開示における姿勢情報通知装置100の機能構成について、
図2を用いて説明する。
図2は、実施の形態に係る姿勢情報通知システムの機能構成を示すブロック図である。
【0019】
図2に示すように、本開示における姿勢情報通知装置100は、撮像装置201に接続されて用いられる。また、姿勢情報通知装置100は、図示しない計時装置にも接続される。
【0020】
姿勢情報通知装置100は、取得部101と、前判定部102と、判定部103と、制御部104と、姿勢推定部105と、第1刺激部106と、第2刺激部107と、第3刺激部108と、を備える。なお、ここでは、第1刺激部106と、第2刺激部107と、第3刺激部108との3つの刺激部を備える3つのアラート発出が可能な姿勢情報通知装置100について説明するが、姿勢情報通知装置100は、少なくとも1つの刺激部(つまり第1刺激部106のみ)を備えていればよい。また、刺激部をどのように備えるかに応じて姿勢情報通知装置100に必要な機能と不要な機能とが混在するため、以下の説明では、場合により不要であることを、単に必須ではないと説明することがある。
【0021】
取得部101は、撮像装置201に接続され、撮像装置201から対象者11が撮像された画像を取得する通信モジュールである。取得部101と撮像装置201との接続は、有線又は無線によって行われ、当該接続を介して行われる通信の方式にも特に限定はない。
【0022】
撮像装置201は、可視光画像センサ201vと熱画像センサ201tとを含む、2種類の画像を撮像可能な装置である。また、可視光画像センサ201vと熱画像センサ201tとは、同じ1つのセンサから、読み出す輝度値を処理して2つの画像を出力するものであってもよい。
【0023】
なお、本例では、撮像装置201が可視光画像センサ201vと熱画像センサ201tとを含む場合を説明するが、可視光画像センサ201vのみを備える撮像装置と熱画像センサ201tのみを備える撮像装置との、2つの撮像装置によって同様の構成を実現してもよい。さらに、このように2つの撮像装置によって同様の構成を実現する場合などにおいては、可視光画像センサ201vと熱画像センサ201tとのそれぞれが、異なる画角を撮像する構成であってもよい。具体的には、可視光画像センサ201vは、主として対象者11の姿勢を推定するために用いられるので、対象者11が撮像された画像を出力できる画角を撮像するように設けられればよい。一方で、熱画像センサ201tは、主として対象者11が背もたれ12aを使用しているか否かを判定するために用いられるので、対象者11及び背もたれ12aが撮像された画像を出力できる画角を撮像するように設けられればよい。ただし、後述するように、可視光画像センサ201vによって撮像された画像が、対象者11が背もたれ12aを使用しているか否かを判定するために部分的に用いられる場合があるので、可視光画像センサ201vも対象者11及び背もたれ12aが撮像された画像を出力できる画角を撮像するように設けられているとよい。
【0024】
取得部101は、可視光画像センサ201vから可視光画像を取得する第1取得部としての機能と、熱画像センサ201tから熱画像を取得する第2取得部としての機能とを併せ持つ機能部である。つまり、取得部101は、第1取得部の一例であり、第2取得部の一例でもある。
【0025】
また、姿勢情報通知装置100は、計時装置に接続される別の取得部も備える。この取得部は、接続された計時装置から時間を取得する通信モジュールである。取得部と計時装置との接続は、有線又は無線によって行われ、当該接続を介して行われる通信の方式にも特に限定はない。
【0026】
前判定部102は、対象者11の姿勢が変化したか否かを判定する処理部である。前判定部102は、プロセッサ及びメモリを用いて所定のプログラムが実行されることにより実現される。前判定部102は、後述する姿勢推定部105から推定された姿勢を取得し、その姿勢が、それ以前の姿勢に比べて変化したか否かを判定する。
【0027】
判定部103は、前判定部102と同様の機能を有するので、詳細な説明を省略するが、前判定部102と判定部103とは、それぞれ判定を行うタイミングが決められており、そのタイミングは互いに異なっている。また、前判定部102及び判定部103のいずれか一方は必須ではない。
【0028】
制御部104は、プロセッサ及びメモリを用いて所定のプログラムが実行されることにより実現される。制御部104は、前判定部102と判定部103との少なくとも一方の判定結果を受けて、第1刺激部106、第2刺激部107及び第3刺激部108の動作を制御する。制御部104は、第1刺激部106、第2刺激部107及び第3刺激部108のそれぞれに統合され、前判定部102と判定部103との少なくとも一方の判定結果を受けて、第1刺激部106、第2刺激部107及び第3刺激部108が直接動作する構成であってもよい。
【0029】
姿勢推定部105は、プロセッサ及びメモリを用いて所定のプログラムが実行されることにより実現される処理部である。姿勢推定部105の処理により、取得部101において取得された可視光画像に基づいて、対象者11の姿勢が推定される。
【0030】
第1刺激部106は、電気機器であり、対象者11に対して比較的知覚しにくい感覚の刺激を伴う第1アラートを発出する。この第1アラートは、対象者11に作用するアラートである。第1刺激部106は、例えば、視覚、聴覚、嗅覚、及び、触覚の感覚のうち少なくとも1つの感覚の刺激を伴う第1アラートを発出する。上記の通り、第1アラートは、比較的知覚しにくい感覚の刺激を伴うので、第1アラートは、聴覚、嗅覚、又は、弱い視覚の刺激を伴うものであるとよい。一方、第1アラートは、強い視覚、又は、触覚の刺激を伴うものとした場合、適切に作用しない場合がある。第1刺激部106は、スピーカ、アロマディフューザー、照明装置等の電気機器である。
【0031】
第2刺激部107は、電気機器であり、対象者11に対して比較的知覚しやすい感覚の刺激を伴う第2アラートを発出する。例えば、第2アラートでは、第1アラートに伴う刺激よりも刺激の強度が強くてもよい。
【0032】
また、刺激の強度をユーザやシステム管理者が設定可能に構成されてもよい。例えば、図示しないユーザインタフェースを介して、刺激の強度を指定する強度指定情報を入力する。入力された強度指定情報は、システム内の半導体メモリ等からなる記憶部(不図示)に記憶され、アラートの発出に先立って読み出される。そして、読み出した強度指定情報に従って、その強度指定情報に指定された強度となるように強度が設定された刺激を伴ってアラートが発出される。強度の指定は、第1アラートに伴う刺激、第2アラートに伴う刺激、第3アラートに伴う刺激、又は、これらのうちの2つ以上の刺激の組み合わせのいずれの強度を指定するものであってもよい。
【0033】
仮に、第2アラートに伴う刺激の強度を弱くし、第1アラートに伴う刺激の強度を強くしても、本実施の形態では、刺激される感覚そのものに知覚しやすさ、及び、知覚しにくさの特性が含まれるので、刺激の強度に関しては自由に設定することが可能である。ただし、第1アラートと第3アラートとで、あるいは、第2アラートと第3アラートとで同じ感覚の刺激を伴う場合は、それぞれの組合せの2つのアラートについては、第3アラートに伴う刺激の方が第1アラートに伴う刺激よりも強度が強く、第2アラートに伴う刺激の方が第3アラートに伴う刺激よりも強度が強くなるように設定されるとよい。
【0034】
第2刺激部107が発出する第2アラートは、対象者11に作用するアラートである。第2刺激部107は、例えば、視覚、及び、触覚の感覚のうち少なくとも1つの感覚の刺激を伴う第2アラートを発出する。上記の通り、第2アラートは、比較的知覚しやすい感覚の刺激を伴うので、第2アラートは、強い視覚、又は、触覚の刺激を伴うものであるとよい。一方、第2アラートは、聴覚、嗅覚、又は、弱い視覚の刺激を伴うものとした場合、適切に作用しない場合がある。第2刺激部107は、照明装置、対象者に向かう気流を発生させる気流発生装置、什器を振動させる振動発生装置等の電気機器である。ただし、第2刺激部107は、第1刺激部106とは異なる感覚の刺激を伴う第2アラートを発出する。
【0035】
第3刺激部108は、電気機器であり、対象者11に対して、第1アラートの刺激と第2アラートに刺激との間の知覚しやすさの感覚の刺激を伴う第3アラートを発出する。この第3アラートは、対象者11に作用するアラートである。第3刺激部108は、例えば、視覚、聴覚、嗅覚、及び、触覚の感覚のうち少なくとも1つの感覚の刺激を伴う第3アラートを発出する。上記の通り、第3アラートは、中間的な知覚しやすさの感覚の刺激を伴うので、第3アラートは、聴覚、弱い視覚、又は、強い視覚の刺激を伴うものであるとよい。一方、第3アラートは、嗅覚、又は、触覚の刺激を伴うものとした場合、適切に作用しない場合がある。第3刺激部108は、スピーカ、又は、照明装置等の電気機器である。なお、第3刺激部108は、第1刺激部106と同じ感覚の刺激を伴う第3アラートを発出してもよいし、第2刺激部107と同じ感覚の刺激を伴う第3アラートを発出してもよい。
【0036】
計時装置は、時間を計測する装置であり、時計によって実現される。計時装置は、接続された取得部へと時間を送信可能である。ここで、計時装置によって計測される時間とは、絶対的な時刻であってもよく、相対的な起点からの経過時間であってもよい。計時装置は、対象者11の静止を検出した時点と、任意の時点との2時点の間の時間(つまり静止姿勢の保持時間、言い換えると同じ姿勢での継続時間)が計測できればどのような形態で実現されてもよい。
【0037】
また、
図3は、実施の形態の別例に係る姿勢情報通知装置の配置構成を示す概略図である。ここでは、別例に係る姿勢情報通知装置100aの各構成の配置について説明する。なお、別例に係る姿勢情報通知装置100aは、第1刺激部106に代えて、第1刺激部106aを備え、第2刺激部107に代えて、第2刺激部107aを備え、第3刺激部108に代えて第3刺激部108aを備え、さらに、撮像装置201に対応する撮像装置201aを内蔵している点で、上記の形態と異なっている。第1刺激部106aは、例えば、指向性スピーカであり、撮像装置201aの画角(図中の二点鎖線に挟まれる領域)内に向かう指向性を有して、遠隔での聴覚の刺激を伴う第1アラートを発出する。また、第2刺激部107aは、サーキュレータであり、撮像装置201aの画角内に向かう指向性を有して、遠隔での触覚の刺激を伴う第2アラートを発出する。また、第3刺激部108aは、スポットライトであり、撮像装置201aの画角内に向かう指向性を有して、遠隔での視覚の刺激を伴う第3アラートを発出する。このように別例に係る姿勢情報通知装置100aは、いずれの刺激部も指向性を有しており、撮像装置201aの画角内に向けてアラートを発出する。撮像装置201aの画角内には当然対象者11が入っているため、画角内に向かう指向性を付与すれば、このような遠隔でのアラートの発出をしても対象者11に作用できる可能性が高い。つまり、非接触で姿勢情報通知装置100aを実現する場合には、本別例が好適である。
【0038】
[動作]
次に、実施の形態における姿勢情報通知装置100を用いた対象者11への姿勢情報通知システムの動作例について、
図4~
図7を用いて説明する。
図4は、実施の形態に係る姿勢情報通知システムの動作例を示すフローチャートである。まず、姿勢情報通知装置100の動作が開始されると、撮像装置201が対象者11の可視光画像を撮像し、撮像した可視光画像が取得部101によって取得される。また、同時に撮像装置201が対象者11及び背もたれ12aの熱画像を撮像し、撮像した熱画像が取得部101によって取得される。例えば、可視光画像と熱画像とは、撮像タイミングが同じなどの対応するもの同士で対応付けられており、可視光画像から対応する熱画像を特定することが可能である。取得された可視光画像に基づいて、姿勢推定部105は、対象者11の姿勢を推定して取得する。つまり、姿勢推定部105は、姿勢情報として、推定した姿勢をその内部で生成して取得する(S101)。推定した姿勢が静止している場合、姿勢推定部105は、計時装置からの時間を利用して、対象者11の姿勢が静止姿勢で保持された状態の保持時間を計測する。ここまでの動作は、連続的に取得される画像(あるいは動画像)によって、複数回連続的に行われる。
【0039】
ここで、
図5は、実施の形態に係る姿勢のリスクの有無の判定の一例を示す図である。
図5では、横軸に、傾斜角度が示され、縦軸に保持時間が示されている。そして、グラフ中のドットハッチングを付した領域は、姿勢にリスクがあると判断される領域である。傾斜角度とは、推定した姿勢のうち、所定の関節に着目した場合に、その所定の関節によって可動する2つの骨格同士がなす角度である。いずれの関節にもリスクがない傾斜角度の基準角度範囲が設定されており、姿勢推定部105は、着目した所定の関節の傾斜角度が基準角度範囲を逸脱した(図中の(a)を超えた)場合、当該傾斜角度のままの保持時間が所定の時間(傾斜角度が大きく逸脱するほど短時間になるように設定されている)を経過すると、図中のドットハッチングの領域に入る。そして、姿勢推定部105は、姿勢のリスクがあると判定する(S102でYes)。そうでなければ、姿勢のリスクがないため、ステップS101に戻り、引き続き同様の処理を繰り返す。また、着目した所定の関節の傾斜角度が基準角度範囲を逸脱しておらず、図中の(a)を超えていなくても、同じ姿勢のままある程度の時間が経過すると図中のドットハッチングの領域に入るので、姿勢推定部105は、姿勢のリスクがあると判定する(S102でYes)。なお、
図5に示すような判定基準は、ISO 11226に準拠した基準の一例である。姿勢のリスクの有無の判定は、その他、別の規格に則って判定されてもよいし、実験的又は経験的に設定された基準に従って判定されてもよい。
【0040】
ところで、上記に説明したように、このような静止姿勢であっても、対象者11が椅子12の背もたれ12aを使用しているのであれば、疲労の蓄積を伴わない姿勢であるので、保持時間を計測する必要がなくなる。ただし、背もたれ12aを使用しているか否かは、可視光画像から判定することは困難である。特に、対象者11の背部がわずかに背もたれ12aから離間している等の場合、可視光画像では、背もたれ12aを使用しているようにしか見えないこともあり、正確な判定をすることが難しい。
【0041】
そこで、本実施の形態では、熱画像を用いて、このような課題を解決する。
図6は、実施の形態に係る姿勢情報通知装置における対象者及び背もたれが撮像された画像の一例を示す図である。
図6では、椅子12の座面12bに着座する対象者11を頭頂部側から平面視した図を示している。また、
図6では、白抜き箇所よりも温度の高い部分をドットハッチングによって示している。
図6の(a)では、背もたれ12aから対象者11が離間している様子を示し、
図6の(b)では、背もたれ12aと対象者11とが接触している様子を示している。
【0042】
図6の(b)に示すように、可視光画像では、対象者11が背もたれ12aを使用しているか否かが判定しがたい場合(背もたれ12aがわずかに使用されている等)においても、熱画像を用いれば、対象者11の体温が背もたれ12aを温めるため、背もたれ12aの温度が上昇する。一方、
図6の(a)に示すように、対象者11が背もたれ12aを使用していなければ、背もたれ12aの温度は上昇しない。その結果、背もたれ12aの温度を熱画像を用いて見ることにより、背もたれ12aの使用の有無を判定することが可能となる。
【0043】
本実施の形態では、ステップS102を以下の
図7のようにして実施する。
図7は、実施の形態の係る姿勢のリスクの判定を説明するためのフローチャートである。
図7に示すように、ステップS101の後に、姿勢推定部105は、まず、背もたれ12aの使用の有無を判定する(ステップS201)。ステップS201は、さらに具体的には、以下のような判定のいずれかを行う。
【0044】
背もたれ12aの温度が所定値以上であるか否かを判定する。背もたれ12aの温度と周囲(背もたれ12a以外の空間)の温度との温度差が所定値以上あるか否かを判定する。背もたれ12aの温度と対象者11の温度との温度差が所定値以内であるか否かを判定する。背もたれ12aの温度が上昇を所定時間以上続けているか否かを判定する。なお、この判定には、周囲に高温のもの(ストーブなどの加熱機器)がない場合に行われるとよい。また、上記の判定における所定値及び所定時間は、それぞれの判定方式に応じて決定される異なる値であるので、実験的に又は経験的に予め設定される。
【0045】
一方、背もたれ12aの使用開始時においては、このように熱画像を用いた温度上昇を観測する判定により、背もたれ12aの使用の有無を判定することができるが、対象者11がそれまで使用していた背もたれ12aの使用を取りやめた場合には、別の課題が生じる。具体的には、一度温められた背もたれ12aの温度は、背もたれ12aの材質によっては放熱がされにくく、背もたれ12aの使用の有無を熱画像から判定することが難しい場合がある。そこで、背もたれ12aの使用の取りやめに対しては、別の判定方式を取り入れるようにすればこの課題に対処することができる。
【0046】
具体的には、姿勢推定部105は、取得した可視光画像に基づいて、対象者11の姿勢が背もたれ12aを使用していない不使用姿勢であるか否かを判定する。不使用姿勢とは、背もたれ12aを使用していないことが明らかな姿勢であり、例えば、背もたれ12aと対象者11の背部とが離間している場合などの、絶対的な姿勢や、背もたれ12aを使用している状態の姿勢から、所定距離(又は所定角度)以上の変化があった場合などの、時間領域における相対的な姿勢等である。なお、ここでの所定距離とは、例えば、5cm以上の関節位置の変化等であり、所定角度とは、例えば、5度以上の関節の角度変化である。この所定距離又は所定角度は、関節ごとに異なる値であるとよく、実験的に又は経験的に予め設定される。不使用姿勢である場合には、姿勢推定部105は、取得した熱画像によらず、対象者11が背もたれ12aを使用していないと判定する。
【0047】
また、以上に説明した、判定方式の組合せは一例である。例えば、背もたれ12aの材質が急速な放熱に適しているなど、条件によっては、背もたれ12aの使用の有無を熱画像を用いた判定のみで行ってもよい。また、熱画像を用いた判定において条件を満たした場合に、可視光画像を用いた判定を行ってもよい。ただし、いずれの場合も、可視光画像を用いた判定のみによって背もたれ12aの使用の有無を判定することはない。
【0048】
ステップS201で、背もたれ12aの使用がないと判定した場合(ステップS201でNo)、保持時間を計測し(ステップS202)、
図5において説明したように、第1閾値である所定の時間を保持時間が超えた場合(ステップS203でYes)に、対象者11の姿勢にリスクがあると判定する(ステップS204)。そして、ステップS102でYesと判定される。一方、第1閾値である所定の時間を保持時間が超えていなければ(ステップS203でNo)に、ステップS201に戻り、背もたれ12aの使用の有無を判定する。
【0049】
ステップS101の後、又は、ステップS203でNoとなりステップS201に戻った後、姿勢推定部105が、背もたれ12aの使用があると判定した場合(ステップS201でYes)、それまでに計測していた保持時間をリセットする(ステップS205)。そして、ステップS102でNoと判定される。ステップS101の後すぐに、姿勢推定部105が、背もたれ12aの使用があると判定した場合、リセットする保持時間の計測が開始されていないので、ステップS205をスキップしてもよいし、開始されていない保持時間(つまり、0)を処理上のみでリセットしてもよい。
【0050】
図4に戻り、ステップS102でYesとなったあと、制御部104が第1刺激部106を制御して、第1アラートを発出させる。第1刺激部106は、第1アラートを発出する(第1ステップS103)。第1アラートは、対象者11に感覚の刺激を伴って知覚される。しかしながら、第1アラートは、比較的知覚されにくい感覚の刺激を伴っているため、対象者11が気づかない場合がある。そのため、姿勢推定部105は、その後の対象者11の姿勢の変化を追う。姿勢推定部105は、リスクがあると判定された姿勢と、その後の任意のタイミングでの姿勢とを判定部103に出力する。判定部103は、姿勢情報として、出力された2つの姿勢を取得し(S104)、2つの姿勢を比較して、対象者11に姿勢の変化があるか否かを判定する(判定ステップS105)。変化の有無は、例えば、数秒程度の、刺激に対して、意識して反応するときの反応速度に基づいて決定される閾値時間以上に変化が観測されない場合(つまり、保持時間が第1閾値よりも閾値時間分大きい第2閾値を超える場合)、変化がないものと判定する。対象者11に姿勢の変化があれば(判定ステップS105でNo)、リスクのある姿勢での静止が解除されたので、ステップS101に戻り、引き続き同様の処理を繰り返す。
【0051】
一方、対象者11に姿勢の変化がなければ(判定ステップS105でYes)、対象者11が第1アラートに気づかず、引き続いてリスクのある姿勢で静止している状態であるので、制御部104が第2刺激部107を制御して、第2アラートを発出させる。第2刺激部107は、第2アラートを発出する(第2ステップS106)。第2アラートは、比較的知覚されやすい感覚の刺激を伴っているため、対象者11が高確率でこれに気づく。このようにして、一度、比較的知覚されにくいながらも第1アラートを発出して、リスクのある姿勢であることを対象者11に通知しつつ、第1アラートで気づかれなければ、さらに比較的知覚されやすい第2アラートを発出して、リスクのある姿勢であることを対象者11に通知する。このように2段構えのアラートによって対象者11に通知するようにすれば、例えば、対象者11が業務などのタスクを行っている場合に、いきなり、第2アラートを発出すると対象者11の集中状態を乱して業務の妨げになる場合があるので、このような業務の妨げに繋がる状況を回避しやすい。一方で、リスクのある姿勢を継続していると、重大な健康被害に繋がりうるので、第1アラートでも気づかないような場合には、より知覚されやすい第2アラートを発出して、重大な健康被害に繋がる状況も回避しやすい。本実施の形態によれば、このように、対象者11の業務の妨げになりにくく、かつ、重大な健康被害に繋がる状況も回避しやすい適切な姿勢についての情報を通知することができる。
【0052】
[効果等]
以上説明したように、本開示の第1態様に係る姿勢情報通知装置100は、対象者11の姿勢におけるリスクの有無の判定結果に基づいて対象者11へのアラートを発出する姿勢情報通知装置100であって、対象者11が撮像された可視光画像を取得する第1取得部(取得部101の機能の一部)と、対象者11及び対象者11が着座する椅子12の背もたれ12aが撮像された熱画像を取得する第2取得部(取得部101の機能の一部)と、取得した可視光画像に基づいて、対象者11の姿勢を推定し、推定した対象者11の姿勢が同じ姿勢での継続時間が第1閾値を超えたか否かを判定する姿勢推定部105と、判定結果に基づいて対象者11にアラートを発出する刺激部(第1刺激部106、第2刺激部107、第3刺激部108の少なくとも1つ)と、を備え、姿勢推定部105は、取得した熱画像に基づいて対象者11の背もたれ12aの使用の有無を判定し、対象者11が背もたれ12aを使用していると判定した場合に、継続時間をリセットする。
【0053】
これによれば、熱画像によって対象者11が背もたれ12aを使用しているかを判定できる。可視光画像を用いた微妙な判定をする必要がなく、背もたれ12aを使用しているかをより正確に判定することができる。そして、対象者11が背もたれ12aを使用している場合には、疲労が蓄積されない姿勢であるので、継続時間をリセットして対象者にアラートが発出されないようにすることができる。このように、背もたれ12aを使用していることにより、疲労が蓄積されない姿勢であるにもかかわらず対象者にアラートが発出されることが抑制されるので、より適切に姿勢についての情報を通知することができる。
【0054】
また、本開示の第2態様に係る姿勢情報通知装置100は、第1態様に記載の姿勢情報通知装置100であって、姿勢推定部105は、熱画像における対象者11及び背もたれ12aの温度差が所定の温度差以下である場合に、対象者11が背もたれ12aを使用していると判定する。
【0055】
これによれば、熱画像における対象者11及び背もたれ12aの温度差が所定の温度差以下である場合に、対象者11が背もたれ12aを使用していると判定することができる。
【0056】
また、本開示の第3態様に係る姿勢情報通知方法は、第1又は第2態様に記載の姿勢情報通知装置100であって、姿勢推定部105は、取得した可視光画像に基づいて、対象者11の姿勢が背もたれ12aを使用していない不使用姿勢であるか否かを判定し、対象者11の姿勢が不使用姿勢であると判定した場合に、取得した熱画像によらず、対象者11が背もたれ12aを使用していないと判定する。
【0057】
これによれば、取得した可視光画像に基づいて、対象者11の姿勢が背もたれ12aを使用していない不使用姿勢である場合に、熱画像がどうであるかにかかわらず対象者11が背もたれ12aを使用していないと判定することができる。つまり、熱画像による判定方式が有効に作用しない条件などにおいて有利である。
【0058】
また、本開示の第4態様に係る姿勢情報通知方法は、第1~第3態様のいずれか1態様に記載の姿勢情報通知装置100であって、刺激部は、対象者11に視覚、聴覚、嗅覚、及び、触覚の感覚のうち少なくとも1つの感覚の刺激を伴う第1アラートを発出する第1刺激部106と、対象者11に視覚、及び、触覚のうちの少なくとも1つの感覚の刺激であって、第1刺激部106において刺激される感覚とは異なる感覚の刺激を伴う第2アラートを発出する第2刺激部107とを有し、刺激部は、対象者11の姿勢が同じ姿勢での継続時間が第1閾値を超えたと判定した場合に第1アラートを発出し、第1アラートを発出した後に対象者11の姿勢が同じ姿勢での継続時間が第1閾値よりも大きい第2閾値を超えたと判定した場合には、第2アラートを発出する。
【0059】
これによれば、第1アラートと第2アラートとによって、対象者11に通知を行うことができる。第1アラートを発出してから、第2アラートを発出するか否かは、第1アラートによって対象者11に姿勢の変化があったか否かの判定結果に基づくため、例えば、第1アラートで対象者11がアラートに気づけば、ほとんど対象者11の作業の妨げになることなく、リスクのある姿勢であることを通知できる。一方で、第1アラートに気づかずとも、第2アラートによって対象者11にリスクのある姿勢であることを通知できるため、重大な健康被害につながることを回避しやすいという効果がある。このようにして、より適切に姿勢についての情報を通知することができる。
【0060】
また、本開示の第5態様に係る姿勢情報通知方法は、対象者11の姿勢におけるリスクの有無の判定結果に基づいて対象者11へのアラートを発出する姿勢情報通知装置100によって実行される姿勢情報通知方法であって、対象者11が撮像された可視光画像を取得するステップと、対象者11及び対象者11が着座する椅子12の背もたれ12aが撮像された熱画像を取得するステップと、取得した可視光画像に基づいて、対象者11の姿勢を推定し、推定した対象者11の姿勢が同じ姿勢での継続時間が閾値を超えたか否かを判定するステップと、判定結果に基づいて対象者11にアラートを発出するステップと、を含み、判定するステップでは、取得した熱画像に基づいて対象者11の背もたれ12aの使用の有無を判定し、対象者11が背もたれ12aを使用していると判定した場合に、継続時間をリセットする。
【0061】
これによれば、上記に記載の姿勢情報通知装置100と同様の効果を奏することができる。
【0062】
また、本開示の第6態様に係るプログラムは、第5態様に記載の姿勢情報通知方法をコンピュータに実行させるためのプログラムである。
【0063】
これによれば、コンピュータによって上記姿勢情報通知装置100と同様の効果を奏する。
【0064】
(その他の実施の形態)
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。
【0065】
例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
【0066】
また、本開示における姿勢情報通知システムは、複数の構成要素の一部ずつを有する複数の装置で実現されてもよく、複数の構成要素のすべてを有する単一の装置で実現されてもよい。また、構成要素の機能の一部が別の構成要素の機能として実現されてもよく、各機能が各構成要素にどのように分配されてもよい。実質的に本開示の姿勢情報通知システムを実現し得る機能がすべて備えられる構成を有する形態であれば本開示に含まれる。
【0067】
また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0068】
また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路(又は集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【0069】
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【0070】
また、上記実施の形態では、画像認識によって生成した剛体リンクモデルを用いて画像から対象者の姿勢を推定したが、姿勢の推定方法はこれに限らない。画像から対象者の姿勢を推定する方法として、既存のいかなる方法が用いられてもよい。
【0071】
また、本開示は、姿勢情報通知システムが実行する姿勢情報通知方法として実現されてもよい。本開示は、このような姿勢情報通知方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
【0072】
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【符号の説明】
【0073】
11 対象者
12 椅子
12a 背もたれ
100、100a 姿勢情報通知装置
101 取得部(第1取得部及び第2取得部)
105 姿勢推定部
106、106a 第1刺激部(刺激部)
107、107a 第2刺激部(刺激部)
108、108a 第3刺激部(刺激部)