特開 2023-111078 人の動き分離装置、人の動き分離方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023111078

(43)【公開日】2023-08-10

(54)【発明の名称】人の動き分離装置、人の動き分離方法およびプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230803BHJP

【ＦＩ】

H04N5/232 290

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022012720

(22)【出願日】2022-01-31

(71)【出願人】

【識別番号】520423334

【氏名又は名称】ミラクシアエッジテクノロジー株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】岩崎 慎弥

(72)【発明者】

【氏名】永田 恵

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA14

5C122EA01

5C122FH10

5C122FH11

5C122FH12

5C122FH14

5C122HA76

5C122HA77

5C122HA78

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】移動体内において、人の動きから人の意思による動きを精度よく分離することができる人の動き分離装置等を提供する。
【解決手段】人の動き分離装置１は、撮像部１０によって、移動体３に存在する人を撮像することで人が写った画像を取得する画像取得部２１と、画像から人の動きを検知する人動き検知部２５と、人の姿勢を検知する姿勢検知部２２と、人に対する水平方向および鉛直方向の環境による揺れを示す情報である環境揺れ情報を取得する環境揺れ取得部２４と、姿勢検知部２２が検知した人の姿勢と環境揺れ取得部２４が取得した環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定する人揺れ推定部２３と、人動き検知部２５が検知した人の動きから人揺れ推定部２３が推定した環境による人の揺れを示す移動量を分離し、分離した環境による人の揺れを示す移動量を取り除いた人の動きを算出する人揺れ分離部２６とを備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

移動体に固定された撮像部によって、前記移動体に存在する人を撮像することで人が写った画像を取得する画像取得部と、
前記画像から人の動きを検知する人動き検知部と、
人の姿勢を検知する姿勢検知部と、
人に対する水平方向および鉛直方向の環境による揺れを示す情報である環境揺れ情報を取得する環境揺れ取得部と、
前記姿勢検知部が検知した人の姿勢と前記環境揺れ取得部が取得した前記環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定する人揺れ推定部と、
前記人動き検知部が検知した人の動きから前記人揺れ推定部が推定した前記環境による人の揺れを示す移動量を分離し、分離した前記環境による人の揺れを示す移動量を取り除いた人の動きを算出する人揺れ分離部とを備えた
人の動き分離装置。

【請求項2】

前記姿勢検知部は、前記画像から人の姿勢を検知する
請求項１に記載の人の動き分離装置。

【請求項3】

前記環境揺れ取得部を複数備えた
請求項１または２に記載の人の動き分離装置。

【請求項4】

さらに、人の姿勢を示す情報である姿勢情報を取得する姿勢情報取得部を備え
前記姿勢検知部は、前記姿勢情報に基づいて人の姿勢を検出する
請求項１～３のいずれか１項に記載の人の動き分離装置。

【請求項5】

人の姿勢は、時間の経過に応じて、鉛直方向に対して人が傾いている角度である
請求項１～４のいずれか１項に記載の人の動き分離装置。

【請求項6】

前記人揺れ推定部は、前記環境揺れ情報に基づく前記移動体の水平方向の揺れ成分を前記角度に応じて人の姿勢方向と直交する方向に変換した成分と、前記環境揺れ情報に基づく前記移動体の鉛直方向の揺れ成分を角度に応じて前記人の姿勢方向と直交する方向に変換した成分との合成成分を時間の経過に応じて算出することで、前記環境による人の揺れを示す移動量を推定する
請求項５に記載の人の動き分離装置。

【請求項7】

移動体に固定された撮像部によって、前記移動体に存在する人を撮像することで人が写った画像を取得することと、
前記画像から人の動きを検知することと、
人の姿勢を検知することと、
人に対する水平方向および鉛直方向の環境による揺れを示す情報である環境揺れ情報を取得することと、
検知した人の姿勢と取得した前記環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定することと、
検知した人の動きから推定した前記環境による人の揺れを示す移動量を分離し、分離した前記環境による人の揺れを示す移動量を取り除いた人の動きを算出することとを含む
人の動き分離方法。

【請求項8】

請求項７に記載の人の動き分離方法をコンピュータに実行させるための
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人の動き分離装置、人の動き分離方法およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、表示すべき画像データを受け入れて一時記憶する画像メモリと画像データを表示する表示部とを有する従来の画像表示装置が開示されている。画像表示装置では、観察者に対して固定した位置にある物体の画像を撮像する撮像部と、撮像データに基づき、表示部と観察者との相対移動量および方向を示す移動ベクトルを計算する移動ベクトル計算部とが設けられ、移動ベクトルに基づき、表示部と観察者との相対的移動を軽減または除去する。

【0003】

特許文献２には、従来のカメラベクトル演算装置が開示されている。カメラベクトル演算装置は、複数のフレーム画像から特徴点を自動抽出し、複数のフレーム画像から高精度なカメラ位置、カメラ回転角等のカメラベクトルを演算し、演算したカメラベクトルに基づいて、動画撮影において取得された画像のカメラの揺れに起因する不規則なブレ等を補正し、ブレのある画像からブレのない画像を生成する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４－３４３６２２号公報

【特許文献2】特開２００５－２９５４９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

移動体内において、撮像した画像から人の動きを使用する状態検知処理を行う場合、移動体の揺れにより人が揺れることで状態検知精度が悪化してしまう。しかしながら、特許文献１の画像表示装置では、例えば走行する移動体に適用して乗車する人を撮像する場合、人の近くに固定された物体が移動体内に存在しなければならない。また、特許文献１の画像表示装置では、移動体の揺れにより人が揺れたのか、人が自らの意思で動いたのかを判断できないという課題がある。

【0006】

また、特許文献２のカメラベクトル演算装置では、例えば走行する移動体に適用して乗車する人を撮像する場合、動く物体が特徴点となった場合には揺れを正確に補正することができない。また、特許文献２のカメラベクトル演算装置でも、移動体の揺れにより人が揺れたのか、人が自らの意思で動いたのかを判断できないという課題がある。

【0007】

そこで、本開示は、移動体内において、人の動きから人の意思による動きを精度よく分離することができる人の動き分離装置等を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様に係る人の動き分離装置は、移動体に固定された撮像部によって、前記移動体に存在する人を撮像することで人が写った画像を取得する画像取得部と、前記画像から人の動きを検知する人動き検知部と、人の姿勢を検知する姿勢検知部と、人に対する水平方向および鉛直方向の環境による揺れを示す情報である環境揺れ情報を取得する環境揺れ取得部と、前記姿勢検知部が検知した人の姿勢と前記環境揺れ取得部が取得した前記環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定する人揺れ推定部と、前記人動き検知部が検知した人の動きから前記人揺れ推定部が推定した前記環境による人の揺れを示す移動量を分離し、分離した前記環境による人の揺れを示す移動量を取り除いた人の動きを算出する人揺れ分離部とを備える。

【0009】

また、本開示の一態様に係る人の動き分離方法は、移動体に固定された撮像部によって、前記移動体に存在する人を撮像することで人が写った画像を取得することと、前記画像から人の動きを検知することと、人の姿勢を検知することと、人に対する水平方向および鉛直方向の環境による揺れを示す情報である環境揺れ情報を取得することと、検知した人の姿勢と取得した前記環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定することと、検知した人の動きから推定した前記環境による人の揺れを示す移動量を分離し、分離した前記環境による人の揺れを示す移動量を取り除いた人の動きを算出することとを含む。

【0010】

また、本開示の一態様に係るプログラムは、人の動き分離方法をコンピュータに実行させるためのプログラムである。

【0011】

なお、これらのうちの一部の具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の記憶媒体を用いて実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記憶媒体の任意な組み合わせを用いて実現されてもよい。

【発明の効果】

【0012】

本開示の人の動き分離装置等によれば、移動体内において、人の動きから人の意思による動きを精度よく分離することができる。

【図面の簡単な説明】

【0013】

【図1A】図１Ａの（ａ）は、移動体に乗車している人および移動体を示す側面図であり、図１Ａの（ｂ）は、移動体に乗車している人と移動体を示す上面図である。

【図1B】図１Ｂの（ａ）は、移動体におけるｘ方向への加速度と時間との関係を示す図であり、図１Ｂの（ｂ）は、移動体におけるｙ方向への加速度と時間との関係を示す図である。

【図1C】図１Ｃの（ａ）～（ｃ）は、移動体に揺れが発生した際、人が動く様子を撮像した画像を示す図である。

【図1D】図１Ｄの（ａ）は、人の頭部におけるｘ方向への移動量を示す図であり、図１Ｄの（ｂ）は、人の頭部の中心に対するｙ方向への移動量を示す図である。

【図1E】図１Ｅは、図１Ｅの（ａ）～（ｃ）は、人の姿勢の変化を示す図であり、図１Ｅの（ｄ）は、変化する人の姿勢の角度を示す図である。

【図2】図２は、移動体の揺れと、移動体に乗車している人の揺れとを示す図である。

【図3】図３は、移動体におけるｙ方向への移動量と時間との関係を示す図である。

【図4】図４の（ａ）は、移動体に乗車している人の動きの例を示した図であり、図４の（ｂ）は、移動体による水平方向への揺れ成分が小さい場合の人の動きの例を示した図であり、図４の（ｃ）は、移動体が水平方向かつ鉛直方向に揺れた場合の人の動きの例を示した図であり、図４の（ｄ）は、（ａ）より大きく人が傾いた姿勢のときに移動体が揺れた場合の人の動きの例を示した図である。

【図5】図５は、実施の形態の人の動き分離装置を示すブロック図である。

【図6】図６の（ａ）は、人の頭部におけるｘ方向の移動量を示す図であり、図６の（ｂ）は、人の頭部におけるｙ方向の移動量を示す図である。

【図7】図７は、人揺れ推定部を示すブロック図である。

【図8A】図８Ａは、人の動き分離装置において、図８Ａの（ａ）が人のｘ方向への移動量を示す図であり、図８Ａの（ｂ）が移動体３の揺れに逆らわない場合の環境による人の揺れを示すｘ方向への移動量を示す図であり、図８Ａの（ｃ）が分離後の人の動きを示す図である。

【図8B】図８Ｂは、人が動いた場合の例で、人の動き分離装置において、図８Ｂの（ａ）が人のｘ方向への移動量を示す図であり、図８Ｂの（ｂ）が移動体３の揺れに逆らわない場合の環境による人の揺れを示すｘ方向への移動量を示す図であり、図８Ｂの（ｃ）が分離後の人の動きを示す図である。

【図9】図９は、人の動き分離装置の動作を示すフローチャートである。

【図10】図１０は、実施の形態の変形例１の人の動き分離装置を示すブロック図である。

【図11】図１１は、実施の形態の変形例２の人の動き分離装置を示すブロック図である。

【図12】図１２は、実施の形態の変形例３の人の動き分離装置を示すブロック図である。

【発明を実施するための形態】

【0014】

以下で説明する実施の形態等は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

【0015】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。また、以下の実施の形態において、略一致等の表現を用いている。例えば、略一致は、完全に一致することを意味するだけでなく、実質的に一致している、すなわち、例えば数％程度の誤差を含むことも意味する。また、略一致は、本開示による効果を奏し得る範囲においてと一致という意味である。他の「略」を用いた表現についても同様である。

【0016】

以下、本開示の人の動き分離装置、人の動き分離方法およびプログラムについて、図面を参照しながら具体的に説明する。

【0017】

（実施の形態１）
＜概要＞
まず、本実施の形態の人の動き分離装置、人の動き分離方法およびプログラムの概要について説明する。

【0018】

人の動き分離装置では、被写体である人が写っている画像を取得することで、人の表情および被写体の移動量から、人の眠気および被写体の集中度の推定を行うことができる。人が搭乗している移動体が走行する場合、移動体が揺れることで人もそれに合わせて揺れる場合と、人が移動体の揺れに抗して踏ん張る場合とがある。このため、人の眠気および被写体の集中度の推定するためには、移動体の揺れた際の人の動きにおいて、移動体の揺れに起因しない人の動きを精度よく推定する必要がある。

【0019】

そこで、移動体の揺れと、人の動きとの関係性について図１Ａ～図１Ｅを用いて説明する。

【0020】

図１Ａの（ａ）は、移動体に乗車している人および移動体を示す側面図であり、図１Ａの（ｂ）は、移動体に乗車している人と移動体を示す上面図である。図１Ｂの（ａ）は、移動体におけるｘ方向への加速度と時間との関係を示す図であり、図１Ｂの（ｂ）は、移動体におけるｙ方向への加速度と時間との関係を示す図である。図１Ｃの（ａ）～（ｃ）は、移動体に揺れが発生した際、人が動く様子を撮像した画像を示す図である。図１Ｃの（ａ）では、人の頭部の中心をｘ方向およびｙ方向を例示しているが、他の図面においても同様である。図１Ｄの（ａ）は、人の頭部におけるｘ方向への移動量（以下、人のｘ方向への移動量という）を示す図であり、図１Ｄの（ｂ）は、人の頭部の中心に対するｙ方向への移動量（以下、人のｙ方向への移動量という）を示す図である。頭部の中心に対するｘ方向への移動量は、画像における画素の移動量で示す。図１Ｅは、図１Ｅの（ａ）～（ｃ）は、人の姿勢の変化を示す図であり、図１Ｅの（ｄ）は、変化する人の姿勢の角度を示す図である。本実施の形態では、人の頭部の移動量は、人の頭部の中心に対するｘ方向の移動量およびｙ方向の移動量で定義される。

【0021】

まず、移動体の揺れと人の動きについて説明する。

【0022】

図１Ａでは、移動体に固定された画像取得部が移動体に乗車している人を撮像している。例えば、移動体が走行する際、水平方向（左右方向）に揺れたり鉛直方向（上下方向）にも揺れたりする。図１Ｂの（ａ）では、例えば、移動体が右方向に揺れることによって人の動き分離装置に対して左方向に力が加わると、人の動き分離装置の加速度センサが水平方向における加速度を検知する。また、図１Ｂの（ｂ）に示すように、例えば、移動体が下方向に移動し続けることによって人の動き分離装置に対して上方向に力が加わり続ける場合、加速度センサが鉛直方向における加速度を検知する。

【0023】

図１Ｂの（ａ）のように移動体が水平方向に揺れると、人も水平方向に動く。図１Ｃの（ａ）～（ｃ）に示すように、画像取得部は、この人が動く様子を撮像し続ける。

【0024】

移動体が水平方向および鉛直方向に揺れるとき、人のｘ方向への移動量およびｙ方向への移動量は、撮像した画像に基づいて例えば、図１Ｄの（ａ）、（ｂ）のように変化することが判る。つまり、図１Ｄに示すように、走行によって移動体が揺れるため、時間の経過とともに、人の頭部もｘ方向およびｙ方向に揺れていることが判る。また、図１Ｅの（ａ）～（ｄ）に示すように、撮像した画像に基づいて、人の動きによってその人の姿勢を検知することで、人の姿勢の角度の変化が判る。

【0025】

次に、移動体と人とが揺れる様子を、図２を用いて説明する。

【0026】

図２は、移動体の揺れと、移動体に乗車している人の揺れとを示す図である。図２では、移動体と、移動体に乗車している人と、移動体に固定されている撮像部とを例示している。

【0027】

図２に示すように、移動体の標準姿勢の場合、人の姿勢は、鉛直方向の破線に沿って直立した姿勢である。また、移動体が急に鉛直上方向に揺れ、かつ急に左方向に傾いた場合、人の姿勢は、鉛直方向の破線に対して右方向に傾く。また、移動体が急に鉛直下方向に揺れ、かつ急に右方向に傾いた場合、人の姿勢は、鉛直方向の破線に対して左方向に傾く。

【0028】

次に、移動体が走行する際の移動体の揺れについて図３を用いて説明する。

【0029】

図３は、移動体におけるｙ方向（鉛直方向）への移動量と時間との関係を示す図である。図３において、実線はｙ方向への移動量であり、破線は近似曲線である。

【0030】

移動体の揺れは、例えば走行する道路環境、路線環境、風等の影響によって不規則である。移動体が電車である場合、電車の揺れには、レールの曲がり、車輪の曲がり、レール上の砂等の影響による不規則な成分の揺れと、レールの継ぎ目による規則的な成分の揺れとがある。

【0031】

規則的な成分の揺れとして、移動体が急に左右方向に揺れた場合、人の頭部は、振り子のように水平方向つまりｘ方向に移動する。このとき、人の頭部は、振り子のように鉛直方向つまりｙ方向にも僅かに移動する。移動体が急に左右方向に揺れた場合、人は倒れないように移動体の揺れに抗して踏ん張るが、このときの移動体に乗車している人の動きだけでは、移動体の揺れに起因した人の揺れなのか、移動体の揺れに抗した自らの意思による人の動きなのかを精度よく判定することは困難である。

【0032】

次に、移動体に乗車している人の動きについて、図４を用いて説明する。

【0033】

図４の（ａ）は、移動体に乗車している人の動きの例を示した図であり、図４の（ｂ）は、移動体による水平方向への揺れ成分が小さい場合の人の動きの例を示した図であり、図４の（ｃ）は、移動体が水平方向かつ鉛直方向に揺れた場合の人の動きの例を示した図であり、図４の（ｄ）は、（ａ）より大きく人が傾いた姿勢のときに移動体が揺れた場合の人の動きの例を示した図である。また、図４の（ｃ）における移動体の揺れは、図４の（ａ）、（ｂ）とは別パターンの揺れである。

【0034】

θ_１は鉛直方向に対する人の姿勢に沿った直線Ｖの鋭角の角度（人の姿勢の角度）を示し、ｍ_ｘは移動体の水平方向への揺れの力を示し、ｍ_ｙは移動体の鉛直方向への揺れの力を示し、ｍ_ｘ１は直線Ｖと直交する方向におけるｍ_ｘの成分を示し、ｍ_ｙ１は直線Ｖと直交する方向におけるｍ_ｙの成分を示している。ｍ_ｘ１、ｍ_ｙ１は、人の姿勢の角度θに依存する。

【0035】

図４の（ａ）に示すように、移動体が揺れたときに人が鉛直方向に対して左方向に角度θ_１だけ傾いていると、移動体の水平方向の揺れの力ｍ_ｘと移動体の鉛直方向の揺れの力ｍ_ｙとの直線Ｖと直交する方向における合成成分は、ｍ_ｘ１＋ｍ_ｙ１となる。

【0036】

図４の（ｂ）に示すように、移動体による揺れが小さい場合、人が鉛直方向に対して左方向に角度θ_１だけ傾いても、揺れの力ｍ_ｘが図４の（ａ）の場合よりも小さいため、図４の（ｂ）の合成成分ｍ_ｘ１＋ｍ_ｙ１は図４の（ａ）の合成成分よりも小さくなる。

【0037】

図４の（ｃ）に示すように、移動体が水平方向かつ鉛直方向に揺れた場合、人が自らの意思で鉛直方向に対して左方向に角度θ_１だけ傾いていれば、合成成分はｍ_ｘ１－ｍ_ｙ１＝０となり、移動体の揺れによって人に加えられる力は相殺される。

【0038】

図４の（ｄ）に示すように、人が動くことで左方向に傾いた姿勢のときに、移動体が揺れることで人が鉛直方向に対して左方向に角度θ_２だけ傾いていると、図４の（ｄ）の合成成分ｍ_ｘ１＋ｍ_ｙ１は図４の（ａ）、（ｂ）、（ｃ）の場合よりも大きくなる。

【0039】

上述したように、人の動きには、移動体の揺れに起因した環境による人の揺れと、自らの意思による人の動きとがある。本実施の形態では、移動体内における人の動きにおいて、移動体の揺れに起因した環境による人の揺れを取り除いた、自らの意思による人の動き、つまり人の自らの意思による分離後の頭部の移動量を算出する。

【0040】

＜構成および機能＞
本実施の形態の人の動き分離装置１、人の動き分離方法およびプログラムの構成および機能について説明する。

【0041】

図５は、実施の形態の人の動き分離装置１を示すブロック図である。

【0042】

図５に示すように、人の動き分離装置１は、画像取得部２１と、人動き検知部２５と、姿勢検知部２２と、環境揺れ取得部２４と、人揺れ推定部２３と、人揺れ分離部２６とを備えている。

【0043】

［画像取得部２１］
画像取得部２１は、移動体３に固定された撮像部１０によって、移動体３に存在する人を撮像することで人が写った画像を取得する。画像取得部２１は、移動体３に固定された撮像部１０が所定個所を撮像し続けることで、画像を取得することができる。画像取得部２１は、撮像部１０に搭載されていてもよい。ここで、移動体３は、自動車および電車等の車両、航空機、船舶等である。また、画像には、例えば図１Ｃのように、少なくとも人の頭部、人の胴体等が含まれている。画像取得部２１は、取得した画像を人動き検知部２５と、姿勢検知部２２とに出力する。

【0044】

［人動き検知部２５］
人動き検知部２５は、画像取得部２１から画像を取得し、取得した画像から人の動きを検知する。例えば、人動き検知部２５は、画像取得部２１から取得した画像のフレームごとに人の頭部を抽出し、抽出した人の頭部の移動量を算出する。

【0045】

図６の（ａ）は、人の頭部におけるｘ方向の移動量を示す図であり、図６の（ｂ）は、人の頭部におけるｙ方向の移動量を示す図である。人の頭部の移動量は、図６の（ａ）、（ｂ）に示すように、画像における画素単位の変化量で算出される。図５に示すように、人動き検知部２５は、算出した人の動きである人の頭部の移動量を人揺れ分離部２６に出力する。

【0046】

［姿勢検知部２２］
姿勢検知部２２は、画像から人の姿勢を検知する。人の姿勢は、時間の経過に応じて、鉛直方向に対して人が傾いている角度で示される。例えば、姿勢検知部２２は、画像取得部２１から取得した画像のフレームごとに人の頭部および人の胴体を抽出し、抽出した人の傾きつまり人の姿勢の角度を算出する。具体的には、姿勢検知部２２は、図１Ｅの（ａ）～（ｃ）に示すように、鉛直方向に対する頭部および人の胴体に沿う姿勢方向の角度θ（θ_１、θ_２、θ_３・・・）を算出する。図１Ｅの（ａ）～（ｃ）では、人の姿勢が時間の経過とともに変化する様子を示している。このように人が揺れることで、人の姿勢の角度θは、図１Ｅの（ｄ）に示すように変化する。こうして、図５に示すように、姿勢検知部２２は、画像から人の傾き、つまり人の姿勢を検知する。姿勢検知部２２は、検知した角度である人の姿勢を人揺れ推定部２３に出力する。

【0047】

［環境揺れ取得部２４］
環境揺れ取得部２４は、人に対する水平方向および鉛直方向を含む環境による揺れを示す情報である環境揺れ情報を取得する。具体的には、環境揺れ取得部２４は、画像取得部２１とともに移動体３に配置され、移動体３の揺れに応じて、水平方向に対する移動体３の揺れおよび鉛直方向に対する移動体３の揺れを示す情報である環境揺れ情報を取得する。環境揺れ取得部２４は、例えば加速度センサ、振動計等である。環境揺れ取得部２４は、取得した環境揺れ情報を人揺れ推定部２３に出力する。

【0048】

［人揺れ推定部２３］
人揺れ推定部２３は、姿勢検知部２２が検知した人の姿勢と環境揺れ取得部２４が取得した環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定する。つまり、人揺れ推定部２３は、人の姿勢と、環境揺れ情報に示される水平方向に対する移動体３の揺れおよび鉛直方向に対する移動体３の揺れとに基づいて、移動体３の揺れに起因した、環境による人の揺れを示す移動量を推定する。具体的には、人揺れ推定部２３は、図４に示すように、環境揺れ情報に基づく移動体３の水平方向の揺れ成分を角度に応じて人の姿勢方向と直交する方向に変換した成分と、環境揺れ情報に基づく移動体３の鉛直方向の揺れ成分を角度に応じて人の姿勢方向と直交する方向に変換した成分との合成成分を時間の経過に応じて算出することで、図５の環境による人の揺れを示す移動量を推定する。環境による人の揺れを示す移動量は、環境による人のｘ方向への移動量、および、環境による人のｙ方向への移動量で示される。人揺れ推定部２３は、環境による人の揺れを示す移動量を人揺れ分離部２６に出力する。

【0049】

ここで、人揺れ推定部２３の処理について、図７を用いてより具体的に説明する。

【0050】

図７は、人揺れ推定部２３を示すブロック図である。

【0051】

人揺れ推定部２３は、角度取得部３３と、ｘ方向の加速度取得部３１と、ｙ方向の加速度取得部３２と、推定部３４と、出力部３５とを有する。

【0052】

まず、角度取得部３３は、姿勢検知部２２から人の姿勢を示す角度を取得する。角度取得部３３は、取得した人の姿勢の角度を推定部３４に出力する。なお、角度取得部３３は、姿勢検知部２２が人の姿勢の角度を算出しない場合、人の姿勢に基づいて人の姿勢の角度を算出してもよい。

【0053】

また、ｘ方向の加速度取得部３１は、環境揺れ取得部２４から環境揺れ情報に示される移動体３のｘ方向への加速度を取得する。例えば、移動体３のｘ方向への加速度は、図１Ｂの（ａ）で示される。ｘ方向の加速度取得部３１は、取得した移動体３のｘ方向への加速度を推定部３４に出力する。

【0054】

また、ｙ方向の加速度取得部３２は、環境揺れ取得部２４から環境揺れ情報に示される移動体３のｙ方向への加速度を取得する。例えば、移動体３のｙ方向への加速度は、図１の（ｂ）で示される。ｙ方向の加速度取得部３２は、取得した移動体３のｙ方向への加速度を推定部３４に出力する。

【0055】

推定部３４は、角度取得部３３から人の姿勢の角度を取得し、ｘ方向の加速度取得部３１から移動体３のｘ方向への加速度を取得し、ｙ方向の加速度取得部３２から移動体３のｙ方向への加速度を取得する。推定部３４は、取得した人の姿勢の角度、移動体３のｘ方向への加速度、移動体３のｙ方向への加速度に基づいて、振り子の減衰公式を用いて、環境による人の揺れを示す移動量を推定する。

【0056】

振り子の減衰公式は、以下の式（１）～式（３）で示される。

【0057】

【数1】

【0058】

【数2】

【0059】

【数3】

【0060】

ａｘは、水平成分における観測した加速度である。

【0061】

ａｙは、鉛直成分における観測した加速度である。

【0062】

θ’は、水平成分または鉛直成分における加速度を観測した前フレームの人の傾き角度である。

【0063】

θ（ｓ）は、一フレーム前の人の傾き角度である。

【0064】

Ａ１，Ａ２は、キャリブレーションにより決定する係数である。キャリブレーションは、推定処理実施前に行う。Ａ１，Ａ２は、人が自らの意思で動かない状態で、強い揺れが発生した際の人の動きを検知した結果（水平成分または鉛直成分）から算出される。

【0065】

ｔは、水平成分または鉛直成分における加速度を観測してからの経過時間である。水平成分、または、鉛直成分における加速度が観測された場合、ｔは０にリセットされる。

【0066】

これにより、推定部３４は、人の姿勢を考慮して移動体３の揺れが人に及ぼす力を推定することで、現在における上述の環境による人の揺れを示す移動量を推定する。

【0067】

出力部３５は、推定部３４が推定した、環境による人の揺れを示す移動量を人揺れ分離部２６に出力する。

【0068】

なお、人揺れ推定部２３は、環境による人の揺れを示す移動量を記憶部に記憶させてもよい。この場合、環境による人の揺れを示す移動量は、環境揺れ情報に対応付けて保存されてもよい。人揺れ推定部２３は、過去の環境による人の揺れを示す移動量と、人の姿勢と、環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定してもよい。

【0069】

［人揺れ分離部２６］
人揺れ分離部２６は、人動き検知部２５が検知した人の動きから人揺れ推定部２３が推定した環境による人の揺れを分離し、分離した環境による人の揺れを取り除いた人の動きを算出する。具体的には、人揺れ分離部２６は、人動き検知部２５が出力した人の動きである図５の人の頭部の移動量と、人揺れ推定部２３が出力した図５の環境による人の揺れを示す移動量とを取得する。そして、人揺れ分離部２６は、人の頭部の移動量から環境による人の揺れを示す移動量を取り除いた図５の自らの意思による人の頭部の移動量である分離後の頭部の移動量を算出する。

【0070】

ここで、自らの意思による分離後の頭部の移動量の算出について、図８Ａおよび図８Ｂを用いて説明する。

【0071】

図８Ａは、人の動き分離装置１において、図８Ａの（ａ）が人のｘ方向への移動量を示す図であり、図８Ａの（ｂ）が移動体３の揺れに逆らわない場合の環境による人の揺れを示すｘ方向への移動量を示す図であり、図８Ａの（ｃ）が分離後の人の動きを示す図である。図８Ｂは、人が動いた場合の例で、人の動き分離装置１において、図８Ｂの（ａ）が人のｘ方向への移動量を示す図であり、図８Ｂの（ｂ）が移動体３の揺れに逆らわない場合の環境による人の揺れを示すｘ方向への移動量を示す図であり、図８Ｂの（ｃ）が分離後の人の動きを示す図である。

【0072】

移動体３がｘ方向に揺れた場合、人のｘ方向における実際の移動量（頭部の移動量）は、図８Ａの（ａ）のようになる。このとき、移動体３に乗車している人は移動体３の揺れに逆らわないため、環境による人の揺れを示す移動量（環境による頭部の移動量）は、図８Ａの（ｂ）のようになる。人揺れ分離部２６は、図８Ａの（ａ）に示す人のｘ方向への移動量から図８Ａの（ｂ）に示す環境による人の揺れを分離し、分離した環境による人の揺れを取り除いた人の動きを算出する。つまり、図８Ａの（ａ）の移動量から図８Ａの（ｂ）の移動量の差分は、図８Ａの（ｃ）のようになる。つまり人が移動体３の揺れに逆らわないため、図８Ａの（ｃ）のように人の動きである分離後の頭部の移動量は０となる。

【0073】

次に、移動体３がｘ方向に揺れた際に人が動いた場合、人のｘ方向における実際の移動量（頭部の移動量）は、図８Ｂの（ａ）のようになる。このとき、移動体３の揺れに逆らわない場合の環境による人の揺れを示す移動量（環境による頭部の移動量）は、図８Ｂの（ｂ）のようになる。人揺れ分離部２６は、図８Ｂの（ａ）に示す人のｘ方向への移動量から図８Ｂの（ｂ）に示す環境による人の揺れを分離し、分離した環境による人の揺れを取り除いた人の動きを算出する。つまり、自らの意思による人の動きにより、図８Ｂの（ａ）の移動量から図８Ｂの（ｂ）の移動量の差分は、図８Ｂの（ｃ）のようになる。つまり人が自らの意思で動くため、人の動きである分離後の頭部の移動量が図８Ｂの（ｃ）のように算出される。

【0074】

人揺れ分離部２６は、算出した自らの意思による分離後の頭部の移動量を状態検知部２７に出力する。

【0075】

［状態検知部２７］
人の動き分離装置１には、状態検知部２７が通信可能に接続されている。状態検知部２７は、自らの意思による分離後の頭部の移動量を人揺れ分離部２６から取得すると、自らの意思による分離後の頭部の移動量に基づいて人の眠気および集中力等の状態を検知する。状態検知部２７は、状態の検知結果を外部装置に出力する。なお、状態検知部２７は、人の動き分離装置１に構成要素に含まれていてもよい。

【0076】

＜処理動作＞
本実施の形態の人の動き分離装置１の処理動作について説明する。

【0077】

図９は、人の動き分離装置１の動作を示すフローチャートである。

【0078】

図９に示すように、まず、画像取得部２１は、撮像部１０が１秒当たり所定のフレーム数で人を撮像した画像を逐次取得する（Ｓ１１）。画像取得部２１は、取得した画像を人動き検知部２５と、姿勢検知部２２とに出力する。

【0079】

また、環境揺れ取得部２４は、人に対する水平方向および鉛直方向の環境による揺れを示す情報である環境揺れ情報を取得する（Ｓ１２）。環境揺れ取得部２４は、環境揺れ情報を人揺れ推定部２３に出力する。ステップＳ１１とステップＳ１２との処理動作は、逆であってもよく、同時であってもよい。

【0080】

次に、人動き検知部２５は、取得した画像から人の動きとして、人のｘ方向への移動量および人のｙ方向への移動量を算出することで、人の頭部の移動量を検知する（Ｓ１３）。人動き検知部２５は、人の動きとして検知した人の頭部の移動量を人揺れ分離部２６に出力する。

【0081】

次に、姿勢検知部２２は、画像取得部２１から取得した画像から人の頭部および人の胴体を抽出し、抽出した人の姿勢の角度を算出する。具体的には、姿勢検知部２２は、図１Ｅの（ａ）～（ｃ）に示すように、鉛直方向に対する頭部および人の胴体に沿う姿勢方向の傾き、つまり鉛直方向に対する姿勢方向の角度θを算出する。つまり、姿勢検知部２２は、人の姿勢の角度を算出することで、人の姿勢を検知する（Ｓ１４）。姿勢検知部２２は、検知した人の姿勢を人揺れ推定部２３に出力する。

【0082】

次に、人揺れ推定部２３は、人の姿勢と、環境揺れ情報に示される水平方向に対する移動体３の揺れおよび鉛直方向に対する移動体３の揺れとに基づいて、移動体３の揺れに起因した、環境による人の揺れを示す移動量を推定する（Ｓ１５）。人揺れ推定部２３は、環境による人の揺れを示す移動量を人揺れ分離部２６に出力する。

【0083】

次に、人揺れ分離部２６は、図５の人動き検知部２５が出力した人の動きである、人の頭部の移動量と、人揺れ推定部２３が出力した環境による人の揺れである、環境による人の揺れを示す移動量とを取得する。そして、人揺れ分離部２６は、人の頭部の移動量から環境による人の揺れを示す移動量を取り除いた、自らの意思による分離後の頭部の移動量を算出する（Ｓ１６）。人揺れ分離部２６は、算出した自らの意思による分離後の頭部の移動量を状態検知部２７に出力する。そして、人の動き分離装置１は、図９の処理動作を終了する。

【0084】

＜作用効果＞
本実施の形態における人の動き分離装置１、人の動き分離方法およびプログラムの作用効果について説明する。

【0085】

上述したように、本実施の形態に係る人の動き分離装置１は、移動体３に固定された撮像部１０によって、移動体３に存在する人を撮像することで人が写った画像を取得する画像取得部２１と、画像から人の動きを検知する人動き検知部２５と、人の姿勢を検知する姿勢検知部２２と、人に対する水平方向および鉛直方向の環境による揺れを示す情報である環境揺れ情報を取得する環境揺れ取得部２４と、姿勢検知部２２が検知した人の姿勢と環境揺れ取得部２４が取得した環境揺れ情報とに基づいて、環境による人の揺れを示す移動量（環境による頭部の移動量）を推定する人揺れ推定部２３と、人動き検知部２５が検知した人の動きから人揺れ推定部２３が推定した環境による人の揺れを示す移動量を分離し、分離した環境による人の揺れを示す移動量を取り除いた人の動きを算出する人揺れ分離部２６とを備える。

【0086】

これによれば、人揺れ推定部２３が人の姿勢と環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定することができる。つまり、環境による揺れだけでなく人の姿勢を考慮して環境による人の揺れを示す移動量を推定することができる。また、人揺れ分離部２６が人の動きから環境による人の揺れを示す移動量を取り除くことができる。このため、自らの意思による人の動き、つまり分離後の頭部の移動量を得ることができる。

【0087】

したがって、人の動き分離装置１は、移動体３内において、人の動きから人の意思による動きを精度よく分離することができる。

【0088】

また、本実施の形態に係る人の動き分離方法は、移動体３に固定された撮像部１０によって、移動体３に存在する人を撮像することで人が写った画像を取得することと、画像から人の動きを検知することと、人の姿勢を検知することと、人に対する水平方向および鉛直方向の環境による揺れを示す情報である環境揺れ情報を取得することと、検知した人の姿勢と取得した環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定することと、検知した人の動きから推定した環境による人の揺れを示す移動量を分離し、分離した環境による人の揺れを示す移動量を取り除いた人の動きを算出することとを含む。

【0089】

この方法においても上述と同様の作用効果を奏する。

【0090】

また、本実施の形態に係るプログラムは、人の動き分離方法をコンピュータに実行させるためのプログラムである。

【0091】

このプログラムにおいても上述と同様の作用効果を奏する。

【0092】

また、本実施の形態に係る人の動き分離装置１において、姿勢検知部２２は、画像から人の姿勢を検知する。

【0093】

これによれば、人を撮像した画像を用いることで人の姿勢を精度よく検知することができる。

【0094】

また、本実施の形態に係る人の動き分離装置１において、人の姿勢は、時間の経過に応じて、鉛直方向に対して人が傾いている角度である。

【0095】

これによれば、人の姿勢を角度として定量的に算出することができる。このため、人揺れ推定部２３が環境による人の揺れを示す移動量を推定する際に用いることができる。

【0096】

また、本実施の形態に係る人の動き分離装置１において、人揺れ推定部２３は、環境揺れ情報に基づく移動体３の水平方向の揺れ成分を角度に応じて人の姿勢方向と直交する方向に変換した成分と、環境揺れ情報に基づく移動体３の鉛直方向の揺れ成分を角度に応じて人の姿勢方向と直交する方向に変換した成分との合成成分を時間の経過に応じて算出することで、環境による人の揺れを示す移動量を推定する。

【0097】

これによれば、環境による揺れだけでなく、人の姿勢の角度を考慮した環境による人の揺れを示す移動量を推定することができる。このため、環境による人の揺れを示す移動量を精度よく推定することができる。

【0098】

（実施の形態の変形例１）
本変形例の人の動き分離装置１ａにおいて、画像取得部２１からの画像を取得することなしに姿勢検知部２２が人の姿勢を検知することが可能である点で実施の形態の人の動き分離装置と相違する。本変形例では、実施の形態の人の動き分離装置と同一の構成および機能については同一の符号を付し、これら構成および機能に関する詳細な説明を省略する。

【0099】

図１０は、実施の形態の変形例１の人の動き分離装置１ａを示すブロック図である。

【0100】

図１０に示すように、本変形例における画像取得部２１は、取得した画像を人動き検知部２５にだけ出力する。

【0101】

姿勢検知部２２は、人を撮像することで人の姿勢を検知することが可能なカメラセンサである。姿勢検知部２２は、人を撮像した画像に基づいて人の姿勢を検知し、検知した人の姿勢を人揺れ推定部２３に出力する。

【0102】

本変形例においても上述の実施の形態と同様の作用効果を奏する。

【0103】

（実施の形態の変形例２）
本変形例の人の動き分離装置１ｂが第１環境揺れ取得部２４ａと第２環境揺れ取得部２４ｂとを備えている点で実施の形態の人の動き分離装置と相違する。本変形例では、実施の形態の人の動き分離装置と同一の構成および機能については同一の符号を付し、これら構成および機能に関する詳細な説明を省略する。

【0104】

図１１は、実施の形態の変形例２の人の動き分離装置１ｂを示すブロック図である。

【0105】

図１１に示すように、本変形例における人の動き分離装置１ｂは、画像取得部２１、人動き検知部２５、姿勢検知部２２、人揺れ推定部２３および人揺れ分離部２６の他に、環境揺れ取得部を複数備えている。本変形例における人の動き分離装置１ｂは、複数の環境揺れ取得部として、第１環境揺れ取得部２４ａと、第２環境揺れ取得部２４ｂとを例示する。

【0106】

第１環境揺れ取得部２４ａは、上下方向（鉛直方向の一例）および左右方向（水平方向の一例）における環境による揺れを示す情報である第１環境揺れ情報を取得する。第１環境揺れ取得部２４ａは、取得した第１環境揺れ情報を人揺れ推定部２３に出力する。第１環境揺れ取得部２４ａは、環境揺れ取得部の一例である。第１環境揺れ情報は、環境揺れ情報の一例である。

【0107】

第２環境揺れ取得部２４ｂは、移動体３の前後方向（水平方向の一例）における環境による揺れを示す情報である第２環境揺れ情報を取得する。第２環境揺れ取得部２４ｂは、取得した第２環境揺れ情報を人揺れ推定部２３に出力する。第２環境揺れ取得部２４ｂは、環境揺れ取得部の一例である。第２環境揺れ情報は、環境揺れ情報の一例である。

【0108】

この場合、画像取得部２１が取得する画像は、三次元画像であってもよい。また、人動き検知部２５は、上下方向、左右方向および前後方向における人の頭部の移動量を算出することができてもよい。また、姿勢検知部２２は、上下方向に対して左右方向および前後方向における人の姿勢を検知することができてもよい。

【0109】

第１環境揺れ取得部２４ａおよび第２環境揺れ取得部２４ｂは、例えば加速度センサ、振動計等である。

【0110】

人揺れ推定部２３は、姿勢検知部２２が検知した人の姿勢と、第１環境揺れ取得部２４ａが取得した第１環境揺れ情報と、第２環境揺れ取得部２４ｂが取得した第２環境揺れ情報とに基づいて、環境による人の揺れを示す移動量を推定する。

【0111】

このような本変形例に係る人の動き分離装置１ｂにおいて、環境揺れ取得部（第１環境揺れ取得部２４ａおよび第２環境揺れ取得部２４ｂ）を複数備える。

【0112】

これによれば、人揺れ推定部２３は、上下方向および左右方向の環境による揺れだけでなく、前後方向の環境による揺れを取得することができる。このため、環境による人の揺れを示す移動量をより精度よく推定することができる。

【0113】

本変形例においても上述の実施の形態と同様の作用効果を奏する。

【0114】

（実施の形態の変形例３）
本変形例の人の動き分離装置１ｃが姿勢情報取得部２４ｃを備えている点、で実施の形態の人の動き分離装置と相違する。本変形例では、実施の形態の人の動き分離装置と同一の構成および機能については同一の符号を付し、これら構成および機能に関する詳細な説明を省略する。

【0115】

図１２は、実施の形態の変形例３の人の動き分離装置１ｃを示すブロック図である。

【0116】

図１２に示すように、人の動き分離装置１ｃは、画像取得部２１、人動き検知部２５、姿勢検知部２２、人揺れ推定部２３、環境揺れ取得部２４および人揺れ分離部２６の他に、姿勢情報取得部２４ｃを備えている。

【0117】

本変形例の姿勢情報取得部２４ｃは、人に装着させることで、人の姿勢を示す情報である姿勢情報を取得する。姿勢情報取得部２４ｃは、例えば、加速度計、角速度計、地磁気計等を含むＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサである。姿勢情報取得部２４ｃは、取得した人の姿勢情報を姿勢検知部２２に出力する。

【0118】

姿勢検知部２２は、姿勢情報取得部２４ｃから姿勢情報を取得すると、姿勢情報に基づいて人の姿勢を検出する。

【0119】

このような本変形例に係る人の動き分離装置１ｃは、さらに、人の姿勢を示す情報である姿勢情報を取得する姿勢情報取得部２４ｃを備える。そして、姿勢検知部２２は、姿勢情報に基づいて人の姿勢を検出する。

【0120】

例えば姿勢情報取得部２４ｃを人に装着すれば、人の姿勢を容易かつ精度よく検知することができる。

【0121】

本変形例においても上述の実施の形態と同様の作用効果を奏する。

【0122】

（その他の変形例）
以上、本開示に係る人の動き分離装置、人の動き分離方法およびプログラムについて、上記実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を実施の形態に施したものも、本開示の範囲に含まれてもよい。

【0123】

例えば、上記実施の形態に係る人の動き分離装置、人の動き分離方法およびプログラムにおいて、人の動きは、人の頭部の移動量に限定されない。人の動きは、人の頭部における目、鼻、口等の移動量であってもよく、頭部以外の人の胴体、首等の移動量であってもよい。

【0124】

また、上記実施の形態に係る人の動き分離装置、人の動き分離方法およびプログラムの各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサ等のプログラム実行部が、ハードディスクまたは半導体メモリ等の記憶媒体に記憶されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0125】

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。

【0126】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェアまたはソフトウェアが並列または時分割に処理してもよい。

【0127】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0128】

なお、上記の実施の形態に対して当業者が思い付く各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。

【産業上の利用可能性】

【0129】

本開示の人の動き分離装置は、例えば移動体に乗車している人の動きを算出する装置として利用することができる。

【符号の説明】

【0130】

１、１ａ、１ｂ、１ｃ 人の動き分離装置
３ 移動体
１０ 撮像部
２１ 画像取得部
２２ 姿勢検知部
２３ 人揺れ推定部
２４ 環境揺れ取得部
２４ａ 第１環境揺れ取得部（環境揺れ取得部）
２４ｂ 第２環境揺れ取得部（環境揺れ取得部）
２４ｃ 姿勢情報取得部
２５ 人動き検知部
２６ 人揺れ分離部

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】