▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス．ア．エス．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-06
(45)【発行日】2023-11-14
(54)【発明の名称】挙動推定システム及び挙動推定方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20231107BHJP
G08G 1/16 20060101ALI20231107BHJP
【ＦＩ】
G06F3/01 510
G08G1/16 F
【請求項の数】
9
(21)【出願番号】P 2020060199
(22)【出願日】2020-03-30
(65)【公開番号】P2021157733
(43)【公開日】2021-10-07
【審査請求日】2022-11-08
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(73)【特許権者】
【識別番号】507308902
【氏名又は名称】ルノー エス．ア．エス．
【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．
【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
(74)【代理人】
【識別番号】110000486
【氏名又は名称】弁理士法人とこしえ特許事務所
(72)【発明者】
【氏名】井上 裕史
(72)【発明者】
【氏名】西山 乘
(72)【発明者】
【氏名】寺口 剛仁
(72)【発明者】
【氏名】志小田 雄宇
(72)【発明者】
【氏名】大久保 翔太
【審査官】井上 香緒梨
(56)【参考文献】
【文献】特開２０２０－１１５２７４（ＪＰ，Ａ）
【文献】特開２０１９－０４９８３１（ＪＰ，Ａ）
【文献】特開２０１７－０７７２９６（ＪＰ，Ａ）
【文献】特開２０１０－１８４５８９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００３１８２９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ３／０１
Ｇ０６Ｆ３／０４８－３／０４８９５
Ｇ０８Ｇ１／００－９９／００
Ａ６１Ｂ５／１８
(57)【特許請求の範囲】
【請求項1】
移動体に搭乗する搭乗者に装着され、前記搭乗者の身体の挙動を検出する搭乗者挙動検出部と、前記移動体における前記搭乗者の位置を搭乗者位置として検出する搭乗者位置検出部と、
前記移動体の複数の設置位置に設置され、前記設置位置における前記移動体の挙動を検出する複数の移動体挙動検出部と、
前記移動体における前記搭乗者位置と複数の前記設置位置との位置関係と、複数の前記設置位置における前記移動体の挙動とに基づいて、複数の前記設置位置における前記移動体の挙動を統合して、計算により、前記搭乗者位置における前記移動体の挙動を算出する移動体挙動推定部と、
前記搭乗者挙動検出部により検出された前記身体の挙動と前記搭乗者位置における前記移動体の挙動とに基づいて、前記搭乗者による前記身体の挙動を推定する搭乗者挙動推定部とを備える挙動推定システム。
【請求項2】
請求項１に記載の挙動推定システムであって、画像を表示する表示部と、
前記搭乗者挙動推定部により推定された、前記搭乗者による前記身体の挙動に基づいて、前記表示部により表示される前記画像の表示形態を制御する画像表示制御部とをさらに備える挙動推定システム。
【請求項3】
請求項１又は２に記載の挙動推定システムであって、前記搭乗者挙動検出部は、前記搭乗者の頭部に装着され、前記頭部の挙動を検出する挙動推定システム。
【請求項4】
請求項３に記載の挙動推定システムであって、前記搭乗者挙動検出部は、前記頭部の角速度を頭部角速度として計測する頭部ジャイロセンサを有し、
前記移動体挙動検出部は、前記移動体の角速度を移動体角速度として計測する移動体ジャイロセンサを有し、
前記搭乗者挙動推定部は、前記頭部角速度及び前記移動体角速度に基づいて、前記搭乗者による前記頭部の挙動を推定する挙動推定システム。
【請求項5】
請求項３又は４に記載の挙動推定システムであって、前記搭乗者挙動検出部は、前記頭部の加速度を頭部加速度として計測する頭部加速度センサを有し、
前記移動体挙動検出部は、前記移動体の加速度を移動体加速度として計測する移動体加速度センサを有し、
前記搭乗者挙動推定部は、前記頭部加速度及び前記移動体加速度に基づいて、前記搭乗者による前記頭部の挙動を推定する挙動推定システム。
【請求項6】
請求項１～５のいずれかに記載の挙動推定システムであって、前記搭乗者挙動検出部は、前記搭乗者に装着されるウェアラブルデバイスに備えられ、
前記移動体挙動検出部は、前記移動体に搭載される移動体デバイスに備えられ、
前記搭乗者挙動推定部は、前記移動体デバイスに備えられる挙動推定システム。
【請求項7】
請求項１～５のいずれかに記載の挙動推定システムであって、前記搭乗者挙動検出部は、前記搭乗者に装着されるウェアラブルデバイスに備えられ、
前記移動体挙動検出部は、前記移動体に搭載される移動体デバイスに備えられ、
前記搭乗者挙動推定部は、前記ウェアラブルデバイスに備えられる挙動推定システム。
【請求項8】
移動体に搭乗する搭乗者に装着され、前記搭乗者の身体の挙動を検出する搭乗者挙動検出部と、
前記移動体における前記搭乗者の位置を搭乗者位置として検出する搭乗者位置検出部と、
前記移動体の複数の設置位置に設置され、前記設置位置における前記移動体の挙動を検出する複数の移動体挙動検出部と、
前記移動体における前記搭乗者位置と複数の前記設置位置との位置関係と、複数の前記設置位置における前記移動体の挙動とに基づいて、前記搭乗者位置における前記移動体の挙動を推定する移動体挙動推定部と、
前記搭乗者挙動検出部により検出された前記身体の挙動と前記搭乗者位置における前記移動体の挙動とに基づいて、前記搭乗者による前記身体の挙動を推定する搭乗者挙動推定部とを備え、
前記搭乗者挙動検出部は、前記搭乗者の腕に装着され、前記腕の挙動を検出する挙動推定システム。
【請求項9】
移動体に搭乗する搭乗者の身体の挙動を検出し、前記移動体における前記搭乗者の位置を搭乗者位置として検出し、
前記移動体の複数の設置位置における前記移動体の挙動を検出し、
前記移動体における前記搭乗者位置と複数の前記設置位置との位置関係と、複数の前記設置位置における前記移動体の挙動とに基づいて、複数の前記設置位置における前記移動体の挙動を統合して、計算により、前記搭乗者位置における前記移動体の挙動を算出し、
検出された前記身体の挙動と前記搭乗者位置における前記移動体の挙動とに基づいて、前記搭乗者による前記身体の挙動を推定する挙動推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、挙動推定システム及び挙動推定方法に関するものである。
【背景技術】
【0002】
移動体に搭乗する搭乗者の頭部の挙動及び移動体の挙動を取得し、これらの挙動の差に基づいて、搭乗者が行う頭部の動作を推定する技術が知られている。
【0003】
例えば、特許文献１の技術では、移動体のインスツルメントパネルに固定された携帯電話のモーションセンサが移動体の挙動を検出する。また、搭乗者に装着されたウェアラブルデバイスのセンサが搭乗者の頭部の挙動を検出する。そして、検出された移動体の挙動と搭乗者の頭部の挙動の差に基づいて、搭乗者が行う頭部の動作が推定される。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－７７２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１の技術は、移動体内の一か所に固定されたモーションセンサによって検出された移動体の挙動を用いて、搭乗者による身体の挙動を推定する。移動体の挙動によって生じる搭乗者の身体の挙動は、移動体における搭乗者の位置に応じて異なるため、特許文献１の技術は、搭乗者による身体の挙動を正確に推定できないという問題がある。
【0006】
本発明が解決しようとする課題は、移動体の搭乗者による身体の挙動を正確に推定できる挙動推定システム及び挙動推定方法を提供することである。
【課題を解決するための手段】
【0007】
本発明は、移動体に搭乗する搭乗者の身体の挙動を検出し、移動体における搭乗者の位置を搭乗者位置として検出し、移動体の複数の設置位置における移動体の挙動を検出し、移動体における搭乗者位置と複数の設置位置との位置関係と、複数の設置位置における移動体の挙動とに基づいて、搭乗者位置における移動体の挙動を推定し、検出された身体の挙動と搭乗者位置における移動体の挙動とに基づいて、搭乗者による身体の挙動を推定することによって上記課題を解決する。
【発明の効果】
【0008】
本発明によれば、移動体の搭乗者による身体の挙動を正確に推定できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
≪第１実施形態≫
本発明に係る挙動推定システムの一実施形態を図面に基づいて説明する。
本発明に係る挙動推定システムの一実施形態を図面に基づいて説明する。
【0011】
【0012】
挙動推定システム１は、車載デバイス１０とウェアラブルデバイス２０とを備える。車載デバイス１０は車両２に搭載されている装置である。車載デバイス１０は、少なくとも移動体挙動検出装置１１、コントローラ１２と、車載通信装置１３と、カメラ１４と、シートセンサ１５とを備える。また、ウェアラブルデバイス２０は、車両２に搭乗している搭乗者に装着される装置である。また、ウェアラブルデバイス２０は、搭乗者挙動検出装置２１と、表示部２２と、通信装置２３とを備える。ウェアラブルデバイス２０は、例えば、メガネ型又はゴーグル型のヘッドマウントディスプレイであって、搭乗者の頭部に装着されて、搭乗者の頭部の挙動を検出する。また、ウェアラブルデバイス２０は、ディスプレイ等である表示部２２に、搭乗者の視界に映る景色に重畳させるように仮想オブジェクトの表示画像を表示させる。なお、本実施形態では、挙動推定システム１は、車両に搭載された装置等により構成されているが、車両に限らず、その他の移動体に搭載されてもよい。例えば、電車、船、飛行機等であってもよい。
【0013】
また、挙動推定システム１は、車両２内の任意の位置にいる搭乗者による身体の挙動を推定し、推定された搭乗者による身体の挙動に基づいて、表示部２２における画像表示を制御する。搭乗者による身体の挙動とは、搭乗者が行う行為に起因して生じる身体の挙動、すなわち、搭乗者の能動的な身体の挙動である。例えば、搭乗者が頭部の向きを変えることによって生じる頭部の挙動や、搭乗者が腕を動かすことによって生じる腕の挙動である。また、身体の挙動として、身体の加速度及び角速度の少なくともいずれかひとつが検出される。本実施形態では、搭乗者の頭部に装着されたウェアラブルデバイス２０のセンサが搭乗者の頭部の挙動を検出する。したがって、車両２が静止している場合には、搭乗者が頭部を動かしたときに、センサが搭乗者による頭部の挙動を検出することができる。しかしながら、車両２が走行している場合には、センサによって検出される搭乗者の頭部の挙動には、搭乗者による頭部の挙動だけでなく、車両２の挙動によって生じる頭部の挙動、すなわち、受動的な頭部の挙動も含まれる。例えば、搭乗者が頭部を動かしたとしても、走行している車両２の加減速や旋回によっても、搭乗者の頭部に挙動が生じるため、センサは、ふたつの挙動が合わさった状態で、搭乗者の頭部の挙動を検出する。このような状況では、センサによって、搭乗者による頭部の挙動のみを適切に検出することは困難である。そこで、従来では、ウェアラブルデバイス２０のセンサによる搭乗者の頭部の挙動の検出とは別に、車両２の挙動を検出して、ウェアラブルデバイス２０のセンサで検出した搭乗者の頭部の挙動から車両２の挙動を差し引くことで、搭乗者による頭部の挙動のみを推定する。
【0014】
しかしながら、車両２の挙動が搭乗者の頭部の挙動に与える影響は、車両２内における搭乗者の位置に応じて異なる。例えば、車両２の挙動は、図２で示されるように、車両２内の位置に応じて異なる。図２は、車両２が左方向に曲がるカーブを旋回しているときの、車両２内の３か所に設置された加速度センサ（前方センサ２００、中央センサ２０１、後方センサ２０２）がそれぞれ検出する車両の加速度を模式的に示している図である。図２では、各センサによる検出された加速度の方向と大きさが、Ｘ軸方向（車両２の進行方向）とＹ軸方向（車両２の幅方向）の成分に分解され、ベクトルの方向と大きさにより表現されている。例えば、後方センサ２０２における加速度の方向は、前方センサ２００における加速度の方向と比較すると、Ｙ軸方向において反対向きとなっている。また、中央センサ２０１における加速度の大きさは、Ｙ軸方向において、前方センサ２００における加速度の大きさよりも小さい。このように、車両２の挙動は、車両２内の位置に応じて異なる。したがって、車両内において、任意の位置に座っている搭乗者による身体の挙動を正確に推定するためには、搭乗者の位置に応じて異なる車両の挙動を推定する必要がある。本実施形態に係る挙動推定システム１は、搭乗者の位置における車両の挙動を推定し、センサにより検出された搭乗者の頭部の挙動から、搭乗者の位置における車両の挙動を差し引くことで、搭乗者の位置における搭乗者による頭部の挙動を推定する。これにより、本実施形態では、移動体の搭乗者による身体の挙動を正確に推定できる。また、搭乗者による頭部の挙動に応じてウェアラブルデバイス２０の表示部２２に表示画像を表示させる場合に、推定された搭乗者による身体の挙動に基づいて、搭乗者の視界に適切に画像を表示させることができる。例えば、搭乗者の視界に映る車内の対象物に重ねるように表示画像を表示させる場合には、搭乗者による頭部の挙動に応じて表示部２２上における表示画像の表示位置を制御するために、搭乗者による頭部の挙動を正確に推定しなければならないからである。
【0015】
移動体挙動検出装置１１は、車両２の挙動を検出する。移動体挙動検出装置１１は、例えば、加速度センサ１１０及びジャイロセンサ１１１を含む。また、移動体挙動検出装置１１は、車両２内の複数の異なる設置位置にそれぞれ設置される。すなわち、複数の移動体挙動検出装置１１が車両２に固定されている。例えば、２軸の加速度センサ１１０を含む移動体挙動検出装置１１が少なくとも３つ、同一平面上、かつ同一円上の異なる位置にそれぞれ設置される。なお、移動体挙動検出装置１１の設置位置は、同一平面上、かつ同一円上の異なる位置でなくてもよい。また、単軸の加速度センサ１１０を含む移動体挙動検出装置１１を異なる位置に６つ設置することとしてもよい。そして、移動体挙動検出装置１１は、設置された設置位置における車両２の挙動、すなわち、車両２の加速度及び角速度の少なくともいずれかひとつを検出する。例えば、図３Ａのように、複数の移動体挙動検出装置１１が、剛体として扱える車両２のフレーム４角（前後左右）にそれぞれ搭載される。また、これに限らず、図３Ｂで示されるように、移動体挙動検出装置１１が車両２に３つ搭載されることとしてもよい。これにより、車両２の設置位置における車両２の挙動を検出できる。そして、複数の移動体挙動検出装置１１は、設置された設置位置における車両２の挙動をそれぞれ検出し、検出された値をコントローラ１２に送信する。このとき、移動体挙動検出装置１１は、３次元座標で表されたそれぞれの装置の位置も併せて送信する。
【0016】
車両２の挙動には、車両２の運転操作に起因した挙動と、外部環境に起因した挙動が含まれる。車両２の運転操作に起因した挙動としては、例えば、アクセル操作による車両２の加速、ブレーキ操作による車両２の減速、ステアリング操作による車両２の右左折などが挙げられる。例えば、車両２が停止状態から発進する場面では、車両２はアクセル操作により加速する。搭乗者には車両２の加速に伴う力がかかり、ウェアラブルデバイス２０には車両２の進行方向（車両２の前後方向ともいう）に加速度が発生する。また、例えば、車両２が減速する場面では、車両２はブレーキ操作により減速する。搭乗者には車両２の減速に伴う力がかかり、ウェアラブルデバイス２０には進行方向に加速度が発生する。車両２の加速によりウェアラブルデバイス２０に発生する加速度の向きと、車両２の減速によりウェアラブルデバイス２０に発生する加速度の向きは互いに反対方向となる。また、例えば、車両２が交差点を左折する場面では、車両２はステアリング操作により左折する。搭乗者には車両２の左折に伴う遠心力がかかり、ウェアラブルデバイス２０には進行方向に対して右方向の加速度が発生する。なお、車両２の運転操作に起因した挙動の他の例としては、アイドリングによる振動が挙げられる。この場合、ウェアラブルデバイス２０には、少なくとも車両２の上下方向の加速度が発生する。
【0017】
また、外部環境に起因してウェアラブルデバイス２０に加速度が発生する場面としては、例えば、車両２がスピードバンプなどの路面上にある段差を通過する場面が挙げられる。例えば、車両２が加速せずに一定速度で走行していても、スピードバンプを通過する際には、車両２はスピードバンプの段差により上下動する。搭乗者が静止していることにより搭乗者が行う動作に伴う加速度が発生しておらず、かつ、一定速度の走行により車両２の運転操作に伴う加速度が発生していない状況であっても、乗員には外部環境により力がかかり、ウェアラブルデバイス２０には加速度が発生する。上記例の場面では、ウェアラブルデバイス２０には、車両２の上下方向の加速度が発生する。
【0018】
また、車両２の挙動として、角速度が検出されることとしてもよい。例えば、車両２が交差点を左折する場面では、車両２の左折に伴う遠心力が角速度として検出される。また、車両２の走行中に片側の車輪だけが段差に乗り上げた場合には、車両２の車体は幅方向に傾くため、車両２の進行方向に沿った軸を中心として発生する角速度が検出される。
【0019】
加速度センサ１１０は、車両２の運転操作及び外部環境に起因して生じる車両２の加速度を検出する。具体的には、加速度センサ１１０は、お互いに直交するＸ軸、Ｙ軸、Ｚ軸の３軸について、それぞれの軸方向に沿った加速度を検出する。例えば、Ｘ軸を、車両２の進行方向（車両２の前後方向）に沿った軸、Ｙ軸を、車両２の幅方向（車両２の左右方向）に沿った軸、Ｚ軸は、車両２の高さ方向（上下方向）に沿った軸とする。また、加速度センサ１１０は、１軸又は２軸についての軸方向の加速度を検出することとしてもよい。加速度センサ１１０により取得された加速度は、コントローラ１２に送信される。なお、本実施形態では、車両の挙動を検出するセンサは、加速度センサ１１０及びジャイロセンサ１１１のいずれか一方のセンサのみであってもよい。
【0020】
ジャイロセンサ１１１は、車両２の姿勢変化によって生じる車両２の角速度を検出する。ジャイロセンサ１１１により検出される車両２の姿勢変化は、加減速及び操舵といった運転者の操縦等に起因する回転挙動である。具体的には、ジャイロセンサ１１１は、上述の軸方向について、それぞれの軸を中心とした角速度を検出する。角速度としては、Ｘ軸を中心としたロール角の角速度、Ｙ軸を中心としたピッチ角の角速度及びＺ軸を中心としたヨー角の角速度がある。ジャイロセンサ１１１により取得された角速度は、コントローラ１２に送信される。
【0021】
カメラ１４は、車両２内を撮像するように設置される。具体的には、カメラ１４は、一定の時間間隔で、搭乗者を含む車両２内を撮像する。例えば、カメラ１４は、赤外線ＬＥＤと赤外線カメラを用いたカメラデバイス等が用いられる。カメラ１４で撮像された画像データは、コントローラ１２に出力される。
【0022】
シートセンサ１５は、車両２内の座席にかかる荷重を検出する。具体的には、シートセンサ１５は、座席に所定値以上の荷重がかかっていると検知した場合にはオン値をコントローラ１２に出力する。シートセンサ１５は、カメラ１４が何らかの陰になっていて搭乗者を撮像できないような場合にも用いることができる。また、シートセンサのみであれば、センサデバイスのコストを抑えることもできる。
【0023】
コントローラ１２は、移動体挙動検出装置１１と、車載通信装置１３と、カメラ１４と、シートセンサ１５とお互いに通信可能である。本実施形態におけるコントローラ１２は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを用いることができる。コントローラ１２は、機能ブロックとして、搭乗者位置取得部１２０と、移動体挙動推定部１２１と、搭乗者挙動推定部１２２と、画像表示制御部１２３とを含んで構成され、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。具体的には、コントローラ１２は、まず、車両２における搭乗者の位置と、移動体挙動検出装置１１の設置された複数の設置位置との位置関係と、複数の設置位置における車両２の挙動とに基づいて、搭乗者の位置における車両２の挙動を推定する。そして、コントローラ１２は、搭乗者の身体の挙動と、搭乗者の位置における車両２の挙動との差を、搭乗者による身体の挙動として推定し、搭乗者による身体の挙動に基づいて特定した搭乗者の視線方向に応じて表示画像を表示部２２に表示させる制御を行う。なお、本実施形態では、コントローラ１２が有する機能を４つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１２の機能は必ずしも４つのブロックに分ける必要はなく、３以下の機能ブロック、あるいは、５つ以上の機能ブロックで分けてもよい。
【0024】
搭乗者位置取得部１２０は、カメラ１４とシートセンサ１５により検出された情報に基づいて、車両２における搭乗者の位置を搭乗者位置として取得する。例えば、搭乗者位置取得部１２０は、カメラ１４により撮像された車両２内の画像に基づいて、画像認識技術により搭乗者を特定して、搭乗者の位置を取得する。また、搭乗者位置取得部１２０は、搭乗者が装着しているウェアラブルデバイス２０に付された特徴点マーカを認識することで、当該ウェアラブルデバイス２０を装着している搭乗者の搭乗者位置を取得することとしてもよい。また、搭乗者位置取得部１２０は、シートセンサ１５が出力したオン値に基づいて、オン値が出力された座席の位置を特定することで、搭乗者位置を取得することとしてもよい。車内に搭乗者が複数いる場合には、搭乗者位置取得部１２０は、搭乗者それぞれの搭乗者位置を取得する。車両２内における搭乗者位置は、例えば、３次元座標によって表される。
【0025】
移動体挙動推定部１２１は、搭乗者位置取得部１２０により取得された搭乗者位置における車両２の挙動を推定する。具体的には、移動体挙動推定部１２１は、まず、搭乗者位置取得部１２０により取得された搭乗者位置と、複数の移動体挙動検出装置１１が設置された複数の設置位置を取得する。このとき、移動体挙動推定部１２１は、それぞれの移動体挙動検出装置１１の位置情報に紐づけて、設置位置における車両２の挙動を取得する。次に、移動体挙動推定部１２１は、搭乗者位置と複数の移動体挙動検出装置１１の位置とに基づいて、搭乗者位置を原点とする３次元座標における、搭乗者位置と複数の移動体挙動検出装置１１の位置との相対的な位置関係をそれぞれ算出する。そして、移動体挙動推定部１２１は、複数の設置位置における車両２の挙動と、搭乗者位置に対する移動体挙動検出装置１１それぞれの相対的位置関係とに基づいて、計算により、搭乗者位置における車両２の挙動、すなわち、Ｘ、Ｙ及びＺ軸方向それぞれの加速度、並びにＸ、Ｙ及びＺ軸それぞれを中心とした角速度を算出する。具体的には、まず、移動体挙動推定部１２１は、搭乗者位置を原点とする３次元座標における、搭乗者位置と複数の移動体挙動検出装置１１の位置との相対的な位置関係をそれぞれ算出する。このとき、剛体である車両２が回転していて搭乗者位置まわりに角速度が生じていると、それぞれの移動体挙動検出装置１１の設置位置には、搭乗者位置との位置関係に応じた回転角速度及び遠心加速度が生じる。次に、移動体挙動推定部１２１は、それぞれ異なる位置及び方向の移動体挙動検出装置１１の設置位置における車両２の挙動を取得する。ひとつの移動体挙動検出装置１１により検出される車両２の挙動は、並進加速度、重力加速度並びに搭乗者位置との位置関係に応じて異なる回転角速度及び遠心加速度が合わさった値である。そのため、当該値は、単一の検出値のみによっては、搭乗者位置との位置関係に応じて異なる回転角速度及び遠心加速度の影響を分離することができない。そこで、移動体挙動推定部１２１は、複数の設置位置におけるそれぞれの車両２の挙動の値を統合して、計算により、移動体挙動検出装置１１により検出された値から、搭乗者位置との位置関係に応じて異なる回転角速度及び遠心加速度の影響を取り除くことで、搭乗者位置における加速度及び角速度を算出する。
【0026】
搭乗者挙動推定部１２２は、搭乗者による頭部の挙動を推定する。具体的には、搭乗者挙動推定部１２２は、搭乗者挙動検出装置２１により検出された搭乗者の頭部の挙動と、移動体挙動推定部１２１により推定された、搭乗者位置における車両２の挙動との差を算出する。すなわち、搭乗者の頭部の挙動と、搭乗者位置における車両２の挙動との差が、搭乗者による頭部の挙動として推定される。例えば、搭乗者による頭部の加速度を推定する場合には、搭乗者挙動推定部１２２は、搭乗者の頭部の加速度と搭乗者位置における車両２の加速度について、３つの軸方向（Ｘ軸、Ｙ軸、Ｚ軸）それぞれの加速度の成分を取得し、加速度の成分ごとに、搭乗者の頭部の加速度と、搭乗者位置における車両２の加速度との差を算出する。また、搭乗者による頭部の角速度を推定する場合には、搭乗者挙動推定部１２２は、搭乗者の頭部の角速度と搭乗者位置における車両２の角速度について、３つの軸を中心とした角速度をそれぞれ取得し、軸ごとに、搭乗者の頭部の角速度と、搭乗者位置における車両２の角速度との差を算出する。
【0027】
画像表示制御部１２３は、搭乗者挙動推定部１２２により推定された、搭乗者による頭部の挙動に基づいて、表示部２２に表示される仮想オブジェクトの表示画像の表示形態の制御を行う。表示画像の表示形態は、表示部２２上における表示画像の表示位置、表示画像の大きさ、表示画像の回転角度を含む。画像表示制御部１２３は、まず、搭乗者挙動推定部１２２により推定された、搭乗者による頭部の挙動によって変化する搭乗者の頭部の状態、すなわち、車両２に対する相対的な頭部の位置、向き及び傾きを特定する。次に、画像表示制御部１２３は、搭乗者の頭部の状態に基づいて、搭乗者の視線方向の視界を特定し、搭乗者の視線方向の視界に映る対象物に重なるように、表示部２２に表示される仮想オブジェクトの表示画像の表示形態を特定する。そして、画像表示制御部１２３は、特定された表示形態に基づいて表示画像を表示させる制御信号を生成し、当該制御信号を車載通信装置１３に出力する。
【0028】
ここで、仮想オブジェクトについて説明する。仮想オブジェクトとは、実空間内に配置された２次元モデル（２Ｄモデル、２Ｄ ＣＧ等ともいう）、又は３次元モデル（３Ｄモデル、３Ｄ ＣＧ等ともいう）であって、コンピュータを用いて生成された画像である。仮想オブジェクトには、静止画及び動画のいずれも含まれる。また、仮想オブジェクトには、実際には存在しない仮想のオブジェクト（例えば、アニメのキャラクター等）に加えて、例えば、実在の人物を撮影した映像も含まれる。また、仮想オブジェクトには、人物を示すオブジェクトに加えて、例えば、交差点の案内表示板等、物のオブジェクトも含まれる。本実施形態では、ウェアラブルデバイス２０の表示部２２を介して車内外の景色を見ている搭乗者に対して、表示部２２に仮想オブジェクトの表示画像を表示させることで、現実空間に仮想オブジェクトが重畳された拡張現実（ＡＲ）空間を提示する。
【0029】
次に、仮想オブジェクトの表示画像の表示形態について説明する。画像表示制御部１２３は、搭乗者による頭部の挙動から推定される搭乗者の視線方向を特定し、搭乗者の視線方向の視界に映る対象物に重なるように表示画像の表示形態を制御する。具体的には、画像表示制御部１２３は、搭乗者による頭部の挙動から搭乗者の頭部の位置、向き及び傾きを推定し、推定された頭部の位置、向き及び傾きに合わせて変化する搭乗者の視線方向の視界を特定し、視界に映る対象物に表示画像が重畳されるように、表示部２２上における表示画像の位置、大きさ及び角度を制御する。まず、表示画像の表示位置について説明する。表示画像の表示位置は、表示部２２（ディスプレイ画面）上において表示画像が表示される位置である。例えば、搭乗者の視界に映る車内の対象物に重なるように、表示部２２に表示画像が表示される場合には、画像表示制御部１２３は、車内における対象物の位置を特定し、搭乗者の頭部の状態に基づいて、現実空間における対象物の位置に対応する表示部２２上の対象物の位置を表示位置として特定する。次に、表示画像の表示形態としては、表示画像の大きさが挙げられる。表示画像の大きさを制御して、近くのものほど大きく見えるという遠近感を画像の大きさによって再現することで、より現実の感覚に近いＡＲ空間を提供することができる。画像表示制御部１２３は、車内の対象物、例えば、インスツルメントパネルに表示画像が表示される場合、インスツルメントパネルに対する搭乗者の頭部の位置の前後移動に応じて、表示画像の大きさを制御する。搭乗者の頭部がインスツルメントパネルに近づく方向に移動するときには、画像表示制御部１２３は、表示画像を大きくする制御を行い、搭乗者の頭部がインスツルメントパネルから遠ざかる方向に移動するときには、画像表示制御部１２３は、表示画像を小さくする制御を行う。また、表示画像の表示形態としては、表示画像の回転角度が挙げられる。表示画像の回転角度は、表示部２２における表示画像の角度である。例えば、表示画像が車内の対象物に重ねられるように、表示画像の回転角度を車内の対象物の傾きに合わせて制御する場合を考える。すなわち、この場合には、画像表示制御部１２３は、車両２が傾いたときには、表示画像の回転角度も車両２の傾きに合わせて制御し、車両２の傾きが変わらないときには、表示画像の回転角度を変更しない。また、車両２の傾きは変わらないが、搭乗者が頭部を傾ける等により表示部２２（ディスプレイ画面）が傾いたときには、画像表示制御部１２３は、表示画像が車内の対象物に対して傾いて見えないように、表示部２２における表示画像の回転角度を制御する。
【0030】
以下、図４～図７を用いて、表示画像の表示形態の制御の一例を説明する。図４は、車両２と、運転席に座っている搭乗者の視線方向との関係を表す図である。図４では、車両２は、ナビゲーション装置３００を備え、進行方向Ｌに沿って走行している。また、車両２には、ウェアラブルデバイス２０を装着する搭乗者１００が運転席に座っている。視線方向Ｐは、進行方向Ｌに対して平行な方向であって、搭乗者１００が進行方向を見ているときの視線の方向である。視線方向Ｑは、搭乗者１００が視線方向Ｐよりも左側の方向を見ているときの視線の方向である。また、ウェアラブルデバイス２０では、車内空間におけるナビゲーション装置３００の位置に対応する表示部２２上の位置に仮想オブジェクトＲが表示されている。図５Ａ及びＢは、図４の搭乗者１００が表示部２２（ディスプレイ画面）を介して視認している車内の様子を示している。図５Ａが、図４の搭乗者１００の視線方向Ｐの視界に対応していて、表示部２２に仮想オブジェクトＲが表示されているときの、搭乗者の視界に映る車内の様子を示している。図５Ｂが、図４の搭乗者１００の視線方向Ｑの視界に対応していて、表示部２２に仮想オブジェクトＲが表示されているときの、搭乗者１００の視界に映る車内の様子を示している。仮想オブジェクトＲは、例えば、ナビゲーション装置３００により案内された経路案内を視覚的に表示するオブジェクト（例えば、「２キロ先左方向」）であり、表示部２２上におけるナビゲーション装置３００の位置に常に表示されるように制御されている。したがって、例えば、搭乗者１００の視線方向が、視線方向Ｐから視線方向Ｑに変わった場合には、表示部２２は搭乗者１００の視界に対応しているため、表示部２２上におけるナビゲーション装置３００の位置が右側に移動する（図５Ｂ）。仮想オブジェクトＲは常にナビゲーション装置３００の位置に表示されるように制御されるため、仮想オブジェクトＲの表示位置もナビゲーション装置の移動に応じて移動するよう制御される。
【0031】
また、図６で示されるように、車両２が左折している場合には、左方向に加速度が生じる車両２の挙動に起因して搭乗者１００の頭部にも左方向の加速度が生じる。搭乗者１００が頭部を動かさずに進行方向Ｐから視線方向を変えていないときには、車両２に対する搭乗者の頭部の状態、すなわち、頭部の位置や向き、傾きは変わらないため、運転者に視界に映る車内の様子は、図５Ａで示している車内の様子のままのはずである。しかしながら、単に、搭乗者挙動検出装置２１により検出された搭乗者の頭部の挙動に基づいて、表示画像の表示形態が制御される場合には、車両２の挙動による頭部の挙動に応じて、表示部２２における仮想オブジェクトＲの表示位置が移動することになる。すなわち、図７で示されるように、画像表示制御部１２３は、車両２の左方向の加速度により、車両２に対する搭乗者の頭部の位置が視線方向Ｐから視線方向Ｐ´に変化したと判定し、仮想オブジェクトＲの表示位置を右側に移動する制御を行う。しかしながら、実際には、車両２に対する搭乗者の頭部の状態は変化していないため、表示部２２上におけるナビゲーション装置３００の位置は変わらない。そのため、仮想オブジェクトＲは、表示部２２上におけるナビゲーション装置３００の位置から右方向にずれた位置に表示されてしまう。これに対して、本実施形態では、搭乗者挙動検出装置２１により検出された搭乗者の頭部の挙動から車両の挙動による頭部の挙動を差し引くことで、搭乗者による頭部の挙動に基づいて仮想オブジェクトＲの表示位置を制御できる。したがって、車両２が左折している場合であっても、搭乗者１００は、図５Ａで示されている車内の様子を視認できる。また、図２で示しているように、車両２が左折している場合に、車両２の挙動は、車両２内の位置に応じて異なる。したがって、図７では、車両２が左折している場合に、搭乗者挙動検出装置２１が左方向の加速度を検出した場合の一例を示したが、搭乗者１００が運転席ではなく、後方の座席に座っていた場合には、搭乗者挙動検出装置２１は右方向の加速度を検出する。この場合には、表示部２２における仮想オブジェクトの表示画像は、左方向に移動するように表示されてしまう。したがって、このような画像表示を補正するためには、コントローラ１２は、車両の挙動に起因して生じる右方向の加速度を、搭乗者挙動検出装置２１により検出された頭部の加速度から差し引いて搭乗者による頭部の加速度を推定する必要がある。しかしながら、従来技術では、前方に設置されたひとつのセンサにより、車両の挙動は左方向の加速度として検出されるため、後方座席にいる搭乗者による頭部の挙動を正確に推定することができない。本実施形態に係る発明は、搭乗者位置における車両２の挙動を推定して、搭乗者の頭部の挙動と、搭乗者位置における車両２の挙動との差を算出するため、搭乗者がそれぞれ異なる位置にいても、それぞれの位置における搭乗者による頭部の挙動を推定することができる。例えば、前述の例では、コントローラ１２は、車両２の前方にいる搭乗者による頭部の挙動を、車両２の左方向の加速度に基づいて推定し、車両２の後方にいる搭乗者による頭部の挙動を、車両２の右方向の加速度に基づいてそれぞれ推定する。
【0032】
なお、本実施形態では、車両２の車内の対象物を基準とした場合の仮想オブジェクトの表示位置の制御を行うこととしているが、車両２の車外対象物に対して仮想オブジェクトの表示画像を重畳させて表示する場合にも同様の制御を行う。すなわち、本実施形態では、車両２の車外にある対象物の位置は、車両２の位置や向きを基準とした相対的な位置として取得される。したがって、車両２の車外対象物に仮想オブジェクトを重ねるように表示する場合にも、画像表示制御部１２３は、車両２に対する搭乗者の頭部の状態を特定することで、現実空間における車外対象物の位置に対応する表示部２２上の車外対象物の位置を特定する。また、車外の対象物は、例えば、車両、歩行者、道路、標識、建物等が挙げられる。
【0033】
車載通信装置１３は、ウェアラブルデバイス２０の通信装置２３と無線又は有線により接続されていて、情報等の送受信を行う。例えば、車載通信装置１３は、ウェアラブルデバイス２０の通信装置２３に、画像表示の制御信号を送信し、通信装置２３から、検出された搭乗者の身体の挙動を受信する。
【0034】
ウェアラブルデバイス２０は、搭乗者の頭部に装着される装置であって、例えば、ゴーグル型又はメガネ型のヘッドマウントディスプレイである。ウェアラブルデバイス２０は、少なくとも搭乗者挙動検出装置２１と表示部２２と通信装置２３とを備える。ウェアラブルデバイス２０は、画像表示制御部１２３から出力された制御信号に基づいて、表示部２２に仮想オブジェクトの画像を表示させる。また、ウェアラブルデバイス２０は、搭乗者の腕に装着されるデバイスであってもよい。腕に装着されるウェアラブルデバイス２０は、搭乗者挙動検出装置２１により腕の挙動を検出して、検出された腕の挙動をコントローラ１２に送信する。また、搭乗者が複数人いる場合には、それぞれがウェアラブルデバイス２０を装着して利用することも可能であり、同じ仮想オブジェクトを共有し合うことも可能となる。その場合、各ウェアラブルデバイス２０は、それぞれの搭乗者ごとに搭乗者の頭部の挙動を検出して、コントローラ１２に送信する。なお、ウェアラブルデバイス２０としては、ＡＲやＶＲ用ヘッドセットやコントローラ、服や直接ベルトで体に付けるセンサデバイスなどであってもよい。
【0035】
搭乗者挙動検出装置２１は、ウェアラブルデバイス２０が装着された部分における搭乗者の身体の挙動を検出する。例えば、搭乗者挙動検出装置２１は、ウェアラブルデバイス２０が装着されている頭部の挙動を検出する。搭乗者挙動検出装置２１により検出される搭乗者の頭部の挙動には、搭乗者による頭部の挙動と車両２の挙動に基づく頭部の挙動が含まれる。搭乗者挙動検出装置２１は、加速度センサ２１０とジャイロセンサ２１１とを含む。搭乗者挙動検出装置２１は、検出された搭乗者の頭部の挙動をコントローラ１２に出力する。
【0036】
加速度センサ２１０は、搭乗者の頭部の加速度を検出する。具体的には、加速度センサ２１０は、お互いに直交するＸ軸、Ｙ軸、Ｚ軸の３軸について、それぞれの軸方向に沿った加速度を検出する。加速度センサ２１０により検出される搭乗者の頭部の加速度には、搭乗者による頭部の挙動による加速度と車両２の挙動による加速度が含まれる。したがって、例えば、搭乗者が静止をしていて、頭部を動かさなくても、車両２の挙動によって搭乗者の頭部が動くと、加速度センサ２１０は搭乗者の頭部の加速度を検出する。加速度センサ２１０により取得された加速度は、通信装置２３に出力される。
【0037】
ジャイロセンサ２１１は、搭乗者の頭部の角速度を検出する。具体的には、ジャイロセンサ２１１は、上述のそれぞれの軸を中心とした角速度を検出する。ジャイロセンサ２１１により演出される搭乗者の頭部の角速度には、搭乗者による頭部の挙動による角速度と車両２の挙動による角速度が含まれる。車両２の姿勢変化は、加減速及び操舵といった運転者の操縦等に伴って生じる。したがって、例えば、搭乗者が静止をしていて、頭部を動かさなくても、車両２の挙動によって搭乗者の頭部が動くと、ジャイロセンサ２１１は搭乗者の頭部の角速度を検出する。ジャイロセンサ２１１により取得された角速度は、通信装置２３に送信される。
【0038】
表示部２２は、仮想オブジェクトの画像を表示するためのウェアラブルデバイス２０の部位である。表示部２２は、例えば、ディスプレイやゴーグルなどが挙げられる。表示部２２は、画像表示制御部１２３により送信された制御信号に基づいて、ディスプレイ上の表示位置に仮想オブジェクトの表示画像が表示する。これにより、ウェアラブルデバイス２０を装着している搭乗者は、表示部２２を介して仮想オブジェクトが重畳された現実空間を視認することができる。
【0039】
次に、図８を用いて、本実施形態に係る挙動推定方法の手順を説明する。図８は、本実施形態に係る挙動推定方法の手順を示すフローチャートである。本実施形態では、搭乗者がウェアラブルデバイス２０を装着して、表示部２２に仮想オブジェクトの表示画像を表示させるＡＲシステムを起動させると、ステップＳ８０１から制御フローを開始する。本実施形態では、コントローラ１２は、仮想オブジェクトを表示している間、図８の制御フローを繰り返し実行する。
【0040】
ステップＳ８０１では、移動体挙動検出装置１１は、車両２の挙動を検出する。具体的には、複数の移動体挙動検出装置１１は、それぞれ設置されている設置位置における車両２の挙動を加速度センサ１１０及びジャイロセンサ１１１により検出する。そして、移動体挙動検出装置１１は、検出された車両２の挙動のデータをコントローラ１２に出力する。また、複数の移動体挙動検出装置１１は、それぞれ所定の時間間隔で繰り返し移動体の挙動を検出する。
【0041】
ステップＳ８０２では、コントローラ１２は、車両２の車内における搭乗者位置を取得する。具体的には、コントローラ１２は、カメラ１４やシートセンサ１５により検出されたセンサ情報に基づいて、搭乗者位置を取得する。搭乗者が複数人いる場合には、それぞれの搭乗者について搭乗者位置を取得する。
【0042】
ステップＳ８０３では、コントローラ１２は、搭乗者位置における移動体の挙動を推定する。具体的には、コントローラ１２は、ステップＳ８０２で取得された搭乗者位置と複数の移動体挙動検出装置１１の位置との位置関係と、ステップＳ８０１で検出された、複数の設置位置における車両２の挙動とに基づいて、計算により搭乗者位置における移動体の挙動を推定する。
【0043】
ステップＳ８０４では、搭乗者挙動検出装置２１は、搭乗者の頭部の挙動を検出する。検出された搭乗者の頭部の挙動には、搭乗者による頭部の挙動と、車両２の挙動による頭部の挙動を含む。そして、搭乗者挙動検出装置２１は、検出された搭乗者の頭部の挙動を、通信装置２３を介してコントローラ１２に送信する。
【0044】
ステップＳ８０５では、コントローラ１２は、搭乗者による頭部の挙動を推定する。具体的には、コントローラ１２は、ステップＳ８０４で検出された搭乗者の頭部の挙動と、ステップＳ８０３で推定された搭乗者位置における移動体の挙動との差を、搭乗者による頭部の挙動として推定する。
【0045】
ステップＳ８０６では、コントローラ１２は、ステップＳ８０５で推定された搭乗者による頭部の挙動に応じて、表示部２２に表示する仮想オブジェクトの表示画像の表示制御を行う。具体的には、コントローラ１２は、ステップＳ８０５で推定された搭乗者による頭部の挙動に基づいて、頭部の状態、すなわち、車両２に対する頭部の位置、向き及び回転角度を算出し、算出された搭乗者の頭部の状態に基づいて、仮想オブジェクトの表示画像の画像形態を制御する制御信号を生成する。そして、コントローラ１２は、生成された当該制御信号を車載通信装置１３を介してウェアラブルデバイス２０に送信する。
【0046】
ステップＳ８０７では、通信装置２３を介して制御信号を受信した表示部２２は、当該制御信号に基づく表示形態により仮想オブジェクトの表示画像を表示する。例えば、表示部２２は、搭乗者の視界に映る車外の対象物に対して、当該対象物を強調する画像を表示する。
【0047】
なお、本実施形態では、搭乗者挙動推定部１２２により推定された、搭乗者による頭部の挙動に基づいて、表示画像の表示形態を制御することとしているが、これに限らず、搭乗者挙動推定部１２２により推定された、搭乗者による腕の挙動に基づいて、表示画像の表示形態を制御することとしてもよい。例えば、搭乗者は、ウェアラブルデバイス２０が装着された腕の挙動によって、表示部２２に表示される表示画像を操作する。具体的には、画像表示制御部１２３は、搭乗者の腕の挙動に連動して表示部２２に表示させる表示画像の位置を制御する。この場合にも、搭乗者挙動検出装置２１により検出される腕の挙動に車両２の挙動が含まれていると、表示画像の表示位置が搭乗者の意図しない方向に移動してしまうため、搭乗者挙動推定部１２２により搭乗者による腕の挙動を推定することで、搭乗者は、搭乗者による腕の挙動に基づいて正確に表示画像の表示位置を操作することができる。また、本実施形態では、搭乗者挙動推定部１２２により推定された、搭乗者による腕の挙動に基づいて、搭乗者のジェスチャを認識することとしてもよい。
【0048】
以上のように、本実施形態では、移動体に搭乗する搭乗者に装着され、搭乗者の身体の挙動を検出する搭乗者挙動検出部と、移動体における搭乗者の位置を搭乗者位置として検出する搭乗者位置検出部と、移動体の複数の設置位置に設置され、設置位置における移動体の挙動を検出する複数の移動体挙動検出部と、移動体における搭乗者位置と複数の設置位置との位置関係と、複数の設置位置における移動体の挙動とに基づいて、搭乗者位置における移動体の挙動を推定する移動体挙動推定部と、搭乗者挙動検出部により検出された身体の挙動と搭乗者位置における移動体の挙動に基づいて、搭乗者による身体の挙動を推定する搭乗者挙動推定部とを備える。これにより、移動体の搭乗者による身体の挙動を正確に推定できる。
【0049】
また、本実施形態では、画像を表示する表示部と、搭乗者挙動推定部により推定された、搭乗者による身体の挙動に基づいて、表示部により表示される画像の表示形態を制御する画像表示制御部とをさらに備える。これにより、走行中の乗員に拡張現実空間を提示する際に、搭乗者による身体の挙動に応じて仮想オブジェクトの表示画像を正確に表示することができる。
【0050】
また、本実施形態では、搭乗者挙動検出部は、搭乗者の頭部に装着され、頭部の挙動を検出する。これにより、頭部の挙動に応じた表示画像の表示制御を行うことができる。
【0051】
また、本実施形態では、搭乗者挙動検出部は、頭部の角速度を頭部角速度として計測する頭部ジャイロセンサを有し、移動体挙動検出部は、移動体の角速度を移動体角速度として計測する移動体ジャイロセンサを有し、搭乗者挙動推定部は、頭部角速度及び移動体角速度に基づいて、搭乗者による頭部の挙動を推定する。これにより、頭部の相対的な角度を推定して、車両内における頭部の向きを正確に推定することができる。
【0052】
また、本実施形態では、搭乗者挙動検出部は、頭部の加速度を頭部加速度として計測する頭部加速度センサを有し、移動体挙動検出部は、移動体の加速度を移動体加速度として計測する移動体加速度センサを有し、搭乗者挙動推定部は、頭部加速度及び移動体加速度に基づいて、搭乗者による頭部の挙動を推定する。これにより、頭部の相対的な位置を推定して、車両内における頭部の位置を正確に推定することができる。
【0053】
また、本実施形態では、搭乗者挙動検出部は、搭乗者に装着されるウェアラブルデバイスに備えられ、移動体挙動検出部は、移動体に搭載される移動体デバイスに備えられ、搭乗者挙動推定部は、移動体デバイスに備えられる。これにより、移動体に搭載されたデバイスが搭乗者による身体の挙動を推定する機能を有することで、ウェアラブルデバイスが複数あった場合に、一元的に、それらのデバイスの挙動を推定することができる。
【0054】
また、本実施形態では、搭乗者挙動検出部は、搭乗者の腕に装着され、腕の挙動を検出する。これにより、腕の挙動に応じた表示画像の表示制御を行うことができる。
【0055】
≪第２実施形態≫
次に、図９を用いて、第２実施形態に係る挙動推定システム１について説明する。第２実施形態に係る挙動推定システム１は、第１実施形態に係る挙動推定システム１の変形例である。以下に説明する点において第１実施形態に係る挙動推定システム１と異なること以外は、第１実施形態と同様の構成を有し、第１実施形態と同様に動作するものであり、第１実施形態の記載を適宜、援用する。本実施形態において第１実施形態と異なる構成は、搭乗者挙動推定部である。第１実施形態においては、搭乗者挙動推定部は車載デバイスを構成する機能ブロックであったが、第２実施形態においては、図９で示されるように、ウェアラブルデバイス２０を構成する機能ブロックである。すなわち、第２実施形態では、ウェアラブルデバイス２０が、搭乗者による身体の挙動を推定する。したがって、本実施形態では、搭乗者が複数いる場合には、複数のウェアラブルデバイス２０それぞれにおいて、搭乗者による身体の挙動が推定される。
次に、図９を用いて、第２実施形態に係る挙動推定システム１について説明する。第２実施形態に係る挙動推定システム１は、第１実施形態に係る挙動推定システム１の変形例である。以下に説明する点において第１実施形態に係る挙動推定システム１と異なること以外は、第１実施形態と同様の構成を有し、第１実施形態と同様に動作するものであり、第１実施形態の記載を適宜、援用する。本実施形態において第１実施形態と異なる構成は、搭乗者挙動推定部である。第１実施形態においては、搭乗者挙動推定部は車載デバイスを構成する機能ブロックであったが、第２実施形態においては、図９で示されるように、ウェアラブルデバイス２０を構成する機能ブロックである。すなわち、第２実施形態では、ウェアラブルデバイス２０が、搭乗者による身体の挙動を推定する。したがって、本実施形態では、搭乗者が複数いる場合には、複数のウェアラブルデバイス２０それぞれにおいて、搭乗者による身体の挙動が推定される。
【0056】
本実施形態では、コントローラ１２は、移動体挙動推定部１２１により搭乗者位置における車両２の挙動を推定すると、搭乗者位置における車両２の挙動を車載通信装置１３を介して、通信装置２３に送信する。また、ウェアラブルデバイス２０は、通信装置２３を介して搭乗者位置における車両２の挙動を受信すると、搭乗者挙動推定部２４により、搭乗者の頭部の挙動と、搭乗者位置における車両２の挙動との差を、搭乗者による頭部の挙動として推定する。そして、ウェアラブルデバイス２０は、推定された搭乗者による頭部の挙動を、通信装置２３を介してコントローラ１２に送信する。また、ウェアラブルデバイス２０は、機能ブロックとして画像表示制御部を備えることとしてもよく、その場合には、ウェアラブルデバイス２０において、搭乗者による頭部の挙動に基づいて、表示部２２に表示される表示画像の表示形態を制御する。
【0057】
なお、本実施形態におけるフローチャートは、図８のフローチャートと同じであるが、以下の点で、挙動推定方法の具体的な処理が第１実施形態と異なる。すなわち、本実施形態では、ステップＳ８０３で、コントローラ１２は、搭乗者位置における車両２の挙動を推定した後、搭乗者位置における車両２の挙動をウェアラブルデバイス２０に送信する。また、ステップＳ８０４で、搭乗者挙動検出装置２１により、搭乗者の頭部の挙動が検出された後、ウェアラブルデバイス２０は、ステップＳ８０５で、搭乗者による頭部の挙動を推定し、推定された搭乗者による頭部の挙動をコントローラ１２に送信する。
【0058】
以上のように、本実施形態では、搭乗者挙動検出部は、搭乗者に装着されるウェアラブルデバイスに備えられ、移動体挙動検出部は、移動体に搭載される移動体デバイスに備えられ、搭乗者挙動推定部は、ウェアラブルデバイスに備えられる。これにより、複数のウェアラブルデバイスがある場合に、各ウェアラブルデバイスで処理を行うため、処理の負荷を下げることができ、処理の速度を向上させることができる。
【0059】
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【0060】
１…挙動推定システム
１０…車載デバイス
１１…移動体挙動検出装置
１２…コントローラ
１２０…搭乗者位置取得部
１２１…移動体挙動推定部
１２２…搭乗者挙動推定部
１２３…画像表示制御部
１３…車載通信装置
１４…カメラ
１５…シートセンサ
２０…ウェアラブルデバイス
２１…搭乗者挙動検出装置
２２…表示部
２３…通信装置
１０…車載デバイス
１１…移動体挙動検出装置
１２…コントローラ
１２０…搭乗者位置取得部
１２１…移動体挙動推定部
１２２…搭乗者挙動推定部
１２３…画像表示制御部
１３…車載通信装置
１４…カメラ
１５…シートセンサ
２０…ウェアラブルデバイス
２１…搭乗者挙動検出装置
２２…表示部
２３…通信装置
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】