特開 2023-120663 行動推定装置及び行動推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023120663

(43)【公開日】2023-08-30

(54)【発明の名称】行動推定装置及び行動推定方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230823BHJP

【ＦＩ】

G06T7/20 300Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022023630

(22)【出願日】2022-02-18

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】桑本 龍也

(72)【発明者】

【氏名】瀬戸 栄地

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096BA04

5L096CA04

5L096DA03

5L096FA09

5L096FA66

5L096FA69

5L096FA76

5L096HA02

5L096JA11

(57)【要約】      （修正有）

【課題】乗員の行動を適切に推定する行動推定装置及び行動推定方法を提供する。
【解決手段】行動推定装置は、車両内を撮影した車内画像に基づいて、車両内の乗員における複数の身体部位の位置を含む骨格情報を求める骨格情報生成部と、乗員の身体部位のうち、車内画像の撮影範囲から外れた非撮影部位について、撮影範囲から外れるまでの動きに基づいて非撮影部位の位置を求め、非撮影部位の位置を示す情報を骨格情報に加えて骨格情報を補完する骨格情報補完部と、補完した骨格情報に基づいて乗員の行動を推定する行動推定部と、を有する制御部を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両内を撮影した車内画像に基づいて、前記車両内の乗員における複数の身体部位の位置を含む骨格情報を求めることと、
前記乗員の身体部位のうち、前記車内画像の撮影範囲から外れた非撮影部位について、前記撮影範囲から外れるまでの動きに基づいて前記非撮影部位の位置を求め、前記非撮影部位の位置を示す情報を前記骨格情報に加えて前記骨格情報を補完することと、
補完した前記骨格情報に基づいて前記乗員の行動を推定することと、
を実行する制御部を備えた行動推定装置。

【請求項2】

前記補完後の骨格情報における所定種類の身体部位の位置と前記車両内に設けられた車載機器の操作部の位置とに基づいて前記乗員の行動を推定する請求項１に記載の行動推定装置。

【請求項3】

前記骨格情報に加えて、前記車両の状態を示す車両情報に基づいて前記乗員の行動を推定する請求項１又は２に記載の行動推定装置。

【請求項4】

推定した前記乗員の行動が、所定の危険行為に該当するか否かを判定し、危険行為に該当する場合に、通知情報の出力を行う請求項１～３の何れか１項に記載の行動推定装置。

【請求項5】

前記車両の後席に座る乗員の行動が前記危険行為に該当する場合、前記後席に割り当てた第一通知部から前記通知情報を出力させ、当該通知後も前記危険行為が継続している場合、前記車両の運転席に割り当てた第二通知部から前記通知情報を出力する請求項４に記載の行動推定装置。

【請求項6】

前記乗員の行動に加えて、前記車両の状態を示す車両情報に基づいて前記行動が前記危険行為に該当するか否かを判定する請求項４又は５に記載の行動推定装置。

【請求項7】

前記行動の推定を周期的に行い、推定された行動が前回と異なる行動に更新された場合、更新された前記行動が所定期間以上継続するまでは、更新された前記行動が前記危険行為に該当するか否かの判定を行わず、更新された前記行動が所定期間以上継続した場合に、当該行動が前記危険行為に該当するか否かの判定を行う請求項４～６の何れか１項に記載の行動推定装置。

【請求項8】

前記乗員の身体部位のうち複数の箇所に特徴点を定め、当該特徴点間の位置関係を追加特徴量として求め、当該追加特徴量と前記骨格情報とに基づいて前記乗員の行動を判定する請求項１～７の何れか１項に記載の行動推定装置。

【請求項9】

前記身体部位の位置を時系列に求め、当該位置の変化量、当該変化量の平均値、又は当該変化量の最大値と最小値の差分に基づいて、前記行動の大きさ又は速さを追加特徴量として求め、当該追加特徴量と前記骨格情報とに基づいて前記乗員の行動を判定する請求項１～８の何れか１項に記載の行動推定装置。

【請求項10】

前記乗員が基本の着座姿勢をとった際の各身体部位の位置を基準値として保持し、当該基準値からの変化量を追加特徴量として求め、当該追加特徴量と前記骨格情報とに基づいて前記乗員の行動を判定する請求項１～９の何れか１項に記載の行動推定装置。

【請求項11】

前記追加特徴量に基づいて前記乗員の行動を判定し、当該追加特徴量に基づく判定結果を前記骨格情報に基づいて補正し、前記乗員の行動を推定する請求項８～１０の何れか１項に記載の行動推定装置。

【請求項12】

前記追加特徴量に基づいて前記乗員の行動を判定すると共に、前記骨格情報に基づいて前記乗員の行動を判定し、
前記追加特徴量に基づく判定結果と前記骨格情報に基づく判定結果が一致した場合、当該判定結果を前記乗員の行動として推定し、
前記追加特徴量に基づく判定結果と前記骨格情報に基づく判定結果が一致しない場合、所定の優先度に基づいて前記追加特徴量に基づく判定結果若しくは前記骨格情報に基づく判定結果を前記乗員の行動として推定する、又は前記乗員の行動の推定を保留する請求項８～１０の何れか１項に記載の行動推定装置。

【請求項13】

車両内を撮影した車内画像に基づいて、前記車両内の乗員における複数の身体部位の位置を含む骨格情報を求めるステップと、
前記乗員の身体部位のうち、前記車内画像の撮影範囲から外れた非撮影部位について、前記撮影範囲から外れるまでの動きに基づいて前記非撮影部位の位置を求め、前記非撮影部位の位置を示す情報を前記骨格情報に加えて前記骨格情報を補完するステップと、
補完した前記骨格情報に基づいて前記乗員の行動を推定するステップと、
を制御部が実行する行動推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、行動推定装置及び行動推定方法に関する。

【背景技術】

【0002】

車両内をカメラで撮影した乗員の画像から乗員の行動を推定するための技術がある。例えば、特許文献１では、車両内を撮影した車内画像に基づいて，車両内の人物における複数の部位の位置を検出する人体部位検出手段と，この人体部位検出手段で得られた部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と，あらかじめ学習された識別器と、特徴量算出手段が算出した順位特徴量とを用いて，車両内乗員の行動を識別することが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－２１５８６１号公報

【特許文献2】特開２０１９－８６９３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

車室内の場合は車室内カメラの画角や乗員の姿勢により、乗員が撮影範囲外に移動してしまうことが発生しやすく、その場合は一部骨格位置の検知が不可になり、結果として行動推定ができなくなる問題がある。

【0005】

本発明は、乗員の行動を適切に推定する技術の提供を目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の行動推定装置は、
車両内を撮影した車内画像に基づいて、前記車両内の乗員における複数の身体部位の位置を含む骨格情報を求めることと、
前記乗員の身体部位のうち、前記車内画像の撮影範囲から外れた非撮影部位について、前記撮影範囲から外れるまでの動きに基づいて前記非撮影部位の位置を求め、前記非撮影部位の位置を示す情報を前記骨格情報に加えて前記骨格情報を補完することと、
補完した前記骨格情報に基づいて前記乗員の行動を推定することと、
を実行する制御部を備えた。

【発明の効果】

【0007】

本発明によれば、乗員の行動を適切に推定する技術を提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、行動推定システムの概略構成を示す図である。

【図2】図２は、撮影装置の構成を示す図である。

【図3】図３は、行動推定装置の構成を示す図である。

【図4】図４は、骨格情報の例を示す図である。

【図5】図５は、行動推定部が骨格情報及び追加特徴量に基づいて乗員の行動を推定する処理の説明図である。

【図6A】図６Ａは、第一の実施形態に係る行動推定装置の制御部が実行する行動推定方法のフローを示す図である。

【図6B】図６Ｂは、第一の実施形態に係る行動推定装置の制御部が実行する行動推定方法のフローを示す図である。

【図7】図７は、乗員が動いた際の骨格情報を示す図である。

【図8】図８は、第二の実施形態に係る行動推定部が骨格情報及び追加特徴量に基づいて乗員の行動を推定する処理の説明図である。

【図9A】図９Ａは、第二の実施形態に係る行動推定装置の制御部が実行する行動推定方法のフローを示す図である。

【図9B】図９Ｂは、第二の実施形態に係る行動推定装置の制御部が実行する行動推定方法のフローを示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

【0010】

＜第一の実施形態＞
図１は、行動推定システム１００の概略構成を示す図である。行動推定システム１００は、車両１に搭載され、行動推定装置１０や、車内を撮影する撮影装置２０、車載機器３０、ナビゲーション装置４０、検出部５０、ＥＣＵ（electronic control unit）６０を
有している。

【0011】

撮影装置（カメラ）２０は、車両１に設けられ、車両１に乗車している乗員を撮影する。また、撮影装置２０は、乗員の位置を検出する位置センサの機能を有してもよい。図２は、撮影装置２０の構成を示す図である。撮影装置２０は、撮影光学系２１、受光素子２２、計測部２３、光源２４を備えている。なお、撮影装置２０は、図１に示すように車室内前方のインストルメントパネル（ダッシュボード）中央付近に配置されることを例示したが、これに限定されるものではなく、例えば、車載機器３０付近や、天井など、対象とする乗員を撮影できれば他の箇所に配置されても良い。また、撮影装置２０は、行動推定専用に設けられたものでなくてもよく、ドライブレコーダ等、他の機器に備えられた撮影装置であってもよい。

【0012】

撮影光学系２１は、乗員等の被写体の像を受光素子２２の受光面上に形成する所謂撮影レンズである。受光素子２２は、例えば、ＴｏＦ（Time Of Flight）距離画像センサであり、受光面上に形成された被写体像を電気信号に変換し、画像データとして出力する。計測部２３は、受光素子２２から出力される電気信号の画素毎の値に基づいて、被写体との距離を求める。このとき、光源２４から照射される計測光は、強度が所定の周波数で変調されており、被写体で反射され受光素子２２で受光された反射光と比較すると、この変調された強度の位相が被写体と受光素子との距離（光路長）に応じてシフトする。例えば、被写体と受光素子との距離が長くなると、位相の遅延（シフト量）が大きくなる。そこで、計測部２３は、受光素子２２の各画素で受光した反射光における位相のシフト量に基づいて、被写体との距離を画素毎に求め、距離情報として出力する。この距離情報が、後述のように行動推定装置１０において身体部位等の位置を求めるための情報として用いられる。

【0013】

被写体との距離、又は被写体の位置を求める手法としては、ＴｏＦ距離画像センサを用いるものに限らず、三次元レーザースキャナで身体部位をスキャンするものや、ステレオカメラで被写体を撮影し、視差に基づいて画像中の物体（被写体）との距離を求めるもの、所定のパターン光を対象物体（被写体）に拡大して投影し、投影距離が長くなる程、当該パターンが大きくなるようにして、対象物体上に投影されたパターンの大きさの変化に応じて対象物体との距離を求めるものであっても良い。

【0014】

車載機器３０は、後席に座る乗員（以下、後席乗員とも称す）のため、後席に割り当て
られた機器であり、後席乗員に対して表示や音出力が可能な位置に設けられている。車載機器３０は、行動推定装置１０からの通知情報を後席乗員に対して出力する第一通知部の一形態である。また、車載機器３０は、テレビ番組や動画の出力、ＤＶＤの再生、電子書籍の表示などを行う車内エンターテイメント機器であってもよい。また、車載機器３０は、エアコンの温度調整や、窓ガラスの開閉、カーテンの開閉など、車内設備を操作するための操作部であってもよい。また、車載機器３０は、マイクを有し、後席乗員の声を電気信号に変換して行動推定装置１０に入力してもよい。

【0015】

ナビゲーション装置４０は、運転者や同乗者といったユーザに対し、車両周囲の地図や、車両の現在位置、目的地までの経路等の情報を表示することにより、車両の運行に関する案内（ナビゲーション）を行うものである。ナビゲーション装置４０は、例えばＧＰＳ（Global Positioning System）衛星からの信号を受信して自車両の位置を求める機能や
、地図情報を記憶したデータベース、地図情報を参照して自車両の位置から目的地までの経路や周囲の情報を取得する機能等を有する。また、ナビゲーション装置４０は、車速や、操舵角、加速度など、車両１の走行状態を検出する機能を有する。なお、ナビゲーション装置４０については、公知の構成を用いることができるため、詳細な説明は省略する。行動推定装置１０は、ナビゲーション装置４０と一体に形成されてもよい。更に、行動推定装置１０は、音楽を再生するオーディオ機能や、動画の再生やテレビ放送の表示を行うビジュアル機能を備えたオーディオ・ビジュアル・ナビゲーション一体型の電子機器（ＡＶＮ機とも称す）であっても良い。

【0016】

検出部５０は、例えば、車両１の車速や、操舵角、シフトポジション、ブレーキの動作状態、前照灯の点灯状態、ドアの開閉状態、車内灯の点灯状態、シートベルトのロック／アンロック情報など、車両内の情報を検出するセンサである。また、検出部５０は、車載機器３０等に設けられ、車内の音を電気信号に変換するマイクであってもよい。

【0017】

ＥＣＵ（electronic control unit）６０は、検出部５０で検出した車両１の状態を行
動推定装置１０へ送信する。また、ＥＣＵ６０が、窓ガラスの開閉スイッチや前照灯のスイッチ等、車内設備の状態を検出し、検出部として機能してもよい。

【0018】

図３は、行動推定装置１０の構成を示す図である。行動推定装置１０は、接続バス１１によって相互に接続された制御部１２、メモリ５３、入出力ＩＦ（インターフェース）５４、通信ＩＦ１５、撮影装置２０を有するコンピュータである。制御部１２は、入力された情報を処理し、処理結果を出力することにより、装置全体の制御等を行う。制御部１２は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro-processing unit）とも呼ばれる。制御部１２は、単一のプロセッサに限られず、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のチップ内に複数のコアを有したマルチコア構成であってもよい。

【0019】

メモリ５３は、主記憶装置と補助記憶装置とを含む。主記憶装置は、制御部１２の作業領域、制御部１２で処理される情報を一時的に記憶する記憶領域、通信データのバッファ領域として使用される。主記憶装置は、制御部１２がプログラムやデータをキャッシュしたり、作業領域を展開したりするための記憶媒体である。主記憶装置は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、フラッシュメモリを含む。補助記憶装置は、制御部１２により実行されるプログラムや、情報処理に用いられるデータ、動作の設定情報などを記憶する記憶媒体である。補助記憶装置は、例えば、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ、ＵＳＢメモリ、メモリカード等である。また、補助記憶装置
は、撮影画像（車内画像）や、判定結果を記憶してもよい。

【0020】

入出力ＩＦ１４は、車載機器３０や、ナビゲーション装置４０、ＥＣＵ６０など行動推定装置１０と接続した機器との間でデータの入出力を行うインターフェースである。入出力ＩＦ１４は、例えば、ＣＤやＤＶＤ等の記憶媒体からデータを読み取るディスクドライブ、操作部、表示装置、マイク、撮影装置２０、検出部５０等の機器との間でデータの入出力を行う。操作部は、マウスやキーボード、タッチパネル等、オペレータの操作によって行動推定装置１０に対する情報が入力される入力部である。表示装置は、処理結果などの情報をオペレータに対して表示出力する出力部である。入出力ＩＦ１４は、検出部５０で検出した情報を検出部５０から直接受信しても、ＥＣＵ６０を介して受信してもよい。

【0021】

通信ＩＦ１５は、有線又は無線の通信回線（ネットワーク）を介して他の装置との通信を行うインターフェース（通信モジュール）であり、ＣＣＵ（Communication Control Unit）とも称す。車載機器３０や、ナビゲーション装置４０、ＥＣＵ６０との通信は、通信ＩＦ１５が行ってもよい。

【0022】

本実施形態の行動推定装置１０では、制御部１２が、アプリケーションプログラムを実行することにより、制御部１２が、画像取得部１２１、骨格情報生成部１２２、骨格情報補完部１２３、特徴量算出部１２４、行動推定部１２５、通知制御部１２６といった各処理部として機能する。即ち、制御部１２は、実行するソフトウェアに応じて各処理部として兼用され得る。但し、上記各処理部の一部又は全部が、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の専用ＬＳＩ（large scale integration）、論理回路、その
他のデジタル回路といったハードウェアで形成されたものであってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。制御部１２は、一つのプロセッサが複数の処理部として機能する構成であっても、一つの処理部として機能するプロセッサを複数備える構成であってもよい。

【0023】

画像取得部１２１は、撮影装置２０を制御して、撮影装置２０に車内を撮影させ、撮影装置２０から撮影画像（画像データ）を取得する。

【0024】

骨格情報生成部１２２は、撮影装置２０で撮影した車内画像及び撮影装置２０で取得した位置情報に基づいて、乗員の骨格情報を生成する。骨格情報生成部１２２は、例えば、図４に示されるように、車内画像から、撮影された乗員を抽出し、当該乗員の頭Ａ１、右肩Ａ２、左肩Ａ３、肩中央（首の付け根）Ａ４、首Ａ２１、右肘Ａ５、右手首Ａ６、右手Ａ７、右手先端Ａ２２、右手親指Ａ２３、左肘Ａ８、左手首Ａ９、左手Ａ１０、左手先端Ａ２４、左手親指Ａ２５、脊柱Ａ１１、腰Ａ１２、右股関節Ａ１３、右膝Ａ１４、右足首Ａ１５、右足先Ａ１６、左股関節Ａ１７、左膝Ａ１８、左足首Ａ１９、左足先Ａ２０、右眼Ａ２６、左眼Ａ２７、右耳Ａ２８、左耳Ａ２９を身体部位として特定する。

【0025】

この身体部位の特定は、例えば、人の頭、上腕、前腕、手、胴など、認識すべき部位の標準的な形状や大きさを標準データとして予め記憶しておき、ＴｏＦ距離画像センサの受光素子２２で撮影した画像から標準データと適合する部位をパターンマッチングによって特定する。また、上腕と前腕の接続部を肘、上腕の胴側の付け根を肩のように、パターンマッチングした部位の位置関係から身体部位を求めても良い。更に、頭に目や鼻、口が存在する場合、目や鼻、口が存在する側面を人の正面と認識し、この正面に向かって左側に位置する肩を右肩、正面に向かって右側に位置する手を左手のように、身体部位の左右を認識しても良い。

【0026】

また、骨格情報生成部１２２は、各身体部位Ａ１～Ａ２９の位置情報を求める。例えば、受光素子２２（図２）において各画素に対応する受光部は、受光面上に二次元配列されており、この受光面上の各画素の位置は、被写体が存在する空間における二次元方向の位
置と対応している。また、各画素の位置情報が示す被写体との距離は、被写体が存在する空間における奥行き方向の位置と対応している。このため、骨格情報生成部１２２は、各身体部位が撮影された画素の受光面上の位置および当該画素における被写体との距離に基づき、被写体が存在する三次元空間内における各身体部位の三次元座標を求める。なお、各身体部位の三次元座標は、画素毎に求めなくてもよく、本例では各身体部位の基準となる一点の三次元座標を求めている。例えば、頭Ａ１であれば頭頂部、肩中央Ａ４であれば首の付け根となる両肩Ａ２，Ａ３の中心等である。骨格情報生成部１２２は、これら身体部位Ａ１～Ａ２９毎の位置情報を骨格情報として出力する。また、右手首Ａ６と右肘Ａ５は右前腕で接続され、右肘Ａ５と右肩Ａ２は右上腕で接続されるなど、各身体部位Ａ１～Ａ２９は、これらの間に位置する身体部位（接続部位）を介して接続されており、骨格情報生成部１２２は、この接続部位の接続関係や、接続部位の位置、接続部位の向き（基準とする方向に対する傾き）を示す情報を求め、骨格情報に含めてもよい。

【0027】

骨格情報補完部１２３は、骨格情報生成部１２２によって生成された骨格情報を補完する。骨格情報生成部１２２は、撮影装置２０が撮影した車内画像に基づいて骨格情報を生成する。このため、乗員の身体部位が撮影装置２０の撮影範囲から出たり、座席の陰に隠れたりして、車内画像に写っていないと、この身体部位（以下、非撮影部位とも称す）の情報は骨格情報に含まれないことになる。このため、骨格情報補完部１２３は、非撮影部位について、撮影範囲から外れるまでの動きに基づいて、この非撮影部位の位置を求め、非撮影部位の位置を示す情報を骨格情報に加えて前記骨格情報を補完する。

【0028】

特徴量算出部１２４は、乗員の行動を推定するための追加特徴量を算出する。例えば、特徴量算出部１２４は、乗員の身体部位のうち、手首Ａ６，Ａ９と肩Ａ２，Ａ３、肩中央Ａ４と腰Ａ１２など複数の箇所に特徴点を定め、当該特徴点間の位置関係を追加特徴量として求める。例えば、右手首Ａ６が右肩Ａ２に対して右側水平方向に離れた位置にある場合、手を右側に伸ばしたと判定でき、窓から手を出すといった危険行為を行動推定装置１０が精度良く推定できるようにしている。

【0029】

また、特徴量算出部１２４は、身体部位Ａ１～Ａ２９の位置を時系列に求め、当該位置の変化量、当該変化量の平均値、又は当該変化量の最大値と最小値の差分に基づいて、行動の大きさ又は速さを追加特徴量として求める。例えば、乗員が暴れている場合、手足を大きく且つ素早く動かす傾向にあるため、特徴量として行動の大きさ又は速さを求めることにより、乗員が暴れているといった行動を行動推定装置１０が精度良く推定できるようにしている。

【0030】

特徴量算出部１２４は、乗員が基本の着座姿勢をとった際の各身体部位の位置を基準値として保持し、当該基準値からの変化量を追加特徴量として求める。これにより撮影装置２０の画角や乗員の体格などの影響を抑え、乗員の行動を行動推定装置１０が精度良く推定できるようにしている。

【0031】

行動推定部１２５は、補完した骨格情報と追加特徴量とに基づいて乗員の行動を推定する。なお、追加特徴量は必須ではなく、行動推定部１２５は、骨格情報に基づいて乗員の行動を推定してもよい。行動推定部１２５は、例えば、股関節Ａ１３、Ａ１７と膝Ａ１４、Ａ１８との間の大腿部が、腰Ａ１２から肩中央Ａ４までの上体に対して屈曲し、略水平方向に向いている場合、座っていると判定する。また、腰Ａ１２から肩中央Ａ４までの上体が前方に傾いた場合、前屈みになったと判定する。更に、股関節Ａ１３、Ａ１７と膝Ａ１４、Ａ１８との間の大腿部が、略垂直方向であり、腰Ａ１２から肩中央Ａ４までの上体と略同方向に延びている場合、立っていると判定する。

【0032】

図５は、行動推定部１２５が骨格情報及び追加特徴量に基づいて乗員の行動を推定する
処理の説明図である。図５に示すように、処理Ｓ１では、行動推定部１２５が、骨格情報に基づいて乗員の行動を推定する。例えば、乗員が立ち上がったことや、座った状態で暴れていることなどを推定する。そして、行動推定部１２５が、追加特徴量に基づいて乗員の行動を推定し（Ｓ２）、この推定結果を骨格情報に基づく推定結果を用いて補正する（Ｓ３）。例えば、手を動かす大きさや速さを特徴量として求めてスコア化し、この「暴れている程度」が５０点であり、骨格情報に基づき「立ち上がった」と推定した場合、２０点加算し、合計値が閾値６０点を超えたため、「暴れている」と推定する。一方、特徴量に基づいてスコア化した「暴れている程度」が５０点であり、骨格情報に基づいて「座っている」と推定した場合、１０点減算し、この合計値が閾値６０点を超えないため、暴れていないと推定する。

【0033】

通知制御部１２６は、推定した乗員の行動が、所定の危険行為に該当するか否かを判定し、危険行為に該当する場合、通知情報の出力を行う。通知制御部１２６は、例えば第一通知部としての車載機器３０に通知情報を送信し、後席乗員に対して通知情報を出力させる。また、後席乗員への通知後も危険行為が継続している場合、行動推定装置１０の表示装置やスピーカから運転者に対して通知情報を出力する。本実施形態の行動推定装置１０はセンタコンソール又はインパネに配置され、行動推定装置１０に備えられた表示装置やスピーカが車両１の運転席に割り当てた第二通知部の一形態である。これに限らず、車両１に備えられたスピーカや、ナビゲーション装置に備えられたディスプレイやスピーカを第二通知部として用いてもよい。

【0034】

＜行動推定方法＞
図６Ａ，図６Ｂは、第一の実施形態に係る行動推定装置１０の制御部１２が実行する行動推定方法のフローを示す図である。車両１のアクセサリー電源がＯＮとなる等して行動推定装置１０に電力が供給されると、制御部１２が図５の処理を開始する。また、制御部１２は、電力の供給が停止するまで、図６Ａ，図６Ｂの処理を周期的に実行する。

【0035】

ステップＳ１０にて、制御部１２は、撮影装置２０から車内画像及び当該車内画像における画素毎の位置情報を取得する。

【0036】

ステップＳ２０にて、制御部１２は、ステップＳ１０で取得した車内画像及び位置情報に基づいて骨格情報を生成する。

【0037】

ステップＳ３０にて、制御部１２は、ＥＣＵ６０を介して検出部５０から車両内の情報（車両情報）を取得する。ここで、車両内の情報は、例えば、車両１の車速や、操舵角、シフトポジション、ブレーキの動作状態、前照灯の点灯状態、ドアの開閉状態、車内灯の点灯状態、シートベルトのロック／アンロック情報、乗員の声等を示すものである。また、車内の情報として、座席の位置や、窓の位置、車載機器３０の位置等の情報をメモリに格納しておき、制御部１２が、これらの情報をメモリから取得する。また、制御部１２は、車内画像からチャイルドシートやシートベルト等、特定の物体を抽出する。

【0038】

ステップＳ４０にて、制御部１２は、乗員の身体部位のうち、車内画像の撮影範囲から外れた非撮影部位について、撮影範囲から外れるまでの動きの方向や移動量（運動量）に基づいて非撮影部位の位置を求め、非撮影部位の位置を示す情報を骨格情報に加え、当該骨格情報を補完する。図７は、乗員が動いた際の骨格情報を示す図である。状態Ａでは、後部乗員が後部座席に座っており、状態Ｂでは、後部乗員が立ち上がり、頭部Ａ１が上へ移動している。そして状態Ｃでは後部乗員が前方へ移動し、頭部Ａ１及び大腿部Ａ３１，Ａ３２が撮影範囲から外れている。制御部１２は、状態Ｂから状態Ｃとなるまでの頭部Ａ１及び大腿部Ａ３１，Ａ３２の動きから状態Ｄのように頭部Ａ１及び大腿部Ａ３１，Ａ３２の位置を求めて骨格情報を補完する。また、制御部１２は、骨格情報をメモリに格納し
、骨格情報をメモリから時系列に取得できるようにする。

【0039】

ステップＳ５０にて、制御部１２は、乗員が座席に正しく座り、基本の着座姿勢をとっている場合、この際の各身体部位の位置を基準値として取得し、メモリに保持する。なお、基本の着座姿勢をとっているか否かは、例えば基準とすべき値の範囲を設定しておき、各身体部位の位置がこの範囲内であれば基本の着座姿勢をとっていると判定する。乗員が基本の着座姿勢をとっていない場合、基準値の取得を省略する。また、ステップＳ４０で求めた骨格情報に基づき、腰Ａ１２を座席に付けて基本の着座姿勢をとったと仮定し、各身体部位Ａ１～Ａ２９の位置を求めて基準値としてもよい。

【0040】

ステップＳ６０にて、制御部１２は、身体部位Ａ１～Ａ２９のうち複数の箇所に特徴点を定め、当該特徴点間の位置関係を追加特徴量として求める。

【0041】

ステップＳ７０にて、制御部１２は、身体部位Ａ１～Ａ２９の位置を時系列に求め、当該位置の変化量、当該変化量の平均値、又は当該変化量の最大値と最小値の差分に基づいて、行動の大きさ又は速さを追加特徴量として求める。

【0042】

ステップＳ８０にて、制御部１２は、身体部位Ａ１～Ａ２９の位置について、ステップＳ５０で定めた基準値からの変化量を追加特徴量として求める。例えば腰Ａ１２の位置が座席の座面から離れた距離を追加特徴量とすることで、乗員が立ち上がったことや、歩き回っていることを示す情報が得られる。

【0043】

ステップＳ９０にて、制御部１２は、ステップＳ３０で取得した車内の情報と骨格情報とに基づいて乗員の行動を推定する。例えば、制御部１２は、骨格情報に基づいて乗員が、「座っている」「立っている」「手を伸ばしている」「暴れている」等の行動を推定する。また、制御部１２は、車内の情報を用い、車載機器３０の操作部の位置や、車内灯のスイッチの位置に向かって手を伸ばしている場合、単に「手を伸ばしている」とするのではなく、「車載機器３０を操作している」「車内灯を操作している」などと推定してもよい。また、制御部１２は、車速や加速度など車両の走行状態に応じて乗員の行動を推定してもよい。例えば、車両１がカーブした道路を走行し、遠心力が働くことで乗員の上体が傾いた場合、ユーザが意図して上体を傾けたのではなく、遠心力の働きがなくなれば上体の傾きが解消されるため、「上体を傾けた」とは推定しない。また、「立っている」「前屈みになった」などの行動は、車速が低いときよりも車速が高いときの方が、危険度が高まり易いため、車速に応じて行動を推定するための閾値を変更してもよい。例えば乗員の上体が前方へ傾いた際、車速が所定値以上であれば、傾きが第一閾値を越えた場合に「前屈みになった」と判定し、車速が所定値未満であれば、傾きが第一閾値を越えても「前屈みになった」と判定せず、第一閾値よりも大きな第二閾値を越えた場合に「前屈みになった」と判定してもよい。

【0044】

また、制御部１２は、乗員が「立っている」と推定する場合、危険度が高くなり易いため＋２０点などのように補正値を求め、「座っている」場合、危険度が高くなりにくいため－１０点などのように補正値を求める。

【0045】

ステップＳ１００にて、制御部１２は、ステップＳ６０～Ｓ８０で求めた追加特徴量に基づいて乗員の行動を推定する。例えば、制御部１２は、「特徴点間の距離や傾き」「暴れている程度」「基準値からの変化量」等の追加特徴量をスコア化する。

【0046】

ステップＳ１１０にて、制御部１２は、ステップＳ１００で追加特徴量に基づいて推定した結果（スコア）をステップＳ９０で骨格情報に基づいて推定した結果（補正値）に応じて補正し、行動を推定する。

【0047】

なお、制御部１２は、図６Ａ，図６Ｂの処理を周期的に行っており、図６Ａ，図６Ｂの処理を繰り返す毎にステップＳ１１０で行動の推定を行っている。ステップＳ１２０にて、制御部１２は、今回ステップＳ１１０で推定した行動と、前回ステップＳ１１０で推定した行動を比較し、今回推定した行動が、前回と異なる行動に更新されたか否かを判定する。

【0048】

ステップ１２０で肯定判定の場合、制御部１２は、ステップＳ１３０へ移行し、行動が更新された時点からの経過時間をリセットし、経過時間計数を開始する。なお、ステップ１２０で否定判定の場合、制御部１２は、経過時間をリセットせずにステップＳ１４０へ移行する。

【0049】

ステップＳ１４０にて、制御部１２は、更新された行動の経過時間が、所定値（所定期間）以上か否か否かを判定する。制御部１２は、ステップＳ１４０で、否定判定であれば、図６Ａ，図６Ｂの処理を終了し、肯定安定であればステップＳ１５０へ移行する。即ち、制御部１２は、更新された行動が所定期間以上継続するまでは、危険行為に該当するか否かの判定（ステップＳ１５０）を行わず、更新された行動が所定期間以上継続した場合、当該行動が危険行為に該当するか否かの判定（ステップＳ１５０）を行う。

【0050】

ステップＳ１５０にて、制御部１２は、ステップＳ１１０で推定した行動とステップＳ３０で取得した車内の情報に基づいて、当該行動が危険行為に該当するか否かを判定する。制御部１２は、例えば、「走行中にシートベルトを外そうとしている」「シートベルトが首の位置にある」「走行中に立ち上がった」「暴れている」「チャイルドシートから乗り出した」「夜間走行中に車内灯を点けた」「窓から手又は頭を出す」「前屈みになる」「高速道路を走行中に窓を開けた」「サイドエアバッグにもたれ掛かっている」などの場合に危険行為に該当すると判定する。また、制御部１２は、骨格情報だけでなく車両情報に基づいて判定を行うので、例えば乗員が窓側へ手を伸ばした場合でも窓が開いていなければ否定判定とする。同様に、乗員が立ち上がった場合でも車両が停車している場合は否定判定とする。

【0051】

制御部１２は、ステップＳ１５０で否定判定であれば図６Ａ，図６Ｂの処理を終了する。なお、一旦図６Ａ，図６Ｂの処理を終了した場合でも制御部１２は、図６Ａ，図６Ｂの処理を繰り返し実行する。ステップＳ１５０で肯定判定の場合、制御部１２は、ステップＳ１６０へ移行する。

【0052】

ステップＳ１６０にて、制御部１２は、後部乗員に対し、危険行為を止めさせるように車載機器（第二通知部）３０へ通知信号を送り、通知を行わせる。

【0053】

ステップＳ１７０にて、制御部１２は、ステップＳ１６０の通知後、危険行為が所定時間継続しているか否かを判定する。制御部１２は、ステップＳ１７０で否定判定であれば図６Ａ，図６Ｂの処理を終了し、肯定判定であればステップ１８０へ移行する。

【0054】

ステップＳ１８０にて、制御部１２は、行動推定装置１０の表示装置やスピーカ（第一通知部へ通知信号を送り、運転者に対して通知を行わせる。

【0055】

＜実施形態の効果＞
上述のように本実施形態の行動推定装置１０は、乗員の身体部位が撮影装置２０の撮影範囲から外れて非撮影部位となった場合でも撮影範囲から外れるまでの動きに基づいて骨格情報を補完し、補完した骨格情報に基づいて行動を推定するので、適切に乗員の行動を推定できる。

【0056】

また、本実施形態の行動推定装置１０は、補完後の骨格情報における所定種類の身体部位の位置と車両内に設けられた車載機器３０の操作部の位置とに基づいて乗員の行動を推定する。これにより行動推定装置１０は、例えば、乗員が車載機器３０の操作部の位置や、車内灯のスイッチの位置に向かって手を伸ばしている場合、単に「手を伸ばしている」とするのではなく、「車載機器３０を操作している」「車内灯を操作している」などと推定でき、適切に乗員の行動を推定できる。

【0057】

本実施形態の行動推定装置１０は、骨格情報に加えて、車両の状態を示す車両情報に基づいて乗員の行動を推定する。これにより行動推定装置１０は、車両１の走行状況に応じて適切に乗員の行動を推定できる。

【0058】

本実施形態の行動推定装置１０は、推定した乗員の行動が、所定の危険行為に該当する場合に、通知情報の出力を行う。これにより行動推定装置１０は、乗員が危険行為となる行動をとった場合に当該乗員や運転者に通知することができる。

【0059】

なお、乗員の行動が危険行為に該当する際に、運転者へ通知することとした場合、運転者に通知する頻度が高すぎると、運転者が運転に集中できないという問題があった。

【0060】

そこで、本実施形態の行動推定装置１０は、車両１の後席に座る乗員の行動が危険行為に該当する場合、後席に割り当てた車載機器（第一通知部）３０から通知情報を出力させ、当該通知後も危険行為が継続している場合、車両１の運転席に割り当てた第二通知部から通知情報を出力する。これにより行動推定装置１０は、後席に座る乗員の行動が危険行為に該当する場合、先ず、後席乗員に対して通知を行い、これで危険行為が解消すれば運転者への通知を行わず、危険行為が解消しないときにだけ運転者への通知を行うことで、運転者への通知頻度を抑制し、運転者が運転に集中できるようにしている。

【0061】

また、車室内では乗員の動きが制限されることから、骨格位置の情報だけでは行動の推定が難しい場合があるという問題があった。

【0062】

そこで、本実施形態の行動推定装置１０は、乗員の行動に加えて、車両１の状態を示す車両情報に基づいて乗員の行動が危険行為に該当するか否かを判定する。これにより行動推定装置１０は、例えば、乗員が窓側に手を伸ばしたとしても、窓が開いていなければ危険行為と判定せず、ノイズとなる通知を抑制し、適切に通知を行うことができる。

【0063】

本実施形態の行動推定装置１０は、行動の推定を周期的に行い、推定された行動が前回と異なる行動に更新された場合、更新された行動が所定期間以上継続するまでは、更新された行動が危険行為に該当するか否かの判定を行わず、更新された行動が所定期間以上継続した場合に、当該行動が危険行為に該当するか否かの判定を行う。これにより行動推定装置１０は、乗員の行動が一時的なものである場合には危険行為の判定に用いず、的確に危険行為の判定を行えるようにすることで、ノイズとなる通知を抑制することができる。

【0064】

本実施形態の行動推定装置１０は、乗員の身体部位のうち複数の箇所に特徴点を定め、当該特徴点間の位置関係を追加特徴量として求め、当該追加特徴量と骨格情報とに基づいて乗員の行動を判定する。これにより行動推定装置１０は、例えば、肩と手首の距離が離れ、肩に対して手頸が水平方向において窓側に位置した場合に、乗員が窓に向かって手を伸ばしたと推定するなど、複数の身体部位の位置関係から適切に乗員の行動を推定できる。

【0065】

本実施形態の行動推定装置１０は、身体部位の位置を時系列に求め、当該位置の変化量
、当該変化量の平均値、又は当該変化量の最大値と最小値の差分に基づいて、行動の大きさ又は速さを追加特徴量として求め、当該追加特徴量と骨格情報とに基づいて乗員の行動を判定する。これにより行動推定装置１０は、乗員が暴れている場合など、身体部位を大きく且つ素早く動かす傾向にある行動を精度良く推定することができる。

【0066】

本実施形態の行動推定装置１０は、乗員が基本の着座姿勢をとった際の各身体部位の位置を基準値として保持し、当該基準値からの変化量を追加特徴量として求め、当該追加特徴量と骨格情報とに基づいて乗員の行動を判定する。これにより行動推定装置１０は、乗員が立ち上がった場合や、歩き回った場合など、着座姿勢との差に応じた値が得られ、着座姿勢から大きく外れ、問題となるような行動を適切に推定できる。

【0067】

本実施形態の行動推定装置１０は、追加特徴量に基づいて乗員の行動を判定し、当該追加特徴量に基づく判定結果を骨格情報に基づいて補正し、乗員の行動を推定する。これにより行動推定装置１０は、追加特徴量と骨格情報とに基づいて精度良く乗員の行動を推定できる。

【0068】

＜第二の実施形態＞
図８は、第二の実施形態に係る行動推定部１２５が骨格情報及び追加特徴量に基づいて乗員の行動を推定する処理の説明図である。第一の実施形態では、図５に示すように行動推定部１２５が、追加特徴量に基づいて乗員の行動を推定すると共に、この推定結果を骨格情報に基づく推定結果を用いて補正し、推定結果を求めている。これに対して本実施形態では、図８に示すように行動推定部１２５が、追加特徴量に基づく行動の推定と骨格情報に基づく行動の推定とを並行して行い、これらを比較して推定結果を決定する。なお、その他の構成は、前述の実施形態と同じであるため、同一の要素に同符号を付すなどして再度の説明を省略する。

【0069】

行動推定部１２５は、図８に示すように、処理Ｓ１において、追加特徴量に基づいて乗員の行動を判定し、これと共に処理Ｓ２において、骨格情報に基づいて乗員の行動を判定する。

【0070】

行動推定部１２５は、追加特徴量に基づく判定結果と骨格情報に基づく判定結果とを比較し、両判定結果が一致した場合、当該判定結果を乗員の行動として推定し、ステップＳ１５０で危険行為に該当するか否かの判定に用いる行動として決定する。

【0071】

また、行動推定部１２５は、追加特徴量に基づく判定結果と骨格情報に基づく判定結果とが一致しない場合、推定結果の決定を保留する。また、行動推定部１２５は、追加特徴量に基づく判定結果と骨格情報に基づく判定結果とが一致しない場合、所定の優先度に応じて追加特徴量に基づく判定結果若しくは骨格情報に基づく判定結果を乗員の行動として推定し、ステップＳ１５０で危険行為に該当するか否かの判定に用いる行動として決定してもよい。

【0072】

図９Ａ，図９Ｂは、第二の実施形態に係る行動推定装置１０の制御部１２が実行する行動推定方法のフローを示す図である。なお、ステップＳ１０～Ｓ１００までの処理は、前述した図６Ａ，図６Ｂの処理と同じである。

【0073】

ステップＳ１１１にて、制御部１２は、ステップＳ９０で骨格情報に基づいて求めた乗員の行動と、ステップＳ１００で追加特徴量に基づいて求めた乗員の行動を比較し、骨格情報に基づく行動と追加特徴量に基づく行動が一致するか否かを判定する。制御部１２は、ステップＳ１１１で肯定判定であればステップＳ１２０へ移行し、否定判定であればステップＳ１１２へ移行する。即ち、制御部１２は、骨格情報に基づく行動と追加特徴量に
基づく行動とが一致しない場合、推定結果の決定を保留する。

【0074】

ステップＳ１１２にて、制御部１２は、ステップＳ１１１で不一致と判定された状態が所定時間以上継続しているか否かを判定する。制御部１２は、ステップＳ１１２で否定判定であれば図９Ａ，図９Ｂの処理を終了し、肯定判定であればステップＳ１１３へ移行する。

【0075】

ステップＳ１１３にて、制御部１２は、所定の優先度に応じて追加特徴量に基づく判定結果若しくは骨格情報に基づく判定結果を乗員の行動として決定する。例えば、追加特徴量に基づく判定結果を優先することとし、制御部１２は、ステップＳ１００の判定結果を危険行為の判定に用いる行動に決定する。これに限らず、優先度は、追加特徴量に基づく判定結果と骨格情報に基づく判定結果のうち、継続している時間が長い方を優先するなど、他の条件であってもよい。

【0076】

ステップＳ１１３の後、制御部１２は、ステップＳ１２０へ移行する。なお、ステップＳ１２０以降の処理については、前述した図６Ａ，図６Ｂの処理と同じである。本実施形態によれば、追加特徴量に基づく判定結果と骨格情報に基づく判定結果とを用いて乗員の行動を推定しており、精度良く乗員の行動を推定することができる。

【0077】

以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

【符号の説明】

【0078】

１： 車両
１０： 行動推定装置
１００： 行動推定システム
１２： 制御部
１２１： 画像取得部
１２２： 骨格情報生成部
１２３： 骨格情報補完部
１２４： 特徴量算出部
１２５： 行動推定部
１２６： 通知制御部
２０： 撮影装置
２１： 撮影光学系
２２： 受光素子
２３： 計測部
２４： 光源
３０： 車載機器
４０： ナビゲーション装置
５０： 検出部
５１： 接続バス
５３： メモリ
５６： 撮影装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9A】

【図9B】