特開 2022-131055 着座姿勢判定装置、着座姿勢判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022131055

(43)【公開日】2022-09-07

(54)【発明の名称】着座姿勢判定装置、着座姿勢判定方法及びプログラム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20220831BHJP

   G08B 21/02 20060101ALI20220831BHJP

   H04N 7/18 20060101ALI20220831BHJP

   B60R 11/02 20060101ALI20220831BHJP

【ＦＩ】

G08B25/04 K

G08B21/02

H04N7/18 D

B60R11/02 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021029785

(22)【出願日】2021-02-26

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】水野 伸洋

(72)【発明者】

【氏名】吉澤 顕

(72)【発明者】

【氏名】杉浦 真紀子

(72)【発明者】

【氏名】五藤 大貴

【テーマコード（参考）】

3D020

5C054

5C086

5C087

【Ｆターム（参考）】

3D020BA04

3D020BA09

3D020BA10

3D020BA20

3D020BB01

3D020BC04

3D020BD05

3D020BE03

5C054CE00

5C054FA07

5C054FC12

5C054FF06

5C054HA26

5C086AA22

5C086BA22

5C086CA28

5C086CB36

5C086DA08

5C086DA33

5C086FA06

5C087AA02

5C087AA37

5C087AA44

5C087DD03

5C087DD13

5C087EE18

5C087FF02

5C087FF04

5C087GG08

5C087GG66

5C087GG70

5C087GG83

(57)【要約】      （修正有）

【課題】同乗者の着座姿勢を適切に判定することができる着座姿勢判定装置、着座姿勢判定方法及びプログラムを提供する。
【解決手段】着座姿勢判定装置１は、車内を撮影するカメラ２０と、カメラ２０にて撮影した映像から同乗者を検出する同乗者検出部１２と、同乗者の姿勢の判定に用いられる通常姿勢領域を設定する通常姿勢領域設定部１３と、同乗者検出部にて検出された同乗者の頭部が通常姿勢領域から逸脱したか否かを判定する通常姿勢領域逸脱判定部１５と、通常姿勢領域逸脱判定部１５にて同乗者の頭部が通常姿勢領域から逸脱したと判定された場合に、通常姿勢領域からの逸脱を通知する通知部１６とを備える。通常姿勢領域設定部１３は、車両走行中に、同乗者検出部１２にて検出された同乗者の頭部の位置に基づいて通常姿勢領域を更新する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車内を撮影するカメラと、
前記カメラにて撮影した映像から同乗者を検出する同乗者検出部と、
同乗者の姿勢の判定に用いられる通常姿勢領域を設定する通常姿勢領域設定部と、
前記同乗者検出部にて検出された同乗者の頭部が前記通常姿勢領域から逸脱したか否かを判定する通常姿勢領域逸脱判定部と、
前記通常姿勢領域逸脱判定部にて同乗者の頭部が前記通常姿勢領域から逸脱したと判定された場合に、前記通常姿勢領域からの逸脱を通知する通知部と、
を備え、
前記通常姿勢領域設定部は、車両走行中に、前記同乗者検出部にて検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新する着座姿勢判定装置。

【請求項2】

車両の種類に対応して定まる同乗者の探索範囲のデータを記憶した記憶部を備え、
前記通常姿勢領域設定部は、車両の走行開始時に、前記記憶部から読み出した前記探索範囲内で検出された同乗者の頭部の位置に基づいて、前記通常姿勢領域を初期設定する請求項１に記載の着座姿勢判定装置。

【請求項3】

前記通常姿勢領域設定部は、前記通常姿勢領域内で検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新する請求項１または２に記載の着座姿勢判定装置。

【請求項4】

前記通常姿勢領域設定部は、前記通常姿勢領域とは異なる更新判定領域内で検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新し、前記更新判定領域外で検出された同乗者の頭部の位置は前記通常姿勢領域の更新には用いない請求項１または２に記載の着座姿勢判定装置。

【請求項5】

前記同乗者検出部にて検出された同乗者の頭部の位置に基づいて車両走行中に前記更新判定領域を更新する更新判定領域設定部を備える請求項４に記載の着座姿勢判定装置。

【請求項6】

前記通常姿勢領域逸脱判定部は、前記同乗者検出部にて検出された頭部が垂直方向および水平方向のいずれについても前記通常姿勢領域から逸脱した場合に、前記通常姿勢領域を逸脱したと判定する請求項１から５のいずれか１項に記載の着座姿勢判定装置。

【請求項7】

リアモニタに映像を出力する映像出力部を備え、
前記通常姿勢領域設定部は、前記映像出力部にて映像を出力している間に撮影した後部座席の同乗者の映像を用いて、前記通常姿勢領域を初期設定する請求項１から６のいずれか１項に記載の着座姿勢判定装置。

【請求項8】

着座姿勢判定装置によって同乗者の着座姿勢を判定する方法であって、
カメラにて車内を撮影するステップと、
前記着座姿勢判定装置が、前記カメラにて撮影した映像から同乗者を検出するステップと、
前記着座姿勢判定装置が、同乗者の姿勢の判定に用いられる通常姿勢領域を設定するステップと、
前記着座姿勢判定装置が、映像から検出された同乗者の頭部が前記通常姿勢領域から逸脱したか否かを判定するステップと、
前記着座姿勢判定装置が、同乗者の頭部が前記通常姿勢領域から逸脱したと判定された場合に、前記通常姿勢領域からの逸脱を通知するステップと、
を備え、
前記通常姿勢領域を設定ステップは、車両走行中に、映像から検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新する着座姿勢判定方法。

【請求項9】

前記通常姿勢領域を設定するステップは、前記通常姿勢領域とは異なる更新判定領域内で検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新し、前記更新判定領域外で検出された同乗者の頭部の位置は前記通常姿勢領域の更新には用いない請求項８に記載の着座姿勢判定方法。

【請求項10】

同乗者の着座姿勢を判定するためのプログラムであって、コンピュータに、
カメラにて撮影した映像から同乗者を検出するステップと、
同乗者の姿勢の判定に用いられる通常姿勢領域を設定するステップと、
映像から検出された同乗者の頭部が前記通常姿勢領域から逸脱したか否かを判定するステップと、
同乗者の頭部が前記通常姿勢領域から逸脱したと判定された場合に、前記通常姿勢領域からの逸脱を通知するステップと、
を実行させ、
前記通常姿勢領域を設定ステップは、車両走行中に、映像から検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新するプログラム。

【請求項11】

前記通常姿勢領域を設定するステップは、前記通常姿勢領域とは異なる更新判定領域内で検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新し、前記更新判定領域外で検出された同乗者の頭部の位置は前記通常姿勢領域の更新には用いない請求項１０に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、同乗者の着座姿勢を判定する装置に関する。

【背景技術】

【0002】

車両の後部座席に座っている同乗者が通常と違った行動をしたときに、その様子を前席に座っている乗員に知らせることができると便利である。特に後部座席に座っている子供がシートベルトから身体を乗り出すなどの危険な行動をしている場合に、前席の乗員に知らせることができると、車内の安全性を高めることができる。

【0003】

従来から、運転者が同乗者の様子を確認することができるようにする装置が知られている。特許文献１は、同乗者が安全な姿勢であるか否かを判定するために、同乗者を撮像センサで撮像した画像データに基づいて同乗者の姿勢を検出する同乗者着座姿勢検出・判定装置を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－１９９５１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された発明では、同乗者の着座位置が正常か否かを判定するために、同乗者の顔画像領域と予め決めた顔画像領域許容範囲とを比較している。ここで、特許文献１では、顔画像領域許容位置を車種ごとに画一的に決めている。同乗者が子供である場合には子供用に修正するものの、顔画像領域許容位置は、個々の同乗者に合わせた領域ではなく画一的である。

【0006】

また、同乗者には運転タスクという制約がないため、シート位置や座り方の自由度が大きい。例えば、リアモニタで映像を見ている場合と外の景色を見ている場合とでは、同乗者の姿勢は異なる。どの姿勢が通常の姿勢なのかということは、こうした状況に応じて変化するが、特許文献１に記載された方法では、画一的基準によって判定が行われるので、同乗者の着座姿勢が適切かどうかを判定することができないことがあった。

【0007】

本発明は上記背景に鑑み、同乗者の着座姿勢を判定することができる着座姿勢判定装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の着座姿勢判定装置は、車内を撮影するカメラと、前記カメラにて撮影した映像から同乗者を検出する同乗者検出部と、同乗者の姿勢の判定に用いられる通常姿勢領域を設定する通常姿勢領域設定部と、前記同乗者検出部にて検出された同乗者の頭部が前記通常姿勢領域から逸脱したか否かを判定する通常姿勢領域逸脱判定部と、前記通常姿勢領域逸脱判定部にて同乗者の頭部が前記通常姿勢領域から逸脱したと判定された場合に、前記通常姿勢領域からの逸脱を通知する通知部とを備え、前記通常姿勢領域設定部は、車両走行中に、前記同乗者検出部にて検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新する。

【0009】

このように同乗者の姿勢の判定に用いられる通常姿勢領域を、車両の走行中に、同乗者の頭部の位置に基づいて更新していくので、時々刻々と変化する同乗者の姿勢に合わせて設定された通常姿勢領域に基づいて、適切な姿勢判定を行うことができる。「通常姿勢領域」は、同乗者の頭部がこの領域内に入っていれば同乗者が通常の姿勢をとっていると判断される領域である。一例としては、通常姿勢領域は、頭部の中心位置を含む領域であり、大きさは適宜の方法で定めることができる。大きさは、例えば、所定時間における頭部の位置の標準偏差に基づいて定めてもよいし、顔幅や顔の高さに基づいて定めてもよい。また、車種等により想定されるヘッドレストの大きさ等を考慮して設定された数値を用いて、通常姿勢範囲の大きさを定めてもよい。「車両の走行中」とは、車両が目的地に向かって走行している場面を意味し、実際に所定の速度で進んでいる場合のほか、例えば、信号や横断歩道等で一時停止している場合も含む。

【0010】

本発明の着座姿勢判定装置は、車両の種類に対応して定まる同乗者の探索範囲のデータを記憶した記憶部を備え、前記通常姿勢領域設定部は、車両の走行開始時に、前記記憶部から読み出した前記探索範囲内で検出された同乗者の頭部の位置に基づいて、前記通常姿勢領域を初期設定してもよい。この構成により、同乗者の座る大まかな範囲を車両の種類によって決定し、これを探索範囲として、その中から適切に同乗者を検出することができる。

【0011】

本発明の着座姿勢判定装置において、前記通常姿勢領域設定部は、前記通常姿勢領域内で検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新してもよい。この構成により、通常姿勢領域内で検出された同乗者の頭部の位置、すなわち通常姿勢であると判断される同乗者の頭部の位置に基づいて通常姿勢領域を更新するので、通常ではない姿勢での頭部の位置が通常姿勢領域の設定に影響を与えることがない。

【0012】

本発明の着座姿勢判定装置において、前記通常姿勢領域設定部は、前記通常姿勢領域とは異なる更新判定領域内で検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新し、前記更新判定領域外で検出された同乗者の頭部の位置は前記通常姿勢領域の更新には用いない構成としてもよい。このように通常姿勢領域とは別に、通常姿勢領域を更新するかどうかの判定に用いる更新判定領域を用いることにより、同乗者の姿勢がより安定しているときの頭部の位置に基づいて通常姿勢領域を設定できる。

【0013】

本発明の着座姿勢判定装置は、前記同乗者検出部にて検出された同乗者の頭部の位置に基づいて車両走行中に前記更新判定領域を更新する更新判定領域設定部を備えてもよい。このように更新判定領域自体も更新していくことにより、時間の経過とともに変化する同乗者の姿勢に合わせて通常姿勢領域を設定することが可能となる。

【0014】

本発明の着座姿勢判定装置において、前記通常姿勢領域逸脱判定部は、前記同乗者検出部にて検出された頭部が垂直方向および水平方向のいずれについても前記通常姿勢領域から逸脱した場合に、通常姿勢領域を逸脱したと判定してもよい。このように垂直方向および水平方向の両方への逸脱を判定することにより、車両の揺れによって垂直または水平のどちらか一方向に頭部が移動した場合に、通常姿勢ではないと判定してしまう事態を減らすことができる。

【0015】

本発明の着座姿勢判定装置は、リアモニタに映像を出力する映像出力部を備え、前記通常姿勢領域設定部は、前記映像出力部にて映像を出力している間に撮影した後部座席の同乗者の映像を用いて、前記通常姿勢領域を初期設定してもよい。リアモニタに映像を出力しリアモニタに注意を引いた状態で撮影した映像を用いることにより、頭部の動きが少ない映像を用いて通常姿勢領域の初期設定を行える。

【0016】

本発明の着座姿勢判定方法は、着座姿勢判定装置によって同乗者の着座姿勢を判定する方法であって、カメラにて車内を撮影するステップと、前記着座姿勢判定装置が、前記カメラにて撮影した映像から同乗者を検出するステップと、前記着座姿勢判定装置が、同乗者の姿勢の判定に用いられる通常姿勢領域を設定するステップと、前記着座姿勢判定装置が、映像から検出された同乗者の頭部が前記通常姿勢領域から逸脱したか否かを判定するステップと、前記着座姿勢判定装置が、同乗者の頭部が前記通常姿勢領域から逸脱したと判定された場合に、前記通常姿勢領域からの逸脱を通知するステップとを備え、前記通常姿勢領域を設定ステップは、車両走行中に、映像から検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新する構成を有する。

【0017】

本発明の着座姿勢判定方法において、前記通常姿勢領域を設定するステップは、前記通常姿勢領域とは異なる更新判定領域内で検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新し、前記更新判定領域外で検出された同乗者の頭部の位置は前記通常姿勢領域の更新には用いない構成を有してもよい。

【0018】

本発明のプログラムは、同乗者の着座姿勢を判定するためのプログラムであって、コンピュータに、カメラにて撮影した映像から同乗者を検出するステップと、同乗者の姿勢の判定に用いられる通常姿勢領域を設定するステップと、映像から検出された同乗者の頭部が前記通常姿勢領域から逸脱したか否かを判定するステップと、同乗者の頭部が前記通常姿勢領域から逸脱したと判定された場合に、前記通常姿勢領域からの逸脱を通知するステップとを実行させ、前記通常姿勢領域を設定ステップは、車両走行中に、映像から検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新する構成を有する。

【0019】

本発明のプログラムにおいて、前記通常姿勢領域を設定するステップは、前記通常姿勢領域とは異なる更新判定領域内で検出された同乗者の頭部の位置に基づいて前記通常姿勢領域を更新し、前記更新判定領域外で検出された同乗者の頭部の位置は前記通常姿勢領域の更新には用いない構成としてもよい。

【発明の効果】

【0020】

本発明によれば、走行中に変化する同乗者の姿勢に合わせて、適切な姿勢判定を行うことができる。

【図面の簡単な説明】

【0021】

【図1】第１の実施の形態の着座姿勢判定装置の構成を示す図である。

【図2】車両が走行開始する際の着座姿勢判定装置の動作を示す図である。

【図3】車両の走行中における着座姿勢判定装置の動作を示す図である。

【図4】第２の実施の形態の着座姿勢判定装置の構成を示す図である。

【図5】車両が走行開始する際の着座姿勢判定装置の動作を示す図である。

【図6】車両の走行中における着座姿勢判定装置の動作を示す図である。

【図7】（ａ）及び（ｂ）は、両耳の座標の中心の動きと、通常姿勢領域および更新判定領域の変化の例を示すグラフである。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態に係る着座姿勢判定装置について図面を参照しながら説明する。
（第１の実施の形態）
図１は、第１の実施の形態の着座姿勢判定装置１の構成を示す図である。着座姿勢判定装置１は、車内を撮影するカメラ２０と、カメラ２０で撮影した映像に基づいて同乗者の着座姿勢が通常姿勢であるか否かを判定する機能を有する制御部１０と、同乗者の様子を表示するオンダッシュモニタ２１と、同乗者の姿勢の異常を音声で通知するスピーカ２２を備えている。

【0023】

本実施の形態の着座姿勢判定装置１は、後部座席に座っている同乗者の着座姿勢の判定を行う。カメラ２０は、後部座席を撮影する位置に取り付けられている。好ましくは、カメラ付きリアモニタに搭載されたカメラを用いる。なお、ここでは、後部座席の同乗者の様子を前席の乗員に通知するハードウェアとしてオンダッシュモニタ２１とスピーカ２２を例示しているが、これらに限定されるものではない。

【0024】

制御部１０は、映像入力部１１と、同乗者検出部１２と、通常姿勢領域設定部１３と、記憶部１４と、逸脱判定部１５と、通知部１６とを備えている。映像入力部１１は、カメラ２０にて撮影された映像データを入力するインターフェースである。映像入力部１１は、入力された映像データを同乗者検出部１２に渡す。

【0025】

同乗者検出部１２は、映像データに映る同乗者を検出する機能を有する。同乗者検出部１２は、映像データの中から、人の顔あるいは目、鼻などの顔のパーツを検出することにより同乗者の頭部を検出する。顔や目、鼻は、パターンマッチング等の公知の技術を用いて検出することができる。本明細書において、「頭部」とは、顔および頭を含む領域である。同乗者検出部１２は、検出した頭部の領域に関するデータを通常姿勢領域設定部１３および逸脱判定部１５に渡す。

【0026】

車両が走行を開始する際には、同乗者検出部１２は、映像内の所定の探索範囲から同乗者を検出し、探索範囲内で同乗者を検出した場合に、通常姿勢領域設定部１３に同乗者の検出結果を渡す。車両の種類によって座席の位置が決まっているため、映像中のどの領域に同乗者が映るかが決まり、同乗者の頭部の位置も概ね決まる。同乗者の頭部が映ると予定される領域が探索範囲である。

【0027】

記憶部１４には、車両の種類に関連付けて探索範囲のデータを記憶している。なお、本実施の形態では後部座席を撮影するカメラ２０は、リアモニタのカメラ２０を利用するので、カメラ２０は前席と後席との間の天井付近に取り付けられることが既知であるとする。カメラ２０の設置位置が既知でない場合には、探索範囲は、車両の種類とカメラ２０の取付位置によって決まる。その場合、記憶部１４には、車両の種類とカメラ２０の取付位置とに関連付けて探索範囲のデータを記憶しておく。

【0028】

同乗者検出部１２は、記憶部１４から車両の種類に対応する探索範囲のデータを読み出し、探索範囲の中から同乗者およびその頭部を検出する。なお、車両の種類のデータは、乗員が予め入力しておき、これを記憶しておけば、毎回入力する必要はない。同乗者検出部１２は、探索範囲の中で同乗者の頭部を検出した場合には、検出結果のデータ、すなわち頭部の領域に関するデータを通常姿勢領域設定部１３に渡す。

【0029】

通常姿勢領域設定部１３は、同乗者の姿勢の判定に用いられる通常姿勢領域を設定する機能を有する。通常姿勢領域設定部１３は、車両の走行開始の際に通常姿勢領域の初期設定を行うと共に、車両の走行中に通常姿勢領域を更新する機能を有する。

【0030】

通常姿勢領域設定部１３は、初期設定時には、探索範囲内で所定時間（例えば３０秒間）にわたって検出された同乗者の頭部の位置（ｘｙ座標）の平均値と標準偏差σｘ，σｙとに基づいて通常姿勢領域を設定する。ここで頭部の位置とは頭部の中心と評価できる位置であり、例えば、左右の目の座標の中心、左右の耳の座標の中心、顔領域の中心または重心の位置等を用いる。顔領域の全体が撮れていない場合には、左右の目の座標の中心、目が撮れていない場合には、左右の耳の座標の中心というように優先順位をつけて判定を行ってもよい。

【0031】

通常姿勢領域設定部１３は、頭部の位置（ｘｙ座標）の平均値を中心とし、標準偏差σｘ，σｙの定数倍（例えば４倍）を水平方向及び垂直方向の長さとする矩形を通常姿勢領域として設定する。ここで定数として４倍を例示したが、これは一例であり定数が特定の数値に限定されるものではない。また、定数は、同乗者が大人であるか子供であるかによって変えてもよい。また、通常姿勢であるか、通常姿勢ではないか（異常姿勢か）を区別する閾値は、機械学習等を用いて定めてもよい。

【0032】

通常姿勢領域設定部１３は、車両走行中に、通常姿勢領域内で検出された同乗者の頭部の位置に基づいて通常姿勢領域を更新する。検出された頭部の位置に基づいて通常姿勢領域を設定する方法は初期設定時と同様であり、所定時間内における頭部位置と標準偏差を用いて通常姿勢領域を設定する。なお、同乗者の頭部の位置が通常姿勢領域の外で検出された場合には、その頭部位置のデータは、通常姿勢領域の更新には用いない。

【0033】

逸脱判定部１５は、検出された同乗者の頭部が通常姿勢領域から逸脱したか否かを判定する。同乗者の頭部が通常姿勢領域から逸脱する状態は、同乗者が通常の姿勢とは異なる異常な状態であると考えられる。逸脱判定部１５は、頭部の位置が垂直、水平のいずれかの方向において通常姿勢領域を逸脱したときに、通常姿勢領域を逸脱したと判定する。また、逸脱判定部１５は、通常姿勢領域から逸脱した状態が一定時間継続したときに、逸脱と判定することとしてもよい。

【0034】

逸脱判定部１５は、検出された同乗者の頭部が通常姿勢領域から逸脱したと判定した場合には、同乗者の頭部が通常姿勢領域を逸脱したことを通知部１６に通知する。

【0035】

通知部１６は、オンダッシュモニタ２１にカメラ２０の映像を送信し、オンダッシュカメラ２０にて後部座席の様子を映し出す。または、通知部１６は、スピーカ２２に音声データを送信し、スピーカ２２から後部座席の同乗者に注意するように促す音声を出力する。

【0036】

以上、第１の実施の形態の着座姿勢判定装置１の構成について説明したが、上記した着座姿勢判定装置１の制御部１０のハードウェアの例はＥＣＵ（Electronic Control Unit）である。上記した各機能を実現するモジュールを有するプログラムをＥＣＵで実行することによって、上記した着座姿勢判定装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0037】

図２は、車両が走行開始する際の実施の形態に係る着座姿勢判定装置１の動作を示す図である。車両に乗員が乗り込んでエンジンをスタートし、車両が走行開始すると判断されると、着座姿勢判定装置１は、後部座席に座る同乗者の探索範囲を決定する（Ｓ１０）。具体的には、同乗者検出部１２が、車両の種類に関連付けられた探索範囲のデータを記憶部１４から読み出す。

【0038】

着座姿勢判定装置１はカメラ２０によって後部座席を撮影し、映像データの探索範囲内において同乗者を検出する処理を行う（Ｓ１１）。探索範囲内において同乗者の頭部が見つかった場合には（Ｓ１２でＹＥＳ）、同乗者の頭部の所定時間におけるｘｙ座標の平均値および標準偏差のデータに基づいて、その同乗者の通常姿勢領域を初期設定する（Ｓ１３）。

【0039】

同乗者の頭部が検出されたか否かの判定において、同乗者の頭部が見つからなかった場合には（Ｓ１２でＮＯ）、再度同乗者の検出を行う。同乗者の検出は、走行開始から所定時間（例えば５分間）行い、所定時間探索しても見つからなければ同乗者の検出を停止する。この場合には、後部座席には同乗者がいないと考えられる。

【0040】

図３は、車両の走行中における着座姿勢判定装置１の動作を示す図である。図３に示す動作は車両の走行中に繰り返し行われる。着座姿勢判定装置１は、カメラ２０にて後部座席の様子を撮影し、撮影された映像から同乗者の頭部を検出する（Ｓ２０）。検出された同乗者の頭部の位置が通常姿勢領域内である場合には（Ｓ２１でＹＥＳ）、通常姿勢領域設定部１３は、検出された同乗者の頭部のデータを用いて通常姿勢領域を更新する（Ｓ２２）。同乗者の頭部が通常姿勢領域から逸脱している場合には（Ｓ２１でＹＥＳ）、着座姿勢判定装置１は、後部座席のカメラ映像をオンダッシュモニタ２１に出力する、またはスピーカ２２から同乗者の姿勢の異常を音声出力することにより、前席乗員に後部座席の同乗者の様子を通知する（Ｓ２３）。

【0041】

第１の実施の形態の着座姿勢判定装置１は、後部座席の同乗者の頭部の位置が通常姿勢領域から逸脱している場合に、前席に座っている乗員に後部座席の様子を知らせることができる。

【0042】

第１の実施の形態では、判定の基準となる通常姿勢領域を走行中に更新することにより、走行中に変化する同乗者の通常姿勢を元に、同乗者の着座姿勢が適切かどうかを判断することができる。また、通常姿勢領域の更新には、同乗者の頭部の位置が通常姿勢領域内にある時のデータを用いているので、同乗者の頭部の位置が安定しているときのデータを使って、適切に通常姿勢領域を設定することができる。

【0043】

上記した実施の形態では、通常姿勢領域設定部１３は、所定時間内における同乗者の頭部の平均位置と標準偏差に基づいて通常姿勢領域を設定する例を挙げたが、通常姿勢領域の設定の仕方は上記した実施の形態の方法に限定されるものではない。通常姿勢領域は、同乗者の姿勢が安定しているときに位置する頭部の領域を設定すればよい。例えば、平均値と標準偏差に代えて、頭部の中心の平均位置と、顔幅および顔高さを用いてもよい。一例として、平均位置を中心とし、水平方向の長さを顔幅の２倍、垂直方向の長さを顔高さの２倍とする矩形を通常姿勢領域としてもよい。

【0044】

（第２の実施の形態）
図４は、第２の実施の形態の着座姿勢判定装置２の構成を示す図である。第２の実施の形態の着座姿勢判定装置２も通常姿勢領域を走行中に更新していく点では、第１の実施の形態の着座姿勢判定装置１と同じである。第２の実施の形態の着座姿勢判定装置２は、通常姿勢領域を更新するか否かの判定に、通常姿勢領域とは異なる更新判定領域を用いる点が異なる。以下では、第２の実施の形態の着座姿勢判定装置２について、第１の実施の形態と異なる点を中心に説明する。

【0045】

第２の実施の形態の着座姿勢判定装置２は、車内を撮影するカメラ２０と、カメラ２０で撮影した映像に基づいて同乗者の着座姿勢が通常姿勢であるか否かを判定する機能を有する制御部１０と、同乗者の様子を表示するオンダッシュモニタ２１と、同乗者の姿勢の異常を音声で通知するスピーカ２２を備えている。

【0046】

制御部１０は、映像入力部１１と、同乗者検出部１２と、通常姿勢領域設定部１３と、更新判定領域設定部１７と、記憶部１４と、逸脱判定部１５と、通知部１６とを備えている。映像入力部１１は、カメラ２０にて撮影された映像データを入力するインターフェースである。映像入力部１１は、入力された映像データを同乗者検出部１２に渡す。

【0047】

同乗者検出部１２は、映像データに映る同乗者を検出する機能を有する。同乗者を検出する処理は、第１の実施の形態と同じである。同乗者検出部１２は、検出した頭部の領域に関するデータを逸脱判定部１５、通常姿勢領域設定部１３、更新判定領域設定部１７に渡す。

【0048】

通常姿勢領域設定部１３は、同乗者の姿勢の判定に用いられる通常姿勢領域を設定する機能を有する。通常姿勢領域設定部１３は、車両の走行開始の際に通常姿勢領域の初期設定を行うと共に、車両の走行中に通常姿勢領域を更新する機能を有する。

【0049】

通常姿勢領域設定部１３は、走行中には、更新判定領域内で検出された同乗者の頭部の位置に基づいて通常姿勢領域を更新する。同乗者の頭部の位置が更新判定領域の外で検出された場合には、その頭部位置のデータは、通常姿勢領域の更新には用いない。

【0050】

更新判定領域は、通常姿勢領域とは異なる領域であり、通常姿勢領域より狭い領域であってもよい。例えば、通常姿勢領域が標準偏差σｘ，σｙの４倍を水平方向及び垂直方向の長さとする矩形であるとした場合、更新判定領域は、標準偏差σｘ，σｙの２倍を水平方向及び垂直方向の長さとする矩形であるとしてもよい。また、更新判定領域は、通常姿勢領域とは異なる基準で設定してもよい。例えば、通常姿勢領域の大きさが標準偏差に基づいて設定され、更新判定領域の大きさは顔幅に基づいて設定されてもよい。本実施の形態では、通常姿勢領域が標準偏差σｘ，σｙの４倍を水平方向及び垂直方向の長さとする矩形であり、更新判定領域が顔幅及び顔高さの１．５倍を水平方向及び垂直方向の長さとする矩形であるとする。

【0051】

逸脱判定部１５は、検出された同乗者の頭部が通常姿勢領域から逸脱したか否かを判定する。同乗者の頭部が通常姿勢領域から逸脱する状態は、同乗者が通常の姿勢とは異なる異常な状態であると考えられる。逸脱判定部１５は、検出された同乗者の頭部が通常姿勢領域から逸脱したと判定した場合には、同乗者の頭部が通常姿勢領域を逸脱したことを通知部１６に通知する。

【0052】

通知部１６は、オンダッシュモニタ２１にカメラ２０の映像を送信し、オンダッシュカメラ２０にて後部座席の様子を映し出す。または、通知部１６は、スピーカ２２に音声データを送信し、スピーカ２２から後部座席の同乗者に注意するように促す音声を出力する。

【0053】

以上、第２の実施の形態の着座姿勢判定装置２の構成について説明したが、上記した着座姿勢判定装置２の制御部１０のハードウェアの例はＥＣＵ（Electronic Control Unit）である。上記した各機能を実現するモジュールを有するプログラムをＥＣＵで実行することによって、上記した着座姿勢判定装置２が実現される。このようなプログラムも本発明の範囲に含まれる。

【0054】

図５は、車両が走行開始する際の実施の形態に係る着座姿勢判定装置２の動作を示す図である。車両に乗員が乗り込んでエンジンをスタートし、車両が走行開始すると判断されると、着座姿勢判定装置２は、後部座席に座る同乗者の探索範囲を決定する（Ｓ３０）。具体的には、同乗者検出部１２が、車両の種類に関連付けられた探索範囲のデータを記憶部１４から読み出す。

【0055】

着座姿勢判定装置２はカメラ２０によって後部座席を撮影し、映像データの探索範囲内において同乗者を検出する処理を行う（Ｓ３１）。探索範囲内において同乗者の頭部が見つかった場合には（Ｓ３２でＹＥＳ）、同乗者の頭部の所定時間におけるｘｙ座標の平均値および標準偏差のデータに基づいて、その同乗者の通常姿勢領域および更新判定領域を初期設定する（Ｓ３３）。

【0056】

同乗者の頭部が検出されたか否かの判定において、同乗者の頭部が見つからなかった場合には（Ｓ３２でＮＯ）、再度同乗者の検出を行う。同乗者の検出は、走行開始から所定時間（例えば５分間）行い、所定時間探索しても見つからなければ同乗者の検出を停止する。この場合には、後部座席には同乗者がいないと考えられる。

【0057】

図６は、車両の走行中における着座姿勢判定装置２の動作を示す図である。図６に示す動作は車両の走行中に繰り返し行われる。着座姿勢判定装置２は、カメラ２０にて後部座席の様子を撮影し、撮影された映像から同乗者の頭部を検出する（Ｓ４０）。検出された同乗者の頭部の位置が更新判定領域内である場合には（Ｓ４１でＹＥＳ）、通常姿勢領域設定部１３は、検出された同乗者の頭部のデータを用いて通常姿勢領域を更新する（Ｓ４２）。

【0058】

同乗者の頭部が更新判定領域から逸脱している場合には（Ｓ４１でＮＯ）、着座姿勢判定装置２は、検出された同乗者の頭部の位置が通常姿勢領域内であるか否かを判定する（Ｓ４３）。検出された同乗者の頭部の位置が通常姿勢範囲内である場合には（Ｓ４３でＹＥＳ）、カメラ画像から同乗者の頭部を検出する処理（Ｓ４０）に戻る。検出された同乗者の頭部の位置が通常姿勢範囲から逸脱している場合には（Ｓ４３でＮＯ）、後部座席のカメラ２０映像をオンダッシュモニタ２１に出力する、またはスピーカ２２から同乗者の姿勢の異常を音声出力することにより、前席乗員に後部座席の同乗者の様子を通知する（Ｓ４４）。

【0059】

第２の実施の形態の着座姿勢判定装置２は、後部座席の同乗者の頭部の位置が通常姿勢領域から逸脱している場合に、前席に座っている乗員に後部座席の様子を知らせることができる。

【0060】

第２の実施の形態では、判定の基準となる通常姿勢領域を走行中に更新することにより、走行中に変化する同乗者の通常姿勢を元に、同乗者の着座姿勢が適切かどうかを判断することができる。また、通常姿勢領域の更新には、同乗者の頭部の位置が更新判定領域内にある時のデータを用いているので、同乗者の頭部の位置が安定しているときのデータを使って、適切に通常姿勢領域を設定することができる。

【0061】

図７（ａ）は、両耳の座標の中心の動き（実線）と、通常姿勢領域（点線）および更新判定領域（一点鎖線）の変化の一例を示すグラフである。上のグラフがｘ座標（画面横方向）の動き、下のグラフがｙ座標（画面縦方向）の動きを示している。両耳の中心座標が更新判定領域に入っている場合には、検出された頭部の領域のデータに基づいて、通常姿勢領域および更新判定領域を更新していく。

【0062】

両耳の中心座標が更新判定領域から逸脱しても、通常姿勢領域内にあるときには、逸脱判定部１５は、同乗者の姿勢の異常とは判定しない。逸脱判定部１５は、両耳の中心座標がｘ座標、ｙ座標のいずれかにおいて通常姿勢領域から逸脱した場合に、同乗者の姿勢が異常であると判定する。図７（ａ）を参照すると分かるように、通常姿勢領域は画一的ではなく、時間の経過と共に変わる同乗者の姿勢に従って変化している。これにより、同乗者の着座姿勢の適切な判定が可能となる。

【0063】

上記した実施の形態では、通常姿勢領域を標準偏差によって規定し、更新判定領域については顔幅・顔高さによって規定する例を挙げた。この場合、通常姿勢領域の方が更新判定領域よりも狭くなる場合がある。例えば、所定時間にわたって同乗者の頭部の動きがほとんどない場合には、標準偏差が小さくなるため、通常姿勢領域が更新判定領域よりも小さくなる。

【0064】

図７（ｂ）は、両耳の座標の中心の動き（実線）と、通常姿勢領域（点線）および更新判定領域（一点鎖線）の変化の別の例を示すグラフである。図７（ｂ）の１×１０⁵ms付近では、通常姿勢領域が非常に小さくなっている。このような場合には、同乗者が通常姿勢をとっているか否かの判定に更新判定領域を用い、頭部の位置が更新判定領域を逸脱したときに着座姿勢が異常であると判定してもよい。

【0065】

以上、本発明の着座姿勢判定装置について、図面を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
例えば、通常姿勢領域の初期設定に際して、リアモニタを併用することとも考えられる。着座姿勢判定装置は、リアモニタに映像を出力する映像出力部を備え、リアモニタに映像を出力している間に撮影したカメラ映像を使って、通常姿勢領域の初期設定を行うこととしてもよい。リアモニタに映像を出力することによって、同乗者の注意を引き、頭部の動きが少ない状態で撮影した映像を使うことで、通常姿勢領域を適切に設定できる。

【0066】

上記した実施の形態では、逸脱判定部１５は、同乗者の頭部が垂直方向または水平方向のいずれかについて通常姿勢領域から逸脱した場合に、通常姿勢ではないと判定したが、
逸脱判定部１５は、同乗者の頭部が垂直および水平のいずれの方向についても通常姿勢領域から逸脱した場合に逸脱したと判定し、いずれか一方が通常姿勢領域に入っているときには逸脱していないと判定する構成としてもよい。これにより、例えば、凸凹道のような路面の状況によって車両が揺れて頭部位置が垂直方向に逸脱しても、水平方向に逸脱していなければ、同乗者の姿勢が異常であるとは判定されないようにできる。

【0067】

上記した実施の形態において、例えば、画像上の決められた位置を境界として通常姿勢領域を設定してもよい。発明者らが複数の車種について調査を行ったところ、後部座席のヘッドレストの位置は、多くの車種において、左右からそれぞれ１／４の位置を中心とする狭い範囲にあることが分かった。左右のヘッドレストの位置と、ヘッドレスト間に同乗者が座ることを想定して、車種にかかわらず初期の通常姿勢領域を設定してもよい。

【0068】

また、車両走行中における通常姿勢領域を決定する際に、初期の通常姿勢領域を考慮してもよい。例えば、同乗者の頭部が通常姿勢領域または更新判定領域を逸脱した量に応じて、現在の通常姿勢領域を確率的に求め、その確率値に応じて初期の通常姿勢領域を用いて補正してもよい。一例として、頭部の逸脱量が大きいときには、その頭部の位置に基づいて定まる通常姿勢領域が適切である確率値を低くし、確率値が所定の閾値より低いときには初期の通常姿勢領域を用いた補正を行うこととしてもよい。

【符号の説明】

【0069】

１，２ 着座姿勢判定装置
１０ 制御部
１１ 映像入力部
１２ 同乗者検出部
１３ 通常姿勢領域設定部
１４ 記憶部
１５ 逸脱判定部
１６ 通知部
１７ 更新判定領域設定部
２０ カメラ
２１ オンダッシュモニタ
２２ スピーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】