特許 6201415 車室内監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6201415

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】車室内監視装置

(51)【国際特許分類】

   B60R 11/02 20060101AFI20170914BHJP

   H04N 7/18 20060101ALI20170914BHJP

   G08G 1/16 20060101ALN20170914BHJP

【ＦＩ】

   B60R11/02 C

   H04N7/18 D

   !G08G1/16 C

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2013-104874(P2013-104874)

(22)【出願日】2013年5月17日

(65)【公開番号】特開2014-223887(P2014-223887A)

(43)【公開日】2014年12月4日

【審査請求日】2016年3月28日

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】辻 正文

(72)【発明者】

【氏名】久家 伸友

(72)【発明者】

【氏名】近藤 崇之

(72)【発明者】

【氏名】中野 智晴

(72)【発明者】

【氏名】中村 誠秀

【審査官】 森本 康正

(56)【参考文献】

【文献】 特開２００３−０２５９１１（ＪＰ，Ａ）

【文献】 特開２００８−２４１３０９（ＪＰ，Ａ）

【文献】 特開２０１１−１１６２１９（ＪＰ，Ａ）

【文献】 特開２００９−２４８９１８（ＪＰ，Ａ）

【文献】 特開２０１１−２０７２６８（ＪＰ，Ａ）

【文献】 特開２００７−１２８４２７（ＪＰ，Ａ）

【文献】 特開２００４−３２６３５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ １１／０２−１１／０４

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １６／０２

(57)【特許請求の範囲】

【請求項1】

車両の後席を撮像するカメラから前記後席の乗員の映像を取得する後席映像取得手段と、
前記車両の前席の乗員に、前記取得された前記後席の映像と前記後席の映像以外の情報とを切り替えて提示する提示手段と、
前記車両から取得した走行情報に基づいて、当該車両の現在の走行状態が、走行環境の変化が少ない走行状態であるとして予め定義された定常走行状態であるか否かを判定する走行状態判定手段と、
前記走行状態判定手段の判定結果に応じて前記提示手段に提示する情報を切り替えさせる提示制御手段と、
前記車両のステアリング操作、アクセル操作、又はブレーキ操作の少なくとも一つの運転操作を支援する運転支援装置の動作情報を取得する運転支援動作情報取得手段と、を備え、
前記提示制御手段は、前記走行状態判定手段により前記車両の現在の走行状態が前記定常走行状態であると判定された場合には、前記後席の映像を前記提示手段に表示させ、前記走行状態判定手段により前記車両の現在の走行状態が前記定常走行状態ではなく、非定常走行状態であると判定された場合には、前記後席の映像を前記提示手段に表示することを禁止し、
前記走行状態判定手段は、前記運転支援装置が動作中である旨の情報を前記運転支援動作情報取得手段から取得した場合には、前記車両の走行状態が前記定常走行状態であるか否かを判断するために用いられる判断基準について、現在の走行状態が前記定常走行状態であると判断されやすくなるように、前記判断基準の上限閾値は高く変更し、下限閾値は低く変更することを特徴とする車室内監視装置。

【請求項2】

前記走行状態判定手段は、前記車両の走行情報に基づいて、前記車両が直進走行をしていること、前記車両が定速走行をしていること、前記車両が低速走行をしていること、又は前記車両と他車両との距離が所定値以上であることのいずれか一つ以上を満たす場合には、前記定常走行状態であると判定することを特徴とする請求項１に記載の車室内監視装置。

【請求項3】

前記走行状態判定手段は、前記車両の走行情報に基づいて、前記車両が非直進走行をしていること、前記車両が非定速走行をしていること、前記車両が非低速走行をしていること、又は前記車両と他車両との距離が所定値未満であることのいずれか一つ以上を満たす場合には、前記非定常走行状態であると判定することを特徴とする請求項１又は２に記載の車室内監視装置。

【請求項4】

前記車両の走行情報に基づいて、前記車両が直進走行をしていること、前記車両が定速走行をしていること、前記車両が低速走行をしていること、又は前記車両と他車両との距離が所定値以上であることのいずれか一つ以上を満たす場合であっても、
前記車両の走行情報に基づいて、前記車両が非直進走行をしていること、前記車両が非定速走行をしていること、前記車両が非低速走行をしていること、及び前記車両と他車両との距離が所定値未満であることのいずれか一つ以上を満たす場合には、前記定常走行状態では無いと判定することを特徴とする請求項２の車室内監視装置。

【請求項5】

前記車両の後席の乗員の変化を検出する変化検出手段をさらに備え、
前記提示制御手段は、前記変化検出手段により前記車両の後席の乗員の変化が検出された場合に、前記後席映像取得手段により取得された前記後席の映像を前記提示手段に表示させることを特徴とする請求項１〜４の何れか一項に記載の車室内監視装置。

【請求項6】

前記変化検出手段は、前記後席映像取得手段により取得された前記映像の画像情報から抽出された前記後席の乗員の動きの量に基づいて、前記車両の後席の乗員の変化を検出することを特徴とする請求項５に記載の車室内監視装置。

【請求項7】

前記車両の後席で生じた音声を取得する後席集音手段をさらに備え、
前記変化検出手段は、前記後席集音手段により取得された前記音声の情報から抽出された前記後席の乗員の発生音の音量に基づいて、前記車両の後席の乗員の変化を検出することを特徴とする請求項５又は６に記載の車室内監視装置。

【請求項8】

前記提示制御手段は、
前記後席の乗員の映像を表示する際に、前記後席を含む広い範囲の映像である広域後席映像と、当該広域後席映像に含まれる範囲よりも狭い前記後席の一部の範囲の映像である狭域後席映像と、を切り替えて表示する機能を備え、
前記変化検出手段により前記車両の後席の乗員の変化が検出された場合には、変化が検出された前記後席の前記狭域後席映像を表示することを特徴とする請求項５〜７の何れか一項に記載の車室内監視装置。

【請求項9】

前記提示制御手段は、前記運転支援動作情報取得手段が、前記運転支援装置が動作中であり、かつ運転に注意を要する旨の情報を取得した場合には、前記後席の映像を前記提示手段に表示することを禁止することを特徴とする請求項１〜８の何れか一項に記載の車室内監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車室の後部座席の監視映像を運転者が視認可能なディスプレイに表示する車室内監視装置に関する。

【背景技術】

【0002】

この種の装置に関し、後部座席から子供の泣き声などが検出された場合に、後席用カメラで撮像した後席の乗員（子供）の映像を前席用ディスプレイに表示することにより、前席の保護者が後席の乗員（子供）の様子を運転中においても監視できる車載用映像表示装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３−０２５９１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の装置では、車両の走行状況を考慮することなく、後席の映像が提示されてしまうので、運転者が車両操作に集中すべき場面においても一律に運転者の注意を後席の映像に引き付けてしまうという問題がある。

【0005】

本発明が解決しようとする課題は、運転者が車両操作に集中すべき場面では運転者の注意を引き付けないようにすることである。

【課題を解決するための手段】

【0006】

本発明は、車両の走行情報に基づいて現在の走行状態が走行環境の変化が少ない定常走行状態であるか否かを判定し、車両の走行状態が定常走行時である場面に限って後席の映像を表示し、車両の走行状態が非定常走行時である場面では後席の映像の表示を禁止し、運転支援装置が動作中である旨の情報を取得した場合には、車両の走行状態が定常走行状態であるか否かを判断するために用いられる判断基準について、現在の走行状態が定常走行状態であると判断されやすくなるように、判断基準の上限閾値は高く変更し、下限閾値は低く変更することにより、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、現在の走行状況が、運転者が車両操作に集中すべき走行状況であると判断された場面では後席の映像の提示を禁止し、それ以外の場面に限って後席の映像を提示するので、車両操作に集中すべき走行状況である場面において、運転者は車両操作に集中することができるとともに、必要に応じて後席の状況を確認することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る車室モニタリングシステム１のブロック構成図である。

【図2A】本実施形態のカメラの設置例を示す図である。

【図2B】本実施形態のマイクの設置例を示す図である。

【図3】後席の映像の一例を示す図である。

【図4】図４（Ａ）はディスプレイの一例を示す図、図４（Ｂ）は広域後席映像の一例を示す図、図４（Ｃ）は狭域後席映像の一例を示す図である。

【図5】本実施形態に係る車室モニタリングシステムの制御手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車室内監視装置を、車室モニタリングシステムに適用した場合を例にして説明する。

【0010】

図１は、本実施形態に係る車室内監視装置１００を備える車室モニタリングシステム１のブロック構成を示す図である。車室内監視装置１００及びこれを含む車室モニタリングシステム１は、車両に搭載されている。車室内監視装置１００は、自車両の車室内の様子を監視し、ドライバに必要な情報を提供する。

【0011】

図１に示すように、車室モニタリングシステム１は、車室内監視装置１００と、車載装置２００とを有する。車載装置２００は、車両コントローラ５０と、各種センサ６０と、運転支援装置７０と、ナビゲーション装置８０と、他車両検出装置９０とを備える。車室内監視装置１００と各車載装置２００とは、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

【0012】

本実施形態の各種センサ６０は、車両のステアリング操作に応じて操舵角を検出する舵角センサ６１と、車両の速度を検出する車速センサ６２と、車両進行方向に対して前後方向の加速度を検出する前後加速度センサ６３と、車両進行方向に対して横方向の加速度を検出する横加速度センサ６４と、車両の姿勢を検出する車両姿勢センサ６５と、車両のキーロックを検出するキーセンサ６６と、車両のシフト状態を検出するシフトセンサ６７とを有する。これらの各種センサ群６０は、検出した情報を車両コントローラ５０を介して又は直接に車室内監視装置１００へ出力する。

【0013】

本実施形態の運転支援装置７０は、例えばドライバのアクセル操作やブレーキ操作またはステアリング操作などを支援する装置である。特に限定されないが、本実施形態の運転支援装置７０は、車間距離維持走行、定速走行、車両の接近防止、その他の運転操作を支援する。運転支援装置７０は、運転支援動作が実行中であるか否かの情報を車室内監視装置１００へ出力する。

【0014】

また、同図に示すように、本実施形態の車室内監視装置１００は、制御装置１０と、検出装置２０と、ディスプレイ３０とを備える。

【0015】

検出装置２０は、車両の後席を撮像するカメラ２１と、車両の後席で生じる音声を取得するマイク２２とを備える。

【0016】

本実施形態のカメラ２１は、ＣＣＤ等の撮像素子を用いたカメラである。
図２Ａは、カメラ２１の設置例を示す図である。図２Ａ（Ａ）は車両Ｖを上方から見た場合のカメラ２１の設置位置を示し、図２Ａ（Ｂ）は車両Ｖを側方から見た場合のカメラ２１の設置位置を示す。カメラ２１の数や配置場所は特に限定されず、本実施形態では、図２Ａに示すように、車両Ｖの車室内天井付近に広角のカメラ２１を一つ設置する。

【0017】

図３は、カメラ２１により撮像された後席映像の一例を示す。図３に示すように、カメラ２１は前席の運転席ＳＴＦＲと助手席ＳＴＦＬ、及び後席の右側座席ＳＴＲＲと左側座席ＳＴＲＬの像を撮像する。この映像には、後席の左側座席ＳＴＲＬに着座する乗員(子供)ＰＳ１の像が含まれる。また、同図に示すように、後席の右座席を撮像するカメラ２１ＲＲと、後席の左座席を撮像するカメラ２１ＲＬを含む複数のカメラを設置してもよい。

【0018】

図２Ｂは、マイク２２の設置例を示す図である。図２Ｂ（Ａ）は車両Ｖを上方から見た場合のマイク２２の設置位置を示し、図２Ｂ（Ｂ）は車両Ｖを側方から見た場合のマイク２２の設置位置を示す。マイク２２の数や配置場所は特に限定されないが、本実施形態では、図２Ｂに示すように、車両Ｖの車室内の後席前方の天井付近に、右座席から発せられる音声を主に取得するマイク２２ＲＲと、後席の左座席近傍に設けられ、左座席から発せられる音声を主に取得するマイク２２ＲＬとを設ける。

【0019】

本実施形態のディスプレイ３０は、車両のドライバが視認可能なダッシュボード周囲に設置される。本実施形態のディスプレイ３０は、車室内監視装置１００の判断に応じて、ディスプレイ３０に提示する情報を切り替える。もちろん、ディスプレイ３０は表示切替スイッチ３１への入力に応じて、ディスプレイ３０に提示する情報を切り替えることもできる。表示切替スイッチ３１は、ディスプレイ３０の表示制御に関するユーザの指令の入力を受け付ける。

【0020】

本実施形態のディスプレイ３０は、車室内監視装置１００の制御指令に応じて、後席の映像と、それ以外の情報とを切り替えて表示する。後席の映像以外の情報は、車両の運転に関する情報、テレビ放送などのエンターテイメント情報を含む。特に、本実施形態のディスプレイ３０は、後席の映像と、車両の運転に関する情報との表示の切り替えを制御する。本実施形態の「車両の運転に関する情報」は、ナビゲーション装置８０が提供する案内情報、運転支援装置７０が提供する運転支援情報、他車両検出装置９０が提供する情報を含む。本実施形態では、ナビゲーション装置８０用のディスプレイを、車室内監視装置１００用のディスプレイ３０として用いるため、図４（Ａ）に示すように、通常はナビゲーション装置８０の経路案内用の地図情報が提示される。

【0021】

また、本実施形態のディスプレイ３０は、車室内監視装置１００の制御指令に応じて、後席の映像を表示する際に、後席を含む広い範囲の映像である広域後席映像と、この広域後席映像に含まれる範囲よりも狭い後席の一部の範囲の映像である狭域後席映像と、を切り替えて表示する。図４（Ｂ）に広域後席映像の一例を示し、図４（Ｃ）に狭域後席映像の一例を示す。

【0022】

続いて、本実施形態の制御装置１０について説明する。本実施形態の車室内監視装置１００の制御装置１０は、車両が定常走行状態であるか否かを判断し、その判断結果に応じてディスプレイ３０の提示処理を制御するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、車室内監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。

【0023】

本実施形態に係る車室内監視装置１００の制御装置１０は、後席映像取得機能と、提示機能と、走行状態判定機能と、提示制御機能とを少なくとも有する。さらに、本実施形態の制御装置１０は、実施態様に応じて、後席集音機能と、変化検出機能と、運転支援動作情報取得機能と、をさらに有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

【0024】

以下、本実施形態に係る車室内監視装置１００の各機能について説明する。

【0025】

まず、本実施形態の制御装置１０の後席映像取得機能について説明する。制御装置１０は、カメラ２１（２１ＲＲ，２１ＲＬ）が撮像した自車両の車室内の撮像画像を取得する。取得した撮像画像は、後席の乗員の変化の有無を判断するために利用されるとともに、後席の映像としてディスプレイ３０に提示される画像として利用される。

【0026】

本実施形態の制御装置１０の後席集音機能について説明する。制御装置１０は、マイク２２（２２ＲＲ，２２ＲＬ）が集音した車両の後席で生じた音声を取得する。取得した音声は、後席の乗員の変化の有無を判断するために利用される。

【0027】

本実施形態の制御装置１０の変化検出機能について説明する。制御装置１０は、車両の後席の乗員の変化を検出する。制御装置１０は、取得した映像の画像情報又は取得した音声の音声情報に基づいて、後席の乗員の変化を検出することができる。制御装置１０は、後席の乗員の変化に基づいて、所定値以上の大きな変化が検出された場合には後席に異常が発生したと判断する。後席の乗員の変化は、カメラ２１によって撮像された映像、及び／又はマイク２２によって集音された音声情報によって検出する。

【0028】

本実施形態の変化検出機能による後席の乗員の変化の判断手法について説明する。
第１に、本実施形態の制御装置１０は、先述した後席映像取得機能により取得された後席の映像の画像情報から抽出された後席の乗員の動きの量に基づいて、車両の後席の乗員の変化を検出する。本実施形態の制御装置１０は、車室内カメラ２１の撮像画像に基づいて、後席の映像の時間的な変化（例えば画像処理による逐次差分処理）から後席各座席での動きを抽出する。具体的に、制御装置１０は、後席の映像の画像情報から乗員の像の一部となる特徴点を抽出し、その特徴点を経時的に追跡して、所定時間内の変化量（画像内における移動距離、積算移動距離など）を算出する。その時間あたりの変化量が所定量以上である場合には、車両の後席の乗員に変化があると判断する。たとえば、子供の動きが少ないときには、子供は寝ていたり、起きていても機嫌がよかったりするので、ドライバは注意深く子供を監視する必要が無い。他方、子供の動き（変化量や積算量）が大きいときには、子供が痛みや不快を感じていたりするので、ドライバは注意深く子供を監視する必要がある。子供が手足を動かしたり、何かに手を伸ばしたりするときには、手足の画像から抽出された特徴点の移動が観察されるので、特徴点の移動量（移動速度や移動積算量）に応じて子供（後席の乗員）の動き抽出し、その変化を検出することができる。

【0029】

また、本実施形態の変化検出機能は、変化を検出する際に追跡する特徴点の画像上の位置（座標）に基づいて、変化のあった乗員の所在する位置（着座するシート位置）を特定することができる。変化のあった乗員の所在する位置情報は、後に説明する広域後席映像と狭域後席映像との切り替え制御に用いられる。

【0030】

第２に、本実施形態の制御装置１０は、先述した後席音声取得機能により取得された後席の音声の音声情報から抽出された後席の乗員の発生音の音量に基づいて、車両の後席の乗員の変化を検出する。具体的に、制御装置１０は、左右後席のそれぞれに設置されたマイク２２ＲＲ，２２ＲＬが集音する音声情報の特徴を抽出し、その特徴を経時的に追跡して、所定時間内の変化量（音量、周波数など）を算出する。その時間あたりの変化量が所定量以上である場合には、車両の後席の乗員に変化があると判断する。たとえば、子供が静かなときには、子供は寝ていたり、起きていても機嫌がよかったりするので、ドライバは注意深く子供を監視する必要が無い。他方、子供が泣いたり、大きな声を出したときには、子供が痛みや不快を感じていたりするので、ドライバは注意深く子供を監視する必要がある。子供が泣いたり、通常とは異なる声を発したりするときには、音声情報から抽出された音量や周波数の変化が観察されるので、それらに応じて子供（後席の乗員）の状態の変化を検出することができる。後に説明するが、本実施形態の車室内監視装置１００は、後席の乗員の変化（動き・音声）が所定量以上の場合には、ディスプレイ３０に後席の映像を表示する。

【0031】

また、本実施形態の変化検出機能は、変化を検出したマイク２２位置に基づいて、動きのある乗員の所在する位置（着座するシート位置）を特定することができる。例えば、後右席近くに設置されたマイク２２ＲＲが所定値以上の音量の音声を検出した場合には変化が生じた乗員は、後右席に所在すると判断することができる。マイク２２が複数設置され、複数のマイク２２が所定値以上の音量の音声を検出した場合には、最も大きい音量の音声を検出したマイク２２の位置に基づいて、乗員の位置を判断することができる。変化のあった乗員の所在する位置情報は、後に説明する広域後席映像と狭域後席映像との切り替え制御に用いられる。

【0032】

後席の乗員の変化の判定手法は、上述した、カメラ２１によって撮像された映像に基づく手法と、マイク２２によって集音された音声情報に基づく手法のいずれを用いてもよいし、両手法を組み合わせてもよい。

【0033】

本実施形態の制御装置１０は、運転支援動作情報取得をさらに備える。制御装置１０は、車両のステアリング操作、アクセル操作、又はブレーキ操作の少なくとも一つの運転操作を支援する運転支援の動作情報を運転支援装置７０から取得する。この運転支援の動作情報は、次に説明する走行状態判定の基準の更新処理において用いられる。

【0034】

次に、走行状態判定機能について説明する。本実施形態の制御装置１０は、車両から取得した走行情報に基づいて、その車両の現在の走行状態が、走行環境の変化が少ない走行状態であるとして予め定義された定常走行状態であるか否かを判定する。具体的に、制御装置１０は、車載装置２００の車両コントローラ５０を介して取得した各種センサ６０の出力値に基づく走行情報に基づいて、走行環境の変化が少なく、車両姿勢の状態変化が少ない状態を定常走行状態であると判定する。

【0035】

本実施形態の制御装置１０は、車両の走行情報に基づいて、（１）車両が直進走行をしていること、（２）車両が定速走行をしていること、（３）車両が低速走行をしていること、及び（４）車両と他車両との距離が所定値以上であることの条件のうち、いずれか一つ以上を満たす場合には、車両の走行状態が定常走行状態であると判定する。言い換えると、逆に、上記（１）〜（４）の条件のいずれも満たさない場合には、車両の走行状態が非定常走行状態であると判定する。

【0036】

具体的に、（１）車両が直進走行をしているか否かは、舵角センサ６１から取得した操舵角が所定値未満であること、又は横加速度センサ６４から取得した横加速度が所定値未満であることに基づいて判断する。（２）車両が定速走行をしているか否かは、車速センサ６２から取得した車速の経時的な変化量が所定値未満であること、前後加速度センサ６３から取得した前後加速度が所定値未満であることに基づいて判断する。（３）車両が低速走行をしているか否かは、車速センサ６２から取得した車速が所定値未満であることに基づいて判断する。（４）車両と他車両との距離が所定値未満であるか否かは、他車両検出装置９０から出力された他車両の存在及び他車両までの距離が所定値未満であることに基づいて判断する。

【0037】

異なる観点において、本実施形態の制御装置１０は、車両の走行情報に基づいて、（５）車両が非直進走行（カーブ走行）をしていること、（６）車両が非定速走行（加減速走行）をしていること、（７）車両が非低速走行（高速走行）をしていること、及び（８）車両と他車両との距離が所定値未満であることの条件のうち、いずれか一つ以上を満たす場合には、車両の走行状態が非定常走行状態である（定常走行状態ではない）と判定する。逆に、上記（５）〜（８）の条件の何れも満たさない場合には、車両の走行状態が定常走行状態であると判定する。

【0038】

具体的に、（５）車両が非直進走行（カーブ走行）をしているか否かは、舵角センサ６１から取得した操舵角が所定値以上であること、又は横加速度センサ６４から取得した横加速度が所定値以上であることに基づいて判断する。（６）車両が非定速走行（加減速走行）をしているか否かは、車速センサ６２から取得した車速の経時的な変化量が所定値以上であること、前後加速度センサ６３から取得した前後加速度が所定値以上であることに基づいて判断する。（７）車両が非低速走行（高速走行）をしているか否かは、車速センサ６２から取得した車速が所定値以上であることに基づいて判断する。（８）車両と他車両との距離が所定値未満であるか否かは、他車両検出装置９０から出力された他車両の存在及び他車両までの距離が所定値未満であることに基づいて判断する。

【0039】

本実施形態では、上記（１）〜（４）の条件を用いて、走行状態が定常走行状態であるか、又は非提供走行状態であるかを判断する第１の判断手法を用いてもよいし、上記（５）〜（８）の条件を用いて、走行状態が非定常走行状態であるか又は走行状態が定常走行状態であるかを判断する第２の判断手法を用いてもよい。つまり、いずれの手法を用いてもよい。

【0040】

さらに、上記（１）〜（４）の条件を用いる第１の判断手法と、上記（５）〜（８）の条件を用いる第２の判断手法とを併用する場合には、上記（１）〜（４）の条件のいずれか一つ以上を満たす場合であっても、上記（５）〜（８）の条件のいずれか一つ以上を満たす場合には、現在の走行状態が非定常走行状態である（定常走行状態ではない）と判断する。例えば、車両が低速走行中である一方で、非直進走行中（カーブ走行中）であるという場面もありうる。車両が低速走行中であれば、上記条件（３）を満たし、第１の判断手法によれば定常走行状態であると判断され、車両が非直進走行中（カーブ走行中）であれば、上記条件（５）を満たし、第２の判断手法によれば非定常走行状態であると判断される。このように、第１の判断手法と第２の判断手法で背反する結論が導かれる場合には、非定常走行状態を判断する第２の判断手法を優先する。これにより、第１の判断手法と第２の判断手法とを併用する場合に背反する結論が出たとしても、調整することができる。

【0041】

走行状態が「定常走行状態である」か、「非定常走行状態である（定常走行状態ではない）」かを判定する際の、「判定項目（条件）」と「入力情報」と、「判定結果」とを関係づけた対応情報の一例を下表に示す。「定常走行状態である」か、「非定常走行状態である（定常走行状態ではない）」かの判断結果は、次に説明する提示制御機能へ送出される。

【0042】

【表1】

【0043】

本実施形態の制御装置１０は、運転支援動作情報取得機能が、運転支援装置７０が動作中である旨の情報を取得した場合には、車両の走行状態が定常走行状態であるか否かの判断基準を緩和する。つまり、走行情報に基づいて、現在の走行状態が定常走行状態であると判断する際に用いられる上限閾値は高く変更し、下限閾値は低く変更する。これにより、運転支援装置７０が動作中である場合には、現在の走行状態が定常走行状態であると判断されやすくなる。本実施形態の車室内監視装置１００においては、運転支援装置７０が通常モード（注意を喚起するモードではない）で動作中である場合には、ドライバに係る運転負荷は軽減されているという考えに基づいて、運転支援処理が動作中においては後席へ注意に対して出来る限り映像を提示するようにする。本実施形態の車室内監視装置１００によれば、後席が気になるドライバに対して出来る限り後席の映像を提示することができる。

【0044】

最後に、提示制御機能について説明する。本実施形態の制御装置１０は、走行状態判定機能の判定結果に応じてディスプレイ３０に提示する情報を切り替える。
車両が定常走行中である場面においては、本実施形態の制御装置１０は、変化検出機能により車両の後席の乗員の変化が検出された場合に、後席映像取得機能により取得された後席の映像をディスプレイ３０に表示させる。もちろん、制御装置１０は、表示切替スイッチ３１に表示の切り替え指令が入力された場合には後席の映像をディスプレイ３０に表示することもできる。
他方、車両が非提供走行中である場面においては、本実施形態の制御装置１０は、後席の映像をディスプレイ３０に表示させない。

【0045】

具体的に、本実施形態の制御装置１０は、走行状態判定機能により車両の現在の走行状態が「定常走行状態である」と判定された場合には、後席の乗員の映像をディスプレイ３０に表示させ、他方、車両の現在の走行状態が「定常走行状態では無い」と判定された場合には、後席の映像をディスプレイ３０に表示することを禁止する。つまり、本実施形態の制御装置１０は、走行状態判定機能により車両の現在の走行状態が「定常走行状態である」と判定された場合に限って、後席の映像をディスプレイ３０に表示する。

【0046】

また、本実施形態の制御装置１０は、先述した運転支援動作情報取得機能が運転支援装置７０が動作中であり、その動作において、運転に注意を要する旨の情報を取得した場合には、後席の映像をディスプレイ３０に提示することを禁止する。「運転に注意を要する旨の情報」は、運転支援装置７０の運転支援処理内容に応じて適宜に定義しておくことができる。例えば、定速走行支援を実行している際に、所定車速以上の車速が検出された場合や、定速／所定車間距離の走行支援を実行している際に、自車両前後に車線変更してきた他車両が検出された場合などである。

【0047】

さらに、本実施形態の制御装置１０は、後席の乗員の映像を表示する際に、後席を含む広い範囲の映像である「広域後席映像」と、この広域後席映像に含まれる範囲よりも狭い後席の一部の範囲の映像である「狭域後席映像」とを切り替えて、ディスプレイ３０に表示させる機能を備える。「狭域後席映像」の表示モードは、狭い範囲を大きく拡大した映像を表示する拡大表示モード（ズームアップモード）である。先述した図４（Ｂ）が広域後席映像の一例であり、図４（Ｃ）が狭域後席映像の一例である。制御装置１０は、変化検出機能により車両の後席の乗員の変化が検出された場合においては、変化検出機能により検出された変化があった乗員が所在する（着座する）座席位置に基づいて、変化が検出された後席の「狭域後席映像」（図４（Ｃ）を参照）をディスプレイ３０に表示させる。

【0048】

もちろん、本実施形態の制御装置１０は、例えば、ディスプレイ３０がタッチパネル式の入出力装置である場合には、そのディスプレイ３０の表示切替機能を利用することもできる。すなわち、ユーザが拡大したい箇所（注意したい場所）をタッチした場合には、その部分を中心に拡大された拡大表示モードに変更し、拡大表示モードで再びユーザが所定の操作（タッチ）をすることにより広域表示モードへ戻すことができる。

【0049】

続いて、本実施形態の車室内監視装置１００の制御手順を、図５のフローチャートに基づいて説明する。図５に示す処理内容は、所定周期で連続的に行われる。

【0050】

図５に示すように、車両のエンジンスタート（ＩＧＮ＿ＯＮ）に起因して処理を開始する。まずステップＳ１において、制御装置１０は、表示切替スイッチ３１からの出力である、ドライバによる後席映像表示のリクエスト操作の有無を確認する。

【0051】

次に、ステップＳ２では、ステップＳ１で確認したリクエスト操作が有る場合にはステップＳ６へ進み、リクエスト操作がなければ次へ進む。そしてステップＳ３において、制御装置１０は、車室内カメラ２１からの画像情報又は車室内マイク２２からの音声情報に基づいて乗員の変化を検出する。画像情報を用いる処理では、例えば画像処理による逐次差分処理により車室内後席の映像の経時的な変化から後席各座席での動きを抽出する。音声情報を用いる処理では、集音した音声の音量や周波数の経時的な変化から後席各座席での動きを抽出する。

【0052】

ステップＳ４では、ステップＳ３の抽出結果である後席各座席領域の変化量（画像の動き／音声の変化）に基づいて分岐処理を行う。各座席領域ごとにどれか一つの領域でも所定値以上の大きな変化が検出されている場合には後席に変化乃至以上があると判定してステップＳ５に進み、そうでなければステップＳ１へ戻り処理を繰り返す。

【0053】

次にステップＳ５において、ステップＳ４において後席に変化乃至異常があると判定されているので、変化乃至異常のある座席位置を保存して次に進む。そして、ステップＳ６において、走行情報として機能する車両信号である各種センサ６０（６１〜６７）の各センサ出力値を取得する。

【0054】

ここで、ステップＳ６の後、ステップＳ７へ進んでもよいが、本実施形態ではステップＳ６１，Ｓ６２の処理を行う。ステップＳ６１において、制御装置１０は、運転支援装置７０が動作中であるか否かの情報を取得する。ステップＳ６２において、各運転支援機能が作動している場合には、「定常走行状態である」か否かの判定に用いる基準（閾値）を緩和するように変更する。つまり、「定常走行状態である」ことを判断するための上限閾値を高く変更し、下限閾値を低く変更する。基準の変更後に、ステップＳ７へ進む。これにより「定常走行状態である」と判断され易くする。ステップＳ６１において各運転支援機能が作動していない場合には、ステップＳ７へ進む。

【0055】

ステップＳ７において、制御装置１０は、ステップＳ６において取得した各種センサ群６０の出力値に基づいて現在の走行状態を判定する。走行状態の判定手法は、先に表１とともに説明した手法を用いる。ステップＳ８において、制御装置１０は、ステップＳ７の判定結果である走行状態に基づいて分岐処理を行う。ステップＳ７において、現在の走行状態が定常走行状態であると判定されている場合は、ステップＳ９へ進み、そうでなければステップＳ６へ戻り処理を繰り返す。すなわち、走行状態が非定常走行状態である限り、定常走行状態になるまで後席映像の表示処理は実施されないことになる。

【0056】

そして、ステップＳ９において、ステップＳ１で確認したリクエスト操作、又はステップＳ５で保存した変化乃至異常のある後席位置に基づいて、後席映像の表示モードを広域表示モードまたは拡大表示モード（ズーム）のどちらであるかを確認する。リクエスト操作で特定の座席が指定されていたり、異常のある後席が例えば右側座席であると特定されている場合には図４(Ｃ)のような拡大表示モードとし、そうでなければ図４(Ｂ)のような広域表示モードとする。

【0057】

ステップＳ１０では、ステップＳ９で確認した表示モードに基づいて分岐処理を行う。ステップＳ１０において、拡大表示モードと確認された場合には次に進み、そうでなければステップＳ１３へ進む。ステップＳ１１において、拡大表示を実施するための位置情報を取得する。次にステップＳ１２において、ステップＳ１１で取得した位置情報に基づいてディスプレイ３０に拡大表示をさせる。他方、ステップＳ１０において、拡大表示モードと確認されなかった場合にはステップＳ１３において、ディスプレイ３０に後席の映像を広域表示させる。

【0058】

ステップＳ１４では、表示を開始してから所定時間（例えば１０秒）が経過していたら次の処理に進み、そうでなければ本ステップを繰り返して表示を継続する。その間に、ステップＳ１７の処理を実行する。

【0059】

ステップＳ１７において、運転支援装置７０の警報出力状態に基づいて分岐処理を行う。運転支援装置７０から各運転支援機能に関する警報（例えば先行車への接近警報や車線内のふらつき警報など）が発生している場合には、後席映像の表示を停止するためにステップＳ１５へ進み、そうでなければステップＳ１４へ戻り表示を継続する。

【0060】

ステップＳ１５において、ステップＳ１４で表示を開始してから所定時間が経過していると判定された場合には、ディスプレイ３０を用いた後席映像の表示を停止して次に進む。最後に、ステップＳ１６において、エンジンオフ（ＩＧＮ＿ＯＦＦ）がされた場合は、全ての処理を終了し、そうでなければステップＳ１へ戻り処理を繰り返す。

【0061】

図５に示す制御手順において、ステップＳ２の分岐処理において、ステップ１で確認したリクエスト操作が有る場合にはステップＳ６へ進み、車両の走行状態により後席映像の表示を制限するようにしているが、ドライバのリクエスト操作を優先する場合にはステップＳ９から処理を継続するようにしても良い。

【0062】

本実施形態においては、走行信号に基づいて現在の走行状態が走行環境の変化が少ない定常走行状態であるか否かを判定して、定常走行時に限って後席の映像を表示するので、コーナリング中や加減速中など運転に集中が必要となるシーンでは後席の映像は表示されず、運転者の注意を引き付けることなく後席の映像を提示することができる。

【0063】

本実施形態の車室内監視装置１００によれば、以下の効果を奏する。

【0064】

[１]本実施形態の車室内監視装置１００によれば、走行情報に基づいて現在の走行状態が走行環境の変化が少ない定常走行状態であるか否かを判定して、定常走行時に限って後席の映像を表示し、非定常走行時には後席の映像の表示を禁止するので、コーナリング中や加減速中などドライバが運転に集中する必要がある場面において、運転者は車両操作に集中することができるとともに、必要に応じて後席の状況を確認することができる。

【0065】

[２]本実施形態の車室内監視装置１００によれば、車両の走行情報に基づいて、車両が直進走行をしていること、車両が定速走行をしていること、車両が低速走行をしていること、及び車両と他車両との距離が所定値未満であることのいずれか一つ以上を満たす場合には、車両の走行状態が定常走行状態であると判定するので、車両の現在の走行状態が定常走行状態であるか否かを定量的に判断することができる。

【0066】

[３]本実施形態の車室内監視装置１００によれば、車両が非直進走行をしていること、車両が非定速走行をしていること、車両が非低速走行をしていること、又は車両と他車両との距離が所定値以上であることのいずれか一つ以上を満たす場合には、非定常走行状態であると判定するので、車両の現在の走行状態が非定常走行状態であるか否かを定量的に判断することができる。

【0067】

[４]本実施形態の車室内監視装置１００によれば、車両が直進走行をしていること、車両が定速走行をしていること、車両が低速走行をしていること、及び車両と他車両との距離が所定値未満であることの条件により車両の走行状態が定常走行状態であると判断されても、車両が非直進走行をしていること、車両が非定速走行をしていること、車両が非低速走行をしていること、又は車両と他車両との距離が所定値以上であることのいずれか一つ以上を満たす場合には、非定常走行状態であると判定するので、判断条件によって背反する結論が出たとしても調整することができる。この場合いは非定常走行状態であると判定が優先されるので、ドライバが運転に集中する場面においては、たとえ定常走行状態の条件を満たしたとしても、後席の映像を提示することを抑制することができる。

【0068】

[５] 本実施形態の車室内監視装置１００によれば、後席の乗員の変化が検出された場合に後席の映像を表示するので、後席の乗員の状態を適切なタイミングで確認することができる。

【0069】

[６] 本実施形態の車室内監視装置１００によれば、後席の映像の画像情報から抽出された後席の乗員の動きの量に基づいて、車両の後席の乗員の変化を検出するので、後席で大きな動きを検知した場合に後席の映像を表示することができる。例えば、子供が大きく動いて何かしそうなときに、ドライバが特別な表示操作をすることなく後席の映像を見ることができる。

【0070】

[７] 本実施形態の車室内監視装置１００によれば、取得された音声の情報から抽出された後席の乗員の発生音の音量に基づいて、車両の後席の乗員の変化を検出するので、後席で大きな音を検知した場合に後席の映像を表示することができる。例えば、子供が泣いたり、大きな音がしたときに、ドライバが特別な表示操作をすることなく後席の映像を見ることができる。

【0071】

[８]本実施形態の車室内監視装置１００によれば、後席の乗員の変化が検出された場合には、変化が検出された後席の狭域後席映像（拡大映像）を表示するので、後席に変化や異常が検知された場合に、その変化や異常が検知された座席を拡大表示するようので、ドライバが特別な操作をすることなく確認したい場所を細かく観察できる映像を見ることができる。

【0072】

[９]本実施形態の車室内監視装置１００によれば、運転支援装置７０が動作中である旨の情報を取得した場合には、車両の走行状態が定常走行状態であるか否かの判断基準を緩和するので、運転支援装置７０が作動し、運転負荷が軽減されている場面においては、通常の運転負荷を負う場面よりも、後席が気になるドライバの要求にできるだけ応えて後席の映像を提示することができる。

【0073】

[１０]本実施形態の車室内監視装置１００では、運転支援装置７０が動作中であり、かつ運転に注意を要する旨の情報を取得した場合には、後席の映像をディスプレイ３０に表示することを禁止するので、運転支援装置７０が運転に注意を要する判断した場面においては、運転者の注意を引き付けないようにすることができる。

【0074】

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0075】

すなわち、本明細書では、本発明に係る車室内監視装置１００と車載装置２００とを備える車室モニタリングシステム１を例にして説明するが、本発明はこれに限定されるものではない。

【0076】

本明細書では、本発明に係る車室内監視装置の一態様として、制御装置１０と、検出装置２０と、ディスプレイ３０とを備える車室内監視装置１００を一例として説明するが、これに限定されるものではない。

【0077】

本明細書では、後席映像取得手段と、提示手段と、走行状態判定手段と、提示制御手段と、を備える本発明に係る車室内監視装置の一例として、後席映像取得機能と、走行状態判定機能と、提示制御機能とを実行する制御装置１０と、ディスプレイ３０とを有する車室内監視装置１００を一例として説明するが、これに限定されるものではない。

【符号の説明】

【0078】

１…車室モニタリングシステム
１００…車室内監視装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…検出装置
２１，２１ＲＲ，２１ＲＬ…カメラ
２２，２２ＲＲ，２２ＲＬ…マイク
３０…ディスプレイ
２００…車載装置
５０…車両コントローラ
６０…各種センサ
７０…運転支援装置
８０…ナビゲーション装置
９０…他車両検出装置

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】