特開 2022-186060 車内監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186060

(43)【公開日】2022-12-15

(54)【発明の名称】車内監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221208BHJP

   B60R 11/04 20060101ALI20221208BHJP

   G06T 1/00 20060101ALI20221208BHJP

   G06T 7/00 20170101ALI20221208BHJP

   G06T 7/20 20170101ALI20221208BHJP

   G06T 7/215 20170101ALI20221208BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 K

B60R11/04

G06T1/00 330Z

G06T7/00 650Z

G06T7/20 300Z

G06T7/215

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021094085

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(72)【発明者】

【氏名】松岡 正道

(72)【発明者】

【氏名】工藤 信範

【テーマコード（参考）】

3D020

5B057

5C054

5L096

【Ｆターム（参考）】

3D020BA20

3D020BC03

3D020BD03

3D020BD05

3D020BE03

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CD20

5B057CE08

5B057CE09

5B057DA08

5B057DB02

5B057DB09

5B057DC30

5C054AA01

5C054CA04

5C054CC02

5C054FC12

5C054FD03

5C054HA30

5L096AA06

5L096BA04

5L096CA04

5L096DA01

5L096DA02

5L096EA35

5L096HA02

(57)【要約】

【課題】車内カメラで撮影した映像から監視できない領域の範囲を低減する「車内監視システム」を提供する。
【解決手段】ドアミラーや鏡面仕上げされた加飾部品や金属部品などの、反射率が高い自動車の構造物や、乗員の瞳や、乗員の反射率が高いアクセサリーや荷物を反射物とし設定する。車内カメラ２によって撮影できない領域を撮影不可領域として算定し、車内カメラ２の撮影映像内の反射物の反射による像が映り込む領域を反射像範囲として算定し、反射像範囲に反射による像が映り込む領域を被反射領域として算定する。撮影不可領域と被反射領域とが重複する領域を補完領域として、車内カメラ２の撮影映像中の、反射物の反射による補完領域の映像部分を、補完領域の映像として用いて車内を監視する。
【選択図】図６

【特許請求の範囲】

【請求項1】

車内を監視する車内監視システムであって、
車内のようすを撮影するカメラと、
前記カメラによって撮影できない車内の領域の少なくとも一部を撮影不可領域として設定する撮影不可領域設定手段と、
前記カメラが撮影した映像である撮影映像中の、自動車の構成部品の反射による像が表れる範囲を反射像範囲として設定する反射像範囲設定手段と、
前記反射像範囲に反射による像が表れる車内の領域を、被反射領域として設定する被反射領域設定手段と、
前記被反射領域の内の、前記撮影不可領域と重複する部分を少なくとも含む領域を補完領域として設定する補完領域設定手段と、
前記撮影映像の前記反射像範囲内の、前記構成部品の反射による前記補完領域の映像を、当該補完領域のようすを表す映像である補完映像に設定する補完映像設定手段とを有することを特徴とする車内システム。

【請求項2】

請求項１記載の車内監視システムであって、
前記自動車の構成部品は、自動車の後方確認用のミラーと、自動車の内装部品と、自動車の金属部品と、自動車のウインドウシールドとのうちの、いずれか１つを少なくとも含むことを特徴とする車内監視システム。

【請求項3】

車内の状況を監視する車内監視システムであって、
車内のようすを撮影するカメラと、
前記カメラによって撮影できない車内の領域の少なくとも一部を撮影不可領域として設定する撮影不可領域設定手段と、
前記カメラが撮影した映像である撮影映像中の、自動車の乗員の瞳の反射による像が表れる範囲を反射像範囲として設定する反射像範囲設定手段と、
前記反射像範囲に反射による像が表れる車内の領域を、被反射領域として設定する被反射領域設定手段と、
前記被反射領域の内の、前記撮影不可領域と重複する部分を少なくとも含む領域を補完領域として設定する補完領域設定手段と、
前記撮影映像の前記反射像範囲内の、前記瞳の反射による前記補完領域の映像を、当該補完領域のようすを表す映像である補完映像に設定する補完映像設定手段とを有することを特徴とする車内監視システム。

【請求項4】

車内の状況を監視する車内監視システムであって、
車内のようすを撮影するカメラと、
前記カメラによって撮影できない車内の領域の少なくとも一部を撮影不可領域として設定する撮影不可領域設定手段と、
前記カメラが撮影した映像である撮影映像中の、自動車の乗員によって車内に持ち込まれた物品の反射による像が表れる範囲を反射像範囲として設定する反射像範囲設定手段と、
前記反射像範囲に反射による像が表れる車内の領域を、被反射領域として設定する被反射領域設定手段と、
前記被反射領域の内の、前記撮影不可領域と重複する部分を少なくとも含む領域を補完領域として設定する補完領域設定手段と、
前記撮影映像の前記反射像範囲内の、前記物品の反射による前記補完領域の映像を、当該補完領域のようすを表す映像である補完映像に設定する補完映像設定手段とを有し、
前記物品は、前記乗員が身につけたアクセサリーと、前記乗員の携帯物と、前記乗員の荷物とのうちのいずれか１つを少なくとも含むことを特徴とする車内監視システム。

【請求項5】

車内の状況を監視する車内監視システムであって、
車内のようすを撮影するカメラと、
前記カメラによって撮影できない車内の領域の少なくとも一部を撮影不可領域として設定する撮影不可領域設定手段と、
前記カメラが撮影した映像である撮影映像を解析し、反射物の反射による像が表れる範囲である反射像範囲を算定する反射像範囲設定手段と、
前記反射像範囲に反射による像が表れる車内の領域を、被反射領域として算定する被反射領域設定手段と、
前記被反射領域の内の、前記撮影不可領域と重複する部分を少なくとも含む領域を補完領域として設定する補完領域設定手段と、
前記撮影映像の前記反射像範囲内の、前記所持品の反射による前記補完領域の映像を、当該補完領域のようすを表す映像である補完映像に設定する補完映像設定手段とを有することを特徴とする車内監視システム。

【請求項6】

請求項５記載の車内監視システムであって、
前記反射像範囲設定手段は、前記撮影映像中の、乗員による動きに連動して変化する像が表れる範囲であって、当該動きの反射によらない映像が表れる範囲と異なる範囲を、前記反射像範囲として算定することを特徴とする車内監視システム。

【請求項7】

請求項５または６記載の車内監視システムであって、
前記被反射領域設定手段は、前記反射像範囲に基づいて算出した前記反射物の位置と、
前記撮影映像中の前記反射像範囲の像と重複もしくは連続する像が表れる、前記撮影映像中の前記反射像範囲外の部分より求まる、前記被反射領域が前記カメラに対して遮蔽されていない場合に前記反射像範囲の像と同じ像が表れるべき前記撮影映像中の位置と
の少なくとも一方に基づいて、前記被反射領域を算定することを特徴とする車内監視システム。

【請求項8】

請求項１、２、３、４、５、６または７記載の車内監視システムであって、
車内の物体の態様を検出し、検出した物体の態様に基づいて、車内の物体によって前記カメラに対して遮蔽されている領域を死角領域として算定する死角領域算定手段を有し、
前記撮影不可領域設定手段は、前記死角領域を含むように前記撮影不可領域を設定することを特徴とする車内監視システム。

【請求項9】

請求項１、２、３、４、５、６、７または８記載の車内監視システムであって、
前記撮影画像を用いて車内を監視する所定の監視処理を行う監視手段を有し、
前記監視手段は、前記監視処理において、前記補完映像を用いて前記補完領域の監視を行うことを特徴とする車内監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮影した映像を用いて車内を監視する技術に関するものである。

【背景技術】

【0002】

カメラで撮影した映像を用いて車内を監視する技術としては、ルームミラーの位置に配置したカメラで撮影した映像を記録する技術（たとえば、特許文献１）や、カメラで撮影した車内のようすの、乗車時と降車時の変化の有無より、車内への忘れ物の有無を検出する技術（たとえば、特許文献２）が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１-１１９６８７号公報

【特許文献2】特開２００６-３３８５３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラで撮影した映像を用いて車内を監視する場合、座席や乗員や荷物によってカメラに対して隠蔽される死角領域や、カメラの画角範囲外の車内の撮影範囲外領域等の、カメラによって撮影できない領域である撮影不可領域については監視を行うことができない。

【0005】

多数のカメラを異なる位置に配置すれば、全体としての撮影不可領域を減ずることができるが、コストの増加を招くこととなる。また、カメラを配置できる位置が限られる場合には、撮影不可領域を充分に減ずることができなないことがある。また、標準的なシートアレンジのときに、撮影不可領域が無くなるように複数のカメラを配置しても、シートアレンジの変更等により死角領域が撮影不可領域として発生してしまうこともある。

【0006】

そこで、本発明は、多数のカメラを用いることなく、カメラで撮影した映像から監視できない領域の範囲を低減することを課題とする

【課題を解決するための手段】

【0007】

前記課題達成のために、本発明は、車内を監視する車内監視システムに、車内のようすを撮影するカメラと、前記カメラによって撮影できない車内の領域の少なくとも一部を撮影不可領域として設定する撮影不可領域設定手段と、前記カメラが撮影した映像である撮影映像中の、自動車の構成部品の反射による像が表れる範囲を反射像範囲として設定する反射像範囲設定手段と、前記反射像範囲に反射による像が表れる車内の領域を、被反射領域として設定する被反射領域設定手段と、前記被反射領域の内の、前記撮影不可領域と重複する部分を少なくとも含む領域を補完領域として設定する補完領域設定手段と、前記撮影映像の前記反射像範囲内の、前記構成部品の反射による前記補完領域の映像を、当該補完領域のようすを表す映像である補完映像に設定する補完映像設定手段とを設けたものである。

【0008】

ここで、前記自動車の構成部品は、自動車の後方確認用のミラーと、自動車の内装部品と、自動車の金属部品と、自動車のウインドウシールドとのうちの、いずれか１つを少なくとも含むものとしてよい。

【0009】

また、前記課題達成のために、本発明は、車内の状況を監視する車内監視システムに、車内のようすを撮影するカメラと、前記カメラによって撮影できない車内の領域の少なくとも一部を撮影不可領域として設定する撮影不可領域設定手段と、前記カメラが撮影した映像である撮影映像中の、自動車の乗員の瞳の反射による像が表れる範囲を反射像範囲として設定する反射像範囲設定手段と、前記反射像範囲に反射による像が表れる車内の領域を、被反射領域として設定する被反射領域設定手段と、前記被反射領域の内の、前記撮影不可領域と重複する部分を少なくとも含む領域を補完領域として設定する補完領域設定手段と、前記撮影映像の前記反射像範囲内の、前記瞳の反射による前記補完領域の映像を、当該補完領域のようすを表す映像である補完映像に設定する補完映像設定手段とを設けたものである。

【0010】

また、前記課題達成のために、本発明は、車内の状況を監視する車内監視システムに、車内のようすを撮影するカメラと、前記カメラによって撮影できない車内の領域の少なくとも一部を撮影不可領域として設定する撮影不可領域設定手段と、前記カメラが撮影した映像である撮影映像中の、自動車の乗員によって車内に持ち込まれた物品の反射による像が表れる範囲を反射像範囲として設定する反射像範囲設定手段と、前記反射像範囲に反射による像が表れる車内の領域を、被反射領域として設定する被反射領域設定手段と、前記被反射領域の内の、前記撮影不可領域と重複する部分を少なくとも含む領域を補完領域として設定する補完領域設定手段と、前記撮影映像の前記反射像範囲内の、前記物品の反射による前記補完領域の映像を、当該補完領域のようすを表す映像である補完映像に設定する補完映像設定手段とを設けたものである。ここで、前記物品は、前記乗員が身につけたアクセサリーと、前記乗員の携帯物と、前記乗員の荷物とのうちのいずれか１つを少なくとも含む。

【0011】

また、前記課題達成のために、本発明は、車内の状況を監視する車内監視システムに、車内のようすを撮影するカメラと、前記カメラによって撮影できない車内の領域の少なくとも一部を撮影不可領域として設定する撮影不可領域設定手段と、前記カメラが撮影した映像である撮影映像を解析し、反射物の反射による像が表れる範囲である反射像範囲を算定する反射像範囲設定手段と、前記反射像範囲に反射による像が表れる車内の領域を、被反射領域として算定する被反射領域設定手段と、前記被反射領域の内の、前記撮影不可領域と重複する部分を少なくとも含む領域を補完領域として設定する補完領域設定手段と、前記撮影映像の前記反射像範囲内の、前記所持品の反射による前記補完領域の映像を、当該補完領域のようすを表す映像である補完映像に設定する補完映像設定手段とを設けたものである。

【0012】

ここで、このような車内監視システムにおいて、反射像範囲設定手段は、前記カメラが撮影した映像である撮影映像を解析し、当該撮影映像中の、乗員による動きに連動して変化する像が表れる範囲であって、当該動きの反射によらない映像が表れる範囲と異なる範囲を、反射物の反射による像が表れる範囲である反射像範囲として算定してもよい。

【0013】

また、このような車内監視システムにおいて、前記被反射領域設定手段は、前記反射像範囲に基づいて算出した前記反射物の位置と、前記撮影映像中の前記反射像範囲の像と重複もしくは連続する像が表れる、前記撮影映像中の前記反射像範囲外の部分より求まる、前記被反射領域が前記カメラに対して遮蔽されていない場合に前記反射像範囲の像と同じ像が表れるべき前記撮影映像中の位置との少なくとも一方に基づいて、前記被反射領域を算定してよい。

【0014】

また、以上の車内監視システムに、車内の物体の態様を検出し、検出した物体の態様に基づいて、車内の物体によって前記カメラに対して遮蔽されている領域を死角領域として算定する死角領域算定手段を設け、前記撮影不可領域設定手段において、前記死角領域を含むように前記撮影不可領域を設定するようにしてもよい。

【0015】

また、以上の車内監視システムに、前記撮影画像を用いて車内を監視する所定の監視処理を行う監視手段を設け、前記監視手段が、前記監視処理において、前記補完映像を用いて前記補完領域の監視を行うように構成してもよい。

【0016】

以上のような車内監視システムによれば、カメラで映像を直接撮影可能な領域の監視に加え、カメラの画角の範囲外の領域である撮影範囲外の領域や座席や乗員や荷物によってカメラに対して隠蔽される車内の領域である死角領域などの撮影不可領域を、少なくとも部分的に、自動車の後方確認用のミラーや内装部品や金属部品などの構成部品や、乗員の瞳や、乗員によって車内に持ち込まれた物品などの自動車に既存の反射物の反射を利用する、大きなコストの増加を招かない形態で監視することができる。

【発明の効果】

【0017】

以上のように、本発明によれば、多数のカメラを用いることなく、カメラで撮影した映像から監視できない領域の範囲を低減することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係る車内監視システムの構成を示すブロック図である。

【図2】本発明の実施形態に係る車内カメラの配置を示す図である。

【図3】本発明の実施形態に係る補完設定算定処理を示すフローチャートである。

【図4】本発明の実施形態において用いる反射物の例を示す図である。

【図5】本発明の実施形態に係る監視映像生成処理を示すフローチャートである。

【図6】本発明の実施形態において反射像から監視可能となる領域の例を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について説明する。
図１に、車内監視システムの構成を示す。
車内監視システムは自動車に搭載されるシステムであり、図示するように、状態センサ１、車内カメラ２、監視映像生成部３、補完設定算定部４、監視映像利用システム５を備えている。

【0020】

状態センサ１は、自動車の座席の位置や座席の背もたれの角度等の、自動車の各種状態を検出するセンサである。
車内カメラ２は、車内のようすを撮影する車内カメラ２であり、車内カメラ２は、たとえば、図２ａ、ｂに示すように、自動車のダッシュボード上に配置された後方方向を撮影する。ここで、車内カメラ２は、赤外線車内カメラや３次元計測が可能なステレオカメラであってよい。

【0021】

図１に戻り、補完設定算定部４は、監視映像生成部３の補完設定を算定し、監視映像生成部３は補完設定に従って、車内カメラ２で撮影した映像から、車内のようすを表す監視映像を生成する。ここで、この補完設定と、補完設定に従った監視映像の生成の動作については、後に詳述する。

【0022】

監視映像利用システム５は、監視映像生成部３が出力する監視映像を利用した監視処理を行うシステムであり、監視処理としては、たとえば、監視映像の記録や再生の処理や、忘れ物の検出の処理や、車内の乗員の状態を検出する処理や、車内における所定のイベントの発生を検出する処理などがある。

【0023】

次に、補完設定算定部４の動作について説明する。
補完設定算定部４は、常時、直近の過去一定期間分の、車内カメラ２の撮影映像を記憶する。
また、補完設定算定部４は、定期的に補完設定算定処理を繰り返し行う。
図３に、この補完設定算定処理の手順を示す。
図示するように、補完設定算定処理において補完設定算定部４は、まず、車内カメラ２の画角の範囲外の領域である撮影範囲外の領域と、座席や乗員や荷物によって車内カメラ２に対して隠蔽される車内の領域である死角領域とを、車内カメラ２によって撮影できない領域である撮影不可領域として算定する（ステップ３０２）。

【0024】

ここで、車内カメラ２の撮影範囲外の領域は、車内カメラ２の撮影範囲に応じて予め設定する。また、死角領域は、たとえば、状態センサ１で検出した自動車の座席の位置や座席の背もたれの角度や、車内カメラ２で撮影した映像に対する画像認識処理で識別した座席や乗員や荷物の位置や形状等から求まる物体が車内で車内カメラ２の画角に対して占める範囲と、車室の構造から算定する。

【0025】

そして、次に、車内カメラ２の撮影映像を解析し、撮影映像内の反射物の範囲である反射像範囲として算定する（ステップ３０４）。
反射物とは、車内カメラ２の撮影範囲内にある、車内カメラ２で撮影した映像から反射による像を識別可能な程度に反射率が高い物体であり、図４ａに示すドアミラー４０１、図４ｂに示すピアノブラック色などに鏡面仕上げされたドアトリム４０２などの加飾部品や金属部品、図４ｃに示す乗員の瞳４０３や、乗員が身につけている宝石や貴金属などの反射率が高いアクセサリー４０４や、手鏡などの乗員の荷物４０５等が該当する。また、夜間においては、図４ｄに示す夜間における自動車のサイドウインドウシールド４０６等も反射物に該当する。ただし、車内カメラ２が赤外線車内カメラであり、サイドウインドウシールド４０６が赤外線カットガラスである場合には、日中においてもウインドウシールドは反射物となる。

【0026】

そして、反射像範囲は、たとえば、次のように算定する。
すなわち、記憶している過去一定期間内に車内カメラ２で撮影した映像から、乗員による動きの発生を検出し、検出した動きと同期した、検出した動きの像と同様の像が発生した映像内の領域の範囲を反射像範囲として算定する。

【0027】

ただし、ドアミラーや自動車の加飾部品や金属部品やウインドウシールド等の固定的に存在する反射物については、反射像範囲を予め求めて登録しておき、ステップ３０４では、登録しておいた反射像範囲を用いるようにしてもよい。

【0028】

また、乗員の瞳である反射物については、車内カメラ２で撮影した映像から、映像中の乗員の瞳の範囲を画像認識し、認識した瞳の像の範囲を反射像範囲としてもよい。また、その他の反射物についても、車内カメラ２で撮影した映像中の反射物を画像認識し、認識した反射物の像の範囲を反射像範囲としてもよい。

【0029】

そして、次に、反射像範囲が検出できたかどうかを調べ（ステップ３０６）、検出できていない場合には、補完設定として補完無しを監視映像生成部３に設定し（ステップ３２０）、補完設定算定処理を終了する。

【0030】

一方、反射像範囲が検出できた場合には（ステップ３０６）、反射像範囲を検出した各反射物について反射物の属性を算定し、算定した属性を反射物属性として登録する（ステップ３０８）。ここでは、反射物の属性としては、自動車に対して固定されている反射物の属性である「固定」、自動車に対して可動な反射物の属性である「可動」、反射物として常時機能する反射物の属性である「常時」、反射物として機能するときと機能しないときがある反射物の属性である「不定」などを用いる。

【0031】

ここで、反射物の属性の算定は、車内カメラ２で撮影した映像の反射像範囲の像から、反射物の種別を識別し、予め種別に対応づけておいた属性を求めることにより行う。ただし、ドアミラーや自動車の加飾部品や金属部品やウインドウシールド等の固定的に存在する反射物については、予め対応する属性を登録しておき、ステップ３０８では、登録しておいた属性を用いるようにしてよい。

【0032】

次に、各反射像範囲について、被反射領域を算定する（ステップ３１０）。
被反射領域とは、反射像範囲に、その領域の像が写り込んでいる車内の領域、すなわち、反射像範囲に対応する反射物の反射による像が車内カメラ２によって撮影される車内の領域である。

【0033】

被反射領域は、反射像範囲に対応する反射物の位置と車内カメラ２の位置との位置関係や、車内カメラ２が撮影した映像の反射像範囲内の像と、車内カメラ２が撮影した映像中の他の部分の像の形態の重複や連続性等から算定する。

【0034】

ここで、属性が「固定」の反射物については、反射物の位置は、反射像範囲の映像内の位置より求まる反射物の車内カメラ２に対する方向と、自動車の車室の構造より算定するようにしてもよいし、予め反射物の位置を計測して登録しておいてもよい。また、属性が「可動」の反射物については、反射物の位置は、反射像範囲の映像内の位置より求まる反射物の車内カメラ２に対する方向と、状態センサ１で検出した自動車の座席の位置や座席の背もたれの角度などの座席の状態や、車室の構造等からおおよその位置を反射物の位置として算定する。

【0035】

また、反射物の位置は、車内カメラ２として３次元計測が可能なステレオカメラを用いて、直接その位置を計測することにより算定してもよい。
また、車内カメラ２が撮影した映像の反射像範囲内の像と、車内カメラ２が撮影した映像中の他の部分の像の形態の重複や連続性からの被反射領域の算出は、たとえば、反射像範囲内の像と形態が重複もしくは連続する車内カメラ２が撮影した映像中の他の部分を求め、求めた部分と反射像範囲内の像との重複または連続の形態から、遮蔽物がなければ、反射像範囲内の像と同じ像が表れるべき車内カメラ２が撮影した映像中の範囲を算定し、算定した範囲の映像内の位置より被反射領域の車内カメラ２に対する方向を求め、求めた方向と、自動車の車室の構造より被反射領域を算定すること等により行う。

【0036】

次に、ステップ３１０で算定した被反射領域とステップ３０２で算定した撮影不可領域とが重複する部分の領域を補完領域に設定する（ステップ３１２）。
そして、補完領域が有るかどうかを調べ（ステップ３１４）、被反射領域と撮影不可領域に重複がなく、補完領域が無い場合には、補完設定として補完無しを監視映像生成部３に設定し（ステップ３２０）、補完設定算定処理を終了する。

【0037】

一方、被反射領域と撮影不可領域に重複部分である補完領域が有る場合には（ステップ３１４）、反射像範囲内の、補完領域の反射物の反射による像が表れている範囲を補完像範囲として設定する（ステップ３１６）。

【0038】

そして、各補完領域について求めた、補完像範囲と補完領域との組の各々を補完設定として監視映像生成部３に設定し（ステップ３１８）、補完設定算定処理を終了する。
以上、補完設定算定部４が行う補完設定算定処理について説明した。
ここで、以上の補完設定算定処理では、ステップ３１２で、被反射領域の全体を補完領域に設定し、ステップ３１６で反射像範囲の全体を補完像範囲として設定するようにしてもよい。

【0039】

また、以上の補完設定算定処理では、属性が「固定」かつ「常時」の反射物が登録されている場合には、当該反射物については、ステップ３０４、３０８-３１２、３１６の処理を省略し、ステップ３１８において、先に当該反射物に対して算定された補完領域と補完像範囲を用いるようにしてもよい。

【0040】

次に、監視映像生成部３が行う監視映像生成処理について説明する。
図５に、この監視映像生成処理の手順を示す。
図示するように、監視映像生成処理において、監視映像生成部３は、補完設定が補完無しであるかどうか判定し（ステップ５０２）、補完無しであった場合には、車内カメラ２の撮影映像を、監視映像として、監視映像利用システム５に出力する（ステップ５１０）。そして、ステップ５０２からの処理に戻る。

【0041】

監視映像利用システム５は、監視映像生成部３から監視映像として車内カメラ２の撮影映像のみが出力された場合には、車内カメラ２の撮影映像に対して、映像の記録や再生の処理や、忘れ物の検出の処理や、車内の乗員の状態を検出する処理や、車内における所定のイベントの発生を検出する処理などの所定の監視処理を行う
一方、補完設定が補完無しでなかった場合には（ステップ５０２）、各補完設定について、車内カメラ２の撮影映像中の補完像範囲の像を抽出し（ステップ５０４）、各補完設定について、補完領域と車内カメラ２との位置関係に従ったアフィン変換等の視点変換処理により、当該補完設定に対して抽出した補完像範囲の像を、車内カメラ２の位置から補完領域を撮影した場合に得られる像である視点変換映像に変換する（ステップ５０６）。

【0042】

そして、各補完設定について生成した視点変換映像と車内カメラ２の撮影映像とを、監視映像として、監視映像利用システム５に出力する（ステップ５０８）。そして、ステップ５０２からの処理に戻る。
監視映像利用システム５は、監視映像生成部３から監視映像として視点変換映像と車内カメラ２の撮影映像との双方が出力された場合には、視点変換映像と車内カメラ２の撮影映像との双方に対して、所定の監視処理を行う。したがって、この場合、監視映像利用システム５は、車内カメラ２で直接撮影できない撮影不可領域の少なくとも一部である補完領域の監視処理も行うこととなる。

【0043】

以上、監視映像生成部３が行う監視映像生成処理について説明した。
なお、監視映像生成処理が、補完設定が補完無しでなかった場合に行う処理は、車内カメラ２の撮影映像と、車内カメラ２の撮影映像中の補完像範囲の像とが、補完像範囲の像が車内のどの領域の像であるかを識別可能な形態で出力するものであれば、他の処理としてもよい。

【0044】

たとえば、監視映像生成処理が、補完設定が補完無しでなかった場合に行う処理は、車内カメラ２の撮影映像と、車内カメラ２の撮影映像中の補完像範囲の像と、補完領域の情報を監視映像利用システム５に出力する処理としてもよい。

【0045】

または、監視映像生成処理が、補完設定が補完無しでなかった場合に行う処理は、車内カメラ２の撮影映像と、車内カメラ２の撮影映像中の各補完像範囲の像との双方を、車室上方に設定した所定の視点位置から撮影した場合に得られる像に変換し、変換した各像を、車室上方の視点から車内を観察したようすを表す１つの映像に合成し、合成した映像を監視映像として監視映像利用システム５に出力する処理としてもよい。

【0046】

以上のように、本車内監視システムによれば、車内カメラ２で映像を直接撮影可能な領域の監視に加え、車内カメラ２の画角の範囲外の領域である撮影範囲外の領域や、座席や乗員や荷物によって車内カメラ２に対して隠蔽される車内の領域である死角領域を、少なくとも部分的に、自動車に既存の反射物の反射を利用する大きなコストの増加を招かない形態で監視することができる。

【0047】

すなわち、たとえば、図６ａに示すように、前席の乗員の瞳の反射による像を用いて、車内カメラ２の撮影範囲外の領域となる、前席の前下方の空間６０１を監視したり、図６ｂに示すように、サイドウインドウやドアトリムの反射による像を用いて、車内カメラ２に対して前席によって遮蔽された死角領域となる、後席の座面周辺や後席の前下方の空間６０２を監視したりすることができるようになる。

【0048】

なお、以上の実施形態では、車内カメラ２を１つだけダッシュボード上に設けた形態について示したが、車内カメラ２の数や配置の形態は他の形態であってもよい。

【符号の説明】

【0049】

１…状態センサ、２…車内カメラ、３…監視映像生成部、４…補完設定算定部、５…監視映像利用システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】