知財求人 - 知財ポータルサイト「IP Force」
▶ パナソニックオートモーティブシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-10
(45)【発行日】2024-09-19
(54)【発明の名称】インキャビンモニタリングシステムおよび車室内検知方法
(51)【国際特許分類】
B60Q 3/80 20170101AFI20240911BHJP
B60Q 3/20 20170101ALI20240911BHJP
B60Q 3/258 20170101ALI20240911BHJP
B60Q 3/225 20170101ALI20240911BHJP
B60Q 3/283 20170101ALI20240911BHJP
B60Q 3/74 20170101ALI20240911BHJP
G06T 7/254 20170101ALI20240911BHJP
【ＦＩ】
B60Q3/80
B60Q3/20
B60Q3/258
B60Q3/225
B60Q3/283
B60Q3/74
G06T7/254 A
【請求項の数】
10
(21)【出願番号】P 2021058776
(22)【出願日】2021-03-30
(65)【公開番号】P2022155335
(43)【公開日】2022-10-13
【審査請求日】2023-09-19
(73)【特許権者】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】高橋 英樹
(72)【発明者】
【氏名】竹中 真治
(72)【発明者】
【氏名】三野 吉輝
(72)【発明者】
【氏名】帆谷 竜起
【審査官】當間 庸裕
(56)【参考文献】
【文献】特開２０１３－１９１０５３（ＪＰ，Ａ）
【文献】特開２０２０－１９４４１６（ＪＰ，Ａ）
【文献】特開２０２１－０４７６０６（ＪＰ，Ａ）
【文献】国際公開第２０１９／１４２８５２（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２０／０２９３７９９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｑ ３／８０
Ｂ６０Ｑ ３／２０
Ｂ６０Ｑ ３／２５８
Ｂ６０Ｑ ３／２２５
Ｂ６０Ｑ ３／２８３
Ｂ６０Ｑ ３／７４
Ｇ０６Ｔ ７／２５４
(57)【特許請求の範囲】
【請求項1】
車両の車室内を撮像するカメラと、前記車室内に光を照射する光源と、
前記カメラおよび前記光源を制御する制御部と、
を備え、
前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能であり、
前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像し、
さらに、前記制御部は、前記車両のドアロック解除信号または前記車両のドアロック信号を受け付けた場合に、前記光源を前記第２の光で発光させる前に前記第１の光で発光させた状態で、前記カメラで前記車室内を撮像し、前記車室内における人の有無を判断する
インキャビンモニタリングシステム。
【請求項2】
前記制御部は、前記車両に人が乗車する前であって前記ドアロック解除信号を受け付けたときに、前記カメラで前記車室内を撮像し、および、前記車両から人が降車した後であって前記ドアロック信号を受け付けたときに、前記カメラで前記車室内を撮像する請求項１に記載のインキャビンモニタリングシステム。
【請求項3】
前記制御部は、前記ドアロック解除信号を受け付けて前記車室内を撮像したときの画像と、前記ドアロック信号を受け付けて前記車室内を撮像したときの画像とを比較することで、前記車室内に置かれた物の状態の違いを判断する請求項２に記載のインキャビンモニタリングシステム。
【請求項4】
前記車室内に置かれた物の状態の違いは、前記車室内に置かれた物の有無、および、前記車室内に置かれた物の破損または汚れの有無の少なくとも１つである請求項３に記載のインキャビンモニタリングシステム。
【請求項5】
前記制御部は、前記車室内に置かれた物の状態が違うと判断した場合に、異常信号を出力する請求項３または４に記載のインキャビンモニタリングシステム。
【請求項6】
前記制御部は、前記車室内に人がいると判断した場合に、前記光源を前記第２の光で発光させず、前記車室内に人がいないと判断した場合に、前記光源を前記第２の光で発光させ、かつ、前記カメラで前記車室内を撮像する請求項１に記載のインキャビンモニタリングシステム。
【請求項7】
車両の車室内を撮像するカメラと、前記車室内に光を照射する光源と、
前記カメラおよび前記光源を制御する制御部と、
過去に撮像した複数の画像を保存する記憶部と、
を備え、
前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能であり、
前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像し、
さらに、前記制御部は、前記記憶部に保存された前記複数の画像から、現在撮像した画像の前記車室内のレイアウトに最も近いレイアウトを有する画像を選択し、選択した前記画像と前記現在撮像した画像とを比較することで、前記車室内に置かれた物の状態の違いを判断する
インキャビンモニタリングシステム。
【請求項8】
前記制御部は、前記カメラを用いて過去に撮像した画像と、現在撮像した画像とを比較することで、前記車室内のメンテナンスの要否を判断する請求項１～７のいずれか１項に記載のインキャビンモニタリングシステム。
【請求項9】
前記カメラおよび前記光源は、前記車室内の天井、オーバーヘッドコンソール、ルームミラー、ダッシュボード、ステアリングコラム、リアビューミラーまたはＡピラー、Ｂピラー、Ｃピラー、Ｄピラーに設けられている請求項１～８のいずれか１項に記載のインキャビンモニタリングシステム。
【請求項10】
車両の車室内を検知する車室内検知方法であって、前記車両に人が乗車する前に、カメラで人の有無を確認するときに照射する第１の光よりも強い第２の光を照射して、前記車室内を撮像するステップと、
前記車両から人が降車した後に、前記カメラで人の有無を確認するときに照射する前記第１の光よりも強い前記第２の光を照射して、前記車室内を撮像するステップと、
前記車両に人が乗車する前に前記車室内を撮像したときの画像と、前記車両から人が降車した後に前記車室内を撮像したときの画像とを比較するステップと、
前記車両のドアロック解除信号または前記車両のドアロック信号を受け付けた場合に、前記車室内に光を照射する光源を前記第２の光で発光させる前に前記第１の光で発光させた状態で、前記カメラで前記車室内を撮像し、前記車室内における人の有無を判断するステップと、
を含む車室内検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両の車室内をモニタリングするインキャビンモニタリングシステム、および、車室内検知方法に関する。
【背景技術】
【0002】
従来、車両の車室内をモニタリングするインキャビンモニタリングシステム（Ｉｎ－Ｃａｂｉｎ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）が知られている。この種のインキャビンモニタリングシステムの一例として、特許文献１には、所定の光量を物体に照射して撮像したときの画像の濃淡変化と、所定の光量よりも小さな光量を物体に照射して撮像したときの画像の濃淡変化とに基づいて、物体を検知する技術が開示されている。この技術によれば、外乱光が照射された状態であっても物体を検知することが可能である。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－１５５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、車室内に照射される外乱光は、天気、季節、時間帯、車両の向きおよび車両の内装等によって様々である。そのため、特許文献１に記載された技術では、様々な外乱光に対応した濃淡変化の分析が必要となり、車室内を検知することが複雑化するという問題がある。
【0005】
本開示は、車室内の検知を簡易に行うことができるインキャビンモニタリングシステム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本開示の一態様に係るインキャビンモニタリングシステムは、車両の車室内を撮像するカメラと、前記車室内に光を照射する光源と、前記カメラおよび前記光源を制御する制御部と、を備え、前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能であり、前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像し、さらに、前記制御部は、前記車両のドアロック解除信号または前記車両のドアロック信号を受け付けた場合に、前記光源を前記第２の光で発光させる前に前記第１の光で発光させた状態で、前記カメラで前記車室内を撮像し、前記車室内における人の有無を判断する。
上記目的を達成するため、本開示の一態様に係るインキャビンモニタリングシステムは、車両の車室内を撮像するカメラと、前記車室内に光を照射する光源と、前記カメラおよび前記光源を制御する制御部と、過去に撮像した複数の画像を保存する記憶部と、を備え、前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能であり、前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像し、さらに、前記制御部は、前記記憶部に保存された前記複数の画像から、現在撮像した画像の前記車室内のレイアウトに最も近いレイアウトを有する画像を選択し、選択した前記画像と前記現在撮像した画像とを比較することで、前記車室内に置かれた物の状態の違いを判断する。
上記目的を達成するため、本開示の一態様に係るインキャビンモニタリングシステムは、車両の車室内を撮像するカメラと、前記車室内に光を照射する光源と、前記カメラおよび前記光源を制御する制御部と、過去に撮像した複数の画像を保存する記憶部と、を備え、前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能であり、前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像し、さらに、前記制御部は、前記記憶部に保存された前記複数の画像から、現在撮像した画像の前記車室内のレイアウトに最も近いレイアウトを有する画像を選択し、選択した前記画像と前記現在撮像した画像とを比較することで、前記車室内に置かれた物の状態の違いを判断する。
【0007】
上記目的を達成するため、本開示の一態様に係る車室内検知方法は、車両の車室内を検知する車室内検知方法であって、前記車両に人が乗車する前に、カメラで人の有無を確認するときに照射する第１の光よりも強い第２の光を照射して、前記車室内を撮像するステップと、前記車両から人が降車した後に、前記カメラで人の有無を確認するときに照射する前記第１の光よりも強い前記第２の光を照射して、前記車室内を撮像するステップと、前記車両に人が乗車する前に前記車室内を撮像したときの画像と、前記車両から人が降車した後に前記車室内を撮像したときの画像とを比較するステップと、前記車両のドアロック解除信号または前記車両のドアロック信号を受け付けた場合に、前記車室内に光を照射する光源を前記第２の光で発光させる前に前記第１の光で発光させた状態で、前記カメラで前記車室内を撮像し、前記車室内における人の有無を判断するステップと、を含む。
【0008】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0009】
本開示のインキャビンモニタリングシステム等によれば、車室内の検知を簡易に行うことができる。
【図面の簡単な説明】
【0010】
【図1】実施の形態に係るインキャビンモニタリングシステムを車室内の側方から見た模式図である。
【図2】実施の形態に係るインキャビンモニタリングシステムが備えるカメラおよび光源を示す図である。
【図3】実施の形態に係るインキャビンモニタリングシステムを示すブロック構成図である。
【図4】実施の形態に係るインキャビンモニタリングシステムの光源の発光によって照射される光を示す図である。
【図5】実施の形態に係る車室内検知方法を示すフローチャートである。
【発明を実施するための形態】
【0011】
レンタカービジネスまたはカーシェアリングなどが普及する昨今において、車室内における携帯電話、財布などの忘れ物、および、車室内における座席の汚れ等を検知する技術が求められている。車室内の忘れ物や汚れを検知するため、例えば、インキャビンモニタリングシステムを用いて車室内の物を検知することが考えられる。
【0012】
物体を検知する方法の一例として、所定の光量を物体に照射して撮像したときの画像の濃淡変化と、所定の光量よりも小さな光量を物体に照射して撮像したときの画像の濃淡変化とに基づいて、物体を検知する従来技術がある。この技術によれば、外乱光が物体に照射される場合であっても物体の検知を行うことが可能である。
【0013】
しかしながら、車室内に照射される外乱光は、天気、季節、時間帯、車両の向きおよび車両の内装等によって様々である。そのため、従来技術では様々な外乱光に対応した濃淡変化の分析が必要となり、車室内を検知することが複雑化するという問題がある。
【0014】
本開示のインキャビンモニタリングシステムは、外乱光による影響を抑え、車室内の検知を簡易に行うことができるように、以下に示す構成を有している。
【0015】
本開示の一態様に係るインキャビンモニタリングシステムは、車両の車室内を撮像するカメラと、前記車室内に光を照射する光源と、前記カメラおよび前記光源を制御する制御部と、を備える。前記光源は、前記カメラで人の有無を確認するときに発光する第１の光、および、前記第１の光よりも強い光である第２の光を発光可能である。前記制御部は、前記車両に人が乗車する前、および、前記車両から人が降車した後に、前記光源を前記第２の光で発光させた状態で、前記カメラで前記車室内を撮像する。
【0016】
このように、第１の光よりも強い第２の光を発光させた状態で車室内を撮像することで、外乱光による影響を抑え、車室内の検知を行うことができる。また、人が乗車する前、および、人が降車した後のそれぞれにおいて、車室内を撮像することで、乗車する前と降車した後との車室内の違いを簡易に検知することができる。
【0017】
また、前記制御部は、前記車両に人が乗車する前であって前記車両のドアロック解除信号を受け付けたときに、前記カメラで前記車室内を撮像し、および、前記車両から人が降車した後であって前記車両のドアロック信号を受け付けたときに、前記カメラで前記車室内を撮像してもよい。
【0018】
これによれば、乗車する前のドアロック解除時、および、降車した後のドアロック時のそれぞれにおいて、車室内を撮像することができる。これにより、乗車する前と降車した後との車室内の違いを簡易に検知することができる。
【0019】
また、前記制御部は、前記ドアロック解除信号を受け付けて前記車室内を撮像したときの画像と、前記ドアロック信号を受け付けて前記車室内を撮像したときの画像とを比較することで、前記車室内に置かれた物の状態の違いを判断してもよい。
【0020】
これによれば、乗車する前と降車した後との車室内の違いを簡易に検知することができる。
【0021】
また、前記車室内に置かれた物の状態の違いは、前記車室内に置かれた物の有無、および、前記車室内に置かれた物の破損または汚れの有無の少なくとも１つであってもよい。
【0022】
これによれば、車室内に置かれた物の有無、および、車室内に置かれた物の破損または汚れの有無を検知することが可能である。
【0023】
また、前記制御部は、前記車室内に置かれた物の状態が違うと判断した場合に、異常信号を出力してもよい。
【0024】
これによれば、車室内に置かれた物の状態に異常があることを、車両のユーザ等に報知することができる。
【0025】
また、前記制御部は、前記ドアロック解除信号または前記ドアロック信号を受け付けた場合に、前記光源を前記第２の光で発光させる前に前記第１の光で発光させた状態で、前記カメラで前記車室内を撮像し、前記車室内における人の有無を判断してもよい。
【0026】
このように、第２の光を発光させる前に人の有無を判断することで、強い光である第２の光が人に照射されることを回避可能となる。
【0027】
また、前記制御部は、前記車室内に人がいると判断した場合に、前記光源を前記第２の光で発光させず、前記車室内に人がいないと判断した場合に、前記光源を前記第２の光で発光させ、かつ、前記カメラで前記車室内を撮像してもよい。
【0028】
これによれば、第２の光が人に照射されるのを回避することができる。また、強い光である第２の光を発光して撮像することで、外乱光による影響を抑えて車室内を撮像することができる。
【0029】
また、インキャビンモニタリングシステムは、さらに、過去に撮像した複数の画像を保存する記憶部を備え、前記制御部は、前記記憶部に保存された前記複数の画像から、現在撮像した画像の前記車室内のレイアウトに最も近いレイアウトを有する画像を選択し、選択した前記画像と前記現在撮像した画像とを比較することで、前記車室内に置かれた物の状態の違いを判断してもよい。
【0030】
これによれば、例えば、車室内のレイアウトがユーザによって変えられた場合であっても、撮像した画像に最も近い車室内のレイアウトを有する画像を用いて、車室内に置かれた物の状態の違いを簡易に検知することができる。
【0031】
また、前記制御部は、前記カメラを用いて過去に撮像した画像と、現在撮像した画像とを比較することで、前記車室内のメンテナンスの要否を判断してもよい。
【0032】
このように、過去に撮像した画像と現在撮像した画像とを比較することで、車室内のメンテナンスの要否を適切に判断することができる。
【0033】
また、前記カメラおよび前記光源は、前記車室内の天井、オーバーヘッドコンソール、ルームミラー、ダッシュボード、ステアリングコラム、リアビューミラーまたはＡピラー、Ｂピラー、Ｃピラー、Ｄピラーに設けられていてもよい。
【0034】
これによれば、カメラおよび光源を用いて、車室内に置かれた物の状態を適切に撮像することができる。これにより、車室内に置かれた物の状態の違いを適切に検知することができる。
【0035】
本開示の一態様に係る車室内検知方法は、車両の車室内を検知する車室内検知方法であって、前記車両に人が乗車する前に、カメラで人の有無を確認するときに照射する光よりも強い光を照射して、前記車室内を撮像するステップと、前記車両から人が降車した後に、前記カメラで人の有無を確認するときに照射する光よりも強い光を照射して、前記車室内を撮像するステップと、前記車両に人が乗車する前に前記車室内を撮像したときの画像と、前記車両から人が降車した後に前記車室内を撮像したときの画像とを比較するステップと、を含む。
【0036】
このように、人の有無を確認するときに照射する光よりも強い光を照射させて車室内を撮像することで、外乱光による影響を抑え、車室内の検知を行うことができる。また、人が乗車する前、および、人が降車した後のそれぞれの車室内の画像を比較することで、乗車する前と降車した後との車室内の違いを簡易に検知することができる。
【0037】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示はこれらの実施の形態により限定されるものではない。つまり、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0038】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【0039】
【0040】
図１は、実施の形態に係るインキャビンモニタリングシステム１を車室２内の側方から見た模式図である。図２は、インキャビンモニタリングシステム１が備えるカメラ２０および光源３０を示す図である。図３は、インキャビンモニタリングシステム１を示すブロック構成図である。
【0041】
図１～図３に示すように、インキャビンモニタリングシステム１は、カメラ２０と、光源３０と、カメラ２０および光源３０を制御する制御部５０と、を備える。また、インキャビンモニタリングシステム１は、筐体１０を備える。
【0042】
筐体１０は、車室２内の天井７の中央に設けられている。筐体１０は、樹脂製のケースであり、開口部１１を有している。筐体１０の開口部１１には、カメラ２０および光源３０が配置され、筐体１０の内部には、制御部５０が配置されている。なお、筐体１０は、ウィンドシールド４の上方に位置するオーバーヘッドコンソールに設けられていてもよい。また、筐体１０は、ルームミラー、ダッシュボード、ステアリングコラム、リアビューミラーまたはＡピラー、Ｂピラー、Ｃピラー、Ｄピラーに設けられていてもよい。すなわち、カメラ２０および光源３０は、乗員３やシートを撮影できる位置に設けられていればよい。
【0043】
光源３０は、車室２内に光を照射する装置である。光源３０は、可視光もしくは近赤外光を出射する複数の発光素子を有する。光源３０は、筐体１０の開口部１１に設けられ、かつ、座席、足元フロアおよび乗員３に可視光もしくは近赤外光を照射可能な向きで配置されている。光源３０は、第１の光Ｌ１および第２の光Ｌ２を発光可能である。
【0044】
図４は、インキャビンモニタリングシステム１の光源３０の発光によって照射される光を示す図である。図４の（ａ）には、光源３０が第１の光Ｌ１を発光している様子が示され、図４の（ｂ）には、光源３０が第２の光Ｌ２を発光している様子が示されている。なお、図４の（ａ）および（ｂ）には、車室２内に忘れ物等がなく、また、乗員３がいない状態が示されている。
【0045】
光源３０は、カメラ２０で車室２内における人の有無を確認するときに第１の光Ｌ１を発光する。第１の光Ｌ１の強さは、通常、人を撮像するときに発光する強さである。第１の光Ｌ１によって照射される光の照度は、例えば、可視光であれば、１００ルクス以上２０００ルクス未満であり、近赤外光で９４０ｎｍの波長であれば、０．１Ｗ／ｍ２以上１Ｗ／ｍ２未満の発光強度である。また、光源３０は、カメラ２０で車室２内を撮像する時に外乱光の影響を抑えるために第２の光Ｌ２を発光する。第２の光Ｌ２は、第１の光Ｌ１よりも強い光（発光強度の強い光）である。第２の光Ｌ２によって照射される光の照度は、例えば、可視光であれば、２０００ルクス以上１０００００ルクス以下、近赤外光で９４０ｎｍの波長であれば１Ｗ／ｍ２以上１０Ｗ／ｍ２以下の発光強度である。光源３０は、後述する制御部５０からの発光指令に基づいて、第１の光Ｌ１または第２の光Ｌ２を発光する。
【0046】
カメラ２０は、車室２内または乗員３を撮像する装置である。カメラ２０は、筐体１０の開口部１１に設けられている。カメラ２０は、カメラ２０のレンズ画角α内に座席、足元フロアおよび乗員３が位置するように、すなわち座席、足元フロアおよび乗員３を撮像可能な向きで配置される。
【0047】
カメラ２０は、例えば、可視光を検出する可視光カメラ、近赤外光を検出する近赤外光カメラ、或いは、両者が検出可能なカメラである。カメラ２０としては、ＧＳ（グローバルシャッター）方式のＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを用いることができる。カメラ２０は、制御部５０からの撮像指令に基づいて、車室２内または乗員３を撮像する。制御部５０は、例えば、強い光である第２の光Ｌ２の発光時間およびカメラ２０の露光時間を短くすることで、外乱光の影響を抑えて車室２内を撮像することが可能である。
【0048】
制御部５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、揮発性メモリおよび不揮発性メモリを有する記憶部５３と、記憶部５３に格納されたプログラムとによって構成されている。制御部５０が有する機能的な構成は、上記プログラムを実行することで実現される。制御部５０は、筐体１０の内部に設けられているが、それに限られず、筐体１０の外部に設けられていてもよい。制御部５０は、車両９のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９０と通信しながら、カメラ２０、光源３０等の動作を制御する。
【0049】
制御部５０は、車両９のドアのロックを開閉する信号であるドアロック解除信号ｓ１およびドアロック信号ｓ２を取得する。ドアロック解除信号ｓ１は、車両９に人が乗車する前に制御部５０に入力される。ドアロック信号ｓ２は、車両９から人が降車した後に制御部５０に入力される。例えば、ドアロック解除信号ｓ１およびドアロック信号ｓ２は、車両９のユーザの操作入力によってＥＣＵ９０に入力され、ＥＣＵ９０を介して制御部５０に入力される。制御部５０が取得するドアロック解除信号ｓ１およびドアロック信号ｓ２は、ＥＣＵ９０が受け付けた信号そのものであってもよいし、ＥＣＵ９０が受け付けた信号に連動してＥＣＵ９０から出力された信号であってもよい。
【0050】
本実施の形態では、車両９に人が乗車する前、および、車両９から人が降車した後のそれぞれの場面において、第２の光Ｌ２を用いて車室２内を撮像する。ただし、制御部５０は、人に対して強い光を与え過ぎないようにするため、第２の光Ｌ２を発光させる前に、車室２内における人の有無を確認する。具体的には制御部５０は、第２の光Ｌ２よりも弱い第１の光Ｌ１を発光させた状態で、カメラ２０で車室２内を撮像する。制御部５０は、第１の光Ｌ１で撮像した画像に基づいて、車室２内における人の有無を判断する。画像に基づく人の有無の判断は、周知技術によって実現可能である。
【0051】
制御部５０は、車室２内に人がいると判断した場合に、光源３０を第２の光Ｌ２で発光させず、また、車室２内の撮像を行わない。制御部５０は、第１の光Ｌ１で撮像した画像に基づいて車室２内に人がいないと判断した場合に、光源３０を第２の光Ｌ２で発光させ、かつ、カメラ２０で車室２内を撮像する。
【0052】
例えば制御部５０は、車両９に人が乗車する前であってドアロック解除信号ｓ１を受け付けたときに、光源３０を第２の光Ｌ２で発光させた状態で、カメラ２０で車室２内を撮像する。また、制御部５０は、車両９から人が降車した後であって、ドアロック信号ｓ２を受け付けたときに、光源３０を第２の光Ｌ２で発光させた状態で、カメラ２０で車室２内を撮像する。
【0053】
制御部５０は、ドアロック解除信号ｓ１を受け付けて車室２内を撮像したときの第１の画像ｉｍ１と、ドアロック信号ｓ２を受け付けて車室２内を撮像したときの第２の画像ｉｍ２とを比較することで、車室２内に置かれた物の状態の違いを判断する。具体的には制御部５０は、第１の画像ｉｍ１および第２の画像ｉｍ２の差分（例えば、画像を構成する複数の画素の色、明るさ等の違い）を取得することで、車室２内に置かれた物の状態の違いを判断する。
【0054】
物の状態の違いとは、車室２内に置かれた物の有無、および、車室２内に置かれた物の破損または汚れの有無の少なくとも１つである。車室２内に置かれた物は、携帯電話、財布、ごみなどのように外から車室２内に持ち込まれた物であってもよいし、座席、足元フロアなどのように車室２内に予め配置されている物であってもよい。なお、本実施の形態では、物の物品名まで特定する必要はなく、少なくとも、画像ｉｍ１およびｉｍ２に違いがあるか否かで物の状態の違いを判断すればよい。
【0055】
制御部５０は、車室２内に置かれた物の状態が違うと判断した場合に、異常であることを示す異常信号を出力し、車両９のユーザに報知する。
【0056】
本実施の形態のインキャビンモニタリングシステム１では、光源３０が、カメラ２０で人の有無を確認するときに発光する第１の光Ｌ１、および、第１の光Ｌ１よりも強い光である第２の光Ｌ２を発光可能であり、車両９に人が乗車する前、および、車両９から人が降車した後に、光源３０を第２の光Ｌ２で発光させた状態で、カメラ２０で車室２内を撮像する。
【0057】
このように、第１の光Ｌ１よりも強い第２の光Ｌ２を発光させた状態で、車室２内を撮像することで、外乱光による影響を抑え、車室２内の検知を行うことができる。また、人が乗車する前、および、人が降車した後のそれぞれにおいて、車室２内を撮像することで、乗車する前と降車した後との車室２内の違いを簡易に検知することができる。
【0058】
［車室内検知方法］
実施の形態に係る車室内検知方法について、図５を参照しながら説明する。
実施の形態に係る車室内検知方法について、図５を参照しながら説明する。
【0059】
図５は、実施の形態に係る車室内検知方法を示すフローチャートである。
【0060】
ここでは、インキャビンモニタリングシステム１を用いて、車室２内の物の状態を検出する例について説明する。車室２内の物の状態の検知は、車両９が駐車しているときに実行される。
【0061】
インキャビンモニタリングシステム１は、人が車両９に乗車する前にドアロック解除信号ｓ１を受け付ける（ステップＳ１１）。例えば、制御部５０は、ユーザのキー操作により、ＥＣＵ９０を介してドアロック解除信号ｓ１を受け付ける。
【0062】
制御部５０は、ドアロック解除信号ｓ１を受け付けると、車室２内における人の有無を確認する。具体的には、制御部５０は、光源３０を第１の光Ｌ１で発光させて車室２内に光を照射し、カメラ２０で車室２内を撮像する（ステップＳ１２）。第１の光Ｌ１の発光時間は、例えば、０．１ｍｓ以上１０ｍｓ以下である。
【0063】
制御部５０は、第１の光Ｌ１を発光した際に取得した画像を用いて、車室２内に人がいるか否かを判断する（ステップＳ１３）。
【0064】
制御部５０は、車室２内に人がいると判断した場合（Ｓ１３にてＹｅｓ）、光源３０を第２の光Ｌ２で発光させず、また、車室２内の撮像を行わず、ステップＳ１１へ戻る。このとき制御部５０は、車室２内の人が車室２外へ出るように催促する信号をＥＣＵ９０へ出力し、ＥＣＵ９０は、車室２内の音響機器等を用いて、車室２内の人に対して車室２外へ出るように通知してもよい。
【0065】
制御部５０は、車室２内に人がいないと判断した場合（Ｓ１３にてＮｏ）、光源３０を第２の光Ｌ２で発光させて車室２内に光を照射し、カメラ２０で車室２内を撮像する（ステップＳ１４）。第２の光Ｌ２の発光時間は、例えば、０．１ｍｓ以上１０ｍｓ以下である。
【0066】
制御部５０は、第２の光Ｌ２を発光した際に取得した画像を、第１の画像ｉｍ１として記憶部５３に保存させる（ステップＳ１５）。第１の画像ｉｍ１は、車両９の利用期間において最初に撮像された静止画像であり、撮像日時もあわせて記憶部５３に保存される。
【0067】
次に、ユーザが車両９の走行を終えた後について説明する。
【0068】
インキャビンモニタリングシステム１は、人が車両９から降車した後にドアロック信号ｓ２を受け付ける（ステップＳ１６）。例えば、制御部５０は、ユーザのキー操作により、ＥＣＵ９０を介してドアロック信号ｓ２を受け付ける。
【0069】
制御部５０は、ドアロック信号ｓ２を受け付けると、車室２内における人の有無を確認する。具体的には、制御部５０は、光源３０を第１の光Ｌ１で発光させて車室２内に光を照射し、カメラ２０で車室２内を撮像する（ステップＳ１７）。第１の光Ｌ１の発光時間は、例えば、０．１ｍｓ以上１０ｍｓ以下である。
【0070】
制御部５０は、第１の光Ｌ１を発光した際に取得した画像を用いて、車室２内に人がいるか否かを判断する（ステップＳ１８）。
【0071】
制御部５０は、車室２内に人がいると判断した場合（Ｓ１８にてＹｅｓ）、光源３０を第２の光Ｌ２で発光させず、また、車室２内の撮像を行わず、ステップＳ１６へ戻る。このとき制御部５０は、車室２内の人が車室２外へ出るように催促する信号をＥＣＵ９０へ出力し、ＥＣＵ９０は、車室２内の音響機器等を用いて、車室２内の人に対して車室２外へ出るように通知してもよい。
【0072】
制御部５０は、車室２内に人がいないと判断した場合（Ｓ１８にてＮｏ）、光源３０を第２の光Ｌ２で発光させて車室２内に光を照射し、カメラ２０で車室２内を撮像する（ステップＳ１９）。第２の光Ｌ２の発光時間は、例えば、０．１ｍｓ以上１０ｍｓ以下である。
【0073】
制御部５０は、第２の光Ｌ２を発光した際に取得した画像を、第２の画像ｉｍ２として記憶部５３に保存させる（ステップＳ２０）。第２の画像ｉｍ２は、車両９の利用期間において最後に撮像された静止画像であり、撮像日時もあわせて記憶部５３に保存される。
【0074】
次に、制御部５０は、第１の画像ｉｍ１と第２の画像ｉｍ２とを比較し、車室２内の物の状態の違い判断する（ステップＳ２１）。
【0075】
制御部５０は、車室２内の物の状態に違いがあると判断した場合（Ｓ２１にてＹｅｓ）に、異常があることを示す異常信号をＥＣＵ９０に出力する（ステップＳ２２）。また、制御部５０は、車室２内の物の状態に違いがないと判断した場合（Ｓ２１にてＮｏ）に、異常がないことを示す正常信号をＥＣＵ９０に出力する（ステップＳ２３）。異常信号および正常信号に基づく情報は、例えばインターネット通信によって、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）による通信によって、ユーザの通信端末に提示される。
【0076】
これらのステップＳ１１～Ｓ２３を実行することで、インキャビンモニタリングシステム１における車室内検知方法が実現される。
【0077】
本実施の形態の車室内検知方法は、車両９に人が乗車する前に、カメラ２０で人の有無を確認するときに照射する光よりも強い光を照射して、車室２内を撮像するステップと、車両９から人が降車した後に、カメラ２０で人の有無を確認するときに照射する光よりも強い光を照射して車室２内を撮像するステップと、車両９に人が乗車する前に車室２内を撮像したときの画像ｉｍ１と、車両９から人が降車した後に車室２内を撮像したときの画像ｉｍ２とを比較するステップと、を含む。
【0078】
このように、人の有無を確認するときに照射する光よりも強い光を照射させて車室２内を撮像することで、外乱光による影響を抑え、車室２内の検知を行うことができる。また、人が乗車する前、および、人が降車した後のそれぞれの車室２内の画像を比較することで、乗車する前と降車した後との車室２内の違いを簡易に検知することができる。
【0079】
次に、実施の形態の変形例について説明する。
【0080】
上記の記憶部５３には、第１の画像ｉｍ１および第２の画像ｉｍ２が保存されるが、記憶部５３に保存される画像はこれに限られない。例えば、記憶部５３には、新車時に撮像した画像など、過去に撮像した複数の画像が蓄積して保存されてもよい。複数の画像には、座席の位置または背もたれの角度など、車室２内のレイアウトを変えた状態の画像が含まれていてもよい。そして制御部５０は、記憶部５３に保存された複数の画像から、現在撮像した画像の車室２内のレイアウトに最も近いレイアウトを有する画像を選択し、選択した画像と現在撮像した画像とを比較することで、車室２内に置かれた物の状態の違いを判断してもよい。
【0081】
また、上記の制御部５０は、車両９の利用期間の最初および最後に撮像した画像に基づいて、車室２内の物の状態の違いを判断しているが、それに限られない。例えば、制御部５０は、カメラ２０を用いて過去に撮像した画像と、現在撮像した画像とを比較することで、車室２内のメンテナンスの要否を判断してもよい。過去に撮像した画像は、例えば、新車時に撮像した画像である。車室２内のメンテナンスは、例えば、シートカバー、フロアマットなどの修繕、交換である。制御部５０は、メンテナンスの要否の判断結果をユーザに通知してもよい。
【0082】
（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態および実施の形態の変形例を説明した。しかしながら、実施の形態および実施の形態の変形例における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
以上のように、本出願において開示する技術の例示として、実施の形態および実施の形態の変形例を説明した。しかしながら、実施の形態および実施の形態の変形例における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【0083】
上記の実施の形態では、制御部５０が、ドアロック解除信号ｓ１およびドアロック信号ｓ２のそれぞれを受け付けたときに、カメラ２０で車室２内を撮像する例を示したが、それに限られない。例えば、制御部５０は、ドアロック解除信号ｓ１の代わりに事前撮像指示信号を受け付け、および、ドアロック信号ｓ２の代わりに事後撮像指示信号を受け付け、それぞれの信号を受け付けたときに、カメラ２０で車室２内を撮像してもよい。
【0084】
上記の実施の形態では、カメラ２０および光源３０が天井７に設けられている例を示したが、それに限られない。カメラ２０および光源３０は、車室２内の天井７、オーバーヘッドコンソール、ルームミラー、ダッシュボード、ステアリングコラム、リアビューミラーおよびＡピラー、Ｂピラー、Ｃピラー、Ｄピラーの少なくとも１つに設けられていればよい。光源３０は、車室２内に複数設けられていてもよい。カメラ２０は、車室２内に複数設けられていてもよい。
【0085】
また、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現され得る。
【0086】
上述した機能をプログラムにより実現するコンピュータは、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、プロセッサまたはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
【0087】
そして、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。
【0088】
そして、プロセッサまたはＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。
【産業上の利用可能性】
【0089】
本開示のインキャビンモニタリングシステムは、車室内をモニタリングする場合等に利用することができる。
【符号の説明】
【0090】
１ インキャビンモニタリングシステム
２ 車室
３ 乗員
４ ウィンドシールド
７ 天井
９ 車両
１０ 筐体
１１ 開口部
２０ カメラ
３０ 光源
５０ 制御部
５３ 記憶部
９０ ＥＣＵ
ｉｍ１、ｉｍ２ 画像
Ｌ１ 第１の光
Ｌ２ 第２の光
ｓ１ ドアロック解除信号
ｓ２ ドアロック信号
α レンズ画角
２ 車室
３ 乗員
４ ウィンドシールド
７ 天井
９ 車両
１０ 筐体
１１ 開口部
２０ カメラ
３０ 光源
５０ 制御部
５３ 記憶部
９０ ＥＣＵ
ｉｍ１、ｉｍ２ 画像
Ｌ１ 第１の光
Ｌ２ 第２の光
ｓ１ ドアロック解除信号
ｓ２ ドアロック信号
α レンズ画角
【図1】
【図2】
【図3】
【図4】
【図5】