IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧

特許7399283乗員検出装置、子供置き去り警報システム、乗員検出方法および子供置き去り警報方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-07
(45)【発行日】2023-12-15
(54)【発明の名称】乗員検出装置、子供置き去り警報システム、乗員検出方法および子供置き去り警報方法
(51)【国際特許分類】
   B60R 11/04 20060101AFI20231208BHJP
   B60R 11/02 20060101ALI20231208BHJP
   G06T 7/00 20170101ALI20231208BHJP
【FI】
B60R11/04
B60R11/02 Z
G06T7/00 650Z
G06T7/00 660B
【請求項の数】 9
(21)【出願番号】P 2022527439
(86)(22)【出願日】2020-05-29
(86)【国際出願番号】 JP2020021331
(87)【国際公開番号】W WO2021240777
(87)【国際公開日】2021-12-02
【審査請求日】2022-07-08
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100088672
【弁理士】
【氏名又は名称】吉竹 英俊
(74)【代理人】
【識別番号】100088845
【弁理士】
【氏名又は名称】有田 貴弘
(72)【発明者】
【氏名】菅原 永
【審査官】森本 康正
(56)【参考文献】
【文献】特開2007-077774(JP,A)
【文献】特表2003-522674(JP,A)
【文献】特表2006-521958(JP,A)
【文献】特開2010-229659(JP,A)
【文献】特開2014-219703(JP,A)
【文献】特開2010-214990(JP,A)
【文献】特開2008-296777(JP,A)
【文献】特開2020-017107(JP,A)
【文献】特開2019-110518(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60R 1/00-99/00
G06V 20/59
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
電磁波センサにより検出された車両内の生体情報を取得する生体情報取得部と、
前記生体情報に基づいて前記車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する生体検出部と、
前記生体の位置と前記車両の座席の位置との位置関係および前記生体のサイズに基づいて、前記車両の乗員がいる座席および前記乗員の属性を判断する乗員判断部と、
を備え、
前記乗員判断部は、前記生体が複数の座席に跨がって位置する場合、その複数の座席に跨がるように乗員がいると判断する、
乗員検出装置。
【請求項2】
前記生体検出部は、前記生体情報に含まれるバイタルサインの検出点の分布に基づいて前記生体の位置およびサイズを判断する、
請求項1に記載の乗員検出装置。
【請求項3】
チャイルドシートが設置された座席を検出するチャイルドシート検出部をさらに備え、
前記乗員判断部は、前記チャイルドシートの設置された座席で検出された前記生体を子供と判断する、
請求項1または請求項2に記載の乗員検出装置。
【請求項4】
前記車両内を撮影した画像である車内画像を取得する車内画像取得部と、
前記車内画像から前記乗員を探索する乗員画像検出部と、
をさらに備え、
前記乗員判断部は、前記乗員が検出された場合、前記車内画像に基づいて当該乗員の年齢を推定することで前記乗員の属性を判断する、
請求項1に記載の乗員検出装置。
【請求項5】
前記乗員判断部は、前記乗員の顔の特徴から当該乗員の年齢を推定する、
請求項に記載の乗員検出装置。
【請求項6】
前記乗員判断部は、前記乗員の骨格の特徴から当該乗員の年齢を推定する、
請求項に記載の乗員検出装置。
【請求項7】
請求項1から請求項のいずれか一項に記載の乗員検出装置と、
前記乗員判断部による乗員の属性の判断結果に基づいて、前記車両内の乗員が子供だけの状態であることが検出された場合に、警報を発する警報出力部と、
を備える、
子供置き去り警報システム。
【請求項8】
乗員検出装置の生体情報取得部が、電磁波センサにより検出された車両内の生体情報を取得し、
前記乗員検出装置の生体検出部が、前記生体情報に基づいて前記車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定し、
前記乗員検出装置の乗員判断部が、前記生体の位置と前記車両の座席の位置との位置関係および前記生体のサイズに基づいて、前記車両の乗員がいる座席および前記乗員の属性を判断し、
前記乗員判断部は、前記生体が複数の座席に跨がって位置する場合、その複数の座席に跨がるように乗員がいると判断する、
乗員検出方法。
【請求項9】
請求項に記載の乗員検出方法により前記車両の乗員の属性を判断し、
前記乗員判断部による乗員の属性の判断結果に基づいて、前記車両内の乗員が子供だけの状態であることが検出された場合に、子供置き去り警報システムの警報出力部が警報を発する、
子供置き去り警報方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両内の乗員を検出する乗員検出装置に関し、特に、検出された乗員の属性を判断する技術に関する。
【背景技術】
【0002】
例えば下記の特許文献1には、車両のチャイルドシートが設置された座席にバイタルサインがあるか否かを電磁波センサを用いて確認し、その座席にバイタルサインが有る場合に車両内に子供(乳幼児)がいると判断する乗員検出装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-123354号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術は、乗員が座席に正しく着座していることが前提であり、例えば背もたれを倒している乗員などを正しく検出することは困難である。
【0005】
本開示は以上のような課題を解決するためになされたものであり、車両の乗員がいる座席および当該乗員の属性を精度よく判断可能な乗員検出装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る乗員検出装置は、電磁波センサにより検出された車両内の生体情報を取得する生体情報取得部と、生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する生体検出部と、生体の位置と車両の座席の位置との位置関係および生体のサイズに基づいて、車両の乗員がいる座席および乗員の属性を判断する乗員判断部と、を備え、乗員判断部は、生体が複数の座席に跨がって位置する場合、その複数の座席に跨がるように乗員がいると判断する。
【発明の効果】
【0007】
本開示に係る乗員検出装置は、車両の乗員がいる座席および乗員の属性を、生体情報から特定された生体の位置と車両の各座席の位置との位置関係および生体のサイズに基づいて判断するため、車両内にいる乗員の属性を精度よく判断することができる。
【0008】
本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
【図面の簡単な説明】
【0009】
図1】実施の形態1に係る乗員検出装置の構成を示す図である。
図2】車両の座席配置の例を示す図である。
図3】バイタルサインの検出点の分布の例を示す図である。
図4】バイタルサインの検出点の分布の例を示す図である。
図5】バイタルサインの検出点の分布の例を示す図である。
図6】バイタルサインの検出点の分布の例を示す図である。
図7】実施の形態1に係る乗員検出装置の動作を示すフローチャートである。
図8】乗員検出装置のハードウェア構成例を示す図である。
図9】乗員検出装置のハードウェア構成例を示す図である。
図10】バイタルサインの検出点の分布の例を示す図である。
図11】バイタルサインの検出点の分布の例を示す図である。
図12】バイタルサインの検出点の分布の例を示す図である。
図13】実施の形態2に係る乗員検出装置の動作を示すフローチャートである。
図14】実施の形態3に係る乗員検出装置の構成を示す図である。
図15】実施の形態3に係る乗員検出装置の動作を示すフローチャートである。
図16】実施の形態4に係る乗員検出装置の構成を示す図である。
図17】実施の形態4に係る乗員検出装置の動作を示すフローチャートである。
図18】実施の形態5に係る乗員検出装置の構成を示す図である。
図19】実施の形態5に係る乗員検出装置の動作を示すフローチャートである。
図20】実施の形態2~5の組み合わせに係る乗員検出装置の構成を示す図である。
図21】実施の形態2~5の組み合わせに係る乗員検出装置の動作を示すフローチャートである。
図22】実施の形態6に係る子供置き去り警報システムの構成を示す図である。
図23】実施の形態6に係る子供置き去り警報システムの動作を示すフローチャートである。
【発明を実施するための形態】
【0010】
<実施の形態1>
図1は、実施の形態1に係る乗員検出装置10の構成を示すブロック図である。本実施の形態では、乗員検出装置10は、車両に搭載されているものとする。ただし、乗員検出装置10は、車両に常設される必要はなく、例えば携帯電話やスマートフォン、PND(Portable Navigation Device)など、車両に持ち込み可能な携帯型の装置上で実現されていてもよい。また、乗員検出装置10の機能の一部または全部が、車両の外部に設置され乗員検出装置10と通信可能なサーバー上で実現されていてもよい。
【0011】
図1に示すように、乗員検出装置10は、当該乗員検出装置10を搭載する車両が備える電磁波センサ21に接続されている。電磁波センサ21は、車両内に存在する生体を検出するセンサであり、例えばミリ波レーダーで構成される。電磁波センサ21は、生体が存在する旨を示すサインであるバイタルサインを検出し、バイタルサインの検出点の位置の情報を、生体情報として出力する。バイタルサインの検出点の位置は、例えば、レーダーの反射波の周波数スペクトルに基づき電磁波センサ21から検出点までの距離を算出し、複数のアンテナで受信したレーダーの反射波の位相差に基づき電磁波センサ21からの検出点の方向を算出することで求めることができる。
【0012】
また、ミリ波レーダーは樹脂や布を透過して生体を検出できるため、電磁波センサ21は、後ろ向きチャイルドシート、横向きチャイルドシート、サンシェード付きのチャイルドシートなどに乗った子供や、毛布を被った人物など、視認困難な人物を検出することができる。本実施の形態では、電磁波センサ21は車両の天井に設置されており、車両の全ての座席が電磁波センサ21の検出範囲に含まれるものとする。
【0013】
図1に示すように、乗員検出装置10は、生体情報取得部11、生体検出部12および乗員判断部13を備えている。
【0014】
生体情報取得部11は、電磁波センサ21が出力する生体情報を取得する。生体検出部12は、生体情報取得部11が取得した生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する。より具体的には、生体検出部12は、生体情報に含まれるバイタルサインの検出点の分布に基づいて、生体の位置およびサイズを特定する。
【0015】
生体検出部12が特定する生体のサイズは、少なくとも大人サイズと子供サイズとに分類されていればよいが、例えばNHTSA(National Highway Traffic Safety Administration:米国高速道路交通安全協会)の規格で定められている人体ダミーのサイズに準じて、標準体型の成人男性(AM50)、小柄な成人女性(AF05)、大柄な成人男性(AM95)、10歳、6歳および3歳の子供(10YO、6YO、3YO)などと細分化してもよい。本実施の形態では、生体情報取得部11が特定する生体のサイズは、大人サイズと子供サイズとの2つに分類されるものとする。つまり、生体のサイズが予め定められた閾値以上であれば大人サイズと判断され、閾値未満であれば子供サイズと判断される。なお、「子供」の定義は国や法律によって異なるが、車両に置き去りにされると事故を招きかねない年齢(例えば12歳以下)の者が、子供として定義されることが好ましい。
【0016】
例えば車両の座席が図2のように配置されている場合において、電磁波センサ21により検出されるバイタルサインの検出点の分布の例を図3および図4に示す。図3は車両を平面視したときのバイタルサインの検出点の分布であり、図4は車両を側面視したときのバイタルサインの検出点の分布である。バイタルサインの検出点が図3および図4のように分布していれば、生体検出部12は、車両の前後方向中央の左寄りの位置に、大人サイズの生体が存在すると判断する。
【0017】
乗員判断部13は、生体検出部12が特定した生体の位置と車両の各座席の位置との位置関係から車両の乗員がいる座席を特定するとともに、生体検出部12が特定した生体のサイズに基づいて、当該乗員の属性を判断する。例えば上記の図3および図4の例であれば、生体検出部12は、車両の2列目左側の座席に乗員がおり、当該乗員の属性は大人であると判断する。本実施の形態では、乗員判断部13が判断する乗員の属性は、大人と子供との2つに分類されるものとするが、例えば上記の人体ダミーのようにさらに細分化されてもよい。
【0018】
ここで、乗員判断部13が1人の乗員に対して特定する座席は1つとは限らず、複数の場合もある。例えば、車両を平面視したときのバイタルサインの検出点が図5のように分布している場合、生体検出部12が特定する生体の位置が、隣り合う2つの座席の位置に跨がることになり、乗員判断部13は、その2つの座席に跨がるように1人の乗員がいると判断する。また、乗員が座席の背もたれを倒すと、バイタルサインの検出点は図6のように分布することもある。この場合、生体検出部12が特定する生体の位置が、前後に並ぶ2つの座席の位置に跨がることになり、乗員判断部13は、その2つの座席に跨がるように1人の乗員がいると判断する。
【0019】
このように、乗員判断部13は、生体検出部12が特定した生体と各座席との位置関係から乗員がいる座席を特定するため、複数の座席に跨がるように存在する乗員も正しく検出することができる。これにより、例えば2つの座席に跨がるように着座した乗員が2人の子供として検出されるなどの誤検出が防止され、乗員の属性の判断精度が向上する。
【0020】
図7は、実施の形態1に係る乗員検出装置10の動作を示すフローチャートである。以下、図7を参照しつつ、乗員検出装置10の動作を説明する。
【0021】
乗員検出装置10が起動すると、生体情報取得部11は、電磁波センサ21が出力する生体情報を取得する(ステップS101)。そして、生体検出部12が、生体情報取得部11が取得した生体情報に基づいて車両内に存在する生体(バイタルサイン)を探索し(ステップS102)、検出された生体の位置およびサイズを特定する(ステップS103)。
【0022】
乗員判断部13は、生体検出部12が検出した生体の位置およびサイズに基づいて、以下のステップS104~S108の処理を、検出された個々の生体に対して実行する。
【0023】
まず、乗員判断部13は、処理の対象とする生体(以下「対象生体」という)を選択し(ステップS104)、対象生体の位置と各座席の位置との位置関係に基づいて、対象生体に対応する乗員がいる座席を特定する(ステップS105)。
【0024】
さらに、乗員判断部13は、対象生体のサイズを確認する(ステップS106)。対象生体のサイズが大人サイズであれば(ステップS106でYES)、乗員判断部13は対象生体に対応する乗員は大人であると判断する(ステップS107)。また、対象生体のサイズが子供サイズであれば(ステップS106でNO)、乗員判断部13は対象生体に対応する乗員は子供であると判断する(ステップS108)。
【0025】
乗員判断部13は、ステップS104~S108の処理を全ての生体に対して実行すると、各乗員の位置(座席)および属性(大人か子供か)の判断結果を出力して、処理を終了する。
【0026】
以上のように、実施の形態1に係る乗員検出装置10は、車両の乗員がいる座席および乗員の属性を、生体情報から特定された生体の位置と車両の各座席の位置との位置関係および生体のサイズに基づいて判断する。そのため、例えば複数の座席に跨がるように存在する乗員の位置および属性を精度よく判断することができる。
【0027】
なお、乗員検出装置10が検出する乗員の属性には、人間だけでなく、動物が含まれてもよい。すなわち、生体検出部12が特定する生体のサイズの分類に動物が含まれてもよい。さらに、動物の分類は大型、中型、小型などに細分化されてもよい。
【0028】
図8および図9は、それぞれ乗員検出装置10のハードウェア構成の例を示す図である。図1に示した乗員検出装置10の構成要素の各機能は、例えば図8に示す処理回路50により実現される。すなわち、乗員検出装置10は、電磁波センサにより検出された車両内の生体情報を取得し、生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定し、生体の位置と車両の各座席の位置との位置関係および生体のサイズに基づいて、車両の乗員がいる座席および乗員の属性を判断する、ための処理回路50を備える。処理回路50は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ(中央処理装置(CPU:Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)とも呼ばれる)を用いて構成されていてもよい。
【0029】
処理回路50が専用のハードウェアである場合、処理回路50は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものなどが該当する。乗員検出装置10の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
【0030】
図9は、処理回路50がプログラムを実行するプロセッサ51を用いて構成されている場合における乗員検出装置10のハードウェア構成の例を示している。この場合、乗員検出装置10の構成要素の機能は、ソフトウェア等(ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ)により実現される。ソフトウェア等はプログラムとして記述され、メモリ52に格納される。プロセッサ51は、メモリ52に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、乗員検出装置10は、プロセッサ51により実行されるときに、電磁波センサにより検出された車両内の生体情報を取得する処理と、生体情報に基づいて車両内に存在する生体を探索し、検出された生体の位置およびサイズを特定する処理と、生体の位置と車両の各座席の位置との位置関係および生体のサイズに基づいて、車両の乗員がいる座席および乗員の属性を判断する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ52を備える。換言すれば、このプログラムは、乗員検出装置10の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
【0031】
ここで、メモリ52は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
【0032】
以上、乗員検出装置10の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、乗員検出装置10の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路50でその機能を実現し、他の一部の構成要素についてはプロセッサ51としての処理回路50がメモリ52に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【0033】
以上のように、乗員検出装置10は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【0034】
<実施の形態2>
子供の乗員は座席に着座したときに足が床に届かないことがある。その場合、電磁波センサ21により検出されるバイタルサインの検出点の分布は、例えば図10のようになり、床に届いていない生体が生体検出部12によって検出される。また、子供の乗員は座席上に横たわることもある。その場合、バイタルサインの検出点の分布は、例えば図11および図12のようになり、この場合も、床に達していない生体が生体検出部12によって検出される。
【0035】
それに対し、大人の乗員は床に足が届いた状態で着座するのが通常である。よって、乗員が大人の場合は、バイタルサインの検出点の分布は、先に示した図3および図4のようになり、床に達する生体が生体検出部12によって検出される。
【0036】
そこで、実施の形態2に係る乗員検出装置10では、乗員判断部13が、生体検出部12により検出された生体が車両の床に達しているか否かを判断し、達していなければ、その生体を子供の乗員と判断する。なお、実施の形態2に係る乗員検出装置10の構成は、図1と同様である。
【0037】
図13は、実施の形態2に係る乗員検出装置10の動作を示すフローチャートである。図13のフローは、図7のフローに対し、ステップS105の後にステップS111を追加したものである。それ以外のステップは、図7と同様であるため、ここではそれらのステップの説明は省略する。
【0038】
ステップS111では、乗員判断部13が、対象生体が床に達しているか否かを確認する。このとき、対象生体が床に達していれば(ステップS111でYES)、ステップS106へ進み、乗員判断部13は、実施の形態1と同様に、対象生体に対応する乗員の属性(大人か子供か)を、対象生体のサイズに基づいて判断する。しかし、対象生体が床に達していなければ(ステップS111でNO)、ステップS108へ進み、乗員判断部13は、対象生体に対応する乗員は子供であると判断する。
【0039】
実施の形態2に係る乗員検出装置10は、床に達していない生体を子供と判断することで、乗員の属性の判断精度を向上させることができる。
【0040】
<実施の形態3>
図14は、実施の形態3に係る乗員検出装置10の構成を示すブロック図である。図14の乗員検出装置10の構成は、図1の構成に対し、チャイルドシート検出部14を追加したものである。それ以外の要素は図1と同様であるため、ここではそれらの要素の説明は省略する。
【0041】
チャイルドシート検出部14は、チャイルドシートが設置された座席を検出する。チャイルドシートが設置された座席の検出方法は任意の方法でよく、例えば、カメラで撮影した車両内の画像からチャイルドシートの画像を検出する方法でもよいし、各座席に設けられた荷重センサの出力信号、各座席のシートベルトの引き出し量あるいは張力などに基づいて検出する方法でもよい。
【0042】
また本実施の形態では、乗員判断部13は、チャイルドシートが設置された座席の位置を加味して、乗員の属性を判断する。具体的には、乗員判断部13は、チャイルドシートが設置された座席で検出された生体は子供の乗員であると判断する。
【0043】
図15は、実施の形態3に係る乗員検出装置10の動作を示すフローチャートである。図15のフローは、図7のフローに対し、以下に説明するステップS121,S122を追加したものである。それ以外のステップは、図7と同様であるため、ここではそれらのステップの説明は省略する。
【0044】
ステップS121では、チャイルドシート検出部14が、車両内のチャイルドシートが設置された座席を探索する。図15のフローではステップS121がステップS101~S103の後に実行されるが、その順番は逆でもよい。
【0045】
ステップS122は、ステップS105の後に実行される。ステップS122では、ステップS121の探索結果に基づいて、乗員判断部13が、対象生体に対応する乗員がいる座席にチャイルドシートが設置されているか否かを確認する。当該座席にチャイルドシートが設置されていなければ(ステップS122でNO)、ステップS106へ進み、乗員判断部13は、実施の形態1と同様に、対象生体に対応する乗員の属性(大人か子供か)を、対象生体のサイズに基づいて判断する。しかし、当該座席にチャイルドシートが設置されていれば(ステップS111でYES)、ステップS108へ進み、乗員判断部13は、対象生体に対応する乗員は子供であると判断する。
【0046】
実施の形態3に係る乗員検出装置10は、チャイルドシートが設置された座席の位置を加味して乗員の属性を判断するため、チャイルドシートが設置された座席にいる乗員の属性(子供)を精度よく判断することができる。
【0047】
<実施の形態4>
人物の体格には個人差があり、大柄な子供や小柄な大人が存在する。そのため、人物の年齢は、体のサイズから判断するよりも顔や骨格の特徴から判断する方が精度よく判断できると考えられる。そこで本実施の形態では、乗員の顔または骨格の特徴が分かる場合には、乗員判断部13が、その特徴から当該乗員の年齢を推定することで、当該乗員の属性を判断する。
【0048】
図16は、実施の形態4に係る乗員検出装置10の構成を示すブロック図である。図16の乗員検出装置10の構成は、図1の構成に対し、車内画像取得部15および乗員画像検出部16を追加したものである。また、乗員検出装置10には、車内カメラ22が接続されている。それ以外の要素は図1と同様であるため、ここではそれらの要素の説明は省略する。
【0049】
車内カメラ22は、車両内の各座席を撮影するカメラである。車内カメラ22は、1つのカメラで構成されていてもよいし、座席ごとに設けられた複数のカメラから構成されていてもよい。車内カメラ22が1つのカメラで構成される場合、車内カメラ22は、例えばオーバーヘッドコンソール(OHC)やリアビューミラーの近傍など、全ての座席を同時に撮影できる位置に設置される。以下、車内カメラ22が車両内を撮影した画像を「車内画像」という。本実施の形態では、車内カメラ22はオーバーヘッドコンソールに設置された1つのカメラで構成されているものとする。
【0050】
乗員検出装置10の車内画像取得部15は、車内カメラ22が撮影した車内画像を取得する。乗員画像検出部16は、生体検出部12が検出した生体の位置に基づいて、車内画像取得部15が取得した車内画像を解析することで、車内画像から、生体検出部12が検出した生体に対応する乗員の画像を探索する。
【0051】
生体検出部12が検出した生体に対応する乗員の画像が検出された場合、乗員判断部13は、当該乗員の画像から乗員の顔または骨格の特徴を抽出し、抽出された顔または骨格の特徴に基づいて当該乗員の年齢を推定することで、当該乗員の属性(大人か子供か)を判断する。生体検出部12が検出した生体に対応する乗員の画像が検出されなかった場合には、乗員判断部13は、実施の形態1と同様に、その生体に対応する乗員の属性を、生体のサイズに基づいて判断する。
【0052】
図17は、実施の形態4に係る乗員検出装置10の動作を示すフローチャートである。図17のフローは、図7のフローに対し、以下に説明するステップS131~S134を追加したものである。それ以外のステップは、図7と同様であるため、ここではそれらのステップの説明は省略する。
【0053】
ステップS131では、車内画像取得部15が、車内カメラ22が撮影した車内画像を取得する。図17のフローではステップS131がステップS101~S103の後に実行されるが、その順番は逆でもよい。
【0054】
ステップS132は、ステップS105の後に実行される。ステップS132では、乗員画像検出部16が、対象生体の位置に基づいて、車内画像取得部15が取得した車内画像を解析することで、車内画像から、対象生体に対応する乗員の画像を探索する。
【0055】
ステップS133は、ステップS132の後に実行される。ステップS133では、乗員判断部13が、ステップS132で対象生体に対応する乗員の画像が検出されたかどうか確認する。対象生体に対応する乗員の画像が検出されていれば(ステップS133でYES)、ステップS134へ進む。ステップS134では、乗員判断部13は、対象生体に対応する乗員の画像を解析して、当該乗員の顔または骨格の特徴から年齢を推定することで、当該乗員の属性(大人か子供か)を判断する。
【0056】
対象生体に対応する乗員の画像が検出されていなければ(ステップS133でNO)、ステップS106へ進み、乗員判断部13は、実施の形態1と同様に、対象生体に対応する乗員の属性(大人か子供か)を、対象生体のサイズに基づいて判断する。
【0057】
実施の形態4に係る乗員検出装置10は、乗員の顔または骨格の特徴から乗員の属性を判断するため、乗員の属性の判断精度を向上させることができる。
【0058】
<実施の形態5>
図18は、実施の形態5に係る乗員検出装置10の構成を示すブロック図である。図18の乗員検出装置10の構成は、図16の構成に対し、表情変化検出部17を追加したものである。それ以外の要素は図16と同様であるため、ここではそれらの要素の説明は省略する。
【0059】
表情変化検出部17は、乗員画像検出部16が検出した乗員の顔の画像の変化を監視することで、その乗員の表情の変化を検出する。より具体的には、表情変化検出部17は、乗員の顔の画像から目(両目尻、両目頭、上瞼、下瞼など)、鼻(鼻根・鼻背・鼻翼・鼻尖など)、口(上唇、下唇など)といった顔のパーツを特徴点として抽出し、それらの特徴点の位置関係から表情の変化の有無を判断する。ただし、表情の変化の検出方法はこれに限られず、任意の方法でよい。
【0060】
また本実施の形態では、乗員判断部13は、表情変化検出部17による乗員の表情変化の検出結果を加味して、その乗員の属性を判断する。具体的には、乗員判断部13は、乗員画像検出部16が検出した乗員の顔に表情の変化が一定時間以上なければ、その顔は乗員のものではないと判断し、当該乗員の属性を、画像ではなく、生体のサイズに基づいて判断する。
【0061】
図19は、実施の形態5に係る乗員検出装置10の動作を示すフローチャートである。図19のフローは、図17のフローに対し、以下に説明するステップS135を追加したものである。それ以外のステップは、図17と同様であるため、ここではそれらのステップの説明は省略する。
【0062】
ステップS135は、ステップS133で対象生体に対応する乗員の画像が検出されたと判断された場合(ステップS133でYESと判断された場合)に実行される。ステップS135では、乗員判断部13が、表情変化検出部17による乗員の表情変化の検出結果に基づいて、対象生体に対応する乗員の顔に表情の変化が無い状態が一定時間以上続いたか否かを判断する。表情の変化が無い状態が一定時間以上続いていれば(ステップS135でYES)、ステップS106へ進み、乗員判断部13は、実施の形態1と同様に、対象生体のサイズに基づいて乗員が大人か子供かを判断する。表情の変化が無い状態が続いたのが一定時間未満であれば(ステップS135でNO)、ステップS134へ進み、乗員判断部13は、実施の形態4と同様に、対象生体に対応する乗員の画像を解析して、当該乗員の顔または骨格の特徴から年齢を推定することで、当該乗員の属性(大人か子供か)を判断する。
【0063】
実施の形態5に係る乗員検出装置10は、乗員画像検出部16が検出した乗員の顔に表情の変化が一定時間以上なければ、その乗員の属性を、画像ではなく、生体のサイズに基づいて判断する。これにより、子供がお面を付けている場合や人の顔がプリントされたシャツを着ている場合などに、大人と誤判定されることが防止される。また、例えば子供を車両に置き去りにしたことを隠すために、子供にお面を付けて大人のように見せかける偽装を見破ることができるという効果も期待できる。
【0064】
以上説明した実施の形態2~5は、互いに組み合わせることも可能である。例えば、実施の形態2~5の全てを組み合わせた場合、乗員検出装置10の構成は図20のようになる。図20の乗員検出装置10の構成は、図1の構成に対し、上述のチャイルドシート検出部14、車内画像取得部15、乗員画像検出部16および表情変化検出部17を追加したものである。また、乗員検出装置10には、車内カメラ22が接続される。
【0065】
図20に示す乗員検出装置10の動作を示すフローチャートを図21に示す。図21のフローは、図7のフローに対し、上述のステップS111,S121,S122,S131~S135を追加したものである。言い換えれば、図21のフローは、図19のフローのステップS103の後に実施の形態3で説明したステップS122を追加するとともに、ステップS105とS132との間に、実施の形態2で説明したステップS111と、実施の形態3で説明したステップS122とを追加したものである(ステップS111は、ステップS122でNOと判断された場合に実行される)。この変形例によれば、実施の形態2~5の効果が得られる。
【0066】
<実施の形態6>
実施の形態1~5の乗員検出装置10は、例えば、各座席の乗員の身体状態を監視する乗員監視システムや、車両内に子供が置き去りにされることを防止する子供置き去り警報システムなど、乗員の属性を利用するシステムに広く適用可能である。実施の形態6では、乗員検出装置10を子供置き去り警報システムに適用した例を示す。
【0067】
図22は、実施の形態6に係る子供置き去り警報システム30の構成を示すブロック図である。この子供置き去り警報システム30は、実施の形態1~5のいずれかに係る乗員検出装置10と、警報出力部31とを備えている(図22の子供置き去り警報システム30は、実施の形態1に係る乗員検出装置10を備えたものである)。
【0068】
警報出力部31は、乗員検出装置10による乗員の属性の判断結果に基づいて、車両内の乗員が子供だけかどうかを監視し、子供だけの状態が一定時間以上続いた場合に、子供が置き去りにされるおそれがあると判断して、車両外へ警報を発する。
【0069】
図23は、子供置き去り警報システム30の動作を示すフローチャートである。以下、図23を参照しつつ、子供置き去り警報システム30の動作を説明する。
【0070】
子供置き去り警報システム30が起動すると、まず乗員検出装置10が、各座席の乗員の有無および乗員の属性(大人か子供か)を判断する乗員検出処理を実行する(ステップS201)。乗員検出処理では、乗員検出装置10により、図7図15図17図19または図21で示した処理が実行される。
【0071】
警報出力部31は、乗員検出処理の結果に基づいて、車両内に乗員がいるか否かを確認する(ステップS202)。車両内に乗員がいなければ(ステップS202でNO)、警報出力部31は、全ての乗員が車両から降りたと判断し、処理を終了する。
【0072】
車両内に乗員いる場合(ステップS202でYES)、警報出力部31は、車両内の乗員が子供だけかどうか確認する(ステップS203)。車両内の乗員に大人が含まれていれば(ステップS203でNO)、ステップS201へ戻る。
【0073】
車両内の乗員が子供だけであった場合(ステップS203でYES)、警報出力部31は、車両内の乗員が子供だけの状態が一定時間以上続いているかどうか確認する(ステップS204)。車両内の乗員が子供だけの状態が一定時間以上続いていなければ(ステップS204でNO)、ステップS201へ戻る。
【0074】
車両内の乗員が子供だけの状態が一定時間以上続いていれば(ステップS204でYES)、警報出力部31は、車両内に子供が置き去りにされるおそれがあると判断して、車両外へ警報を発する(ステップS205)。
【0075】
なお、子供置き去り警報システム30が図23の処理を開始するタイミングに制約はないが、子供の置き去りは車両が停止した後に発生するため、車両が停止したタイミングで図23の処理が開始されるとよい。あるいは、子供置き去り警報システム30がドアの開閉信号や座席の荷重センサの出力信号などに基づいて乗員の乗降を検出し、乗員が乗降したタイミングで図23の処理が開始されるようにしてもよい。乗員が乗降したタイミングで図23の処理が開始される場合、車両から全ての乗員が一旦降りた後に、子供だけが再び車両に乗せられて置き去りにされることも検出できる。
【0076】
実施の形態6に係る子供置き去り警報システム30は、子供が置き去りにされるおそれがあることを検出して警報を発するため、子供の置き去りを防止することができる。また、車両内の乗員の有無および乗員の属性を判断する乗員検出処理(ステップS201)が、実施の形態1~5のいずれかに係る乗員検出装置10によって行われるため、子供の置き去りが発生するおそれを精度よく検出することができる。
【0077】
なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
【0078】
上記した説明は、すべての態様において、例示であって、例示されていない無数の変形例が想定され得るものと解される。
【符号の説明】
【0079】
10 乗員検出装置、11 生体情報取得部、12 生体検出部、13 乗員判断部、14 チャイルドシート検出部、15 車内画像取得部、16 乗員画像検出部、17 表情変化検出部、21 電磁波センサ、22 車内カメラ、30 子供置き去り警報システム、31 警報出力部、50 処理回路、51 プロセッサ、52 メモリ。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23