特許第6772786号(P6772786)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧

<>
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000002
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000003
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000004
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000005
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000006
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000007
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000008
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000009
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000010
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000011
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000012
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000013
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000014
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000015
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000016
  • 特許6772786-乗員検知装置および乗員検知プログラム 図000017
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6772786
(24)【登録日】2020年10月5日
(45)【発行日】2020年10月21日
(54)【発明の名称】乗員検知装置および乗員検知プログラム
(51)【国際特許分類】
   B60N 2/90 20180101AFI20201012BHJP
   B60R 21/015 20060101ALI20201012BHJP
   B60R 11/02 20060101ALI20201012BHJP
【FI】
   B60N2/90
   B60R21/015
   B60R11/02 Z
【請求項の数】6
【全頁数】23
(21)【出願番号】特願2016-229256(P2016-229256)
(22)【出願日】2016年11月25日
(65)【公開番号】特開2018-83589(P2018-83589A)
(43)【公開日】2018年5月31日
【審査請求日】2019年10月10日
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】アイシン精機株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】藤井 宏行
(72)【発明者】
【氏名】大須賀 晋
【審査官】 西堀 宏之
(56)【参考文献】
【文献】 特開2004−291668(JP,A)
【文献】 特開平8−226817(JP,A)
【文献】 特開2004−338517(JP,A)
【文献】 米国特許出願公開第2003/0125855(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B60N 2/90
B60R 11/02
B60R 21/015
(57)【特許請求の範囲】
【請求項1】
撮像装置によって撮像された車両の室内の撮像画像と、前記車両の室内に設けられたシートに設けられた荷重センサで検出された荷重と、を入力する入力部と、
前記荷重が所定の閾値以上の場合に、乗員が前記シートに着座していると判定する判定部と、
前記撮像画像から、前記撮像画像における前記乗員の顔の確からしさを示す顔判定度を求める検出部と、
前記顔判定度に応じて前記閾値を変更する閾値変更部と、
を備える乗員検知装置。
【請求項2】
前記閾値変更部は、前記顔判定度が高いほど、前記閾値を小さく変更する、
請求項1に記載の乗員検知装置。
【請求項3】
前記閾値変更部は、前記顔判定度と所定の基準との差が所定の範囲に含まれる場合は、前記閾値を変更しない、
請求項1または2に記載の乗員検知装置。
【請求項4】
前記判定部は、前記検出された荷重が閾値以上となり、かつ、前記顔判定度が所定の基準以上となる前記撮像画像を取得した時刻と、前記荷重が一定以上増加した時刻との差が所定の時間以内である場合に、前記乗員が前記シートに着座していると判定する、
請求項1〜3のいずれか1項に記載の乗員検知装置。
【請求項5】
前記撮像画像の顔判定度が所定の基準より低い場合に、前記検出された荷重を荷重補正値として記憶部に保存する補正値設定部と、
前記検出された荷重から、前記記憶部に記憶された荷重補正値を減算することで前記荷重の値を補正する荷重補正部と、
をさらに備え、
前記判定部は、前記荷重補正部が補正した後の荷重が前記閾値以上の場合に、前記乗員が前記シートに着座していると判定する、
請求項1〜4のいずれか1項に記載の乗員検知装置。
【請求項6】
撮像装置によって撮像された車両の室内の撮像画像と、前記車両の室内に設けられたシートに設けられた荷重センサで検出された荷重と、を入力するステップと、
前記荷重が所定の閾値以上の場合に、乗員が前記シートに着座していると判定するステップと、
前記撮像画像から、前記撮像画像における前記乗員の顔の確からしさを示す顔判定度を求めるステップと、
前記顔判定度に応じて前記閾値を変更するステップと、
をコンピュータに実行させるための乗員検知プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、乗員検知装置および乗員検知プログラムに関する。
【背景技術】
【0002】
従来、車両のシート(座席)に設置した荷重センサを用いて、シートに着座した乗員を検知する乗員検知装置が知られている。また、車内をカメラで撮像することにより、乗員を検知する乗員検知装置も知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平9−150662号公報
【特許文献2】特開2007−198929号公報
【特許文献3】特開2006−205844号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記のように荷重によって乗員を検知する乗員検知装置は、シートに置かれた荷物等の荷重によって、乗員が着座していると誤判定する場合があり、シートに着座した乗員の有無を高精度に判定することが困難であった。また、カメラの撮像画像から乗員を検知する乗員検知装置では、撮像条件によっては乗員の有無を高精度に判定することが困難な場合があった。
【0005】
そこで、本発明の課題の一つは、例えば、車両のシートに着座した乗員の有無を高精度に判別することができる乗員検知装置および乗員検知プログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の実施形態にかかる乗員検知装置は、一例として、撮像装置によって撮像された車両の室内の撮像画像と、車両の室内に設けられたシートに設けられた荷重センサで検出された荷重と、を入力する入力部と、荷重が所定の閾値以上の場合に、乗員がシートに着座していると判定する判定部と、撮像画像から、撮像画像における乗員の顔の確からしさを示す顔判定度を求める検出部と、顔判定度に応じて閾値を変更する閾値変更部と、を備える。よって、一例としては、乗員検知装置によれば、荷物等の荷重による誤検知を防止し、車両のシートに着座した乗員の有無を高精度に判別することができる。
【0007】
上記乗員検知装置では、一例として、閾値変更部は、顔判定度が高いほど、閾値を小さく変更する。よって、一例としては、乗員検知装置によれば、体重の軽い乗員が着座した場合にも、高精度に乗員を検知することができる。また、他の一例としては、乗員検知装置によれば、人間の体重と同程度の荷物がシート上に置かれた場合であっても、乗員と誤検知することを防止することができる。
【0008】
上記乗員検知装置では、一例として、閾値変更部は、顔判定度と所定の基準との差が所定の範囲に含まれる場合は、閾値を変更しない。よって、一例としては、乗員検知装置によれば、信頼性の高い顔判定度のみを用いることにより、乗員の有無をより高精度に判定することができる。
【0009】
上記乗員検知装置では、一例として、判定部は、検出された荷重が閾値以上となり、かつ、顔判定度が所定の基準以上となる撮像画像を取得した時刻と、荷重が一定以上増加した時刻との差が所定の時間以内である場合に、乗員がシートに着座していると判定する。よって、一例としては、乗員検知装置によれば、荷重が閾値以上であるか否かと、荷重の変動のタイミングと顔判定のタイミングの一致の両方を条件とすることで、誤検知を防止し、より高精度に乗員の有無を判定することができる。
【0010】
上記乗員検知装置は、一例として、撮像画像の顔判定度が所定の基準より低い場合に、検出された荷重を荷重補正値として記憶部に保存する補正値設定部と、検出された荷重から、記憶部に記憶された荷重補正値を減算することで荷重の値を補正する荷重補正部と、をさらに備える。また、上記乗員検知装置では、一例として、判定部は、荷重補正部が補正した後の荷重が閾値以上の場合に、乗員がシートに着座していると判定する。よって、一例としては、乗員検知装置によれば、入力した荷重から荷物による荷重を除くことにより、乗員の体重による荷重を高精度に検知することができる。このため、一例としては、乗員検知装置によれば、乗員の有無をより高精度に判定することができる。
【図面の簡単な説明】
【0011】
図1図1は、実施形態1にかかる乗員検知装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
図2図2は、実施形態1にかかる撮像装置の撮像範囲の一例が示された図である。
図3図3は、実施形態1にかかる車両用のシートの一例が示された側面図である。
図4図4は、実施形態1にかかる車両用のシートの一例が示された平面図である。
図5図5は、実施形態1にかかる乗員検知システムのハードウェア構成の一例を示す図である。
図6図6は、実施形態1にかかるECUの機能的構成の一例を示すブロック図である。
図7図7は、実施形態1にかかる顔検出の一例を示す図である。
図8図8は、実施形態1にかかる顔判定度の分布の一例を示すヒストグラムである。
図9図9は、実施形態1にかかるECUによる乗員検知処理の手順の一例を示すフローチャートである。
図10図10は、実施形態2にかかるECUによる乗員検知処理の手順の一例を示すフローチャートである。
図11図11は、実施形態3にかかるECUの機能的構成の一例を示すブロック図である。
図12図12は、実施形態3にかかるECUによるタイミング判定処理の手順の一例を示すフローチャートである。
図13図13は、実施形態3にかかるECUによる乗員検知処理の手順の一例を示すフローチャートである。
図14図14は、実施形態4にかかるECUの機能的構成の一例を示すブロック図である。
図15図15は、実施形態4にかかるECUによる空席状態の荷重検知処理の手順の一例を示すフローチャートである。
図16図16は、実施形態4にかかるECUによる乗員検知処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0012】
(実施形態1)
以下、本実施形態の乗員検知装置を車両10に搭載した例をあげて説明する。
図1は、本実施形態にかかる乗員検知装置を搭載する車両10の車室12の一部が透視された状態の一例が示された斜視図である。本実施形態において、乗員検知装置(乗員検知システム)を搭載する車両10は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。
【0013】
図1に例示されるように、車両10は、不図示の乗員(運転者、同乗者)が乗車する車室12を構成している。車室12内には、運転者用のシート14a(運転席)、同乗者用のシート14b(助手席)、不図示の後部座席等が設けられている。運転者および同乗者は、乗員の一例である。また、シート14a,14bに臨む状態で、ステアリングホイール16や、ダッシュボード18等が設けられている。
【0014】
ステアリングホイール16やダッシュボード18内には、シート14aおよびシート14b用のエアバッグが格納されている。また、シート14aおよびシート14bの背面に、後部座席(不図示)用のエアバッグが格納されても良い。また、車両10は、ドア(不図示)に格納されたサイドエアバッグをさらに備えても良い。
【0015】
また、ダッシュボード18のほぼ中央部には、各種情報を運転者や同乗者に提供する情報提供部としてモニタ装置20が設けられている。モニタ装置20は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等で構成される表示装置22を備える。また、モニタ装置20は、音声出力装置(例えば、スピーカ)を備える。表示装置22は、例えば、タッチパネル等、透明な操作入力部で覆われている。
【0016】
車両10は、シート14a、14b等を撮像する撮像装置24を備える。撮像装置24は、例えば、CCD(Charge Coupled Device)カメラ等である。撮像装置24は、例えば、図1に示されるようにダッシュボード18のほぼ中央に位置するモニタ装置20に設けることができる。撮像装置24は、車両10の車内を撮影(撮像)し、撮像により得た画像データである撮像画像を、後述のECUへ順次出力する。
【0017】
図2は、本実施形態にかかる撮像装置24の撮像範囲の一例が示された図である。図2に示すように、撮像装置24はシート14a、14bの両方を撮像範囲に含めるため、1つの撮像装置24でシート14a、14bの着座状態を検出することができる。あるいは、車両10は、複数の撮像装置24を備え、シート14aとシート14bとを別個に撮像する構成を採用しても良い。
【0018】
図3は、本実施形態にかかる車両10用のシート14bの一例が示された側面図である。図3に示すように、シート14bは、シートクッション2と、シートバック3と、ヘッドレスト4と、を備える。シートバック3は、シートクッション2の後端部に対して傾動自在に設けられる。ヘッドレスト4は、シートバック3の上端に設置される。また、車両10の床部Fには、車両10の前後方向に延びる左右一対のロアレール5が設けられる。各ロアレール5には、それぞれ、延伸方向に沿って当該ロアレール5上を相対移動可能なアッパレール6が装着される。各ロアレール5およびアッパレール6が形成するシートスライド装置7は、シート14bを支持する。
【0019】
図3に示すように、本実施形態のシート14bはシートクッション2の下方に荷重センサ26f、26rを備える。例えば、荷重センサ26f、26rは、アッパレール6とシートクッション2の間に設置される。荷重センサ26f、26rは、シート14bの荷重を計測(検知)するセンサである。
【0020】
本実施形態におけるシート14bの荷重は、シート14bに加えられる重量(加重)である。例えば、荷重センサ26f、26rは、シート14bのシートクッション2上に置かれた荷物の重量や、乗員の体重をシート14bの荷重として計測する。これに限らず、シート14bの背面に設けられたフック(不図示)に荷物が吊り下げられた場合や、シート14a(運転席)の乗員がシート14b上に手をついて体重を加えた場合等にも、シート14bには荷重が加えられる。荷重センサ26f、26rはこれらの荷重を計測する。
【0021】
荷重センサ26f、26rは、例えば、周知の歪みセンサやロードセルを採用しても良い。また、荷重センサ26fはシート14bの前側に、荷重センサ26rはシート14bの後側にそれぞれ設置される。以下、2つの荷重センサを特に区別する必要のない場合は、荷重センサ26と称する。
【0022】
図4は、本実施形態にかかる車両用のシート14bの一例が示された平面図である。図4は、シート14bを上方から見た場合の、シートクッション2、シートバック3、ヘッドレスト4の構成を示す。また、図4に示すように、アッパレール6はアッパレール6aとアッパレール6bの2本が対になっている。アッパレール6aはシート14bの右側(運転席側)に位置し、アッパレール6bはシート14bの左側(窓側)に位置する。図4に示すように、荷重センサ26f、26rは、右側のアッパレール6aとシートクッション2との間に設置される。本実施形態の乗員検知システムでは、シート14bの右前側と右後側に設置された2つの荷重センサ26でシート14bの荷重を計測するため、少ない荷重センサ26数で、効率的にシート14bの荷重を計測することができる。
【0023】
図3および図4ではシート14b(助手席)を例として説明したが、シート14a(運転席)も同様の構成を備えても良い。シート14aが荷重センサ26を備える場合、荷重センサ26の設置位置は、シート14bとは左右逆となる。すなわち、シート14aはアッパレール6bの側(助手席側)に荷重センサ26を備える。また、荷重センサ26は、後部座席(不図示)にも設置されるものとしても良い。
【0024】
次に、本実施形態にかかる車両10における乗員検知装置を有する乗員検知システムについて説明する。図5は、本実施形態にかかる乗員検知システム100のハードウェア構成の一例を示す図である。図5に例示されるように、乗員検知システム100では、ECU30や、ドアセンサ25、荷重センサ26、エアバッグ27等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(Controller Area Network)として構成されている。ECU30は、車内ネットワーク23を通じて制御信号を送ることで、エアバッグ27等を制御することができる。また、ECU30は、車内ネットワーク23を介して、4つのドアセンサ25、2つの荷重センサ26(26f、26r)の検出結果等を、受け取ることができる。また、ECU30は、撮像装置24から撮像画像を受け取ることができる。ここで、ECU30は、本実施形態における乗員検知装置の一例である。
【0025】
4個のドアセンサ25のそれぞれは、それぞれ異なるドアに配設されている。各ドアセンサ25は、対応するドアが開状態であるか閉状態であるかを少なくとも検出する。なお、各ドアセンサ25は、ドアが開いている角度を検出するものであってもよい。また、ドアセンサ25の数は4に限定されない。本実施形態においては、ドアセンサ25は、少なくとも助手席のドアの開閉を検出できるものとする。
【0026】
ECU30は、例えば、CPU31(Central Processing Unit)や、SSD32(Solid State Drive、フラッシュメモリ)、ROM33(Read Only Memory)、RAM34(Random Access Memory)等を有している。CPU31は、車両10全体の制御を行う。CPU31は、ROM33等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。RAM34は、CPU31での演算で用いられる各種のデータを一時的に記憶する。また、SSD32は、書き換え可能な不揮発性の記憶部であって、ECU30の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU31や、ROM33、RAM34等は、同一パッケージ内に集積されうる。また、ECU30は、CPU31に替えて、DSP(Digital Signal Processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD32に替えてHDD(Hard Disk Drive)が設けられてもよいし、SSD32やHDDは、ECU30とは別に設けられてもよい。
【0027】
上述した各種センサ等の構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。また、図5では、乗員検知システム100は乗員検知装置としての1つのECU30を備える構成を一例として説明したが、これに限らず、乗員検知システム100は複数のECUを備える構成を採用しても良い。
【0028】
次に、本実施形態におけるECU30の機能的構成について説明する。図6は、本実施形態にかかるECU30の機能的構成の一例を示すブロック図である。図6に示すように、ECU30は、入力部90と、検出部91と、閾値変更部92と、判定部93として主に機能する。図6に示される、入力部90、検出部91、閾値変更部92、判定部93の各構成は、CPU31が、ROM33内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。
【0029】
図6に示される記憶部95は、例えばSSD32等の記憶装置によって構成される。記憶部95は、後述の荷重の閾値と、顔学習データベース951とを記憶する。また、記憶部95は、後述の判定部93が判定した乗員検知結果を記憶する構成を採用しても良い。
【0030】
入力部90は、撮像装置24から、撮像装置24が撮像した撮像画像を入力する。また、入力部90は、荷重センサ26から、荷重センサ26が検知したシート14bの荷重を入力する。さらに、入力部90は、ドアセンサ25から助手席のドアの開閉を示す信号を入力する。入力部90は、入力した撮像画像およびドアの開閉を示す信号を検出部91に送出する。また、入力部90は、入力した荷重を判定部93に送出する。
【0031】
検出部91は、入力部90から取得した撮像画像における顔判定度を求める。顔判定度とは、乗員の顔の確からしさを示す指標である。顔判定度は、撮像画像に乗員の顔が含まれることが確かであるほど高くなる。図7は、本実施形態にかかる顔検出の一例を示す図である。図7に示す撮像画像は、シート14bに着座した乗員Mの顔を含むものとする。検出部91は、撮像画像から乗員Mの顔である可能性がある範囲900を検出し、さらに、当該範囲900の画像が、どの程度顔らしいかの度合を評価する。
【0032】
例えば、検出部91は、記憶部95に予め記憶された顔学習データベース951を用いて、ニューラルネットワーク等によって撮像画像の顔判定度を求める構成を採用しても良い。例えば、顔学習データベース951は複数の被験者(モデル)の3次元顔モデルのデータや、顔の部品のデータ、特徴点のデータを含むものとしても良い。また、検出部91は、撮像画像から公知の技術を用いて3次元顔モデルを生成し、顔学習データベース951のデータと比較することにより顔らしさを評価する構成を採用しても良い。例えば、検出部91が撮像画像から顔である可能性のある範囲を検出することができない場合、撮像画像に顔判定度が最も低くなるものとする。また、検出部91が検出した範囲の画像における、顔らしさの度合が高いほど、撮像画像の顔判定度が高くなるものとする。上述の顔検出および顔判定度の算出の手法は一例であり、これに限定するものではない。
【0033】
図8は、本実施形態にかかる顔判定度の分布の一例を示すヒストグラムである。図8の横軸は顔判定度を示し、縦軸は各判定度における標本数(度数)を正規化した、正規化度数を示す。図8は、顔を撮像した撮像画像と、顔以外を撮像した撮像画像に対して、検出部91が顔判定度数を求めた場合の、検出部91の出力結果を示す。図8に示すように、顔を撮像した撮像画像における顔判定度は、“1”以上となる。顔判定度が高いほど、当該撮像画像における乗員Mの顔の確からしさの度合が高いため、当該撮像画像はより確実に乗員Mの顔を含む。また、顔以外を撮像した撮像画像における顔判定度は、“1”未満となる。顔判定度が低いほど、当該撮像画像が乗員Mの顔を含まないことが確かとなる。検出部91は、顔判定度を閾値変更部92に送出する。
【0034】
本実施形態においては、顔判定度“1”を、撮像画像に顔が含まれるか否かを切り分ける基準値aとするが、当該値は一例であり、これに限らない。本実施形態における基準値aは、所定の基準の一例である。また、本実施形態では顔判定度を0〜6の値で示すが、これに限らない。例えば、検出部91は顔判定度をA、B、C等のランク等で示しても良いし、単に“高”または“低”に分類してもよい。
【0035】
図6に戻り、判定部93は、入力部90から取得した荷重が閾値以上の場合に、乗員Mがシート14bに着座していると判定する。判定部93は、乗員Mの有無の判定結果(乗員検知結果)を記憶部95に保存する構成を採用しても良い。あるいは、判定部93は、判定結果を外部装置(不図示)に出力する構成を採用しても良い。
【0036】
閾値変更部92は、検出部91から取得した顔判定度に応じて、荷重の閾値を変更する。具体的には、閾値変更部92は、検出部91から取得した顔判定度が高いほど閾値が小さくなるよう、閾値を変更する。例えば、記憶部95に記憶された荷重の閾値は、顔判定度が図8に示した基準値aである場合に合わせた初期値であるとする。閾値変更部92は、顔判定度が基準値a以上の場合は、閾値を初期値よりも小さくする。このように閾値変更部92が閾値を変更することにより、判定部93は、顔判定度が高い場合は、より小さい荷重であっても、乗員Mがシート14bに着座していると判定する。
【0037】
また、閾値変更部92は、顔判定度が基準値a未満の場合は、閾値を初期値よりも大きくする。このように閾値変更部92が閾値を変更することにより、判定部93は、顔判定度が低い場合は、より大きい荷重であっても、乗員Mはシート14bに着座していないと判定する。閾値変更部92は、変更した閾値を、判定部93に送出する。
【0038】
本実施形態では閾値の初期値は、顔判別度が基準値aの場合の荷重の閾値としたが、これに限らない。例えば、顔判定度が低い場合に合わせて閾値の初期値を高く設定し、顔判別度が高いほど、閾値変更部92が閾値を小さく変更する構成を採用しても良い。
【0039】
次に、以上のように構成された本実施形態の乗員検知処理について説明する。図9は、本実施形態にかかるECU30による乗員検知処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば、入力部90がドアセンサ25からドアの開閉を示す信号を入力した場合に開始する。または、このフローチャートの処理は、車両10のイグニッション電源がオンの場合に、一定時間ごとに開始するものとしても良い。
【0040】
入力部90は、撮像装置24から撮像画像を入力する(S1)。入力部90は、入力した撮像画像を、検出部91に送出する。
【0041】
検出部91は、入力した撮像画像における顔判定度を求める(S2)。検出部91は、求めた顔判定度を、閾値変更部92に送出する。
【0042】
閾値変更部92は、検出部91から取得した顔判定度が高いほど、荷重の閾値を小さくする(S3)。閾値変更部92は、変更した閾値を、判定部93に送出する。
【0043】
入力部90は、荷重センサ26から荷重の計測値を入力する(S4)。入力部90は、入力した荷重の計測値を、判定部93に送出する。
【0044】
判定部93は、入力部90が入力した荷重の値と、閾値変更部92が変更した荷重の閾値とを取得する。判定部93は、入力した荷重の値が、荷重の閾値以上である場合(S5“Yes”)、乗員Mがシート14bに着座していると判断し、「乗員あり」と判定する(S6)。
【0045】
また、判定部93は、入力した荷重の値が、荷重の閾値未満である場合(S5“No”)、シート14bに着座している乗員Mがいないと判断し、「乗員なし」と判定する(S7)。判定部93が乗員Mの有無を判定すると、このフローチャートの処理は終了する。
【0046】
ECU30は、判定部93が判定した乗員検知結果に基づいて、衝撃を検知した場合にエアバッグ27を展開するか否かモードの切り替えの制御を行う。例えば、ECU30は、最新の判定結果が「乗員あり」である場合に、エアバッグ27を展開モードにし、最新の判定結果が「乗員なし」である場合に、エアバッグ27を非展開モードにする。
【0047】
このように、本実施形態におけるECU30では、検出部91が、車両10の内部が撮像された撮像画像から、撮像画像における乗員Mの顔の確からしさを示す顔判定度を求め、閾値変更部92が、顔判定度に応じて荷重の閾値を変更する。そして、車両10のシート14bの荷重センサ26で検出された荷重が閾値以上の場合に、判定部93が、乗員Mがシート14bに着座していると判定する。このため、本実施形態におけるECU30によれば、荷物等の荷重による誤検知を防止し、車両10のシート14bに着座した乗員Mの有無を高精度に判別することができる。
【0048】
また、閾値変更部92は、撮像画像における顔判定度が高いほど、荷重の閾値を小さく変更するため、本実施形態におけるECU30によれば、体重の軽い乗員が着座した場合にも、高精度に乗員Mを検知することができる。また、言い換えれば、撮像画像における顔判定度が低い場合には、荷重の閾値が大きくなるため、本実施形態におけるECU30によれば、人間の体重と同程度の荷物がシート14b上に置かれた場合であっても、乗員と誤検知することを防止することができる。
【0049】
また、本実施形態におけるECU30では、撮像画像における顔判定度を求めるだけではなく、荷重による判定も行うため、撮像条件に関わらず、乗員検知の信頼性を維持することができる。例えば、撮像装置24のレンズの曇りや汚れ、逆光等により撮像画像が不鮮明なために顔判定度を精度良く求めることが困難な場合でも、荷重による判定を行うことで、乗員Mが着座したことを検知することができる。また、本実施形態におけるECU30では、後部座席等の乗員Mの顔が撮像画像に映りこんだ場合や、シート14bの模様によって撮像画像の顔判定度が高くなる場合でも、荷重による判定を合わせて行うことにより、誤検知を防止することができる。
【0050】
また、本実施形態の判定部93は高精度に乗員Mを検知することができるため、エアバッグ27を展開するか否かのモードの切り替えをより高精度に制御することができる。例えば、ECU30は、着座した乗員Mの体重が軽い場合でも、エアバッグ27を展開することができる。また、ECU30は、シート14bに荷物が置かれた場合に、荷物を乗員Mと誤検知してエアバッグ27が展開することを防止することができる。このように、本実施形態におけるECU30によれば、高精度に乗員Mを検知することにより、安全性の高いエアバッグ27の展開制御を提供することができる。
【0051】
また、ECU30がシート14bに着座した乗員Mがシートベルトを未着用の状態で車両10が発進した場合に警報等を発するシートベルトリマインダ機能を備える場合に、ECU30は、乗員検知結果に応じて警報を発するか否かを制御する構成を採用しても良い。例えば、ECU30は、最新の判定結果が「乗員あり」で、かつ、シートベルトが装着されていない場合に、警報等を発してシートベルトの装着を促す構成を採用しても良い。当該構成を採用する場合、ECU30は、体重の軽い乗員Mが着座した場合にも、シートベルトの着用を促す警報を発することができる。また、ECU30は、シート14bに荷物が置かれた場合に、荷物を乗員Mと誤検知してシートベルトの着用を促す警報が発せられることを防止することができる。
【0052】
本実施形態では、シート14b(助手席)に着座した乗員Mを検知する例を説明したが、これに限らず、本実施形態の乗員検知装置は、シート14a(運転席)や後部座席に対しても、適用することができる。
【0053】
また、本実施形態では荷重センサ26はシート14bに対して2つ設置される構成とするが、これに限らない。例えば、シート14bに対して4つの荷重センサ26が設置される構成を採用しても良い。
【0054】
また、本実施形態では、顔判定度に応じて閾値変更部92が荷重の閾値を変更する構成を採用したが、これに限らない。例えば、ECU30は、顔判定度が高いほど、計測した荷重の値に加算をする構成を採用しても良い。
【0055】
(実施形態2)
実施形態1では、撮像画像における顔判定度と基準値aとの差異の大小に関わらず、顔判定度に応じて荷重の閾値を変更していた。一方、本実施形態では、顔判定度と基準値aとの差異が所定の範囲内に含まれる場合は、荷重の閾値を変更しない。
【0056】
本実施形態のECU30のハードウェア構成および機能的構成は、図5図6で説明した実施形態1の構成と同様である。また、本実施形態の閾値変更部92は、顔判定度と基準値aとの差異が所定の範囲内に含まれる場合は、荷重の閾値を変更しない。具体的には、本実施形態の閾値変更部92は、顔判定度が、図8に示す第1の基準値b1以上、かつ、第2の基準値b2未満の範囲に含まれる場合は、荷重の閾値を変更しない。言い換えれば、本実施形態の閾値変更部92は、顔判定度が第1の基準値b1未満、または、第2の基準値b2以上の場合に、顔判定度が高いほど、荷重の閾値を小さくする。
【0057】
図8に示すように、顔判定度の基準値aは、撮像画像に顔が含まれるか否かの境目である。顔判定度が基準値aよりも高いほど、撮像画像にはより確実に顔が含まれる。言い換えれば、顔判定度が基準値aよりも低いほど、撮像画像にはより確実に顔が含まれない。すなわち、撮像画像の顔判定度と基準値aの差が大きくなるほど、撮像画像に顔が含まれるか否かの判定の信頼性が高くなる。本実施形態では、より確実に撮像画像に顔が含まれる場合、および、より確実に撮像画像に顔が含まれない場合にのみ、閾値変更部92が荷重の閾値を変更することで、乗員Mの有無をより高精度に判定する。
【0058】
本実施形態では、図8に示す第1の基準値b1以上、かつ、第2の基準値b2未満の範囲を、所定の範囲とする。図8に示すように、第1の基準値b1は基準値aよりも顔判定度が低い。また、第2の基準値b2は、基準値aよりも顔判定度が高い。図8では、一例として、基準値aの顔判定度を“1”、第1の基準値b1の顔判定度を“0.5”、第2の基準値b2の顔判定度を“2”とする。すなわち、本実施形態では、顔判定度から基準値a(“1”)を減算した値が、“−0.5”から“+1”の範囲に含まれる場合、閾値変更部92は、荷重の閾値を変更する。本実施形態における各基準値の値は一例であり、これに限らない。
【0059】
図10は、本実施形態にかかるECU30による乗員検知処理の手順の一例を示すフローチャートである。このフローチャートの開始条件は、実施形態1と同様である。また、S1の撮像画像の入力、およびS2の顔判定度を求める処理は、図9に示す実施形態1の処理と同様である。
【0060】
本実施形態の閾値変更部92は、顔判定度が第1の基準値b1以上、かつ、第2の基準値b2未満の範囲に含まれる場合は(S10“Yes”)、撮像画像の顔判定度と基準値aとの差異が所定の範囲に含まれるため、荷重の閾値を変更しない。また、本実施形態の閾値変更部92は、顔判定度が第1の基準値b1未満、または、第2の基準値b2以上の場合に(S10“No”)、顔判定度が高いほど、荷重の閾値を小さくする(S3)。
【0061】
S4の荷重の計測値の入力から、S6およびS7の乗員Mの有無の判定までの処理は、図9に示す実施形態1の処理と同様である。
【0062】
このように、本実施形態におけるECU30は、撮像画像の顔判定度と基準値aとの差異が所定の範囲に含まれる場合は、荷重の閾値を変更しない。すなわち、本実施形態におけるECU30は、顔判定度が撮像画像に顔が含まれるか否かの境目付近の値をとる場合は、顔判定度の結果を採用しない。このため、本実施形態のECU30によれば、信頼性の高い顔判定度のみに基づいて乗員検知を行うことにより、乗員Mの有無をより高精度に判定することができる。
【0063】
(実施形態3)
本実施形態では、実施形態1の荷重の閾値による乗員Mの有無の判定に対して、さらに、顔判定のタイミングと、シートの荷重が増加したタイミングとが一致することを条件として追加する。例えば、乗員Mが車両10に乗り込み、シート14bに着座する場合、撮像装置24が乗員Mの顔を撮像する時刻と、シート14bの荷重が増加するタイミングとは、一致する。本実施形態では、このようなタイミングの一致の有無を判定することで、乗員Mの有無をより高精度に判定する。
【0064】
顔判定のタイミングは、撮像画像の顔判定値が所定の値以上となる場合の、当該撮像画像の撮像時刻とする。また、シートの荷重が増加したタイミングは、荷重が一定以上増加した時刻とする。一定以上の増加とは、例えば荷重が10kg以上増加することとする。また、タイミングが一致するとは、顔判定のタイミングと、シートの荷重が増加したタイミングとの時間差が、所定の時間以内であることをいう。
【0065】
図11は、本実施形態にかかるECU30の機能的構成の一例を示すブロック図である。図11に示すように、ECU30は、入力部1090と、検出部1091と、閾値変更部92と、判定部1093と、タイミング判定部94として主に機能する。図11に示される、入力部1090、検出部1091、閾値変更部92、判定部1093、タイミング判定部94の各構成は、CPU31が、ROM33内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。閾値変更部92は、図6で説明した実施形態1と同様である。
【0066】
図11に示される記憶部1095は、実施形態1と同様に、例えばSSD32等の記憶装置によって構成され、実施形態1と同様の内容に加えて、さらに、荷重計測データベース952を記憶する。
【0067】
入力部1090は、実施形態1と同様の機能を有する他、入力した撮像画像と、当該撮像画像を入力した時刻、すなわち当該撮像画像の撮像時刻とを対応付けて、タイミング判定部94に送出する。また、入力部1090は、入力した荷重と、当該荷重を入力した時刻、すなわち当該荷重の計測時刻とを対応付けた荷重計測データを、記憶部1095の荷重計測データベース952に保存する。入力部1090は、ECU30内の不図示の計時回路から時刻を取得する構成を採用しても良い。また、入力部1090は、不図示の外部装置から時刻を取得する構成を採用しても良い。
【0068】
タイミング判定部94は、顔判定のタイミングとシートの荷重が増加したタイミングの時間差が所定の時間以内の場合に、タイミングが一致すると判断する。言い換えれば、タイミング判定部94は、顔判定度が所定の基準以上となる撮像画像を入力した時刻と、シートの荷重が一定以上増加した時刻との差が所定の時間以内である場合、タイミングが一致すると判断する。例えば、タイミング判定部94は、顔判定のタイミングとシートの荷重が増加したタイミングの時間差が±5秒以内の場合、タイミングが一致すると判断する。本実施形態における顔判定度の所定の基準とは、例えば、図8に示す基準値aとする。あるいは、図8に示す第2の基準値b2を、所定の基準としても良い。
【0069】
具体的には、タイミング判定部94は、入力部1090から、撮像画像と撮像時刻とを取得する。また、タイミング判定部94は、当該撮像画像について、検出部1091が求めた顔判定度が基準値a以上である場合に、当該撮像画像の撮像時刻から過去5秒以内の荷重計測データを荷重計測データベース952から検索し、荷重の増加量を算出する。当該撮像画像の撮像時刻から過去5秒以内の荷重の増加量が10kg以上であれば、タイミング判定部94は、顔判定のタイミングとシートの荷重が増加したタイミングが一致すると判断する。
【0070】
また、顔判定度が基準値a以上の撮像画像の撮像時刻から、過去5秒以内の荷重の増加量が10kg未満であれば、タイミング判定部94は、当該撮像画像の撮像時刻から5秒経過するまで、荷重計測データの取得と、荷重の増加量の算出を繰り返す。当該撮像画像の撮像時刻から5秒経過するまでに、荷重が10kg以上増加した場合、タイミング判定部94は、顔判定のタイミングとシートの荷重が増加したタイミングが一致すると判断する。
【0071】
顔判定度が基準値a以上の撮像画像の撮像時刻から過去5秒以内、または当該撮像画像撮像時刻から5秒経過するまでに、荷重が10kg以上増加しない場合、タイミング判定部94は、顔判定のタイミングとシートの荷重が増加したタイミングが一致しないと判断する。
【0072】
また、顔判定度が基準値a以上とならない場合、タイミングの判定の基準となる顔判定のタイミングが検知されない。このような場合、タイミング判定部94は、顔検出なしと判定する。タイミング判定部94は、タイミング判定結果を、例えば記憶部1095に保存する。あるいは、タイミング判定部94は、タイミング判定結果を、判定部1093に送出しても良い。
【0073】
検出部1091は、実施形態1と同様の機能を有する。また、本実施形態の検出部1091は、さらに、タイミング判定処理において、求めた顔判定度をタイミング判定部94に送出する。また、検出部1091は、乗員検知処理においては、求めた顔判定度を閾値変更部92に送出する。
【0074】
具体的には、タイミング判定処理は、例えば、入力部1090がドアセンサ25から、ドアが開状態となったことを示す信号を入力した場合に開始するものとする。また、乗員検知処理は、タイミング判定処理が終了した後に開始するものとする。例えば、検出部1091は、入力部1090からドアが開状態となったことを示す信号を取得した場合には、求めた顔判定度をタイミング判定部94に送出する構成を採用しても良い。また、検出部1091は、タイミング判定部94からタイミング判定処理の終了の通知を取得した場合には、乗員検知処理において、求めた顔判定度を閾値変更部92に送出する構成を採用しても良い。
【0075】
判定部1093は、入力部1090から取得した荷重が閾値以上となり、かつ、タイミング判定結果が「タイミング一致」である場合に、乗員Mがシート14bに着座していると判定する。すなわち、判定部1093は、検出された荷重が閾値以上となり、かつ顔判定度が所定の基準以上となる撮像画像を取得した時刻と、荷重が一定以上増加した時刻との差が所定の時間以内である場合に、乗員Mがシート14bに着座していると判定する。判定部1093は、乗員Mの有無の判定結果(乗員検知結果)を記憶部1095に保存する構成を採用しても良い。あるいは、判定部1093は、判定結果を外部装置(不図示)に出力する構成を採用しても良い。
【0076】
上述のタイミング判定部94は、顔判定度と荷重の増加量によってタイミングを判定するものであるため、乗員Mがシート14bに乗り込んだことを検知することができる。一方で、乗員Mが継続してシート14bに着座し続けているか否かは、判定部1093が定期的に荷重を閾値と比較することにより、判定することができる。
【0077】
次に、以上のように構成された本実施形態のタイミング判定処理について説明する。図12は、本実施形態にかかるECU30によるタイミング判定処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば、入力部1090がドアセンサ25からドアが開状態となったことを示す信号を入力した場合に開始する。あるいは、このフローチャートの処理は、車両10のイグニッション電源がオン状態となった場合に開始するものとしても良い。
【0078】
入力部1090は、撮像装置24から撮像画像を入力する(S21)。入力部1090は、入力した撮像画像と当該撮像画像の撮像時刻を対応付けて、検出部1091に送出する。また、入力部1090は、荷重センサ26から、荷重の計測値を入力する(S22)。入力部1090は、入力した荷重と当該荷重の計測時刻とを対応付けた荷重計測データを、記憶部1095の荷重計測データベース952に保存する。入力部1090は、当該フローチャートの処理が終了するまで、一定時間ごと、例えば1秒ごとに荷重の計測値を入力し、入力した荷重と当該荷重の計測時刻とを対応付けた荷重計測データを、記憶部1095の荷重計測データベース952に保存する。
【0079】
検出部1091は、入力した撮像画像における顔判定度を求める(S23)。検出部1091は、当該撮像画像の顔判定度と、撮像時刻とを、タイミング判定部94に送出する。
【0080】
タイミング判定部94は、検出部1091から取得した顔判定度と、基準値aとを比較する(S24)。タイミング判定部94は、顔判定度が基準値a以上であると判断した場合は(S24“Yes”)、当該撮像画像の撮像時刻から過去5秒以内の荷重計測データを荷重計測データベース952から検索する。過去5秒以内の荷重増加量が10kg以上である場合(S25“Yes”)、タイミング判定部94は、顔判定のタイミングと座席の荷重が増加したタイミングが一致する(「タイミング一致」)と判定する(S26)。
【0081】
また、タイミング判定部94は、過去5秒以内の荷重増加量が10kg未満である場合(S25“No”)、当該撮像画像の撮像時刻から5秒経過したか否かを判断する(S27)。タイミング判定部94が、当該撮像画像の撮像時刻から5秒経過していないと判断した場合(S27“No”)、タイミング判定部94は、当該撮像画像の撮像時刻から5秒経過するまで、S25およびS27の処理を繰り返す。この間、入力部1090が一定時間ごとに荷重の計測値を入力し、入力した荷重と当該荷重の計測時刻とを対応付けた荷重計測データを、記憶部1095の荷重計測データベース952に保存するという、S22の処理が継続している。タイミング判定部94は、S25およびS27の処理を繰り返すことで、新たに入力された荷重の増加量を算出する。
【0082】
当該撮像画像の撮像時刻から5秒経過するまでに、荷重が10kg以上増加しない場合(S25“No”、S27“Yes”)、タイミング判定部94は、顔判定のタイミングと座席の荷重が増加したタイミングが一致しない(「タイミング不一致」)と判定する(S28)。
【0083】
一方、顔判定度が基準値a未満である場合は(S24“No”)、タイミング判定部94および入力部1090は、このフローチャートの処理の開始から一定時間が経過するまでは(S29“No”)、S21〜S24およびS29の処理を繰り返す。例えば、車両10のドアが開状態となってから、乗員Mが車両10に乗り込み、撮像装置24の方に顔を向けるまでに時間を要する場合がある。タイミング判定部94、入力部1090および検出部1091が、一定時間当該処理を繰り返すことで、処理開始から乗員Mの顔の撮像までに時間を要した場合でも、タイミングの判定の対象とすることができる。
【0084】
このフローチャートの処理開始から一定時間が経過しても、顔判定度が基準値a以上となる撮像画像が入力されない場合(S29“Yes”)、タイミング判定部94は、「顔検出なし」と判定する(S30)。タイミング判定部94は、判定結果を、例えば記憶部1095に保存する。あるいは、タイミング判定部94は、タイミング判定結果を、判定部1093に送出しても良い。
【0085】
図12では、処理の開始から一定時間が経過した場合に処理を終了するとしたが、これに限らない。例えば、タイミング判定部94、入力部1090および検出部1091は、「タイミング一致」または「タイミング不一致」の判定結果を得るまで、S21〜S25、S27の処理を繰り返す構成を採用しても良い。あるいは、判定結果が「タイミング不一致」または「顔検出なし」である場合は、このフローチャートの処理が再度開始する構成を採用しても良い。
【0086】
次に、本実施形態の乗員検知処理について説明する。図13は、本実施形態にかかるECU30による乗員検知処理の手順の一例を示すフローチャートである。このフローチャートの処理は、タイミング判定部94によって、タイミング判定結果が記憶部1095に保存された場合に開始する。また、このフローチャートの処理は、イグニッション電源がオン状態の場合に、一定時間ごとに開始するものとしても良い。
【0087】
S41の撮像画像の入力から、S45の入力した荷重と閾値とを比較する処理は、図9で説明した実施形態1のS1からS5の処理と同様である。
【0088】
本実施形態の判定部1093は、入力した荷重が閾値以上である場合に(S45“Yes”)、さらに、タイミング判定結果が「タイミング一致」であるか否かを判断する(S46)。判定部1093は、記憶部1095に保存されたタイミング判定結果を取得しても良いし、図12のタイミング判定処理の終了時に、タイミング判定部94から判定結果を取得しても良い。
【0089】
タイミング判定結果が「タイミング一致」である場合(S46“Yes”)、判定部1093は、乗員Mがシート14bに着座していると判断し、「乗員あり」と判定する(S47)。
【0090】
タイミング判定結果が「タイミング一致」でない場合(S46“No”)、判定部1093は、シート14bに着座している乗員Mがいないと判断し、「乗員なし」と判定する(S48)。また、判定部1093は、実施形態1と同様に、入力した荷重が閾値未満である場合に(S45“No”)、シート14bに着座している乗員Mがいないと判断し、「乗員なし」と判定する(S48)。判定部1093が乗員Mの有無を判定すると、このフローチャートの処理は終了する。
【0091】
上述のように、図13の乗員検知処理は、タイミング判定処理の後に実行される他、車両10のイグニッション電源がオン状態である場合に定期的に実行されるものとしても良い。乗員検知処理を定期的に実行することにより、判定部1093は、例えば、「乗員あり」と判定された後に乗員Mがシート14bから降りた場合に、荷重が閾値以下になったことを検知し、「乗員なし」と判定する。
【0092】
このように、本実施形態の判定部1093は、検出された荷重が閾値以上となり、かつ、顔判定度が所定の基準以上となる撮像画像を取得した時刻と、荷重が一定以上増加した時刻との差が所定の時間以内である場合に、乗員Mがシート14bに着座していると判定する。このため、本実施形態の判定部1093によれば、荷重が閾値以上であるか否かと、荷重の変動のタイミングと顔判定のタイミングの一致の両方を条件とすることで、誤検知を防止し、より高精度に乗員Mの有無を判定することができる。
【0093】
例えば、シート14b上に荷物が置かれたことによって荷重が変動した場合は、撮像画像における顔判定度が基準値a以上とならないため、荷物を乗員Mと誤検知することを防止することができる。また、シート14bの模様が顔に類似している場合や、後部座席の乗員の顔が撮像画像に映りこんだ場合に、撮像画像における顔判定度が高くなっても、シート14bの荷重の増加のタイミングと一致しないため、誤検知を防止することができる。
【0094】
本実施形態では、顔判定のタイミングと座席の荷重が増加したタイミングの一致と、荷重が閾値以上であることの両方の条件を満たす場合に、判定部1093が、乗員Mがシート14bに着座していると判定したが、これに限らない。例えば、ECU30は、図12に示したタイミング判定処理を単独で実行し、判定結果が「タイミング一致」の場合に、乗員Mがシート14bに着座したと判断し、「乗員あり」と判定する構成を採用しても良い。当該構成を採用する場合、より少ない処理で乗員Mの有無を検知するので、処理負荷を軽減することができる。
【0095】
また、ECU30は、顔判定度に応じた荷重の閾値の変更を必ずしも行わなくとも良い。例えば、ECU30は、タイミング判定処理の判定結果が「タイミング一致」の場合に、入力した荷重が、記憶部1095に記憶された荷重の閾値以上である場合に、乗員Mがシート14bに着座したと判断し、「乗員あり」と判定する構成を採用しても良い。
【0096】
また、本実施形態では、顔判定度が基準値a以上である場合を基準として、その前後5秒以内の荷重の増加量が10kg以上であるか否かを判定したが、これに限らない。例えば、所定の時間内に荷重が10kg以上増加したことを検出し、荷重が10kg以上増加した時刻を基準として、この時刻の前後5秒以内に顔判定度が基準値a以上となるか否かを判定する構成を採用しても良い。
【0097】
また、本実施形態では、一定以上の荷重の増加の基準を10kgとしたが、これは一例であり、荷重の増加量の基準はこれに限らない。また、本実施形態では、タイミング判定部94がタイミングが一致すると判断する時間差を±5秒としたが、これは一例であり、時間差の基準はこれに限らない。
【0098】
また、本実施形態では、タイミング判定処理において、入力部1090が荷重の計測値を入力する構成を採用したが、これに限らない。例えば、入力部1090は、タイミング判定処理の開始とは関わりなく、常に一定時間ごと、例えば1秒ごとに荷重の計測値を入力し、記憶部1095に荷重計測データを保存し続ける構成を採用しても良い。
【0099】
また、本実施形態では、「タイミング不一致」と「顔検出なし」とを区別したが、これに限らない。タイミング判定部94は、単に、タイミングが一致するか否かを判定する構成を採用しても良い。
【0100】
また、本実施形態のECU30では、タイミング判定処理の後に乗員検知処理を実行するが、乗員検知処理の中にタイミング判定処理を組み込んでも良い。
【0101】
(実施形態4)
実施形態1では、シート14bの荷重によって、乗員Mの有無を判定している。しかしながら、シート14bの背面のポケットに荷物が格納されている場合等には、乗員による荷重と共に、荷物による荷重も計測される。本実施形態のECU30は、荷重計測値から空席状態における荷重を減算することにより、乗員による荷重を精度良く推定し、より高精度に乗員検知を行う。
【0102】
本実施形態における空席状態は、乗員Mがシート14bに着座していない状態、言い換えれば無人状態を意味する。空席状態は、シート14bに荷物等が置かれている状態や、シート14bの背面のポケットやフックに荷物がある状態を含む。
【0103】
図14は、本実施形態にかかるECU30の機能的構成の一例を示すブロック図である。図14に示すように、ECU30は、入力部2090と、検出部2091と、閾値変更部92と、判定部2093と、記憶部2095と、補正値設定部96と、荷重補正部97として主に機能する。図14に示される、入力部2090、検出部2091、閾値変更部92、判定部2093、補正値設定部96、荷重補正部97、の各構成は、CPU31が、ROM33内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。閾値変更部92は、図6で説明した実施形態1と同様である。
【0104】
図14に示される記憶部2095は、実施形態1と同様に、例えばSSD32等の記憶装置によって構成され、実施形態1と同様の内容に加えて、さらに、後述の荷重補正値を記憶する。
【0105】
補正値設定部96は、空席状態におけるシート14bの荷重を、荷重補正値として設定する。具体的には、補正値設定部96は、検出部2091が求めた撮像画像の顔判定度が所定の基準未満の場合に、入力部2090が入力した荷重を、空席状態の荷重と判断する。本実施形態における顔判定度の所定の基準とは、例えば、図8に示す基準値aとする。あるいは、図8に示す第2の基準値b2を、所定の基準としても良い。
【0106】
補正値設定部96は、空席状態におけるシート14bの荷重を、荷重補正値として記憶部2095に保存する。シート14bのポケット等に格納された荷物は、常に同じ重さであるとは限らない。そこで、本実施形態のECU30では、後述の空席状態の荷重検知処理を定期的に実行することにより、補正値設定部96が最新の空席状態の荷重を検知し、荷重補正値を更新する。
【0107】
荷重補正部97は、入力部2090が入力した荷重から、荷重補正値を減算することにより、荷重を補正する。例えば、シート14bの背面のポケット等に予め3kgの荷物が格納されている場合、空席状態における荷重は3kgである。乗員検知処理において、入力部2090が入力した荷重が40kgである場合、荷重補正部97は、当該荷重から3kgを減算し、荷重を37kgに補正する。言い換えれば、荷重補正部97は、入力部2090が入力した荷重から、空席状態における荷重を減算することにより、乗員Mの体重による荷重を推定する。荷重補正部97は、補正後の荷重を、判定部2093に送出する。
【0108】
入力部2090は、実施形態1と同様の機能を有する他、空席状態の荷重検知処理においては、入力した荷重を補正値設定部96に送出する。
【0109】
検出部2091は、実施形態1と同様の機能を有する。本実施形態の検出部2091は、さらに、空席状態の荷重検知処理において、求めた顔判定度を補正値設定部96に送出する。また、検出部2091は、乗員検知処理においては、求めた顔判定度を閾値変更部92に送出する。
【0110】
空席状態の荷重検知処理と、乗員検知処理のいずれかを実行するかは、例えば、時刻によって区別されても良い。例えば、空席状態の荷重検知処理は、1時間おき等の一定時間ごとに開始するものとしても良い。また、空席状態の荷重検知処理は、イグニッション電源がオフ状態であっても、一定時間ごとに実行される構成を採用しても良い。当該構成を採用する場合、本実施形態のECU30は、不図示のバッテリーから電源を供給される構成を採用しても良い。一方、乗員検知処理は、例えば入力部2090がドアの開閉を示す信号を入力した場合に開始される。あるいは、乗員検知処理は、イグニッション電源がオン状態の場合に、一定時間ごとに実行されるものとしても良い。乗員検知処理の実行間隔は、空席状態の荷重検知処理よりも短時間であるとする。
【0111】
判定部2093は、荷重補正部97から、補正後の荷重を取得し、また、閾値変更部92から、変更後の閾値を取得する。判定部2093は、荷重補正部97が補正した後の荷重が閾値以上の場合に、乗員Mがシート14bに着座していると判定する。
【0112】
次に、以上のように構成された本実施形態の空席状態の荷重検知処理について説明する。図15は、本実施形態にかかるECU30による空席状態の荷重検知処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば、1時間おき等の一定時間ごとに開始する。
【0113】
入力部2090は、撮像装置24から撮像画像を入力する(S51)。入力部2090は、入力した撮像画像を、検出部2091に送出する。また、入力部2090は、荷重センサ26から荷重の計測値を入力する(S52)。入力部2090は、入力した荷重を、補正値設定部96に送出する。
【0114】
検出部2091は、入力した撮像画像における顔判定度を求める(S53)。検出部2091は、求めた顔判定度を、補正値設定部96に送出する。
【0115】
補正値設定部96は、検出部2091が求めた撮像画像の顔判定度が基準値a未満の場合に(S54“Yes”)、入力部2090が入力した荷重を、空席状態の荷重と判断する。補正値設定部96は、空席状態の荷重を、荷重補正値として記憶部2095に保存する(S55)。前回以前のこのフローチャートの処理によって保存された荷重補正値が記憶部2095に、保存されている場合、補正値設定部96は、最新の荷重補正値で上書きをする構成を採用しても良い。
【0116】
また、補正値設定部96は、検出部2091が求めた撮像画像の顔判定度が基準値a以上の場合に(S54“No”)、入力部2090が入力した荷重は、空席状態の荷重ではないと判断し、処理を終了する。
【0117】
次に、本実施形態の乗員検知処理について説明する。図16は、本実施形態にかかるECU30による乗員検知処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば入力部2090がドアの開閉を示す信号を入力した場合に開始する。あるいは、このフローチャートの処理は、イグニッション電源がオン状態の場合に、一定時間ごとに実行されるものとしても良い。
【0118】
S61の撮像画像の入力から、S63の荷重の閾値の変更の処理は、図9で説明した実施形態1のS1からS3の処理と同様である。
【0119】
入力部2090は、荷重センサ26から荷重の計測値を入力する(S64)。入力部2090は、入力した荷重の計測値を、荷重補正部97に送出する。
【0120】
荷重補正部97は、入力部2090が入力した荷重から、記憶部2095に記憶された荷重補正値を減算する(S65)。荷重補正部97は、減算後の荷重を判定部2093に送出する。
【0121】
判定部2093は、荷重補正部97が減算した荷重と、閾値変更部92が変更した荷重の閾値と、を取得する。判定部2093は、減算後の荷重が閾値以上の場合(S66“Yes”)、乗員Mがシート14bに着座していると判断し、「乗員あり」と判定する(S67)。
【0122】
また、判定部2093は、減算後の荷重が、荷重の閾値未満である場合(S66“No”)、シート14bに着座している乗員Mがいないと判断し、「乗員なし」と判定する(S68)。判定部2093が乗員Mの有無を判定すると、このフローチャートの処理は終了する。
【0123】
このように、本実施形態のECU30は、撮像画像の顔判定度が所定の基準より低い場合に、補正値設定部96が、荷重センサ26によって検出された荷重を荷重補正値として記憶部2095に保存し、荷重補正部97が、当該荷重補正値で荷重を補正する。このため、本実施形態のECU30によれば、検出された荷重から荷物による荷重を除くことにより、乗員Mの体重による荷重を高精度に検知することができる。従って、本実施形態のECU30によれば、車両10のシート14bに着座した乗員Mの有無をより高精度に判別することができる。
【0124】
本実施形態のECU30では、乗員検知処理の前に、予め空席状態の荷重検知処理を行い、荷重補正値を算出しているが、これに限らない。例えば、乗員検知処理の判定結果が「乗員なし」であった場合、当該乗員検知処理において入力した荷重を、荷重補正値として記憶部2095に記憶し、次回以降の乗員検知処理で荷重の補正に使用しても良い。
【0125】
また、本実施形態では、空席状態の荷重検知処理は、例えば1時間おきに開始するとしたが、当該処理の実行間隔はこれに限らない。例えば、当該処理の実行間隔は1日おき等でも良い。
【0126】
また、本実施形態のECU30では、撮像画像における顔判定度を、空席状態の検知と、荷重の閾値の変更の両方に使用したが、これに限らない。例えば、本実施形態のECU30は、荷重の閾値の変更を行わない構成を採用しても良い。
【0127】
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
【符号の説明】
【0128】
2…シートクッション、3…シートバック、4…ヘッドレスト、5…ロアレール、6,6a,6b…アッパレール、7…シートスライド装置、10…車両、12…車室、14,14a,14b…シート、16…ステアリングホイール、18…ダッシュボード、20…モニタ装置、22…表示装置、23…車内ネットワーク、24…撮像装置、25…ドアセンサ、26,26f,26r…荷重センサ、27…エアバッグ、30…ECU、31…CPU、32…SSD、33…ROM、34…RAM、90,1090,2090…入力部、91,1091,2091…検出部、92…閾値変更部、93,1093,2093…判定部、94…タイミング判定部、95,1095,2095…記憶部、96…補正値設定部、97…荷重補正部、100…乗員検知システム、951…顔学習データベース、952…荷重計測データベース、a…基準値、b1…第1の基準値、b2…第2の基準値、F…床部、M…乗員。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16