▶ 株式会社テクノアクセルネットワークスの特許一覧 ▶ 株式会社村上開明堂の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022023682
(43)【公開日】2022-02-08
(54)【発明の名称】車両用安全支援システム
(51)【国際特許分類】
G08B 21/02 20060101AFI20220201BHJP
G08B 21/24 20060101ALI20220201BHJP
G08B 21/00 20060101ALI20220201BHJP
G08B 25/04 20060101ALI20220201BHJP
G08B 25/00 20060101ALI20220201BHJP
G06T 7/00 20170101ALI20220201BHJP
G01S 13/52 20060101ALI20220201BHJP
G08G 1/16 20060101ALI20220201BHJP
G01S 13/88 20060101ALI20220201BHJP
A61B 5/11 20060101ALI20220201BHJP
【ＦＩ】
G08B21/02
G08B21/24
G08B21/00 U
G08B25/04 K
G08B25/00 510M
G06T7/00 660Z
G01S13/52
G08G1/16 F
G01S13/88
A61B5/11 110
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2020126791
(22)【出願日】2020-07-27
(71)【出願人】
【識別番号】516227490
【氏名又は名称】株式会社テクノアクセルネットワークス
(71)【出願人】
【識別番号】000148689
【氏名又は名称】株式会社村上開明堂
(74)【代理人】
【識別番号】100120329
【弁理士】
【氏名又は名称】天野 一規
(74)【代理人】
【識別番号】100159581
【弁理士】
【氏名又は名称】藤本 勝誠
(74)【代理人】
【識別番号】100159499
【弁理士】
【氏名又は名称】池田 義典
(74)【代理人】
【識別番号】100106264
【弁理士】
【氏名又は名称】石田 耕治
(74)【代理人】
【識別番号】100199808
【弁理士】
【氏名又は名称】川端 昌代
(74)【代理人】
【識別番号】100139354
【弁理士】
【氏名又は名称】松浦 昌子
(74)【代理人】
【識別番号】100208708
【弁理士】
【氏名又は名称】河村 健志
(74)【代理人】
【識別番号】100215371
【弁理士】
【氏名又は名称】古茂田 道夫
(74)【代理人】
【識別番号】230116643
【弁護士】
【氏名又は名称】田中 厳輝
(72)【発明者】
【氏名】有本 和民
(72)【発明者】
【氏名】山内 直樹
(72)【発明者】
【氏名】梶原 景久
(72)【発明者】
【氏名】速水 淳
【テーマコード（参考）】
4C038
5C086
5C087
5H181
5J070
5L096
【Ｆターム（参考）】
4C038VA04
4C038VB03
4C038VC01
4C038VC05
5C086AA21
5C086AA22
5C086AA28
5C086BA22
5C086CA06
5C086CA28
5C086CB36
5C086DA08
5C086DA16
5C086DA33
5C086EA11
5C086GA00
5C087AA02
5C087DD03
5C087DD05
5C087DD14
5C087EE18
5C087FF01
5C087FF04
5C087GG08
5C087GG10
5C087GG66
5H181AA01
5H181CC04
5H181CC14
5H181CC27
5H181LL07
5H181LL08
5H181LL20
5J070AE09
5J070AE10
5J070AF03
5J070AK14
5L096BA02
5L096BA04
5L096CA02
5L096DA03
5L096GA51
5L096HA00
5L096HA08
5L096JA03
(57)【要約】 （修正有）
【課題】乗員の状態を把握可能な車両用安全支援システムを提供する。
【解決手段】車両用安全支援システム１は、車両に搭乗する１又は複数の乗員の安全を支援する車両用安全支援システムであって、車両内の乗員を監視可能な監視部１０と、監視部１０からの監視情報１０ａにより乗員の状態を認識する認識部２０と、認識部２０からの認識情報２０ａに基づき、車両の動作の制御又は乗員への通報をする制御部３０と、を備える。監視部１０は、監視カメラを有し、監視カメラにより車両内の乗員を監視し、その行動を認識部で認識し、制御部で車両の動作の制御又は乗員への通報をすることで車両の安全な走行を確保する。
【選択図】図１
【解決手段】車両用安全支援システム１は、車両に搭乗する１又は複数の乗員の安全を支援する車両用安全支援システムであって、車両内の乗員を監視可能な監視部１０と、監視部１０からの監視情報１０ａにより乗員の状態を認識する認識部２０と、認識部２０からの認識情報２０ａに基づき、車両の動作の制御又は乗員への通報をする制御部３０と、を備える。監視部１０は、監視カメラを有し、監視カメラにより車両内の乗員を監視し、その行動を認識部で認識し、制御部で車両の動作の制御又は乗員への通報をすることで車両の安全な走行を確保する。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両に搭乗する１又は複数の乗員の安全を支援する車両用安全支援システムであって、
上記車両内の乗員を監視可能な監視部と、
上記監視部からの監視情報により上記乗員の状態を認識する認識部と、
上記認識部からの認識情報に基づき、上記車両の動作の制御又は上記乗員への通報をする制御部と
を備え、
上記監視部が、監視カメラを有する車両用安全支援システム。
上記車両内の乗員を監視可能な監視部と、
上記監視部からの監視情報により上記乗員の状態を認識する認識部と、
上記認識部からの認識情報に基づき、上記車両の動作の制御又は上記乗員への通報をする制御部と
を備え、
上記監視部が、監視カメラを有する車両用安全支援システム。
【請求項2】
上記監視部が、上記車両内に持ち込まれ得る携行物を特定する携行物特定手段を有し、
上記監視情報が、上記携行物特定手段が特定した携行物情報を含み、
上記認識情報が、
上記携行物が上記車両内に存在するか否かを特定する携行物検知情報と、
上記車両から上記乗員全員が降車したか否かを特定する降車情報と
を含み、
上記降車情報により上記車両から上記乗員全員が降車したことが特定され、上記携行物検知情報により上記携行物が上記車両内に存在することが特定された場合に、上記制御部が、上記携行物が上記車両内に存在することを上記乗員へ通報する請求項１に記載の車両用安全支援システム。
上記監視情報が、上記携行物特定手段が特定した携行物情報を含み、
上記認識情報が、
上記携行物が上記車両内に存在するか否かを特定する携行物検知情報と、
上記車両から上記乗員全員が降車したか否かを特定する降車情報と
を含み、
上記降車情報により上記車両から上記乗員全員が降車したことが特定され、上記携行物検知情報により上記携行物が上記車両内に存在することが特定された場合に、上記制御部が、上記携行物が上記車両内に存在することを上記乗員へ通報する請求項１に記載の車両用安全支援システム。
【請求項3】
上記監視部が、監視レーダーを有する請求項２に記載の車両用安全支援システム。
【請求項4】
上記携行物特定手段が、上記監視レーダーにより検知される周期的振動を用いる請求項３に記載の車両用安全支援システム。
【請求項5】
上記認識部が、
上記監視情報から上記乗員の状態を評価関数により数値で表す数値化手段と、
上記数値との大小関係により上記乗員の状態を特定するための閾値を最適化する最適化手段と、
上記認識情報として、上記数値及び上記閾値から上記乗員の状態を特定する認識情報特定手段と
を有する請求項１から請求項４のいずれか１項に記載の車両用安全支援システム。
上記監視情報から上記乗員の状態を評価関数により数値で表す数値化手段と、
上記数値との大小関係により上記乗員の状態を特定するための閾値を最適化する最適化手段と、
上記認識情報として、上記数値及び上記閾値から上記乗員の状態を特定する認識情報特定手段と
を有する請求項１から請求項４のいずれか１項に記載の車両用安全支援システム。
【請求項6】
上記監視部が、
予め撮影された乗員のリファレンス画像を登録したデータベースと、
上記監視カメラにより撮影された乗員の撮影画像を、上記リファレンス画像と比較検索することで上記乗員を特定する乗員特定手段と
を有し、
上記乗員特定手段が、上記撮影画像と上記リファレンス画像との一致度を算出可能に構成されており、
上記認識部の最適化手段で、上記一致度を用いる請求項５に記載の車両用安全支援システム。
予め撮影された乗員のリファレンス画像を登録したデータベースと、
上記監視カメラにより撮影された乗員の撮影画像を、上記リファレンス画像と比較検索することで上記乗員を特定する乗員特定手段と
を有し、
上記乗員特定手段が、上記撮影画像と上記リファレンス画像との一致度を算出可能に構成されており、
上記認識部の最適化手段で、上記一致度を用いる請求項５に記載の車両用安全支援システム。
【請求項7】
上記監視部が、上記車両の周囲の光度を測定する光度計を有し、
上記認識部の最適化手段で、上記光度を用いる請求項５に記載の車両用安全支援システム。
上記認識部の最適化手段で、上記光度を用いる請求項５に記載の車両用安全支援システム。
【請求項8】
上記監視部が、上記乗員の生体情報を取得するバイタルセンサを有し、
上記監視情報が、上記バイタルセンサから得られる生体情報を含む請求項１から請求項７のいずれか１項に記載の車両用安全支援システム。
上記監視情報が、上記バイタルセンサから得られる生体情報を含む請求項１から請求項７のいずれか１項に記載の車両用安全支援システム。
【請求項9】
上記監視部が、
車外から上記車両に接近する人物を検出可能な超音波センサと、
上記人物を認知するための車外カメラ又は車外レーダーと
を有し、
上記監視情報が、上記超音波センサと上記車外カメラ又は車外レーダーとから得られる車外情報を含み、
上記認識情報が、上記車外情報から上記人物が不審者であるか否かを特定する不審者特定情報を含み、
上記制御部が、上記不審者特定情報を用いる請求項１から請求項８のいずれか１項に記載の車両用安全支援システム。
車外から上記車両に接近する人物を検出可能な超音波センサと、
上記人物を認知するための車外カメラ又は車外レーダーと
を有し、
上記監視情報が、上記超音波センサと上記車外カメラ又は車外レーダーとから得られる車外情報を含み、
上記認識情報が、上記車外情報から上記人物が不審者であるか否かを特定する不審者特定情報を含み、
上記制御部が、上記不審者特定情報を用いる請求項１から請求項８のいずれか１項に記載の車両用安全支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用安全支援システムに関する。
【背景技術】
【0002】
車両の安全な走行を確保するため、車外の状況を把握するセンサやカメラ等を搭載した車両が公知である（例えば特開２０１４－８５３３１号公報参照）。上記公報に記載の車両は、超音波センサと、レーダー及び映像カメラを用いて路肩の空間を認知し、路肩に安全に移動し停車することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－８５３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、幼児やペットを車内に放置したまま乗員全員が降車したことによる幼児やペットの死亡事故も報告されている。また、車両の走行中に乗員、特にドライバの健康状態の悪化等が事故につながる場合もある。これらの事故に対する車両用安全支援システムも求められている。
【0005】
本発明は、以上のような事情に基づいてなされたものであり、乗員の状態を把握可能な車両用安全支援システムの提供を目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る車両用安全支援システムは、車両に搭乗する１又は複数の乗員の安全を支援する車両用安全支援システムであって、上記車両内の乗員を監視可能な監視部と、上記監視部からの監視情報により上記乗員の状態を認識する認識部と、上記認識部からの認識情報に基づき、上記車両の動作の制御又は上記乗員への通報をする制御部とを備え、上記監視部が、監視カメラを有する。
【発明の効果】
【0007】
本発明の車両用安全支援システムは、乗員の状態を把握可能である。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
［本発明の実施形態の説明］
最初に本発明の実施態様を列記して説明する。
最初に本発明の実施態様を列記して説明する。
【0010】
本発明の一態様に係る車両用安全支援システムは、車両に搭乗する１又は複数の乗員の安全を支援する車両用安全支援システムであって、上記車両内の乗員を監視可能な監視部と、上記監視部からの監視情報により上記乗員の状態を認識する認識部と、上記認識部からの認識情報に基づき、上記車両の動作の制御又は上記乗員への通報をする制御部とを備え、上記監視部が、監視カメラを有する。
【0011】
当該車両用安全支援システムは、監視カメラにより車両内の乗員を監視し、その行動を認識部で認識し、制御部で車両の動作の制御又は乗員への通報をすることで車両の安全な走行を確保することができる。
【0012】
上記監視部が、上記車両内に持ち込まれ得る携行物を特定する携行物特定手段を有し、上記監視情報が、上記携行物特定手段が特定した携行物情報を含み、上記認識情報が、上記携行物が上記車両内に存在するか否かを特定する携行物検知情報と、上記車両から上記乗員全員が降車したか否かを特定する降車情報とを含み、上記降車情報により上記車両から上記乗員全員が降車したことが特定され、上記携行物検知情報により上記携行物が上記車両内に存在することが特定された場合に、上記制御部が、上記携行物が上記車両内に存在することを上記乗員へ通報するとよい。車両に持ち込まれ、携行物特定部で特定された携行物が、乗員全員が降車した後にも車両に存在している場合、上記携行物は車内への忘れ物と特定できるから、上記制御部が、上記携行物が上記車両内に存在することを上記乗員へ通報することで、忘れ物を抑止することができる。
【0013】
上記監視部が、監視レーダーを有するとよい。監視カメラに加えて監視レーダーを用いることで、例えば毛布等に覆われた対象物等も特定することが可能となるため、監視精度を高められる。
【0014】
上記携行物特定手段が、上記監視レーダーにより検知される周期的振動を用いるとよい。対象物が生物である場合、その心拍や呼吸が監視レーダーにより周期的振動として検知される。従って、監視レーダーにより検知される周期的振動を用いることで、対象が生物か非生物かを特定できる。さらに、その周期、つまり心拍や呼吸数が一定の範囲にある場合、その対象が幼児であると推論することが可能である。従って、携行物特定に監視レーダーにより検知される周期的振動を用いることで、幼児の置き忘れを高い精度で検出することができるようになる。
【0015】
上記認識部が、上記監視情報から上記乗員の状態を評価関数により数値で表す数値化手段と、上記数値との大小関係により上記乗員の状態を特定するための閾値を最適化する最適化手段と、上記認識情報として、上記数値及び上記閾値から上記乗員の状態を特定する認識情報特定手段とを有するとよい。このように乗員の状態を特定するための閾値を最適化することで、上記乗員の状態の特定精度を高めることができる。なお、閾値の最適化には、閾値自体の数値を調整する方法の他、評価関数にバイアス値を加えて相対的に閾値を調整する方法を含むものとする。
【0016】
上記監視部が、予め撮影された乗員のリファレンス画像を登録したデータベースと、上記監視カメラにより撮影された乗員の撮影画像を、上記リファレンス画像と比較検索することで上記乗員を特定する乗員特定手段とを有し、上記乗員特定手段が、上記撮影画像と上記リファレンス画像との一致度を算出可能に構成されており、上記認識部の最適化手段で、上記一致度を用いるとよい。上記一致度は、乗員の個体識別の正当性を表すものと考えられ、換言すれば撮影映像の信頼性を表す。この一致度を用いて最適化手段で閾値を最適化することで、上記乗員の状態の特定精度をさらに高めることができる。
【0017】
上記監視部が、上記車両の周囲の光度を測定する光度計を有し、上記認識部の最適化手段で、上記光度を用いるとよい。監視カメラは光度が低い際に識別力が低下すると考えられ、監視レーダーは光度が低い場合に相対的に識別力が高まる。つまり、上記認識部の最適化手段が光度によって監視カメラ又は監視レーダーからの情報の優先度を調整することで、上記乗員の状態の特定精度をさらに高めることができる。
【0018】
上記監視部が、上記乗員の生体情報を取得するバイタルセンサを有し、上記監視情報が、上記バイタルセンサから得られる生体情報を含むとよい。このように監視情報に生体情報を含めることで、上記乗員の健康状態の悪化に起因する車両の事故を抑止することができる。
【0019】
上記監視部が、車外から上記車両に接近する人物を検出可能な超音波センサと、上記人物を認知するための車外カメラ又は車外レーダーとを有し、上記監視情報が、上記超音波センサと上記車外カメラ又は車外レーダーとから得られる車外情報を含み、上記認識情報が、上記車外情報から上記人物が不審者であるか否かを特定する不審者特定情報を含み、上記制御部が、上記不審者特定情報を用いるとよい。このように不審者特定情報を用いることで、車両あるいは車両内の物品の損害予防を図ることができる。
【0020】
［本発明の実施形態の詳細］
以下、本発明の一実施形態に係る車両用安全支援システムについて、適宜図面を参照しつつ説明する。
以下、本発明の一実施形態に係る車両用安全支援システムについて、適宜図面を参照しつつ説明する。
【0021】
図１に示す車両用安全支援システム１は、図２に示す車両Ｘに搭乗する１又は複数の乗員の安全を支援する車両用安全支援システムである。当該車両用安全支援システム１は、車両Ｘ内の乗員を監視可能な監視部１０と、監視部１０からの監視情報１０ａにより上記乗員の状態を認識する認識部２０と、認識部２０からの認識情報２０ａに基づき、車両Ｘの動作の制御又は上記乗員への通報をする制御部３０とを備える。
【0022】
＜監視部＞
監視部１０は、図３に示すように、光度計１０１と、監視カメラ１０２と、監視レーダー１０３と、超音波センサ１０４と、車外カメラ１０５と、車外レーダー１０６と、バイタルセンサ１０７と、マイク１０８と、データベース１０９と、乗員特定手段１１０と、携行物特定手段１１１とを有する。
監視部１０は、図３に示すように、光度計１０１と、監視カメラ１０２と、監視レーダー１０３と、超音波センサ１０４と、車外カメラ１０５と、車外レーダー１０６と、バイタルセンサ１０７と、マイク１０８と、データベース１０９と、乗員特定手段１１０と、携行物特定手段１１１とを有する。
【0023】
（光度計）
光度計１０１は、車両Ｘの周囲の光度１１２を測定する。光度計１０１は車両Ｘの外部の光度を測定してもよいが、車両Ｘの内部の光度を測定することが好ましい。当該車両用安全支援システム１は、主として車両Ｘ内の乗員を監視するものであるため、車両Ｘ内の光度を用いる方が監視精度を高められる。なお、測定された光度１１２は、認識部２０へ送られる。
光度計１０１は、車両Ｘの周囲の光度１１２を測定する。光度計１０１は車両Ｘの外部の光度を測定してもよいが、車両Ｘの内部の光度を測定することが好ましい。当該車両用安全支援システム１は、主として車両Ｘ内の乗員を監視するものであるため、車両Ｘ内の光度を用いる方が監視精度を高められる。なお、測定された光度１１２は、認識部２０へ送られる。
【0024】
（監視カメラ及び監視レーダー）
監視カメラ１０２及び監視レーダー１０３は、車両Ｘ内の乗員を監視するとともに後述する乗員の特定や携行物の特定に用いられる。監視カメラ１０２は画像により対象物を特定し、監視レーダー１０３は反射波によって対象物を特定する。監視カメラ１０２は、対象物の形や動きを捉え易いが、一方で、対象物を視認できない場合は監視することができない。このため、監視カメラ１０２に加えて監視レーダー１０３を用いることで、例えば毛布等に覆われた対象物等も特定することが可能となるため、監視精度を高められる。
監視カメラ１０２及び監視レーダー１０３は、車両Ｘ内の乗員を監視するとともに後述する乗員の特定や携行物の特定に用いられる。監視カメラ１０２は画像により対象物を特定し、監視レーダー１０３は反射波によって対象物を特定する。監視カメラ１０２は、対象物の形や動きを捉え易いが、一方で、対象物を視認できない場合は監視することができない。このため、監視カメラ１０２に加えて監視レーダー１０３を用いることで、例えば毛布等に覆われた対象物等も特定することが可能となるため、監視精度を高められる。
【0025】
この監視カメラ１０２及び監視レーダー１０３は、車両Ｘの居住空間全体を監視するものであってもよいが、図２に示すように、乗員の座席ごとに１組の監視カメラ１０２及び監視レーダー１０３が設けられることが好ましい。乗員ごとに１組の監視カメラ１０２及び監視レーダー１０３を設けることで、監視精度を高められる。
【0026】
乗員ごとに監視カメラ１０２及び監視レーダー１０３が設けられている場合、監視カメラ１０２の監視領域１０２ａは、図２に示すように、乗員の顔が位置する場所を中心とした領域とするとよい。監視カメラ１０２により乗員の顔色、顔の角度、視線の角度、瞬き回数、あくびの有無等が観察できる。一方、監視レーダー１０３の監視領域１０３ａは、後述する忘れ物の検知精度を高める観点から、座席の周囲も含む広範囲とするとよい。
【0027】
監視情報１０ａは、監視カメラ１０２及び監視レーダー１０３により得られる車内情報１１３を含む。このように監視情報１０ａに車内情報１１３を含めることで、乗員の状態を把握することができる。
【0028】
（超音波センサ、車外カメラ及び車外レーダー）
超音波センサ１０４、車外カメラ１０５及び車外レーダー１０６は車両Ｘに近づく人物を監視する。具体的には、超音波センサ１０４は車外から車両Ｘに接近する人物を検出可能である。また、車外カメラ１０５及び車外レーダー１０６は、上記人物を認知するために設けられている。なお、車外カメラ１０５及び車外レーダー１０６は、認知精度を高める観点から両方を用いることが好ましいが、いずれか一方であっても認知することは可能である。このため、車外カメラ１０５及び車外レーダー１０６のいずれか一方を省略してもよい。
超音波センサ１０４、車外カメラ１０５及び車外レーダー１０６は車両Ｘに近づく人物を監視する。具体的には、超音波センサ１０４は車外から車両Ｘに接近する人物を検出可能である。また、車外カメラ１０５及び車外レーダー１０６は、上記人物を認知するために設けられている。なお、車外カメラ１０５及び車外レーダー１０６は、認知精度を高める観点から両方を用いることが好ましいが、いずれか一方であっても認知することは可能である。このため、車外カメラ１０５及び車外レーダー１０６のいずれか一方を省略してもよい。
【0029】
超音波センサ１０４、車外カメラ１０５及び車外レーダー１０６は車両Ｘに近づく人物を監視することから、例えば図２に示すように、車両Ｘの両側面にそれぞれ配置することができる。
【0030】
超音波センサ１０４は、距離の比較的遠い物を捉えやすいため、超音波センサ１０４の監視領域１０４ａは比較的広く取られ、例えば５ｍ以上２０ｍ以下の距離、好ましくは１０ｍ以上２０ｍ以下の距離にいる人物を捉えるように設定される。また、監視カメラ１０２はその画像により人物を捉えるため、その監視領域１０５ａは比較的鮮明に人物を捉えられる近距離、例えば５ｍ以下に設定される。車外レーダー１０６はその中間の距離を主にカバーし、その監視領域１０６ａは例えば５ｍ以上１０ｍ以下の距離に設定される。
【0031】
監視情報１０ａは、超音波センサ１０４、車外カメラ１０５、及び車外レーダー１０６から得られる車外情報１１４を含む。このように監視情報１０ａに車外情報１１４を含めることで、上記人物が不審者であるか否かを特定することができる。
【0032】
（バイタルセンサ）
バイタルセンサ１０７は、乗員の生体情報１１５を取得する。具体的にはバイタルセンサ１０７は、上記乗員の脈拍数、心拍数、心拍間隔、血圧、血糖値、呼吸数などを捉えることができる。中でも脈拍数及び呼吸数を用いるとよい。
バイタルセンサ１０７は、乗員の生体情報１１５を取得する。具体的にはバイタルセンサ１０７は、上記乗員の脈拍数、心拍数、心拍間隔、血圧、血糖値、呼吸数などを捉えることができる。中でも脈拍数及び呼吸数を用いるとよい。
【0033】
バイタルセンサ１０７としては、非接触式のものが好ましく、中でもドップラーセンサを用いたものが精度の観点から特に好ましい。非接触式のバイタルセンサ１０７を用いる場合、バイタルセンサ１０７は監視カメラ１０２等と同じ場所に配置することができる。この場合、車両Ｘへの取り付け容易性の観点から、バイタルセンサ１０７を監視カメラ１０２及び監視レーダー１０３とユニット化するとよい。
【0034】
また、バイタルセンサ１０７として接触式のものを用いることもできる。このような接触式のバイタルセンサ１０７としては、マットセンサが公知であり、例えば車両Ｘの座席の表面に取り付けることができる。
【0035】
監視情報１０ａは、バイタルセンサ１０７から得られる生体情報１１５を含む。このように監視情報１０ａに生体情報１１５を含めることで、乗員の健康状態の悪化に起因する車両Ｘの事故を抑止することができる。
【0036】
（マイク）
マイク１０８は、車両Ｘ内で乗員が発する言葉を音声情報１１６として取得する。
マイク１０８は、車両Ｘ内で乗員が発する言葉を音声情報１１６として取得する。
【0037】
マイク１０８は、監視カメラ１０２等と同じ場所に配置することができる。この場合、車両Ｘへの取り付け容易性の観点から、マイク１０８を監視カメラ１０２及び監視レーダー１０３とユニット化するとよい。
【0038】
監視情報１０ａは、マイク１０８から得られる音声情報１１６を含む。このように監視情報１０ａに音声情報１１６を含めることで、乗員の健康状態の悪化に起因する車両Ｘの事故を抑止することができる。
【0039】
（データベース）
データベース１０９は、予め撮影された乗員のリファレンス画像が登録されている。また、データベース１０９には、車両Ｘ内に持ち込まれ得る携行物のリファレンス画像が登録されている。
データベース１０９は、予め撮影された乗員のリファレンス画像が登録されている。また、データベース１０９には、車両Ｘ内に持ち込まれ得る携行物のリファレンス画像が登録されている。
【0040】
データベース１０９は、例えば公知の記憶装置により構成され、そのデータ（リファレンス画像）は、後述する乗員特定手段１１０及び携行物特定手段１１１から参照される。
【0041】
（乗員特定手段）
乗員特定手段１１０は、監視カメラ１０２により撮影された乗員の撮影画像を、データベース１０９に登録されている乗員のリファレンス画像と比較検索することで上記乗員を特定する。つまり、この乗員特定手段１１０により、どの座席に誰が着席したのかを特定する乗員情報１１７を得ることができる。
乗員特定手段１１０は、監視カメラ１０２により撮影された乗員の撮影画像を、データベース１０９に登録されている乗員のリファレンス画像と比較検索することで上記乗員を特定する。つまり、この乗員特定手段１１０により、どの座席に誰が着席したのかを特定する乗員情報１１７を得ることができる。
【0042】
乗員特定手段１１０は、例えばマイクロコントローラによって実現される。あるいは、専用のマッチング回路で実現してもよい。
【0043】
比較検索する方法としては、所定の評価関数を用意してその評価関数の大小により判定する方法を用いることもできるし、機械学習により学習済みの推定モデル、いわゆるＡＩ（人工知能）を用いてもよい。なお、このような推定モデルを用いた推定には、ＡＩに関する公知の推定技術を用いることができる。
【0044】
監視情報１０ａは、乗員特定手段１１０から得られる乗員情報１１７を含む。乗員の平時の状態は個体差がある。このように監視情報１０ａに乗員情報１１７を含めることで、個体差を考慮した乗員の健康状態の把握が可能となり、監視精度を高められる。
【0045】
また、乗員特定手段１１０は、上記撮影画像と上記リファレンス画像との一致度１１８を算出可能に構成されている。比較検索に評価関数を用いる場合で、例えば上記撮影画像と上記リファレンス画像とが完全に一致する場合に評価関数値が０となり、差分があるにつれ評価関数値が大きくなるように評価関数が組まれている場合であれば、その評価関数値そのものを一致度１１８として用いることができる。なお、算出された一致度１１８は、認識部２０へ送られる。
【0046】
（携行物特定手段）
携行物特定手段１１１は、車両Ｘ内に持ち込まれ得る携行物を特定する。
携行物特定手段１１１は、車両Ｘ内に持ち込まれ得る携行物を特定する。
【0047】
携行物特定手段１１１は、例えばマイクロコントローラによって実現される。このマイクロコントローラは、乗員特定手段１１０を実現するマイクロコントローラと兼用することができる。あるいは、乗員特定手段１１０と同様に専用のマッチング回路で実現してもよい。
【0048】
上記携行物としては、幼児、ペット、バッグ、携帯電話等を挙げることができる。これらは後述する認識部２０で、乗員全員の降車後も携行物が車両Ｘ内に存在すること、すなわち忘れ物の検知の対象となる。
【0049】
上記携行物を特定する方法としては、例えばデータベース１０９に登録されている携行物のリファレンス画像を用いる方法を採用することができる。
【0050】
この場合、乗員の乗車段階で監視カメラ１０２（又は車外カメラ１０５）の画像解析等により携行物が車内に持ち込まれたことを予め検知しておいてもよい。具体的には乗員特定手段１１０と同様に評価関数を用いる方法やＡＩを用いる方法により実現できる。このように携行物が持ち込まれたことを予め検知しておくことで、忘れ物の検知精度を高めることができる。また、後述するように監視レーダー１０３（又は車外レーダー１０６）を併用するとよく、画像のみでは認識が難しい外部から直接視認できない携行物を検知することができる場合がある。
【0051】
あるいは乗員が車両Ｘに搭乗する前の持ち物を車外カメラ１０５又は監視カメラ１０２の画像解析又はＡＩにより特定し、その特定した物を携行物としてもよい。この場合、データベース１０９は不要とできる。データベース１０９に代えて、例えば携行物の特徴（例えばバッグであれば、赤い、四角形等の特徴）を抽出してのメタデータ、つまり検索用のタグ情報の生成が有効である。さらに、搭乗情報（車両Ｘに搭乗する場所、時間等）をリンクさせたメタデータを生成してもよい。
【0052】
一方、乗員の降車段階で車両Ｘ内に持ち込まれ得る携行物をデータベース１０９より読み出してもよい。この場合、データベース１０９に登録された携行物について、乗員全員の降車後も携行物が車両Ｘ内に存在するか否かを網羅的に探索することとなる。このように網羅的に探索することで、忘れ物の検知精度を高めることができる。
【0053】
また、上記携行物は車両Ｘに搭乗する乗員に応じて、すなわち乗員特定手段１１０で特定した乗員ごとに変えてもよい。
【0054】
監視情報１０ａは、携行物特定手段１１１から得られる携行物情報１１９を含む。このように監視情報１０ａに携行物情報１１９を含めることで、忘れ物の検知が可能となる。
【0055】
携行物特定手段１１１が、監視レーダー１０３により検知される周期的振動を用いるとよい。対象物が生物である場合、その心拍や呼吸が監視レーダー１０３により周期的振動として検知される。従って、監視レーダー１０３により検知される周期的振動を用いることで、対象が生物か非生物かを特定できる。さらに、その周期、つまり心拍や呼吸数が一定の範囲にある場合、その対象が幼児であると推論することが可能である。従って、携行物特定に監視レーダー１０３により検知される周期的振動を用いることで、幼児の置き忘れを高い精度で検出することができるようになる。
【0056】
幼児の置き忘れを検出する場合、乗員が乗車している間に幼児の乗車の有無を検出しておくとよい。乗員の乗車完了は車両Ｘの走行開始により把握することができるから、具体的には、携行物特定手段１１１が、車両Ｘの走行開始後に監視レーダー１０３により検知される周期的振動を用いるとよい。また、幼児の特定には、特定精度の観点からバイタルセンサ１０７の情報を用いるとよい。このように車両Ｘの走行開始後に上記周期的振動等によって携行物を特定しておくことにより、幼児の置き忘れをさらに高い精度で検出することができるようになる。
【0057】
＜認識部＞
認識部２０は、図４に示すように、監視情報１０ａから乗員の状態を評価関数により数値で表す数値化手段２０１と、上記数値との大小関係により上記乗員の状態を特定するための閾値を最適化する最適化手段２０２と、認識情報２０ａとして、上記数値及び上記閾値から上記乗員の状態を特定する認識情報特定手段２０３とを有する。
認識部２０は、図４に示すように、監視情報１０ａから乗員の状態を評価関数により数値で表す数値化手段２０１と、上記数値との大小関係により上記乗員の状態を特定するための閾値を最適化する最適化手段２０２と、認識情報２０ａとして、上記数値及び上記閾値から上記乗員の状態を特定する認識情報特定手段２０３とを有する。
【0058】
このように乗員の状態を特定するための閾値を最適化することで、上記乗員の状態の特定精度を高めることができる。以下、当該車両用安全支援システム１の認識部２０で認識される認識情報２０ａについて具体的に説明する。
【0059】
（忘れ物の検知）
当該車両用安全支援システム１は、携行物特定手段１１１で車両Ｘ内に持ち込まれ得ると特定された携行物に対して忘れ物として検知することができる。つまり、認識情報２０ａが、上記携行物が車両Ｘ内に存在するか否かを特定する携行物検知情報２０４と、車両Ｘから上記乗員全員が降車したか否かを特定する降車情報２０５とを含む。降車情報２０５により車両Ｘから上記乗員全員が降車したことが特定され、携行物検知情報２０４により上記携行物が車両Ｘ内に存在することが特定された場合に、その携行物を忘れ物として特定することができるためである。
当該車両用安全支援システム１は、携行物特定手段１１１で車両Ｘ内に持ち込まれ得ると特定された携行物に対して忘れ物として検知することができる。つまり、認識情報２０ａが、上記携行物が車両Ｘ内に存在するか否かを特定する携行物検知情報２０４と、車両Ｘから上記乗員全員が降車したか否かを特定する降車情報２０５とを含む。降車情報２０５により車両Ｘから上記乗員全員が降車したことが特定され、携行物検知情報２０４により上記携行物が車両Ｘ内に存在することが特定された場合に、その携行物を忘れ物として特定することができるためである。
【0060】
携行物検知情報２０４は、監視情報１０ａのうち、車内情報１１３、つまり監視カメラ１０２及び監視レーダー１０３の情報を用いて抽出できる。
【0061】
携行物検知情報２０４を抽出する抽出方法は、例えば座標軸付加工程と、閾値決定工程と、合成工程と、判定工程とを備える。上記抽出方法は、ソフトウェアにより行うこともできるが、処理速度の観点からハードウェアで行うとよい。
【0062】
上記座標軸付加工程では、ｘｙ座標を付加したカメラデータ及びレーダーデータをそれぞれ作成する。ｘｙ座標を付加することで、上記カメラデータ及び上記レーダーデータの重ね合わせを容易化する。
【0063】
この処理は数値化手段２０１で行われる。ｘｙ座標を付加する前に、監視カメラ１０２及び監視レーダー１０３の情報に対してノイズ除去等の前処理を行ってもよい。
【0064】
上記閾値決定工程では、後述する合成工程で使用する適応型バイアス値及び／又は後述する判定工程で使用する評価関数の閾値を決定する。この処理は最適化手段２０２で行われる。
【0065】
適応型バイアス値とは、複数種の信号を合成する際の重み付け値である。この携行物特定手段１１１では、カメラデータＲ及びレーダーデータＣを合成して、つまりデータフュージョンにより評価関数Ｖを得る。このとき例えば重み付け変数ａ１及びａ２があって、下記式１のように評価関数Ｖを計算するものとする。この場合、ｆ（Ｒ）はカメラデータＲによって得られる評価関数（スカラ）であり、ｇ（Ｃ）はレーダーデータＣによって得られる評価関数（スカラ）であり、ａ１及びａ２が適応型バイアス値を表す。このように監視情報１０ａが複数の情報（監視カメラ１０２及び監視レーダー１０３の情報）を含み、それらを融合した評価関数を設けることで、乗員の状態の認識精度を高められる。
Ｖ＝ａ１×ｆ（Ｒ）＋ａ２×ｇ（Ｃ） ・・・１
Ｖ＝ａ１×ｆ（Ｒ）＋ａ２×ｇ（Ｃ） ・・・１
【0066】
この適応型バイアス値の決定には、監視部１０の光度１１２を用いるとよい。監視カメラ１０２は光度１１２が低い際に識別力が低下すると考えられ、監視レーダー１０３は光度１１２が低い場合に相対的に識別力が高まる。つまり、光度１１２によって監視カメラ１０２又は監視レーダー１０３からの情報の優先度を調整し、例えば光度１１２が低い場合にａ２が大きくなるように上記重み付け変数ａ１及びａ２を決定することで、上記乗員が忘れ物をしたか否かの特定精度をさらに高めることができる。
【0067】
この適応型バイアス値の決定には、監視部１０の一致度１１８を用いるとよい。一致度１１８は、乗員の個体識別の正当性を表すものと考えられ、換言すれば撮影映像の信頼性を表す。例えば一致度１１８が低い場合、監視カメラ１０２の識別力が低下していると判断できる。例えばこの一致度１１８が低い場合にａ２が大きくなるように上記重み付け変数ａ１及びａ２を最適化することで、上記乗員が忘れ物をしたか否かの特定精度をさらに高めることができる。なお、重み付け変数ａ１及びａ２には光度１１２と一致度１１８とを併用することもできる。以下、他の要素についても同様である。
【0068】
また、認識対象画像が特徴に応じて重み付け変数を選択してもよい。例えば車内情報１１３に含まれる監視カメラ１０２の画像を最適化手段２０２に適した入力形式、例えば解像度にリサイズする際に、入力画像がカラー画像か二値画像（赤外画像など）かを判別することが可能である。そこで、予めカラー画像用の重み付け変数と二値画像用の重み付け変数とを用意しておき、判別結果に応じて切り替えるとよい。これにより入力画像に応じて適切な重み付け変数を選択することができる。他にも輝度や彩度あるいはこれらの組み合わせに応じて重み付け変数を選択することも可能であり、その際３以上の重み付け変数が準備されていてもよい。
【0069】
また、忘れ物として検出対象となる携行物の種類に応じて重み付け変数の値を変えてもよい。例えばバッグを検出する場合であれば、監視カメラ１０２で観測可能なバッグの色と合致する色の情報の重みが高まるように重み付けするとよい。さらに、検出対象となる携行物の形や大きさを用いてもよい。なお、これらの例示においては、必ずしも上記式１の重み付け変数ａ１及びａ２のみで最適化できるものではなく、例えば色の情報を重み付けするためには、上記式１に加えて新たな重み付け変数ａ１Ｒ、ａ１Ｇ、ａ１Ｂがあって、ＲＧＢの色情報を分離した下記式２を用いることで実現される。
ｆ（Ｒ）＝ａ１Ｒ×ｆＲ（Ｒ）＋ａ１Ｇ×ｆＧ（Ｒ）＋ａ１Ｂ×ｆＢ（Ｒ）・・・２
ｆ（Ｒ）＝ａ１Ｒ×ｆＲ（Ｒ）＋ａ１Ｇ×ｆＧ（Ｒ）＋ａ１Ｂ×ｆＢ（Ｒ）・・・２
【0070】
当該車両用安全支援システム１では、携行物特定手段１１１で監視レーダー１０３により検知される周期的振動を用いることで幼児の置き忘れを検出することができる。以下、幼児を検出する方法について説明する。
【0071】
当該車両用安全支援システム１は、監視カメラ１０２を有しており、監視カメラ１０２により対象の幼児が画像認識できる場合、幼児を忘れ物として検出することは容易である。一方、例えば幼児が毛布にくるまって寝ている場合など、監視カメラ１０２では検出できない場合がある。
【0072】
当該車両用安全支援システム１では、このような場合に監視レーダー１０３を用いる。監視レーダー１０３で上述のような毛布にくるまって寝ている幼児を観測した場合、周期的な振動が検知される。この周期的な振動は、幼児の心拍及び呼吸に基づく。従って、この周期的な振動は、幼児に心拍と呼吸の周期的振動を重畳させたものとなる。さらに、幼児の心拍数及び呼吸数には一定の範囲にあることが知られている。これらは一般的な成人やペットとは異なるものである。
【0073】
以上から、監視レーダー１０３で周期的な振動が検知される場合、その振動の周期を算出し、その振動が上述の心拍数及び呼吸数に対応する２つの周期で構成されている場合、幼児が存在すると推定することができる。このようにして幼児の置き忘れを検知することができる。
【0074】
この幼児の置き忘れ検知においても、カメラデータＲ及びレーダーデータＣを合成して得られた上記式１の評価関数Ｖを用いることができる。適応型バイアス値であるａ１及びａ２としては、例えば監視カメラ１０２で検知可能な場合は、ａ２＝０として監視カメラ１０２の評価関数を使い、監視カメラ１０２で検知できない場合に、ａ２の値を増加させるように制御するとよい。監視カメラ１０２で検知可能か否かは、監視カメラ１０２での結果によってもよいが、環境情報によって判断してもよい。この場合、環境情報には、光度１１２及び監視カメラ１０２の死角が含まれる。また、上記環境情報にバイタルセンサ１０７から得られる生体情報１１５を含めてもよい。
【0075】
なお、例えば幼児の心拍数及び呼吸数のうちのいずれか一方をバイタルセンサ１０７により捉えてもよい。
【0076】
上記合成工程では、上記カメラデータ及び上記レーダーデータの重ね合わせによりイメージデータの認識を行い、上記携行物が車両Ｘ内に存在するか否かを特定するための評価関数の値を算出する。この処理は数値化手段２０１で行われる。
【0077】
具体的には以下の手順による。時系列で取得した上記カメラデータ及び上記レーダーデータを規定時間間隔でまとめて重ね合わせ処理をしてイメージデータを得る。このように重ね合わせ処理を行うと、例えば動きのある物（生物）と動きのない物（非生物）を区別することができる。
【0078】
次に、この重ね合わせ処理をしたイメージデータを圧縮処理するとともに時系列相関を抽出する。この時系列相関を取ることによって、例えば携行物が監視カメラ１０２の死角に移動したことなどを検知することができるので、続くマッチング処理で重み付け変数を最適化し易くすることができる。
【0079】
そして、この時系列相関からイメージデータに上記携行物が含まれるか否かを判定するためのマッチング処理を行う。このマッチング処理で、評価関数の値として、マッチングの評価値が算出される。
【0080】
このマッチング処理には例えばＡＩを用いることができる。具体的には、与えられた環境条件（例えば光度１１２等）に適応して時々刻々変化する可変テンプレートを用いて機械学習により学習済みの推定モデルを構築し、上記時系列相関を入力として上記携行物とのマッチングを行う。この推定モデルは、例えば監視部１０のデータベース１０９等の車両Ｘ内に格納されていてもよく、車両Ｘ外の例えばクラウドサーバに格納されていて無線通信等によりアクセスする方式を採用してもよい。なお、上記ＡＩとしては、Ｙｏｌｏ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）のような深層学習ネットワークを用いることができる。
【0081】
このマッチング処理には、例えばマイクロプロセッサの１つの命令で複数のデータを扱う処理方式である低次レイヤ処理と、プログラム制御を用いる高次レイヤ処理を併用するとよい。この際、低次レイヤ処理では、低フレームレートのデータにはＨａａｒ－ＬｉｋｅやＨＯＧ特徴抽出処理を利用して局所的な濃淡分布や濃度勾配を用いてマッチング処理するとよく、高フレームレートのデータには局所的なエッジ方向別のエッジ強度の特徴量を用いてマッチング処理するとよい。また、高次レイヤ処理では、複数の特徴量を統合するＡｄａＢｏｏｓｔ手法を用いてマッチング処理するとよい。
【0082】
上記判定工程では、上記合成工程で算出した評価関数の値と、上記閾値決定工程で決定した閾値との大小関係により上記携行物が含まれるか否かを判定する。例えば上記評価関数の値が上記閾値より大きい場合にその携行物が含まれると判定する。なお、評価関数に依存して上記評価関数の値が上記閾値より小さい場合にその携行物が含まれると判定してもよい。
【0083】
上記携行物が含まれると判定されない場合、上記マッチング処理は、マッチングの評価値が規定値以上となるように可変テンプレートを変更して行うとよい。また、規定時間経過後に再度マッチング処理を行い、直前までのマッチング結果に加算した場合の上記評価値が規定値以下である場合も、同様に可変テンプレートを変更して行うとよい。例えば上述の幼児の検知において、ａ２＝０とする監視カメラ１０２の評価関数のみを使ったテンプレートで、幼児が検知されない場合、ａ２の値を増加させて監視カメラ１０２の評価関数と監視レーダー１０３の評価関数とを併用するテンプレートに変更することで、幼児の検知能力を高めることができる。
【0084】
降車情報２０５は、監視情報１０ａのうち、乗員情報１１７と、車内情報１１３とを用いて抽出できる。
【0085】
具体的には、乗員情報１１７によりどの座席に誰が着席したのかが特定されている。従って、車内情報１１３により該当する座席に該当する乗員が不在となったことから、その乗員が降車したことを推定することができる。また、車外情報１１４によりその乗員が車外へ立ち去ったことを確認することがより好ましい。そして、登場した乗員が全て降車したと推定された場合に、乗員全員が降車したことを抽出できる。
【0086】
（健康状態の検知）
当該車両用安全支援システム１は、車内情報１１３、生体情報１１５及び音声情報１１６から乗員の健康状態を認識することができる。つまり、認識情報２０ａが、各乗員の健康状態を表す健康情報２０６を含む。
当該車両用安全支援システム１は、車内情報１１３、生体情報１１５及び音声情報１１６から乗員の健康状態を認識することができる。つまり、認識情報２０ａが、各乗員の健康状態を表す健康情報２０６を含む。
【0087】
具体的には、当該車両用安全支援システム１は、乗員の健康状態として、健康異常の他、居眠り、漫然及び脇見を認識できる。なお、これらの状態は乗員がドライバである場合、事故につながるおそれがあることから、広義で健康状態に含めた。
【0088】
当該車両用安全支援システム１の健康状態の認識方法は、下記式３に示す３つの評価関数を用いる点以外は、忘れ物の検知での携行物検知情報２０４を抽出する抽出方法と同様に行うことができる。
居眠り：Ｆｘ＝ａ１×Ｄｘ＋ｂ１×Ｖｘ
漫然 ：Ｆｙ＝ａ２×Ｄｙ＋ｂ２×Ｖｙ ・・・３
脇見 ：Ｆｚ＝ａ３×Ｄｚ＋ｂ３×Ｖｚ
ここで、Ｄｘ、Ｄｙ、Ｄｚは車内情報１１３及び音声情報１１６から求められる評価関数値、Ｖｘ、Ｖｙ、Ｖｚは生体情報１１５から求められる評価関数値、ａ１～ａ３及びｂ１～ｂ３は重み付け変数である。
居眠り：Ｆｘ＝ａ１×Ｄｘ＋ｂ１×Ｖｘ
漫然 ：Ｆｙ＝ａ２×Ｄｙ＋ｂ２×Ｖｙ ・・・３
脇見 ：Ｆｚ＝ａ３×Ｄｚ＋ｂ３×Ｖｚ
ここで、Ｄｘ、Ｄｙ、Ｄｚは車内情報１１３及び音声情報１１６から求められる評価関数値、Ｖｘ、Ｖｙ、Ｖｚは生体情報１１５から求められる評価関数値、ａ１～ａ３及びｂ１～ｂ３は重み付け変数である。
【0089】
車内情報１１３及び音声情報１１６に基づく居眠り（Ｄｘ）、漫然（Ｄｙ）、脇見（Ｄｚ）は、例えば車内情報１１３に基づく乗員の視線、挙動の解析や、音声情報１１６に基づく乗員の会話の有無やその内容により判定することができ、０（非該当）及び１（該当）の２値又はその間の数値（例えば０．１刻みの１１段階）で表現される。なお、この判断にはＡＩを利用してもよい。
【0090】
生体情報１１５は、呼吸数と心拍数とを含む。呼吸数と心拍数とにより人は表１に示す状態にあることが知られている。この知見に基づいて、居眠り（Ｖｘ）、漫然（Ｖｙ）、脇見（Ｖｚ）は、表１のカッコ内に数値（左から順にＶｘ、Ｖｙ、Ｖｚ）を与える。
【0091】
【表1】
【0092】
表１で、Ｎ（標準心拍数）は、乗員固有の値が分かっている場合、その数値を用いればよく、不明な場合は例えば標準的なＮ＝６５を採用するとよい。また、乗員の年齢が不明である場合は、代表値として４０才とすればよい。呼吸数についても、表１は平均的な１８をもとに作成されているが、乗員固有の値が分かっている場合は、その数値で判定することもできる。乗員固有の数値は、例えば監視部１０のデータベース１０９に登録しておき、これを参照すればよい。
【0093】
なお、生体情報１１５が表１の分類のいずれにも属さない場合、異常事態と考えられるので、上記式３の結果によらず、健康異常と判断する。この場合、例えばＶｘ＝Ｖｙ＝Ｖｚ＝１とできる。
【0094】
上記重み付け変数ａ１～ａ３及びｂ１～ｂ３と、上記式３の評価関数Ｆｘ、Ｆｙ、Ｆｚそれぞれの閾値ｃ１、ｃ２、ｃ３とは、最適化手段２０２で決定される。
【0095】
例えば標準設定としてａ１～ａ３、ｂ１～ｂ３及びｃ１～ｃ３が全て０．３である場合で説明すると、生体情報１１５からの情報で健康異常と判断された場合、ａ１～ａ３＝０、ｂ１～ｂ３＝１として、確実に健康異常と判定されるようにするとよい。また、車内情報１１３及び音声情報１１６に基づく居眠り（Ｄｘ）、漫然（Ｄｙ）、脇見（Ｄｚ）の判定が不能である場合も同様である。また、ａ１～ａ３、ｂ１～ｂ３及びｃ１～ｃ３の値を乗員ごとに調整してもよい。
【0096】
このように複数の監視情報を融合した評価関数を設けることで、乗員の状態の認識精度を高められる。また、健康状態の検知と同様の構成としているので、処理機構の共通化が図れ、当該車両用安全支援システムの省電力化や低コスト化ができる。
【0097】
（不審者の特定）
当該車両用安全支援システム１は、車外情報１１４から車外から車両Ｘに接近する人物が不審者であるか否かを認識することができる。つまり、認識情報２０ａが、車外情報１１４から上記人物が不審者であるか否かを特定する不審者特定情報２０７を含む。
当該車両用安全支援システム１は、車外情報１１４から車外から車両Ｘに接近する人物が不審者であるか否かを認識することができる。つまり、認識情報２０ａが、車外情報１１４から上記人物が不審者であるか否かを特定する不審者特定情報２０７を含む。
【0098】
車両Ｘに接近する人物が不審者であるか否かの認識は、以下のようにして行うことができる。まず、超音波センサ１０４により車両Ｘへの接近物体を検出する。その接近物体と車両Ｘとの距離が規定値、例えば１０ｍ以下となれば、車外カメラ１０５及び車外レーダー１０６により不審者を特定する。不審者の特定は、乗員特定手段１１０と同様に行うことができる。
【0099】
＜制御部＞
制御部３０は、例えばマイクロコントローラにより実現される。また、制御部３０は、車両Ｘとのインターフェイス部と、携帯電話、クラウドサーバ等の車外の他の機器と通信する通信部とを有する。なお、他の機器との通信には、公知の通信手段を用いることができる。このような通信手段としては、例えばホストコンピュータなしで通信可能なＣＡＮインターフェイスを挙げることができる。
制御部３０は、例えばマイクロコントローラにより実現される。また、制御部３０は、車両Ｘとのインターフェイス部と、携帯電話、クラウドサーバ等の車外の他の機器と通信する通信部とを有する。なお、他の機器との通信には、公知の通信手段を用いることができる。このような通信手段としては、例えばホストコンピュータなしで通信可能なＣＡＮインターフェイスを挙げることができる。
【0100】
上記インターフェイス部は、例えば車内ディスプレイ、ホーン、ライト、ドア施錠機構等の全部又は一部とインターフェイス可能に構成されている。これにより、例えば不審者特定情報２０７に基づいて不審者の接近が検出された場合に、車両Ｘのクラクション（ホーン）を鳴動させたり、ライトを点滅させたりする制御を行うことができる。
【0101】
上記通信部は、無線ネットワークを通じユーザの携帯電話やクラウドサーバと通信可能に構成されている。これにより、例えば忘れ物を検知した際にユーザの携帯電話にその旨のメッセージを送信することができる。
【0102】
制御部３０は、認識情報２０ａに基づき動作する。以下に、上述した認識部２０で認識される認識情報２０ａである忘れ物の検知、健康状態の検知及び不審者の特定について対応する制御部３０の動作について説明する。なお、下記に述べる制御部３０の動作は一例であって他の動作を採用してもよい。
【0103】
（忘れ物の検知）
降車情報２０５により車両Ｘから上記乗員全員が降車したことが特定され、携行物検知情報２０４により上記携行物が車両Ｘ内に存在することが特定された場合、この携行物は忘れ物であると判断できる。この場合に、制御部３０は、上記携行物が車両Ｘ内に存在することを上記乗員へ通報する。制御部３０が、上記携行物が車両Ｘ内に存在することを上記乗員へ通報することで、忘れ物を抑止することができる。
降車情報２０５により車両Ｘから上記乗員全員が降車したことが特定され、携行物検知情報２０４により上記携行物が車両Ｘ内に存在することが特定された場合、この携行物は忘れ物であると判断できる。この場合に、制御部３０は、上記携行物が車両Ｘ内に存在することを上記乗員へ通報する。制御部３０が、上記携行物が車両Ｘ内に存在することを上記乗員へ通報することで、忘れ物を抑止することができる。
【0104】
（健康状態の検知）
健康情報２０６により乗員のうちのドライバに居眠り、漫然又は脇見が確認された場合、制御部３０はドライバに対して例えば車内ディスプレイやホーン等によりメッセージや音声で警告を発する。これによりドライバの注意を喚起し、事故の発生を抑止できる。
健康情報２０６により乗員のうちのドライバに居眠り、漫然又は脇見が確認された場合、制御部３０はドライバに対して例えば車内ディスプレイやホーン等によりメッセージや音声で警告を発する。これによりドライバの注意を喚起し、事故の発生を抑止できる。
【0105】
（不審者の特定）
不審者の特定では、制御部３０は不審者特定情報２０７を用いる。不審者特定情報２０７により車両Ｘへの接近者が不審者と特定された場合、上記通信部により車両Ｘの所有者へ通報するとともにホーンの鳴動やランプの点灯によって不審者を威嚇するとよい。このように不審者特定情報２０７を用いることで、車両Ｘあるいは車両Ｘ内の物品の損害予防を図ることができる。
不審者の特定では、制御部３０は不審者特定情報２０７を用いる。不審者特定情報２０７により車両Ｘへの接近者が不審者と特定された場合、上記通信部により車両Ｘの所有者へ通報するとともにホーンの鳴動やランプの点灯によって不審者を威嚇するとよい。このように不審者特定情報２０７を用いることで、車両Ｘあるいは車両Ｘ内の物品の損害予防を図ることができる。
【0106】
逆に、車両Ｘに接近してくる人物が不審者ではない場合には、ドアの開錠やウェルカムメッセージの表示を行ってもよく、その乗員がドライバである場合は、そのドライバに適したシートの位置、高さ、ミラー角度の調整等を行う機能を有してもよい。
【0107】
また、制御部３０は、環境条件に適応して制御を行う環境適用処理部を有してもよい。上記環境適用処理部は、例えば環境条件に基づいて監視カメラ１０２や監視レーダー１０３等の動作モードの制御やデジタル信号の波形成形等を行う。
【0108】
上記動作モードの設定制御は、例えば周囲の明るさ（光度１１２）に基づいた露出の変更を行う。車速や降雨時の雨滴の落下速度を利用できる場合、これに比例したシャッター速度の高速化を行ってもよい。また、温度が観測できる場合は、周囲温度に基づいた監視カメラ１０２の色温度の設定を行ってもよい。これらは車両Ｘ内で利用できるデータに基づいて適宜制御される。なお、車速及び周囲温度は、車両Ｘに一般に搭載されている情報であるので、これを流用できる。また、雨滴の落下速度は例えば車外カメラ１０５で撮影される画像の解析により知ることができる。
【0109】
また、上記波形成形では、イメージのエッジ強調、ホワイトバランス、ダイナミックレンジ拡張、圧縮伸長、Ｓ／Ｎ改善及び各機器の相互連携のためのインターフェイス設定を含む前置処理などが挙げられる。
【0110】
＜車両用安全支援システムの制御方法＞
当該車両用安全支援システム１の制御方法は、図５に示すように、車外監視工程Ｓ１と、車内監視工程Ｓ２と、忘れ物検出工程Ｓ３とを備える。
当該車両用安全支援システム１の制御方法は、図５に示すように、車外監視工程Ｓ１と、車内監視工程Ｓ２と、忘れ物検出工程Ｓ３とを備える。
【0111】
（車外監視工程）
車外監視工程Ｓ１では、車外から車両Ｘに接近する不審者を監視する。
車外監視工程Ｓ１では、車外から車両Ｘに接近する不審者を監視する。
【0112】
この車外監視工程Ｓ１は、車両Ｘが停止し、エンジン停止後に車外モードに設定されることで開始される。この車外モードへの移行は、車両Ｘに搭乗する乗員例えばドライバが設定してもよいし、エンジン停止をトリガーとして自動で設定されてもよい。
【0113】
車外監視モードに設定されると、超音波センサ１０４がＯＮとなり、車両Ｘへの接近物体を検出する。超音波センサ１０４が接近物体を検出した場合は、上述のように認識部２０で人物が不審者であるか否かを認識し、不審者特定情報２０７を認識情報２０ａに含める。
【0114】
不審者特定情報２０７により車両Ｘへの接近者が不審者と特定された場合、制御部３０は、例えば上記通信部により車両Ｘの所有者へ通報するとともにホーンの鳴動やランプの点灯によって不審者を威嚇する。逆に、車両Ｘに接近してくる人物が不審者ではない場合には、制御部３０は、上記人物（乗員）と車両Ｘとの距離が規定値、例えば１ｍ以内となった場合、上記乗員が車両Ｘに到着したと判断して、ドアの開錠やウェルカムメッセージの表示を行ってもよく、その乗員がドライバである場合は、そのドライバに適したシートの位置、高さ、ミラー角度の調整等を行う。
【0115】
さらに、監視カメラ１０２等の情報をもとに乗員全員の乗車完了を判断すれば、車外監視工程Ｓ１を終了し、車内監視モード（車内監視工程Ｓ２）へ移行する。
【0116】
（車内監視工程）
車内監視工程Ｓ２では、乗員、特にドライバの状態を監視する。
車内監視工程Ｓ２では、乗員、特にドライバの状態を監視する。
【0117】
この車内監視工程Ｓ２では、監視カメラ１０２、監視レーダー１０３、バイタルセンサ１０７、マイク１０８をＯＮとして、乗員の状態を監視する。具体的には、上述したように、監視カメラ１０２及び監視レーダー１０３を用いて車両Ｘ内の乗員、特にドライバの挙動を監視するとともに、監視カメラ１０２及び監視レーダー１０３から得られる乗員の姿勢や顔色の変化、バイタルセンサ１０７及びマイク１０８の情報などを基に乗員の健康状態の変化を検出する。このとき異常検出のために、事前に個人の心拍数、顔色等の平常時の属性を例えばデータベース１０９に格納しておくとよい。
【0118】
異常を検出した際は、制御部３０の通信部を用いた既定箇所への通報、音声や映像の配信、車両機器の制御情報の送信を行う。
【0119】
この工程では、乗員降車の確認を合わせて行い、乗客が全員降車したことが確認された場合、忘れ物検出工程Ｓ３へ移行する。
【0120】
（忘れ物検出工程）
忘れ物検出工程Ｓ３では、特定の携行物が車両Ｘ内に存在するか否かを検知する。
忘れ物検出工程Ｓ３では、特定の携行物が車両Ｘ内に存在するか否かを検知する。
【0121】
上記携行物としては、例えばデータベース１０９に登録された幼児、ペット、バッグ、携帯電話等である。上述したように認識部２０で忘れ物の検知を行い、忘れ物があると判断した際は、制御部３０の通信部を介して既定の端末に通知する。忘れ物が検出できなければ規定時間、例えば１０分後に忘れ物検出工程Ｓ３を終了し、車外監視工程Ｓ１に移行する。なお、エンジン停止をトリガーとして自動で車外監視工程Ｓ１に移行している場合等は、忘れ物検出工程Ｓ３の終了を待たずに車外監視工程Ｓ１が起動し、両工程が同時進行している場合もあり得る。この場合は、忘れ物検出工程Ｓ３を終了し、車外監視工程Ｓ１を継続する。
【0122】
＜利点＞
当該車両用安全支援システム１は、監視カメラ１０２により車両Ｘ内の乗員を監視し、その行動を認識部２０で認識し、制御部３０で車両Ｘの動作の制御又は乗員への通報をすることで車両Ｘの安全な走行を確保することができる。
当該車両用安全支援システム１は、監視カメラ１０２により車両Ｘ内の乗員を監視し、その行動を認識部２０で認識し、制御部３０で車両Ｘの動作の制御又は乗員への通報をすることで車両Ｘの安全な走行を確保することができる。
【0123】
［その他の実施形態］
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。
【0124】
上記実施形態では、監視部が、光度計と、監視カメラと、監視レーダーと、超音波センサと、車外カメラと、車外レーダーと、バイタルセンサと、マイクと、携行物特定手段と、乗員特定手段と、データベースとを有する場合を説明したが、監視カメラを除くセンサや手段等はその一部又は全部を有さなくともよい。これらから得られる監視情報を用いない車両用安全支援システムでは適宜省略することができる。
【0125】
また、監視部が他の監視手段を有してもよい。このような監視手段としては、例えば携帯電話の電波を検知する電波検知器、携帯電話の位置情報を取得するＧＰＳ装置などを挙げることができる。監視部が電波検知器及び／又はＧＰＳ装置を有することで、携帯電話が車内に存在することを容易に特定できるので、車両内に持ち込まれ得る携行物が携帯電話を含む場合、より確実に忘れ物として検知することができる。この場合、認識部の最適化手段で、上記電波検知器の電波強度及び／又は上記ＧＰＳ装置のＧＰＳ情報を用いるとよい。
【0126】
上記実施形態では、監視情報として乗員特定手段が特定する乗員情報を含む場合を説明したが、乗員情報は必須の構成要素ではなく、省略可能である。つまり、乗員特定手段が算出する一致度のみを用いる構成も本発明の意図するところである。
【産業上の利用可能性】
【0127】
以上説明したように、本発明の車両用安全支援システムは、乗員の状態を把握可能である。従って、当該車両用安全支援システムを用いることで、ドライバや乗員が車両の走行中から下車するまで連続して安全かつ確実に見守りを行うことができる。
【符号の説明】
【0128】
１ 車両用安全支援システム
１０ 監視部
１０ａ 監視情報
２０ 認識部
２０ａ 認識情報
３０ 制御部
１０１ 光度計
１０２ 監視カメラ
１０２ａ 監視領域
１０３ 監視レーダー
１０３ａ 監視領域
１０４ 超音波センサ
１０４ａ 監視領域
１０５ 車外カメラ
１０５ａ 監視領域
１０６ 車外レーダー
１０６ａ 監視領域
１０７ バイタルセンサ
１０８ マイク
１０９ データベース
１１０ 乗員特定手段
１１１ 携行物特定手段
１１２ 光度
１１３ 車内情報
１１４ 車外情報
１１５ 生体情報
１１６ 音声情報
１１７ 乗員情報
１１８ 一致度
１１９ 携行物情報
２０１ 数値化手段
２０２ 最適化手段
２０３ 認識情報特定手段
２０４ 携行物検知情報
２０５ 降車情報
２０６ 健康情報
２０７ 不審者特定情報
Ｘ 車両
１０ 監視部
１０ａ 監視情報
２０ 認識部
２０ａ 認識情報
３０ 制御部
１０１ 光度計
１０２ 監視カメラ
１０２ａ 監視領域
１０３ 監視レーダー
１０３ａ 監視領域
１０４ 超音波センサ
１０４ａ 監視領域
１０５ 車外カメラ
１０５ａ 監視領域
１０６ 車外レーダー
１０６ａ 監視領域
１０７ バイタルセンサ
１０８ マイク
１０９ データベース
１１０ 乗員特定手段
１１１ 携行物特定手段
１１２ 光度
１１３ 車内情報
１１４ 車外情報
１１５ 生体情報
１１６ 音声情報
１１７ 乗員情報
１１８ 一致度
１１９ 携行物情報
２０１ 数値化手段
２０２ 最適化手段
２０３ 認識情報特定手段
２０４ 携行物検知情報
２０５ 降車情報
２０６ 健康情報
２０７ 不審者特定情報
Ｘ 車両
【図1】
【図2】
【図3】
【図4】
【図5】