(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179641
(43)【公開日】2024-12-26
(54)【発明の名称】情報提供システム、情報提供プログラム、情報提供方法、情報登録装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20241219BHJP
G08G 1/00 20060101ALI20241219BHJP
【FI】
G08G1/16 F
G08G1/00 D
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023098640
(22)【出願日】2023-06-15
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】劉 知凡
(72)【発明者】
【氏名】林 邦彦
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181FF10
5H181FF13
5H181FF25
5H181FF27
5H181FF35
5H181LL07
5H181LL09
5H181LL20
(57)【要約】
【課題】運転者の基準情報が登録されていない場合、運転者の基準情報に極力近い基準情報を提供する。
【解決手段】本開示の1つの態様による情報提供システム2は、運転者の顔の向きと視線の方向との少なくとも1方を表す検出情報と、運転者情報部12、90に登録されている車運転者の顔の向きと視線の方向との少なくとも1方の基準方向を表すための基準情報と、に基づいて所定の処理を行う車両制御装置50に基準情報を提供する登録判定部82と情報提供部86とを備える。情報提供部は、運転者の基準情報が運転者情報部に登録されていると登録判定部が判定すると、運転者の基準情報を運転者情報部から取得して車両制御装置に提供し、運転者の基準情報が運転者情報部に登録されていない場合には、運転者情報部に登録されている他の前記運転者の基準情報に基づいて、運転者の基準情報を設定して車両制御装置に提供する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
方向検出部(70)により検出される車両(20)に乗車している運転者(100)の顔の向きと視線の方向との少なくとも1方を表す検出情報と、運転者情報部(12、90)に登録されている前記運転者の前記顔の向きと前記視線の方向との少なくとも1方の基準方向を表すための基準情報と、に基づいて所定の処理を行う車両制御装置(50)に前記基準情報を提供する情報提供システム(2)であって、
前記運転者の前記基準情報が前記運転者情報部に登録されているか否かを判定するように構成された登録判定部(82、S414、S416)と、
前記運転者の前記基準情報が前記運転者情報部に登録されていると前記登録判定部が判定すると、前記運転者の前記基準情報を前記運転者情報部から取得して前記車両制御装置に提供し、前記運転者の前記基準情報が前記運転者情報部に登録されていないと前記登録判定部が判定すると、前記運転者情報部に登録されている他の前記運転者の前記基準情報に基づいて、前記運転者の前記基準情報を設定して前記車両制御装置に提供するように構成された情報提供部(86、S418、S438~S444)と、
を備える情報提供システム。
【請求項2】
請求項1に記載の情報提供システムであって、
前記運転者の前記基準情報が前記運転者情報部に登録されていない場合、前記車両の走行時において前記運転者の前記顔と前記視線との少なくとも1方が前記基準方向を向いているときに、前記方向検出部により検出された前記検出情報に基づいて前記運転者の前記基準情報を設定して前記運転者情報部に登録するように構成された情報登録部(84、S470~S480)を、さらに備える情報提供システム。
【請求項3】
請求項2に記載の情報提供システムであって、
前記情報登録部は、前記運転者の前記基準情報が前記運転者情報部に登録されている場合も、前記車両の走行時において前記運転者の前記顔と前記視線との少なくとも1方が前記基準方向を向いているときに、前記方向検出部が検出する前記検出情報に基づいて前記運転者の前記基準情報を設定して前記運転者情報部に登録されている前記基準情報を更新するように構成されている、
情報提供システム。
【請求項4】
請求項1に記載の情報提供システムであって、
前記基準情報は、ぞれぞれの前記運転者の身体的特徴に関連付けて前記運転者情報部に登録されており、
前記登録判定部は、前記運転者の前記身体的特徴に基づいて、前記運転者の前記基準情報が前記運転者情報部に登録されているか否かを判定するように構成されている、
情報提供システム。
【請求項5】
請求項1に記載の情報提供システムであって、
前記運転者情報部は、
前記車両のそれぞれに搭載され、前記車両に乗車するそれぞれの前記運転者の前記基準情報を登録する第1の情報部(90)と、
複数の前記車両のそれぞれの前記第1の情報部に登録されている前記基準情報を登録するように構成された第2の情報部(12)と、
を備えるように構成されている、
情報提供システム。
【請求項6】
請求項5に記載の情報提供システムであって、
前記登録判定部は、前記運転者の前記基準情報が前記第1の情報部に登録されているか否かを判定し、前記運転者の前記基準情報が前記第1の情報部に登録されていない場合、前記運転者の前記基準情報が前記第2の情報部に登録されているか否かを判定するように構成されている、
情報提供システム。
【請求項7】
請求項6に記載の情報提供システムであって、
前記登録判定部は、前記運転者が乗車している前記車両と同じ車種または類似する前記車種に関連付けられて、前記運転者の前記基準情報が前記第2の情報部に登録されているか否かを判定するように構成されている、
情報提供システム。
【請求項8】
請求項7に記載の情報提供システムであって、
前記登録判定部は、さらに、前記運転者と同じシート位置または類似する前記シート位置に関連付けられて、前記運転者の前記基準情報が前記第2の情報部に登録されているか否かを判定するように構成されている、
情報提供システム。
【請求項9】
請求項1に記載の情報提供システムであって、
前記情報提供部は、前記運転者の前記基準情報が前記運転者情報部に登録されていないと前記登録判定部が判定すると、前記運転者が乗車している前記車両と同じ車種または類似する前記車種に関連付けられて前記運転者情報部に登録されている他の前記運転者の前記基準情報に基づいて、前記運転者の前記基準情報を設定して、前記車両制御装置に提供するように構成されている、
情報提供システム。
【請求項10】
請求項1に記載の情報提供システムであって、
前記情報提供部は、前記運転者の前記基準情報が前記運転者情報部に登録されていないと前記登録判定部が判定すると、前記運転者と同じシート位置または類似する前記シート位置に関連付けられて前記運転者情報部に登録されている他の前記運転者の前記基準情報に基づいて、前記運転者の前記基準情報を設定して、前記車両制御装置に提供するように構成されている、
情報提供システム。
【請求項11】
請求項1に記載の情報提供システムであって、
前記情報提供部は、前記運転者の前記基準情報が前記運転者情報部に登録されていないと前記登録判定部が判定すると、前記運転者と同じ性別に関連付けられて前記運転者情報部に登録されている他の前記運転者の前記基準情報に基づいて、前記運転者の前記基準情報を設定して、前記車両制御装置に提供するように構成されている、
情報提供システム。
【請求項12】
請求項1に記載の情報提供システムであって、
前記登録判定部と前記情報提供部とは前記車両に搭載されている、
情報提供システム。
【請求項13】
方向検出部(70)により検出される車両(20)に乗車している運転者(100)の顔の向きと視線の方向との少なくとも1方を表す検出情報と、運転者情報部(12、90)に登録されている前記運転者の前記顔の向きと前記視線の方向との少なくとも1方の基準方向を表すための基準情報と、に基づいて所定の処理を行う車両制御装置(50)に前記基準情報を提供するようにコンピュータを機能させる情報提供プログラムであって、
前記運転者の前記基準情報が前記運転者情報部に登録されているか否かを判定するように構成された登録判定部(82、S414、S416)と、
前記運転者の前記基準情報が前記運転者情報部に登録されていると前記登録判定部が判定すると、前記運転者の前記基準情報を前記運転者情報部から取得して前記車両制御装置に提供し、前記運転者の前記基準情報が前記運転者情報部に登録されていないと前記登録判定部が判定すると、前記運転者情報部に登録されている他の前記運転者の前記基準情報に基づいて、前記運転者の前記基準情報を設定して前記車両制御装置に提供するように構成された情報提供部(86、S418、S438~S444)と、
としてコンピュータを機能させる情報提供プログラム。
【請求項14】
方向検出部(70)により検出される車両(20)に乗車している運転者(100)の顔の向きと視線の方向との少なくとも1方を表す検出情報と、運転者情報部(12、90)に登録されている前記運転者の前記顔の向きと前記視線の方向との少なくとも1方の基準方向を表すための基準情報と、に基づいて所定の処理を行う車両制御装置(50)に前記基準情報を提供する情報提供方法であって、
前記運転者の前記基準情報が前記運転者情報部に登録されているか否かを判定し、
前記運転者の前記基準情報が前記運転者情報部に登録されている場合、前記運転者の前記基準情報を前記運転者情報部から取得して前記車両制御装置に提供し、前記運転者の前記基準情報が前記運転者情報部に登録されていない場合、前記運転者情報部に登録されている他の前記運転者の前記基準情報に基づいて、前記運転者の前記基準情報を設定して前記車両制御装置に提供する、
情報提供方法。
【請求項15】
方向検出部(70)により検出される車両(20)に乗車している運転者(100)の顔の向きと視線の方向との少なくとも1方を表す検出情報と、前記運転者の前記顔の向きと前記視線の方向との少なくとも1方の基準方向を表すための基準情報と、に基づいて所定の処理を車両制御装置(50)が使用する前記基準情報が登録される運転者情報部(12、90)を、
備える情報登録装置であって、
前記基準情報は、前記運転者が乗車する前記車両の車種と、前記運転者のシート位置と、前記運転者の座高と、前記運転者の性別と、のうち少なくとも1つに関連付けて前記運転者情報部(12、90)に登録される、
情報登録装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両を運転する運転者の顔の向きと視線の方向をとの少なくとも1方を提供する技術に関する。
【背景技術】
【0002】
車両を運転する運転者の顔の向きまたは視線の方向の基準情報に基づいて所定の処理を行う技術が知られている。
例えば、下記特許文献1には、運転者の認証情報と、運転者の顔の向きまたは視線の方向の基準情報とを対応付けて登録しておき、運転者をカメラ等で認識して、登録情報から認証情報に対応する基準情報を取得して提供する技術が提案されている。
【0003】
そして、特許文献1に記載された技術では、運転者に対応した基準情報と、検出された運転者の顔の向きまたは視線の方向と、に基づいて、脇見運転の判定、運転者の眠気の検出等の所定の処理を行おうとしている。
【0004】
特許文献1に記載された技術では、該当車両に運転者が初めて乗車する場合など、運転者の認証情報と運転者の基準情報とが登録されていない場合、予め設定された所定の顔の向きまたは視線の方向の基準情報を使用して所定の処理が行われる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、発明者の詳細な検討の結果、運転者の基準情報が登録されていない場合、予め設定された所定の顔の向きまたは視線の方向の基準情報を使用すると、必ずしも実際の運転者の基準情報として妥当ではないという課題が見出された。
【0007】
本開示の1つの局面は、運転者の基準情報が登録されていない場合、実際の運転者の基準情報として妥当性がある基準情報を提供する技術を提供する。
【課題を解決するための手段】
【0008】
本開示の1つの態様による情報提供システム(2)は、方向検出部(70)により検出される車両(20)に乗車している運転者(100)の顔の向きと視線の方向との少なくとも1方を表す検出情報と、運転者情報部(12、90)に登録されている運転者の顔の向きと視線の方向との少なくとも1方の基準方向を表すための基準情報と、に基づいて所定の処理を行う車両制御装置(50)に基準情報を提供する情報提供システム(2)であって、登録判定部(82、S414、S416)と、情報提供部(86、S418、S438~S444)と、を備える。
【0009】
登録判定部は、運転者の基準情報が運転者情報部に登録されているか否かを判定する。情報提供部は、運転者の基準情報が運転者情報部に登録されていると登録判定部が判定すると、運転者の基準情報を運転者情報部から取得して車両制御装置に提供し、運転者の基準情報が運転者情報部に登録されていないと登録判定部が判定すると、運転者情報部に登録されている他の運転者の基準情報に基づいて、運転者の基準情報を設定して車両制御装置に提供する。
【0010】
本開示の他の態様による情報提供プログラムは、前述した情報提供システムの登録判定部と情報提供部と、としてコンピュータを機能させる。
本開示の他の態様による情報提供方法は、前述した情報提供システムの登録判定部と情報提供部と、が実行する情報提供方法である。
【0011】
このような構成によれば、車両に乗車している運転者の基準情報が運転者情報部に登録されていない場合にも、予め設定された基準情報ではなく、他の運転者の実際に登録されている基準情報に基づいて運転者の基準情報を設定して提供できる。これにより、運転者の基準情報が登録されていない場合に、実際の運転者の基準情報として妥当性がある基準情報を提供できる。
【図面の簡単な説明】
【0012】
【
図2】運転者の基準情報が登録された全体データベースの構成を示す説明図。
【
図3】運転者の基準情報が登録された他の全体データベースの構成を示す説明図。
【
図4】情報提供処理のメインルーチンを示すフローチャート。
【
図5】起動時基準情報設定処理を示すフローチャート。
【
図9】正面方向と顔の向きおよび視線の方向との関係を示す模式図。
【
図10】走行時基準情報登録処理を示すフローチャート。
【発明を実施するための形態】
【0013】
以下、図を参照しながら、本開示の実施形態を説明する。
[1.構成]
図1に示す情報提供システム2は、サーバ10と、カメラ30と、センサ群32と、スピーカ34と、車両システム40と、を備える。
【0014】
サーバ10と車両システム40とは、ネットワーク等を介して通信する。サーバ10は、全体データベース12を備えている。以下、データベースをDBとも言う。全体DB12の構成については、後述する。
【0015】
カメラ30と、センサ群32と、スピーカ34と、車両システム40と、は車両20に搭載されている。カメラ30は、
図8および
図9に示すように、車両20に乗車している運転者100の顔を撮影する。
【0016】
センサ群32は、車両20のステアリングの操舵角度センサ、車速センサ、レーザーレーダ、超音波センサなどのセンサをまとめて表している。スピーカ34は、図示しないナビゲーション装置の案内音声、車両制御装置50の指令による警告音、などを出力する。
【0017】
車両システム40は、車両制御装置50と、運転者認識装置60と、方向検出装置70と、情報提供装置80と、ローカルDB90と、を備える。
車両制御装置50は、センサ群32から取得する車両20の挙動を表す車両情報と、カメラ30およびセンサ群32から取得する運転者100の挙動を表す挙動情報とに基づいて、車両20の走行状態を制御する。
【0018】
また、車両制御装置50は、所定の処理として、例えば、後述する方向検出装置70から取得する運転者100の顔の向き102と視線の方向104と、運転者100の基準情報とに基づいて、運転者100が左右方向に脇見運転しているか否かを判定する。脇見判定処理については後述される。
【0019】
車両制御装置50は、所定の処理として、脇見判定処理以外にも、方向検出装置70から取得する運転者100の顔の向き102と視線の方向104と基準情報とに基づいて、運転者100の覚醒状態判定処理、自動運転時の前方注意判定処理などを行ってもよい。覚醒状態判定処理の場合には、車両制御装置50は、方向検出装置70から運転者100の上下方向の顔の向き102と視線の方向104とを取得する。
【0020】
運転者認識装置60は、カメラ30が撮影する運転者100の顔画像データを解析することにより、運転者100の顔の特徴量と性別とを取得する。運転者認識装置60は、顔の特徴量として、例えば、両目の間隔および位置、鼻の位置、口の両端の位置、顔の輪郭などを取得する。
【0021】
また、運転者認識装置60は、顔画像データが示す運転者100の顔の位置に基づいて、運転者100のシート位置と座高とを認識する。
運転者認識装置60は、カメラ30に加えて、あるいはカメラ30に代えて、センサ群32のレーザーレーダが運転者100に照射するレーザーによる検出結果に基づいて、運転者100の顔の特徴量とシート位置と座高とを検出してもよい。また、レーザーレーダに代えて、超音波センサが運転者100に照射する超音波による検出結果に基づいて、運転者100の顔の特徴量とシート位置と座高とを検出してもよい。
【0022】
また、運転者認識装置60は、運転者100が入力する運転者IDに基づいて、車両20に乗車している運転者100を認識してもよい。
方向検出装置70は、カメラ30が撮影する運転者100の顔画像データと、レーザーレーダまたは超音波センサの検出結果と、の少なくとも1方に基づいて、車両20に乗車している運転者100の顔の向き102を検出する。例えば、方向検出装置70は、顔画像データに基づいて、両目の中間位置と鼻の頂点位置と口の中間位置とを結ぶ顔の中央線から顔の左右の輪郭位置までの距離に基づいて、運転者100の顔の向き102を検出する。
【0023】
また、方向検出装置70は、カメラ30が撮影する運転者100の顔画像データに基づいて、運転者100の視線の方向104を検出する。例えば、方向検出装置70は、左右の目の瞳孔の位置に基づいて、運転者100の顔の向き102に対する視線の方向104を検出する。
【0024】
しかし、運転者100のシート位置、座高などにより、顔画像データに基づいて検出される運転者100の顔の向き102と、実際の運転者100の顔の向き102との間にはずれが生じることがある。また、カメラ30やレーザーレーダや超音波センサが設置される位置によっても、方向検出装置70により検出される運転者100の顔の向き102と、実際の運転者100の顔の向き102との間にはずれが生じることがある。
【0025】
そこで、方向検出装置70が検出する顔の向き102に対して、このずれ量を考慮して運転者100の正しい顔の向き102を取得する必要がある。この処理については、後述される。
【0026】
情報提供装置80は、登録判定部82と、情報登録部84と、情報提供部86と、を備える。
登録判定部82は、運転者認識装置60が認識する運転者100の認識結果に基づいて、車両20に乗車している運転者100の登録情報が全体DB12とローカルDB90とに登録されているか否かを判定する。
【0027】
情報登録部84は、運転者100の顔の向き102の基準方向を表すための基準情報を、全体DB12とローカルDB90とに登録する。本実施形態では、運転者100の顔の向き102の基準方向として、正面方向を採用する。
【0028】
また、本実施形態では、運転者100が実際に正面を向いているときに方向検出装置70が検出する顔の向き102、つまり顔の角度を、基準方向を表すための基準情報として登録する。この基準情報は、方向検出装置70が検出する運転者100の顔の向き102と実際の運転者100の顔の向き102とのずれ量を補正するための補正値である。方向検出装置70が検出する運転者100の顔の向き102を補正値で補正することにより、基準方向である正面方向に対して、実際に運転者100が向いている顔の角度を取得することができる。
【0029】
情報提供部86は、車両20に乗車している運転者100の登録情報がローカルDB90と全体DB12との少なくともいずれか1方に登録されている場合、登録情報に基づいて、運転者100の基準情報を車両制御装置50に提供する。
【0030】
情報提供部86は、車両20に乗車している運転者100の登録情報がローカルDB90と全体DB12との両方に登録されていない場合、ローカルDB90と全体DB12との少なくともいずれか1方に登録されている他の運転者100の基準情報を検索する。
【0031】
そして、情報提供部86は、車両20に乗車している運転者100の身体的特徴に類似する他の運転者100の基準情報に基づいて、車両20に乗車している運転者100の基準情報を推定し、車両制御装置50に提供する。
【0032】
ローカルDB90は、車両20毎に搭載されている。ローカルDB90の構成については後述される。
[1-1.DBの構成]
以下、サーバ10が備える全体DB12の構成について説明する。
【0033】
図2に示すように、全体DB12の登録情報は、運転者100のそれぞれについて、運転者ID、性別、車種、顔情報、補正値、シート位置、最終更新時間、などの項目で構成されている。
【0034】
運転者IDは、運転者100のそれぞれを識別するために運転者100に付与されたコードである。
図2では、運転者IDとして数字が記載されているが、これに限るものではない。数字と他の記号とが混在したものであってもよい。
【0035】
車種は、運転者IDの運転者100が乗車したことのある車種を表している。1人の運転者100が複数の車種の車両20に乗車していてもよい。顔情報データは、運転者100の顔の特徴量を表している。
【0036】
基準情報である補正値は、カメラ30の撮影画像またはレーザーレーダまたは超音波センサの検出結果から運転者100の顔が向いていると方向検出装置70が検出する角度と、実際に運転者100の顔が向いている角度と、の差を補正するための角度を示す値である。
【0037】
図2に示すように、基準情報である補正値は、運転者IDと、運転者100の性別と、車種と、運転者100の顔情報と、運転者100のシート位置と、運転者100の座高と、に関連付けて、運転者100毎に全体DB12に登録されている。
【0038】
カメラ30の設置位置、運転者100のシート位置、運転者100の座高、などにより、運転者100の顔が向いていると方向検出装置70が検出する角度と、実際に運転者100の顔が向いている角度とは、運転者毎に異なる。
【0039】
最終更新時間として、全体DB12が更新された最新の時間が記録される。
全体DB12には、管理している全車種と、車両20に乗車する運転者100とについて、前述した項目が登録されている。つまり、同じ運転者100であっても、複数の車種に乗車している場合、複数の登録情報が登録されている。
【0040】
全体DB12は、
図2に代えて
図3の構成でもよい。
図2の運転者IDに代えて車両情報が登録情報に含まれている。同じ車種であっても、カメラ30の設置位置が異なるために、異なる補正値になることがある。そこで、例えば、車両20毎に付与された車両番号を車両情報として登録することにより、同じ車種であっても、異なる車両20であることを認識できる。
【0041】
車両20のそれぞれが備えるローカルDB90は、
図2および
図3に示す全体DB12から、車種の項目を除いたものである。
[2.処理]
次に、情報提供システム2が実行する情報提供処理について、
図4~
図7、
図10のフローチャートを用いて説明する。尚、
図4~
図7、
図10のフローチャートでは、カメラ30が撮影する顔画像データに基づいて運転者100の顔の向き102を検出する例について説明する。
【0042】
(1)メイン処理
図4に示すメイン処理は、エンジンのスタートスイッチがオンになり、車両システム40が起動されると実行される。
【0043】
S400において車両システム40は、ローカルDB90と全体DB12とに登録されている登録情報に基づいて、車両20に乗車している運転者100の基準情報を設定する。S400の処理の詳細は後述される。S400の実行後、S402とS404との処理は並行して実行される。
【0044】
S402において、車両システム40は、運転者100が脇見運転をしているか否かを判定する。S402の処理の詳細は後述される。
S404において車両システム40は、走行中の運転者100の正面角度の補正値を基準情報としてローカルDB90と全体DB12とに登録する。S404の処理の詳細は後述される。
【0045】
S402とS404との処理は、S406においてスタートスイッチがオフになるまで実行される。
(2)起動時基準情報設定処理
図5のフローチャートは、
図4のS400において実行される。
図5のS410、S412において運転者認識装置60は、運転者100の顔を認識するために、カメラ30から取得した運転者100の顔画像データを解析して運転者100の顔の特徴量を抽出する。
【0046】
S414において登録判定部82は、運転者認識装置60が抽出した運転者100の顔の特徴量に基づいてローカルDB90の顔情報データを検索し、ローカルDB90に運転者100の基準情報が登録されているか否かを判定する。
【0047】
登録判定部82は、顔の特徴量に加えて、運転者100の性別、シート位置、座高基づいてローカルDB90の顔情報データを検索し、ローカルDB90に運転者100の基準情報が登録されているか否かを判定することが望ましい。
【0048】
S414の判定がYesである、つまりローカルDB90に運転者100の基準情報が登録されている場合、処理はS418に移行する。
S414の判定がNoである、つまりローカルDB90に運転者100の基準情報が登録されていない場合、S416において登録判定部82は、運転者100の顔の特徴量をサーバ10に送信し、全体DB12に運転者100の基準情報が登録されているか否かを問い合わせる。
【0049】
登録判定部82は、顔の特徴量に加えて、運転者100が乗車している車種、運転者100の性別、シート位置、座高をサーバ10に送信し、全体DB12に運転者100の基準情報が登録されているか否かを問い合わせることが望ましい。
【0050】
S416の判定がYesである、つまり全体DB12に運転者100の基準情報が登録されている場合、処理はS418に移行する。S416の判定がNoである、つまり全体DB12に運転者100の基準情報が登録されていない場合、処理はS420に移行する。
【0051】
運転者100の基準情報がローカルDB90または全体DB12のいずれかに登録されている場合、S418において情報提供部86は、登録されている基準情報を、運転者100の基準情報として設定し、車両制御装置50に提供して本処理を終了する。
【0052】
運転者100の基準情報がローカルDB90および全体DB12のいずれにも登録されていない場合、S420において情報提供部86は、運転者100の基準情報を推定して車両制御装置50に提供し、本処理を終了する。S420の処理の詳細は後述される。
【0053】
(3)基準情報推定処理
図6のフローチャートは、
図5のS420において実行される。
図6のS430、S432、S434において運転者認識装置60は、カメラ30から取得した運転者100の顔画像データに基づいて、運転者100の性別と運転者100のシート位置と運転者100の座高と、を認識して取得する。S436において運転者認識装置60は、車両20から車種を取得する。
【0054】
S438において情報提供部86は、運転者100の性別と運転者100のシート位置と運転者100の座高と車種とを、運転者100の基準情報に類似した登録情報をローカルDB90と全体DB12とから抽出するための抽出条件として設定する。ローカルDB90の場合、抽出条件として車種は不要である。
【0055】
S440において情報提供部86は、抽出条件に基づいて、ローカルDB90の登録情報から補正値を抽出して取得する。
S442において情報提供部86は、サーバ10に問い合わせ、抽出条件に基づいて、全体DB12の登録情報から補正値を抽出して取得する。
【0056】
尚、S440において情報提供部86は、性別については抽出条件と一致し、運転者100のシート位置と運転者100の座高とについては所定の類似範囲のローカルDB90の登録情報から、補正値を抽出する。
【0057】
また、S442において情報提供部86は、性別については抽出条件と一致し、運転者100のシート位置と運転者100の座高と車種とについては所定の類似範囲の全体DB12の登録情報から、補正値を抽出する。
【0058】
なお、S440およびS442の所定の類似範囲は、例えば、脇見運転判定処理などの所定の処理において誤検知抑制の観点から、運転者100自身の補正値が登録されるまでの一時的な補正位置として許容可能な補正値がS440およびS442において抽出される範囲として予め定めることができる。
【0059】
S444において情報提供部86は、ローカルDB90と全体DB12とから抽出した補正値の平均値を算出し、運転者100の補正値として設定して車両制御装置50に提供する。
【0060】
(4)脇見判定処理
図7のフローチャートは、
図4のS402において実行される。
図7のS450において方向検出装置70は、カメラ30から取得した運転者100の顔画像データに基づいて、運転者100の視線の方向104も含めた運転者100の顔角度を算出する。
【0061】
まず、方向検出装置70は、
図8および
図9に示すように、取得した顔画像データに基づいて運転者100の顔の向き102、つまりカメラ30から運転者100に向かう方向200に対する運転者100の顔角度θ1を検出する。
【0062】
次に、方向検出装置70は、運転者100の顔の向き102に対する運転者100の視線の方向104を表す角度θ2を検出する。
図8では、運転者100の顔の向き102と視線の方向104とが一致しているので、θ2は0である。
【0063】
これに対し、
図9に示すように、運転者100の顔の向き102と視線の方向104とが一致していない場合、θ2は0ではない。
そこで、θ2=0の場合も含め、カメラ30から運転者100に向かう方向200に対する運転者100の視線の方向104も含めて、方向検出装置70が検出する顔角度は、(θ1+θ2)で表される。
【0064】
S452において車両制御装置50は、S450で方向検出装置70が検出した運転者100の視線の方向104も含めた顔角度を、情報提供部86から提供された補正値αで補正し、運転者100の実際の顔角度θを次式(1)から算出する。
【0065】
θ=(θ1+θ2)-α ・・・(1)
次式(2)が示すように、顔角度θ1を補正値αで補正してから、視線の方向104を表す角度θ2を含めて実際の顔角度θを算出しもよい。
【0066】
θ=(θ1-α)+θ2 ・・・(2)
S454において車両制御装置50は、式(1)、(2)で表される顔角度θが、運転者100が脇見運転をしているか否かを判定する脇見閾値以下であるか否かを判定する。
図8で説明すると、車両制御装置50は、脇見運転が許容される角度範囲γに対して顔角度θが次式(3)を満たしているか否かを判定する。
【0067】
θ≦(γ/2) ・・・(3)
S454の判定がYesある、つまり
図8および
図9の上段の右に示すように、運角度θが脇見閾値であるγ/2以下の場合、S456において車両制御装置50は、カウンタを0にして初期化し、処理をS460に移行する。
【0068】
S454の判定がNoである、つまり
図8および
図9の下段に示すように、運転者100の顔角度θが脇見閾値γ/2を超えている場合、S458において車両制御装置50は、カウンタを+1し、処理をS460に移行する。
【0069】
S460において車両制御装置50は、カウンタが警告音を発生するか否かを判定する警告閾値を超えているか否かを判定する。S460の判定がNoである、つまりカウンタが警告閾値を超えていない場合、本処理は終了する。
【0070】
S460の判定がYesである、つまりカウンタが警告閾値を超えている場合、S462において車両制御装置50は、カウンタが警告音を発生する最大時間を越えているか否かを判定する。S462の判定がYesである、つまりカウンタが最大時間を超えている場合、車両制御装置50は、これ以上警告音を発生させる必要はないと判定し、本処理を終了する。
【0071】
S462の判定がNoである、つまりカウンタが最大時間を超えていない場合、車両制御装置50は、警告音の発生させる必要があると判定し、S464においてスピーカ34から警告音を発生させる。
【0072】
(5)走行時基準情報登録処理
図10のフローチャートは、
図4のS404において実行される。
図10のS470において情報登録部84は、操舵角度などに基づいて、車両20が直進走行中であるか否かを判定する。
【0073】
S470の判定がYesである、つまり車両20が直進走行中である場合、S472において情報登録部84は、カメラ30から運転者100の顔画像データを取得する。車両20が直進走行中の場合、運転者100の顔は正面を向いていると思われる。
【0074】
S474において情報登録部84は、取得した顔画像データに基づいて運転者100が正面を向いていると思われる顔の向き102、つまり、カメラ30から運転者100に向かう方向200に対する運転者100の顔角度を算出する。具体的には、情報登録部84は、以下の(a)、(b)のようにして、運転者100の顔角度を算出する。
【0075】
・所定のt秒間、顔画像データの1フレーム毎に運転者100の顔が向いている顔角度を取得する。
(a)t秒間を、例えば3等分してt1、t2、t3とし、t1秒間、t2秒間、t3秒間のそれぞれの顔角度の平均ave1、平均ave2、平均ave3と、分散s1、分散s2、分散s3と、を算出する。
【0076】
(b)ave1、ave2、ave3の差分が所定のΔA以内で、s1、s2、s3の差分が所定のΔB以内の場合、運転者100はt秒間、継続して正面方向を向いていると判定できる。この場合、t秒間の顔角度の平均値を補正値とする。
【0077】
ave1、ave2、ave3の差分が所定のΔAを越えているか、あるいはs1、s2、s3の差分が所定のΔBを越えている場合、運転者100はt秒間、継続して正面方向を向いていないと判定できる。
【0078】
S476の判定がNoである、つまり運転者100が継続して正面方向を向いていない場合、本処理は終了する。
S476の判定がYesである、つまり運転者100が継続して正面方向を向いている場合、S478において情報登録部84は、
図2および
図3で説明した項目のうち、車種を除いた項目を運転者100の登録情報としてローカルDB90に登録する。
【0079】
情報登録部84は、該当する運転者100の登録情報が既にローカルDB90に登録されている場合、登録情報を上書きして更新する。情報登録部84は、該当する運転者100の登録情報がローカルDB90に登録されていない場合、新規にローカルDB90に運転者100の登録情報を登録する。
【0080】
S480において情報登録部84は、
図2および
図3で説明した項目を運転者100の登録情報として、サーバ10に通知して全体DB12に登録させる。
サーバ10は、該当する運転者100の登録情報が既に全体DB12に登録されている場合、登録情報を上書きして更新する。サーバ10は、該当する運転者100の登録情報が全体DB12に登録されていない場合、新規に全体DB12に登録情報を登録する。
【0081】
以上説明した実施形態では、方向検出装置70が方向検出部に対応し、全体DB12とローカルDB90とが情報登録装置が備える運転者情報部に対応する。また、全体DB12が第2の情報部に対応し、ローカルDB90が第1の情報部に対応する。
【0082】
また、方向検出装置70が検出する運転者100の顔の向き102と視線の方向104とが検出情報に対応し、運転者100の顔情報データ、性別、シート位置、座高が運転者100の身体的特徴に対応する。
【0083】
また、S414、S416が登録判定部82の処理に対応し、S418、S438~S444が情報提供部86の処理に対応し、S470~S480が情報登録部84の処理に対応する。
【0084】
[3.効果]
以上説明した第1実施形態によれば、以下の効果を得ることができる。
(3a)車両20に乗車している運転者100の基準情報がローカルDB90と全体DB12とに登録されていない場合でも、他の運転者100の実際に登録されている基準情報に基づいて運転者100の基準情報を設定して提供できる。
【0085】
これにより、車両20に乗車している運転者100の基準情報が登録されていない場合に、実際の運転者100の基準情報として妥当性がある基準情報を提供できる。
(3b)運転者100の身体的特徴として、顔の特徴量に加え、性別、シート位置、座高に基づいて、ローカルDB90と全体DB12とから運転者100に極力類似する運転者100の基準情報を取得して、対象の運転者100の基準情報を高精度に推定できる。
【0086】
(3c)車両20に乗車している運転者100の基準情報が登録されていない場合、前述した走行時基準情報登録処理により、その運転者100の基準情報がローカルDB90と全体DB12とに新規に追加して登録される。
【0087】
これにより、ローカルDB90と全体DB12とに実際に登録されている他の運転者100の基準情報に基づいて、基準情報が登録されていない運転者100の基準情報を推定するときに、推定する元の基準情報の情報量を増加できる。
【0088】
その結果、基準情報が登録されていない運転者100の基準情報を推定するときに、推定する元の基準情報をより妥当性のあるものにすることができるので、前述した(3a)、(3b)の効果を高めることができる。
【0089】
(3d)車両20に乗車している運転者100の基準情報が登録されている場合、前述した走行時基準情報登録処理により、登録されている運転者100の基準情報が更新されて最新情報になる。
【0090】
これにより、ローカルDB90と全体DB12とに実際に登録されている他の運転者100の基準情報に基づいて、基準情報が登録されていない運転者100の基準情報を推定するときに、推定する元の基準情報を、より妥当性のあるものにすることができる。その結果、前述した(3a)、(3b)の効果を高めることができる。
【0091】
[4.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は前述した実施形態に限定されることなく、種々変形して実施することができる。
【0092】
(4a)前述した実施形態では、基準情報として、運転者100毎にカメラ30が正面方向と判定する角度と、運転者100の顔が実際に正面を向いているときの角度との差の補正値を登録した。これに対し、運転者100の顔が実際に正面を向いているときの角度を基準情報として登録してもよい。
【0093】
(4b)前述した実施形態では、運転者100の顔の向き102と、顔の向き102に対する視線の方向104とから視線の方向104を検出し、顔の向き102の基準情報で視線の方向104を補正して運転者100の脇見を判定した。これに対し、運転者100の視線の方向104を検出し、検出した視線の方向104を視線の方向104の基準情報で補正して運転者100の脇見を判定してもよい。
【0094】
また、顔の向き102と視線の方向104とは一致するものだとして、視線の方向104を検出せず、顔の向き102の基準情報で検出した顔の向き102を補正して運転者100の脇見を判定してもよい。
【0095】
(4c)前述した実施形態では、基準情報は、運転者IDと、運転者100の性別と、車種と、運転者100の顔情報と、運転者100のシート位置と、運転者100の座高と、に関連付けて登録された。これに対し、基準情報は、車種と、運転者100のシート位置と、運転者100の座高と、運転者100の性別と、のうち少なくとも1つに関連付けて登録されればよい。
【0096】
(4d)前述した実施形態では、運転者100の基準情報を、ローカルDB90と全体DB12との両方に登録した。これに対し、運転者100の基準情報を、ローカルDB90または全体DB12のいずれかだけに登録してもよい。
【0097】
(4e)前述した実施形態では、車両20に、情報提供装置80とローカルDB90とが搭載された。これに対し、情報提供装置80とローカルDB90とが、車両20以外の、例えばサーバ10に搭載されてもよい。
【0098】
(4f)前述した実施形態では、情報提供システム2は、サーバ10とカメラ30とセンサ群32とスピーカ34と車両システム40とを備えた。これに対し、情報提供システム2は、少なくとも、車両システム40の情報提供装置80において登録判定部82と情報提供部86とを備えるだけでもよい。
【0099】
(4g)前述した実施形態では、運転者100の身体的特徴として、顔情報データ、性別、シート位置、座高を例示し、ローカルDB90および全体DB12に登録した。これ以外にも、運転者100の身体的特徴として声紋をローカルDB90および全体DB12に登録してもよい。
【0100】
(4h)本開示に記載の情報提供システム2およびその手法は、コンピュータプログラムにより具体化された1つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。
【0101】
あるいは、本開示に記載の情報提供システム2およびその手法は、1つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の情報提供システム2およびその手法は、1つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと1つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された1つ以上の専用コンピュータにより、実現されてもよい。
【0102】
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。情報提供システム2に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、1つあるいは複数のハードウェアを用いて実現されてもよい。
【0103】
(4i)前述した実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、前述した実施形態の構成の一部を省略してもよい。また、前述した実施形態の構成の少なくとも一部を、他の前述した実施形態の構成に対して付加または置換してもよい。
【0104】
(4j)前述した情報提供システム2の他、当該情報提供システム2を構成要素とするシステム、当該情報提供システム2としてコンピュータを機能させるための情報提供プログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、情報提供方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【0105】
2:情報提供システム、12:全体DB(運転者情報部、第2の情報部)、20:車両、50:車両制御装置、70:方向検出装置(方向検出部)、80:情報提供装置、82:登録判定部、84:情報登録部、86:情報提供部、90:ローカルDB(運転者情報部、第1の情報部)、100:運転者