知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023081235
(43)【公開日】2023-06-09
(54)【発明の名称】運転支援装置、運転支援方法及び運転支援プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20230602BHJP
B60W 50/14 20200101ALI20230602BHJP
G06T 7/00 20170101ALI20230602BHJP
【ＦＩ】
G08G1/16 C
B60W50/14
G06T7/00 130
G06T7/00 650Z
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021195012
(22)【出願日】2021-11-30
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】關 嵩覚
(72)【発明者】
【氏名】江村 恒一
(72)【発明者】
【氏名】加藤 正隆
【テーマコード（参考）】
3D241
5H181
5L096
【Ｆターム（参考）】
3D241BA60
3D241CD12
3D241CE04
3D241CE06
3D241DB02Z
3D241DD07Z
5H181AA01
5H181BB20
5H181CC04
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5L096BA04
5L096CA04
5L096DA01
5L096FA06
5L096GA08
5L096GA19
5L096GA51
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】移動体の周囲の状況に応じて適格な運転支援情報を提供する。
【解決手段】検出部が、移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する。また、情報提示制御部が、検出された潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する。一例として、検出部は、全撮像領域を複数に分割した各分割領域のうち、所定の閾値を上回る所定の特徴量を有する分割領域を潜在認識領域として検出する。特徴量としては、例えば過去画像から予測される現在画像と、実際の現在画像との差分となる予測誤差、又は、撮像画像に含まれる物体のエッジ部を用いる。人間が無意識に認識する潜在認識領域に基づいて運転支援情報を提示することで、運転者に対して的確な運転支援情報を提供できる。
【選択図】図３
【解決手段】検出部が、移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する。また、情報提示制御部が、検出された潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する。一例として、検出部は、全撮像領域を複数に分割した各分割領域のうち、所定の閾値を上回る所定の特徴量を有する分割領域を潜在認識領域として検出する。特徴量としては、例えば過去画像から予測される現在画像と、実際の現在画像との差分となる予測誤差、又は、撮像画像に含まれる物体のエッジ部を用いる。人間が無意識に認識する潜在認識領域に基づいて運転支援情報を提示することで、運転者に対して的確な運転支援情報を提供できる。
【選択図】図３
【特許請求の範囲】
【請求項1】
移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に含まれる所定の特徴量に基づいて、前記撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出部と、
検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御部と、
を有する運転支援装置。
検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御部と、
を有する運転支援装置。
【請求項2】
前記検出部は、前記全撮像領域を複数に分割した各分割領域のうち、所定の閾値を超える所定の特徴量を有する前記分割領域を前記潜在認識領域として検出すること
を特徴とする請求項１に記載の運転支援装置。
を特徴とする請求項１に記載の運転支援装置。
【請求項3】
前記情報提示制御部は、前記特徴量が前記閾値未満となっている間、及び、前記特徴量が前記閾値を超えている間に分けて、前記運転支援情報の提示を行うこと
を特徴とする請求項２に記載の運転支援装置。
を特徴とする請求項２に記載の運転支援装置。
【請求項4】
前記情報提示制御部は、前記特徴量が前記閾値を超えている間、前記運転支援情報の提示を行い、又は、前記特徴量が前記閾値を超えてから一定期間、前記運転支援情報の提示を行うこと
を特徴とする請求項２又は請求項３に記載の運転支援装置。
を特徴とする請求項２又は請求項３に記載の運転支援装置。
【請求項5】
前記検出部は、前記外部カメラ部により過去に撮像された過去画像から予測される予測画像の各画素と、前記予測画像の時刻に、前記外部カメラ部により実際に撮像された実撮像画像の各画素との差分である予測誤差を前記分割領域毎に検出し、所定の閾値を超える前記予測誤差を有する前記分割領域を、前記潜在認識領域として検出すること
を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
【請求項6】
前記検出部は、前記外部カメラ部により撮像された撮像画像から物体のエッジ部を検出し、前記分割領域のうち、前記エッジ部を含む割合が所定の閾値を超える分割領域を、前記潜在認識領域として検出すること
を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
【請求項7】
前記検出部は、前記外部カメラ部により過去に撮像された撮像画像から予測して生成した現在の撮像画像に相当する予測現在画像の各画素と、前記外部カメラ部により撮像された現在の撮像画像の各画素との差分を示す予測誤差を前記分割領域毎に検出すると共に、前記外部カメラ部により撮像された撮像画像から物体のエッジ部を含む分割領域を検出し、前記予測誤差が所定の閾値を超え、かつ、所定の閾値を超える前記エッジ部を含む前記分割領域を、前記潜在認識領域として検出すること
を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
【請求項8】
運転者の視線を検出する視線検出部を、さらに備え、
前記情報提示制御部は、前記視線検出部で検出された視線の滞留長が所定の滞留長以上の前記分割領域であり、かつ、前記閾値未満の予測誤差の前記分割領域に前記運転支援情報を提示すること
を特徴とする請求項５に記載の運転支援装置。
前記情報提示制御部は、前記視線検出部で検出された視線の滞留長が所定の滞留長以上の前記分割領域であり、かつ、前記閾値未満の予測誤差の前記分割領域に前記運転支援情報を提示すること
を特徴とする請求項５に記載の運転支援装置。
【請求項9】
運転者の視線を検出する視線検出部を、さらに備え、
前記情報提示制御部は、前記視線検出部で検出された視線の滞留長が所定の滞留長以上の前記分割領域であり、かつ、前記エッジ部を含む割合が所定の前記閾値未満の前記分割領域に前記運転支援情報を提示すること
を特徴とする請求項６に記載の運転支援装置。
前記情報提示制御部は、前記視線検出部で検出された視線の滞留長が所定の滞留長以上の前記分割領域であり、かつ、前記エッジ部を含む割合が所定の前記閾値未満の前記分割領域に前記運転支援情報を提示すること
を特徴とする請求項６に記載の運転支援装置。
【請求項10】
前記情報提示制御部は、検出された前記潜在認識領域に応じて、前記運転支援情報の提示の有無、提示位置、提示数又は種類の変更のうち、いずれか一つ又は複数の変更を行うこと、
と特徴とする請求項１から請求項９のうち、いずれか一項に記載の運転支援装置。
と特徴とする請求項１から請求項９のうち、いずれか一項に記載の運転支援装置。
【請求項11】
前記移動体の移動速度を検出する移動速度検出部を、さらに備え、
前記情報提示制御部は、前記移動速度検出部で検出された前記移動体の移動速度が、所定の閾値以上の場合、及び、前記閾値未満の場合に応じて、提示する前記運転支援情報の少なくとも種類を変更すること
を特徴とする請求項１０に記載の運転支援装置。
前記情報提示制御部は、前記移動速度検出部で検出された前記移動体の移動速度が、所定の閾値以上の場合、及び、前記閾値未満の場合に応じて、提示する前記運転支援情報の少なくとも種類を変更すること
を特徴とする請求項１０に記載の運転支援装置。
【請求項12】
前記移動体の移動速度を検出する移動速度検出部と、
前記移動速度検出部により検出された前記移動体の移動速度に応じて、前記移動体の動作を制御する動作制御部とを、さらに備えること
を特徴とする請求項１から請求項１１のうち、いずれか一項に記載の運転支援装置。
前記移動速度検出部により検出された前記移動体の移動速度に応じて、前記移動体の動作を制御する動作制御部とを、さらに備えること
を特徴とする請求項１から請求項１１のうち、いずれか一項に記載の運転支援装置。
【請求項13】
検出部が、移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、前記撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出ステップと、
情報提示制御部が、検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御ステップと、
を有する運転支援方法。
情報提示制御部が、検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御ステップと、
を有する運転支援方法。
【請求項14】
コンピュータを、
移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、前記撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出部と、
検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御部として機能させること
を特徴とする運転支援プログラム。
移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、前記撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出部と、
検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御部として機能させること
を特徴とする運転支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、運転支援装置、運転支援方法及び運転支援プログラムに関する。
【背景技術】
【0002】
車両等の移動体を運転する運転者は、信号機、道路標識、車線等に基づき、歩行者及び障害物等に注意しながら、交通法規に従って車両の運転を行う。車両が走行する道路状況は、刻々と変化するため、道路状況の変化に応じて運転を支援する情報を提示できれば、安全運転等に資することができる。
【0003】
特許文献１（特開２０１９－０９６１０９号公報）には、次の運転シーンに向けて行われる支援情報の提供を、自車両周囲の交通環境に応じて適切に行うことを目的とした運転支援装置が開示されている。この運転支援装置は、コントローラが、少なくとも運転者の運転操作に関連する情報から、次の運転シーンに対する運転者の認知行動のタイミングを推定し、推定した認知行動のタイミングよりも前に、次の運転シーンに対応する支援情報を提供する。この際、コントローラは、自車両周辺の交通環境に対応して、運転者に要求される要求運転能力を推定し、要求運転能力が高いほど（交通環境が複雑なほど）、支援情報量を減少して提供する。これにより、自車両周囲の交通環境に応じた支援情報の提供を行うことができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－０９６１０９号公報
【特許文献2】特開２０１６－０８６３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１に開示されている運転支援装置は、支援情報の提供は、予め決められたタイミングで行うため、支援情報の提供が、言わば固定的となり、周囲の状況に応じて適格な運転支援情報を提示することは、実際には困難となる問題がある。
【0006】
本開示は、移動体の周囲の状況に応じて適格な運転支援情報を提供可能な運転支援装置、運転支援方法及び運転支援プログラムを提供する。
【課題を解決するための手段】
【0007】
本開示に係る運転支援装置は、移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出部と、検出された潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御部と、を有する。
【発明の効果】
【0008】
本開示に係る運転支援装置は、移動体の周囲の状況に応じて適格な運転支援情報を提供できる。
【図面の簡単な説明】
【0009】
【発明を実施するための最良の形態】
【0010】
以下、本開示の一例となる実施の形態の運転支援装置の説明をする。実施の形態の運転支援装置は、普通自動車、貨物自動車等の車両の他、飛行体、船舶等の運転支援にも有用である。また、移動体自体には人が乗らないリモートオペレーションの移動体の運転支援にも有用である。以下、車両の運転者に対する運転支援を例に、実施の形態の運転支援装置の構成及び作用効果を説明する。飛行体及び船舶等の他の移動体の運転支援を行う場合も、以下の説明を参照されたい。
【0011】
［概要］
まず、図１は、運転者が車両の周囲の状況を感知し、車両の操作に至るまでの流れを示す模式図である。この図１に示すように車両を運転する運転者は、視覚及び聴覚等の感覚に基づいて、車両の周囲の状況を感知する。このうち、車両の運転に必要な情報の９０％は、視覚から得られる。このように視覚等で運転に必要な情報が得られると、運転者は、過去の例えば数秒の記憶、及び、視覚等から得た運転に必要な情報に基づいて、車両の極未来の周囲の状況を、無意識に予測する。そして、この無意識に予測した予測結果と現実との差異により、「無意識の注意」が働く。また、この無意識の注意と共に、視覚等から得た運転に必要な情報に基づいて「意識的な注意」も働く。
まず、図１は、運転者が車両の周囲の状況を感知し、車両の操作に至るまでの流れを示す模式図である。この図１に示すように車両を運転する運転者は、視覚及び聴覚等の感覚に基づいて、車両の周囲の状況を感知する。このうち、車両の運転に必要な情報の９０％は、視覚から得られる。このように視覚等で運転に必要な情報が得られると、運転者は、過去の例えば数秒の記憶、及び、視覚等から得た運転に必要な情報に基づいて、車両の極未来の周囲の状況を、無意識に予測する。そして、この無意識に予測した予測結果と現実との差異により、「無意識の注意」が働く。また、この無意識の注意と共に、視覚等から得た運転に必要な情報に基づいて「意識的な注意」も働く。
【0012】
運転者は、このような「無意識の注意」に基づく運転に対する「無意識の運転の判断」、及び、「意識的な注意」に基づく「意識的な運転の判断」を行い、この判断結果に基づいて、「無意識の運転操作」及び「意識的な運転操作」を行う。運転者は、このような「無意識の運転操作」及び「意識的な運転操作」により、車両の運転を行っている。
【0013】
実施の形態の運転支援装置は、運転者が感知している車両の周囲のうち、上述の「無意識の注意」が働いている箇所を検出する。そして、この検出結果に基づいて、運転者が見落とし易い箇所を特定し、運転者の意識的な注意を喚起する情報提示（文字、画像又は音声等）を行う。これにより、車両の周囲の状況に応じた適格な運転支援が可能となる。
【0014】
また、車両の走行中の「危険」は、「（その時点で）顕在化されている危険」と、「顕在化されていない危険（潜在危険）」との２種類に分類される。また、例えば予測符号化理論等の認知心理学によれば、「危険」は、人間の認知特性から、「人間が見落としやすい危険」と、「人間が見落とし難い危険」との２種類に分類される。
【0015】
ここで、「顕在化されていない危険（潜在危険）」が検出した場合に、検出した全ての「顕在化されていない危険（潜在危険）」を運転者に提示する場合を考える。この場合、検出した「顕在化されていない危険（潜在危険）」が、「人間が見落とし難い危険」であっても提示されるため、運転者が煩わしさを感じることが懸念される。また、運転者が煩わしさを感じることで、運転支援情報を提示しても、運転者の注意を喚起しきれないおそれがある（運転者の注意喚起の「力」が弱くなる）。
【0016】
このような不都合を防止するために、実施の形態の運転支援装置は、「顕在化されていない危険（潜在危険）」のうち、「人間が見落としやすい危険」を選択的に提示する。これにより、運転者に煩わしさを与えることなく、運転者の注意を適格に喚起でき、安全運転に貢献することができる。
【0017】
［第１の実施の形態］
（ハードウェア構成）
図２は、第１の実施の形態の運転支援装置１のハードウェア構成を示すブロック図である。この図２に示すように、運転支援装置１は、検出デバイス２、制御部３、記憶部４、情報提示部５及び車両制御部６を有している。
（ハードウェア構成）
図２は、第１の実施の形態の運転支援装置１のハードウェア構成を示すブロック図である。この図２に示すように、運転支援装置１は、検出デバイス２、制御部３、記憶部４、情報提示部５及び車両制御部６を有している。
【0018】
検出デバイス２は、主に車両の周囲の状況を検出するデバイスであり、例えば車両の走行速度を検出する車速センサ２１（移動速度検出部の一例）、車両の地理的な現在位置を検出するＧＰＳ（Global Positioning System）センサ２１を有している。また、検出デバイス２は、主に車両の進行方向となる前方の風景を撮像する車外カメラ部２３（外部カメラ部の一例）と、車両を運転する運転者を撮像するドライバカメラ部２４とを有している。ドライバカメラ部２４で撮像された運転者の顔の撮像画像は、主に運転者の視線を検出するために用いられる。また、検出デバイス２は、車外の音声を集音するマイクロホン部２５と有している。
【0019】
記憶部４には、運転者の運転を支援する運転支援情報を提示するための運転支援プログラムが記憶されている。制御部３は、この運転支援プログラムに基づいて、情報提示部５に対して運転支援情報の提示を行う。具体的には、情報提示部５が表示部である場合、制御部３は、運転支援情報を表示部に表示制御する。これに対して、情報提示部５がスピーカ部である場合、制御部３は、スピーカ部を介して運転支援情報を音声出力制御する。なお、このような運転支援情報の表示制御及び音声出力制御は、併用してもよい。
【0020】
車両制御部６は、動作制御部の一例であり、例えば所定以上の走行速度で危険が予測される位置を車両が走行している場合に、車両を制動制御して、走行速度を抑制することで安全を確保する。
【0021】
（機能構成）
図３は、制御部３が、記憶部４に記憶されている運転支援プログラムを実行することで実現される各機能を示す機能ブロック図である。この図３に示すように、制御部３は、運転支援プログラムを実行することで、潜在危険判定部３１及び情報提示制御部３２として機能する。
図３は、制御部３が、記憶部４に記憶されている運転支援プログラムを実行することで実現される各機能を示す機能ブロック図である。この図３に示すように、制御部３は、運転支援プログラムを実行することで、潜在危険判定部３１及び情報提示制御部３２として機能する。
【0022】
潜在危険判定部３１は、検出部の一例であり、車外カメラ部２３により撮像された車両の進行方向の撮像画像（前方画像）に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を判定（検出）する。情報提示制御部３２は、潜在危険判定部３１により検出された潜在認識領域から推定される情報提示部上の領域に、所定の運転支援情報を提示する。情報提示部５としては、運転支援情報を画像又は映像で提示する場合、例えば車両のメータディスプレイ装置、ＨＵＤ（Head-Up Display）装置、カーナビゲーション装置のモニタ装置等を用いることができる。また、運転支援情報を音声（音声メッセージの他、電子音等も含む）で提示する場合、情報提示制御部３２としては、スピーカ部を用いることができる。
【0023】
なお、この例では、潜在危険判定部３１及び情報提示制御部３２は、運転支援プログラムにより、ソフトウェアで実現することとした。しかし、これらのうち全部又は一部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。
【0024】
また、運転支援プログラムは、インストール可能な形式又は実行可能な形式のファイル情報でＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、運転支援プログラムは、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイ（登録商標）ディスク、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、運転支援プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、運転支援プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。
【0025】
（運転支援情報の提示動作）
図４は、運転支援情報の提示動作を説明するためのフローチャートである。まず、ステップＳ１では、図３に示す潜在危険判定部３１が、車外カメラ部２３で撮像された車両前方の風景の動画像を、例えば縦×横が５個×５個の計２５個の分割領域に分割し、分割領域毎に「特徴量」を抽出する。
図４は、運転支援情報の提示動作を説明するためのフローチャートである。まず、ステップＳ１では、図３に示す潜在危険判定部３１が、車外カメラ部２３で撮像された車両前方の風景の動画像を、例えば縦×横が５個×５個の計２５個の分割領域に分割し、分割領域毎に「特徴量」を抽出する。
【0026】
一例ではあるが、「特徴量」としては、分割領域毎に検出する予測誤差量を用いることができる。また、この他、分割領域毎に物体のエッジ部を含む割合を示す顕著性を「特徴量」として用いることができる。また、予測誤差及び顕著性を併用することもできる。以下、「特徴量」として予測誤差量のみを用いる場合を説明し、顕著性等の説明は、後述する。
【0027】
図５は、潜在危険判定部３１による予測誤差画像の生成動作を説明するための模式図である。この図５に示すように、潜在危険判定部３１は、大脳皮質における予測符号化の処理を模倣し，深層学習の枠組みで構築された深層学習予測モデルである「ＰｒｅｄＮｅｔ」に基づいて、予測画像を生成する。具体的には、潜在危険判定部３１は、図５に示すように車外カメラ部２３で撮像された２０フレーム分の過去画像が供給されると、深層学習予測モデルに基づいて将来フレームに相当する予測画像を生成する。
【0028】
「ＰｒｅｄＮｅｔ」は、「Ｌｏｔｔｅｒ，Ｗ．，Ｋｒｅｉｍａｎ，Ｇ．，ａｎｄＣｏｘ，Ｄ．，「Ｄｅｅｐ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｉｄｅｏ ｐｒｅｄｉｃｔｉｏｎ ａｎｄ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ」，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０５．０８１０４」の文献に詳述されている。
【0029】
すなわち、図５に示す時刻ｔ－２０～時刻ｔ－１までの過去画像が供給されたとすると、潜在危険判定部３１は、深層学習予測モデルに基づいて、時刻ｔ０の将来フレームの予測画像を生成する。同様に、潜在危険判定部３１は、時刻ｔ－１９～時刻ｔ－０までの過去画像から、深層学習予測モデルに基づいて、時刻ｔ１の将来フレームの予測画像を生成する。同様に、潜在危険判定部３１は、時刻ｔ－１８～時刻ｔ－１までの過去画像から、深層学習予測モデルに基づいて、時刻ｔ２の将来フレームの予測画像を生成する。
【0030】
潜在危険判定部３１は、このように１フレームずつ時刻がずれた過去画像を用いて全ての将来フレームの予測画像を生成する。
【0031】
また、潜在危険判定部３１は、生成した予測画像と、生成した予測画像の時刻に、車外カメラ部２３で実際に撮像された実画像（正解画像）とを画素単位で比較し、両者の各画素値の差分に基づいて予測誤差画像を生成する。図５の例は、時刻ｔ０における予測画像と、実画像（正解画像）との各画素値の差分に基づいて、時刻ｔ０の予測誤差画像が生成された例を示している。この予測誤差画像の各画素の値は、それぞれ予測誤差の値を示している。
【0032】
次に、このようにして予測誤差画像を生成すると、潜在危険判定部３１は、生成した予測画像の全体の画像領域を、例えば縦×横が５個×５個の計２５個の分割領域に分割する。そして、潜在危険判定部３１は、分割領域毎に、各画素の値である予測誤差の値の総和を検出する。なお、予測誤差の演算に用いる過去画像のフレーム数は、例えば３０フレーム等の、設計等の応じた任意のフレーム数でもよい。
【0033】
次に、潜在危険判定部３１は、図４のステップＳ２において、各分割領域の予測誤差の総和と、図６に示す予測誤差の総和の上限値用の第１の閾値（Ｈｉｇｈ）とを比較する。また、潜在危険判定部３１は、図４のステップＳ５において、各分割領域の予測誤差の総和と、図６に示す予測誤差の総和の下限値用の第２の閾値（Ｌｏｗ）とを比較する。そして、各分割領域のうち、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の総和を有する分割領域、及び、第２の閾値（Ｌｏｗ）を下回る予測誤差の総和を有する分割領域を検出する。この図６に示す第１の閾値及び第２の閾値は、予測誤差用閾値の一例である。
【0034】
予測誤差の総和が第１の閾値（Ｈｉｇｈ）を上回るということは、その分割領域は、運転者が無意識に意識している領域であることを意味する。また、予測誤差の総和が第２の閾値（Ｌｏｗ）を下回るということは、その分割領域は、運転者が無意識でも意識されていない領域であることを意味する。
【0035】
情報提示制御部３２は、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の総和を有する分割領域に基づいて、提示する運転支援情報（提示情報）を変更する（ステップＳ２：Ｙｅｓ→ステップＳ３）。また、情報提示制御部３２は、第２の閾値（Ｌｏｗ）を下回る予測誤差の総和を有する分割領域に基づいて、提示する運転支援情報（提示情報）を変更する（ステップＳ５：Ｙｅｓ→ステップＳ６）。また、情報提示制御部３２は、第１の閾値（Ｈｉｇｈ）未満、かつ、第２の閾値（Ｌｏｗ）未満となる予測誤差の総和を有する分割領域に基づいて、提示する運転支援情報（提示情報）を変更する（ステップＳ５：Ｎｏ→ステップＳ７）。そして、情報提示制御部３２は、ステップＳ３、ステップＳ６又はステップＳ７で変更した運転支援情報を情報提示部５に提示する。
【0036】
図７は、このような運転支援情報を情報提示部５に表示するまでの流れを模式的に示す図である。この図７に示すように、車外カメラ部２３で撮像された複数枚の前方画像から、深層学習予測モデル（＝ドライバ視覚モデル）に基づいて予測画像が生成され、同時刻の前方画像との差分をとることにより予測誤差画像が生成される。以降、説明の簡単化のため、ドライバ視覚モデルが予測誤差画像を出力するように記載する。また、予測誤差画像の各分割領域のうち、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の総和を有する分割領域、及び、第２の閾値（Ｌｏｗ）を下回る予測誤差の総和を有する分割領域が検出される。そして、この検出結果に基づいて、運転支援情報が情報提示部５に提示される。
【0037】
なお、深層学習予測モデルとしては、例えば「加藤，江村，渡辺，「人の視覚をシミュレートする深層学習を用いた交通ヒヤリハット事象の要因分析」，自動車技術会２０２１年春季大会学術講演会予稿集」等に詳述されている。
【0038】
ここで、図８は、運転支援情報を提示しない場合の不都合を説明するための図である。図８（ａ）において、点線のグラフは、第１の分割領域の予測誤差の値の変遷を示しており、一点鎖線のグラフは、第２の分割領域の予測誤差の値の変遷を示しており、実線のグラフは、第３の分割領域の予測誤差の値の変遷を示している。また、図８（ｂ）は、第１の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ１の撮像画像を示している。また、図８（ｃ）は、第２の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ２の撮像画像を示している。図８（ｄ）は、第３の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ３の撮像画像を示している。
【0039】
図８（ｂ）に示すように、時刻ｔ１においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第１の分割領域が左側に存在するため、運転者は無意識に左側を注意している。次に、図８（ｃ）に示すように、時刻ｔ２においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第２の分割領域が右側に存在するため、運転者は無意識に右側を注意している。同様に、図８（ｄ）に示すように、時刻ｔ３においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第３の分割領域が右側に存在するため、運転者は無意識に右側を注意している。この右側を無意識に注意している状態で、図８（ｄ）に示すように左側から現れる他の車両には、運転者は気付きにくい。
【0040】
これに対して、図９は、実施の形態の運転支援装置１における運転支援情報の提示例を示す図である。図９（ａ）において、点線のグラフは、第１の分割領域の予測誤差の値の変遷を示しており、一点鎖線のグラフは、第２の分割領域の予測誤差の値の変遷を示しており、実線のグラフは、第３の分割領域の予測誤差の値の変遷を示している。また、図９（ｂ）は、第１の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ１の撮像画像を示している。また、図９（ｃ）は、第２の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ２の撮像画像を示している。図９（ｄ）は、第３の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ３の撮像画像を示している。
【0041】
図９（ｂ）に示すように、時刻ｔ１においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第１の分割領域が左側に存在するため、運転者は無意識に左側を注意している。この場合、情報提示制御部３２は、運転者が右側も注意するように、例えばＨＵＤの表示画面に、「右側にも注意」との運転支援情報を提示する。
【0042】
また、図９（ｃ）に示すように、時刻ｔ２においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第２の分割領域が右側に存在するため、運転者は無意識に右側を注意している。この場合、情報提示制御部３２は、運転者が左側も注意するように、例えばＨＵＤの表示画面に、「左側にも注意」との運転支援情報を提示する。
【0043】
また、図９（ｄ）に示すように、時刻ｔ３においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第３の分割領域が右側に存在するため、運転者は無意識に右側を注意している。この場合、情報提示制御部３２は、運転者が左側も注意するように、例えばＨＵＤの表示画面に、「左側にも注意」との運転支援情報を提示する。これにより、運転者は、図９（ｄ）に示すように左側から現れる他の車両に気付くことができ、衝突等の不都合を運転操作で回避できる。
【0044】
図１０は、このような予測誤差が大きな分割領域の位置に対する運転支援情報の表示位置を決定する流れを示すフローチャートである。ステップＳ３１では、潜在危険判定部３１が、車両前方の撮像画像の分割領域毎に、抽出量の一例である予測誤差を抽出する。
【0045】
次に、情報提示制御部３２は、ステップＳ３２において、分割領域毎に上述の第１の閾値（Ｈｉｇｈ）を超えているか否かを判別する。なお、理解容易とするために、分割領域毎に第１の閾値（Ｈｉｇｈ）を超えているか否かを判別する例を説明するが、情報提示制御部３２は、分割領域毎に第２の閾値（Ｌｏｗ）を超えているか否かも判別する。
【0046】
具体的には、情報提示制御部３２は、第１の閾値（Ｈｉｇｈ）を上回っているか否かを判別する分割領域に対して、「０」から順に番号「ｉ」を付加する（ステップＳ３３又はステップＳ３６）。そして、この分割領域に付加される番号は、ステップＳ３５で一つずつインクリメントされる。情報提示制御部３２は、各番号の分割領域毎に、特徴量（予測誤差の値）が第１の閾値（Ｈｉｇｈ）を上回っているか否かを判別する（ステップＳ３２）。
【0047】
次に、情報提示制御部３２は、分割領域に付加した番号が、全分割領域の数以上となったか否かを判別する（ステップＳ３４）。例えば、上述の例は、撮像画像の全領域を２５個の分割領域に分割した例である。この場合、情報提示制御部３２は、ステップＳ３４において、一つずつインクリメントしながら分割領域に付加した番号「ｉ」が、「２５」になったか否かを判別する。分割領域毎に付加した番号「ｉ」が、「２５」になっていないということは（ステップＳ３４：Ｙｅｓ）、全ての分割領域に対する、第１の閾値（Ｈｉｇｈ）を超えているか否かの判別が終了していないことを意味する。このため、情報提示制御部３２は、上述のステップＳ３２～ステップＳ３６の処理を繰り返し実行する。
【0048】
これに対して、分割領域毎に付加した番号「ｉ」が、「２５」になったということは、全ての分割領域に対する、第１の閾値（Ｈｉｇｈ）を超えているか否かの判別が終了したことを意味する。この場合、情報提示制御部３２は、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値を有する分割領域の数を、撮像画像に基づいて情報取得画面の左右の領域に分けてカウントする（ステップＳ３７）。そして、情報提示制御部３２は、情報取得画面の左側の領域に位置する上述の分割領域の数よりも、情報取得画面の右側の領域に位置する上述の分割領域の数の方が多いか否かを判別する（ステップＳ３８）。
【0049】
情報提示制御部３２は、情報取得画面の左側の領域に位置する上述の分割領域の数よりも、情報取得画面の右側の領域に位置する上述の分割領域の数の方が多いということは、画面の右側の領域に対して運転者の無意識の注意が偏っており、画面の左側の領域を運転者が見落とし易いことを意味する。この場合（ステップＳ３８：Ｙｅｓ）、情報提示制御部３２は、例えば「左側にも注意」等の運転支援情報を、情報提示部５を介して提示する（ステップＳ３９）。これにより、運転者が見落とし易い左側の領域に対する運転者の意識的な注意を喚起できる。
【0050】
これに対して、情報取得画面の左側の領域に位置する上述の分割領域の数よりも、情報取得画面の右側の領域に位置する上述の分割領域の数の方が少ないということは、画面の左側の領域に対して運転者の無意識の注意が偏っており、画面の右側の領域に対する運転者が見落とし易いことを意味する。この場合（ステップＳ３８：Ｎｏ）、情報提示制御部３２は、例えば「右側にも注意」等の運転支援情報を、情報提示部５を介して提示する（ステップＳ４０）。これにより、運転者が見落とし易い右側の領域に対する運転者の意識的な注意を喚起できる。
【0051】
（予測誤差の発生の仕方に応じた情報提示）
次に、予測誤差の発生の仕方に応じた情報提示の一例を説明する。図１１は、情報取得画面の左右のいずれかに偏って予測誤差が多く発生する場合を示している。図１１（ａ）～図１１（ｃ）は、情報取得画面の左側に偏って予測誤差が多く発生している場合を示している。この場合、情報提示制御部３２は、情報取得画面の右側に運転者の注意を喚起する運転支援情報を提示する。
次に、予測誤差の発生の仕方に応じた情報提示の一例を説明する。図１１は、情報取得画面の左右のいずれかに偏って予測誤差が多く発生する場合を示している。図１１（ａ）～図１１（ｃ）は、情報取得画面の左側に偏って予測誤差が多く発生している場合を示している。この場合、情報提示制御部３２は、情報取得画面の右側に運転者の注意を喚起する運転支援情報を提示する。
【0052】
また、情報提示制御部３２は、情報取得画面の上側に偏って予測誤差が多く発生している場合は、情報取得画面の下側に運転者の注意を喚起する運転支援情報を提示する。また、情報取得画面の右に偏って予測誤差が多く発生している場合は、情報取得画面の左側に運転者の注意を喚起する運転支援情報を提示する。すなわち、情報提示制御部３２は、情報取得画面に多くの予測誤差が発生している分割領域に対して、相対的な位置の分割領域側に運転支援情報の提示を行う。
【0053】
図１２は、運転支援情報の表示例を示す図である。図１２（ａ）は、情報取得画面の左側に多くの予測誤差が発生している例である。この場合、情報提示制御部３２は、図１２（ｂ）に示すように、運転者が見落とし易くなっている、情報取得画面の右側に、例えば黄色の△のアイコン又は矢印等を表示して、情報取得画面の右側に対する運転者の注意を喚起する。
【0054】
図１３は、運転支援情報の他の表示例を示す図である。図１３（ａ）は、情報取得画面の左側に多くの予測誤差が発生している例である。図１２の例は、このような場合に、情報取得画面の右側に、運転者の注意を喚起する運転支援情報を表示したが、図１３（ｂ）に示すように、情報取得画面の中央に、運転者の注意を喚起する運転支援情報を表示してもよい。この図１３（ｂ）の例は、情報提示制御部３２が、情報取得画面の左右の手前側から奥行き方向にかけて伸びる直線状のラインを表示した例である。このようなラインを表示することで、情報取得画面の中央に、運転者の注意を喚起することができる。
【0055】
なお、予測誤差の値が、図６に示した第２の閾値（Ｌｏｗ）を下回る分割領域は、運転者が見落としやすい(注意が抑制される)分割領域であることを意味している。このような運転者が見落としやすい分割領域は、例えば渋滞時に、前の車両に追従して自車両を運転している場合等に発生する。これは、運転者の前の車両に対する注意が抑制されており、漫然運転が行われていることを意味している。そして、このままでは、前方の車両に追突等の不都合が発生するおそれがある。
【0056】
このため、情報提示制御部３２は、図１３（ｂ）に示したラインを表示することで、情報取得画面の中央に、運転者の視線を画面中央に誘導して注意を喚起する。または、情報提示制御部３２は、情報取得画面の中央に、例えば「前方に注意してください」等の運転支援情報（メッセージ又は音声）を提示して運転者の視線を画面中央に誘導して注意を喚起する。これにより、運転者に対して、前方への注意を促すことができ、追突等の不都合を防止でき、安全を確保できる。
【0057】
次に、図１４は、音声により運転支援情報を提示する例を示す図である。図１４（ａ）は、情報取得画面の左側に多くの予測誤差が発生している例である。この場合、情報提示制御部３２は、図１４（ｂ）に示すように、例えば「右側にも注意しましょう」等の音声メッセージを、スピーカ部５を介して提示する。これにより、情報取得画面の右側に運転者の注意を喚起することができる。
【0058】
次に、図１５（ａ）～図１５（ｄ）は、情報取得画面の各分割領域に発生する予測誤差に、偏りが無い例を示している。これは、運転者が全体的に無意識の注意を払っていることを意味する。このため、情報提示制御部３２は、運転支援情報を非提示とする。
【0059】
次に、図１６（ａ）～図１６（ｄ）は、閾値を上回る予測誤差が発生する分割領域が徐々に増加している例を示している。これは、運転者の認知負荷が増加していることを意味する。このため、情報提示制御部３２は、認知負荷が増加していることを示す運転支援情報を提示する。
【0060】
また、反対の場合も同様であり、閾値を上回る予測誤差が発生する分割領域が徐々に減少している場合、これは、各分割領域の予測誤差の値が、図６に示す第１の閾値（Ｈｉｇｈ）と第２の閾値（Ｌｏｗ）との間の値となり、認知負荷が減少していることを示す。この場合、情報提示制御部３２は、認知負荷が減少していることを示す運転支援情報を提示する。
【0061】
次に、図１７（ａ）～図１７（ｄ）は、閾値を上回る予測誤差の分割領域が、全体的に発生しない例を示している。これは、例えば渋滞時に、前の車両に追従して自車両を運転している場合等の、前方の風景に変化が少ない場合に現れる。このような場合、運転者の注意が散漫となり、漫然運転となり、前の車両に追突等の不都合を生ずるおそれがある。
【0062】
このため、情報提示制御部３２は、例えば図１３（ｂ）に示したようにラインを表示することで、情報取得画面の中央に、運転者の視線を画面中央に誘導して注意を喚起する。または、情報提示制御部３２は、情報取得画面の中央に、例えば「前方に注意してください」等の運転支援情報（メッセージ又は音声）を提示して運転者の視線を画面中央に誘導して注意を喚起する。これにより、運転者に対して、前方への注意を促すことができ、追突等の不都合を防止でき、安全を確保できる。
【0063】
（運転支援情報の提示期間）
次に、図１８は、運転支援情報の提示期間を説明するための図である。情報提示制御部３２は、図６に示すように、各分割領域の予測誤差の総和が、第１の閾値（Ｈｉｇｈ）又は第２の閾値（Ｌｏｗ）を超えた際に、一定期間（又はいずれかの閾値を超えている間）、運転支援情報の提示を行う。図１８は、時刻ｔ１に予測誤差の総和がいずれかの閾値を超えたことを示しており、この場合、情報提示制御部３２は、時刻ｔ１から一定期間、運転支援情報の提示を行う。
次に、図１８は、運転支援情報の提示期間を説明するための図である。情報提示制御部３２は、図６に示すように、各分割領域の予測誤差の総和が、第１の閾値（Ｈｉｇｈ）又は第２の閾値（Ｌｏｗ）を超えた際に、一定期間（又はいずれかの閾値を超えている間）、運転支援情報の提示を行う。図１８は、時刻ｔ１に予測誤差の総和がいずれかの閾値を超えたことを示しており、この場合、情報提示制御部３２は、時刻ｔ１から一定期間、運転支援情報の提示を行う。
【0064】
また、図１８は、時刻ｔ２及び時刻ｔ３に予測誤差の総和がいずれかの閾値を超えたことを示しており、この場合、情報提示制御部３２は、時刻ｔ２から一定期間、第１の運転支援情報の提示を行うと共に、時刻ｔ３から一定期間、第２の運転支援情報の提示を行う。第２の運転支援情報の提示を行う際に、第１の運転支援情報の提示を終了してもよい。
【0065】
このように、予め設定された一定期間（又はいずれかの閾値を超えている間）、運転支援情報の提示を行うことで、運転支援情報の提示が長時間となり、運転者に煩わしさを与える不都合を防止できる。
【0066】
（提示する運転支援情報の変更制御）
次に、情報提示部５に、多くの運転支援情報を提示すると、運転者に対して煩わしさを与え、安全運転上、好ましいことではない。このため、情報提示制御部３２は、状況に応じて、提示する運転支援情報の有無、数、位置、及び、種類等を変更制御する。
次に、情報提示部５に、多くの運転支援情報を提示すると、運転者に対して煩わしさを与え、安全運転上、好ましいことではない。このため、情報提示制御部３２は、状況に応じて、提示する運転支援情報の有無、数、位置、及び、種類等を変更制御する。
【0067】
図１９は、運転支援情報の有無を変更する例である。例えば、通常、図１９（ａ）に示すように、情報提示部５の画像提示画面に対して、進行方向の矢印、歩行者を示す丸印、及び、右上の長方形の領域に、自車両の後方の風景を表示する。このように提示する運転支援情報の数が多くなると、却って、運転者の注意が散漫となる。
【0068】
このため、情報提示制御部３２は、例えば車両が停止している場合、及び、時速１５ｋｍ未満等の低速度で車両が走行している間、図１９（ｂ）に示すように、運転支援情報を非表示とする。これにより、不必要な運転支援情報を表示して運転者に煩わしさを与える不都合を防止できる。
【0069】
次に、図２０は、運転支援情報の数（提示数）を変更する例である。例えば、通常、図２０（ａ）に示すように、情報提示部５の画像提示画面に対して、進行方向の矢印、歩行者を示す丸印、及び、右上の長方形の領域に、自車両の後方の風景を表示する。このように提示する運転支援情報の数が多くなると、却って、運転者の注意が散漫となる。
【0070】
このため、情報提示制御部３２は、例えば図２０（ｂ）に示すような予測誤差が発生している領域のような、危険度が高い対象に対しての運転支援情報のみを優先して提示する。これにより、真に必要な運転支援情報のみを提示して運転者の注意を喚起できる。
【0071】
次に、図２１は、運転支援情報の位置を変更する例である。例えば、通常、図２０（ａ）に示すように、情報提示部５の画像提示画面に対して、進行方向の矢印、歩行者を示す丸印、及び、右上の長方形の領域に、自車両の後方の風景を表示する。このように提示する運転支援情報の数が多くなると、却って、運転者の注意が散漫となる。
【0072】
【0073】
これにより、車両の周知の状況に応じて、必要な位置に運転支援情報を提示して運転者の注意を喚起できる。
【0074】
次に、図２２は、運転支援情報の種類を変更する例である。図２２（ａ）に示すように、車両の前方の歩行者、停車車両が多く存在している場合などは、閾値を上回る予測誤差を有する分割領域も、図２２（ｂ）に示すように、数多く発生する。この場合、情報提示制御部３２は、矢印の運転支援情報を、例えば「減速しましょう」等の注意を喚起するメッセージに変更して提示する。これにより、運転者に対して、より的確に運転支援情報の提示を行うことができる。
【0075】
（第１の実施の形態の効果）
以上の説明から明らかなように、第１の実施の形態の運転支援装置１は、潜在危険判定部３１が、車両の車外カメラ部２３により撮像された、車両の進行方向の撮像画像に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する。そして、情報提示制御部３２が、検出された潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する。
以上の説明から明らかなように、第１の実施の形態の運転支援装置１は、潜在危険判定部３１が、車両の車外カメラ部２３により撮像された、車両の進行方向の撮像画像に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する。そして、情報提示制御部３２が、検出された潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する。
【0076】
これにより、運転者が無意識に注意している領域以外の、運転者が見落とし易い領域に対する注意を喚起することができ、車両の周囲の状況に応じた適格な運転支援情報の提示を行うことができる。
【0077】
また、潜在危険判定部３１は、全撮像領域を複数に分割した各分割領域のうち、所定の閾値を上回る特徴量（予測誤差等）を有する分割領域を、潜在認識領域として検出する。これにより、運転者が無意識に注意している領域を適格に検出でき、さらに適格な運転支援情報の提示を行うことができる。
【0078】
また、情報提示制御部３２は、特徴量（予測誤差等）が所定の閾値未満となっている間、及び、特徴量が閾値を超えている間に分けて、運転支援情報の提示を行う。具体的には、情報提示制御部３２は、特徴量（予測誤差等）が所定の閾値未満となっている間は、運転支援情報の提示は行わず、特徴量が閾値を超えた場合に、運転支援情報の提示を行う。これにより、運転者が無意識に注意している分割領域を明確に特定したうえで、相対領域の注意を喚起する運転支援情報を提示できるため、より安全を確報できる。
【0079】
また、情報提示制御部３２は、特徴量が予め設定された一定期間（又はいずれかの閾値を超えている間）、運転支援情報の提示を行う。これにより、運転者が運転支援情報を適格に認識できる（提示時間が短いために運転支援情報を見落とすことがなくなる）。
【0080】
また、情報提示制御部３２は、検出された潜在認識領域に応じて、運転支援情報の提示の有無、提示位置、提示数又は種類の変更のうち、いずれか一つ又は複数の変更を行う。これにより、車両の周知の状況に応じて、必要な運転支援情報を選択的に提示して運転者の注意を喚起できる。このため、多くの運転支援情報を表示して、運転者に煩わしさを与える不都合を防止できる。
【0081】
［第２の実施の形態］
次に、第２の実施の形態の運転支援装置の説明をする。この第２の実施の形態の運転支援装置は、車両の走行速度に基づいて、提示する運転支援情報を変更する例である。なお、上述の第１の実施の形態と以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
次に、第２の実施の形態の運転支援装置の説明をする。この第２の実施の形態の運転支援装置は、車両の走行速度に基づいて、提示する運転支援情報を変更する例である。なお、上述の第１の実施の形態と以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
【0082】
図２３は、第２の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。この図２３に示すように、第２の実施の形態の運転支援装置の場合、潜在危険判定部３１が、車外カメラ部２３により撮像された前方画像と共に、図２に示す車速センサ２１で検出された車両の走行速度（自車速度）を取得する構成となっている。
【0083】
図２４は、第２の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。このフローチャートにおいて、潜在危険判定部３１は、上述と同様に、車両前方の撮像画像に基づいて、分割領域毎に予測誤差等の特徴量を抽出する（ステップＳ１１）。情報提示制御部３２は、抽出した各分割領域の特徴量と、図６に示した第１の閾値（Ｈｉｇｈ）及び第２の閾値（Ｌｏｗ）とを比較し、抽出した各分割領域の特徴量が、いずれかの閾値を超えたか否かを判別する（ステップＳ１２）。
【0084】
抽出した各分割領域の特徴量が、いずれかの閾値を超えたと判別した場合（ステップＳ１２：Ｙｅｓ）、潜在危険判定部３１は、車速センサ２１で検出された車両の走行速度（自車速度）を取得する（ステップＳ１３）。潜在危険判定部３１は、ステップＳ１４において、取得された車両の走行速度が、例えば時速３０ｋｍ等の走行速度用の閾値を超えたか否かを判別する。
【0085】
各分割領域の特徴量がいずれかの閾値を超えており（ステップＳ１２：Ｙｅｓ）、かつ、車両の走行速度が走行速度用の閾値を超えている場合（ステップＳ１４：Ｙｅｓ）、歩行者又は他の車両等の飛び出しに注意する必要がある。このため、情報提示制御部３２は、ステップＳ１５において、「かもしれない運転」を勧める運転支援情報の提示を行う。
【0086】
図２５は、「かもしれない運転」を勧める運転支援情報の提示例を示す図である。図２５（ａ）に示すように情報取得画面の左側の分割領域の予測誤差が閾値を上回る値を示している場合、情報取得画面の右側の領域は、運転者が見落とし易くなっていることを示し、歩行者又は他の車両の飛び出し等に対する対処が遅れがちとなる。このため、情報提示制御部３２は、図２５（ｂ）に示すように、情報提示部５の画像提示画面に対して、例えば「徐行しましょう」等の「かもしれない運転」を勧める運転支援情報を提示する。これにより、運転者は、車両の走行速度を減速操作し、歩行者又は他の車両の飛び出し等に注意しながら走行を継続する。
【0087】
これに対して、図２４のフローチャートにおいて、各分割領域の特徴量がいずれかの閾値を超えているが（ステップＳ１２：Ｙｅｓ）、車両の走行速度が走行速度用の閾値を超えていない場合（ステップＳ１４：Ｎｏ）、これは、低速度で車両が走行しており、歩行者又は他の車両の飛び出し等に注意しながら車両が走行操作されていることを意味する。
【0088】
この場合、情報提示制御部３２は、ステップＳ１６において、「かもしれない運転」を褒める運転支援情報の提示を行う。図２６が、この「かもしれない運転」を褒める運転支援情報の提示例を示す図である。図２６（ａ）に示すように情報取得画面の左側の分割領域の予測誤差が閾値を上回る値を示している場合、情報取得画面の右側の領域は、運転者が見落とし易くなっていることを示し、歩行者又は他の車両の飛び出し等に対する対処が遅れがちとなる。
【0089】
しかし、このような場合でも車両を徐行させていれば、事故を未然に防止可能である。このため、情報提示制御部３２は、図２６（ｂ）に示すように、例えば「適切な徐行ができています」等の、「かもしれない運転」を褒める運転支援情報を情報提示部５の画像提示画面に提示する。これにより、運転者は、現在の車両の走行操作が、正しい走行操作であることを認識でき、引き続き歩行者又は他の車両の飛び出し等に注意しながら車両を走行操作する。これにより、運転者及び周囲の歩行者等に対する安全を確報できる。
【0090】
（第２の実施の形態の効果）
以上の説明から明らかなように、第２の実施の形態の運転支援装置は、特徴量と共に、車両の走行速度を検出して運転支援情報の提示を行う。これにより、車速に応じて提示する運転支援情報を変更でき、車速に応じた適切な運転支援情報を提示できる他、上述の第１の実施の形態と同様の効果を得ることができる。
以上の説明から明らかなように、第２の実施の形態の運転支援装置は、特徴量と共に、車両の走行速度を検出して運転支援情報の提示を行う。これにより、車速に応じて提示する運転支援情報を変更でき、車速に応じた適切な運転支援情報を提示できる他、上述の第１の実施の形態と同様の効果を得ることができる。
【0091】
［第３の実施の形態］
次に、第３の実施の形態の運転支援装置の説明をする。この第３の実施の形態の運転支援装置は、車両の走行速度に応じて例えば制動制御を行うと共に、制御内容を運転支援情報として提示する例である。なお、上述の第２の実施の形態と以下に説明する第３の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
次に、第３の実施の形態の運転支援装置の説明をする。この第３の実施の形態の運転支援装置は、車両の走行速度に応じて例えば制動制御を行うと共に、制御内容を運転支援情報として提示する例である。なお、上述の第２の実施の形態と以下に説明する第３の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
【0092】
図２７は、第３の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。この図２７に示すように、第３の実施の形態の運転支援装置の場合、潜在危険判定部３１が、車外カメラ部２３により撮像された前方画像と共に、図２に示す車速センサ２１で検出された車両の走行速度（自車速度）を取得する。そして、潜在危険判定部３１が、車速センサ２１から取得した車両の走行速度（自車速度）が所定の閾値（移動速度用閾値の一例）上回る走行速度である場合、この検出結果を車両制御部６に通知することで、車両制御部６が車両の制動制御等を行い、情報提示制御部３２が制動制御を行った旨の運転支援情報を提示する構成となっている。
【0093】
図２８は、第３の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。このフローチャートにおいて、潜在危険判定部３１は、上述と同様に、車両前方の撮像画像に基づいて、分割領域毎に予測誤差等の特徴量を抽出する（ステップＳ２１）。情報提示制御部３２は、抽出した各分割領域の特徴量と、図６に示した第１の閾値（Ｈｉｇｈ）及び第２の閾値（Ｌｏｗ）とを比較し、抽出した各分割領域の特徴量が、いずれかの閾値を超えたか否かを判別する（ステップＳ２２）。
【0094】
抽出した各分割領域の特徴量が、いずれかの閾値を超えたと判別した場合（ステップＳ２２：Ｙｅｓ）、潜在危険判定部３１は、車速センサ２１で検出された車両の走行速度（自車速度）を取得する（ステップＳ２３）。潜在危険判定部３１は、ステップＳ２４において、取得された車両の走行速度が、例えば時速３０ｋｍ等の走行速度用の閾値を超えたか否かを判別し、この判別結果を車両制御部６に通知する。
【0095】
車両制御部６は、車両の走行速度が走行速度用の閾値を超えていることを示す判別結果が潜在危険判定部３１から得られた場合、ステップＳ２５において、車両のブレーキを自動操作し又はアクセルペダルを自動で戻す操作を行い、車両の減速制御を行う。
【0096】
このような減速制御が行われると、情報提示制御部３２は、ステップＳ２６において、減速制御を行ったことを示す運転支援情報を情報提示部５の画像提示画面に提示する。図２９は、このような減速制御を行ったことを示す運転支援情報の提示例を示す図である。図２９（ａ）は、情報取得画面の右側の領域は予測誤差の値が大きく、運転者が無意識に注意できており、反対側の左側の領域は、注意できていない状況を示している。
【0097】
このような状況において、車両の走行速度が走行速度用の閾値を超えている場合、左側の領域からの歩行者又は他の車両の飛び出しに対処困難となるため、車両制御部６は、車両のブレーキを自動操作し又はアクセルペダルを自動で戻す操作を行い、車両を減速制御する。
【0098】
また、このような車両の減速制御が行われると、運転者は、意図しない車両の減速制御により、車両の故障等と勘違いするおそれがある。このため、情報提示制御部３２は、図２９（ｂ）に示すように、例えば「徐行します」等の、制動制御を行ったことを示す運転支援情報を、情報提示部５の画像提示画面に提示する。これにより、運転者は、走行速度が速いため、自動で減速制御が行われることを認識でき、車両の故障等として勘違いする不都合を防止できる。
【0099】
なお、一例として、車両の制動制御を行う場合を説明したが、この他、ハンドルの自動操作による走行レーンの調整制御、及び、ウインカー操作等の車両の他の動作制御を行ってもよい。
【0100】
（第３の実施の形態の効果）
以上の説明から明らかなように、第３の実施の形態の運転支援装置は、特徴量と共に、車両情報（走行速度など）を検出し、例えば、走行速度が閾値を超えていた場合に、車両を自動で制動制御する。また、情報提示制御部３２は、制動制御を行ったことを示す運転支援情報を情報提示部５の画像提示画面に提示する。これにより、強制的に車両を制動制御して、運転者が見落とし易い領域からの歩行者又は他の車両の飛び出し等に備えることができ、安全を確保できる他、上述の第１の実施の形態及び第２の実施の形態と同様の効果を得ることができる。
以上の説明から明らかなように、第３の実施の形態の運転支援装置は、特徴量と共に、車両情報（走行速度など）を検出し、例えば、走行速度が閾値を超えていた場合に、車両を自動で制動制御する。また、情報提示制御部３２は、制動制御を行ったことを示す運転支援情報を情報提示部５の画像提示画面に提示する。これにより、強制的に車両を制動制御して、運転者が見落とし易い領域からの歩行者又は他の車両の飛び出し等に備えることができ、安全を確保できる他、上述の第１の実施の形態及び第２の実施の形態と同様の効果を得ることができる。
【0101】
［第４の実施の形態］
次に、第４の実施の形態の運転支援装置の説明をする。この第４の実施の形態の運転支援装置は、運転者の視線の滞留時間も考慮して、提示する運転支援情報を変更する例である。なお、上述の第１の実施の形態と以下に説明する第４の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
次に、第４の実施の形態の運転支援装置の説明をする。この第４の実施の形態の運転支援装置は、運転者の視線の滞留時間も考慮して、提示する運転支援情報を変更する例である。なお、上述の第１の実施の形態と以下に説明する第４の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
【0102】
図３０は、第４の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。この図３０に示すように、第４の実施の形態の運転支援装置の場合、潜在危険判定部３１が、車外カメラ部２３により撮像された前方画像と共に、図２に示すドライバカメラ部２４により撮像された、運転者の顔画像を取得する構成となっている。
【0103】
図３１は、第４の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。このフローチャートにおいて、潜在危険判定部３１は、上述と同様に、車両前方の撮像画像に基づいて、分割領域毎に予測誤差等の特徴量を抽出する（ステップＳ６１）。情報提示制御部３２は、抽出した各分割領域の特徴量と、図６に示した第１の閾値（Ｈｉｇｈ）及び第２の閾値（Ｌｏｗ）とを比較し、抽出した各分割領域の特徴量が、いずれかの閾値を超えたか否かを判別する（ステップＳ６２）。
【0104】
抽出した各分割領域の特徴量が、いずれかの閾値を超えたと判別した場合（ステップＳ６２：Ｙｅｓ）、潜在危険判定部３１は、視線検出部として機能し、ドライバカメラ部２４により撮像された運転者の顔画像を取得する（ステップＳ６３）。潜在危険判定部３１は、取得された運転者の顔画像に基づいて、情報取得画面のうち、運転者の視線が滞留している位置及び滞留時間を検出する。そして、潜在危険判定部３１は、閾値を超えた予測誤差を有する分割領域に対する、運転者の視線の滞留時間が、滞留時間用閾値を上回るか否かを判別する（ステップＳ６４）。
【0105】
予測誤差等の特徴量が大きな分割領域であり（ステップＳ６２：Ｙｅｓ）、かつ、その分割領域に対する視線の滞留時間が滞留時間用閾値を上回るということは（ステップＳ６４：Ｙｅｓ）、その分割領域に対する運転者の視線が固定された状態で、偏った注意となっていることを意味する。このため、情報提示制御部３２は、歩行者又は他の車両の飛び出し等にも対処可能なように、図２５（ｂ）に例示した「徐行しましょう」等の徐行を勧めるメッセージを運転支援情報として情報提示部５の画像提示画面に提示し、「かもしれない運転」を運転者に対して勧める（ステップＳ６５）。これにより、運転者の偏った注意を、情報取得画面全体の領域を注意する状態に戻すことができ、歩行者又は他の車両の飛び出し等にも対処可能として、安全を確保できる。
【0106】
これに対して、予測誤差等の特徴量が大きな分割領域ではあるが（ステップＳ６２：Ｙｅｓ）、その分割領域に対する視線の滞留時間が滞留時間用閾値を超えないということは（ステップＳ６４：Ｎｏ）、運転者は、他の領域に対しても注意していることを意味する。このため、情報提示制御部３２は、図２６（ｂ）に例示したように「適切な徐行ができています」等の、「かもしれない運転」ができていることを褒めるメッセージを、運転支援情報として情報提示部５の画像提示画面に提示する（ステップＳ６６）。これにより、運転者の安全運転に対するモチベーションを向上させることができ、安全を確保できる。
【0107】
本実施の形態で用いた、第１の閾値（Ｈｉｇｈ）および第２の閾値（Ｌｏｗ）は、どちらか一方のみでもよいし、３段階以上の閾値を設けてもよい。
【0108】
（第４の実施の形態の効果）
以上の説明から明らかなように、第４の実施の形態の運転支援装置は、特徴量と共に、運転者の視線の滞留時間を検出して運転支援情報の提示を行う。これにより、運転者の視線の滞留時間に応じて提示する運転支援情報を変更でき、適切な運転支援情報を提示できる他、上述の各実施の形態と同様の効果を得ることができる。
以上の説明から明らかなように、第４の実施の形態の運転支援装置は、特徴量と共に、運転者の視線の滞留時間を検出して運転支援情報の提示を行う。これにより、運転者の視線の滞留時間に応じて提示する運転支援情報を変更でき、適切な運転支援情報を提示できる他、上述の各実施の形態と同様の効果を得ることができる。
【0109】
［第５の実施の形態］
次に、第５の実施の形態の運転支援装置の説明をする。上述の各実施の形態の運転支援装置では、各分割領域の特徴量として予測誤差を用いることとした。これに対して、第５の実施の形態の運転支援装置は、各分割領域の特徴量として顕著性マップを用いる例である。なお、上述の各実施の形態と以下に説明する第５の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
次に、第５の実施の形態の運転支援装置の説明をする。上述の各実施の形態の運転支援装置では、各分割領域の特徴量として予測誤差を用いることとした。これに対して、第５の実施の形態の運転支援装置は、各分割領域の特徴量として顕著性マップを用いる例である。なお、上述の各実施の形態と以下に説明する第５の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
【0110】
図３２は、第５の実施の形態の運転支援装置が顕著性マップに基づいて運転支援情報を提示するまでの流れを示す模式図である。この場合、潜在危険判定部３１は、車外カメラ部２３で撮像された撮像画像に写っている人間及び物体等のエッジ部（輪郭部）を、例えば輝度データに基づいて抽出する。そして、潜在危険判定部３１は、撮像画像上の各領域における、エッジ部の含有量を示す顕著性マップを生成する。また、潜在危険判定部３１は、この顕著性マップの全領域を、上述のように例えば２５個の分割領域に分割し、エッジ部を含有する割合が所定の顕著性用閾値を上回る分割領域を、潜在認識領域として検出した注意予測マップを生成する。
【0111】
エッジ部の含有量が顕著性用閾値を上回る分割領域は、運転者が無意識に注意している領域である。このため、情報提示制御部３２は、上述と同様に、エッジ部の含有量が顕著性用閾値を上回る分割領域に対する相対領域に対して運転者の注意を促す運転支援情報を、情報提示部５の画像提示画面に提示する。
【0112】
これにより、運転者が無意識に注意している領域以外の、運転者が見落とし易い領域に対する注意を喚起することができ、車両の周囲の状況に応じた適格な運転支援情報の提示を行うことができる等、上述の各実施の形態と同様の効果を得ることができる。
【0113】
［第６の実施の形態］
次に、第６の実施の形態の運転支援装置の説明をする。上述の各実施の形態の運転支援装置では、各分割領域の特徴量として予測誤差又は顕著性マップを用いることとした。これに対して、第６の実施の形態の運転支援装置は、各分割領域の特徴量として予測誤差及びエッジ部の含有量（顕著性）の両方を用いる例である。なお、上述の各実施の形態と以下に説明する第６の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
次に、第６の実施の形態の運転支援装置の説明をする。上述の各実施の形態の運転支援装置では、各分割領域の特徴量として予測誤差又は顕著性マップを用いることとした。これに対して、第６の実施の形態の運転支援装置は、各分割領域の特徴量として予測誤差及びエッジ部の含有量（顕著性）の両方を用いる例である。なお、上述の各実施の形態と以下に説明する第６の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
【0114】
図３３は、第６の実施の形態の運転支援装置が予測誤差及び顕著性マップに基づいて運転支援情報を提示するまでの流れを示す模式図である。また、図３４は、第６の実施の形態の運転支援装置における、予測誤差及び顕著性マップに基づく運転支援情報の提示動作の流れを示すフローチャートである。
【0115】
まず、図３４のフローチャートのステップＳ４１～ステップＳ４４では、図１０のフローチャートを用いて説明したように、潜在危険判定部３１が、車外カメラ部２３の撮像画像に基づいて、分割領域毎に予測誤差（第１の特徴量）を検出する。同様に、ステップＳ４５～ステップＳ４８では、潜在危険判定部３１が、車外カメラ部２３の撮像画像に基づいて、分割領域毎にエッジ部の含有量（顕著性：第２の特徴量）を検出する。
【0116】
ステップＳ４９～ステップＳ５１では、潜在危険判定部３１が、図３３に示すように、予測誤差が所定の閾値よりも大きく、かつ、エッジ部の含有量（顕著性）が所定の閾値よりも大きな分割領域を潜在認識領域として検出して、注意予測マップを生成する。予測誤差及び顕著性の両方を用いて潜在認識領域を検出することで、より正確に潜在認識領域を検出できる。
【0117】
ステップＳ５２では、潜在危険判定部３１が、このような潜在認識領域の検出処理を、２５個の全分割領域に対して完了したか否かを判別する。２５個の全分割領域に対する潜在認識領域の検出処理が完了していない場合は、ステップＳ５３で、潜在認識領域の検出処理を行う分割領域の番号を一つインクリメントして、ステップＳ４２に処理を戻す。
【0118】
これに対して、２５個の全分割領域に対する潜在認識領域の検出処理が完了した場合は、処理がステップＳ５４に進む。ステップＳ５４では、情報提示制御部３２が、情報取得画面の右側の領域に位置する潜在認識領域の数、及び、情報取得画面の左側の領域に位置する潜在認識領域の数をそれぞれカウントする。また、情報提示制御部３２は、ステップＳ５５で、情報取得画面の右側の領域に位置する潜在認識領域の数が、情報取得画面の左側の領域に位置する潜在認識領域の数よりも多いか否かを判別する。
【0119】
そして、情報提示制御部３２は、情報取得画面の右側の領域に位置する潜在認識領域の数が、情報取得画面の左側の領域に位置する潜在認識領域の数よりも多いと判別した場合（ステップＳ５５：Ｙｅｓ）、ステップＳ５６において、情報取得画面の左側の領域に対する注意を喚起する運転支援情報の提示を行う。
【0120】
これに対して、情報提示制御部３２は、情報取得画面の右側の領域に位置する潜在認識領域の数が、情報取得画面の左側の領域に位置する潜在認識領域の数よりも少ないと判別した場合（ステップＳ５５：Ｎｏ）、ステップＳ５７において、情報取得画面の右側の領域に対する注意を喚起する運転支援情報の提示を行う。
【0121】
これにより、運転者が無意識に注意している領域に対する相対的な領域に対して、運転者の注意を喚起でき、安全を確保できる等、上述の各実施の形態の同様の効果を得ることができる。また、この第６の実施の形態の場合、予測誤差及びエッジ部の含有量（顕著性）の両方を用いて潜在認識領域を検出しているため、より正確に潜在認識領域を検出できる。
【0122】
［第７の実施の形態］
次に、第７の実施の形態の運転支援装置の説明をする。上述の第６の実施の形態の運転支援装置は、各分割領域の特徴量として予測誤差及び顕著性の両方を用いて潜在認識領域を検出した例であった。これに対して、第７の実施の形態の運転支援装置は、予測誤差及び運転者の視線の滞留時間に基づいて運転支援情報を提示する例である。なお、上述の各実施の形態と以下に説明する第７の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
次に、第７の実施の形態の運転支援装置の説明をする。上述の第６の実施の形態の運転支援装置は、各分割領域の特徴量として予測誤差及び顕著性の両方を用いて潜在認識領域を検出した例であった。これに対して、第７の実施の形態の運転支援装置は、予測誤差及び運転者の視線の滞留時間に基づいて運転支援情報を提示する例である。なお、上述の各実施の形態と以下に説明する第７の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
【0123】
図３５は、第７の実施の形態の運転支援装置が予測誤差及び視線の滞留時間に基づいて運転支援情報を提示するまでの流れを示す模式図である。この場合、潜在危険判定部３１は、車外カメラ部２３の撮像画像に基づいて、分割領域毎に予測誤差を検出する。また、潜在危険判定部３１は、ドライバカメラ部２４で撮像された運転者の顔の撮像画像に基づいて、各分割領域に対する運転者の視線の滞留時間を検出する。
【0124】
そして、潜在危険判定部３１は、各分割領域のうち、予測誤差が所定の閾値未満であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域を示す注意予測マップを生成する。予測誤差が所定の閾値未満の分割領域であり、その分割領域に対する運転者の視線の滞留時間が所定の閾値を上回るということは、運転者が、見落とし易い領域を注意することなく見ている状態を意味する。
【0125】
このため、情報提示制御部３２は、予測誤差が所定の閾値未満であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域に対して注意を喚起する運転支援情報を、情報提示部５の画像提示画面に提示する。これにより、予測誤差が所定の閾値未満であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域に対して運転者の注意を喚起でき、安全を確保できる等、上述の各実施の形態の同様の効果を得ることができる。
【0126】
［第８の実施の形態］
次に、第８の実施の形態の運転支援装置の説明をする。上述の第７の実施の形態の運転支援装置は、予測誤差及び運転者の視線の滞留時間を用いて運転支援情報を提示する例であった。これに対して、以下に説明する第８の実施の形態の運転支援装置は、顕著性及び運転者の視線の滞留時間を用いて運転支援情報を提示する例である。なお、上述の各実施の形態と以下に説明する第８の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
次に、第８の実施の形態の運転支援装置の説明をする。上述の第７の実施の形態の運転支援装置は、予測誤差及び運転者の視線の滞留時間を用いて運転支援情報を提示する例であった。これに対して、以下に説明する第８の実施の形態の運転支援装置は、顕著性及び運転者の視線の滞留時間を用いて運転支援情報を提示する例である。なお、上述の各実施の形態と以下に説明する第８の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
【0127】
図３６は、第８の実施の形態の運転支援装置が顕著性及び視線の滞留時間に基づいて運転支援情報を提示するまでの流れを示す模式図である。この場合、潜在危険判定部３１は、車外カメラ部２３の撮像画像に基づいて、分割領域毎に上述のエッジ部の含有量である顕著性を検出する。また、潜在危険判定部３１は、ドライバカメラ部２４で撮像された運転者の顔の撮像画像に基づいて、各分割領域に対する運転者の視線の滞留時間を検出する。
【0128】
そして、潜在危険判定部３１は、各分割領域のうち、エッジ部の含有量が所定の閾値未満であり（顕著性小）、かつ、視線の滞留時間が所定の閾値を上回る分割領域を示す注意予測マップを生成する。顕著性が「小」の分割領域であり、その分割領域に対する運転者の視線の滞留時間が所定の閾値を上回るということは、運転者が、見落とし易い領域を注意することなく見ている状態を意味する。
【0129】
このため、情報提示制御部３２は、顕著性が「小」であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域に対して注意を喚起する運転支援情報を、情報提示部５の画像提示画面に提示する。これにより、予測誤差が所定の閾値未満であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域に対して運転者の注意を喚起でき、安全を確保できる等、上述の各実施の形態の同様の効果を得ることができる。
【0130】
以上、本開示の実施の形態を説明したが、これらの実施の形態は一例であり、発明の範囲を限定することは意図していない。これら実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0131】
１ 運転支援装置
２ 検出デバイス
３ 制御部
４ 記憶部
５ 情報提示部
６ 車両制御部
２１ 車速センサ
２２ ＧＰＳセンサ
２３ 車外カメラ部
２４ ドライバカメラ部
２５ マイクロホン部
３１ 潜在危険判定部
３２ 情報提示制御部
２ 検出デバイス
３ 制御部
４ 記憶部
５ 情報提示部
６ 車両制御部
２１ 車速センサ
２２ ＧＰＳセンサ
２３ 車外カメラ部
２４ ドライバカメラ部
２５ マイクロホン部
３１ 潜在危険判定部
３２ 情報提示制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】