知財求人 - 知財ポータルサイト「IP Force」
特許7661625運転支援装置、路車間運転支援システム、運転支援方法、および運転支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-04
(45)【発行日】2025-04-14
(54)【発明の名称】運転支援装置、路車間運転支援システム、運転支援方法、および運転支援プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20250407BHJP
【ＦＩ】
G08G1/16 A
【請求項の数】
9
(21)【出願番号】P 2024521503
(86)(22)【出願日】2022-05-20
(86)【国際出願番号】 JP2022020904
(87)【国際公開番号】W WO2023223524
(87)【国際公開日】2023-11-23
【審査請求日】2024-04-25
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】常道 大智
(72)【発明者】
【氏名】渡邉 信太郎
【審査官】増子 真
(56)【参考文献】
【文献】特開２０２１－１３５６９４（ＪＰ，Ａ）
【文献】特開２０２１－０５１６０４（ＪＰ，Ａ）
【文献】特開２０２０－１２６４７８（ＪＰ，Ａ）
【文献】特開２００４－３５５３２４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
Ｂ６０Ｗ １０／００ － １０／３０
Ｂ６０Ｗ ３０／００ － ６０／００
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出する視線情報算出部と、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出する対象物情報算出部と、
その算出された視線情報とその抽出された対象物情報とから、現在時刻から過去一定時間範囲内の時間区間において、各時刻において前記対象者が前記対象物を視認する度合いの高さを示す各時刻の視認度を算出し、現在時刻から過去の各時刻までの時間経過に応じた補正係数を乗じることにより、算出された視認度を補正し、前記対象物の状態変化に応じた補正係数を乗じることにより、補正された視認度を再補正し、再補正された視認度に基づいて現在時刻に対応付けられた視認度を算出する視認度算出部と、
前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出する衝突可能性算出部と、
その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出する実効衝突可能性算出部と、
を備える運転支援装置。
【請求項2】
少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出する視線情報算出部と、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出する対象物情報算出部と、
その算出された視線情報とその抽出された対象物情報とから、前記対象者がその検出された対象物を視認する度合いの高さを示す視認度を算出する視認度算出部と、
前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出する衝突可能性算出部と、
その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出する実効衝突可能性算出部と、
を備え、
前記視認度算出部は、予め定められたタイミングで前記車両から前記対象物へ向かう対象ベクトルの方向と前記対象者の視線ベクトルの方向との方向一致度を算出し、
現在時刻から過去一定時間内の各時刻の方向一致度に重みを付与することにより、重みが付与された方向一致度を算出し、
計測時間内に前記対象物について状態または運動の変化が生じた場合、その変化の発生時刻以前のその算出され重みが付与された方向一致度に係数を掛けることにより、補正された補正方向一致度を算出し、
その算出され重みが付与された方向一致度またはその算出された補正方向一致度の和を算出することにより前記視認度を算出する、
運転支援装置。
【請求項3】
その算出された実効衝突可能性に応じて前記対象者に対して行う警告の内容を判定して、警告装置による警告動作を制御する警告部を更に備える、請求項１または２に記載された運転支援装置。
【請求項4】
前記車両に搭載されている制御システムから、車速、ステアリング制御情報およびペダル制御情報のうちの少なくとのいずれか１つを車両情報として取得する車両情報取得部を更に備え、前記衝突可能性算出部は、前記抽出された対象物情報およびその取得された車両情報に基づいて、前記衝突可能性を算出する、
請求項１または２に記載された運転支援装置。
【請求項5】
前記対象物情報算出部は、前記検出された対象物の種別を示す種別情報と、状態を示す状態情報または運動を示す運動情報とを算出する、請求項１または２に記載された運転支援装置。
【請求項6】
前記衝突可能性算出部は、その算出された種別情報に応じて、その算出された状態情報または運動情報の少なくとも一つに基づいて前記衝突可能性を算出する、請求項５に記載された運転支援装置。
【請求項7】
請求項１または２に記載された運転支援装置と、前記運転支援装置と通信可能な路側システムとを備えた路車間運転支援システムであって、
前記路側システムは、前記対象物または前記対象物と異なる前記車両の周辺に存在する他の対象物の情報を前記運転支援装置に送信し、
前記運転支援装置の前記対象物情報算出部は、前記車外映像と、その送信された情報とに基づいて前記対象物情報を抽出する、
路車間運転支援システム。
【請求項8】
視線情報算出部、対象物情報算出部、視認度算出部、衝突可能性算出部、および実効衝突可能性算出部を備える運転支援装置が行う運転支援方法であって、前記視線情報算出部が、少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出するステップと、
前記対象物情報算出部が、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出するステップと、
前記視認度算出部が、その算出された視線情報とその抽出された対象物情報とから、現在時刻から過去一定時間範囲内の時間区間において、各時刻において前記対象者が前記対象物を視認する度合いの高さを示す各時刻の視認度を算出し、現在時刻から過去の各時刻までの時間経過に応じた補正係数を乗じることにより、算出された視認度を補正し、前記対象物の状態変化に応じた補正係数を乗じることにより、補正された視認度を再補正し、再補正された視認度に基づいて現在時刻に対応付けられた視認度を算出するステップと、
前記衝突可能性算出部が、前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出するステップと、
前記実効衝突可能性算出部が、その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出するステップと、
を備える運転支援方法。
【請求項9】
少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出するステップと、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出するステップと、
その算出された視線情報とその抽出された対象物情報とから、現在時刻から過去一定時間範囲内の時間区間において、各時刻において前記対象者が前記対象物を視認する度合いの高さを示す各時刻の視認度を算出し、現在時刻から過去の各時刻までの時間経過に応じた補正係数を乗じることにより、算出された視認度を補正し、前記対象物の状態変化に応じた補正係数を乗じることにより、補正された視認度を再補正し、再補正された視認度に基づいて現在時刻に対応付けられた視認度を算出するステップと、
前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出するステップと、
その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出するステップと、
をコンピュータに実行させる運転支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は運転支援技術に関する。
【背景技術】
【0002】
特許文献１には、車両の運転者の視線の方向と、前記車両の周囲に存在する一以上の対象物の情報とに基づいて、前記一以上の対象物の各々に対する前記運転者の視認度合いである第１視認度を算出する視認度算出部と、前記一以上の対象物の各々の状態と前記車両の状態とに基づいて、前記一以上の対象物の各々に対する前記車両の接触可能性を示す危険度を算出する危険度算出部と、前記一以上の対象物の中の第１対象物の第１視認度が第１閾値未満である場合、表示部に前記第１対象物と関連づけて第１警告情報を表示させ、前記第１視認度が第１閾値以上である場合、前記第１警告情報を非表示にさせる表示制御部と、を備え、前記表示制御部は、前記第１警告情報が前記表示部に表示されておらず、前記第１対象物の危険度が第２閾値以上である場合、前記第１対象物に対する第２警告情報を前記第１対象物と関連付けて前記表示部に表示させることを特徴とする運転支援装置が開示されている。
【0003】
このように、特許文献１の運転支援装置によれば、表示制御部は、第１対象物の第１視認度が第１閾値未満であるか否かを判定して第１警告情報の表示制御を行った後、第１警告情報が表示されていない状態において第１対象物の危険度が第２閾値以上である場合に、第２警告情報を表示する表示制御を行う。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－１６６５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１の運転支援装置のように、視認度についての評価を行ったことを前提として危険度を追加的に評価する構成によれば、視認度と危険度（衝突可能性）を同時に評価して警告を行うことができないという問題点がある。
【0006】
本開示は、このような問題点を解決するためになされたものであり、視認度と衝突可能性を同時に評価して警告を行うことができる運転支援技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の実施形態による運転支援装置の一側面は、少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出する視線情報算出部と、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出する対象物情報算出部と、その算出された視線情報とその抽出された対象物情報とから、前記対象者がその検出された対象物を視認する度合いの高さを示す視認度を算出する視認度算出部と、前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出する衝突可能性算出部と、その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出する実効衝突可能性算出部と、を備える。
【発明の効果】
【0008】
本開示の実施形態による運転支援装置の一側面によれば、視認度と危険度を同時に評価して警告を行うことができる。
【図面の簡単な説明】
【0009】
【図1】本開示の実施の形態１による運転支援装置および運転支援システムを表すブロック図である。
【図2】本開示の実施の形態１による運転支援を行うための動作を説明するフローチャートである。
【図3】本開示の実施の形態２による運転支援装置および運転支援システムを表すブロック図である。
【図4】本開示の実施の形態１および２による運転支援装置および運転支援システムに関る実効衝突可能性の考え方を説明するための具体例を示す図である。
【図5】本開示の実施の形態３による路側装置を備える路側システムの構成例を示す図である。
【図6A】本開示の実施の形態１から３による運転支援装置および路側装置のハードウェアの構成例を示す図である。
【図6B】本開示の実施の形態１から３による運転支援装置および路側装置のハードウェアの構成例を示す図である。
【発明を実施するための形態】
【0010】
以下、添付の図面を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものであり、そのような構成要素についての重複する説明は省略する。
【0011】
実施の形態１．
＜構成＞
図１を参照して、本開示の実施の形態１による運転支援装置１および運転支援システムＳＹＳ－Ｖ１について説明する。図１は、本開示の実施の形態１による運転支援装置１および運転支援システムＳＹＳ－Ｖ１を示すブロック図である。図１に示されているように、運転支援システムＳＹＳ－Ｖ１は、視認対象物を含む車外映像と対象者を含む車内映像とを撮影する撮像装置１０と、運転支援装置１とを備える。
＜構成＞
図１を参照して、本開示の実施の形態１による運転支援装置１および運転支援システムＳＹＳ－Ｖ１について説明する。図１は、本開示の実施の形態１による運転支援装置１および運転支援システムＳＹＳ－Ｖ１を示すブロック図である。図１に示されているように、運転支援システムＳＹＳ－Ｖ１は、視認対象物を含む車外映像と対象者を含む車内映像とを撮影する撮像装置１０と、運転支援装置１とを備える。
【0012】
運転支援装置１は、一例として、撮像装置１０により撮影された映像を入力とし、視線情報と対象物情報の算出に必要な車内映像および車外映像に分類して出力するデータ入力部２０と、車内映像から対象者の視線情報を算出する視線情報算出部３０と、車外映像から車両の周辺にある対象物を検出し、前記対象物の情報を抽出する対象物情報算出部４０と、視線情報と対象物情報から時系列減衰を考慮した視認度を算出する視認度算出部５０と、対象物情報から、前記対象物の衝突可能性を算出する衝突可能性算出部６０と、視認度と衝突可能性から実効衝突可能性を算出する実効衝突可能性算出部７０と、実効衝突可能性に応じて警告の内容を判定し提示する警告部８０とを備える。運転支援装置１の全機能部が車両に搭載された装置により実現されてもよいし、運転支援装置１の一部の機能部だけが車両に搭載された装置により実現され、残りの機能部が遠隔に設けられた装置により実現されてもよい。以下、運転支援装置１が搭載される車両を装置搭載車両と称する。
【0013】
（撮像装置）
撮像装置１０は、少なくとも１つのカメラを備え、車内の対象者の顔画像を含む複数のフレーム画像を備える車内映像Ａ１と、対象者が視認すべき対象物を含む複数のフレーム画像を備える車外映像Ｂ１とを撮影し、車内映像Ａ１および車外映像Ｂ１を含む映像データを出力する。車内映像Ａ１および車外映像Ｂ１は、各映像に対応する単一のカメラを用いて個別の映像として撮影してもよいし、正確な三次元位置を計測するために各映像に対応するステレオカメラを用いて撮影してもよい。また、全天球カメラのように広範囲の撮影を可能にするカメラを用いて、車内映像Ａ１および車外映像Ｂ１を同一映像内にまとめて撮影してもよい。撮像装置１０は、運転支援装置１のデータ入力部２０に接続される。
撮像装置１０は、少なくとも１つのカメラを備え、車内の対象者の顔画像を含む複数のフレーム画像を備える車内映像Ａ１と、対象者が視認すべき対象物を含む複数のフレーム画像を備える車外映像Ｂ１とを撮影し、車内映像Ａ１および車外映像Ｂ１を含む映像データを出力する。車内映像Ａ１および車外映像Ｂ１は、各映像に対応する単一のカメラを用いて個別の映像として撮影してもよいし、正確な三次元位置を計測するために各映像に対応するステレオカメラを用いて撮影してもよい。また、全天球カメラのように広範囲の撮影を可能にするカメラを用いて、車内映像Ａ１および車外映像Ｂ１を同一映像内にまとめて撮影してもよい。撮像装置１０は、運転支援装置１のデータ入力部２０に接続される。
【0014】
（データ入力部）
データ入力部２０は、車内映像Ａ１および車外映像Ｂ１を含む映像データを、視線情報の算出に必要な車内映像Ａ１と、対象物情報の算出に必要な車外映像Ｂ１とに分類して、分類された車内映像Ａ１および車外映像Ｂ１を出力する。データ入力部２０は、視線情報算出部３０および対象物情報算出部４０に接続され、視線情報算出部３０に車内映像Ａ１を出力し、対象物情報算出部４０に車外映像Ｂ１を出力する。
データ入力部２０は、車内映像Ａ１および車外映像Ｂ１を含む映像データを、視線情報の算出に必要な車内映像Ａ１と、対象物情報の算出に必要な車外映像Ｂ１とに分類して、分類された車内映像Ａ１および車外映像Ｂ１を出力する。データ入力部２０は、視線情報算出部３０および対象物情報算出部４０に接続され、視線情報算出部３０に車内映像Ａ１を出力し、対象物情報算出部４０に車外映像Ｂ１を出力する。
【0015】
（視線情報算出部）
視線情報算出部３０は、車内映像Ａ１を入力として受け付け、受け付けた車内映像Ａ１から対象者の視線ベクトルを算出し、算出した視線ベクトルを視線情報Ｃ１として出力する。視線ベクトルの算出方法として、角膜反射像の利用に代表されるモデルベースの視線検出方法を用いてもよいし、機械学習によるアピアランスベースの方法を用いてもよい。視線情報算出部３０は視認度算出部５０に接続される。
視線情報算出部３０は、車内映像Ａ１を入力として受け付け、受け付けた車内映像Ａ１から対象者の視線ベクトルを算出し、算出した視線ベクトルを視線情報Ｃ１として出力する。視線ベクトルの算出方法として、角膜反射像の利用に代表されるモデルベースの視線検出方法を用いてもよいし、機械学習によるアピアランスベースの方法を用いてもよい。視線情報算出部３０は視認度算出部５０に接続される。
【0016】
（対象物情報算出部）
対象物情報算出部４０は、車外映像Ｂ１を入力として受け付け、受け付けた車外映像Ｂ１から適切な運転を行う上で視認が必要な対象物を検出し、検出した対象物に関する情報である対象物情報Ｄ１を出力する。対象物情報Ｄ１として、対象物が信号機であれば「固定指示器」、対象物が自動車または歩行者であれば「運動物体」のように、対象物の種別を表す種別情報を用いてもよい。対象物が固定指示器の場合、対象物情報Ｄ１は、対象物の位置を示す位置情報、対象物の検出サイズを示すサイズ情報、およびＬＥＤ（Light Emitting Diode）の点灯形態に代表される状態情報を更に含んでもよい。他方、対象物が運動物体の場合、対象物情報Ｄ１は、対象物の位置を示す位置情報、対象物の検出サイズを示すサイズ情報、並びに対象物の進行方向および速度を示す時系列変化情報（運動情報）を更に含んでもよい。対象物情報算出部４０は視認度算出部５０および衝突可能性算出部６０に接続され、両者に対して対象物情報Ｄ１を出力する。
対象物情報算出部４０は、車外映像Ｂ１を入力として受け付け、受け付けた車外映像Ｂ１から適切な運転を行う上で視認が必要な対象物を検出し、検出した対象物に関する情報である対象物情報Ｄ１を出力する。対象物情報Ｄ１として、対象物が信号機であれば「固定指示器」、対象物が自動車または歩行者であれば「運動物体」のように、対象物の種別を表す種別情報を用いてもよい。対象物が固定指示器の場合、対象物情報Ｄ１は、対象物の位置を示す位置情報、対象物の検出サイズを示すサイズ情報、およびＬＥＤ（Light Emitting Diode）の点灯形態に代表される状態情報を更に含んでもよい。他方、対象物が運動物体の場合、対象物情報Ｄ１は、対象物の位置を示す位置情報、対象物の検出サイズを示すサイズ情報、並びに対象物の進行方向および速度を示す時系列変化情報（運動情報）を更に含んでもよい。対象物情報算出部４０は視認度算出部５０および衝突可能性算出部６０に接続され、両者に対して対象物情報Ｄ１を出力する。
【0017】
（視認度算出部）
視認度算出部５０は、対象者の視線情報Ｃ１および対象物情報Ｄ１を入力として受け付け、受け付けた視線情報Ｃ１および対象物情報Ｄ１を用いて各対象への視認度Ｅ１を算出し、算出した視認度Ｅ１を出力する。視認度Ｅ１は、対象者が検出された対象物を視認する度合いの高さを示す指標である。視認度算出部５０は、視認度Ｅ１を、例えば以下のようにして算出する。
視認度算出部５０は、対象者の視線情報Ｃ１および対象物情報Ｄ１を入力として受け付け、受け付けた視線情報Ｃ１および対象物情報Ｄ１を用いて各対象への視認度Ｅ１を算出し、算出した視認度Ｅ１を出力する。視認度Ｅ１は、対象者が検出された対象物を視認する度合いの高さを示す指標である。視認度算出部５０は、視認度Ｅ１を、例えば以下のようにして算出する。
【0018】
まず、視認度算出部５０は、各時刻における視線ベクトルの視線単位ベクトル、および車両から対象物に向かう対象ベクトルの対象単位ベクトルを用いてベクトル間の方向一致度を算出する。方向一致度として、視線単位ベクトルと対象単位ベクトルが成す角の角度を用いてもよいし、これら２つの単位ベクトルの単位時間あたりの変位方向への２つの単位ベクトルが成す角の角度を用いてもよい。方向一致度は一定時間あたりに平滑化した指標としてもよい。
【0019】
次に、視認度算出部５０は、現在時刻から過去に向かって一定時間だけ遡り、各時刻の重みを与えた方向一致度の和を算出する。重みは現在時刻に近づくほど高くなるように設定してもよいし、非線形的な重みを与えてもよい。視認度の計測時間内に対象物の状態変化または運動の変化が観測された場合は、対象物の種別ごとに補正係数を定義し、対象物の変化が発生した時刻以前の方向一致度に補正係数を掛け、計測時間内の補正方向一致度の和をとることで視認度を算出する。対象物が信号機に代表される固定指示器の場合は、指示内容の変化が発生した時点で補正係数を定数倍で与えてもよい。対象物が自動車に代表される運動物体の場合は、視認度計測開始時の運動と現在時刻の運動との差分を算出し、差分の量に応じて動的に補正係数を定義してもよい。視認度算出部５０は実効衝突可能性算出部７０に接続される。
【0020】
（衝突可能性算出部）
衝突可能性算出部６０は、対象物情報Ｄ１を入力として受け付け、受け付けた対象物情報Ｄ１を用いて各対象物に対する衝突可能性Ｆ１を算出し、算出した衝突可能性Ｆ１を出力する。衝突可能性Ｆ１は、検出された対象物と装置搭載車両が衝突する可能性の高さを示す指標である。衝突可能性Ｆ１を算出する際に、種別情報により示される対象物の種別に応じて算出方法を変更してもよい。例えば信号機に代表される固定指示器の場合は、対象物の位置および運動情報から停止指示位置に至るまでの制限時間を計測し、制限時間に反比例する指標として衝突可能性Ｆ１を定義する。進行から停止までの指示形態の違いに応じて、制限時間に補正係数をかけてもよい。ここで、対象物の指示形態とは、一例として、信号機の色表示や道路情報板による道路における情報（渋滞、交通事故、気象など）などがある。また、運動情報とは、一例として、対象物の速度や加速度、進行方向に関する情報である。対象物が信号のような固定物であっても、車両に取り付けたカメラから見ると、相対的に動いているように見えるため、運動情報が存在する。
衝突可能性算出部６０は、対象物情報Ｄ１を入力として受け付け、受け付けた対象物情報Ｄ１を用いて各対象物に対する衝突可能性Ｆ１を算出し、算出した衝突可能性Ｆ１を出力する。衝突可能性Ｆ１は、検出された対象物と装置搭載車両が衝突する可能性の高さを示す指標である。衝突可能性Ｆ１を算出する際に、種別情報により示される対象物の種別に応じて算出方法を変更してもよい。例えば信号機に代表される固定指示器の場合は、対象物の位置および運動情報から停止指示位置に至るまでの制限時間を計測し、制限時間に反比例する指標として衝突可能性Ｆ１を定義する。進行から停止までの指示形態の違いに応じて、制限時間に補正係数をかけてもよい。ここで、対象物の指示形態とは、一例として、信号機の色表示や道路情報板による道路における情報（渋滞、交通事故、気象など）などがある。また、運動情報とは、一例として、対象物の速度や加速度、進行方向に関する情報である。対象物が信号のような固定物であっても、車両に取り付けたカメラから見ると、相対的に動いているように見えるため、運動情報が存在する。
【0021】
対象物が自動車などの運動物体の場合は、対象物の位置および運動情報から、装置搭載車両との接触に至るまでの制限時間を計測し、制限時間に反比例する指標として衝突可能性Ｆ１を定義する。さらに、対象物が運動物体の場合は、運動エネルギーを算出して運動エネルギーに比例する指標として衝突可能性Ｆ１を定義してもよい。
【0022】
このように、衝突可能性算出部６０は、対象物の種別に応じて、対象物の指示形態または運動情報の少なくとも一つを選択し、衝突可能性Ｆ１を算出する。衝突可能性算出部６０は、実効衝突可能性算出部７０に接続される。
【0023】
（実効衝突可能性算出部）
実効衝突可能性算出部７０は、視認度Ｅ１および衝突可能性Ｆ１を入力として受け付け、受け付けた視認度Ｅ１および衝突可能性Ｆ１を用いて実効衝突可能性Ｇ１を算出し、算出した実効衝突可能性Ｇ１を出力する。実効衝突可能性Ｇ１は、視認度Ｅ１の増加に応じて減少し、衝突可能性Ｆ１の増加に応じて増加する指標である。このような指標である視認度Ｅ１は、例えば式（１）のように表される。ここでＫは定数である。実効衝突可能性算出部７０は、警告部８０に接続される。
Ｇ１=Ｋ×Ｆ１/(１＋Ｅ１) （１）
実効衝突可能性算出部７０は、視認度Ｅ１および衝突可能性Ｆ１を入力として受け付け、受け付けた視認度Ｅ１および衝突可能性Ｆ１を用いて実効衝突可能性Ｇ１を算出し、算出した実効衝突可能性Ｇ１を出力する。実効衝突可能性Ｇ１は、視認度Ｅ１の増加に応じて減少し、衝突可能性Ｆ１の増加に応じて増加する指標である。このような指標である視認度Ｅ１は、例えば式（１）のように表される。ここでＫは定数である。実効衝突可能性算出部７０は、警告部８０に接続される。
Ｇ１=Ｋ×Ｆ１/(１＋Ｅ１) （１）
【0024】
この式（１）に表されているように、実効衝突可能性Ｇ１は、衝突可能性Ｆ１が一定で視認度Ｅ１が増加すれば減少する。逆に、実効衝突可能性Ｇ１は、視認度Ｅ１が一定で衝突可能性Ｆ１が増加すれば増加する。視認度Ｅ１と衝突可能性Ｆ１は、単一の式に含まれているので、同時に評価することができる。
【0025】
特許文献１のような視認度についての評価を行ったことを前提として危険度を追加的に評価する構成によれば、視認度と危険度（衝突可能性）を同時に評価して警告を行うことができないという問題点がある。これに対し、実効衝突可能性算出部７０を備える実施の形態１による構成によれば、視認度Ｅ１と衝突可能性Ｆ１を実効衝突可能性Ｇ１として同時に評価することができる。このような実効衝突可能性Ｇ１を用いることにより、視認度Ｅ１と衝突可能性Ｆ１を同時に評価した警告が可能となる。
【0026】
このような視認度Ｅ１と衝突可能性Ｆ１を同時に評価した警告を行うことにより、特許文献１の構成により招来されうるユーザの煩わしさを解消することができる。すなわち、特許文献１のように、第１対象物の第１視認度が第１閾値未満であるか否かを判定して第１警告情報の表示制御を行った後、第１警告情報が表示されていない状態において第１対象物の危険度が第２閾値以上である場合に、第２警告情報を表示する表示制御を行う構成によれば、対象物（第１対象物）の危険度が閾値（第２閾値）未満の場合、警告情報（第１警告情報）の表示をするか否かの判定は視認度（第１視認度）が閾値（第１閾値）以上か否かによりなされるので、危険度が低い対象物（すなわち、危険度が第２閾値未満である対象物。）について視認度が低い場合（すなわち、視認度が第１閾値未満である場合。）、警告表示がなされて装置のユーザは煩わしさを覚えるという問題点がある。これに対し、実効衝突可能性算出部７０を備える実施の形態１による構成によれば、視認度Ｅ１と衝突可能性Ｆ１は実効衝突可能性Ｇ１としてそれらの関係性が同時に評価されるので、衝突可能性Ｆ１がより低い対象物については、実効衝突可能性Ｇ１の閾値を満たす視認度Ｅ１がより低くなる。したがって、衝突可能性Ｆ１がより低い対象物については、それに応じた視認度Ｅ１を満たすことにより、不要な警告を抑制することができる。
【0027】
また、衝突可能性が中程度で一定の場合、もし視認度を考慮しないで衝突可能性だけで考えると、対象者（ドライバ）に実際に注意を払わせるべきか、それとも放置しておいて問題ないのかの判断が難しい。そのような場合において、衝突可能性だけでなく視認度も考慮することにより、そのような判断の難しさを解消することができる。同じ中程度の衝突可能性であっても、対象者が対象物を見ている（あるいは直前まで見ていた）場合、対象者は十分に対象物の存在を認識していると考えられるので、不必要に警告しなくてよく、対象者が自ら注意を払うことが可能である。逆に、対象者が対象物を全く見ていない場合、衝突可能性が高まる前に事前に注意を払わせる（少なくとも対象の存在を認識させる）ように警告をすればよい。実効衝突可能性算出部７０を備える実施の形態１による構成によれば、視認度Ｅ１と衝突可能性Ｆ１の両方が評価されるので、そのような判断の難しさを解消することができる。このように、同じ中程度の衝突可能性でも、車両側からのアクションを起こすかどうかの差を表現できるのが実効衝突可能性Ｇ１の指標である。実効衝突可能性Ｇ１に対する閾値判定により、まず警告を発するか発しないかを判断することが可能となる。さらに、その閾値判定で用いられる閾値以上の実効衝突可能性Ｇ１の大きさに応じて警告の強度を変えることにより、特許文献１のように異なるパラメータに対して細かく閾値の段階を設けなくても、動的な警告様態を実現することが可能となる。
【0028】
（警告部）
警告部８０は、実効衝突可能性Ｇ１を入力として受け付け、実効衝突可能性Ｇ１に基づいて不図示の警告装置による警告動作を制御するための制御情報である警告情報Ｈ１を出力する。実効衝突可能性Ｇ１が閾値よりも低い対象については警告情報Ｈ１を出力せず、実効衝突可能性が閾値以上の場合には警告情報Ｈ１を出力する。実効衝突可能性Ｇ１の大きさに応じて、警告の強度および形態を変えてもよい。さらに、警告の形態は視覚的提示形態でもよいし、音声提示形態またはその他人間の五感に働きかける提示方法をとってもよい。警告の形態が視覚的提示形態の場合、不図示の警告装置としてディスプレイが用いられる。警告の形態が音声提示形態の場合、不図示の警告装置としてスピーカが用いられる。その他、警告の提示方法に応じて、振動装置等の適当な装置が不図示の警告装置として用いられる。
警告部８０は、実効衝突可能性Ｇ１を入力として受け付け、実効衝突可能性Ｇ１に基づいて不図示の警告装置による警告動作を制御するための制御情報である警告情報Ｈ１を出力する。実効衝突可能性Ｇ１が閾値よりも低い対象については警告情報Ｈ１を出力せず、実効衝突可能性が閾値以上の場合には警告情報Ｈ１を出力する。実効衝突可能性Ｇ１の大きさに応じて、警告の強度および形態を変えてもよい。さらに、警告の形態は視覚的提示形態でもよいし、音声提示形態またはその他人間の五感に働きかける提示方法をとってもよい。警告の形態が視覚的提示形態の場合、不図示の警告装置としてディスプレイが用いられる。警告の形態が音声提示形態の場合、不図示の警告装置としてスピーカが用いられる。その他、警告の提示方法に応じて、振動装置等の適当な装置が不図示の警告装置として用いられる。
【0029】
＜動作＞
図２は、運転支援を行うための動作を説明するフローチャートである。
図２は、運転支援を行うための動作を説明するフローチャートである。
【0030】
ステップＳＴ１において、撮像装置１０は、対象者を含む車内映像Ａ１と視認対象物を含む車外映像Ｂ１とを撮影する。
【0031】
ステップＳＴ２において、データ入力部２０は、得られた映像を入力とし、視線情報と対象物情報の算出に必要な車内映像Ａ１および車外映像Ｂ１に分類して出力する。
【0032】
ステップＳＴ３において、視線情報算出部３０は、車内映像Ａ１から対象者の視線情報Ｃ１を算出する。
【0033】
ステップＳＴ４において、対象物情報算出部４０は、車外映像から車両の周辺に存在する対象物を検出し、前記対象物の情報である対象物情報Ｄ１を抽出する。
【0034】
ステップＳＴ５において、視認度算出部５０は、視線情報Ｃ１と対象物情報Ｄ１から視認度Ｅ１を算出する。視認度Ｅ１は、時系列減衰を考慮した視認度であってもよい。
【0035】
ステップＳＴ６において、衝突可能性算出部６０は、対象物情報Ｄ１から、前記対象物の衝突可能性Ｆ１を算出する。
【0036】
ステップＳＴ７において、実効衝突可能性算出部７０は、視認度Ｅ１と衝突可能性Ｆ１から実効衝突可能性Ｇ１を算出する。
【0037】
ステップＳＴ８において、警告部８０は、実効衝突可能性Ｇ１に応じて警告の内容を判定する。
【0038】
実施の形態２．
＜構成＞
図３を参照して、本開示の実施の形態２による運転支援装置２および運転支援システムＳＹＳ－Ｖ２について説明する。図３は、本開示の実施の形態２による運転支援装置２および運転支援システムＳＹＳ－Ｖ２を示すブロック図である。図３に示されているように、運転支援システムＳＹＳ－Ｖ２は、視認対象物を含む車外映像と対象者を含む車内映像を撮影する撮像装置１０と、運転支援装置２とを備える。
＜構成＞
図３を参照して、本開示の実施の形態２による運転支援装置２および運転支援システムＳＹＳ－Ｖ２について説明する。図３は、本開示の実施の形態２による運転支援装置２および運転支援システムＳＹＳ－Ｖ２を示すブロック図である。図３に示されているように、運転支援システムＳＹＳ－Ｖ２は、視認対象物を含む車外映像と対象者を含む車内映像を撮影する撮像装置１０と、運転支援装置２とを備える。
【0039】
運転支援装置２は、一例として、撮像装置１０により撮影された映像を入力とし、視線情報と対象物情報の算出に必要な車内映像および車外映像に分類して出力するデータ入力部２０と、車内映像から対象者の視線情報を算出する視線情報算出部３０と、車外映像から車両の周辺にある対象物を検出し、前記対象物の情報を抽出する対象物情報算出部４０と、視線情報と対象物情報から時系列減衰を考慮した視認度を算出する視認度算出部５０と、対象物情報から、前記対象物の衝突可能性を算出する衝突可能性算出部６０と、視認度と衝突可能性から実効衝突可能性を算出する実効衝突可能性算出部７０と、実効衝突可能性に応じて警告の内容を判定し提示する警告部８０と、装置搭載車両に搭載された制御システムから車両情報を取得する車両情報取得部９０とを備える。実施の形態１の場合と同様に、運転支援装置２の全機能部が装置搭載車両に搭載された装置により実現されてもよいし、運転支援装置２の一部の機能部だけが装置搭載車両に搭載された装置により実現され、残りの機能部が遠隔に設けられた装置により実現されてもよい。
【0040】
（撮像装置）
撮像装置１０は、少なくとも１つのカメラを備え、車内の対象者の顔画像を含む複数のフレーム画像を備える車内映像Ａ１と、対象者が視認すべき対象物を含む複数のフレーム画像を備える車外映像Ｂ１とを撮影し、車内映像Ａ１および車外映像Ｂ１を含む映像データを出力する。車内映像Ａ１および車外映像Ｂ１は、それぞれに対応する単一のカメラを用いて個別の映像として撮影してもよいし、正確な三次元位置を計測するためにそれぞれに対応するステレオカメラを用いて撮影してもよい。また、全天球カメラのように広範囲の撮影を可能にするカメラを用いて、車内映像Ａ１および車外映像Ｂ１を同一映像内にまとめて撮影してもよい。撮像装置１０は、運転支援装置１のデータ入力部２０に接続される。
撮像装置１０は、少なくとも１つのカメラを備え、車内の対象者の顔画像を含む複数のフレーム画像を備える車内映像Ａ１と、対象者が視認すべき対象物を含む複数のフレーム画像を備える車外映像Ｂ１とを撮影し、車内映像Ａ１および車外映像Ｂ１を含む映像データを出力する。車内映像Ａ１および車外映像Ｂ１は、それぞれに対応する単一のカメラを用いて個別の映像として撮影してもよいし、正確な三次元位置を計測するためにそれぞれに対応するステレオカメラを用いて撮影してもよい。また、全天球カメラのように広範囲の撮影を可能にするカメラを用いて、車内映像Ａ１および車外映像Ｂ１を同一映像内にまとめて撮影してもよい。撮像装置１０は、運転支援装置１のデータ入力部２０に接続される。
【0041】
（データ入力部）
データ入力部２０は、車内映像Ａ１および車外映像Ｂ１を含む映像データを、視線情報の算出に必要な車内映像Ａ１と、対象物情報の算出に必要な車外映像Ｂ１とに分類して、分類された車内映像Ａ１および車外映像Ｂ１を出力する。データ入力部２０は、視線情報算出部３０および対象物情報算出部４０に接続され、視線情報算出部３０に車内映像Ａ１を出力し、対象物情報算出部４０に車外映像Ｂ１を出力する。
データ入力部２０は、車内映像Ａ１および車外映像Ｂ１を含む映像データを、視線情報の算出に必要な車内映像Ａ１と、対象物情報の算出に必要な車外映像Ｂ１とに分類して、分類された車内映像Ａ１および車外映像Ｂ１を出力する。データ入力部２０は、視線情報算出部３０および対象物情報算出部４０に接続され、視線情報算出部３０に車内映像Ａ１を出力し、対象物情報算出部４０に車外映像Ｂ１を出力する。
【0042】
（車両情報取得部）
車両情報取得部９０は、装置搭載車両に搭載された制御システムから装置搭載車両の車両情報Ｉ１を取得し、取得した車両情報Ｉ１を出力する。車両情報Ｉ１として、例えば車速、ステアリング制御情報、またはペダル制御情報を取得してもよい。車両情報取得部９０は対象物情報算出部４０に接続される。
車両情報取得部９０は、装置搭載車両に搭載された制御システムから装置搭載車両の車両情報Ｉ１を取得し、取得した車両情報Ｉ１を出力する。車両情報Ｉ１として、例えば車速、ステアリング制御情報、またはペダル制御情報を取得してもよい。車両情報取得部９０は対象物情報算出部４０に接続される。
【0043】
（視線情報算出部）
視線情報算出部３０は、車内映像Ａ１を入力として受け付け、受け付けた車内映像Ａ１から対象者の視線ベクトルを算出し、算出した視線ベクトルを視線情報Ｃ１として出力する。視線ベクトルの算出方法として、角膜反射像の利用に代表されるモデルベースの視線検出方法を用いてもよいし、機械学習によるアピアランスベースの方法を用いてもよい。視線情報算出部３０は視認度算出部５０に接続される。
視線情報算出部３０は、車内映像Ａ１を入力として受け付け、受け付けた車内映像Ａ１から対象者の視線ベクトルを算出し、算出した視線ベクトルを視線情報Ｃ１として出力する。視線ベクトルの算出方法として、角膜反射像の利用に代表されるモデルベースの視線検出方法を用いてもよいし、機械学習によるアピアランスベースの方法を用いてもよい。視線情報算出部３０は視認度算出部５０に接続される。
【0044】
（対象物情報算出部）
対象物情報算出部４０は、車外映像Ｂ１および車両情報Ｉ１を入力として受け付け、受け付けた車外映像Ｂ１および車両情報Ｉ１から適切な運転を行う上で視認が必要な対象物を検出し、検出した対象物に関する情報である対象物情報Ｄ１および車両情報Ｉ１を出力する。対象物情報Ｄ１として、対象物が信号機であれば「固定指示器」、対象物が自動車または歩行者であれば「運動物体」のように、対象物の種別を表す種別情報を用いてもよい。対象物が固定指示器の場合、対象物情報Ｄ１は、対象物の位置を示す位置情報、対象物の検出サイズを示すサイズ情報、およびＬＥＤ（Light Emitting Diode）の点灯形態に代表される状態情報を更に含んでもよい。他方、対象物が運動物体の場合、対象物情報Ｄ１は、対象物の位置を示す位置情報、対象物の検出サイズを示すサイズ情報、並びに対象物の進行方向および速度を示す時系列変化情報（運動情報）を更に含んでもよい。対象物情報算出部４０は視認度算出部５０および衝突可能性算出部６０に接続され、視認度算出部５０に対象物情報Ｄ１を出力し、衝突可能性算出部６０に対象物情報Ｄ１および車両情報Ｉ１を出力する。
対象物情報算出部４０は、車外映像Ｂ１および車両情報Ｉ１を入力として受け付け、受け付けた車外映像Ｂ１および車両情報Ｉ１から適切な運転を行う上で視認が必要な対象物を検出し、検出した対象物に関する情報である対象物情報Ｄ１および車両情報Ｉ１を出力する。対象物情報Ｄ１として、対象物が信号機であれば「固定指示器」、対象物が自動車または歩行者であれば「運動物体」のように、対象物の種別を表す種別情報を用いてもよい。対象物が固定指示器の場合、対象物情報Ｄ１は、対象物の位置を示す位置情報、対象物の検出サイズを示すサイズ情報、およびＬＥＤ（Light Emitting Diode）の点灯形態に代表される状態情報を更に含んでもよい。他方、対象物が運動物体の場合、対象物情報Ｄ１は、対象物の位置を示す位置情報、対象物の検出サイズを示すサイズ情報、並びに対象物の進行方向および速度を示す時系列変化情報（運動情報）を更に含んでもよい。対象物情報算出部４０は視認度算出部５０および衝突可能性算出部６０に接続され、視認度算出部５０に対象物情報Ｄ１を出力し、衝突可能性算出部６０に対象物情報Ｄ１および車両情報Ｉ１を出力する。
【0045】
（視認度算出部）
視認度算出部５０は、対象者の視線情報Ｃ１および対象物情報Ｄ１を入力として受け付け、受け付けた視線情報Ｃ１および対象物情報Ｄ１を用いて各対象への視認度Ｅ１を算出し、算出した視認度Ｅ１を出力する。視認度Ｅ１は、対象者が検出された対象物を視認する度合いの高さを示す指標である。視認度算出部５０は、視認度Ｅ１を、例えば以下のようにして算出する。
視認度算出部５０は、対象者の視線情報Ｃ１および対象物情報Ｄ１を入力として受け付け、受け付けた視線情報Ｃ１および対象物情報Ｄ１を用いて各対象への視認度Ｅ１を算出し、算出した視認度Ｅ１を出力する。視認度Ｅ１は、対象者が検出された対象物を視認する度合いの高さを示す指標である。視認度算出部５０は、視認度Ｅ１を、例えば以下のようにして算出する。
【0046】
まず、視認度算出部５０は、各時刻における視線ベクトルの視線単位ベクトル、および車両から対象物に向かう対象ベクトルの対象単位ベクトルを用いてベクトル間の方向一致度を算出する。方向一致度として、視線単位ベクトルと対象単位ベクトルが成す角の角度を用いてもよいし、これら２つの単位ベクトルの単位時間あたりの変位方向への２つの単位ベクトルが成す角の角度を用いてもよい。方向一致度は一定時間あたりに平滑化した指標としてもよい。
【0047】
次に、視認度算出部５０は、現在時刻から過去に向かって一定時間だけ遡り、各時刻の重みを与えた方向一致度の和を算出する。重みは現在時刻に近づくほど高くなるように設定してもよいし、非線形的な重みを与えてもよい。視認度の計測時間内に対象物の状態変化または運動の変化が観測された場合は、対象物の種別ごとに補正係数を定義し、対象物の変化が発生した時刻以前の方向一致度に補正係数を掛け、計測時間内の補正方向一致度の和をとることで視認度を算出する。対象物が信号機に代表される固定指示器の場合は、指示内容の変化が発生した時点で補正係数を定数倍で与えてもよい。対象物が自動車に代表される運動物体の場合は、視認度計測開始時の運動と現在時刻の運動との差分を算出し、差分の量に応じて動的に補正係数を定義してもよい。視認度算出部５０は実効衝突可能性算出部７０に接続される。
【0048】
（衝突可能性算出部）
衝突可能性算出部６０は、対象物情報Ｄ１および車両情報Ｉ１を入力として受け付け、受け付けた対象物情報Ｄ１および車両情報Ｉ１を用いて各対象物に対する衝突可能性Ｆ１を算出し、算出した衝突可能性Ｆ１を出力する。衝突可能性Ｆ１は、検出された対象物と装置搭載車両が衝突する可能性の高さを示す指標である。衝突可能性Ｆ１を算出する際に、種別情報により示される対象物の種別に応じて算出方法を変更してもよい。例えば信号機に代表される固定指示器の場合は、対象物の位置および運動情報から停止指示位置に至るまでの制限時間を計測し、制限時間に反比例する指標として衝突可能性Ｆ１を定義する。進行から停止までの指示形態の違いに応じて、制限時間に補正係数をかけてもよい。ここで、対象物の指示形態とは、一例として、信号機の色表示や道路情報板による道路における情報（渋滞、交通事故、気象など）などがある。また、運動情報とは、一例として、対象物の速度や加速度、進行方向に関する情報である。対象物が信号のような固定物であっても、車両に取り付けたカメラから見ると、相対的に動いているように見えるため、運動情報が存在する。
衝突可能性算出部６０は、対象物情報Ｄ１および車両情報Ｉ１を入力として受け付け、受け付けた対象物情報Ｄ１および車両情報Ｉ１を用いて各対象物に対する衝突可能性Ｆ１を算出し、算出した衝突可能性Ｆ１を出力する。衝突可能性Ｆ１は、検出された対象物と装置搭載車両が衝突する可能性の高さを示す指標である。衝突可能性Ｆ１を算出する際に、種別情報により示される対象物の種別に応じて算出方法を変更してもよい。例えば信号機に代表される固定指示器の場合は、対象物の位置および運動情報から停止指示位置に至るまでの制限時間を計測し、制限時間に反比例する指標として衝突可能性Ｆ１を定義する。進行から停止までの指示形態の違いに応じて、制限時間に補正係数をかけてもよい。ここで、対象物の指示形態とは、一例として、信号機の色表示や道路情報板による道路における情報（渋滞、交通事故、気象など）などがある。また、運動情報とは、一例として、対象物の速度や加速度、進行方向に関する情報である。対象物が信号のような固定物であっても、車両に取り付けたカメラから見ると、相対的に動いているように見えるため、運動情報が存在する。
【0049】
対象物が自動車などの運動物体の場合は、対象物の位置および運動情報から、装置搭載車両との接触に至るまでの制限時間を計測し、制限時間に反比例する指標として衝突可能性Ｆ１を定義する。さらに、対象物が運動物体の場合は、運動エネルギーを算出して運動エネルギーに比例する指標として衝突可能性Ｆ１を定義してもよい。
【0050】
運動情報の算出時は、車両情報Ｉ１の運動情報、および対象物情報の装置搭載車両からみた相対的な運動情報を組み合わせて、実空間の運動情報に置き換えてもよいし、置き換えた運動情報から装置搭載車両および対象物の今後の運動予測に基づいた衝突可能性を算出してもよい。
【0051】
このように、衝突可能性算出部６０は、対象物の種別に応じて、対象物の指示形態または運動情報の少なくとも一つを選択し、衝突可能性Ｆ１を算出する。衝突可能性算出部６０は、実効衝突可能性算出部７０に接続される。
【0052】
（実効衝突可能性算出部）
実効衝突可能性算出部７０は、視認度Ｅ１および衝突可能性Ｆ１を入力として受け付け、受け付けた視認度Ｅ１および衝突可能性Ｆ１を用いて実効衝突可能性Ｇ１を算出し、算出した実効衝突可能性Ｇ１を出力する。実効衝突可能性Ｇ１は、視認度Ｅ１の増加に応じて減少し、衝突可能性Ｆ１の増加に応じて増加する指標である。このような指標である視認度Ｅ１は、例えば上述の式（１）のように表される。実効衝突可能性算出部７０は、警告部８０に接続される。
実効衝突可能性算出部７０は、視認度Ｅ１および衝突可能性Ｆ１を入力として受け付け、受け付けた視認度Ｅ１および衝突可能性Ｆ１を用いて実効衝突可能性Ｇ１を算出し、算出した実効衝突可能性Ｇ１を出力する。実効衝突可能性Ｇ１は、視認度Ｅ１の増加に応じて減少し、衝突可能性Ｆ１の増加に応じて増加する指標である。このような指標である視認度Ｅ１は、例えば上述の式（１）のように表される。実効衝突可能性算出部７０は、警告部８０に接続される。
【0053】
なお、実施の形態１に即して説明したように、このような実効衝突可能性Ｇ１を用いることにより、視認度Ｅ１と衝突可能性Ｆ１を実効衝突可能性Ｇ１として同時に評価することができる等の種々の効果が奏される。
【0054】
（警告部）
警告部８０は、実効衝突可能性Ｇ１を入力として受け付け、実効衝突可能性Ｇ１に基づいて不図示の警告装置による警告動作を制御するための制御情報である警告情報Ｈ１を出力する。実効衝突可能性Ｇ１が閾値よりも低い対象については警告情報Ｈ１を出力せず、実効衝突可能性が閾値以上の場合には警告情報Ｈ１を出力する。実効衝突可能性Ｇ１の大きさに応じて、警告の強度および形態を変えてもよい。さらに、警告の形態は視覚的提示形態でもよいし、音声提示形態またはその他人間の五感に働きかける提示方法をとってもよい。警告の形態が視覚的提示形態の場合、不図示の警告装置としてディスプレイが用いられる。警告の形態が音声提示形態の場合、不図示の警告装置としてスピーカが用いられる。その他、警告の提示方法に応じて、振動装置等の適当な装置が不図示の警告装置として用いられる。
警告部８０は、実効衝突可能性Ｇ１を入力として受け付け、実効衝突可能性Ｇ１に基づいて不図示の警告装置による警告動作を制御するための制御情報である警告情報Ｈ１を出力する。実効衝突可能性Ｇ１が閾値よりも低い対象については警告情報Ｈ１を出力せず、実効衝突可能性が閾値以上の場合には警告情報Ｈ１を出力する。実効衝突可能性Ｇ１の大きさに応じて、警告の強度および形態を変えてもよい。さらに、警告の形態は視覚的提示形態でもよいし、音声提示形態またはその他人間の五感に働きかける提示方法をとってもよい。警告の形態が視覚的提示形態の場合、不図示の警告装置としてディスプレイが用いられる。警告の形態が音声提示形態の場合、不図示の警告装置としてスピーカが用いられる。その他、警告の提示方法に応じて、振動装置等の適当な装置が不図示の警告装置として用いられる。
【0055】
図４は、本開示の実施の形態１および実施の形態２に関わる実効衝突可能性の考え方を具体例で示すための図である。図４で示してある走行環境として、運動物体である対象物Ｏ１からＯ３および装置搭載車両Ｓ１は、各物体または車両に付された矢印の方向に進行すると仮定する。装置搭載車両Ｓ１の運動状態および対象物の運動状態から、領域Ｖの範囲で装置搭載車両Ｓ１との接触可能性が高まると仮定する。さらに、対象者の視線方向は対象物Ｏ３からＯ２へ推移しているものと仮定する。
【0056】
ここで対象物Ｏ１の進行方向は領域Ｖから遠ざかる方向に向いているため、衝突可能性が低く算出される。一方、視認度も低く算出されており、式（１）に基づく実効衝突可能性は低く算出され、警告は提示されない。
【0057】
対象物Ｏ２は車両とすれ違う方向に進行しており、衝突可能性は中程度であったが、途中で進行方向が変わり、接触までの時間が短くなることで、衝突可能性は上昇する。対象者は現在時刻で対象物Ｏ２を視認しており、視認度が高い状態を維持している。対象物Ｏ２の直進時には実効衝突可能性が低程度から中程度であったものが、対象物Ｏ２の方向転換によって衝突可能性が上昇し、実効衝突可能性が上昇する。実効衝突可能性の上昇に応じて、警告は表示される方向に遷移し、提示強度は徐々に増加する。
【0058】
対象物Ｏ３は領域Ｖ外で進行しており衝突可能性が低く、対象者は衝突可能性が低い対象物Ｏ３を一度視認した後、しばらく目を離していた。対象者が視認した段階で実効衝突可能性は低く算出され、警告は提示されなかったが、対象者が目を離している間に対象物Ｏ３の運動が変化し、領域Ｖに向かって進行する。目を離している間の時間経過および対象物の運動変化によって視認度は徐々に低下し、さらに領域Ｖ方向への進行変化のため衝突可能性も上昇することで、実効衝突可能性は増加し、警告提示が開始される。対象物Ｏ３の進行方向が領域Ｖとは異なる方向である場合には、視認度は減衰する一方で衝突可能性も低下し、実効衝突可能性としては低水準を維持する。
【0059】
対象物Ｏ４は信号機であり、進行から停止指示までの複数段階の指示形態が存在すると仮定する。信号機の指示形態が変わったタイミングで、その時点以前の時刻で得られた視線ベクトルと対象ベクトルの方向一致度が瞬間的に減少し、視認度が低下する。停止位置までの距離および車両速度に応じて衝突可能性が算出されるが、衝突可能性が低い場合は実効衝突可能性としては中程度に増加し、余裕のある注意喚起をすることが可能となる。一方衝突可能性が中程度の場合は実効衝突可能性としては高程度に増加し、強い警告が提示されることになる。
【0060】
実施の形態３．
実施の形態３による路車間運転支援システムは、実施の形態１に記載された運転支援装置１若しくは運転支援システムＳＹＳ－Ｖ１、または実施の形態２に記載された運転支援装置２若しくは運転支援システムＳＹＳ－Ｖ２と、運転支援装置１または２と通信可能な路側システムＳＹＳ－Ｒと、を備える。路側システムＳＹＳ－Ｒは、路側装置１０１と通信装置１０２を備える。路側装置１０１は、例えば道路上の監視カメラや衛星を用いて、装置搭載車両Ｓ１および装置搭載車両Ｓ１の周辺の対象物の情報を取得し、取得した情報を通信装置１０２を介して運転支援装置１または２の対象物情報算出部４０に送信する。装置搭載車両Ｓ１の周辺の対象物の検出は、路側装置１０１だけが行ってもよいし、路側装置１０１と車両側装置若しくはシステム（運転支援装置１若しくは運転支援システムＳＹＳ－Ｖ１、または運転支援装置２若しくは運転支援システムＳＹＳ－Ｖ２）の両方で行ってもよい。また、路側装置１０１と、車両側装置若しくはシステム（運転支援装置１若しくは運転支援システムＳＹＳ－Ｖ１、または運転支援装置２若しくは運転支援システムＳＹＳ－Ｖ２）とが検出する対象物は異なっていてもよい。さらに、路側装置１０１は、車速、ステアリング制御情報、およびペダル制御情報の少なくともいずれかひとつを装置搭載車両Ｓ１から受信し、車両と対象物の衝突可能性を算出し、衝突可能性算出部６０に送信してもよい。
実施の形態３による路車間運転支援システムは、実施の形態１に記載された運転支援装置１若しくは運転支援システムＳＹＳ－Ｖ１、または実施の形態２に記載された運転支援装置２若しくは運転支援システムＳＹＳ－Ｖ２と、運転支援装置１または２と通信可能な路側システムＳＹＳ－Ｒと、を備える。路側システムＳＹＳ－Ｒは、路側装置１０１と通信装置１０２を備える。路側装置１０１は、例えば道路上の監視カメラや衛星を用いて、装置搭載車両Ｓ１および装置搭載車両Ｓ１の周辺の対象物の情報を取得し、取得した情報を通信装置１０２を介して運転支援装置１または２の対象物情報算出部４０に送信する。装置搭載車両Ｓ１の周辺の対象物の検出は、路側装置１０１だけが行ってもよいし、路側装置１０１と車両側装置若しくはシステム（運転支援装置１若しくは運転支援システムＳＹＳ－Ｖ１、または運転支援装置２若しくは運転支援システムＳＹＳ－Ｖ２）の両方で行ってもよい。また、路側装置１０１と、車両側装置若しくはシステム（運転支援装置１若しくは運転支援システムＳＹＳ－Ｖ１、または運転支援装置２若しくは運転支援システムＳＹＳ－Ｖ２）とが検出する対象物は異なっていてもよい。さらに、路側装置１０１は、車速、ステアリング制御情報、およびペダル制御情報の少なくともいずれかひとつを装置搭載車両Ｓ１から受信し、車両と対象物の衝突可能性を算出し、衝突可能性算出部６０に送信してもよい。
【0061】
＜ハードウェア構成＞
次に、図６を参照して、実施の形態１から３に係る運転支援装置１および２並びに路側装置１０１のハードウェアの構成例について説明をする。これらの装置は、図６Ａに示した制御回路、すなわちプロセッサ８１およびメモリ８２によって実現することができる。プロセッサ８１の例は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう。）またはシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）である。メモリ８２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性若しくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等である。運転支援装置１若しくは２または路側装置１０１は、プロセッサ８１が、メモリ８２で記憶されているプログラムを読み出して実行することによって実現される。プロセッサ８１が実行するプログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータが読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されてもよい。また、プロセッサ８１が実行するプログラムは、インターネットなどのネットワーク経由で運転支援装置に提供されてもよい。
次に、図６を参照して、実施の形態１から３に係る運転支援装置１および２並びに路側装置１０１のハードウェアの構成例について説明をする。これらの装置は、図６Ａに示した制御回路、すなわちプロセッサ８１およびメモリ８２によって実現することができる。プロセッサ８１の例は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう。）またはシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）である。メモリ８２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性若しくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等である。運転支援装置１若しくは２または路側装置１０１は、プロセッサ８１が、メモリ８２で記憶されているプログラムを読み出して実行することによって実現される。プロセッサ８１が実行するプログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータが読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されてもよい。また、プロセッサ８１が実行するプログラムは、インターネットなどのネットワーク経由で運転支援装置に提供されてもよい。
【0062】
他の例として、実施の形態１から３に係る運転支援装置１および２並びに路側装置１０１は、図６Ｂに示した専用の処理回路８３によって実現してもよい。処理回路８３は、専用のハードウェアである。処理回路８３は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものである。
【0063】
なお、運転支援装置１若しくは２または路側装置１０１の機能の一部がソフトウェア又はファームウェアで実現され、残りの一部が専用のハードウェアで実現されてもよい。
【0064】
＜付記＞
以上で説明した種々の実施形態のいくつかの側面について、以下のとおりまとめる。
以上で説明した種々の実施形態のいくつかの側面について、以下のとおりまとめる。
【0065】
（付記１）
付記１の運転支援装置は、少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出する視線情報算出部（３０）と、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出する対象物情報算出部（４０）と、その算出された視線情報とその抽出された対象物情報とから、前記対象者がその検出された対象物を視認する度合いの高さを示す視認度を算出する視認度算出部（５０）と、前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出する衝突可能性算出部（６０）と、その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出する実効衝突可能性算出部（７０）と、を備える。
付記１の運転支援装置は、少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出する視線情報算出部（３０）と、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出する対象物情報算出部（４０）と、その算出された視線情報とその抽出された対象物情報とから、前記対象者がその検出された対象物を視認する度合いの高さを示す視認度を算出する視認度算出部（５０）と、前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出する衝突可能性算出部（６０）と、その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出する実効衝突可能性算出部（７０）と、を備える。
【0066】
付記１の運転支援装置によれば、視認度と衝突可能性を同時に評価する実効衝突可能性を用いた判定が行われる。したがって、実効衝突可能性に基づいて警告を行うことにより、視認度と衝突可能性を同時に評価した警告が可能となる。また、実効衝突可能性について閾値判定を行うことにより、衝突可能性がより低い対象物についてはより低い視認度を満たせばよいので、ユーザに煩わしさを覚えさせるような不要な警告を抑制することができる。
【0067】
また、視認度と衝突可能性の両方を反映した指標として実効衝突可能性が定義されるので、衝突可能性が低程度から中程度の対象においても視認度の程度に応じて警告の有無判定およびその強度調整を動的に行うことが可能となる。これにより、煩わしさを軽減しつつ真に注意または対処が必要な対象物に対する警告を適切な強度で提示することが可能となる。
【0068】
（付記２）
付記２の運転支援装置は、付記１に記載された運転支援装置であって、その算出された実効衝突可能性に応じて前記対象者に対して行う警告の内容を判定して、警告装置による警告動作を制御する警告部（８０）を更に備える。
。
付記２の運転支援装置は、付記１に記載された運転支援装置であって、その算出された実効衝突可能性に応じて前記対象者に対して行う警告の内容を判定して、警告装置による警告動作を制御する警告部（８０）を更に備える。
。
【0069】
付記２の運転支援装置によれば、実効衝突可能性に応じて対象者に対する警告動作を制御することが可能となる。
【0070】
（付記３）
付記３の運転支援装置は、付記１または２に記載された運転支援装置であって、前記車両に搭載されている制御システムから、車速、ステアリング制御情報およびペダル制御情報のうちの少なくとのいずれか１つを車両情報として取得する車両情報取得部（９０）を更に備え、前記衝突可能性算出部は、前記抽出された対象物情報およびその取得された車両情報に基づいて、前記衝突可能性を算出する。
付記３の運転支援装置は、付記１または２に記載された運転支援装置であって、前記車両に搭載されている制御システムから、車速、ステアリング制御情報およびペダル制御情報のうちの少なくとのいずれか１つを車両情報として取得する車両情報取得部（９０）を更に備え、前記衝突可能性算出部は、前記抽出された対象物情報およびその取得された車両情報に基づいて、前記衝突可能性を算出する。
【0071】
付記３の運転支援装置によれば、車外映像から得られる装置搭載車両から見た相対的な周囲対象物の運動に加え、装置搭載車両の運動情報を用いることで、実空間における対象物の運動を算出することが可能となり、対象物の運動予測と装置搭載車両の運動予測から、物体間の接近および接触に関する衝突可能性の算出精度が向上する。
【0072】
（付記４）
付記４の運転支援装置は、付記１から３のいずれか１つに記載された運転支援装置であって、前記視認度算出部は、予め定められたタイミングで前記車両から前記対象物へ向かう対象ベクトルの方向と前記対象者の視線ベクトルの方向との方向一致度を算出し、現在時刻から過去一定時間内の各時刻の方向一致度に重みを付与することにより、重みが付与された方向一致度を算出し、計測時間内に前記対象物について状態または運動の変化が生じた場合、その変化の発生時刻以前のその算出され重みが付与された方向一致度に係数を掛けることにより、補正された補正方向一致度を算出し、その算出され重みが付与された方向一致度またはその算出された補正方向一致度の和を算出することにより前記視認度を算出する。
付記４の運転支援装置は、付記１から３のいずれか１つに記載された運転支援装置であって、前記視認度算出部は、予め定められたタイミングで前記車両から前記対象物へ向かう対象ベクトルの方向と前記対象者の視線ベクトルの方向との方向一致度を算出し、現在時刻から過去一定時間内の各時刻の方向一致度に重みを付与することにより、重みが付与された方向一致度を算出し、計測時間内に前記対象物について状態または運動の変化が生じた場合、その変化の発生時刻以前のその算出され重みが付与された方向一致度に係数を掛けることにより、補正された補正方向一致度を算出し、その算出され重みが付与された方向一致度またはその算出された補正方向一致度の和を算出することにより前記視認度を算出する。
【0073】
付記４の運転支援装置によれば、現在時刻から過去一定時間内の各時刻の方向一致度に重みを付与することにより、重みが付与された方向一致度に基づいて視認度を求めるため、対象者が対象物から視線を逸らした場合に生じる対象物の記憶の経時的減衰を視認度に反映することが可能となる。さらに、現在時刻に近いほど高くなるような重みを与えることで、時間による減衰の強度を調整することが可能となる。さらに、周囲物体における状態の変化または運動の変化に応じた係数を与えることで、一度視認した後の対象物の挙動変化に対して対象者が把握できていない状態を視認度に反映させることが可能となる。
【0074】
（付記５）
付記５の運転支援装置は、付記１から４のいずれか１つに記載された運転支援装置であって、前記対象物情報算出部は、前記検出された対象物の種別を示す種別情報と、状態を示す状態情報または運動を示す運動情報とを算出する。
付記５の運転支援装置は、付記１から４のいずれか１つに記載された運転支援装置であって、前記対象物情報算出部は、前記検出された対象物の種別を示す種別情報と、状態を示す状態情報または運動を示す運動情報とを算出する。
【0075】
付記５の運転支援装置によれば、検出された対象物の種別を示す種別情報が算出されるので、視認度および衝突可能性の算出を対象物の種別ごとの指標で実施することが可能となる。
【0076】
（付記６）
付記６の運転支援装置は、付記５に記載された運転支援装置であって、前記衝突可能性算出部は、その算出された種別情報に応じて、その算出された状態情報または運動情報の少なくとも一つに基づいて前記衝突可能性を算出する。
付記６の運転支援装置は、付記５に記載された運転支援装置であって、前記衝突可能性算出部は、その算出された種別情報に応じて、その算出された状態情報または運動情報の少なくとも一つに基づいて前記衝突可能性を算出する。
【0077】
付記６の運転支援装置によれば、対象物が信号機のような固定指示器の場合は、ＬＥＤの点灯状態と固定指示器までの距離に応じた衝突可能性を算出することが可能となり、自動車のような運動物体の場合は、運動情報に応じた衝突可能性を算出することが可能となり、種別が異なる対象物においてもそれぞれの衝突可能性を算出することが可能となる。
【0078】
（付記７）
付記７の路車間運転支援システムは、付記１から６のいずれか１つに記載された運転支援装置（１；２）と、前記運転支援装置と通信可能な路側システム（ＳＹＳ－Ｒ）とを備えた路車間運転支援システムであって、前記路側システムは、前記対象物または前記対象物と異なる前記車両の周辺に存在する他の対象物の情報を前記運転支援装置に送信し、前記運転支援装置の前記対象物情報算出部は、前記車外映像と、その送信された情報とに基づいて前記対象物情報を抽出する。
付記７の路車間運転支援システムは、付記１から６のいずれか１つに記載された運転支援装置（１；２）と、前記運転支援装置と通信可能な路側システム（ＳＹＳ－Ｒ）とを備えた路車間運転支援システムであって、前記路側システムは、前記対象物または前記対象物と異なる前記車両の周辺に存在する他の対象物の情報を前記運転支援装置に送信し、前記運転支援装置の前記対象物情報算出部は、前記車外映像と、その送信された情報とに基づいて前記対象物情報を抽出する。
【0079】
（付記８）
付記８の運転支援方法は、視線情報算出部（３０）、対象物情報算出部（４０）、視認度算出部（５０）、衝突可能性算出部（６０）、および実効衝突可能性算出部（７０）を備える運転支援装置が行う運転支援方法であって、前記視線情報算出部が、少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出するステップ（ＳＴ３）と、前記対象物情報算出部が、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出するステップ（ＳＴ４）と、前記視認度算出部が、その算出された視線情報とその抽出された対象物情報とから、前記対象者がその検出された対象物を視認する度合いの高さを示す視認度を算出するステップ（ＳＴ５）と、前記衝突可能性算出部が、前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出するステップ（ＳＴ６）と、前記実効衝突可能性算出部が、その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出するステップ（ＳＴ７）と、を備える。
付記８の運転支援方法は、視線情報算出部（３０）、対象物情報算出部（４０）、視認度算出部（５０）、衝突可能性算出部（６０）、および実効衝突可能性算出部（７０）を備える運転支援装置が行う運転支援方法であって、前記視線情報算出部が、少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出するステップ（ＳＴ３）と、前記対象物情報算出部が、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出するステップ（ＳＴ４）と、前記視認度算出部が、その算出された視線情報とその抽出された対象物情報とから、前記対象者がその検出された対象物を視認する度合いの高さを示す視認度を算出するステップ（ＳＴ５）と、前記衝突可能性算出部が、前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出するステップ（ＳＴ６）と、前記実効衝突可能性算出部が、その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出するステップ（ＳＴ７）と、を備える。
【0080】
（付記９）
付記９の運転支援プログラムは、少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出するステップ（ＳＴ３）と、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出するステップ（ＳＴ４）と、その算出された視線情報とその抽出された対象物情報とから、前記対象者がその検出された対象物を視認する度合いの高さを示す視認度を算出するステップ（ＳＴ５）と、前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出するステップ（ＳＴ６）と、その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出するステップ（ＳＴ７）と、をコンピュータに実行させる。
付記９の運転支援プログラムは、少なくとも１つのカメラを備える撮影装置により撮影された車両の内部の車内映像から対象者の視線情報を算出するステップ（ＳＴ３）と、前記撮影装置により撮影された前記車両の外部の車外映像から前記車両の周辺に存在する対象物を検出し、その検出された対象物の情報である対象物情報を抽出するステップ（ＳＴ４）と、その算出された視線情報とその抽出された対象物情報とから、前記対象者がその検出された対象物を視認する度合いの高さを示す視認度を算出するステップ（ＳＴ５）と、前記抽出された対象物情報から、前記検出された対象物と前記車両が衝突する可能性の高さを示す衝突可能性を算出するステップ（ＳＴ６）と、その算出された視認度とその算出された衝突可能性とから、前記算出された視認度の増加に応じて減少し、前記算出された衝突可能性の増加に応じて増加する実効衝突可能性を算出するステップ（ＳＴ７）と、をコンピュータに実行させる。
【0081】
なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。
【産業上の利用可能性】
【0082】
本開示の運転支援装置は、車両の運転を支援する装置として用いることができる。
【符号の説明】
【0083】
１ 運転支援装置、２ 運転支援装置、１０ 撮像装置、２０ データ入力部、３０ 視線情報算出部、４０ 対象物情報算出部、５０ 視認度算出部、６０ 衝突可能性算出部、７０ 実効衝突可能性算出部、８０ 警告部、８１ プロセッサ、８２ メモリ、８３ 処理回路、９０ 車両情報取得部、１０１ 路側装置、１０２ 通信装置、ＳＹＳ－Ｒ 路側システム、ＳＹＳ－Ｖ１ 運転支援システム、ＳＹＳ－Ｖ２ 運転支援システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】