知財求人 - 知財ポータルサイト「IP Force」
特開2024-44308警告信号生成装置、警告信号生成方法、および、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024044308
(43)【公開日】2024-04-02
(54)【発明の名称】警告信号生成装置、警告信号生成方法、および、プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240326BHJP
G06T 7/00 20170101ALI20240326BHJP
G08B 21/00 20060101ALI20240326BHJP
B60W 40/02 20060101ALI20240326BHJP
【ＦＩ】
G08G1/16 C
G06T7/00 650Z
G08B21/00 J
G08B21/00 H
G08B21/00 U
B60W40/02
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022149761
(22)【出願日】2022-09-21
(71)【出願人】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(74)【代理人】
【識別番号】100143498
【弁理士】
【氏名又は名称】中西 健
(74)【代理人】
【識別番号】100136319
【弁理士】
【氏名又は名称】北原 宏修
(72)【発明者】
【氏名】ダオ ミン ソン
(72)【発明者】
【氏名】プラダナ ムハマド ヒルミル ムクタ アディチャ
(72)【発明者】
【氏名】是津 耕司
【テーマコード（参考）】
3D241
5C086
5H181
5L096
【Ｆターム（参考）】
3D241BA31
3D241BA57
3D241DC01Z
5C086AA47
5C086AA52
5C086BA22
5C086CA28
5C086CB36
5C086DA07
5C086DA08
5C086DA33
5H181AA01
5H181BB13
5H181BB20
5H181CC04
5H181CC24
5H181EE13
5H181FF27
5H181LL01
5H181LL08
5L096BA04
5L096CA02
5L096DA03
5L096FA66
5L096HA04
5L096HA05
(57)【要約】
【課題】メンテナンスが容易なシンプルな構成により低コストで実現でき、かつ、高精度に、走行可能な車両等の周辺の環境を認識し、当該認識結果に基づいて、当該車両等が危険な状況になる可能性を示す情報を提示する警告信号を生成する警告信号生成システムを実現する。
【解決手段】警告信号生成システム１０００では、撮像部Ｃ１により取得された映像信号を用いて、速度推定処理部１により推定した自車両の速度および安全距離、物体検出追跡処理部２により取得した物体追跡処理結果データ、並びに、環境データ分析処理部３により検出したレーンを取得することができる。そして、警告信号生成システム１０００では、上記により取得したデータを用いて、フレーム画像上で解析することで、自車両が危険な状況になる可能性を示す情報を提示する警告信号を取得（生成）することができる。
【選択図】図１
【解決手段】警告信号生成システム１０００では、撮像部Ｃ１により取得された映像信号を用いて、速度推定処理部１により推定した自車両の速度および安全距離、物体検出追跡処理部２により取得した物体追跡処理結果データ、並びに、環境データ分析処理部３により検出したレーンを取得することができる。そして、警告信号生成システム１０００では、上記により取得したデータを用いて、フレーム画像上で解析することで、自車両が危険な状況になる可能性を示す情報を提示する警告信号を取得（生成）することができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
走行可能な車両に取り付けられた撮像部により取得される映像信号を用いて、前記車両が危険な状況になる可能性を示す情報を提示する警告信号を生成する警告信号生成装置であって、
前記映像信号から、オプティカルフローを取得し、前記オプティカルフローと、前記撮像部の撮影パラメータとに基づいて、前記車両の速度を、車両推定速度として、取得するとともに、前記映像信号から前記車両の周辺環境を認識する周辺環境認識処理を実行し、当該周辺環境認識処理により取得したデータに基づいて、前記車両の走行している道路の摩擦係数を取得し、当該摩擦係数と、前記車両推定速度とに基づいて、前記車両の安全距離ｄｓａｆｅを取得する速度推定処理部と、
前記映像信号から、当該映像信号を構成するフレーム画像上において、物体検出処理を実行し、前記物体検出処理により検出した物体を追跡する処理である物体追跡処理を実行し、当該物体追跡処理の結果データである物体追跡処理結果データを取得する物体追跡処理部と、
前記映像信号から、当該映像信号を構成するフレーム画像上において、前記車両が走行可能領域であるレーンに相当する画像領域を検出する環境データ分析部と、
前記速度推定処理部により取得されたデータと、前記物体追跡処理結果データと、前記環境データ分析部により検出されたデータとに基づいて、自車両が安全状態であるか危険状態であるかを示す情報を提示する警告信号を生成する警告信号生成部と、
を備える警告信号生成装置。
前記映像信号から、オプティカルフローを取得し、前記オプティカルフローと、前記撮像部の撮影パラメータとに基づいて、前記車両の速度を、車両推定速度として、取得するとともに、前記映像信号から前記車両の周辺環境を認識する周辺環境認識処理を実行し、当該周辺環境認識処理により取得したデータに基づいて、前記車両の走行している道路の摩擦係数を取得し、当該摩擦係数と、前記車両推定速度とに基づいて、前記車両の安全距離ｄｓａｆｅを取得する速度推定処理部と、
前記映像信号から、当該映像信号を構成するフレーム画像上において、物体検出処理を実行し、前記物体検出処理により検出した物体を追跡する処理である物体追跡処理を実行し、当該物体追跡処理の結果データである物体追跡処理結果データを取得する物体追跡処理部と、
前記映像信号から、当該映像信号を構成するフレーム画像上において、前記車両が走行可能領域であるレーンに相当する画像領域を検出する環境データ分析部と、
前記速度推定処理部により取得されたデータと、前記物体追跡処理結果データと、前記環境データ分析部により検出されたデータとに基づいて、自車両が安全状態であるか危険状態であるかを示す情報を提示する警告信号を生成する警告信号生成部と、
を備える警告信号生成装置。
【請求項2】
前記警告信号生成部は、
前記環境データ分析部により検出されたデータと、前記撮像部の撮影パラメータとに基づいて、前記映像信号を構成するフレーム画像上において、前記車両が走行しているレーンを特定するとともに、前記物体追跡処理結果データから、特定したレーン上に存在する物体を検出し、検出した物体と前記車両との距離ｄ＿ｃｌｏｓｅｓｔを取得する同一レーン検出処理部と、
前記車両が走行しているレーンと同一レーンに物体が存在する場合に、前記距離ｄ＿ｃｌｏｓｅｓｔと、前記速度推定処理部により取得された前記車両の安全距離ｄｓａｆｅとを比較し、ｄ＿ｃｌｏｓｅｓｔ＜ｄｓａｆｅであるとき、「危険状態」であることを示す警告信号を生成する警告信号生成処理部と
を備える、
請求項１に記載の警告信号生成装置。
前記環境データ分析部により検出されたデータと、前記撮像部の撮影パラメータとに基づいて、前記映像信号を構成するフレーム画像上において、前記車両が走行しているレーンを特定するとともに、前記物体追跡処理結果データから、特定したレーン上に存在する物体を検出し、検出した物体と前記車両との距離ｄ＿ｃｌｏｓｅｓｔを取得する同一レーン検出処理部と、
前記車両が走行しているレーンと同一レーンに物体が存在する場合に、前記距離ｄ＿ｃｌｏｓｅｓｔと、前記速度推定処理部により取得された前記車両の安全距離ｄｓａｆｅとを比較し、ｄ＿ｃｌｏｓｅｓｔ＜ｄｓａｆｅであるとき、「危険状態」であることを示す警告信号を生成する警告信号生成処理部と
を備える、
請求項１に記載の警告信号生成装置。
【請求項3】
前記環境データ分析部は、
前記映像信号から、突発的に出現する、あるいは、変化する画像領域を、視覚注目位置画像領域として、検出する視覚注目位置検出処理部をさらに備える、
請求項２に記載の警告信号生成装置。
前記映像信号から、突発的に出現する、あるいは、変化する画像領域を、視覚注目位置画像領域として、検出する視覚注目位置検出処理部をさらに備える、
請求項２に記載の警告信号生成装置。
【請求項4】
前記同一レーン検出処理部は、
前記映像信号を構成するフレーム画像上において、前記視覚注目位置画像領域の近辺に存在する物体がないか判定し、当該判定の結果、視覚注目位置画像領域の近辺に存在する物体があると判定した場合、前記車両から当該物体までの距離を、距離ｄ＿ｓａｌｉｅｎｃｙとして取得し、
前記警告信号生成処理部は、
前記同一レーン検出処理部が視覚注目位置画像領域の近辺に存在する物体があると判定した場合であって、前記車両から前記視覚注目位置画像領域の近辺に存在する物体までの距離ｄ＿ｓａｌｉｅｎｃｙが所定の閾値Ｔｈよりも小さい場合、「非安全状態」あるいは「危険状態」を示す警告信号を生成する、
請求項３に記載の警告信号生成装置。
前記映像信号を構成するフレーム画像上において、前記視覚注目位置画像領域の近辺に存在する物体がないか判定し、当該判定の結果、視覚注目位置画像領域の近辺に存在する物体があると判定した場合、前記車両から当該物体までの距離を、距離ｄ＿ｓａｌｉｅｎｃｙとして取得し、
前記警告信号生成処理部は、
前記同一レーン検出処理部が視覚注目位置画像領域の近辺に存在する物体があると判定した場合であって、前記車両から前記視覚注目位置画像領域の近辺に存在する物体までの距離ｄ＿ｓａｌｉｅｎｃｙが所定の閾値Ｔｈよりも小さい場合、「非安全状態」あるいは「危険状態」を示す警告信号を生成する、
請求項３に記載の警告信号生成装置。
【請求項5】
走行可能な車両に取り付けられた撮像部により取得される映像信号を用いて、前記車両が危険な状況になる可能性を示す情報を提示する警告信号を生成する警告信号生成方法であって、
前記映像信号から、オプティカルフローを取得し、前記オプティカルフローと、前記撮像部の撮影パラメータとに基づいて、前記車両の速度を、車両推定速度として、取得するとともに、前記映像信号から前記車両の周辺環境を認識する周辺環境認識処理を実行し、当該周辺環境認識処理により取得したデータに基づいて、前記車両の走行している道路の摩擦係数を取得し、当該摩擦係数と、前記車両推定速度とに基づいて、前記車両の安全距離ｄｓａｆｅを取得する速度推定処理ステップと、
前記映像信号から、当該映像信号を構成するフレーム画像上において、物体検出処理を実行し、前記物体検出処理により検出した物体を追跡する処理である物体追跡処理を実行し、当該物体追跡処理の結果データである物体追跡処理結果データを取得する物体追跡処理ステップと、
前記映像信号から、当該映像信号を構成するフレーム画像上において、前記車両が走行可能領域であるレーンに相当する画像領域を検出する環境データ分析ステップと、
前記速度推定処理ステップにより取得されたデータと、前記物体追跡処理結果データと、前記環境データ分析ステップにより検出されたデータとに基づいて、自車両が安全状態であるか危険状態であるかを示す情報を提示する警告信号を生成する警告信号生成ステップと、
を備える警告信号生成方法。
前記映像信号から、オプティカルフローを取得し、前記オプティカルフローと、前記撮像部の撮影パラメータとに基づいて、前記車両の速度を、車両推定速度として、取得するとともに、前記映像信号から前記車両の周辺環境を認識する周辺環境認識処理を実行し、当該周辺環境認識処理により取得したデータに基づいて、前記車両の走行している道路の摩擦係数を取得し、当該摩擦係数と、前記車両推定速度とに基づいて、前記車両の安全距離ｄｓａｆｅを取得する速度推定処理ステップと、
前記映像信号から、当該映像信号を構成するフレーム画像上において、物体検出処理を実行し、前記物体検出処理により検出した物体を追跡する処理である物体追跡処理を実行し、当該物体追跡処理の結果データである物体追跡処理結果データを取得する物体追跡処理ステップと、
前記映像信号から、当該映像信号を構成するフレーム画像上において、前記車両が走行可能領域であるレーンに相当する画像領域を検出する環境データ分析ステップと、
前記速度推定処理ステップにより取得されたデータと、前記物体追跡処理結果データと、前記環境データ分析ステップにより検出されたデータとに基づいて、自車両が安全状態であるか危険状態であるかを示す情報を提示する警告信号を生成する警告信号生成ステップと、
を備える警告信号生成方法。
【請求項6】
請求項５に記載の警告信号生成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、走行可能な車両等の周辺の環境を認識し、当該認識結果に基づいて、当該車両等が危険な状況（例えば、危険な走行状況）になる可能性を示す情報（例えば、アラーム情報）を提示する警告信号を生成する技術に関する。
【背景技術】
【0002】
近年、自動運転車（autonomous car）を実現するための技術や、ドライバーの安全・快適を実現するために自動車自体が周囲の情報を把握し、ドライバーに的確に表示・警告を行ったり、ドライバーに代わって自動車を制御したりするなどの運転を支援するシステムである先進運転支援システム（ADAS： Advanced Driver-Assistance Systems）を実現するための技術についての研究・開発がされている。
【0003】
このような技術を実現するために、走行車両の周辺の環境およびその変化を適切に把握する必要がある。例えば、特許文献1には、複数のセンサーやカメラを車両に取り付け、当該複数のセンサーやカメラにより取得されたデータを用いて解析処理を行うことで、車両の将来の運転環境を高精度に予測する環境予測システムの開示がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１６－１０９４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に開示されている技術では、複数のセンサーやカメラを車両に取り付ける必要があり、また、当該複数のセンサーやカメラにより取得したデータを用いて解析処理を行う必要があるため、実現するためのコストが高くなる。つまり、特許文献１に開示されている技術では、複数のセンサーやカメラを車両に取り付けるためのコストがかかり、さらに、上記複数のセンサーやカメラにより取得したデータを、解析処理を行うモジュールに入力させる必要があるため、上記複数のセンサーやカメラで取得したデータに対して解析処理を行うモジュールに入力させるための配線が複雑になる。さらに、特許文献１に開示されている技術では、複数のセンサーやカメラのメンテナンスも必要となる（例えば、複数のセンサーやカメラの向きが変わってしまったりしたら、それを修正する必要がある）。
【0006】
そこで、本発明は、上記課題に鑑み、メンテナンスが容易なシンプルな構成により低コストで実現でき、かつ、高精度に、走行可能な車両等の周辺の環境を認識し、当該認識結果に基づいて、当該車両等が危険な状況（例えば、危険な走行状況）になる可能性を示す情報（例えば、アラーム情報）を提示する警告信号を生成する警告信号生成システム、警告信号生成装置、警告信号生成方法、および、プログラムを実現することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するための第１の発明は、走行可能な車両に取り付けられた撮像部により取得される映像信号を用いて、車両が危険な状況になる可能性を示す情報を提示する警告信号を生成する警告信号生成装置であって、速度推定処理部と、物体追跡処理部と、環境データ分析部と、警告信号生成部と、を備える。
【0008】
速度推定処理部は、映像信号から、オプティカルフローを取得し、オプティカルフローと、撮像部の撮影パラメータとに基づいて、車両の速度を、車両推定速度として、取得するとともに、映像信号から車両の周辺環境を認識する周辺環境認識処理を実行し、当該周辺環境認識処理により取得したデータに基づいて、車両の走行している道路の摩擦係数を取得し、当該摩擦係数と、車両推定速度とに基づいて、車両の安全距離ｄｓａｆｅを取得する。
【0009】
物体追跡処理部は、映像信号から、当該映像信号を構成するフレーム画像上において、物体検出処理を実行し、物体検出処理により検出した物体を追跡する処理である物体追跡処理を実行し、当該物体追跡処理の結果データである物体追跡処理結果データを取得する。
【0010】
環境データ分析部は、映像信号から、当該映像信号を構成するフレーム画像上において、車両が走行可能領域であるレーンに相当する画像領域を検出する。
【0011】
警告信号生成部は、速度推定処理部により取得されたデータと、物体追跡処理結果データと、環境データ分析部により検出されたデータとに基づいて、自車両が安全状態であるか危険状態であるかを示す情報を提示する警告信号を生成する。
【0012】
この警告信号生成装置では、撮像部により取得された映像信号を用いて、速度推定処理部により推定した自動車（自車両）の速度および安全距離、物体検出追跡処理部により取得した物体追跡処理結果データ（１または複数の物体の追跡処理結果データ）、並びに、環境データ分析処理部により検出したレーン（走行可能領域）を取得することができる。そして、この警告信号生成装置では、上記により取得したデータを用いて、フレーム画像（撮像部により取得された映像信号を形成するフレーム画像）上で解析することで、自車両が危険な状況（例えば、危険な走行状況）になる可能性を示す情報を提示する警告信号を取得（生成）することができる。つまり、この警告信号生成装置では、撮像部により取得された映像信号を入力させ、上記処理を行うだけで、高精度な警告信号を取得（生成）することができるので、警告信号生成システムを、メンテナンスが容易なシンプルな構成により低コストで実現できる。
【0013】
第２の発明は、第１の発明であって、警告信号生成部は、同一レーン検出処理部と、警告信号生成処理部とを備える。
【0014】
同一レーン検出処理部は、環境データ分析部により検出されたデータと、撮像部の撮影パラメータとに基づいて、映像信号を構成するフレーム画像上において、車両が走行しているレーンを特定するとともに、物体追跡処理結果データから、特定したレーン上に存在する物体を検出し、検出した物体と車両との距離ｄ＿ｃｌｏｓｅｓｔを取得する。
【0015】
警告信号生成処理部は、車両が走行しているレーンと同一レーンに物体が存在する場合に、距離ｄ＿ｃｌｏｓｅｓｔと、速度推定処理部により取得された車両の安全距離ｄｓａｆｅとを比較し、ｄ＿ｃｌｏｓｅｓｔ＜ｄｓａｆｅであるとき、「危険状態」であることを示す警告信号を生成する。
【0016】
これにより、この警告信号生成装置では、車両が走行しているレーンと同一レーンに物体が存在する場合、適切に、「危険状態」であることを示す警告信号を生成することができる。
【0017】
第３の発明は、第２の発明であって、環境データ分析部は、映像信号から、突発的に出現する、あるいは、変化する画像領域を、視覚注目位置画像領域として、検出する視覚注目位置検出処理部をさらに備える。
【0018】
これにより、この警告信号生成装置では、視覚注目位置検出処理部により、視覚注目位置画像領域を検出することができる。
【0019】
第４の発明は、第３の発明であって、同一レーン検出処理部は、映像信号を構成するフレーム画像上において、視覚注目位置画像領域の近辺に存在する物体がないか判定し、当該判定の結果、視覚注目位置画像領域の近辺に存在する物体があると判定した場合、車両から当該物体までの距離を、距離ｄ＿ｓａｌｉｅｎｃｙとして取得する。そして、警告信号生成処理部は、同一レーン検出処理部が視覚注目位置画像領域の近辺に存在する物体があると判定した場合であって、車両から視覚注目位置画像領域の近辺に存在する物体までの距離ｄ＿ｓａｌｉｅｎｃｙが所定の閾値Ｔｈよりも小さい場合、「非安全状態」あるいは「危険状態」を示す警告信号を生成する。
【0020】
これにより、この警告信号生成装置では、視覚注目位置画像領域の近辺に存在する物体がある場合においても、適切に、「非安全状態」あるいは「危険状態」を示す警告信号を生成することができる。
【0021】
第５の発明は、走行可能な車両に取り付けられた撮像部により取得される映像信号を用いて、車両が危険な状況になる可能性を示す情報を提示する警告信号を生成する警告信号生成方法であって、速度推定処理ステップと、物体追跡処理ステップと、環境データ分析ステップと、警告信号生成ステップと、を備える。
【0022】
速度推定処理ステップは、映像信号から、オプティカルフローを取得し、オプティカルフローと、撮像部の撮影パラメータとに基づいて、車両の速度を、車両推定速度として、取得するとともに、映像信号から車両の周辺環境を認識する周辺環境認識処理を実行し、当該周辺環境認識処理により取得したデータに基づいて、車両の走行している道路の摩擦係数を取得し、当該摩擦係数と、車両推定速度とに基づいて、車両の安全距離ｄｓａｆｅを取得する。
【0023】
物体追跡処理ステップは、映像信号から、当該映像信号を構成するフレーム画像上において、物体検出処理を実行し、物体検出処理により検出した物体を追跡する処理である物体追跡処理を実行し、当該物体追跡処理の結果データである物体追跡処理結果データを取得する。
【0024】
環境データ分析ステップは、映像信号から、当該映像信号を構成するフレーム画像上において、車両が走行可能領域であるレーンに相当する画像領域を検出する。
【0025】
警告信号生成ステップは、速度推定処理ステップにより取得されたデータと、物体追跡処理結果データと、環境データ分析ステップにより検出されたデータとに基づいて、自車両が安全状態であるか危険状態であるかを示す情報を提示する警告信号を生成する。
【0026】
これにより、第１の発明と同様の効果を奏する警告信号生成方法を実現することができる。
【0027】
第６の発明は、第５の発明である警告信号生成方法をコンピュータに実行させるためのプログラムである。
【0028】
これにより、第１の発明と同様の効果を奏する警告信号生成方法をコンピュータに実行させるためのプログラムを実現することができる。
【発明の効果】
【0029】
本発明によれば、メンテナンスが容易なシンプルな構成により低コストで実現でき、かつ、高精度に、走行可能な車両等の周辺の環境を認識し、当該認識結果に基づいて、当該車両等が危険な状況（例えば、危険な走行状況）になる可能性を示す情報（例えば、アラーム情報）を提示する警告信号を生成する警告信号生成システム、警告信号生成装置、警告信号生成方法、および、プログラムを実現することができる。
【図面の簡単な説明】
【0030】
【図1】第１実施形態に係る警告信号生成システム１０００の概略構成図。
【図2】第１実施形態に係る警告信号生成装置１００の速度推定処理部１の概略構成図。
【図3】第１実施形態に係る警告信号生成装置１００の物体検出追跡処理部２の概略構成図。
【図4】第１実施形態に係る警告信号生成装置１００の環境データ分析処理部３の概略構成図。
【図5】第１実施形態に係る警告信号生成装置１００の警告信号生成部４の概略構成図。
【図6】カメラ座標系とワールド座標系の設定の一例を示す図。
【図7】消失点を求める方法を説明するための図。
【図8】フレーム画像上の２次元座標（ｕ，ｖ）をワールド座標空間の３次元座標（Ｘｗ，Ｙｗ，Ｚｗ）に変換する処理を説明するための図。
【図9】撮像部Ｃ１の撮影パラメータを考慮し、撮像部Ｃ１により取得されたフレーム画像を解析することで、検出された物体ＯＢＪｉまでの距離を取得（推定）する処理を説明するための図。
【図10】警告信号生成システム１０００で取得された警告合成映像信号Ｖｏｕｔにより形成された映像（フレーム画像）と、警告信号が示す状態とを示す図。
【図11】ＣＰＵバス構成を示す図。
【発明を実施するための形態】
【0031】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下説明する。
第１実施形態について、図面を参照しながら、以下説明する。
【0032】
＜１．１：警告信号生成システムの構成＞
図１は、第１実施形態に係る警告信号生成システム１０００の概略構成図である。
図１は、第１実施形態に係る警告信号生成システム１０００の概略構成図である。
【0033】
図２は、第１実施形態に係る警告信号生成装置１００の速度推定処理部１の概略構成図である。
【0034】
図３は、第１実施形態に係る警告信号生成装置１００の物体検出追跡処理部２の概略構成図である。
【0035】
図４は、第１実施形態に係る警告信号生成装置１００の環境データ分析処理部３の概略構成図である。
【0036】
図５は、第１実施形態に係る警告信号生成装置１００の警告信号生成部４の概略構成図である。
【0037】
警告信号生成システム１０００は、図１に示すように、撮像部Ｃ１と、撮影パラメータ取得部Ｃ２と、警告信号生成装置１００と、警告合成映像取得部Ｃ３と、を備える。
【0038】
なお、警告信号生成システム１０００は、走行可能な車両（例えば、自動車）に搭載され、当該車両の周辺の環境およびその変化を認識し、当該認識結果に基づいて、当該車両等が危険な状況（例えば、危険な走行状況）になる可能性を示す情報である警告信号を取得するものとして、以下、説明する。
【0039】
撮像部Ｃ１は、走行可能な車両（例えば、自動車）に取り付けられ、車両の前方の映像（映像信号）を取得する。撮像部Ｃ１は、被写体等からの光を集光する光学系（１または複数のレンズから構成される光学系）と、ＣＭＯＳイメージセンサ等の撮像素子とを備える構成を有している。そして、撮像部Ｃ１は、取得した映像信号を映像信号Ｖｉｎ（所定のフレームレートでフレーム画像を形成することができる映像信号）として警告信号生成装置１００に出力する。
【0040】
撮影パラメータ取得部Ｃ２は、撮像部Ｃ１の撮影パラメータ（撮像点（カメラの位置（例えば、撮像素子の撮像素子面の中心点））、焦点位置、焦点距離、画角、視野角、カメラ光学系の光軸の情報（光軸の向き等）等）を取得する機能部である。そして、撮影パラメータ取得部Ｃ２は、取得した撮像部Ｃ１の撮影パラメータを含むデータを、データＤ＿ｃａｍ＿ｐｒｍとして、警告信号生成装置１００に出力する。なお、撮像部Ｃ１の撮影パラメータは、撮像部Ｃ１が車両に取り付けられたときに、既知となる情報であるので、撮影パラメータ取得部Ｃ２は、予め、撮像部Ｃ１の撮影パラメータを記憶保持しているものであってもよい。
【0041】
警告信号生成装置１００は、図１に示すように、速度推定処理部１と、物体検出追跡処理部２と、環境データ分析処理部３と、警告信号生成部４とを備える。
【0042】
速度推定処理部１は、図２に示すように、第１入力データ調整部１１と、静止物体検出部１２Ａと、オプティカルフロー取得処理部１２と、推定速度取得部１３と、周辺環境認識部１４と、摩擦係数取得部１５と、安全距離推定部１６と、を備える。
【0043】
第１入力データ調整部１１は、撮像部Ｃ１から出力される映像信号Ｖｉｎを入力し、後段の機能部が要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を実行し、当該調整処理後のデータを後段の機能部に出力する。具体的には、第１入力データ調整部１１は、オプティカルフロー取得処理部１２が、オプティカルフロー取得処理部１２への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ１１として、静止物体検出部１２Ａおよびオプティカルフロー取得処理部１２に出力する。また、第１入力データ調整部１１は、周辺環境認識部１４が、周辺環境認識部１４への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ１２として、周辺環境認識部１４に出力する。
【0044】
なお、第１入力データ調整部１１で実行される入力データ調整処理としては、例えば、以下の処理が挙げられる。当該入力データ調整処理は、下記のいずれかの処理により実現されるものであってもよいし、下記の１または複数の処理の一部または全部を組み合わせることにより実現されるものであってもよい。
（１）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定のフレーム数のフレーム画像を形成する映像信号（各フレーム画像を構成する画像信号の集合（要求されるフレーム数分の画像信号））を取得（抽出）する処理。
（２）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の特徴量を抽出した画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（３）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の画像サイズの画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（４）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の色空間の画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理（カラー画像の階調を調整した画像信号または映像信号を取得する処理や、グレースケール画像や白黒２値画像に変換した画像信号または映像信号を取得する処理を含む）。
（１）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定のフレーム数のフレーム画像を形成する映像信号（各フレーム画像を構成する画像信号の集合（要求されるフレーム数分の画像信号））を取得（抽出）する処理。
（２）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の特徴量を抽出した画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（３）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の画像サイズの画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（４）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の色空間の画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理（カラー画像の階調を調整した画像信号または映像信号を取得する処理や、グレースケール画像や白黒２値画像に変換した画像信号または映像信号を取得する処理を含む）。
【0045】
静止物体検出部１２Ａは、第１入力データ調整部１１から出力されるデータＤ１１を入力し、データＤ１１に対して、静止物体を検出する処理（静止物体検出処理）を実行する。そして、静止物体検出部１２Ａは、当該処理の結果データ（検出した静止物体の画像上の位置を特定するデータ）を含むデータを、データＤ＿ｄｅｔ＿ｓｔとして、オプティカルフロー取得処理部１２に出力する。なお、静止物体検出部１２Ａは、静止物体検出処理により、フレーム画像上において検出した静止物体がフレーム画像上からなくなるまで（見えなくなるまで）、検出した静止物体を追跡し続け、検出した静止物体がフレーム画像上からなくなった場合、静止物体検出処理を実行し、新たにフレーム画像上の静止物体を検出する。
【0046】
オプティカルフロー取得処理部１２は、第１入力データ調整部１１から出力されるデータＤ１１と、静止物体検出部１２Ａから出力されるデータＤ＿ｄｅｔ＿ｓｔとを入力し、データＤ＿ｄｅｔ＿ｓｔに基づいて、データＤ１１に対して、オプティカルフロー取得処理を実行し、当該処理結果データ（データＤ＿ｄｅｔ＿ｓｔにより特定される静止物体のオプティカルフローのデータ、および、静止物体以外の物体、領域等のオプティカルフローのデータ）を取得する。そして、オプティカルフロー取得処理部１２は、取得した処理結果データを含むデータを、データＤ１１Ａとして、推定速度取得部１３に出力する。また、オプティカルフロー取得処理部１２は、取得した処理結果データを含むデータを、データＤｏ１＿ｏｐｔｆｌｗとして、警告信号生成部４に出力する。
【0047】
推定速度取得部１３は、オプティカルフロー取得処理部１２から出力されるデータＤ１１Ａと、撮影パラメータ取得部Ｃ２から出力されるデータＤ＿ｃａｍ＿ｐｒｍとを入力する。推定速度取得部１３は、データＤ＿ｃａｍ＿ｐｒｍに含まれる撮影パラメータを考慮し、当該データＤ１１Ａに含まれるオプティカルフロー取得処理結果データ（データＤ＿ｄｅｔ＿ｓｔにより特定される静止物体のオプティカルフローのデータ）を用いた解析処理を行うことで、自車両の走行速度ｖを推定（取得）する。推定速度取得部１３は、推定（取得）した自車両の走行速度ｖを含むデータを、データＤ１１Ｂとして、安全距離推定部１６に出力する。
【0048】
周辺環境認識部１４は、第１入力データ調整部１１から出力されるデータＤ１２を入力し、当該データＤ１２を用いて、自車両の周辺環境を認識する処理（例えば、自車両が存在する環境の天気、および、自車両が走行している道路表面の状況を認識する処理）を実行する。そして、周辺環境認識部１４は、上記認識処理の結果を含むデータを、データＤ１２Ａとして、摩擦係数取得部１５に出力する。
【0049】
摩擦係数取得部１５は、周辺環境認識部１４から出力されるデータＤ１２Ａを入力し、当該データＤ１２Ａに基づいて、自車両が走行している道路の摩擦係数μを推定（取得）する処理を行う。そして、摩擦係数取得部１５は、推定（取得）した、自車両が走行している道路の摩擦係数μを含むデータを、データＤ１２Ｂとして、安全距離推定部１６に出力する。
【0050】
安全距離推定部１６は、推定速度取得部１３から出力されるデータＤ１１Ｂと、摩擦係数取得部１５から出力されるデータＤ１２Ｂとを入力する。安全距離推定部１６は、データＤ１１Ｂに含まれる自車両の走行速度ｖと、データＤ１２Ｂに含まれる、自車両が走行している道路の摩擦係数μとに基づいて、安全距離ｄｓａｆｅを取得する。そして、安全距離推定部１６は、取得した安全距離ｄｓａｆｅと自車両の走行速度ｖとを含むデータを、データＤｏ１として、警告信号生成部４に出力する。
【0051】
物体検出追跡処理部２は、図３に示すように、第２入力データ調整部２１と、物体検出処理部２２と、物体追跡処理部２３とを備える。
【0052】
第２入力データ調整部２１は、撮像部Ｃ１から出力される映像信号Ｖｉｎを入力し、後段の機能部が要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を実行し、当該調整処理後のデータを後段の機能部に出力する。具体的には、第２入力データ調整部２１は、物体検出処理部２２が、物体検出処理部２２への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ２１として、物体検出処理部２２に出力する。
【0053】
なお、第２入力データ調整部２１で実行される入力データ調整処理としては、例えば、以下の処理が挙げられる。当該入力データ調整処理は、下記のいずれかの処理により実現されるものであってもよいし、下記の１または複数の処理の一部または全部を組み合わせることにより実現されるものであってもよい。
（１）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定のフレーム数のフレーム画像を形成する映像信号（各フレーム画像を構成する画像信号の集合（要求されるフレーム数分の画像信号））を取得（抽出）する処理。
（２）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の特徴量を抽出した画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（３）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の画像サイズの画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（４）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の色空間の画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理（カラー画像の階調を調整した画像信号または映像信号を取得する処理や、グレースケール画像や白黒２値画像に変換した画像信号または映像信号を取得する処理を含む）。
（１）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定のフレーム数のフレーム画像を形成する映像信号（各フレーム画像を構成する画像信号の集合（要求されるフレーム数分の画像信号））を取得（抽出）する処理。
（２）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の特徴量を抽出した画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（３）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の画像サイズの画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（４）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の色空間の画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理（カラー画像の階調を調整した画像信号または映像信号を取得する処理や、グレースケール画像や白黒２値画像に変換した画像信号または映像信号を取得する処理を含む）。
【0054】
物体検出処理部２２は、第２入力データ調整部２１から出力されるデータＤ２１を入力し、データＤ２１に対して、物体検出処理を実行し、物体検出処理結果データを取得する。そして、物体検出処理部２２は、取得した物体検出処理結果データを含むデータを、データＤ２２として、物体追跡処理部２３に出力する。
【0055】
物体追跡処理部２３は、第２入力データ調整部２１から出力されるデータＤ２１と、物体検出処理部２２から出力されるデータＤ２２とを入力し、データＤ２１およびデータＤ２２を用いて物体追跡処理を実行し、物体追跡処理結果データを取得する。そして、物体追跡処理部２３は、物体追跡処理結果データを含むデータを、データＤｏ２として、警告信号生成部４に出力する。
【0056】
環境データ分析処理部３は、図４に示すように、第３入力データ調整部３１と、レーン位置検出処理部３２と、視覚注目位置検出処理部３３と、を備える。
【0057】
第３入力データ調整部３１は、撮像部Ｃ１から出力される映像信号Ｖｉｎを入力し、後段の機能部が要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を実行し、当該調整処理後のデータを後段の機能部に出力する。具体的には、第３入力データ調整部３１は、レーン位置検出処理部３２が、レーン位置検出処理部３２への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ３１として、レーン位置検出処理部３２に出力する。また、第３入力データ調整部３１は、視覚注目位置検出処理部３３が、視覚注目位置検出処理部３３への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ３２として、視覚注目位置検出処理部３３に出力する。
【0058】
なお、第３入力データ調整部３１で実行される入力データ調整処理としては、例えば、以下の処理が挙げられる。当該入力データ調整処理は、下記のいずれかの処理により実現されるものであってもよいし、下記の１または複数の処理の一部または全部を組み合わせることにより実現されるものであってもよい。
（１）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定のフレーム数のフレーム画像を形成する映像信号（各フレーム画像を構成する画像信号の集合（要求されるフレーム数分の画像信号））を取得（抽出）する処理。
（２）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の特徴量を抽出した画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（３）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の画像サイズの画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（４）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の色空間の画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理（カラー画像の階調を調整した画像信号または映像信号を取得する処理や、グレースケール画像や白黒２値画像に変換した画像信号または映像信号を取得する処理を含む）。
（１）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定のフレーム数のフレーム画像を形成する映像信号（各フレーム画像を構成する画像信号の集合（要求されるフレーム数分の画像信号））を取得（抽出）する処理。
（２）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の特徴量を抽出した画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（３）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の画像サイズの画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理。
（４）後段の機能部が、当該機能部への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎから、所定の色空間の画像信号または映像信号（フレーム画像を形成する画像信号の集合）を取得する処理（カラー画像の階調を調整した画像信号または映像信号を取得する処理や、グレースケール画像や白黒２値画像に変換した画像信号または映像信号を取得する処理を含む）。
【0059】
レーン位置検出処理部３２は、第３入力データ調整部３１から出力されるデータＤ３１を入力し、データＤ３１に対して、レーン位置検出処理を実行し、レーン位置検出処理結果データを取得する。そして、レーン位置検出処理部３２は、取得したレーン位置検出処理結果データを含むデータを、データＤｏ３１として、警告信号生成部４に出力する。
【0060】
視覚注目位置検出処理部３３は、第３入力データ調整部３１から出力されるデータＤ３２を入力し、データＤ３２に対して、視覚注目位置検出処理を実行し、視覚注目位置検出処理結果データを取得する。そして、視覚注目位置検出処理部３３は、取得した視覚注目位置検出処理結果データを含むデータを、データＤｏ３２として、警告信号生成部４に出力する。
【0061】
警告信号生成部４は、図５に示すように、自車両－物体間距離取得処理部４０と、同一レーン検出処理部４１と、警告信号生成処理部４２と、を備える。
【0062】
自車両－物体間距離取得処理部４０は、速度推定処理部１のオプティカルフロー取得処理部１２から出力されるデータＤｏ１＿ｏｐｔｆｌｗと、物体検出追跡処理部２から出力されるデータＤｏ２と、撮影パラメータ取得部Ｃ２から出力されるデータＤ＿ｃａｍ＿ｐｒｍとを入力し、データＤｏ１＿ｏｐｔｆｌｗと、データＤｏ２と、データＤ＿ｃａｍ＿ｐｒｍとに基づいて、自車両－物体間距離取得処理を実行する。そして、自車両－物体間距離取得処理部は、当該処理結果を含むデータを、データＤ４０として、同一レーン検出処理部４１に出力する。
【0063】
同一レーン検出処理部４１は、物体検出追跡処理部２から出力されるデータＤｏ２と、環境データ分析処理部３から出力されるデータＤｏ３１およびＤｏ３２と、撮影パラメータ取得部Ｃ２から出力されるデータＤ＿ｃａｍ＿ｐｒｍと、自車両－物体間距離取得処理部４０から出力されるデータＤ４０とを入力する。同一レーン検出処理部４１は、データＤｏ２、Ｄｏ３１、Ｄｏ３２、データＤ４０、および、データＤ＿ｃａｍ＿ｐｒｍを用いて、同一レーン検出処理を実行し、同一レーン検出処理結果データを取得する。そして、同一レーン検出処理部４１は、取得した同一レーン検出処理結果データを含むデータを、データＤｏ４１として、警告信号生成処理部４２に出力する。
【0064】
警告信号生成処理部４２は、速度推定処理部１から出力されるデータＤｏ１と、同一レーン検出処理部４１から出力されるデータＤ４１とを入力する。警告信号生成処理部４２は、データＤｏ１およびデータＤ４１を用いて警告信号生成処理を実行し、警告信号を生成する。そして、警告信号生成処理部４２は、生成した警告信号を含むデータを、データＤ＿ａｌａｒｍとして警告合成映像取得部Ｃ３に出力する。
【0065】
警告合成映像取得部Ｃ３は、撮像部Ｃ１から出力される映像信号Ｖｉｎと、警告信号生成装置１００の警告信号生成部４から出力されるデータＤ＿ａｌａｒｍとを入力する。警告合成映像取得部Ｃ３は、映像信号Ｖｉｎに、データＤ＿ａｌａｒｍに含まれる情報を合成し、合成映像を取得する処理を実行し、当該処理により取得された合成映像信号（合成映像を形成する映像信号）を、警告合成映像信号Ｖｏｕｔとして出力する。
【0066】
＜１．２：警告信号生成システムの動作＞
以上のように構成された警告信号生成システム１０００の動作について説明する。
以上のように構成された警告信号生成システム１０００の動作について説明する。
【0067】
以下では、一例として、警告信号生成システム１０００が自動車（走行可能な車両の一例）に搭載され、撮像部Ｃ１が当該自動車の前方の映像を撮影するために当該自動車の前方を撮影できる位置（当該自動車の所定の位置）に取り付けられたドライブレコーダの撮像部（ドライブレコーダーのカメラ）である場合について説明する。
【0068】
撮像部Ｃ１は、自動車（車両）の前方の映像（映像信号）を取得する。そして、撮像部Ｃ１は、取得した映像信号を映像信号Ｖｉｎ（所定のフレームレートでフレーム画像を形成することができる映像信号）として警告信号生成装置１００に出力する。
【0069】
撮影パラメータ取得部Ｃ２は、撮像部Ｃ１の撮影パラメータ（撮像点（カメラの位置（例えば、撮像素子の撮像素子面の中心点））、焦点位置、焦点距離、画角、視野角、カメラ光学系の光軸の情報（光軸の向き等）等）を取得し、取得した撮像部Ｃ１の撮影パラメータを含むデータを、データＤ＿ｃａｍ＿ｐｒｍとして、警告信号生成装置１００に出力する。なお、撮像部Ｃ１の撮影パラメータは、撮像部Ｃ１が自動車（車両）に取り付けられたときに、既知となる情報であるので、撮影パラメータ取得部Ｃ２は、予め、撮像部Ｃ１の撮影パラメータを記憶保持しているものであってもよい。
【0070】
速度推定処理部１の第１入力データ調整部１１は、撮像部Ｃ１から出力される映像信号Ｖｉｎを入力し、後段の機能部が要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を実行し、当該調整処理後のデータを後段の機能部に出力する。具体的には、第１入力データ調整部１１は、オプティカルフロー取得処理部１２が、オプティカルフロー取得処理部１２への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ１１として、オプティカルフロー取得処理部１２に出力する。また、第１入力データ調整部１１は、周辺環境認識部１４が、周辺環境認識部１４への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ１２として、静止物体検出部１２Ａおよびオプティカルフロー取得処理部１２に出力する。
【0071】
静止物体検出部１２Ａは、第１入力データ調整部１１から出力されるデータＤ１１に対して、静止物体を検出する処理（静止物体検出処理）を実行する。具体的には、静止物体検出部１２Ａは、データＤ１１から取得されるフレーム画像上において、静止物体（例えば、木、建物、道路表面等の静止している物体）を画像解析処理（例えば、物体検出処理）により検出する。そして、静止物体検出部１２Ａは、フレーム画像上において、検出した静止物体に相当する画像領域内の１点を追跡対象点Ｐ０に設定する。静止物体検出部１２Ａは、上記処理の結果データ（追跡対象点Ｐ０のフレーム画像上の位置を特定するデータ）を含むデータを、データＤ＿ｄｅｔ＿ｓｔとして、オプティカルフロー取得処理部１２に出力する。なお、静止物体検出部１２Ａは、静止物体検出処理により、フレーム画像上において検出した静止物体がフレーム画像上からなくなるまで（見えなくなるまで）、検出した静止物体（追跡対象点Ｐ０）を追跡し続け、検出した静止物体がフレーム画像上からなくなった場合、静止物体検出処理を実行し、新たにフレーム画像上の静止物体を検出し、新たな追跡対象点Ｐ０を取得する。
【0072】
オプティカルフロー取得処理部１２は、第１入力データ調整部１１から出力されるデータＤ１１と、静止物体検出部１２Ａから出力されるデータＤ＿ｄｅｔ＿ｓｔ（追跡対象点Ｐ０のフレーム画像上の位置を特定するデータ）とを用いて、オプティカルフロー取得処理を実行し、追跡対象点Ｐ０のオプティカルフローを取得する。
【0073】
具体的には、オプティカルフロー取得処理部１２は、データＤ１１から、時系列で連続するフレーム画像を取得し、当該時系列で連続するフレーム画像に対して、オプティカルフロー取得処理を実行し、画素ごとに動きベクトルを取得し、取得した動きベクトルに対応する値を画素値とするオプティカルフロー画像（各画素が動きベクトルに対応する値である画像）を取得する。そして、オプティカルフロー取得処理部１２は、取得したオプティカルフロー画像から、追跡対象点Ｐ０のオプティカルフローを取得する。
【0074】
例えば、オプティカルフロー取得処理部１２は、下記文献に開示されているモデル（ＲＡＦＴモデル、RAFT: Recurrent All-Pairs Field Transforms for Optical Flow）を用いて、オプティカルフロー取得処理を実行する。
（文献Ａ）：Zachary Teed and Jia Deng, "RAFT: Recurrent All-Pairs Field Transforms for Optical Flow," 2020.
なお、撮像部Ｃ１から出力される映像信号Ｖｉｎがｎ個（ｎ：２以上の自然数）のフレーム画像から構成される場合、つまり、Ｖｉｎ＝｛Ｆ１，Ｆ２，・・・，Ｆｎ｝（Ｆｋ：ｋ番目（ｋ：自然数、１≦ｋ≦ｎ）のフレーム画像）である場合であって、オプティカルフロー取得処理部１２が、ＲＡＦＴモデル（映像信号（時系列に連続するフレーム画像）からオプティカルフローを取得する学習済みモデル）を用いて、オプティカルフロー取得処理を実行する場合、ＲＡＦＴモデルの特徴エンコーダ（Feature encoder）には、時系列に連続する２つのフレーム画像（フレーム画像Ｆｎ－１，Ｆｎ）を入力し、ＲＡＦＴモデルのコンテキストエンコーダ（Context encoder）には、１つのフレーム画像（フレーム画像Ｆｎ－１）を入力し、ＲＡＦＴモデルから出力されるオプティカルフロー（オプティカルフロー画像）を取得する。すなわち、オプティカルフロー取得処理部１２は、下記数式に相当する処理（ＲＡＦＴモデルを用いて、オプティカルフロー取得処理）を実行し、オプティカルフローＯＦｎを取得する。
ＯＦｎ：ＲＡＦＴモデルにより取得されるオプティカルフロー
ＲＡＦＴ（）：ＲＡＦＴモデルにより実行される処理に相当する関数
そして、オプティカルフロー取得処理部１２は、取得したオプティカルフロー画像（上記処理により取得される各画素の画素値をオプティカルフローの値（各画素に対応する点の第ｎ－１フレームから第ｎフレームまでの動きベクトルの値）とした画像）から、追跡対象点Ｐ０のオプティカルフロー（追跡対象点Ｐ０の第ｎ－１フレームから第ｎフレームまでの動きベクトル（フレーム画像上の追跡対象点Ｐ０のｘ方向の移動量およびｙ方向の移動量））を取得する。
（文献Ａ）：Zachary Teed and Jia Deng, "RAFT: Recurrent All-Pairs Field Transforms for Optical Flow," 2020.
なお、撮像部Ｃ１から出力される映像信号Ｖｉｎがｎ個（ｎ：２以上の自然数）のフレーム画像から構成される場合、つまり、Ｖｉｎ＝｛Ｆ１，Ｆ２，・・・，Ｆｎ｝（Ｆｋ：ｋ番目（ｋ：自然数、１≦ｋ≦ｎ）のフレーム画像）である場合であって、オプティカルフロー取得処理部１２が、ＲＡＦＴモデル（映像信号（時系列に連続するフレーム画像）からオプティカルフローを取得する学習済みモデル）を用いて、オプティカルフロー取得処理を実行する場合、ＲＡＦＴモデルの特徴エンコーダ（Feature encoder）には、時系列に連続する２つのフレーム画像（フレーム画像Ｆｎ－１，Ｆｎ）を入力し、ＲＡＦＴモデルのコンテキストエンコーダ（Context encoder）には、１つのフレーム画像（フレーム画像Ｆｎ－１）を入力し、ＲＡＦＴモデルから出力されるオプティカルフロー（オプティカルフロー画像）を取得する。すなわち、オプティカルフロー取得処理部１２は、下記数式に相当する処理（ＲＡＦＴモデルを用いて、オプティカルフロー取得処理）を実行し、オプティカルフローＯＦｎを取得する。
【数1】
ＲＡＦＴ（）：ＲＡＦＴモデルにより実行される処理に相当する関数
そして、オプティカルフロー取得処理部１２は、取得したオプティカルフロー画像（上記処理により取得される各画素の画素値をオプティカルフローの値（各画素に対応する点の第ｎ－１フレームから第ｎフレームまでの動きベクトルの値）とした画像）から、追跡対象点Ｐ０のオプティカルフロー（追跡対象点Ｐ０の第ｎ－１フレームから第ｎフレームまでの動きベクトル（フレーム画像上の追跡対象点Ｐ０のｘ方向の移動量およびｙ方向の移動量））を取得する。
【0075】
そして、オプティカルフロー取得処理部１２は、上記処理により取得したデータ（追跡対象点Ｐ０のオプティカルフロー）を含むデータを、データＤ１１Ａとして、推定速度取得部１３に出力する。
【0076】
また、オプティカルフロー取得処理部１２は、上記処理により取得したデータ（データＤ＿ｄｅｔ＿ｓｔにより特定される静止物体のオプティカルフローのデータ、および、静止物体以外の物体、領域等のオプティカルフローのデータ（例えば、オプティカルフロー画像データ））を、データＤｏ１＿ｏｐｔｆｌｗとして、警告信号生成部４に出力する。
【0077】
推定速度取得部１３は、オプティカルフロー取得処理部１２から出力されるデータＤ１１Ａと、撮影パラメータ取得部Ｃ２から出力されるデータＤ＿ｃａｍ＿ｐｒｍとを入力する。推定速度取得部１３は、データＤ＿ｃａｍ＿ｐｒｍに含まれる撮影パラメータを考慮し、当該データＤ１１Ａに含まれるオプティカルフローを用いた解析処理を行うことで、自車両の走行速度ｖを推定（取得）する。
【0078】
具体的には、推定速度取得部１３は、データＤ１１Ａに含まれるオプティカルフローを用いて、以下の処理を実行することで、自動車（自車両）の相対速度ｖ（ｐ，ｓ）を取得する。
【0079】
なお、静止物体検出部１２Ａは、静止物体検出処理により、フレーム画像上において検出した静止物体がフレーム画像上からなくなるまで（見えなくなるまで）、検出した静止物体を追跡し続け、検出した静止物体がフレーム画像上からなくなった場合、静止物体検出処理を実行し、新たにフレーム画像上の静止物体を検出する。
【0080】
ここで、撮像部Ｃ１により取得された映像信号Ｖｉｎにおいて、第ｋフレーム画像（ｋ：自然数）が取得された時刻から第ｋ＋Ｍフレーム画像（Ｍ：自然数）が取得された時刻までの期間において、静止物体検出部１２Ａにより検出された静止物体（追跡対象点Ｐ０）がフレーム画像上に存在する場合（一例）の自車両の速度を推定（取得）する処理について、説明する。なお、撮像部Ｃ１により取得された映像信号ＶｉｎのフレームレートをＮ［ｆｐｓ］とし、また、第ｉ－１フレーム画像が取得された時刻から第ｉフレーム画像が取得された時刻までの追跡対象点Ｐ０のフレーム画像上のｘ方向の移動量をｕｉとし、ｙ方向の移動量をｖｉとする。
【0081】
推定速度取得部１３は、下記数式に相当する処理を行うことで、自車両の相対速度ｖ（ｐ，ｓ）（フレーム画像上における静止物体の移動量（単位は画素数）から導出される速度（１秒間の移動量））を取得する。
Ｎ：フレームレート（ｆｐｓ）
Ｍ：静止物体検出部１２Ａにより検出された静止物体（追跡対象点Ｐ０）がフレーム画像上に存在するフレーム数
ｕｉ：第ｉ－１フレーム画像が取得された時刻から第ｉフレーム画像が取得された時刻までの追跡対象点Ｐ０のフレーム画像上のｘ方向の移動量（単位は、画素数）
ｖｉ：第ｉ－１フレーム画像が取得された時刻から第ｉフレーム画像が取得された時刻までの追跡対象点Ｐ０のフレーム画像上のｙ方向の移動量（単位は、画素数）
なお、フレームレートＮ［ｆｐｓ］は、撮像部Ｃ１で映像信号Ｖｉｎを取得するときのフレームレートであり、データＤ＿ｃａｍ＿ｐｒｎに含められているものとする。
【数2】
Ｍ：静止物体検出部１２Ａにより検出された静止物体（追跡対象点Ｐ０）がフレーム画像上に存在するフレーム数
ｕｉ：第ｉ－１フレーム画像が取得された時刻から第ｉフレーム画像が取得された時刻までの追跡対象点Ｐ０のフレーム画像上のｘ方向の移動量（単位は、画素数）
ｖｉ：第ｉ－１フレーム画像が取得された時刻から第ｉフレーム画像が取得された時刻までの追跡対象点Ｐ０のフレーム画像上のｙ方向の移動量（単位は、画素数）
なお、フレームレートＮ［ｆｐｓ］は、撮像部Ｃ１で映像信号Ｖｉｎを取得するときのフレームレートであり、データＤ＿ｃａｍ＿ｐｒｎに含められているものとする。
【0082】
そして、推定速度取得部１３は、下記数式に相当する処理を実行することで、上記により取得した自車両の相対速度ｖ（ｐ，ｓ）を、自車両の速度（推定速度）（単位はｋｍ／ｈ）に変換する。
ＣＲｃ：フレーム画像上の距離（単位は、画素数）を実際の距離に変換するための係数であり、撮像部Ｃ１の撮影パラメータ（撮像点（カメラの位置（例えば、撮像素子の撮像素子面の中心点））、焦点位置、焦点距離、画角、視野角、カメラ光学系の光軸の情報（光軸の向き等）等）を考慮して決定される係数（変換係数）
なお、係数ＣＲｃは、実サイズが既知である物体（静止物体）（フレーム画像上で検出された実サイズが既知である物体（静止物体））に基づいて、あるいは、撮像部Ｃ１の焦点距離および撮像部Ｃ１の位置に基づいて、自動的に算出されるものであってもよい。実サイズが既知である物体（静止物体）としては、例えば、道路標識、道路のフェンス、消火栓等が考えられる。
【数3】
なお、係数ＣＲｃは、実サイズが既知である物体（静止物体）（フレーム画像上で検出された実サイズが既知である物体（静止物体））に基づいて、あるいは、撮像部Ｃ１の焦点距離および撮像部Ｃ１の位置に基づいて、自動的に算出されるものであってもよい。実サイズが既知である物体（静止物体）としては、例えば、道路標識、道路のフェンス、消火栓等が考えられる。
【0083】
また、推定速度取得部１３は、上記処理により取得（推定）した自動車（車両）の実速度ｖ（ｋｍ，ｈ）（第ｎフレーム画像が取得されたときに上記処理により取得（推定）される自動車（車両）の実速度をｖｎ
（ｋｍ）（単位はｋｍ／ｈ）と表記する）を分速（単位はｍ／ｓ）に単位変換した自動車（車両）の実速度ｖｎ
（ｍ）（これを単に「ｖ」と表記する）（速度ｖｎ
（ｋｍ）を単位変換した速度）を取得する。
【0084】
なお、推定速度取得部１３は、上記（数式２）の処理の代わりに、下記数式に相当する処理を行うことで、自車両の相対速度ｖ（ｐ，ｓ）を取得するようにしてもよい。
Ｆ（ｖｉ
（ｐ，ｓ），ｐｏｓ（Ｐ０，ｉ））：第ｉフレーム画像が取得された時刻における追跡対象点Ｐ０のフレーム画像上の速度（相対速度）ｖｉ
（ｐ，ｓ）を、第ｉフレーム画像が取得された時刻における追跡対象点Ｐ０のフレーム画像上の位置ｐｏｓ（Ｐ０，ｉ）、および、撮像部Ｃ１の撮影パラメータ（撮像点（カメラの位置（例えば、撮像素子の撮像素子面の中心点））、焦点位置、焦点距離、画角、視野角、カメラ光学系の光軸の情報（光軸の向き等）等）に基づいて、補正した速度（フレーム画像上の速度（相対速度））を取得する関数
ｐｏｓ（Ｐ０，ｉ）：第ｉフレーム画像が取得された時刻における追跡対象点Ｐ０のフレーム画像上の位置を取得する関数
なお、上記関数Ｆ（）は、撮像部Ｃ１の撮影パラメータに基づいて、第ｉフレーム画像が取得された時刻における追跡対象点Ｐ０のフレーム画像上の速度（相対速度）ｖｉ （ｐ，ｓ）を修正する関数である。例えば、物体の速度が同一である場合であっても、撮像部Ｃ１に近い位置にある物体のオプティカルフロー（フレーム画像上の一定時間における移動距離）は大きくなり、撮像部Ｃ１に遠い位置にある物体のオプティカルフローは小さくなる。したがって、上記関数Ｆ（）を、物体のフレーム画像上の位置に応じて、撮像部Ｃ１の撮影パラメータに基づき、オプティカルフローで取得される画像上の距離（相対速度）を補正する関数とすることで、物体の速度が同一である場合、撮像部Ｃ１に近い位置にある物体の相対速度（フレーム画像上の速度）と、撮像部Ｃ１に遠い位置にある物体の相対速度とを同一（あるいは略同一）とすることができる。
【数4】
ｐｏｓ（Ｐ０，ｉ）：第ｉフレーム画像が取得された時刻における追跡対象点Ｐ０のフレーム画像上の位置を取得する関数
なお、上記関数Ｆ（）は、撮像部Ｃ１の撮影パラメータに基づいて、第ｉフレーム画像が取得された時刻における追跡対象点Ｐ０のフレーム画像上の速度（相対速度）ｖｉ （ｐ，ｓ）を修正する関数である。例えば、物体の速度が同一である場合であっても、撮像部Ｃ１に近い位置にある物体のオプティカルフロー（フレーム画像上の一定時間における移動距離）は大きくなり、撮像部Ｃ１に遠い位置にある物体のオプティカルフローは小さくなる。したがって、上記関数Ｆ（）を、物体のフレーム画像上の位置に応じて、撮像部Ｃ１の撮影パラメータに基づき、オプティカルフローで取得される画像上の距離（相対速度）を補正する関数とすることで、物体の速度が同一である場合、撮像部Ｃ１に近い位置にある物体の相対速度（フレーム画像上の速度）と、撮像部Ｃ１に遠い位置にある物体の相対速度とを同一（あるいは略同一）とすることができる。
【0085】
ここで、関数Ｆ（）の実現方法（一例）について、説明する。
【0086】
撮像部Ｃ１の内部カメラ行列Ｋが下記数式で表されるものとする。また、撮像部Ｃ１が設置されている３次元空間において、所定の位置を原点とするワールド座標系（互いに直交するＸ軸、Ｙ軸、Ｚ軸により規定される３次元空間）、および、撮像部Ｃ１の位置を原点とするカメラ座標系（互いに直交するｘ軸（ピッチ軸）、ｙ軸（ヨー軸）、ｚ軸（ロール軸）により規定される３次元空間）が規定されているものとする。なお、ワールド座標系において、ＸＺ平面は、水平面（自車両が走行している水平面（例えば、道路面））と一致（または略一致）し、Ｚ軸正方向が自車両の進行する方向（前方方向）と一致（または略一致）するものとする。図６に、カメラ座標系（図６中の座標系ＳｙｓＣｏｒｄ＿ｃａｍｅｒａ）とワールド座標系（図６中の座標系ＳｙｓＣｏｒｄ＿ｗｏｒｌｄ）の設定の一例を示す。なお、図６は、一例であり、カメラ座標系において、ｘ軸および／またはｙ軸を、その正方向が図６で示した方向と反対の方向となる軸に設定してもよく、また、ワールド座標系において、Ｘ軸および／またはＹ軸を、その正方向が図６で示した方向と反対の方向となる軸に設定してもよい。
ｆ：焦点距離（撮像部Ｃ１の焦点距離）
ｃｘ＝０．５×Ｗ（撮像部Ｃ１の前方の仮想平面（フレーム）であって、撮像部Ｃ１から距離が焦点距離だけ離れた位置にある仮想平面（撮像部Ｃ１により取得されるフレーム画像に対応）上のｘ方向のオフセット）
ｃｙ＝０．５×Ｈ（撮像部Ｃ１の前方の仮想平面（フレーム）であって、撮像部Ｃ１から距離が焦点距離だけ離れた位置にある仮想平面（撮像部Ｃ１により取得されるフレーム画像）上のｙ方向のオフセット）
Ｗ：撮像部Ｃ１のフレーム（焦点距離だけ離れた位置の仮想平面）の幅（フレームの横方向のサイズ）
Ｈ：撮像部Ｃ１のフレーム（焦点距離だけ離れた位置の仮想平面）の高さ（フレームの縦方向のサイズ）
ＡＦＯＶ＿ｐａｎ：撮像部Ｃ１（カメラ）の水平方向の画角（撮像部Ｃ１（カメラ）のフレーム（焦点距離だけ離れた位置の仮想平面）の左端から右端までの画角）
ＡＦＯＶ＿ｔｉｌｔ：撮像部Ｃ１（カメラ）の垂直方向の画角（撮像部Ｃ１（カメラ）のフレーム（焦点距離だけ離れた位置の仮想平面）の上辺から下辺までの画角）
ｓ：軸歪み係数（撮像部Ｃ１により取得されるフレーム画像に剪断歪みを発生させる光軸の歪み度合いを示す値）
なお、上記データの一部または全部は、撮像部Ｃ１において採用したカメラの仕様から（例えば、ＥＸＩＦ（Exchangeable image file format）ファイルから）取得できる場合、当該でデータを採用するようにしてもよい。
【数5】
ｃｘ＝０．５×Ｗ（撮像部Ｃ１の前方の仮想平面（フレーム）であって、撮像部Ｃ１から距離が焦点距離だけ離れた位置にある仮想平面（撮像部Ｃ１により取得されるフレーム画像に対応）上のｘ方向のオフセット）
ｃｙ＝０．５×Ｈ（撮像部Ｃ１の前方の仮想平面（フレーム）であって、撮像部Ｃ１から距離が焦点距離だけ離れた位置にある仮想平面（撮像部Ｃ１により取得されるフレーム画像）上のｙ方向のオフセット）
Ｗ：撮像部Ｃ１のフレーム（焦点距離だけ離れた位置の仮想平面）の幅（フレームの横方向のサイズ）
Ｈ：撮像部Ｃ１のフレーム（焦点距離だけ離れた位置の仮想平面）の高さ（フレームの縦方向のサイズ）
ＡＦＯＶ＿ｐａｎ：撮像部Ｃ１（カメラ）の水平方向の画角（撮像部Ｃ１（カメラ）のフレーム（焦点距離だけ離れた位置の仮想平面）の左端から右端までの画角）
ＡＦＯＶ＿ｔｉｌｔ：撮像部Ｃ１（カメラ）の垂直方向の画角（撮像部Ｃ１（カメラ）のフレーム（焦点距離だけ離れた位置の仮想平面）の上辺から下辺までの画角）
ｓ：軸歪み係数（撮像部Ｃ１により取得されるフレーム画像に剪断歪みを発生させる光軸の歪み度合いを示す値）
なお、上記データの一部または全部は、撮像部Ｃ１において採用したカメラの仕様から（例えば、ＥＸＩＦ（Exchangeable image file format）ファイルから）取得できる場合、当該でデータを採用するようにしてもよい。
【0087】
ワールド座標空間の点（Ｘｗ，Ｙｗ，Ｚｗ）を、フレーム画像（２次元画像）上の点（ｕ，ｖ）に投影するには、下記数式に相当する処理を実行すればよい。
σ：係数
（Ｒ｜ｔ）：外部カメラ行列（ワールド座標系をカメラ座標系に変換するための行列）
Ｒ：回転行列（回転操作を行うための行列）
ｔ：並進行列（並進操作を行うための行列）
（Ｘｗ，Ｙｗ，Ｚｗ）：ワールド座標空間（３次元空間）のＸ座標（Ｘｗ）、Ｙ座標（Ｙｗ）、およびＺ座標（Ｚｗ）
（ｕ，ｖ）：フレーム画像上のｘ座標（ｕ）およびｙ座標（ｖ）
ここで、消失点について、ワールド座標系をカメラ座標系に変換する処理について考える。上記（数式６）は、下記のように変形することができる。なお、係数σは、ワールド座標系の座標を表す行列の各要素をＺｗで除算した分の変動を吸収した係数であるものとする。
消失点のワールド座標系のＺ軸上の位置は、無限遠であるので、Ｚｗ→∞とすると、上式は、下記数式のようになる。
ｐ∞＝（ｕ∞，ｖ∞，１）Ｔ
ｕ∞：消失点のフレーム画像上のｘ座標
ｖ∞：消失点のフレーム画像上のｙ座標
上記数式から、下記数式が導かれる。
｜｜ｘ｜｜：ｘのノルム
なお、行列の右上の「－１」は、逆行列であることを示し、行列の右上の「Ｔ」は、転置行列であることを示している。
【数6】
（Ｒ｜ｔ）：外部カメラ行列（ワールド座標系をカメラ座標系に変換するための行列）
Ｒ：回転行列（回転操作を行うための行列）
ｔ：並進行列（並進操作を行うための行列）
（Ｘｗ，Ｙｗ，Ｚｗ）：ワールド座標空間（３次元空間）のＸ座標（Ｘｗ）、Ｙ座標（Ｙｗ）、およびＺ座標（Ｚｗ）
（ｕ，ｖ）：フレーム画像上のｘ座標（ｕ）およびｙ座標（ｖ）
ここで、消失点について、ワールド座標系をカメラ座標系に変換する処理について考える。上記（数式６）は、下記のように変形することができる。なお、係数σは、ワールド座標系の座標を表す行列の各要素をＺｗで除算した分の変動を吸収した係数であるものとする。
【数7】
【数8】
ｕ∞：消失点のフレーム画像上のｘ座標
ｖ∞：消失点のフレーム画像上のｙ座標
上記数式から、下記数式が導かれる。
【数9】
なお、行列の右上の「－１」は、逆行列であることを示し、行列の右上の「Ｔ」は、転置行列であることを示している。
【0088】
消失点のフレーム画像上の座標（ｕ∞，ｖ∞）については、例えば、図７に示すように、フレーム画像上において、２つの異なる車線（レーンの境界線）の交点（図７の点Ｐｖａｎｉｓｈに相当する点）を求め、求めた交点のフレーム画像上の座標を、消失点のフレーム画像上の座標（ｕ∞，ｖ∞）に設定すればよい。なお、他のフレーム画像から消失点を取得する手法を用いて、消失点のフレーム画像上の座標（ｕ，ｖ）を取得するようにしてもよい。
【0089】
また、外部カメラ行列（Ｒ｜ｔ）を構成する回転行列Ｒは、下記を満たす。
α：撮像部Ｃ１（カメラ）のヨー角（カメラ座標系のｙ軸（ヨー軸）を回転軸とする回転角）（α＝θｙａｗ）
β：撮像部Ｃ１（カメラ）のピッチ角（カメラ座標系のｘ軸（ピッチ軸）を回転軸とする回転角）（β＝θｐｉｔｃｈ）
γ：撮像部Ｃ１（カメラ）のロール角（カメラ座標系のｚ軸（ロール軸）を回転軸とする回転角）
したがって、（数式９）、（数式１０）より、撮像部Ｃ１（カメラ）のヨー角α、および、ピッチ角βを算出することができる。つまり、
Ｒｘｚ＝－ｃｏｓ（α）ｓｉｎ（β）
Ｒｙｚ＝ｓｉｎ（α）
Ｒｚｚ＝ｃｏｓ（α）ｃｏｓ（β）
であるので、下記数式により撮像部Ｃ１（カメラ）のヨー角α、および、ピッチ角βを算出することができる。
上記により、撮像部Ｃ１（カメラ）のヨー角α、および、ピッチ角βが求められるので、外部カメラ行列（Ｒ｜ｔ）を特定することができる。
【数10】
β：撮像部Ｃ１（カメラ）のピッチ角（カメラ座標系のｘ軸（ピッチ軸）を回転軸とする回転角）（β＝θｐｉｔｃｈ）
γ：撮像部Ｃ１（カメラ）のロール角（カメラ座標系のｚ軸（ロール軸）を回転軸とする回転角）
したがって、（数式９）、（数式１０）より、撮像部Ｃ１（カメラ）のヨー角α、および、ピッチ角βを算出することができる。つまり、
Ｒｘｚ＝－ｃｏｓ（α）ｓｉｎ（β）
Ｒｙｚ＝ｓｉｎ（α）
Ｒｚｚ＝ｃｏｓ（α）ｃｏｓ（β）
であるので、下記数式により撮像部Ｃ１（カメラ）のヨー角α、および、ピッチ角βを算出することができる。
【数11】
【0090】
したがって、実空間（実際の３次元空間）内の点の３次元座標（Ｘｗ，Ｙｗ，Ｚｗ）（ワールド座標系の３次元空間座標）に対応する撮像部Ｃ１で取得されるフレーム画像上の点の２次元座標（ｕ，ｖ）を、下記数式により取得することができる。
そして、下記数式に相当する処理を行うことで、撮像部Ｃ１により取得されるフレーム画像上の点（２次元座標）（ｕ，ｖ）から、当該点の実空間（実際の３次元空間）内の位置（Ｘｗ，Ｙｗ，Ｚｗ）（ワールド座標空間（３次元空間）内の点の位置）を取得することができる。
つまり、関数Ｆ（）（入力をフレーム画像上の２次元座標（ｕ，ｖ）とし、出力をワールド座標系の３次元座標（Ｘｗ，Ｙｗ，Ｚｗ）とする関数）を、上記処理を行う関数とすることで、関数Ｆ（）を実現することができる。なお、上記では、（ｕ，ｖ）を２次元座標として説明したが、ｕをフレーム画像上のｘ軸方向の速度とし、ｖをフレーム画像上のｙ軸方向の速度とし、上記処理と同様の処理を行うことで、３次元空間（ワールド座標空間）における速度（３次元の速度ベクトル）を取得することができる。
【数12】
【数13】
【0091】
図８に、撮像部Ｃ１により取得されたフレーム画像に対して、関数Ｆ（）による処理を施すことで取得される変換後の画像を示す。つまり、図８の右図は、撮像部Ｃ１により取得されたフレーム画像に対して、関数Ｆ（）による処理を施すことで取得される変換後の画像であって、３次元空間（ワールド座標空間）の上方（Ｙ軸方向）から見た場合の画像（ワールド座標空間のＸＺ平面への投影画像）を模式的に示している。図８から分かるように、フレーム画像上では、同一距離（同一速度）の車線等が異なる長さで表示されているが、関数Ｆ（）による変換後の画像（ワールド座標系のＸＹ平面への投影画像）では、同一距離（同一速度）の車線等が同一の長さで表示されている。
【0092】
推定速度取得部１３は、上記処理により推定（取得）した自車両の走行速度ｖ（＝ｖｎ
（ｍ））を含むデータを、データＤ１１Ｂとして、安全距離推定部１６に出力する。
【0093】
周辺環境認識部１４は、第１入力データ調整部１１から出力されるデータＤ１２を入力し、当該データＤ１２を用いて、自車両の周辺環境を認識する処理（例えば、自車両が存在する環境の天気、および、自車両が走行している道路表面の状況を認識する処理）を実行する。
【0094】
具体的には、周辺環境認識部１４は、画像信号（１フレーム画像）あるいは映像信号（時系列に連続するフレーム画像）から自動車（自車両）の周辺環境の天気、および、自車両が走行している道路表面の状況を示すラベルを出力する学習済みモデル（例えば、ＣＮＮ（Convolution Neural Network）により実現される学習済みモデル（クラス分類を行うモデル））を用いて、自車両の周辺環境を認識する処理を実行する。
【0095】
例えば、周辺環境認識部１４は、下記文献に開示されているモデル（ＣＮＮ（Convolution Neural Network）により周辺環境の天気、および、道路表面の状況をクラス分類により認識知るモデル）を用いて、自車両の周辺環境を認識する処理を実行する。
（文献Ｂ）：Md Nasim Khan et.al., "Weather and surface condition detection based on road-side webcams: Application of pre-trained Convolutional Neural Network," International Journal of Transportation Science and Technology
そして、周辺環境認識部１４は、上記認識処理の結果（自動車（自車両）の周辺環境の天気、および、自車両が走行している道路表面の状況を示すラベル（クラス分類結果）の情報）を含むデータを、データＤ１２Ａとして、摩擦係数取得部１５に出力する。
（文献Ｂ）：Md Nasim Khan et.al., "Weather and surface condition detection based on road-side webcams: Application of pre-trained Convolutional Neural Network," International Journal of Transportation Science and Technology
そして、周辺環境認識部１４は、上記認識処理の結果（自動車（自車両）の周辺環境の天気、および、自車両が走行している道路表面の状況を示すラベル（クラス分類結果）の情報）を含むデータを、データＤ１２Ａとして、摩擦係数取得部１５に出力する。
【0096】
摩擦係数取得部１５は、周辺環境認識部１４から出力されるデータＤ１２Ａを入力し、当該データＤ１２Ａに基づいて、自車両が走行している道路の摩擦係数μを推定（取得）する処理を行う（例えば、天気が雨であり、自動車が走行している道路が濡れていると判断される場合、道路の摩擦係数を、天気が晴れで、自動車が走行している道路が乾いていると判断される場合の摩擦係数よりも小さい値とする）。なお、摩擦係数取得部１５は、自動車（自車両）の周辺環境の天気、および、自車両が走行している道路表面の状況を示すラベル（クラス分類結果）に応じて決定される摩擦係数μを、例えば、ＬＵＴ（ルックアップテーブル）で記憶保持していてもよい。
【0097】
そして、摩擦係数取得部１５は、上記により推定（取得）した、自車両が走行している道路の摩擦係数μを含むデータを、データＤ１２Ｂとして、安全距離推定部１６に出力する。
【0098】
安全距離推定部１６は、推定速度取得部１３から出力されるデータＤ１１Ｂと、摩擦係数取得部１５から出力されるデータＤ１２Ｂとを入力する。安全距離推定部１６は、データＤ１１Ｂに含まれる自車両の走行速度ｖと、データＤ１２Ｂに含まれる、自車両が走行している道路の摩擦係数μとに基づいて、安全距離ｄｓａｆｅを取得する。
【0099】
具体的には、安全距離推定部１６は、制動距離（stop distance）ｄｓｔｏｐを、下記数式に相当する処理を実行することで、取得する。なお、安全距離推定部１６は、自動車（自車両）の速度ｖは、データＤ１１Ｂに含まれる速度ｖ（＝＝ｖｎ
（ｍ））であり、摩擦係数μは、データＤ１２Ｂに含まれる摩擦係数μとして、下記数式に相当する処理を実行する。
ｄｓｔｏｐ：制動距離（ｍ）
ｖ：自動車（自車両）の速度（ｍ／ｓ）
μ：摩擦係数
ｇ：重力加速度
さらに、安全距離推定部１６は、上記で取得した制動距離ｄｓｔｏｐを用いて、
ｄｓａｆｅ＝ｄｓｔｏｐ＋ｄｔｈｉｎｋ＋ｄｃｓ
ｄｔｈｉｎｋ：空走距離（運転者が危険を感じてから（障害物の認知）、ブレーキを踏み、ブレーキが実際に利き始めるまでの間に車が走る距離）（例えば、自動車の速度が１０ｍ／ｓ速くなるごとに、３ｍを加算した距離とする）
ｄｃｓ：厳格安全距離（critical safety distance）（ｄｃｓは、２～５ｍ（最低２ｍ））
に相当する処理を実行することで、安全距離ｄｓａｆｅを取得する。
【数14】
ｖ：自動車（自車両）の速度（ｍ／ｓ）
μ：摩擦係数
ｇ：重力加速度
さらに、安全距離推定部１６は、上記で取得した制動距離ｄｓｔｏｐを用いて、
ｄｓａｆｅ＝ｄｓｔｏｐ＋ｄｔｈｉｎｋ＋ｄｃｓ
ｄｔｈｉｎｋ：空走距離（運転者が危険を感じてから（障害物の認知）、ブレーキを踏み、ブレーキが実際に利き始めるまでの間に車が走る距離）（例えば、自動車の速度が１０ｍ／ｓ速くなるごとに、３ｍを加算した距離とする）
ｄｃｓ：厳格安全距離（critical safety distance）（ｄｃｓは、２～５ｍ（最低２ｍ））
に相当する処理を実行することで、安全距離ｄｓａｆｅを取得する。
【0100】
なお、空走距離ｄｔｈｉｎｋは、データＤ１１Ｂに含まれる自車両の速度ｖ（＝ｖｎ
（ｍ））に基づいて、決定される（自車両の速度ｖが大きな値である程、空走距離ｄｔｈｉｎｋは、大きな値となるように決定される）。
【0101】
そして、安全距離推定部１６は、上記により取得した安全距離ｄｓａｆｅと自車両の走行速度ｖとを含むデータを、データＤｏ１として、警告信号生成部４に出力する。
【0102】
物体検出追跡処理部２の第２入力データ調整部２１は、撮像部Ｃ１から出力される映像信号Ｖｉｎを入力し、後段の機能部が要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を実行し、当該調整処理後のデータを後段の機能部に出力する。具体的には、第２入力データ調整部２１は、物体検出処理部２２が、物体検出処理部２２への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ２１として、物体検出処理部２２に出力する。
【0103】
物体検出処理部２２は、第２入力データ調整部２１から出力されるデータＤ２１を入力し、データＤ２１に対して、物体検出処理を実行する。
【0104】
具体的には、物体検出処理部２２は、データＤ２１から、フレーム画像（映像信号Ｖｉｎを構成するフレーム画像）を取得（抽出）し、当該フレーム画像に対して、物体検出処理を実行し、入力されたフレーム画像内において検出された物体の種類を示すラベルと、検出された物体を含むバウンディングボックス（検出された物体が含まれるフレーム画像上での画像領域）を特定する情報とを、物体検出処理結果データとして、取得する。
【0105】
例えば、物体検出処理部２２は、下記文献（プログラムを公開するＨＰのＵＲＬ）に開示されているモデル（ＹＯＬＯｖ５モデル、YOLO: You Only Look Once）（映像信号またはフレーム画像信号から、物体検出結果データを取得する学習済みモデル）を用いて、物体検出処理を実行する。
（文献Ｃ）：ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｕｌｔｒａｌｙｔｉｃｓ／ｙｏｌｏｖ５
なお、物体検出処理により検出されたｉ番目（ｉ：自然数）の物体についてのデータを
（ｘ（ｉ），ｙ（ｉ），ｗ（ｉ），ｈ（ｉ），Ｌａｖｅｌ（ｉ））
ｘ（ｉ）：検出されたｉ番目の物体のバウンディングボックスの重心のｘ座標
ｙ（ｉ）：検出されたｉ番目の物体のバウンディングボックスの重心のｙ座標
ｗ（ｉ）：検出されたｉ番目の物体のバウンディングボックスの幅（横方向の長さ）
ｈ（ｉ）：検出されたｉ番目の物体のバウンディングボックスの高さ（縦方向の長さ）
Ｌａｖｅｌ（ｉ）：検出されたｉ番目の物体の種別を示すラベル（例えば、人、自動車等を示すラベル）
と表す。
（文献Ｃ）：ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｕｌｔｒａｌｙｔｉｃｓ／ｙｏｌｏｖ５
なお、物体検出処理により検出されたｉ番目（ｉ：自然数）の物体についてのデータを
（ｘ（ｉ），ｙ（ｉ），ｗ（ｉ），ｈ（ｉ），Ｌａｖｅｌ（ｉ））
ｘ（ｉ）：検出されたｉ番目の物体のバウンディングボックスの重心のｘ座標
ｙ（ｉ）：検出されたｉ番目の物体のバウンディングボックスの重心のｙ座標
ｗ（ｉ）：検出されたｉ番目の物体のバウンディングボックスの幅（横方向の長さ）
ｈ（ｉ）：検出されたｉ番目の物体のバウンディングボックスの高さ（縦方向の長さ）
Ｌａｖｅｌ（ｉ）：検出されたｉ番目の物体の種別を示すラベル（例えば、人、自動車等を示すラベル）
と表す。
【0106】
そして、物体検出処理部２２は、取得した物体検出処理結果データ（検出された物体の数分のデータ（ｘ（ｉ），ｙ（ｉ），ｗ（ｉ），ｈ（ｉ），Ｌａｖｅｌ（ｉ）））を含むデータを、データＤ２２として、物体追跡処理部２３に出力する。
【0107】
物体追跡処理部２３は、第２入力データ調整部２１から出力されるデータＤ２１と、物体検出処理部２２から出力されるデータＤ２２を入力し、データＤ２１およびデータＤ２２を用いて物体追跡処理を実行する。
【0108】
具体的には、物体追跡処理部２３は、データＤ２１から、フレーム画像（映像信号Ｖｉｎを構成するフレーム画像）を取得（抽出）し、また、データＤ２２から、物体検出処理結果データ（検出された物体の数分のデータ（ｘ（ｉ），ｙ（ｉ），ｗ（ｉ），ｈ（ｉ），Ｌａｖｅｌ（ｉ）））を取得し、時系列に連続するフレーム画像（フレーム画像間）において、物体検出処理部２２により検出された物体（複数の物体であってもよい）がどこへ移動するかを（例えば、カルマンフィルタにより）予測することで物体追跡処理を実行する。これにより、物体追跡処理部２３は、物体追跡処理結果データを取得する。
【0109】
例えば、物体追跡処理部２３は、下記文献に開示されているモデル（ＳＯＲＴモデル、SORT: Simple Online and Realtime Tracking）（映像信号またはフレーム画像信号から、物体追跡結果データを取得する学習済みモデル）を用いて、物体追跡処理を実行する。
（文献Ｄ）：Nicolai Wojke, Alex Bewley, Dietrich Paulus, "SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC." In 2017 IEEE International Conference on Image Processing (ICIP), pages 3645-3649, 2017.
上記ＳＯＲＴモデルを用いる場合、物体追跡処理部２３は、
（ｘ’（ｉ），ｙ’（ｉ），ｗ’（ｉ），ｈ’（ｉ），ψ）＝ＤｅｅｐＳＯＲＴ（ｘ（ｉ），ｙ（ｉ），ｗ（ｉ），ｈ（ｉ））
ＤｅｅｐＳＯＲＴ（）：ＳＯＲＴモデルにより実行される処理に相当する関数
ｘ’（ｉ）：物体追跡処理により取得されたｉ番目の物体のバウンディングボックスの重心のｘ座標
ｙ’（ｉ）：物体追跡処理により取得されたｉ番目の物体のバウンディングボックスの重心のｙ座標
ｗ’（ｉ）：物体追跡処理により取得されたｉ番目の物体のバウンディングボックスの幅（横方向の長さ）
ｈ’（ｉ）：物体追跡処理により取得されたｉ番目の物体のバウンディングボックスの高さ（縦方向の長さ）
ψ：オブジェクト番号
に相当する処理を実行することにより、物体追跡処理結果データ（追跡された物体の数分のデータ（ｘ’（ｉ），ｙ’（ｉ），ｗ’（ｉ），ｈ’（ｉ），ψ））を取得する。そして、物体追跡処理部２３は、物体追跡処理結果データを含むデータを、データＤｏ２として、警告信号生成部４に出力する。
（文献Ｄ）：Nicolai Wojke, Alex Bewley, Dietrich Paulus, "SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC." In 2017 IEEE International Conference on Image Processing (ICIP), pages 3645-3649, 2017.
上記ＳＯＲＴモデルを用いる場合、物体追跡処理部２３は、
（ｘ’（ｉ），ｙ’（ｉ），ｗ’（ｉ），ｈ’（ｉ），ψ）＝ＤｅｅｐＳＯＲＴ（ｘ（ｉ），ｙ（ｉ），ｗ（ｉ），ｈ（ｉ））
ＤｅｅｐＳＯＲＴ（）：ＳＯＲＴモデルにより実行される処理に相当する関数
ｘ’（ｉ）：物体追跡処理により取得されたｉ番目の物体のバウンディングボックスの重心のｘ座標
ｙ’（ｉ）：物体追跡処理により取得されたｉ番目の物体のバウンディングボックスの重心のｙ座標
ｗ’（ｉ）：物体追跡処理により取得されたｉ番目の物体のバウンディングボックスの幅（横方向の長さ）
ｈ’（ｉ）：物体追跡処理により取得されたｉ番目の物体のバウンディングボックスの高さ（縦方向の長さ）
ψ：オブジェクト番号
に相当する処理を実行することにより、物体追跡処理結果データ（追跡された物体の数分のデータ（ｘ’（ｉ），ｙ’（ｉ），ｗ’（ｉ），ｈ’（ｉ），ψ））を取得する。そして、物体追跡処理部２３は、物体追跡処理結果データを含むデータを、データＤｏ２として、警告信号生成部４に出力する。
【0110】
環境データ分析処理部３の第３入力データ調整部３１は、撮像部Ｃ１から出力される映像信号Ｖｉｎを入力し、後段の機能部が要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を実行し、当該調整処理後のデータを後段の機能部に出力する。具体的には、第３入力データ調整部３１は、レーン位置検出処理部３２が、レーン位置検出処理部３２への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ３１として、レーン位置検出処理部３２に出力する。また、第３入力データ調整部３１は、視覚注目位置検出処理部３３が、視覚注目位置検出処理部３３への入力データとして要求する形式のデータとなるように、映像信号Ｖｉｎに対して入力データ調整処理を行い、当該調整処理後のデータを、データＤ３２として、視覚注目位置検出処理部３３に出力する。
【0111】
レーン位置検出処理部３２は、第３入力データ調整部３１から出力されるデータＤ３１を入力し、データＤ３１に対して、レーン位置検出処理を実行する。
【0112】
具体的には、レーン位置検出処理部３２は、データＤ３１から、フレーム画像（映像信号Ｖｉｎを構成するフレーム画像）を取得（抽出）し、当該フレーム画像に対して、レーン位置検出処理を実行し、入力されたフレーム画像内において検出されたレーン境界線の位置、および、レーン（走行可能領域）に相当する画像領域（セグメント化された画像領域）を特定する情報を、レーン位置検出処理結果データとして、取得する。
【0113】
例えば、レーン位置検出処理部３２は、下記文献に開示されているモデル（ＹＯＬＯＰモデル、YOLO: You Only Look Once）（映像信号またはフレーム画像信号から、セグメンテーションを行い、レーン境界線に相当するセグメント、および、レーン（走行可能領域）に相当するセグメントを取得する学習済みモデル）を用いて、レーン位置検出処理を実行する。
（文献Ｅ）：Dong Wu, Manwen Liao, Weitian Zhang, Xinggang Wang, Xiang Bai, Wenqing Cheng, and Wenyu Liu, "YOLOP: You Only Look Once for Panoptic Driving Perception," 2021.
そして、レーン位置検出処理部３２は、上記処理により取得したレーン位置検出処理結果データ（フレーム画像内において検出されたレーン境界線の位置、および、レーン（走行可能領域）に相当する画像領域（セグメント化された画像領域）を特定する情報）を含むデータを、データＤｏ３１として、警告信号生成部４に出力する。
（文献Ｅ）：Dong Wu, Manwen Liao, Weitian Zhang, Xinggang Wang, Xiang Bai, Wenqing Cheng, and Wenyu Liu, "YOLOP: You Only Look Once for Panoptic Driving Perception," 2021.
そして、レーン位置検出処理部３２は、上記処理により取得したレーン位置検出処理結果データ（フレーム画像内において検出されたレーン境界線の位置、および、レーン（走行可能領域）に相当する画像領域（セグメント化された画像領域）を特定する情報）を含むデータを、データＤｏ３１として、警告信号生成部４に出力する。
【0114】
視覚注目位置検出処理部３３は、第３入力データ調整部３１から出力されるデータＤ３２を入力し、データＤ３２に対して、視覚注目位置検出処理を実行する。
【0115】
具体的には、視覚注目位置検出処理部３３は、データＤ３１から、時系列に連続するフレーム画像（映像信号Ｖｉｎを構成するフレーム画像）を取得（抽出）し、当該フレーム画像に対して、視覚注目位置検出処理を実行し、入力されたフレーム画像内において検出された視覚注目位置に相当する画像領域を特定する情報を、視覚注目位置検出処理結果データとして、取得する。
【0116】
例えば、視覚注目位置検出処理部３３は、下記文献に開示されているモデル（ＴＡＳＥＤ－Ｎｅｔモデル、TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network）（映像信号または複数のフレーム画像信号から、顕著な特徴点（saliency）（例えば、突発的に出現した物体）に相当する画像領域を特定したフレーム画像（グレースケール画像）を取得する学習済みモデル）を用いて、視覚注目位置検出処理を実行する。
（文献Ｆ）：Kyle Min and Jason J Corso. "TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network for Video Saliency Detection." In Proceedings of the IEEE International Conference on Computer Vision, pages 2394-2403, 2019.
なお、ＴＡＳＥＤ－Ｎｅｔモデルにより取得される顕著な特徴点（saliency）に相当する映像（フレーム画像）上（撮像部Ｃ１により取得された映像（フレーム画像））の画像領域は、自動車を運転中にドライバーが視覚的に注目している位置と近似するため、視覚注目位置検出処理部３３は、ＴＡＳＥＤ－Ｎｅｔモデルにより取得される顕著な特徴点（saliency）に相当する画像領域を、自動車を運転中にドライバーが視覚的に注目している位置（領域）とみなすことができる（近似することができる）。これにより、視覚注目位置検出処理部３３は、自動車を運転中にドライバーが視覚的に注目している位置（領域）を取得することができる。
（文献Ｆ）：Kyle Min and Jason J Corso. "TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network for Video Saliency Detection." In Proceedings of the IEEE International Conference on Computer Vision, pages 2394-2403, 2019.
なお、ＴＡＳＥＤ－Ｎｅｔモデルにより取得される顕著な特徴点（saliency）に相当する映像（フレーム画像）上（撮像部Ｃ１により取得された映像（フレーム画像））の画像領域は、自動車を運転中にドライバーが視覚的に注目している位置と近似するため、視覚注目位置検出処理部３３は、ＴＡＳＥＤ－Ｎｅｔモデルにより取得される顕著な特徴点（saliency）に相当する画像領域を、自動車を運転中にドライバーが視覚的に注目している位置（領域）とみなすことができる（近似することができる）。これにより、視覚注目位置検出処理部３３は、自動車を運転中にドライバーが視覚的に注目している位置（領域）を取得することができる。
【0117】
そして、視覚注目位置検出処理部３３は、上記処理により取得した視覚注目位置検出処理結果データ（フレーム画像上において、顕著な特徴点（saliency）に相当する画像領域を特定したフレーム画像）を含むデータを、データＤｏ３２として、警告信号生成部４に出力する。
【0118】
警告信号生成部４の自車両－物体間距離取得処理部４０は、速度推定処理部１のオプティカルフロー取得処理部１２から出力されるデータＤｏ１＿ｏｐｔｆｌｗと、物体検出追跡処理部２から出力されるデータＤｏ２と入力し、データＤｏ１＿ｏｐｔｆｌｗと、データＤｏ２と、データＤ＿ｃａｍ＿ｐｒｍとに基づいて、自車両－物体間距離取得処理を実行する。
【0119】
具体的には、以下の処理が実行される。説明便宜のため、物体ＯＢＪｉが時刻ｔ１に検出されており、時刻ｔ２（＞ｔ１）に、自車両に近づく場合（自車両と物体ＯＢＪｉとの相対距離が小さくなる場合）について、図９を参照しながら説明する。
【0120】
図９は、撮像部Ｃ１の撮影パラメータを考慮し、撮像部Ｃ１により取得されたフレーム画像を解析することで、検出された物体ＯＢＪｉまでの距離を取得（推定）する処理を説明するための図である。図９において、撮像部Ｃ１の光学系（１または複数のレンズからなる光学系）を１つのレンズとみなしたレンズ（仮想の単一レンズ）レンズＬｅｎｓと、撮像部Ｃ１の光学系（レンズＬｅｎｓ）の光軸ｏｐｔ＿ａｘと、時刻ｔ１の物体ＯＢＪｉ（ｔ１）と、時刻ｔ２の物体ＯＢＪｉ（ｔ２）と、撮像部Ｃ１の撮像素子（例えば、ＣＭＯＳ型イメージセンサ）の撮像素子面の物体ＯＢＪｉ（ｔ１）の結像Ｉｍｇ（ＯＢＪｉ（ｔ１））および物体ＯＢＪｉ（ｔ２）の結像Ｉｍｇ（ＯＢＪｉ（ｔ２））とを模式的に示した図である。また、図９に示した変数は、以下の内容を示している。
ｈ：物体ＯＢＪｉの大きさ（サイズ）
ｆ：レンズＬｅｎｓ１の主点から撮像部Ｃ１の撮像素子までの光軸ｏｐｔ＿ａｘ上の距離
ａ：撮像部Ｃ１の撮像素子面の物体ＯＢＪｉ（ｔ１）の結像Ｉｍｇ（ＯＢＪｉ（ｔ１））の大きさ（サイズ）
ｂ：撮像部Ｃ１の撮像素子面の物体ＯＢＪｉ（ｔ２）の結像Ｉｍｇ（ＯＢＪｉ（ｔ２））の大きさ（サイズ）
θ１：レンズＬｅｎｓ１の主点と物体ＯＢＪｉ（ｔ１）の光軸ｏｐｔ＿ａｘから遠い方の端点とを結ぶ直線と、光軸ｏｐｔ＿ａｘとのなす角度
θ２：レンズＬｅｎｓ１の主点と物体ＯＢＪｉ（ｔ２）の光軸ｏｐｔ＿ａｘから遠い方の端点とを結ぶ直線と、光軸ｏｐｔ＿ａｘとのなす角度
ｐｏｓ（ＣＭＯＳ＿ＩｍｇＳｎｓ）：撮像部Ｃ１の撮像素子面の光軸ｏｐｔ＿ａｘ上の位置
ｐｏｓ（Ｌｅｎｓ１）：撮像部Ｃ１のレンズＬｅｎｓ１の主点の光軸ｏｐｔ＿ａｘ上の位置（なお、この位置を自車両の位置（ｐｏｓ（Ｅｇｏ－ｃａｒ））とみなす）
ｐｏｓ（ＯＢＪｉ（ｔ１））：時刻ｔ１における物体ＯＢＪｉ（ｔ１）の光軸ｏｐｔ＿ａｘ上の位置
ｐｏｓ（ＯＢＪｉ（ｔ２））：時刻ｔ２における物体ＯＢＪｉ（ｔ２）の光軸ｏｐｔ＿ａｘ上の位置
ｆ：レンズＬｅｎｓ１の主点と撮像部Ｃ１の撮像素子面との間の光軸ｏｐｔ＿ａｘ方向の距離
ｍ：時刻ｔ１における物体ＯＢＪｉ（ｔ１）と時刻ｔ２における物体ＯＢＪｉ（ｔ２）との間の光軸ｏｐｔ＿ａｘ方向の距離
ｄ：レンズＬｅｎｓ１の主点と時刻ｔ１における物体ＯＢＪｉ（ｔ１）との間の光軸ｏｐｔ＿ａｘ方向の距離
ｄ１：レンズＬｅｎｓ１の主点と時刻ｔ２における物体ＯＢＪｉ（ｔ２）との間の光軸ｏｐｔ＿ａｘ方向の距離
（１）自車両－物体間距離取得処理部４０は、時刻ｔ１において、フレーム画像上の位置（ｘａ，ｙａ）にある物体ＯＢＪｉ（ｔ１）のサイズ（大きさ）ａ（撮像素子上の大きさに相当）（サイズａは、画素数による大きさ）を取得する。また、自車両－物体間距離取得処理部４０は、時刻ｔ２において、フレーム画像上の位置（ｘｂ，ｙｂ）にある物体ＯＢＪｉ（ｔ１）のサイズ（大きさ）ｂ（撮像素子上の大きさに相当）（サイズｂは、画素数による大きさ）を取得する。なお、自車両－物体間距離取得処理部４０は、例えば、データＤｏ２から、フレーム画像を取得し、上記処理を行う。
（２）自車両－物体間距離取得処理部４０は、データＤｏ１＿ｏｐｔｆｌｗ（ＲＡＦＴモデルにより取得されたオプティカルフローのデータ）を用いて、時刻ｔ１から時刻ｔ２において、フレーム画像上の位置（ｘａ，ｙａ）にある物体ＯＢＪｉ（ｔ１）と、フレーム画像上の位置（ｘｂ，ｙｂ）にある物体ＯＢＪｉ（ｔ２）との距離ｄｐ（画素単位の距離）を取得する。
（３）自車両－物体間距離取得処理部４０は、推定速度取得部１３で実行される処理（速度推定処理）と同様の処理を行い、（２）で取得した距離ｄｐ（画素単位の距離）を実距離ｍ（メートル単位の距離）に変換する。
（４）自車両－物体間距離取得処理部４０は、
ｄ＝ｍ／（１－（ａ／ｂ））
ｄ１＝ｄ－ｍ
に相当する処理を実行し、自車両から時刻ｔ１の物体ＯＢＪｉ（ｔ１）までの距離ｄと、自車両から時刻ｔ２の物体ＯＢＪｉ（ｔ２）までの距離ｄ１とを取得する。
ｈ：物体ＯＢＪｉの大きさ（サイズ）
ｆ：レンズＬｅｎｓ１の主点から撮像部Ｃ１の撮像素子までの光軸ｏｐｔ＿ａｘ上の距離
ａ：撮像部Ｃ１の撮像素子面の物体ＯＢＪｉ（ｔ１）の結像Ｉｍｇ（ＯＢＪｉ（ｔ１））の大きさ（サイズ）
ｂ：撮像部Ｃ１の撮像素子面の物体ＯＢＪｉ（ｔ２）の結像Ｉｍｇ（ＯＢＪｉ（ｔ２））の大きさ（サイズ）
θ１：レンズＬｅｎｓ１の主点と物体ＯＢＪｉ（ｔ１）の光軸ｏｐｔ＿ａｘから遠い方の端点とを結ぶ直線と、光軸ｏｐｔ＿ａｘとのなす角度
θ２：レンズＬｅｎｓ１の主点と物体ＯＢＪｉ（ｔ２）の光軸ｏｐｔ＿ａｘから遠い方の端点とを結ぶ直線と、光軸ｏｐｔ＿ａｘとのなす角度
ｐｏｓ（ＣＭＯＳ＿ＩｍｇＳｎｓ）：撮像部Ｃ１の撮像素子面の光軸ｏｐｔ＿ａｘ上の位置
ｐｏｓ（Ｌｅｎｓ１）：撮像部Ｃ１のレンズＬｅｎｓ１の主点の光軸ｏｐｔ＿ａｘ上の位置（なお、この位置を自車両の位置（ｐｏｓ（Ｅｇｏ－ｃａｒ））とみなす）
ｐｏｓ（ＯＢＪｉ（ｔ１））：時刻ｔ１における物体ＯＢＪｉ（ｔ１）の光軸ｏｐｔ＿ａｘ上の位置
ｐｏｓ（ＯＢＪｉ（ｔ２））：時刻ｔ２における物体ＯＢＪｉ（ｔ２）の光軸ｏｐｔ＿ａｘ上の位置
ｆ：レンズＬｅｎｓ１の主点と撮像部Ｃ１の撮像素子面との間の光軸ｏｐｔ＿ａｘ方向の距離
ｍ：時刻ｔ１における物体ＯＢＪｉ（ｔ１）と時刻ｔ２における物体ＯＢＪｉ（ｔ２）との間の光軸ｏｐｔ＿ａｘ方向の距離
ｄ：レンズＬｅｎｓ１の主点と時刻ｔ１における物体ＯＢＪｉ（ｔ１）との間の光軸ｏｐｔ＿ａｘ方向の距離
ｄ１：レンズＬｅｎｓ１の主点と時刻ｔ２における物体ＯＢＪｉ（ｔ２）との間の光軸ｏｐｔ＿ａｘ方向の距離
（１）自車両－物体間距離取得処理部４０は、時刻ｔ１において、フレーム画像上の位置（ｘａ，ｙａ）にある物体ＯＢＪｉ（ｔ１）のサイズ（大きさ）ａ（撮像素子上の大きさに相当）（サイズａは、画素数による大きさ）を取得する。また、自車両－物体間距離取得処理部４０は、時刻ｔ２において、フレーム画像上の位置（ｘｂ，ｙｂ）にある物体ＯＢＪｉ（ｔ１）のサイズ（大きさ）ｂ（撮像素子上の大きさに相当）（サイズｂは、画素数による大きさ）を取得する。なお、自車両－物体間距離取得処理部４０は、例えば、データＤｏ２から、フレーム画像を取得し、上記処理を行う。
（２）自車両－物体間距離取得処理部４０は、データＤｏ１＿ｏｐｔｆｌｗ（ＲＡＦＴモデルにより取得されたオプティカルフローのデータ）を用いて、時刻ｔ１から時刻ｔ２において、フレーム画像上の位置（ｘａ，ｙａ）にある物体ＯＢＪｉ（ｔ１）と、フレーム画像上の位置（ｘｂ，ｙｂ）にある物体ＯＢＪｉ（ｔ２）との距離ｄｐ（画素単位の距離）を取得する。
（３）自車両－物体間距離取得処理部４０は、推定速度取得部１３で実行される処理（速度推定処理）と同様の処理を行い、（２）で取得した距離ｄｐ（画素単位の距離）を実距離ｍ（メートル単位の距離）に変換する。
（４）自車両－物体間距離取得処理部４０は、
ｄ＝ｍ／（１－（ａ／ｂ））
ｄ１＝ｄ－ｍ
に相当する処理を実行し、自車両から時刻ｔ１の物体ＯＢＪｉ（ｔ１）までの距離ｄと、自車両から時刻ｔ２の物体ＯＢＪｉ（ｔ２）までの距離ｄ１とを取得する。
【0121】
なお、時刻ｔ２の次の時刻ｔ３（時刻ｔ２の次に自車両－物体間距離取得処理が実行される時刻ｔ３）以降の時刻では、自車両－物体間距離取得処理部４０は、１つ前の時刻で取得された距離ｄ１をｄとして、すなわち、
ｄ←ｄ１
とし、
ｄ１＝ｄ－ｍ
に相当する処理を実行することで、自車両から時刻ｔｋの物体ＯＢＪｉ（ｔｋ）までの距離ｄと、自車両から時刻ｔｋ＋１の物体ＯＢＪｉ（ｔｋ＋２）までの距離ｄ１とを取得する。
ｄ←ｄ１
とし、
ｄ１＝ｄ－ｍ
に相当する処理を実行することで、自車両から時刻ｔｋの物体ＯＢＪｉ（ｔｋ）までの距離ｄと、自車両から時刻ｔｋ＋１の物体ＯＢＪｉ（ｔｋ＋２）までの距離ｄ１とを取得する。
【0122】
そして、自車両－物体間距離取得処理部４０は、上記処理を、全ての検出された物体（物体検出追跡処理部２で検出された物体）について、行うことで、自車両から全ての検出された物体までの距離を取得する。
【0123】
自車両－物体間距離取得処理部４０は、上記処理により取得した自車両から全ての検出された物体までの距離を含むデータを、データＤ４０として、同一レーン検出処理部４１に出力する。
【0124】
警告信号生成部４の同一レーン検出処理部４１は、物体検出追跡処理部２から出力されるデータＤｏ２と、環境データ分析処理部３から出力されるデータＤｏ３１およびＤｏ３２と、自車両－物体間距離取得処理部４０から出力されるデータＤ４０とを入力する。同一レーン検出処理部４１は、データＤｏ２、Ｄｏ３１、Ｄｏ３２、および、データＤ４０を用いて、同一レーン検出処理を実行し、同一レーン検出処理結果データを取得する。
【0125】
具体的には、以下の処理が実行される。なお、物体検出追跡処理部２により取得されたデータＤｏ２、および、環境データ分析処理部３により取得されたデータＤｏ３１およびＤｏ３２は、撮像部Ｃ１により取得された映像信号Ｖｉｎを構成するフレーム画像（映像信号Ｖｉｎにより形成されるフレーム画像）を基準としたデータであるものとする（例えば、データが座標である場合、当該座標は、映像信号Ｖｉｎを構成するフレーム画像と同じサイズのフレーム画像上の座標であるものとする）。なお、物体検出追跡処理部２により取得されたデータＤｏ２、および、環境データ分析処理部３により取得されたデータＤｏ３１およびＤｏ３２は、撮像部Ｃ１により取得された映像信号Ｖｉｎを構成するフレーム画像（映像信号Ｖｉｎにより形成されるフレーム画像）を拡大・縮小した画像を基準とするものであってもよいが、その場合、拡大率・縮小率を考慮した処理を行うようにすればよい。
【0126】
同一レーン検出処理部４１は、データＤｏ３１から取得されるレーン（走行可能領域）に相当する画像領域（フレーム画像上の画像領域）を特定するとともに、撮影パラメータＤ＿ｃａｍ＿ｐｒｍ（撮像点（カメラの位置（例えば、撮像素子の撮像素子面の中心点））、焦点位置、焦点距離、画角、視野角、カメラ光学系の光軸の情報（光軸の向き等）等）を考慮し、撮像部Ｃ１により取得された映像信号Ｖｉｎを構成するフレーム画像（映像信号Ｖｉｎにより形成されるフレーム画像）と、撮像部Ｃ１に自動車（自車両）の取り付け位置とに基づいて、自動車（自車両）が走行しているレーンを特定する（フレーム画像上で特定する）。
【0127】
次に、同一レーン検出処理部４１は、上記処理により、自動車（自車両）が走行していると判断したレーンに相当する画像領域（フレーム画像上の画像領域）内に存在する物体を検出する。なお、同一レーン検出処理部４１は、物体検出追跡処理部２により取得されたデータＤｏ２に基づいて、フレーム画像上において、自動車（自車両）が走行していると判断したレーンに相当する画像領域内に存在する物体を検出する。
【0128】
次に、同一レーン検出処理部４１は、自動車（自車両）が走行していると判断したレーン上に存在する物体のうち、自動車（自車両）に最も近い位置に存在する物体を検出し、自動車（自車両）から当該物体までの距離を推定（取得）する。具体的には、同一レーン検出処理部４１は、データＤ４０から、自動車（自車両）が走行していると判断したレーン上に存在する物体のうち、自動車（自車両）に最も近い位置に存在する物体を検出し、検出した当該物体の距離を、データＤ４０から取得する。なお、この取得した距離をｄ＿ｃｌｏｓｅｓｔとする。
【0129】
また、同一レーン検出処理部４１は、フレーム画像上において、データＤｏ３２から取得した視覚的注目位置の近辺に存在する物体（この物体は、データＤｏ２に基づいて、特定する）がないか判定する。そして、判定の結果、視覚的注目位置の近辺に存在する物体があると判定された場合、当該視覚的注目位置の近辺に存在する物体は、突発的に出現した物体である可能性が高く、事故を誘発する可能性がある（高い）ので、自動車（自車両）から当該物体までの距離を上記処理と同様の処理により推定する。なお、この推定（取得）した距離をｄ＿ｓａｌｉｅｎｃｙとする。
【0130】
そして、同一レーン検出処理部４１は、上記処理により取得した距離ｄ＿ｃｌｏｓｅｓｔ、距離ｄ＿ｓａｌｉｅｎｃｙ、および、自動車（自車両）が走行しているレーンに物体が存在するか否かを示す情報を含めたデータ（同一レーン検出処理結果データ）を、データＤ４１として、警告信号生成処理部４２に出力する。
【0131】
警告信号生成処理部４２は、速度推定処理部１から出力されるデータＤｏ１と、同一レーン検出処理部４１から出力されるデータＤ４１とを入力する。警告信号生成処理部４２は、データＤｏ１およびデータＤ４１を用いて警告信号生成処理を実行する。
【0132】
具体的には、警告信号生成処理部４２は、データＤ４１から、自動車（自車両）が走行しているレーンと同一レーンに物体が存在するか否かを把握する。
【0133】
そして、警告信号生成処理部４２は、以下の処理を行う。
（１）自動車（自車両）が走行しているレーンと同一レーンに物体が存在する場合、警告信号生成処理部４２は、自動車（自車両）から同一レーンに存在する最も近い物体までの距離ｄ＿ｃｌｏｓｅｓｔと、速度推定処理部１により取得された安全距離ｄｓａｆｅと比較する。
（１Ａ）ｄ＿ｃｌｏｓｅｓｔ＜ｄｓａｆｅである場合、自動車（自車両）は、危険な状態であるので、警告信号生成処理部４２は、「危険状態」であることを示す警告信号を生成する。
（１Ｂ）ｄ＿ｃｌｏｓｅｓｔ≧ｄｓａｆｅである場合、自動車（自車両）は、安全な状態であるので、警告信号生成処理部４２は、「安全状態」であることを示す警告信号を生成する。
（２）自動車（自車両）が走行しているレーンと同一レーンに物体が存在しない場合、警告信号生成処理部４２は、自動車（自車両）は、安全な状態であると判断し、「安全状態」であることを示す警告信号を生成する。なお、自動車（自車両）が走行しているレーンと同一レーンに物体が存在しない場合であっても、同一レーン検出処理部４１により、視覚注目位置が検出され（突発的に出現した物体が検出され）、自動車（自車両）から視覚的注目位置の近辺に存在する物体までの距離ｄ＿ｓａｌｉｅｎｃｙが所定の閾値Ｔｈよりも小さい場合、警告信号生成処理部４２は、自動車（自車両）が安全ではない状態（非安全状態）、あるいは、危険な状態にあると判断し、「非安全状態」あるいは「危険状態」を示す警告信号を生成するようにしてもよい。
（１）自動車（自車両）が走行しているレーンと同一レーンに物体が存在する場合、警告信号生成処理部４２は、自動車（自車両）から同一レーンに存在する最も近い物体までの距離ｄ＿ｃｌｏｓｅｓｔと、速度推定処理部１により取得された安全距離ｄｓａｆｅと比較する。
（１Ａ）ｄ＿ｃｌｏｓｅｓｔ＜ｄｓａｆｅである場合、自動車（自車両）は、危険な状態であるので、警告信号生成処理部４２は、「危険状態」であることを示す警告信号を生成する。
（１Ｂ）ｄ＿ｃｌｏｓｅｓｔ≧ｄｓａｆｅである場合、自動車（自車両）は、安全な状態であるので、警告信号生成処理部４２は、「安全状態」であることを示す警告信号を生成する。
（２）自動車（自車両）が走行しているレーンと同一レーンに物体が存在しない場合、警告信号生成処理部４２は、自動車（自車両）は、安全な状態であると判断し、「安全状態」であることを示す警告信号を生成する。なお、自動車（自車両）が走行しているレーンと同一レーンに物体が存在しない場合であっても、同一レーン検出処理部４１により、視覚注目位置が検出され（突発的に出現した物体が検出され）、自動車（自車両）から視覚的注目位置の近辺に存在する物体までの距離ｄ＿ｓａｌｉｅｎｃｙが所定の閾値Ｔｈよりも小さい場合、警告信号生成処理部４２は、自動車（自車両）が安全ではない状態（非安全状態）、あるいは、危険な状態にあると判断し、「非安全状態」あるいは「危険状態」を示す警告信号を生成するようにしてもよい。
【0134】
そして、警告信号生成処理部４２は、上記処理により生成した警告信号と、速度推定処理部１、物体検出追跡処理部２、および、環境データ分析処理部３により取得したデータ（自動車の推定速度ｖ、物体追跡処理結果データ、および／または、レーン位置検出処理結果データ）とを含むデータを、データＤ＿ａｌａｒｍとして警告合成映像取得部Ｃ３に出力する。
【0135】
警告合成映像取得部Ｃ３は、撮像部Ｃ１から出力される映像信号Ｖｉｎと、警告信号生成装置１００の警告信号生成部４から出力されるデータＤ＿ａｌａｒｍとを入力する。警告合成映像取得部Ｃ３は、映像信号Ｖｉｎに、データＤ＿ａｌａｒｍに含まれる情報を合成し、合成映像を取得する処理を実行し、当該処理により取得された合成映像信号（合成映像を形成する映像信号）を、警告合成映像信号Ｖｏｕｔとして出力する。
【0136】
図１０は、警告信号生成システム１０００で取得された警告合成映像信号Ｖｏｕｔにより形成された映像（フレーム画像）（これを警告信号合成映像という）と、警告信号が示す状態とを示す図（一例）である。図１０に示すように、警告信号合成映像には、物体追跡処理結果を示すバウンディングボックス、レーン（走行可能領域）およびレーン境界線を示すセグメント（セグメント画像）が、撮像部Ｃ１により取得された映像に重畳して表示されている。
（Ａ）図１０の左図は、同一レーンに物体（動体、静止物体）が存在する場合の警告信号合成映像の１フレーム分のフレーム画像を示す図であり、（Ｂ）図１０の右図は、同一レーンに物体（動体、静止物体）が存在しない場合の警告信号合成映像の１フレーム分のフレーム画像を示す図である。
（Ａ）図１０の左図は、同一レーンに物体（動体、静止物体）が存在する場合の警告信号合成映像の１フレーム分のフレーム画像を示す図であり、（Ｂ）図１０の右図は、同一レーンに物体（動体、静止物体）が存在しない場合の警告信号合成映像の１フレーム分のフレーム画像を示す図である。
【0137】
図１０の左図の場合、自動車（自車両）と同一レーンに物体（動体）が存在しており、かつ、当該物体と自車両との距離が安全距離ｄｓａｆｅよりも小さいと判定され、「危険状態」を示す警告信号が生成されている。図１０の右図の場合、自動車（自車両）と同一レーンに物体（動体）は、存在していないが、自動車（自車両）が走行しているレーンとは異なるレーンに、自車両から近い距離（図１０の左図の場合と同等の距離）に物体（動体）が存在している。この場合、自動車（自車両）と近接する物体（動体）が存在するが、当該物体が自車両の走行レーンと異なるレーンに存在するため、自動車（自車両）は安全な状態であり、警告信号生成システム１０００は、適切に、「安全状態」を示す警告信号を生成している。
【0138】
図１０から分かるように、警告信号生成システム１０００では、上記処理により、適切に周辺の環境、状況を認識し、適切な警告信号を生成することができる。
【0139】
≪まとめ≫
以上のように、警告信号生成システム１０００では、撮像部Ｃ１により取得された映像信号を用いて、速度推定処理部１により推定した自動車（自車両）の速度および安全距離、物体検出追跡処理部２により取得した物体追跡処理結果データ（１または複数の物体の追跡処理結果データ）、並びに、環境データ分析処理部３により検出したレーン（走行可能領域）および注目位置検出処理結果データを取得することができる。そして、警告信号生成システム１０００では、上記により取得したデータを用いて、フレーム画像（撮像部Ｃ１により取得された映像信号を形成するフレーム画像）上で解析することで、自動車（自車両）が危険な状況（例えば、危険な走行状況）になる可能性を示す情報を提示する警告信号を取得（生成）することができる。
以上のように、警告信号生成システム１０００では、撮像部Ｃ１により取得された映像信号を用いて、速度推定処理部１により推定した自動車（自車両）の速度および安全距離、物体検出追跡処理部２により取得した物体追跡処理結果データ（１または複数の物体の追跡処理結果データ）、並びに、環境データ分析処理部３により検出したレーン（走行可能領域）および注目位置検出処理結果データを取得することができる。そして、警告信号生成システム１０００では、上記により取得したデータを用いて、フレーム画像（撮像部Ｃ１により取得された映像信号を形成するフレーム画像）上で解析することで、自動車（自車両）が危険な状況（例えば、危険な走行状況）になる可能性を示す情報を提示する警告信号を取得（生成）することができる。
【0140】
つまり、警告信号生成システム１０００では、撮像部Ｃ１により取得された映像信号を警告信号生成装置１００に入力させ、上記処理を行うだけで、高精度な警告信号を取得（生成）することができるので、警告信号生成システム１０００を、メンテナンスが容易なシンプルな構成により低コストで実現できる。さらに、警告信号生成システム１０００では、上記処理により、高精度に、自動車（自車両）の周辺の環境を認識し、当該認識結果に基づいて、当該自動車（自車両）が危険な状況（例えば、危険な走行状況）になる可能性を示す情報を提示する警告信号を取得（生成）することができる。
【0141】
［他の実施形態］
上記実施形態では、速度推定処理部１において、静止物体検出部１２Ａが静止物体を検出し、当該検出結果データを用いて、オプティカルフロー取得処理部１２がオプティカルフロー取得処理を実行する場合について説明したが、これに限定されることはなく、例えば、物体検出追跡処理部２により取得されるデータ、および／または、環境データ分析処理部３により取得されるデータを用いて、静止物体の検出処理を行い、当該処理結果を用いて、オプティカルフロー取得処理部１２がオプティカルフロー取得処理を実行するようにしてもよい。
上記実施形態では、速度推定処理部１において、静止物体検出部１２Ａが静止物体を検出し、当該検出結果データを用いて、オプティカルフロー取得処理部１２がオプティカルフロー取得処理を実行する場合について説明したが、これに限定されることはなく、例えば、物体検出追跡処理部２により取得されるデータ、および／または、環境データ分析処理部３により取得されるデータを用いて、静止物体の検出処理を行い、当該処理結果を用いて、オプティカルフロー取得処理部１２がオプティカルフロー取得処理を実行するようにしてもよい。
【0142】
また、上記実施形態では、警告信号生成システム１０００において、速度推定処理部１が、静止物体を検出し、検出した静止物体に基づいて、自車両の速度を推定する処理を実行する場合について、説明したが、これに限定されることはなく、例えば、警告信号生成システム１０００の速度推定処理部１において、オプティカルフローから深層学習により学習した学習済みモデルを用いて、自車両の速度を見積もる処理（推定する処理）を行うようにしてもよい。
【0143】
また、上記実施形態で説明した警告信号生成システム１０００、警告信号生成装置１００の各機能部は、１つの装置（システム）により実現されてもよいし、複数の装置により実現されてもよい。
【0144】
また、上記実施形態の一部または全部を組み合わせるようにしてもよい。
【0145】
また、上記実施形態の警告信号生成システム１０００、警告信号生成装置１００において、各機能部で処理を実行するために必要となる時間が異なる場合、後段の処理が適切に実行されるように、遅延時間調整（ディレー調整）するようにしてもよい。
【0146】
また上記実施形態で説明した警告信号生成システム１０００、警告信号生成装置１００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。
【0147】
なおここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0148】
また集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【0149】
また上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【0150】
また上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらにソフトウェアおよびハードウェアの混在処理により実現しても良い。
【0151】
上記実施形態に係る警告信号生成システム１０００、警告信号生成装置１００をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【0152】
例えば上記実施形態の各機能部をソフトウェアにより実現する場合、図１１に示したハードウェア構成（例えばＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部、通信部、記憶部（例えば、ＨＤＤ、ＳＳＤ等により実現される記憶部）、外部メディア用ドライブ等をバスＢｕｓにより接続したハードウェア構成）を用いて各機能部をソフトウェア処理により実現するようにしてもよい。
【0153】
また上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図１１に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。
【0154】
また上記実施形態における処理方法の実行順序は、必ずしも上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。また、上記実施形態における処理方法において、発明の要旨を逸脱しない範囲で、一部のステップが、他のステップと並列に実行されるものであってもよい。
【0155】
前述した方法をコンピュータに実行させるコンピュータプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここでコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【0156】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限らず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【0157】
なお本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【0158】
１０００ 警告信号生成システム
１００ 警告信号生成装置
１ 速度推定処理部
２ 物体検出追跡処理部
３ 環境データ分析処理部
３２ レーン位置検出処理部
３３ 視覚注目位置検出処理部
４ 警告信号生成部
４１ 同一レーン検出処理部
４２ 警告信号生成処理部
１００ 警告信号生成装置
１ 速度推定処理部
２ 物体検出追跡処理部
３ 環境データ分析処理部
３２ レーン位置検出処理部
３３ 視覚注目位置検出処理部
４ 警告信号生成部
４１ 同一レーン検出処理部
４２ 警告信号生成処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】