特開 2024-74571 映像処理車載器および車載映像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024074571

(43)【公開日】2024-05-31

(54)【発明の名称】映像処理車載器および車載映像処理システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240524BHJP

   G06T 7/70 20170101ALI20240524BHJP

   G06V 10/24 20220101ALI20240524BHJP

【ＦＩ】

H04N23/60

H04N23/60 500

G06T7/70 Z

G06V10/24

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022185829

(22)【出願日】2022-11-21

(71)【出願人】

【識別番号】501418498

【氏名又は名称】矢崎エナジーシステム株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】水野 弘基

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA14

5C122EA01

5C122EA68

5C122FA18

5C122FH11

5C122FH14

5C122GC04

5C122GC07

5C122GE05

5C122GE23

5C122HA75

5C122HA90

5C122HB01

5C122HB02

5L096BA04

5L096CA02

5L096EA14

5L096FA67

5L096FA69

(57)【要約】

【課題】前方と後方の画像をそれぞれ処理する場合に、処理対象の映像を正しく認識するための校正に伴う処理の負荷を減らすこと。
【解決手段】車両の走行開始に伴ってフロント側とリア側の各映像の校正を行う際に、最初はリア側の映像の校正開始を待機させてリア側の無駄な処理をなくし、処理の負荷を減らす。フロント側の映像を監視しながら白線の検出など校正に適した状況を検知すると、リア側の映像を校正するための処理の開始を指示する。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両前方側のカメラが撮影した前方映像を取得し、前記前方映像に基づいて状況を把握する前方映像処理部と、
前記前方映像処理部の機能を校正する第１キャリブレーション部と、
車両後方側のカメラが撮影した後方映像を取得し、前記後方映像に基づいて状況を把握する後方映像処理部と、
前記後方映像処理部の機能を校正する第２キャリブレーション部と、
前記第２キャリブレーション部が処理を開始するタイミングを制御する後方タイミング制御部と、
を備え、前記後方タイミング制御部は、前記第１キャリブレーション部における実際の検出状況を反映し、前記第１キャリブレーション部の処理開始よりも遅いタイミングで前記第２キャリブレーション部に処理の開始を指示する、
映像処理車載器。

【請求項2】

前記後方タイミング制御部は、前記前方映像における明度が所定以上、且つ前記前方映像に基づく道路上の車線検出状態が所定の条件を満たしたときに、前記第２キャリブレーション部に処理の開始を指示する、
請求項１に記載の映像処理車載器。

【請求項3】

前記後方タイミング制御部は、前記後方映像における明度が所定以下の場合には、前記第２キャリブレーション部に待機指示を与え、前記前方映像に基づく検出状態が第１の条件を満たし、且つ前記後方映像に基づく検出状態が第２の条件を満たしたときに、前記第２キャリブレーション部に処理の開始を指示する、
請求項１に記載の映像処理車載器。

【請求項4】

前記前方映像処理部は、前記第１キャリブレーション部により機能を校正した後で、前記前方映像における無限遠点を検出する機能を有し、
前記後方映像処理部は、前記第２キャリブレーション部により機能を校正した後で、前記後方映像における無限遠点を検出する機能を有する、
請求項１に記載の映像処理車載器。

【請求項5】

車両のフロント方向を撮影して前方映像の信号を出力するフロントカメラと、
前記車両のリア方向を撮影して後方映像の信号を出力するリアカメラと、
請求項１から請求項４のいずれか１項に記載の映像処理車載器と、
を備える車載映像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理車載器および車載映像処理システムに関する。

【背景技術】

【0002】

車両においては、従来より車載カメラで撮影した映像を自動認識することにより、様々な状況を検知することが行われている。例えば特許文献１は、自車両が赤信号の交差点などで停車する際の運転操作を適切に評価するための停車時イベントを検出しそのイベントデータを生成し評価する技術を示している。

【0003】

一方、車載カメラで撮影した映像に基づいて様々な状況を認識する際には、撮影した二次元映像フレーム中の各座標位置の映像データと現実の三次元空間における位置とを対応付けるための座標変換が必要になる。また、二次元映像フレーム中の各位置と三次元空間の位置とが整合するように事前に校正（キャリブレーション）しておく必要がある。

【0004】

走行している車両上の車載カメラで道路等の風景を撮影した映像を認識する際には、自車両の移動に伴って映像中の各被写体の位置が移動する。また、このような画像を処理する場合には、画像中の各画素の動きを表すベクトル、すなわちオプティカルフローを検出すると、動きのない被写体については、全てのオプティカルフローの延長線が１つの点に収束する。この点がＦＯＥ（Focus of Expansion）、つまり動きの消失点である。

【0005】

例えば、まっすぐに延びる道路上を、この道路に沿った方向にまっすぐに走行している車両上の車載カメラで撮影した映像においては、この映像中でこの道路の最も先にある無限遠点がＦＯＥになる。そして、映像中の各画素はＦＯＥの位置から放射状に広がるように移動する。また、このようなＦＯＥを固定された基準点として事前に登録しておくことにより、様々な認識処理を容易に行うことが可能になる。

【0006】

例えば、自車両の左右両側の道路上の区画線（白線）の延長線の交点と、登録したＦＯＥの基準点との横方向の位置の違いにより、道路の延びる方向と自車両の進行方向とのずれを検出することが可能になる。また、前記ＦＯＥの基準点が既知であれば、画像中の各区画線が連続する実線でない場合でも、各区画線の延びる方向を特定できるので、区画線の認識が容易になる。

【0007】

上記のような基準点については、最適な位置になるように車両毎に個別に調整して決定する必要がある。例えば、車載カメラを取り付ける位置のずれ、撮影方向のずれ、画角の違い、車両の車高の違い、車両の前後方向の傾きの違いなどの影響による誤差が生じないように基準点を校正する必要がある。例えば、特許文献２はＦＯＥの基準点を適切に定めるための技術を示している。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０２０－４６７２８号公報

【特許文献2】特開２０１７－５４４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

上記のように、車載カメラが撮影した映像に基づいて運転状況などを認識する場合には事前にカメラ毎に映像フレーム中の基準点などの位置について校正処理を行う必要がある。一般的な方法としては、車両が実際に道路を走行している状態で、画像を処理してオプティカルフロー又は白線を検出し、これらの位置や方向に基づいて校正を実施することが想定される。

【0010】

しかしながら、車両が実際の道路を走行している状況においては、撮影する映像に、カーブしている道路形状の影響や、道路の路面の凹凸の影響など、様々な影響が現れるため、自車両が校正に適した走行状態になるまでに時間がかかる場合がある。

【0011】

一方、正しく校正を実施した後でないと、様々な映像に基づく様々な状況の検出ができない。そのため、通常は自車両が走行を開始した直後から、前方の映像および後方の映像のそれぞれについて基準位置などを校正するための処理を開始する必要がある。

【0012】

しかし、各カメラの映像を校正するためには、校正に適さない状況であったとしても、データ量の多いフレーム毎の画像データについてパターン認識などの複雑な処理を高速で校正が完了するまで継続的に実施する必要があり、ＣＰＵ等における処理の負荷が非常に大きくなる。

【0013】

特に、校正に適さない状況で前方映像の校正と後方映像の校正とが並行してほぼ同時に実行されると、両方の校正が完了するまで長い時間に亘り処理の負荷が非常に大きくなる場合がある。その結果、校正処理により、それ以外の機能の実行が妨げられたり、校正処理以外の機能の性能（応答速度など）が一時的に低下することが懸念される。

【0014】

本発明は、上述した事情に鑑みてなされたものであり、その目的は、処理対象の映像を正しく認識するための校正に伴う処理の負荷を減らすことが可能な映像処理車載器および車載映像処理システムを提供することにある。

【課題を解決するための手段】

【0015】

本発明に係る上記目的は、下記構成により達成される。

【0016】

車両前方側のカメラが撮影した前方映像を取得し、前記前方映像に基づいて状況を把握する前方映像処理部と、
前記前方映像処理部の機能を校正する第１キャリブレーション部と、
車両後方側のカメラが撮影した後方映像を取得し、前記後方映像に基づいて状況を把握する後方映像処理部と、
前記後方映像処理部の機能を校正する第２キャリブレーション部と、
前記第２キャリブレーション部が処理を開始するタイミングを制御する後方タイミング制御部と、
を備え、前記後方タイミング制御部は、前記第１キャリブレーション部における実際の検出状況を反映し、前記第１キャリブレーション部の処理開始よりも遅いタイミングで前記第２キャリブレーション部に処理の開始を指示する、
映像処理車載器。

【0017】

車両のフロント方向を撮影して前方映像の信号を出力するフロントカメラと、
前記車両のリア方向を撮影して後方映像の信号を出力するリアカメラと、
上記の映像処理車載器と、
を備える車載映像処理システム。

【発明の効果】

【0018】

本発明の映像処理車載器および車載映像処理システムによれば、処理対象の映像を正しく認識するための校正に伴う処理の負荷を減らすことができる。すなわち、第１キャリブレーション部における実際の検出状況を反映し、第１キャリブレーション部の処理開始よりも遅いタイミングで第２キャリブレーション部が処理を開始するので、後方映像を対象とする校正が困難な状況が解消するまで待機した後で後方映像の校正が開始される。これにより、待機中は後方映像の画像処理に伴う無駄な処理の負荷を大幅に削減できる。

【0019】

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

【図面の簡単な説明】

【0020】

【図1】図１は、本発明の実施形態における車載器および車載システムの構成例を示すブロック図である。

【図2】図２は、図１に示した車載器における主要な機能の構成を示すブロック図である。

【図3】図３は、図１に示した車載器における主要な動作を示すフローチャートである。

【図4】図４は、図１に示した車載器における主要な動作を示すタイムチャートである。

【図5】図５は、統合アプリの動作に関する変形例を示すフローチャートである。

【発明を実施するための形態】

【0021】

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

【0022】

＜車載器および車載システムの構成＞
本発明の実施形態における車載器１０および車載システム１００の構成例を図１に示す。図１中の車載器１０および車載システム１００がそれぞれ本発明の映像処理車載器および車載映像処理システムに相当する。

【0023】

図１に示した車載システム１００は、フロントカメラ２１、リアカメラ２２、及び車載器１０を備えている。フロントカメラ２１は、自車両の運転者の視点に近い位置から車体の前方側を視た場合の視野に映る路面、他車両、歩行者などの被写体を含む景色を連続的に撮影し映像信号として出力できる。リアカメラ２２は、自車両の運転者の視点に近い位置から車体の後方側を視た場合の視野に映る路面、他車両、歩行者などの被写体を含む景色を連続的に撮影し映像信号として出力できる。

【0024】

車載器１０は、フロントカメラ２１の撮影により得られた映像信号に対して様々なデジタル画像処理を実行することで、前方側の映像の中から様々なパターンを認識したり、パターン毎の領域の位置及び範囲を特定したり、パターン毎の挙動や状況の変化を認識することができる。また、車載器１０はリアカメラ２２の撮影により得られた映像信号に対して様々なデジタル画像処理を実行することで、後方側の映像の中から様々なパターンを認識したり、パターン毎の領域の位置及び範囲を特定したり、パターン毎の挙動や状況の変化を認識することができる。

【0025】

ところで、例えば自車両がまっすぐに延びる道路上を走行している場合には、自車両の走行レーン上の無限遠点に相当するＦＯＥの位置は前方の映像フレームの中で常に同じ位置にある。したがって、車載器１０が前後の映像信号の認識処理を行う際には、処理を容易にするために通常はＦＯＥを基準位置として利用する。

【0026】

しかし、各カメラの設置状況の変化や、自車両における姿勢の変化などに伴って映像フレーム中のＦＯＥの位置が変動する。そのため、例えば自車両が走行を開始する毎に実際のＦＯＥの位置などについて校正を実施することが不可欠であり、その校正機能が後述するように車載器１０に搭載されている。

【0027】

但し、実際にはＦＯＥの位置などの校正が容易な状況と、そうでない状況とが存在する。例えば、車両が実際の道路を走行している状況においては、撮影する映像に次の（ａ１）～（ａ５）のような変化が現れる。
（ａ１）カーブしている道路形状の影響による左右方向の変化。
（ａ２）道路の路面の凹凸の影響による上下方向の変化。
（ａ３）坂道を走行している場合の路面の傾斜の影響による上下方向の変化。
（ａ４）自車両の実際の走行方向と道路の方向とのずれの影響による左右方向の変化。
（ａ５）自車両の加速／減速の影響による上下方向の変化。

【0028】

したがって、車両が実際に道路を走行している状態で校正を行う場合には、自車両が校正に適した走行状態になるまでに非常に時間がかかる場合がある。
特に、自車両後方の映像について校正する場合には、例えば以下に示す（ｂ１）～（ｂ３）などの影響により、前方に比べて道路上の白線を検出しにくい状況が発生しやすく、校正に適した状態になるまで長い時間がかかることが予想される。

【0029】

（ｂ１）夜間に、フロント側の映像では自車両のヘッドライトの照明により道路上の白線が見えやすくなるが、リア側の映像では明るい照明がないため道路上の白線が見えにくくなる。
（ｂ２）夜間に、リア側の映像では後続車両のヘッドライトの照明が明るすぎるため、道路上の白線が見えにくくなる。
（ｂ３）昼夜を問わず、後続車両が自車両に接近している時には、リア側の映像では道路上の白線が後続車両の車体に隠れて見えにくくなる。

【0030】

実際にＦＯＥの校正などを行う際には、大量の画像データを画素単位で順番に高速で処理して白線などの特定パターンを検索するような複雑な処理を連続的に且つ繰り返し行う必要がある。そのため、特にリア側の映像を校正する場合に、校正が困難な状況で校正処理を実行すると、ＣＰＵ等における処理の負荷が非常に大きい状態が長く継続することになる。そして、処理負荷の増大が校正以外の機能を実行する際の妨げになったり、校正以外の機能について性能の低下を招く原因となる事が予想される。
そこで、本実施形態の車載器１０は特に後方映像の校正に伴う処理の負荷の増大を抑制するために後述する機能を搭載している。

【0031】

図１に示した車載器１０は、主要なハードウェアとして、ＣＰＵ（中央処理ユニット）１１、ストレージ１２、メモリ１３、ＬＴＥ通信部１４、無線ＬＡＮ通信部１５、近距離通信部１６、電源回路１７、ＧＰＳ受信機１８、ディスプレイ１９、及び汎用入出力（ＧＰＩＯ）部２０を備えている。

【0032】

ＣＰＵ１１は、マイクロプロセッサを含む大規模集積回路により構成されており、予め用意された基本プログラムや様々な種類のアプリケーションソフトウェア（アプリ）のプログラムを状況に応じて適宜実行することにより車載器１０に必要とされる様々な機能を実現できる。

【0033】

ストレージ１２は、データの書き込み及び読み出しが可能な不揮発性の半導体メモリデバイスにより構成されており、ＣＰＵ１１が実行する可能性のある様々なプログラムや事前に用意された様々な定数データなどを保持している。

【0034】

メモリ１３は、揮発性の半導体メモリデバイスにより構成され、ＣＰＵ１１が使用する様々なプログラムやデータを一時的に保持するために利用される。
ＬＴＥ通信部１４は、ＬＴＥ（Long Term Evolution）規格に対応した無線通信機能を備えている。

【0035】

無線ＬＡＮ通信部１５は、無線ＬＡＮの規格に対応した無線通信機能を備えている。
近距離通信部１６は、例えば「Bluetooth（登録商標）」のような近距離通信規格に対応した無線通信機能を備えている。

【0036】

電源回路１７は、車両側から供給される直流電源電力（例えば＋１２Ｖ）に基づいて、車載器１０内の各回路が必要とする安定した電源電圧（例えば＋５Ｖ）を生成する。
ＧＰＳ受信機１８は、複数のＧＰＳ（Global Positioning System）衛星から到来する電波をそれぞれ受信して、同時に受信した複数の電波の正確な時刻に基づいて自車両の現在位置を表す緯度／経度の情報を算出する測位機能を有している。

【0037】

ディスプレイ１９は、自車両の運転者などのユーザが必要とする様々な情報をユーザが視認できるように文字列、図形、画像などで表示することができる。例えば、車載器１０における校正待ちの状態、校正実行中の状態、校正完了の状態などの違いが分かるように様々な可視情報を表示できる。

【0038】

汎用入出力部２０は、様々な信号の入出力が可能なインタフェース回路であり、例えば車両側から出力される車速パルスなどの信号を車載器１０に入力するために利用される。
図１に示すように、フロントカメラ２１、リアカメラ２２、ストレージ１２、メモリ１３、ＬＴＥ通信部１４、無線ＬＡＮ通信部１５、近距離通信部１６、電源回路１７、ＧＰＳ受信機１８、ディスプレイ１９、及び汎用入出力部２０はそれぞれＣＰＵ１１と接続されている。ＣＰＵ１１は電源回路１７から供給される電源電力により動作し、フロントカメラ２１、リアカメラ２２、ストレージ１２、メモリ１３、ＬＴＥ通信部１４、無線ＬＡＮ通信部１５、近距離通信部１６、ＧＰＳ受信機１８、ディスプレイ１９、及び汎用入出力部２０を利用して様々な機能を実現する。

【0039】

＜主要な機能の構成＞
図１に示した車載器１０における主要な機能の構成を図２に示す。
図１に示した車載器１０は、図２に示した画像処理部３０の中に統合アプリ３１、車線検知モデル３２、ＦＯＥ推定モデル３３、車線検知モデル３４、ＦＯＥ推定モデル３５、及びその他モデル３６の各機能をソフトウェアとして搭載している。

【0040】

これらのソフトウェアは事前にストレージ１２上に保持されており、必要に応じてストレージ１２から読み出され、例えばメモリ１３上に展開された後でＣＰＵ１１によりそれぞれ必要なタイミングでプログラムが実行される。

【0041】

統合アプリ３１は、自車両のフロント側で撮影した映像に関する処理や、自車両のリア側で撮影した映像に関する処理などを統合的に管理するための機能を備えている。この機能の中には、リア側の映像を校正する際にかかる処理上の負荷を削減する制御も含まれている。

【0042】

車線検知モデル３２は、自車両のフロントカメラ２１が撮影した映像に基づいて、フロント側の道路上に標示されたレーン（車線）の境界などを表す白線パターンの検知を容易にするためのモデルを表す各種定数データと、このモデルに基づいて実際の映像の中から白線パターンを検知するためのプログラムとを含む画像処理エンジンである。

【0043】

なお、このような画像処理エンジンは処理速度を上げるために専用のハードウェアで構成する場合もあるし、ソフトウェアと専用ハードウェアとの組み合わせとして構成する場合もある。

【0044】

また、車線検知モデル３２には、フロント側の映像フレーム中でＦＯＥ位置の推定に利用可能な各白線の基準位置や基準方向の情報を校正する機能を有する校正部３２ａが含まれている。

【0045】

ＦＯＥ推定モデル３３は、フロントカメラ２１の映像から車線検知モデル３２が実際に検知した各白線の校正された基準位置や基準方向の情報に基づいて、映像フレーム中のＦＯＥの基準位置を正しく推定するためのモデルを表す各種定数データと、このモデルに基づいてＦＯＥの基準位置を推定するプログラムとを含む画像処理エンジンである。
例えば、道路上で自車両が現在走行中の特定レーンの左右にある２本の白線の延長線上の交点としてＦＯＥの座標を推定できる。

【0046】

車線検知モデル３４は、自車両のリアカメラ２２が撮影した映像に基づいて、リア側の道路上に標示されたレーンの境界などを表す白線パターンの検知を容易にするためのモデルを表す各種定数データと、このモデルに基づいて実際の映像の中から白線パターンを検知するためのプログラムとを含む画像処理エンジンである。

【0047】

また、車線検知モデル３４には、リア側の映像フレーム中でＦＯＥ位置の推定に利用可能な各白線の基準位置や、基準方向の情報を校正する機能を有する校正部３４ａが含まれている。

【0048】

ＦＯＥ推定モデル３５は、リアカメラ２２の映像から車線検知モデル３４が実際に検知した各白線の校正された基準位置や基準方向の情報に基づいて、映像フレーム中のＦＯＥの基準位置を正しく推定するためのモデルを表す各種定数データと、このモデルに基づいてＦＯＥの基準位置を推定するプログラムとを含む画像処理エンジンである。

【0049】

その他モデル３６は、道路上の他車両、歩行者、路面標示などの各パターンの検知を容易にするためのモデルを表す各種定数データと、このモデルに基づいて実際の映像の中から各対象パターンを検知するためのプログラムとを含む画像処理エンジンである。

【0050】

＜車載器の主要な動作＞
図１に示した車載器１０における主要な動作を図３に示す。実際には、図１中のＣＰＵ１１がプログラムを実行することで図２に示した各機能がそれぞれ必要に応じて起動し、図３の動作が実現する。図３に示した動作について以下に説明する。

【0051】

自車両が走行を開始した直後の初期状態では、フロント側の車線検知モデル３２はフロント側映像の校正処理開始まで待機する状態になり（Ｓ１１）、リア側の車線検知モデル３４もリア側映像の校正処理開始まで待機する状態になる（Ｓ２１）
車線検知モデル３２は、待機中に自車両の走行速度を監視し、走行速度が所定閾値の条件を満たさない状態ではＳ１２からＳ１１に戻り待機状態を継続する。

【0052】

一方、走行速度が所定閾値の条件を満たして安定した走行状態になると、車線検知モデル３２はＳ１２からＳ１３の処理に進み、所定の車線検知（道路上の白線の検知）動作を開始する。すなわち、フロントカメラ２１の出力から連続的に入力される各映像フレームの画像を画素単位で処理して所定の条件を満たす白線のパターンについて認識を試みる。この動作は車線検知モデル３２がＳ１４でフロント側の白線を正しく検知できるまで継続する。

【0053】

フロント側の白線を正しく検知できる状態になると、車線検知モデル３２はフロント側で検知した白線の状態監視をＳ１５で開始する。そして、フロント側で白線を一定時間継続して検知できる状態になると、車線検知モデル３２はＳ１６からＳ１８の処理に進む。その場合、車線検知モデル３２が検知したフロント側の複数の白線の基準位置や基準方向に基づいて、ＦＯＥ推定モデル３３が道路上の無限遠点であるＦＯＥの位置座標をＳ１８で推定する。すなわち、フロント側の複数の白線の延長線上の交点の位置座標をフロント側のＦＯＥとする。

【0054】

一方、統合アプリ３１は、車線検知モデル３２がＳ１５で監視しているフロント側の白線の検知状態を把握し、リア側の校正開始条件を満たしたか否かをＳ１７で識別する。例えば、連続した複数の白線をフロント側で一定時間安定して検知した状態をＳ１７で認識すると、統合アプリ３１は車線検知モデル３４に対して校正開始指示を与える。

【0055】

一方、リア側の車線検知モデル３４は、Ｓ２１で校正待機状態になった後、処理の負荷を減らすために画像処理は行わず、Ｓ２２で統合アプリ３１からの校正開始指示を待つ。そして、統合アプリ３１からのリア側校正開始指示を車線検知モデル３４が受信すると、車線検知モデル３４はＳ２２からＳ２３の処理に進む。

【0056】

リア側の車線検知モデル３４は、リアカメラ２２からのリア側の映像に基づき、その映像の明度が十分に高い状態（校正に適した状態）か否かをＳ２３で識別する。リア側の映像の明度が不足する場合はＳ２３からＳ２１に戻り、明度が十分に高い状態になるとＳ２３からＳ２４に進む。

【0057】

リア側の車線検知モデル３４は、Ｓ２４で所定の車線検知（道路上の白線の検知）動作を開始する。すなわち、リアカメラ２２の出力から連続的に入力される各映像フレームの画像を画素単位で処理して所定の条件を満たす白線のパターンについて認識を試みる。この動作は車線検知モデル３４がＳ２５でリア側の白線を正しく検知できる状態になるまで継続する。

【0058】

リア側の白線を正しく検知できる状態になると、車線検知モデル３４はリア側で検知した白線の状態監視をＳ２６で開始する。そして、リア側で白線を一定時間継続して検知できる状態になると、車線検知モデル３４はＳ２７からＳ２８の処理に進む。その場合、車線検知モデル３４が検知したリア側の複数の白線の基準位置や基準方向に基づいて、ＦＯＥ推定モデル３５が道路上の無限遠点であるＦＯＥの位置座標をＳ２８で推定する。すなわち、リア側の複数の白線の延長線上の交点の位置座標をリア側のＦＯＥとする。

【0059】

Ｓ１８、Ｓ２８でフロント側およびリア側の映像の校正が完了したことを把握すると、統合アプリ３１は各モデルの画像処理エンジンに対して通常の動作開始を指示する。なお、その他モデル３６は、フロント側の校正が完了した後は、リア側の校正とは無関係にフロント側の映像を認識する処理を開始できる。

【0060】

＜車載器の動作タイミング＞
図１に示した車載器１０における動作タイミングの例を図４に示す。図４に示した動作について以下に説明する。

【0061】

車両が時刻ｔ０で走行を開始した直後は、フロント側の車線検知モデル３２及びリア側の車線検知モデル３４はそれぞれ校正処理の待機状態（Ｓ１１、Ｓ２１）になる。
その後、フロント側の車線検知モデル３２は、自車両の走行速度などの状況をＳ０１Ｆで監視して、校正処理を開始できる状況か否かを識別する（Ｓ１２）。

【0062】

自車両の走行速度が閾値の条件を満たし一定の速度になると（時刻ｔ１）、フロント側の車線検知モデル３２は、フロント側の映像の校正に必要な処理をＳ０２Ｆで開始する。
この時（時刻ｔ１）に、リア側映像を校正するための処理の開始条件を満たすと、統合アプリ３１はＳ０３Ｆで校正処理の開始指示をリア側の車線検知モデル３４に与える。

【0063】

リア側の車線検知モデル３４は、時刻ｔ０から統合アプリ３１の開始指示を受け取る時刻ｔ２までの間は処理の負荷を減らすためにアイドリング状態のままで待機する（Ｓ０１Ｒ）。

【0064】

リア側の車線検知モデル３４は、統合アプリ３１の開始指示を受け取った後で、リア側映像の明度などの状態を監視してリア側映像の校正処理の開始に適した状態になったことを確認した後、校正処理を開始する（Ｓ０２Ｒ）。

【0065】

フロント側の車線検知モデル３２は、フロント側映像から走行レーンの白線を検知する画像処理を繰り返す（Ｓ０４Ｆ）。そして、正しく校正できる条件を満たす白線検出状態になったことを認識すると、各白線の基準位置や基準方向を決定（校正）する。また、ＦＯＥ推定モデル３３は、車線検知モデル３２が決定した各白線の基準位置や基準方向に基づいてフロント側のＦＯＥの座標を決定する。これにより、フロント側の校正処理は時刻ｔ３で完了する（Ｓ０５Ｆ）。

【0066】

一方、リア側の車線検知モデル３４は、リア側映像から走行レーンの白線を検知する画像処理を繰り返す（Ｓ０４Ｒ）。そして、正しく校正できる条件を満たす白線検出状態になったことを認識すると、各白線の基準位置や基準方向を決定（校正）する。また、ＦＯＥ推定モデル３５は車線検知モデル３４が決定した各白線の基準位置や基準方向に基づいてリア側のＦＯＥの座標を決定する。これにより、リア側の校正処理は時刻ｔ４で完了する（Ｓ０５Ｒ）。

【0067】

車両が走行を開始してからリア側の映像について校正処理が容易な状況になるまでには、フロント側と比べてより長い時間がかかる傾向がある。また、校正処理を開始すると大量の画像処理を高速で繰り返し行うことになるため、校正が完了するまでは処理負荷が非常に大きくなる。しかし、図４に示した動作においては、時刻ｔ０～ｔ２の区間はリア側の車線検知モデル３４は待機するだけで良いので、リア側における処理の負荷は非常に小さくなる。

【0068】

また、フロント側で車線検知モデル３２が走行レーンの白線を検知できる状態になった時刻ｔ１の後で統合アプリ３１が送出する校正の開始指示（Ｓ０３Ｆ）の後でリア側の車線検知モデル３４が走行レーンの白線検知のための校正処理を開始するので、車線検知モデル３４において処理の負荷が大きくなる区間（ｔ２～ｔ４）の時間長を短縮できる。

【0069】

＜統合アプリの動作例＞
統合アプリ３１の動作に関する変形例を図５に示す。図３に示した動作について以下に説明する。

【0070】

自車両が走行を開始すると、統合アプリ３１はリアカメラ２２からリア側の映像を取得してリア側の映像の現在の明度を把握し、この明度を閾値と比較して明度不足の有無を識別する（Ｓ３１）。そして、リア側の明度が不足する場合は、統合アプリ３１はリア側の車線検知モデル３４に対して待機指示を与える（Ｓ３２）。

【0071】

統合アプリ３１は、フロント側の車線検知モデル３２における検知状況を把握し、フロント側が映像を校正可能な状況になるまでＳ３３で待機する。
フロント側が映像を校正可能な状況になった後、統合アプリ３１はリア側の映像における明度などに基づいて、リア側の映像を校正可能な状況か否かをＳ３４で識別する。そして、フロント側およびリア側の両方の映像が校正可能な状況になると、統合アプリ３１はリア側の車線検知モデル３４に対して校正処理の開始を指示する（Ｓ３５）。

【0072】

統合アプリ３１は、フロント側の車線検知モデル３２の処理状況およびリア側の車線検知モデル３４の処理状況をそれぞれ把握し、両方の校正が完了したことをＳ３６で検知すると、車載器１０が通常動作可能な状態になったことを把握し、これ以降の処理を開始する。

【0073】

以上のように、本実施形態の車載器１０は、図３に示した処理を行うので、リアカメラ２２が撮影した映像の校正処理をＳ２４～Ｓ２７で行う際に、処理の開始から完了までの時間長を短縮できる。すなわち、自車両前方の映像が校正に適した状態になった後で自車両後方の映像の校正を開始できるので、自車両後方の映像の校正が困難な状況で負荷の大きい処理を無駄に繰り返す必要がなくなる。これにより、校正処理に伴う負荷の増大が校正以外の機能に悪影響を及ぼすのを最小限に抑制できる。

【0074】

例えば、車両や歩行者などを検知するその他モデル３６の画像処理エンジンは、映像の校正が完了するまで機能を起動できないが、フロント側の映像の校正が完了した後はフロント側の映像を利用してその他モデル３６が様々な画像認識を開始できる。しかし、リア側の映像の校正処理がいつまでも継続していると、その負荷がフロント側の映像を処理する際の足枷となり、処理速度が低下してしまう。図３の処理のようにリア側の映像の校正が容易な状況になるまでリア側の校正開始を待機させることで、フロント側の映像を校正する際の処理速度低下を防止できる。また、リア側の映像の校正が完了してなくても、フロント側の映像の校正が完了した段階でその他モデル３６等の画像処理エンジンを起動することも可能になる。

【0075】

また、図５に示した処理のように、リア側の映像の明度が不足する場合のようにリア側の校正が困難な状況では、統合アプリ３１の制御により、あるいは車線検知モデル３４側の制御によりリア側の校正処理の開始を待機することで、リア側の校正処理に伴う負荷の増大をより確実に低減できる。

【0076】

ここで、上述した本発明の実施形態に係る映像処理車載器および車載映像処理システムの特徴をそれぞれ以下［１］～［５］に簡潔に纏めて列記する。
［１］ 車両前方側のカメラ（フロントカメラ２１）が撮影した前方映像を取得し、前記前方映像に基づいて状況を把握する前方映像処理部（車線検知モデル３２）と、
前記前方映像処理部の機能を校正する第１キャリブレーション部（校正部３２ａ）と、
車両後方側のカメラ（リアカメラ２２）が撮影した後方映像を取得し、前記後方映像に基づいて状況を把握する後方映像処理部（車線検知モデル３４）と、
前記後方映像処理部の機能を校正する第２キャリブレーション部（校正部３４ａ）と、
前記第２キャリブレーション部が処理を開始するタイミングを制御する後方タイミング制御部（統合アプリ３１）と、
を備え、前記後方タイミング制御部は、前記第１キャリブレーション部における実際の検出状況を反映し（Ｓ１５、Ｓ１７）、前記第１キャリブレーション部の処理開始よりも遅いタイミングで前記第２キャリブレーション部に処理の開始を指示する（Ｓ０３Ｆ）、
映像処理車載器（車載器１０）。

【0077】

上記［１］の構成の映像処理車載器によれば、車両前方側の映像において校正処理（キャリブレーション）がしやすい状況が検出されるまでの間は、第２キャリブレーション部は負荷の大きい処理を行う必要がない。したがって、自車両が走行を開始してから第２キャリブレーション部が後方映像の校正処理を完了するまでの間に、車載器上で後方映像に関する処理の負荷が大きくなる区間（ｔ２～ｔ４）の長さを短縮できる。これにより、校正処理に起因するＣＰＵ等の負荷の増大が校正以外の機能に与える悪影響を減らすことができる。

【0078】

［２］ 前記後方タイミング制御部は、前記前方映像における明度が所定以上、且つ前記前方映像に基づく道路上の車線検出状態が所定の条件を満たしたときに、前記第２キャリブレーション部に処理の開始を指示する（Ｓ１５、Ｓ１７）、
上記［１］に記載の映像処理車載器。

【0079】

上記［２］の構成の映像処理車載器によれば、前方映像の明度が十分に高く方映像を校正しやすい状況が検出された後で第２キャリブレーション部に処理の開始を指示するので、第２キャリブレーション部は後方映像を校正しやすい状況になった後で処理を開始できる。

【0080】

［３］ 前記後方タイミング制御部は、前記後方映像における明度が所定以下の場合には、前記第２キャリブレーション部に待機指示を与え（Ｓ３１、Ｓ３２）、前記前方映像に基づく検出状態が第１の条件を満たし、且つ前記後方映像に基づく検出状態が第２の条件を満たしたときに、前記第２キャリブレーション部に処理の開始を指示する（Ｓ３３～Ｓ３５）、
上記［１］に記載の映像処理車載器。

【0081】

上記［３］の構成の映像処理車載器によれば、後方映像における明度が所定以下で校正が困難な状況では、確実に第２キャリブレーション部を待機させることができる。また、前方映像が校正しやすい状況になり、且つ後方映像も校正しやすい状況になった後で第２キャリブレーション部に処理の開始を指示するので、第２キャリブレーション部における処理の負荷が大きくなる区間（ｔ２～ｔ４）の長さを確実に短縮できる。

【0082】

［４］ 前記前方映像処理部は、前記第１キャリブレーション部により機能を校正した後で、前記前方映像における無限遠点（ＦＯＥ）を検出する機能（ＦＯＥ推定モデル３３）を有し、
前記後方映像処理部は、前記第２キャリブレーション部により機能を校正した後で、前記後方映像における無限遠点を検出する機能（ＦＯＥ推定モデル３５）を有する、
上記［１］に記載の映像処理車載器。

【0083】

上記［４］の構成の映像処理車載器によれば、前方映像および後方映像のそれぞれの無限遠点の座標を特定できるので、二次元の映像中に現れる各パターンの三次元空間における実際の位置を推定する処理が容易になる。

【0084】

［５］ 車両のフロント方向を撮影して前方映像の信号を出力するフロントカメラ（２１）と、
前記車両のリア方向を撮影して後方映像の信号を出力するリアカメラ（２２）と、
上記［１］から［４］のいずれかに記載の映像処理車載器（車載器１０）と、
を備える車載映像処理システム（車載システム１００）。

【0085】

上記［５］の構成の車載映像処理システムによれば、自車両前方の映像と、自車両後方の映像との両方を取得して監視することができる。また、自車両が走行を開始する毎に各映像の校正処理を行う場合でも、後方映像の校正処理に起因して処理負荷が増大する区間の長さを短縮できる。

【符号の説明】

【0086】

１０ 車載器
１１ ＣＰＵ
１２ ストレージ
１３ メモリ
１４ ＬＴＥ通信部
１５ 無線ＬＡＮ通信部
１６ 近距離通信部
１７ 電源回路
１８ ＧＰＳ受信機
１９ ディスプレイ
２０ 汎用入出力部
２１ フロントカメラ
２２ リアカメラ
３０ 画像処理部
３１ 統合アプリ
３１ａ 校正管理部
３２ 車線検知モデル
３２ａ 校正部
３３ ＦＯＥ推定モデル
３４ 車線検知モデル
３４ａ 校正部
３５ ＦＯＥ推定モデル
３６ その他モデル
１００ 車載システム

【図1】

【図2】

【図3】

【図4】

【図5】