特許 7638143 外界認識装置、および、外界認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-20

(45)【発行日】2025-03-03

(54)【発明の名称】外界認識装置、および、外界認識システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250221BHJP

   G08G 1/16 20060101ALI20250221BHJP

   G16Y 10/40 20200101ALI20250221BHJP

   G16Y 20/20 20200101ALI20250221BHJP

   G16Y 40/20 20200101ALI20250221BHJP

【ＦＩ】

G06T7/00 650B

G08G1/16 A

G16Y10/40

G16Y20/20

G16Y40/20

【請求項の数】 10

(21)【出願番号】P 2021075771

(22)【出願日】2021-04-28

(65)【公開番号】P2022169985

(43)【公開日】2022-11-10

【審査請求日】2024-02-08

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】二宮 洸

(72)【発明者】

【氏名】竹村 雅幸

(72)【発明者】

【氏名】的野 春樹

(72)【発明者】

【氏名】大里 琢馬

【審査官】増子 真

(56)【参考文献】

【文献】特開２０１９－０７８５５４（ＪＰ，Ａ）

【文献】特開２００９－２７６２００（ＪＰ，Ａ）

【文献】特開２０１９－００２６８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／００

Ｇ１６Ｙ １０／４０

Ｇ１６Ｙ ２０／２０

Ｇ１６Ｙ ４０／２０

(57)【特許請求の範囲】

【請求項1】

車両周辺を検知するセンサと、
センサから取得した外界情報に基づいて立体物候補を検知する立体物検知部と、
信頼度算出モデルを用いて、新たにセンサから取得した前記外界情報に基づいて検知した立体物候補が誤検知立体物である可能性を判定する信頼度算出部と、
自車両の進行に伴い前記立体物候補を追跡して検知を続ける立体物追跡部と、
前記追跡の検知結果に基づいて追跡している立体物候補が誤検知か否かを判定する誤検知立体物判定部と、
前記誤検知立体物判定部によって前記立体物候補が誤検知であると判定された場合に、当該立体物候補が誤検知と判定されるまでに追跡されていたときの当該立体物候補に関する前記外界情報の少なくとも一部を記憶する誤検知立体物記憶部と、
前記誤検知立体物記憶部に記憶された情報から信頼度算出モデルを学習する信頼度算出モデル学習部と、
を備え
前記誤検知立体物判定部は、前記立体物追跡部で追跡されている間の立体物候補の形状変化から前記立体物候補が誤検知か否かを判定する、外界認識装置。

【請求項2】

車両周辺を検知するセンサと、
センサから取得した外界情報に基づいて立体物候補を検知する立体物検知部と、
信頼度算出モデルを用いて、新たにセンサから取得した前記外界情報に基づいて検知した立体物候補が誤検知立体物である可能性を判定する信頼度算出部と、
自車両の進行に伴い前記立体物候補を追跡して検知を続ける立体物追跡部と、
前記追跡の検知結果に基づいて追跡している立体物候補が誤検知か否かを判定する誤検知立体物判定部と、
前記誤検知立体物判定部によって前記立体物候補が誤検知であると判定された場合に、当該立体物候補が誤検知と判定されるまでに追跡されていたときの当該立体物候補に関する前記外界情報の少なくとも一部を記憶する誤検知立体物記憶部と、
前記誤検知立体物記憶部に記憶された情報から信頼度算出モデルを学習する信頼度算出モデル学習部と、
を備え
前記誤検知立体物判定部は、前記立体物追跡部で追跡されている間の立体物候補の高さ変化から前記立体物候補が誤検知か否かを判定する、外界認識装置。

【請求項3】

請求項１に記載の外界認識装置であって、
前記誤検知立体物記憶部に記憶される前記立体物候補に関する外界情報は、前記立体物候補が誤検知と判定されるまでに追跡されていたときの時系列の外界情報である、外界認識装置。

【請求項4】

請求項１に記載の外界認識装置であって、
前記誤検知立体物判定部によって前記立体物候補が誤検知でないと判定された場合は、当該立体物候補に関する前記外界情報は前記誤検知立体物記憶部には記憶されない、外界認識装置。

【請求項5】

車載の外界認識装置と車外サーバを無線接続した外界認識システムであって、
前記外界認識装置は、
カメラの撮像画像に基づいて車両周辺を検知するセンサ部と、
該センサ部から取得した外界情報に基づいて立体物候補を検知する立体物検知部と、
信頼度算出モデルを用いて、前記センサ部から新たに取得した前記外界情報に基づいて検知した立体物候補が誤検知立体物である可能性を判定する信頼度算出部と、
自車両の進行に伴い前記立体物候補を追跡して検知を続ける立体物追跡部と、
追跡結果に基づいて追跡中の立体物候補が誤検知か否かを判定する誤検知立体物判定部と、を備え、
前記車外サーバは、
前記誤検知立体物判定部によって前記立体物候補が誤検知であると判定された場合に、当該立体物候補が誤検知と判定されるまでに追跡されていたときの当該立体物候補に関する前記外界情報の少なくとも一部を記憶するデータ蓄積部を備え、
前記外界認識装置の誤検知立体物判定部は、前記立体物追跡部で追跡されている間の立体物候補の形状変化から前記立体物候補が誤検知か否かを判定するものであり、
前記外界認識装置の誤検知立体物判定部は、前記立体物追跡部で追跡されている間の立体物候補の高さ変化から前記立体物候補が誤検知か否かを判定することを特徴とする外界認識システム。

【請求項6】

請求項５に記載の外界認識システムにおいて、
前記外界認識装置の信頼度算出モデルは、自車周囲の環境に合わせて適切な信頼度算出モデルを、前記車外サーバのデータ蓄積部からダウンロードすることを特徴とする外界認識システム。

【請求項7】

請求項５に記載の外界認識システムにおいて、
前記車外サーバのデータ蓄積部に記憶される前記立体物候補に関する外界情報は、前記立体物候補が誤検知と判定されるまでに追跡されていたときの時系列の外界情報であることを特徴とする外界認識システム。

【請求項8】

請求項５に記載の外界認識システムにおいて、
前記外界認識装置の誤検知立体物判定部によって前記立体物候補が誤検知でないと判定された場合は、当該立体物候補に関する前記外界情報は前記車外サーバのデータ蓄積部には記憶されないことを特徴とする外界認識システム。

【請求項9】

車載の外界認識装置と車外サーバを無線接続した外界認識システムであって、
前記外界認識装置は、
カメラの撮像画像に基づいて車両周辺を検知するセンサ部と、
該センサ部から取得した外界情報に基づいて立体物候補を検知する立体物検知部と、
信頼度算出モデルを用いて、前記センサ部から新たに取得した前記外界情報に基づいて検知した立体物候補が誤検知立体物である可能性を判定する信頼度算出部と、
自車両の進行に伴い前記立体物候補を追跡して検知を続ける立体物追跡部と、
追跡結果に基づいて追跡中の立体物候補が誤検知か否かを判定する誤検知立体物判定部と、を備え、
前記車外サーバは、
前記誤検知立体物判定部によって前記立体物候補が誤検知であると判定された場合に、当該立体物候補が誤検知と判定されるまでに追跡されていたときの当該立体物候補に関する前記外界情報の少なくとも一部を記憶するデータ蓄積部を備え、
前記外界認識装置の誤検知立体物判定部は、前記立体物追跡部で追跡されている間の立体物候補の形状変化から前記立体物候補が誤検知か否かを判定するものであり、
前記車外サーバのデータ蓄積部は、少なくとも１台以上の車両から外界情報を受信し、受信したデータをもとに信頼度算出モデルを再学習するものであり、
前記車外サーバのデータ蓄積部は、外界情報を取得した際の車両周囲の環境に応じてデータを分類し、分類したデータごとに信頼度算出モデルを学習させることで、特定の環境に特化したモデルを複数もつことを特徴とする外界認識システム。

【請求項10】

請求項９に記載の外界認識システムにおいて、
前記車外サーバのデータ蓄積部は、車両周囲の環境情報を各車両から受信し、受信した環境に最も適する信頼度算出モデルを各車両の外界認識装置に送信することを特徴とする外界認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載ステレオカメラが撮像した画像に基づいて自車周囲の立体物を検知する外界認識装置、および、外界認識システムに関する。

【背景技術】

【0002】

車載ステレオカメラは、左右のカメラの視差を求めることで、自車周囲の３次元情報を取得する撮像装置である。そして、３次元情報から自車周囲の立体物を正確に検知することで、車両制御装置は、自車周囲の環境に応じた適切な警報を運転者に発したり、適切な回避制御を実行したりすることができる。

【0003】

ここで、自車周囲の立体物を検知する従来技術として、特許文献１の物体検知装置が知られている。例えば、同文献の要約書には、「物標の検知結果の早期確定と精度向上を実現できる物体検知装置」に関して「物標認識部（２１）は、センサ情報から認識し得る物標の位置と速度との少なくとも何れかを含む状態を表す認識情報を導出する。予測部（２２）は、第１の観測タイミングにおいて導出された認識情報に基づいて、次の第２の観測タイミングにおける当該物標の位置と速度との少なくとも何れかを含む状態を予測する。スコア導出部は、第２の観測タイミングにおいて観測された物標の状態と、第１の観測タイミングから予測された次の物標の状態との差の度合に応じて、スコアを導出する。信頼度導出部（２３）は、過去から現在までの複数の観測タイミングごとにスコア導出部により導出された物標に関するスコアを統計的に処理することにより、信頼度を導出する。確定部（２４）は、信頼度が所定の基準を満たす場合、当該信頼度に係る物標が実際に存在すると確定する。」の記載がある。

【0004】

すなわち、特許文献１の物体検知装置では、前時刻（第１の観測タイミング）の物標（立体物）の位置や速度から現時刻（第２の観測タイミング）の状態を推定し、実際に観測された状態との差分で物標のスコアを算出し、このスコアに基づいて物標の信頼度を導出している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－７８５５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ステレオカメラの特性上、路面ペイントや影、路面のよごれなどの平面が、立体物として誤検知される場合がある。誤検知の原因としては、キャリブレーション誤差や経年劣化による平行化ずれが考えられる。平行化ずれが発生した場合、誤検知した立体物は数フレームにわたり同じ位置から検出される。

【0007】

特許文献１の物体検知装置は、前時刻（第１の観測タイミング）の予測と現時刻（第２の観測タイミング）の観測の比較から立体物（物標）のスコアを算出するものであるが、平行化ずれのあるステレオカメラの使用時に特許文献１の方法でスコアを算出すると、立体物の予測と観測の比較に矛盾が無く、誤検知した立体物を排除することができなかった。

【0008】

そこで、本発明は、平行化ずれのあるステレオカメラを使用した場合であっても、検知した立体物の中から、誤検知した立体物をノイズとして除去することで、自車周囲の立体物を正しく検知することができる外界認識装置および外界認識システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

車両周辺を検知するセンサと、センサから取得した外界情報に基づいて立体物候補を検知する立体物検知部と、信頼度算出モデルを用いて、新たにセンサから取得した前記外界情報に基づいて検知した立体物候補が誤検知立体物である可能性を判定する信頼度算出部と、自車両の進行に伴い前記立体物候補を追跡して検知を続ける立体物追跡部と、前記追跡の検知結果に基づいて追跡している立体物候補が誤検知か否かを判定する誤検知立体物判定部と、前記誤検知立体物判定部によって前記立体物候補が誤検知であると判定された場合に、当該立体物候補が誤検知と判定されるまでに追跡されていたときの当該立体物候補に関する前記外界情報の少なくとも一部を記憶する誤検知立体物記憶部と、前記誤検知立体物記憶部に記憶された情報から信頼度算出モデルを学習する信頼度算出モデル学習部と、を備える外界認識装置。

【発明の効果】

【0010】

本発明の外界認識装置および外界認識システムによれば、平行化ずれのあるステレオカメラを使用した場合であっても、検知した立体物の中から、誤検知した立体物をノイズとして除去することで、自車周囲の立体物を正しく検知することができる。

【図面の簡単な説明】

【0011】

【図1】実施例１の外界認識装置のハードウェア構成図

【図2】実施例１の外界認識装置の機能ブロック図

【図3】実施例１の外界認識装置の処理フロチャート

【図4】立体物の検知方法の一例

【図5】誤検知立体物の例

【図6】平行化ずれの説明

【図7】視差値と立体物高さの関係

【図8】実施例２の外観認識システムの機能ブロック図

【図9】実施例２の外観認識システムの使用環境

【図10】実施例２のデータ蓄積部の機能ブロック図

【発明を実施するための形態】

【0012】

以下、本発明の外界認識装置と外界認識システムの実施例を、図面を用いて説明する。

【実施例1】

【0013】

まず、図１から図７を用いて、本発明の実施例１に係る外界認識装置１００を説明する。

【0014】

＜外界認識装置のハードウェア構成図＞
図１は、本実施例の外界認識装置１００のハードウェア構成図である。外界認識装置１００は、車載ステレオカメラの撮像画像に基づいて認識した車外環境を、Controller Area Network（ＣＡＮ）を介して、車両の操舵系、駆動系、制動系を制御する車両制御装置（Electronic Control Unit、ＥＣＵ）に送信する車載装置である。なお、外界認識装置１００が認識する車外環境は、例えば、道路の白線の位置、歩行者の位置と速度、他車両の位置と速度、その他の立体物、信号、標識、点灯ランプなどである。

【0015】

図１に示すように、外界認識装置１００は、車両前方を撮像する左カメラ１１および右カメラ１２と、両カメラを制御するとともに撮像した画像を取得するカメラインタフェース１０１と、ＣＰＵ等の演算処理部１０２と、半導体メモリ等の記憶部１０３と、ＣＡＮとの入出力を担うＣＡＮインタフェース１０４を備えている。なお、カメラインタフェース１０１からＣＡＮインタフェース１０４は、内部バスを介して相互接続されたコンピュータユニットであり、また、演算処理部１０２が所定のプログラムを実行することで後述する各種処理を実行するものであるが、以下では、このような周知技術を省略しながら本発明を説明する。

【0016】

＜外界認識装置１００の機能ブロック図＞
図２は、本実施例の外界認識装置１００の機能ブロック図である。ここに示すように、外界認識装置１００は、センサ部１と、立体物検知部２と、信頼度算出部３と、立体物追跡部４と、誤検知立体物判定部５と、誤検知立体物記憶部６と、信頼度算出モデル学習部７を備えている。なお、図２に示す構成のうち、左カメラ１１と右カメラ１２以外の構成は、具体的には、図１の演算処理部１０２と記憶部１０３が協働して実現した機能である。

【0017】

以下、図３のフロチャートを参照しながら、各部を概説する。なお、各部の詳細は後述することとする。

【0018】

まず、ステップＳ１では、センサ部１は、左カメラ１１と右カメラ１２からなるステレオカメラを利用して、同時撮像した左画像ＰＬと右画像ＰＲの視差による距離画像を取得する。

【0019】

次に、ステップＳ２では、立体物検知部２は、センサ部１から取得した距離画像に基づいて立体物候補を検知し、検知した立体物候補の情報を、信頼度算出部３と立体物追跡部４に出力する。

【0020】

ここで、立体物検知部２は、立体物候補を検知するために、まずセンサ部１が出力した距離画像から、奥行き方向の連続性を見ることで路面領域を推定する。距離画像から推定した路面領域を排除し、残った領域を近い距離同士でグルーピングすることで、立体物候補の位置、高さ、幅を算出できる。また、これに限定されず、任意の立体物算出方法を用いることもできる。そして、立体物検知部２は、算出した立体物候補の位置、高さ、幅と、立体物候補を切り出したテンプレート画像を信頼度算出部３と立体物追跡部４に出力する。

【0021】

なお、本ステップで立体物検知部２が検知した立体物候補には、本来立体物ではない平面を立体物と検知した誤検知が含まれる。例えば、ステレオカメラのキャリブレーション誤差や経年劣化により左右のカメラ間で平行化ずれが発生した場合、横断歩道や白線など路面ペイントまでの距離を誤ることがあり、そのため路面から浮き出た立体物として誤検知される場合がある。同様の現象は、路面上の影やひび割れ、汚れなどでも発生する可能性があり、この誤検知立体物を後段処理で適切に排除する必要がある。

【0022】

ステップＳ２を終えると、外界認識装置１００は、従来技術同等のステップＳ３の処理と、本発明特有のステップＳ４からステップＳ８の処理を並列して実行する。

【0023】

ステップＳ３では、信頼度算出部３は、立体物検知部２が検知した立体物候補に対し、立体物である可能性を示す信頼度を算出する。体物候補が真の立体物の場合は、信頼度の値が高くなり、一方、体物候補が実際には立体物でない誤検知の場合は、信頼度の値が低くなる。この信頼度は、信頼度算出モデルに立体物候補のテンプレート画像を入力することで算出される。信頼度算出モデルには、入力された画像が立体物か誤検知かを判定する決定木が用いられる。また、テンプレート画像に対し、ディープラーニングのような畳み込み演算が行い最終的に立体物か誤検知かの分類問題を解くモデルを使用しても良い。また、遠方、近傍と自車からの距離でエリアを２つに分け、それぞれのエリアで遠方用／近傍用のモデルを使用するような、２種類のモデルを使用しても良い。また、任意の指標でエリアを分割し、それぞれのエリア専用のモデルを使用するような多種類のモデルを使用しても良い。

【0024】

信頼度算出部３が算出した信頼度に応じて、立体物候補が立体物なのか誤検知なのかを判定し、立体物だと判定された立体物候補のみに対して、ＣＡＮに立体物に関する情報を出力する。この結果、ＥＣＵは、真の立体物に対してブレーキや操舵回避などの制御を実行することができる。

【0025】

一方、ステップＳ４では、立体物追跡部４は、立体物検知部２が検知した立体物候補を追跡する。立体物追跡部４には過去に検知した立体物候補の情報が保存されており、現フレームで検知した立体物候補と過去の立体物候補の情報を比較することで追跡を行う。

【0026】

ステップＳ５では、誤検知立体物判定部５は、立体物追跡部４が出力した立体物の追跡情報から、追跡している立体物の形状変化をもとに誤検知判定を実施する。誤検知の原因は左右カメラの平行化ずれによる視差誤差であり、視差誤差の影響は自車と立体物候補との距離によって変化する。そのため、平行化ずれが原因で誤検知した立体物候補を時系列で観測した場合、立体物候補の形状が変化する。例えば、誤検知した立体物候補の高さを時系列で観測した場合、遠方では視差誤差の影響が大きく路面上の点が大きく浮き上がって観測されるが、自車が立体物候補に接近するほど視差誤差の影響が小さくなり、高さが低くなる。一方、誤検知ではない立体物の高さは時系列で観測しても高さは変化しないため、時系列で高さ変化を観測することで誤検知した立体物を判定することができる。

【0027】

ステップＳ６では、誤検知立体物記憶部６は、誤検知立体物判定部５が誤検知だと判定した立体物候補の情報を保存する。保存した立体物情報は、信頼度算出モデルが誤検知だと判定できるようにするため、信頼度算出モデル学習部７に出力し信頼度算出モデルのパラメータ更新に用いられる。信頼度算出モデル学習部７に出力されるタイミングは、誤検知立体記憶部６に誤検知立体物の情報が一定数たまったら逐次的に出力される。また、そのほか任意のタイミングで出力しても良い。

【0028】

ステップＳ７では、信頼度算出モデル学習部７は、信頼度算出モデルのパラメータを更新する。誤検知立体物記憶部６が出力した誤検知立体物のテンプレート画像を用いて、モデルがその誤検知立体物を誤検知であると分類するように、モデルのパラメータを更新する。そして、信頼度算出部３に更新モデルを出力することで、信頼度算出部３が使用する信頼度算出モデルを最新の情報に更新する。これにより、従来の信頼度算出モデルでは誤検知立体物だと判定できなかった誤検知に対しても、次回以降の信頼度算出時には、適切に信頼度を下げ、誤検知判定することができるようになる。

【0029】

このように、ステップＳ３の処理と、ステップＳ４からステップＳ８の処理を並列して実行することで、車両制御のための立体物検知を行いながら、信頼度算出モデルの精度を改善することができる。以下では、上記した各部での処理を、図２を参照しながら、より詳細に説明する。

【0030】

＜センサ部１＞
センサ部１は、視差による距離画像を取得し、立体物検知部２に出力するステレオカメラであり、左カメラ１１と、右カメラ１２と、マッチング部１３と、視差算出部１４を有している。

【0031】

左カメラ１１と右カメラ１２は、車両前方を撮像できるよう、フロントガラスの内面上部等に所定間隔を設けて併設した撮像装置であり、左カメラ１１で左画像ＰＬを撮像し、右カメラ１２で右画像ＰＲを撮像する。

【0032】

マッチング部１３は、左右カメラが同一対象物を撮像している場合に、左右画像上での同一対象物の画像位置をマッチングにより特定する。

【0033】

視差算出部１４は、左右画像上に写される同一対象物の位置の違いを特定することで、距離を測定し、視差画像を生成する。具体的には、左右カメラの間隔を三角形の底辺とし、画像上の同一対象物の位置を頂点とする三角形を特定することで、三角測量により視差画像を生成する。

【0034】

＜立体物検知部２＞
立体物検知部２は、センサ部１で生成した視差画像を入力とし、視差画像から立体物候補を検知し、検知した立体物候補の情報を信頼度算出部３と立体物追跡部４に出力するものであり、立体物抽出部２１と立体物情報抽出部２２を有している。

【0035】

まず、立体物抽出部２１は、視差画像から立体物を抽出する。視差画像から立体物候補を検知する手法を図４に示す。まず、立体物検知部２は立体物候補を検知するために、視差画像から路面領域を推定する。図４（ａ）のカメラ画像から視差画像を生成すると、図４（ｂ）のような濃淡で各画素までの距離が示される。図４（ｂ）の路面領域は、画像縦位置が変化すると各画素に格納されている視差値もなめらかに変化する。従って、路面領域は、一様に淡色をしている。一方、車両などの立体物は自車から同距離に存在し、同じ値の視差値が固まっていることがわかる。この視差画像から、図４（ｃ）に示す、横軸ｄ（視差値）、縦軸ｖ（画像縦位置）のv-disparityマップを作成すると、車両などの立体物は縦方向の直線に、一方路面領域は右肩下がりの直線になることがわかる。この右肩下がりの直線パラメータを求めることで、各画像縦位置における路面の視差値を算出でき、路面視差値と近い値が格納されている位置を路面領域、それ以外を立体物領域と分離することができる。路面領域と立体物領域を分離したのち、近い距離にある立体物領域をグルーピングすることで、立体物候補の位置、高さ、幅を算出することができる。なお、これに限定されず、任意の立体物算出方法を用いることもできる。

【0036】

次に、立体物情報抽出部２２は、立体物抽出部２１が算出した立体物候補の位置、高さ、幅から、同じ位置にあるカメラ画像をテンプレートとして切り出す。この立体物候補のテンプレートと、位置、高さ、幅の情報を、信頼度算出部３と立体物追跡部４に出力する。

【0037】

＜立体物追跡部４＞
立体物追跡部４では、立体物検知部２が検知した立体物候補を時系列で追跡し、追跡情報を保存し、誤検知立体物判定部５に出力するものであり、追跡立体物情報保存部４１と、立体物位置予測部４２と、立体物マッチング部４３を有している。

【0038】

追跡立体物情報保存部４１には、過去に観測された立体物候補の観測情報が保存されている。保存される観測情報には、立体物検知部２が出力した立体物候補の位置、高さ、幅、テンプレート画像が含まれる。また、同じ立体物候補には同じＩＤが付与され、観測された時刻に関する情報も同時に保存される。

【0039】

また、立体物マッチング部４３により、現フレームで観測された立体物候補と、追跡立体物情報保存部４１に保存された過去に観測された立体物候補が同じ立体物であると判定された場合、現フレームの立体物情報を同じＩＤで登録する。

【0040】

立体物位置予測部４２は、追跡立体物情報保存部４１に保存されている立体物候補に対して、現フレームで観測される位置を予測する。予測には、自車に取り付けられたセンサから得られる自車挙動をもとに算出される。また、立体物候補が移動している物体の場合、自車挙動のみから予測位置を算出するとずれが生じるため、過去の自車挙動と立体物候補の位置から立体物候補の移動速度を計算し、その値を予測位置の算出に考慮しても良い。

【0041】

立体物マッチング部４３は、立体物位置予測部４２が予測した現フレームでの立体物候補位置と、立体物検知部２が現フレームで検知した立体物候補位置をもとに、同一の立体物候補をマッチングさせ、追跡立体物情報保存部４１に同じＩＤで登録する。立体物位置予測部４２が予測した位置の近傍に立体物検知部２が立体物候補を検知していればそれらを同一の立体物候補として追跡立体物情報保存部４１に登録する。また、立体物候補の位置のほかに、高さ、幅も考慮することで、同じ大きさの立体物が出現した場合に限り、追跡立体物情報保存部４１に登録しても良い。また、テンプレート画像を用いて、模様の類似性を考慮しても良い。

【0042】

＜誤検知立体物判定部５＞
誤検知立体物判定部５は、立体物追跡部４が保存している追跡立体物情報をもとに、追跡している立体物が誤検知かどうか判定する。誤検知だと判定された場合に、立体物情報を誤検知立体物記憶部６に出力するものであり、立体物高さ解析部５１と、誤検知立体物情報送信部５２を有している。

【0043】

立体物高さ解析部５１は、立体物追跡部４が追跡している立体物候補の高さ情報を使って、誤検知判定を行う。

【0044】

図５に誤検知立体物の例を示す。誤検知が発生しやすい場所の一つに横断歩道や白線などの路面ペイント周辺があげられる。また同様の現象は、路面上の影やひび割れ、汚れなどでも発生する。これらの原因として、キャリブレーション誤差や経年劣化によるステレオカメラの平行化ずれがあげられる。図６（ａ）に平行化ずれがない正常時の左画像ＰＬと右画像ＰＲを示し、図６（ｂ）に平行化ずれがある異常時の左画像ＰＬと右画像ＰＲを示す。このとき、特に斜め方向の直線が画像中に撮像された領域において、視差ずれｄＤ［ｐｉｘ］が生じてしまう。直背の傾きをθ［ｒａｄ］、平行化ずれをｄｊ［ｐｉｘ］とすると、視差ずれは式１で計算される。また視差ずれｄＤが生じたときの対象物体の高さずれｄＹは、カメラの高さＹに対して式２で計算される。この誤差が大きい場合、路面から得られた視差に対して、障害物があると誤検知してしまう。

【0045】

【数1】

【0046】

【数2】

【0047】

このとき、式２より、対象物体の高さずれｄＹは視差Ｄ［ｐｉｘ］の値に応じて変化することがわかる。図７に視値と立体物高さの関係の例を示す。すなわち、視差値が小さい場合（自車と立体物候補との距離が遠い場合）は高さずれｄＹの値も大きく、白線など路面上にあるペイントが背の高い立体物だと誤検知してしまう。一方、視差値が大きくなるにつれて（自車と立体物候補との距離が近づくにつれ）、高さずれｄＹの値も小さくなり、同じ立体物でも背の高さが低く認識される。そのため、自車に接近する立体物候補の高さを時系列で観測した場合、路面ペイントなどの誤検知立体物は背の高さが低くなるような変化を示す。本来の立体物は自車が接近したとしても背の高さは変化しないため、高さ変化の差分を観測することで立体物と誤検知立体物を区別することができる。

【0048】

誤検知立体物情報送信部５２は、立体物高さ解析部５１で誤検知であると判定された立体物候補の情報を誤検知立体物記憶部６に送信する。また、立体物候補が誤検知であると判定された瞬間の自車位置（ＧＮＳＳ情報など）が取得できる場合には、その情報もあわせて出力してもよい。また、立体物候補が誤検知であると判定された瞬間の時刻や気象条件を含む環境情報が取得できる場合には、その情報もあわせて出力してもよい。

【0049】

＜誤検知立体物記憶部６＞
誤検知立体物記憶部６は、誤検知立体物判定部５が誤検知だと判定した立体物候補の情報を入力とし、信頼度算出モデルを更新するタイミグで、保存した情報を信頼度算出モデル学習部に出力するものであり、誤検知立体物情報保存部６１と、再学習タイミング判定部６２を有している。

【0050】

誤検知立体物情報保存部６１は、誤検知立体物判定部５が誤検知だと判定した立体物候補の情報を保存する。保存する情報は、立体物候補が初めて検知されてから誤検知判定されるまでの時系列でみたときの全てのテクスチャ情報である。また、自車からの距離に応じて立体物が２ｍ先にあったとき、１５ｍ先にあったとき、１ｍ先にあったときなど、任意の間隔でサンプリングした時系列情報を保存しても良い。これは距離だけにかかわらず、自車と衝突するまでの時間ごとに分類し保存しても良い。また、初めて検知されたときのテクスチャ情報のみを保存しても、自車からの任意の距離の情報のみ保存しても良い。

【0051】

また、信頼度算出モデルが複数存在する場合には、モデルごとに必要となる情報を分類して保存しても良い。例えば、遠方用と近傍用で使用するモデルを分けている場合には、自車からの閾値を設定し、閾値より遠方にある遠方情報と、閾値より手前にある近傍情報とでわけて保存しても良い。また、誤検知立体物情報送信部５２から出力される情報の中に、自車の位置や時刻、気象条件などの情報が含まれている場合には、それらの情報をもとに分類して保存してもよい。

【0052】

再学習タイミング判定部６２は、信頼度算出モデルを更新するタイミグで、保存した情報を信頼度算出モデル学習部に出力する。モデルを更新するタイミングは、誤検知立体物情報保存部６１に任意の数のデータが蓄積された場合である。また、任意の数のデータでタイミングを決めるのではなく、前回モデルを更新してからの経過時間で閾値を設けタイミングを決定しても良い。また、停車時、駐車時など自車の挙動からタイミングを決定しても良い。

【0053】

また、誤検知立体物情報送信部５２から出力される情報の中に、自車の位置や時刻、気象条件などの情報が含まれている場合には、その情報をもとにタイミングを決定しても良い。例えば気象条件で雨のデータが多く出力されたのちに晴れのデータが出力された場合、自車周囲の環境が雨から晴れに変化したと予測できる。そのため、今後雨のデータが観測される可能性は少ないと判断できるため、現在までに蓄積された雨のデータを用いて、雨環境で利用されるモデルの再学習を開始しても良い。

【0054】

＜信頼度算出モデル学習部７＞
信頼度算出モデル学習部７は、信頼度算出モデルのパラメータ更新を行うものであり、モデル保存部７１と、モデル学習部７２と、モデル検証部７３を有している。そして、信頼度算出部３で使用されているモデルに対し、新たに誤検知立体物の情報を学習させることで信頼度算出の精度を向上させる。

【0055】

モデル保存部７１は、信頼度算出部３で使用されているモデルと同じものを保存する。複数のモデルが信頼度算出部３で使用されている場合には、全てのモデル情報が保存される。また、誤検知の頻度に応じて、パラメータを更新するモデルとしないモデルを設定し、パラメータを更新するモデルの情報のみ保存しても良い。

【0056】

モデル学習部７２は、モデル保存部７１に保存されているモデルに対し、誤検知立体物記憶部６が追加学習用のデータを送信してきたタイミングでパラメータの更新を行う。モデルが複数ある場合には、そのうちの１つが選択され、追加学習が行われる。また、並列で同時に複数のモデルを追加学習させても良い。

【0057】

モデル検証部７３は、モデル学習部７２による追加学習が終了したモデル情報を受け取り、追加学習によって間違った学習が行われていないかの検証が行われる。このため、信頼度算出部３から、検証用の立体物候補のテンプレート画像を受け取り、立体物候補に対して信頼度を算出し、算出した信頼度と自車の挙動が整合しているかを確認する。例えば、自車の目の前にある立体物に対し高い信頼度を算出した（自信をもって目の前の立体物が立体物であると推定した）にもかかわらず、自車が減速／停車しない（ドライバー、もしくはパラメータ更新を行う前の現在動作しているモデルが立体物ではないと判断している）場合は追加学習により正確に信頼度が算出できなくなってしまった可能性が高いと判定する。一定期間、または一定回数検証を行い、間違った追加学習が行われていないと判断されたときのみ、検証済みのモデルを信頼度算出部３に出力する。間違った追加学習が行われていると判定された場合、学習のやり直し、もしくは誤検知立体物記憶部６から今回受け取った誤検知立体物の情報を削除し今後追加学習には用いない、などの対策が行われる。

【0058】

また、複数のモデルを用いている場合には複数のモデル間での整合性を検証しても良い。例えば、立体物候補が存在する位置において、遠方用モデルと近傍用モデルの２種類のモデルを使用していた場合、遠方用モデルで誤検知と判定された立体物候補が、近傍用モデルでは誤検知ではないと判定された場合、モデルが正しく学習されていない可能性がある。このため複数のモデル間で推定結果の整合性を確認しても良い。

【0059】

以上で説明したように、本実施例の外界認識装置によれば、平行化ずれのあるステレオカメラを使用した場合であっても、検知した立体物の中から、誤検知した立体物をノイズとして除去することで、自車周囲の立体物を正しく検知することができる。

【実施例2】

【0060】

次に、図８から図１０を用いて、複数の車載外界認識装置と車外サーバを無線通信で連携させた、本発明の実施例２に係る外界認識システムを説明する。なお、以下では、実施例１との共通点は重複説明を省略する。

【0061】

＜外界認識システムの機能ブロック図＞
図８は、外界認識装置１００Ａと車外サーバ２００を無線通信で連携させた、本実施例の外界認識システムの機能ブロック図である。なお、ここでは、車外サーバ２００に一つの外界認識装置１００Ａを無線接続した構成を例示しているが、車外サーバ２００には複数の外界認識装置１００Ａを無線接続できるようになっている。

【0062】

図８に示すように、本実施例の外界認識装置１００Ａは、実施例１の外界認識装置１００が有する誤検知立体物記憶部６と信頼度算出モデル学習部７を持っておらず、これらに相当する機能を車外サーバ２００のデータ蓄積部８に移動させた構成である。このため、立体物高さ解析部５１が誤検知と判定した立体物候補の情報は、実施例１では外界認識装置１００内の誤検知立体物記憶部６に送信されていたが、本実施例では車外サーバ２００のデータ蓄積部８に送信される。

【0063】

誤検知された立体物候補の情報を受け取ったデータ蓄積部８は、その情報をもとに信頼度算出モデルを再学習し、再学習したモデルの動作を検証したのち、各車両の外界認識装置１００Ａに最新モデル（再学習され、動作検証されたモデル）を配信する。また、各車両の外界認識装置１００Ａからモデルの更新を要求された場合にも、信頼度算出部３にモデルを出力する。

【0064】

ここで、図９を用いて、車外サーバ２００と連携した、本実施例の外界認識システムによるメリットを説明する。ここに示すように、本実施例の外界認識システムでは、市街地、高速道路、雨天、正転、逆光、夜間等の様々な環境を走行中の各車両の外界認識装置１００Ａからの情報が、車外サーバ２００のデータ蓄積部８に集約されるため、車外サーバ２００では、バリエーションに富んだデータを使用してより多くの環境に対応できる、精度の高い信頼度算出モデルを学習することができる。

【0065】

また、天候や時刻、また走行する道路種別（市街地、高速道路、非整備道路など）など車両周囲の環境により発生しやすい誤検知は傾向が変化するため、環境毎に特化させた信頼度算出モデルを複数所持する場合も考えられる。例えば、雨の環境で使用する雨天対応モデルや、夜間に特化した夜間対応モデルなどが考えられる。複数車両から収集したバリエーションに富んだデータを環境ごとに分類（昼／夜、晴れ／雨、市街地／高速道路など）し、分類されたデータ毎に専用モデルを学習することで、対象の環境に特化した信頼度算出モデルを学習させることができる。各車両は自車の位置や時刻、天候などから最も適した信頼度算出モデルをダウンロードして使用することで、より精度が高い信頼度算出モデルを使用することができ、誤検知を適切に排除することで誤警報／誤制御を減らすことができる。また、自車が走行したことがない場所に特化した信頼度算出モデルも使用できるため、はじめて走行した環境においても適切な信頼度算出を行うことができる。

【0066】

＜データ蓄積部８＞
車外サーバ２００に設けられるデータ蓄積部８は、何れかの車両の外界認識装置１００Ａの誤検知立体物判定部５が誤検知と判定した立体物候補の情報を受信したときに、受信したデータをもとに信頼度算出モデルを再学習し、学習済みの信頼度算出モデルを各車両の外界認識装置１００Ａに配信するものであり、図１０に示すように、誤検知立体物情報受信部８１と、誤検知立体物情報保存部８２と、再学習タイミング判定部８３と、モデル保存部８４と、モデル学習部８５と、モデル検証部８６と、モデル出力部８７を有する。なお、誤検知立体物情報保存部８２と再学習タイミング判定部８３は、実施例１の誤検知立体物記憶部６の機能に相当し、モデル保存部８４とモデル学習部８５とモデル検証部８６は、実施例１の信頼度算出モデル学習部７の機能に相当する。以下、各部を順次説明する。

【0067】

誤検知立体物情報受信部８１は、誤検知立体物判定部５が送信した情報を受信し、受信した情報を誤検知立体物情報保存部８２に保存する。受信する情報は、立体物が初めて検知されてから誤検知判定されるまでの時系列でみたときの全てのテクスチャ情報である。また、自車からの距離に応じて立体物が２ｍ先にあったとき、１５ｍ先にあったとき、１ｍ先にあったときなど、任意の間隔でサンプリングした時系列情報を含んでも良い。これは距離だけにかかわらず、自車と衝突するまでの時間ごとに分類し受信しても良い。また、初めて検知されたときのテクスチャ情報のみを受信しても、自車からの任意の距離の情報のみ受信しても良い。

【0068】

また、誤検知立体物判定部５が立体物候補を誤検知と判定した瞬間の自車位置（ＧＮＳＳ情報など）を送信している場合には、その情報もあわせて受信しても良い。また、立体物候補が誤検知であると判定された瞬間の時刻や気象条件を含む環境情報が取得できる場合には、その情報もあわせて受信してもよい。

【0069】

誤検知立体物情報保存部８２は、誤検知立体物情報受信部８１が受信したデータを保存する。

【0070】

再学習タイミング判定部８３は、信頼度算出モデルの再学習を行うタイミングを判定する。判定されるタイミングは前回再学習を実施してから一定時間経過後と定める。また、誤検知立体物情報保存部８２に保存されているデータをみながら、一定件数／一定容量の再学習データが蓄積された時を再学習タイミングと判定しても良い。また、検知モデルが複数存在する場合には、モデル毎に再学習タイミングを決定しても良い。例えば、天候が雨から晴れに変化したタイミングで、雨環境での誤検知データを使って雨環境の信頼度算出モデルを再学習しても良い。その他、取得できる任意の環境情報にもとづいて再学習タイミングを決定しても良い。

【0071】

モデル保存部８４は、各車両に配布するための信頼度算出モデルを保存されており、再学習されたあとの最新のモデルが保存されている。また、モデルが複数ある場合には、複数のモデルが保存されている。また、過去に配布されたモデルがバージョンごとに管理され保存されていても良い。

【0072】

モデル学習部８５は、再学習タイミング判定部８３が再学習を行うタイミングだと判定した場合に、対象モデルの再学習を行う。モデル保存部８４に保存されている対象モデルをコピーし、誤検知立体部情報保存部８２に保存されているデータをもとに再学習を行う。学習済みモデルは、学習の影響を検証するため、モデル検証部８６に出力される。

【0073】

モデル検証部８６は、モデル学習部８５が再学習した学習済みモデルを入力とし、再学習の影響を検証する。検証用の走行データを使い、再学習した学習済みモデルが異常な値を出力しないかの検証を行う。検証の結果、問題ないと判定された場合には、モデル保存部８４に最新バージョンとして保存される。

【0074】

モデル出力部８７は、モデル保存部８４に保存されている信頼度算出モデルを、各車両の外界認識装置１００Ａに配信する。各車両への出力は、モデル保存部に最新バージョンの学習済みモデルが保存されたタイミングで実行される。また、各車両からのモデル更新要求がきたタイミングで出力されても良い。また、最新モデルに異常が見られた場合には、過去に配布されたバージョンを出力しても良い。また、各車両から車両周辺の環境情報が受信できる場合には、その環境に一番適した信頼度算出モデルを出力しても良い。例えば、車両が雨天走行時の場合は、雨天の情報で学習された雨天用のモデルが出力される。

【0075】

以上で説明した本実施例の外界認識システムによれば、複数の外界認識装置１００Ａが取得したデータを用いてモデルを再学習できるため、実施例１で再学習したモデルに比べ、より高精度のモデルを利用することができる。

【符号の説明】

【0076】

１００、１００Ａ 外界認識装置、
１０１ カメラインタフェース、
１０２ 演算処理部、
１０３ 記憶部、
１０４ ＣＡＮインタフェース、
１ センサ部、
１１ 左カメラ、
１２ 右カメラ、
１３ マッチング部、
１４ 視差算出部、
２ 立体物検知部、
２１ 立体物抽出部、
２２ 立体物情報抽出部、
３ 信頼度算出部、
４ 立体物追跡部、
４１ 追跡立体物情報保存部、
４２ 立体物位置予測部、
４３ 立体物マッチング部、
５ 誤検知立体物判定部、
５１ 立体物高さ解析部、
５２ 誤検知立体物情報送信部、
６ 誤検知立体物記憶部、
６１ 誤検知立体物情報保存部、
６２ 再学習タイミング判定部、
７ 信頼度算出モデル学習部、
７１ モデル保存部、
７２ モデル学習部、
７３ モデル検証部、
２００ 車外サーバ、
８ データ蓄積部、
８１ 誤検知立体物情報受信部、
８２ 誤検知立体物情報保存部、
８３ 再学習タイミング判定部、
８４ モデル保存部、
８５ モデル学習部、
８６ モデル検証部、
８７ モデル出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】