特許 7644844 画像認識装置、および、画像認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-04

(45)【発行日】2025-03-12

(54)【発明の名称】画像認識装置、および、画像認識方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250305BHJP

   G06T 7/00 20170101ALI20250305BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650Z

【請求項の数】 8

(21)【出願番号】P 2023567317

(86)(22)【出願日】2021-12-14

(86)【国際出願番号】 JP2021045985

(87)【国際公開番号】W WO2023112127

(87)【国際公開日】2023-06-22

【審査請求日】2024-05-24

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】牛場 郭介

(72)【発明者】

【氏名】最首 達夫

【審査官】吉村 俊厚

(56)【参考文献】

【文献】国際公開第２０１２／１２０８５６（ＷＯ，Ａ１）

【文献】特開２０２１－０８１７８９（ＪＰ，Ａ）

【文献】特開２０２１－０１８６０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００ － ６０／００

Ｂ６０Ｔ ７／１２ － ８／１７６９

８／３２ － ８／９６

Ｂ６２Ｄ ６／００ － ６／１０

Ｆ０２Ｄ ２９／００ － ２９／０６

Ｇ０８Ｇ １／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

画像から複数の検知領域を検出する領域検出部と、
前記複数の検知領域を仮結合する仮結合処理部と、
仮結合された前記複数の検知領域を一つの物体として識別可能かを判定する同一物体判定処理部と、
該同一物体判定処理部の判定結果に基づいて、前記複数の検知領域のうち一つの物体として認識すべき組み合わせを決定し、物体検出結果に反映する検知領域統合処理部と、
を有し、
前記仮結合処理部は、前記複数の検知領域のうち、隣接する検知領域同士を結合するものであり、
前記仮結合処理部は、前記複数の検知領域のうち、物体候補同士の距離が閾値以上の物体候補であっても、隣接する物体候補であり、かつ物体候補同士が隣接する小領域の距離が閾値以下の場合、物体候補の領域を結合することを特徴とする画像認識装置。

【請求項2】

請求項１の画像認識装置において、
前記小領域の距離とは、物体候補の領域の画素に対応する距離、または、複数の画素をまとめた領域に対応する距離であることを特徴とする画像認識装置。

【請求項3】

請求項２の画像認識装置において、
前記小領域の距離の傾きを小領域ごとに算出し、小領域の距離が閾値以下であっても、傾きの変化量が閾値以上である場合、物体候補の領域の結合を行わないことを特徴とする画像認識装置。

【請求項4】

画像から複数の検知領域を検出する領域検出部と、
前記複数の検知領域を仮結合する仮結合処理部と、
仮結合された前記複数の検知領域を一つの物体として識別可能かを判定する同一物体判定処理部と、
該同一物体判定処理部の判定結果に基づいて、前記複数の検知領域のうち一つの物体として認識すべき組み合わせを決定し、物体検出結果に反映する検知領域統合処理部と、
を有し、
前記仮結合処理部は、前記複数の検知領域のうち、距離が閾値以下の検知領域同士を結合するものであり、
前記仮結合処理部は、前記複数の検知領域のうち、物体候補同士の距離が閾値以上の物体候補であっても、隣接する物体候補であり、かつ物体候補同士が隣接する小領域の距離が閾値以下の場合、物体候補の領域を結合することを特徴とする画像認識装置。

【請求項5】

請求項４の画像認識装置において
前記小領域の距離とは、物体候補の領域の画素に対応する距離、または、複数の画素をまとめた領域に対応する距離であることを特徴とする画像認識装置。

【請求項6】

請求項５の画像認識装置において
前記小領域の距離の傾きを小領域ごとに算出し、小領域の距離が閾値以下であっても、傾きの変化量が閾値以上である場合、物体候補の領域の結合を行わないことを特徴とする画像認識装置。

【請求項7】

画像から複数の検知領域を検出する領域検出ステップと、
前記複数の検知領域を仮結合する仮結合処理ステップと、
仮結合された前記複数の検知領域を一つの物体として識別可能かを判定する同一物体判定ステップと、
該同一物体判定ステップの判定結果に基づいて、前記複数の検知領域のうち一つの物体として認識すべき組み合わせを決定し、物体検出結果に反映する検知領域統合ステップと、
を有し、
前記仮結合処理ステップは、前記複数の検知領域のうち、隣接する検知領域同士を結合するものであり、
前記仮結合処理ステップは、前記複数の検知領域のうち、物体候補同士の距離が閾値以上の物体候補であっても、隣接する物体候補であり、かつ物体候補同士が隣接する小領域の距離が閾値以下の場合、物体候補の領域を結合することを特徴とする画像認識方法。

【請求項8】

画像から複数の検知領域を検出する領域検出ステップと、
前記複数の検知領域を仮結合する仮結合処理ステップと、
仮結合された前記複数の検知領域を一つの物体として識別可能かを判定する同一物体判定ステップと、
該同一物体判定ステップの判定結果に基づいて、前記複数の検知領域のうち一つの物体として認識すべき組み合わせを決定し、物体検出結果に反映する検知領域統合ステップと、
を有し、
前記仮結合処理ステップは、前記複数の検知領域のうち、距離が閾値以下の検知領域同士を結合するものであり、
前記仮結合処理ステップは、前記複数の検知領域のうち、物体候補同士の距離が閾値以上の物体候補であっても、隣接する物体候補であり、かつ物体候補同士が隣接する小領域の距離が閾値以下の場合、物体候補の領域を結合することを特徴とする画像認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮像した画像内の立体物を認識する画像認識装置、および、画像認識方法に関する。

【背景技術】

【0002】

近年、運転支援システムや自動運転システム等で利用する画像認識装置の立体物検知性能に対する要求が高まっている。例えば、歩行者に対する衝突安全機能では、自動車アセスメントにおいて夜間歩行者への衝突安全試験が追加されるなど、性能向上が求められている。これを実現するために、立体物に対する高い認識性能が必要になる。

【0003】

ここで、特許文献１の要約書には、課題として「静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることのできる物体識別装置を提供する。」と記載されており、解決手段として「カメラ9から取得した画像から物体が存在する物体領域を検出する物体検出部1と、前記物体領域の距離分布を示す距離の分散を算出する物体距離情報算出部3と、前記距離分布を示す距離の分散に基づき前記物体の種別を識別する物体識別部4とを有する。」と記載されている。

【0004】

また、同文献の段落００２１には、「物体検出部1は、カメラ9から取得した画像から、物体領域を検出する手段である。この処理は、画像中から一塊の剛体領域を検出する処理であり、様々な手段を用いることができる。例えば画像を取得するカメラとしてステレオカメラを用いる場合、視差により画像上の距離を求めることができる。画像上で隣り合って距離の近い領域をグルーピングすることで物体領域を求めることができる。」と記載されている。

【0005】

このように、特許文献１では、２台のカメラから得られた画像の視差によって物体を検出するステレオカメラの場合、得られた視差をグルーピングすることで３次元空間上の物体を検出している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２１－８１７８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、画像から物体を検出する従来装置では、物体のテクスチャが得られない場合、１つの物体を複数の物体として検出してしまう可能性や、複数の物体を１つの物体として検出してしまう可能性があった。

【0008】

例えば、特許文献１のように、視差を用いた物体の検出では、画像上でエッジや色などの特徴変化が極めて小さい領域では、視差を求めたい領域とその周辺領域の特徴変化の差が極めて小さくなることで、正しい視差を取得できない問題が発生する。

【0009】

視差のグルーピングでは、利用するアプリケーションや検出したい物体に応じて、視差が得られない無効領域を抽出するための閾値を最適化しているが、実空間の物体の大きさと無効領域の関係は一定ではない。このため、例えば、人を検出するためのグルーピングの閾値を定めた場合であれば、自動車など人より大きなサイズの物体は複数に分割されてしまうことがある。一方、自動車などの大きな物体に合わせて閾値を定めた場合であれば、人や路上のポールのように小さなサイズの物体は周辺の物体と結合して取得されてしまうことがある。

【0010】

このような、１つの物体が複数の物体に分割検知される事象、または、複数の物体が一つの物体として検出される事象が発生すると、物体の種別の判定が困難になるとともに、位置を精度良く求めることが困難になり、物体の速度といった動きを計測する際の妨げになる。

【0011】

従って、運転支援や自動運転等の適切な実現には、監視対象となる車両や歩行者などの移動物体を、独立した単一物体として適切に検出することが求められている。

【0012】

そこで、本発明は、運転支援システムや自動運転システム等で監視対象となる車両や歩行者などの立体物を、独立した単一物体として適切に検出することができる画像認識装置、および、画像認識方法を提供することを目的とする。

【課題を解決するための手段】

【0013】

上記課題を解決するため、本発明の画像認識装置は、画像から複数の検知領域を検出する領域検出部と、前記複数の検知領域を仮結合する仮結合処理部と、仮結合された前記複数の検知領域を一つの物体として識別可能かを判定する同一物体判定処理部と、該同一物体判定処理部の判定結果に基づいて、前記複数の検知領域のうち一つの物体として認識すべき組み合わせを決定し、物体検出結果に反映する検知領域統合処理部と、を有する画像認識装置とした。

【発明の効果】

【0014】

本発明の画像認識装置、および、画像認識方法によれば、運転支援システムや自動運転システム等で監視対象となる車両や歩行者などの立体物を、独立した単一物体として適切に検出することができる。

【図面の簡単な説明】

【0015】

【図1】実施例１の画像認識装置の全体構成を示すブロック図。

【図2】実施例１の画像認識装置の動作を示すフローチャート。

【図3】検知処理により画像上に設定された検知領域の一例。

【図4】図２の検知処理の処理動作を示すフローチャート。

【図5】実施例１の画像認識装置による仮結合処理の一例。

【図6】実施例１の画像認識装置による仮結合処理の一例。

【図7】実施例１の画像認識装置による仮結合処理の一例。

【図8】実施例１の画像認識装置による仮結合処理の一例。

【図9】実施例１の画像認識装置により設定された検知領域の一例。

【図10】実施例１の画像認識装置により設定された小領域の一例。

【図11】実施例１の画像認識装置により設定された検知領域の一例。

【図12】実施例１の画像認識装置により設定された小領域の一例。

【図13】図１１の各物体の画像上での横位置と、奥行距離をプロットしたグラフ。

【図14】モデルパターンとのパターンマッチングの例。

【図15】適切な仮結合領域の抽出方法の例。

【図16】実施例２の画像認識装置の処理動作を示すフローチャート。

【発明を実施するための形態】

【0016】

以下、図面を用いて、本発明の画像認識装置を説明する。

【実施例1】

【0017】

まず、図１から図１５を用いて、本発明の実施例１に係る画像認識装置１を説明する。

【0018】

図１は、本実施例の画像認識装置１の全体構成を示すブロック図である。この画像認識装置１は、車両（以下、「自車両Ｖ０」と称する）に搭載されたステレオカメラであり、運転支援システムや自動運転システムの環境認識機能を担うものである。なお、環境認識機能とは、車両前方の撮像画像から、例えば、歩行者、車両、信号、標識、白線、車のテールランプ、ヘッドライトなどの立体物を認識する機能である。これにより、自車両Ｖ０の運転支援システムや自動運転システム等は、画像認識装置１による認識結果に基づいて、ブレーキやステアリングなどを制御し、車外環境に応じた運転支援制御や自動運転制御を実行することができる。

【0019】

図１に示すように、本実施例の画像認識装置１は、左カメラ１１と、右カメラ１２と、画像入力インタフェース１３と、画像処理部１４と、演算処理部１５と、記憶部１６と、ＣＡＮインタフェース１７と、制御処理部１８を備えている。また、画像認識装置１は、ＣＡＮ（Controller Area Network）を介して、図示しない、自車両Ｖ０の操舵系、駆動系、制動系等と接続されている。

【0020】

なお、画像認識装置１の構成のうち、左カメラ１１と右カメラ１２以外の部分は、ＣＰＵ等の演算装置、半導体メモリ等の記憶装置、および、通信装置などのハードウェアを備えたコンピュータ、或いは、ハードロジック回路である。そして、演算装置が記憶装置に展開されたプログラムを実行したり、ハードロジック回路が組み込まれた制御を実行したりすることで、後述する画像処理部１４や演算処理部１５等の各機能を実現するが、以下では、このような周知技術を適宜省略しながら、画像認識装置１の各部を詳細に説明する。

【0021】

左カメラ１１は撮像素子を用いて左画像Ｐ１を撮像するカメラであり、右カメラ１２は撮像素子を用いて右画像Ｐ２を撮像するカメラである。左カメラ１１と右カメラ１２は、自車両Ｖ０の前方を撮像できるように、フロントガラス内面上部等に設置されており、両カメラで同時撮像することで、同期した一対の画像Ｐ（左画像Ｐ１、右画像Ｐ２）を撮像するステレオカメラを構成している。

【0022】

画像入力インタフェース１３は、左カメラ１１で撮像した左画像Ｐ１と、右カメラ１２で撮像した右画像Ｐ２を取り込む。

【0023】

内部バス１９は、画像入力インタフェース１３、画像処理部１４、演算処理部１５、記憶部１６、ＣＡＮインタフェース１７、および、制御処理部１８の間の通信を中継するバスであり、画像入力インタフェース１３が取り込んだ画像Ｐ（Ｐ１，Ｐ２）を画像処理部１４や演算処理部１５に送信したり、両処理部の出力を記憶部１６に送信したりする。

【0024】

画像処理部１４は、画像入力インタフェース１３が取り込んだ左画像Ｐ１と右画像Ｐ２を比較して、それぞれの画像Ｐに対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部１６に記憶する。また、画像処理部１４は、左画像Ｐ１と右画像Ｐ２の間で、相互に対応する箇所を計算して、視差情報を求め、画像上の各画素に対応する距離情報として、これを記憶部１６に記憶する。なお、以降では、基本的に距離情報を利用して各種の処理を実行するものとするが、距離情報に代えて視差情報を利用して各種の処理を実行することとしても良い。

【0025】

演算処理部１５は、記憶部１６に蓄えられた画像情報および距離情報（視差情報）を使い、車両周辺の環境を把握するために、立体物を認識し、その認識結果や中間的な処理結果の一部を記憶部１６に記憶する。また、演算処理部１５は、画像Ｐに対して立体物の認識を行った後に、認識結果を用いて車両制御の計算を行う。車両制御の計算の結果として得られた車両の制御方針や、認識結果の一部はＣＡＮインタフェース１７を介して、車載ネットワークＣＡＮに伝えられ、これにより車両の制御が行われる。

【0026】

制御処理部１８は、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかなどを監視し、異常動作を防止する。

【0027】

＜画像認識装置１の動作＞
次に、図２のフローチャートを用いて、上記した構成の画像認識装置１の動作を概説する。

【0028】

［ステップＳ１：画像処理］
まず、ステップＳ１では、画像処理部１４は、画像処理を実行する。具体的には、画像入力インタフェース１３が取り込んだ左画像Ｐ１と右画像Ｐ２のそれぞれについて、撮像素子が持つ固有の癖を吸収するための補正などの処理を行い、左画像Ｐ１’と右画像Ｐ２’を出力する。この補正画像Ｐ’（左画像Ｐ１’、右画像Ｐ２’）は、記憶部１６内の画像バッファＢ１に蓄えられる。

【0029】

［ステップＳ２：視差処理］
次に、ステップＳ２では、画像処理部１４は、視差処理を実行する。具体的には、ステップＳ１で補正された左右の補正画像Ｐ’（Ｐ１’、Ｐ２’）を使って、補正画像同士の照合を行い、これにより左カメラ１１、右カメラ１２で得た画像の視差情報を得る。左右画像の視差により、立体物の画像上のある着目点が、三角測量の原理によって、立体物までの距離情報として求められる。この処理結果（視差情報、距離情報）は、記憶部１６内の視差バッファＢ２に蓄えられる。

【0030】

［ステップＳ３：検知処理］
ステップＳ３では、演算処理部１５は、ステップＳ２で得た視差情報を用いて、３次元空間上の立体物を検知する。この検知結果（立体物の検知領域）は、記憶部１６内の検知領域バッファＢ３に蓄えられる。図３は、ステップＳ２の処理後の画像上に仮設定した、立体物の検知領域Ｒ１～Ｒ４を例示した図である。なお、以降では、画像の右方向をＸ軸の正方向とし、上方向をＹ軸の正方向とする。また、画像上の検知領域の形状は、不定形の形状であってもよいが、以降では、後述する仮結合処理の演算を容易にするため、検知領域が矩形であるものとする。

【0031】

図３において、検知領域Ｒ１は歩行者を単一物体として正常に検知しており、検知領域Ｒ２は先行車を単一物体として正常に検知している。一方、検知領域Ｒ３は単一物体である車両Ｖ１の前部を独立した物体として誤検知しており、検知領域Ｒ４は単一物体である車両Ｖ１の後部を独立した物体として誤検知している。

【0032】

単一物体の車両Ｖ１が、検知領域Ｒ３と検知領域Ｒ４に分割して誤検知される理由としては、例えば、次の理由が考えられる。
（１）車両Ｖ１の側面に十分なテクスチャ情報がない場合は、その部分で視差が得られないため、車両Ｖ１の側面を一体検知できず、分割検知してしまうことが考えられる。
（２）立体物の検知パラメータが不適切な設定である場合は、車両Ｖ１の側面に十分なテクスチャ情報がある場合でも、誤った領域分割が発生する場合がある。例えば、車両Ｖ１の側面に奥行方向の距離を持つ部分を別の立体物として検出するような検知パラメータが設定されていた場合や、歩行者を検知するための検知パラメータを用いて車両Ｖ１を検知した結果、車両Ｖ１の前部と後部の各々を独立物体として誤検知した場合などである。

【0033】

このような場合、ステップＳ３では、分割検知された検知領域Ｒ３と検知領域Ｒ４を単一の立体物の検知領域として結合処理するが、この結合処理の詳細については後述することとする。

【0034】

［ステップＳ４：認識処理］
ステップＳ４では、演算処理部１５は、ステップＳ３で画像上に設定された検知領域に対して、立体物の種別を特定する認識処理を行う。この処理の結果、各検知領域内の立体物が、歩行者、車両、信号、標識、白線、車のテールランプやヘッドライトなどの何れに該当するかが特定される。この認識処理は、画像バッファＢ１に記録された画像情報や、視差バッファＢ２に記録された視差情報を用いて行われる。これは、ステレオカメラに代え、ミリ波などのレーダーと、カメラなどの画像センサを組み合わせた場合でも同様である。

【0035】

［ステップＳ５：車両制御処理］
ステップＳ５では、演算処理部１５は、ステップＳ４での立体物の認識結果と、自車両Ｖ０の状態（速度、舵角など）を勘案して、例えば、乗員に警告を発し、自車両Ｖ０のブレーキングや舵角調整などの制御を行う。あるいは、認識した立体物に対する回避制御を定め、その結果を自動制御情報としてＣＡＮインタフェース１７を介して出力する。これにより、所望の運転支援システムや自動運転システム等を実現することができる。

【0036】

＜ステップＳ３の詳細＞
次に、図４のフローチャートを用いて、演算処理部１５によって実行される、ステップＳ３の詳細を説明する。

【0037】

［ステップＳ３ａ：領域検出処理］
ステップＳ３ａでは、演算処理部１５は、ステップＳ２で得た視差情報を用いて、立体物の検知領域を検出し、検出した検知領域を検知領域バッファＢ３に蓄える。この処理の結果、画像上には、図３に例示するような検知領域が仮設定される。なお、上記したように、この時点では、単一物体を複数の立体物として誤検知している場合があるため（図３の検知領域Ｒ３、Ｒ４を参照）、以降の処理により、単一物体を単一物体として正確に検知できるようにする。

【0038】

［ステップＳ３ｂ：仮結合処理］
ステップＳ３ｂでは、演算処理部１５は、検知領域バッファＢ３に蓄えられた複数の検知領域Ｒを結合して、矩形の仮結合領域Ｃを作成する。なお、以下では、複数の矩形の検知領域を内接する矩形を一つの仮結合領域Ｃとして作成するものとする。

【0039】

ステップＳ３ａの処理の結果、画像上には多数の検知領域が設定されることがある。しかしながら、全ての検知領域の組み合わせで仮結合処理を実施することは、後段の処理と合わせて計算コストが膨大になり現実的でない。そこで、本ステップでは、この組み合わせ処理の負荷を削減するため、以下の手順で仮結合処理を実行する。

【0040】

まず、検知領域バッファＢ３に記録された任意の２つの検知領域Ｒが画像上で隣接していれば、その隣接する２つの検知領域Ｒを用いて仮結合領域Ｃを作成する。ここで、画像上で隣接するとは、検知領域の横位置（Ｘ位置）が最も近い検知領域同士の関係を指す。なお、以下では、Ｘ位置を基準にして隣接する検知領域を特定することとするが、Ｙ位置を基準にして隣接する検知領域を特定しても良い。また、ＸとＹの位置両方を基準として用いても良い。

【0041】

図５の例では、検知領域Ｒ１～Ｒ４が存在するが、検知領域Ｒ１に最も近いＸ位置を持つ検知領域Ｒは検知領域Ｒ２であるので、この２つの検知領域Ｒ１、Ｒ２を仮結合の対象として、破線で示す仮結合領域Ｃ１を作成する。また、検知領域Ｒ２は、検知領域Ｒ３とも隣接しているため、一点鎖線で示す仮結合領域Ｃ２も作成する。このような手順で、隣接する検知領域同士で、仮結合領域Ｃを作成する。換言すれば、隣接しない検知領域同士（例えば、検知領域Ｒ１、Ｒ４）では仮結合領域Ｃを作成しないため、その分、仮結合処理の演算負荷を軽減することができる。

【0042】

また、本ステップでは、検知領域Ｒ同士を仮結合するだけでなく、検知領域Ｒと仮結合領域Ｃを更に仮結合させても良い。例えば、図６の仮結合領域Ｃ１は、その要素に使われた検知領域Ｒ１とＲ２を除くと、検知領域Ｒ３が横位置（Ｘ位置）の最も近い検知領域である。そこで、仮結合領域Ｃ１とそれに隣接する検知領域Ｒ３を仮結合して、仮結合領域Ｃ３を作成しても良い。

【0043】

なお、図６の仮結合領域Ｃ３は、左側の車両と、右側の車両の前部を含む領域であるため、単独の立体物を認識するための領域としては、望ましくない結合に見えるが、このような仮結合が必要な場合もある。このような仮結合が必要な例を図７に示す。

【0044】

ステップＳ３ａでは、標準的な大きさの物体を検知できるように検知領域を設定するが、大型トラックなどの標準的な大きさの車両（具体的には、普通車）よりも大きな物体は、複数の検知領域に分割されて検知される場合がある。図７の検知領域Ｒ１、Ｒ２、Ｒ３はそれぞれ、大型トラックの一部を１つの検知領域として誤検知した領域である。このような場合、検知領域Ｒ１とＲ２を結合した仮結合領域や、Ｒ２とＲ３を結合した仮結合領域は、大型トラックを正しく検出した枠にならない。そのため、この様な場合は、検知領域Ｒ１とＲ２の仮結合領域、または、検知領域Ｒ２とＲ３の仮結合領域に対して、残りの検知領域を結合することで、大型トラックに対して１つの検知領域となった仮結合領域Ｃ１を取得することができる。

【0045】

さらに検知領域バッファＢ３に含まれる検知領域が視差情報や距離情報といった３次元空間上の情報を併せ持っている場合の仮結合の組み合わせについて述べる。図８は公道における検知の例である。検知領域Ｒ１からＲ５は、それぞれ図示するような奥行距離を有している。この時、仮結合領域Ｃを作成する対象を、例えば検知領域の距離との差が１割以内のもののみとする。この様な条件を定めることで、検知領域Ｒ１、Ｒ２、Ｒ３といった距離の大きく異なる対象は仮結合領域の作成対象にならず、距離の近しい検知領域Ｒ４とＲ５を合わせて仮結合領域Ｃ１のみを作ることで、仮結合処理の計算コストを削減することが可能である。また、検知領域が実空間上での横距離やユークリッド距離の情報を有している場合は、それらを基準にして、横距離やユークリッド距離が大きく異なる検知領域同士を仮結合しないようにしても良い。これにより、例えば、横距離が大きく異なる、図５の検知領域Ｒ２と検知領域Ｒ３を共に含むような仮結合領域の生成を阻止することができる。なお、仮領域を作成するための閾値は前記１割に限定するものではなく、距離におけるセンサの精度を鑑みて固定値、または動的に定めても良い。また、この距離による組み合わせと、画像上隣接する条件を組み合わせてもよい。これにより、計算コストの削減が可能である。

【0046】

更に、ステップＳ３ａにおいて、３次元空間上の物体を円柱や立方体に仮定して、奥行方向の領域を制限している様な検出をする場合に、検知領域が分割してしまう例と対策の仮結合方法について述べる。図９に示すように、画角の端に存在する大型車両（バス、トラックなど）は、その一側面しか撮像されないが、奥行方向に長いため、ステップＳ３ａでは、複数の検知領域Ｒ１、Ｒ２に分割して検出される場合がある。奥行方向の分割は、例えば対向車線で車両が連なって停車している場合を始め、画像上隣接している複数の物体を分割して検出するために必要な概念であるが、図９の環境下では、検知領域Ｒ１、Ｒ２を結合する必要がある。

【0047】

しかし、図８で説明した、検知領域同士の距離差が１割以内のものを結合する手法を用いると、バスの後方部の検知領域Ｒ１（奥行距離８ｍ）と前方部の検知領域Ｒ２（奥行距離１０ｍ）は、前記奥行方向の閾値で１割以上の差が有るため、図８の方法では、検知領域Ｒ１と検知領域Ｒ２を結合した仮結合領域Ｃを作成できない。

【0048】

そこで、図１０に示すように、検知領域内の画素または小領域の距離に着目して判定を行う。ここでは縦方向に同じ距離情報を持つ小領域を用いて示す。小領域Ｒ１ａからＲ１ｄは検知領域Ｒ１を４分割した小領域で、小領域毎に奥行距離を持ち、この奥行距離の平均が検知領域Ｒ１の奥行距離８ｍである。同様に、小領域Ｒ２ａからＲ２ｃは検知領域Ｒ２を３分割した小領域で、小領域毎に奥行距離を持ち、この奥行距離の平均が検知領域Ｒ２の奥行距離１０ｍある。

【0049】

この時、検知領域Ｒ１の８ｍと検知領域Ｒ２の１０ｍは離れた距離にあるが、小領域Ｒ１ｄと小領域Ｒ２ａは、画像上の隣接関係にあり、かつ、図８の基準に照らし近い奥行距離を有している。この様に検知領域の一部同士が近い関係にある場合、検知領域Ｒ１とＲ２を用いて仮結合領域Ｃ１を作成することで、この仮結合領域Ｃ１を一つの物体として認識することが可能である。なお、前述では縦方向に小領域を作成したが、これは縦方向に各画素の距離の平均を取ることで奥行き方向の距離を安定的に求める例を用いた結果を参照したものであり、小領域の定め方はこれに限定しない。

【0050】

更に、検知領域内の小領域の距離を見る方法について、不要な結合が発生する場合とその解決案を示す。図１１は、自車両Ｖ０のカメラ画角と、対応する画像Ｐを例示したものである。自車両Ｖ０のカメラ画角において、対向車線の車両Ｖ１～Ｖ４は撮像した画像Ｐでは図中の車列のように映る。この様に物体（車両Ｖ１～Ｖ４）が重複して撮像されている場合、ステップＳ３ａでは、検知領域Ｒ１、Ｒ２のように、見えている部分のみを検知領域として取得することになる。この時検知された検知領域Ｒ１、Ｒ２には、車両Ｖ２、Ｖ３の側面領域が必ず含まれることになる。この様な場合で、対象間の車間距離が近い場合、前方の車両Ｖ２の検知領域Ｒ１の小領域Ｒ１ａと、後方の車両Ｖ３の検知領域Ｒ２の小領域Ｒ２ａは距離が近くなり、車両Ｖ２に対応する検知領域Ｒ１と、車両Ｖ３に対応する検知領域Ｒ２から、誤って仮結合領域を作成してしまう可能性がある。そこで、このような誤った仮結合処理を防止するための手法を、図１２、図１３を用いて説明する。

【0051】

図１２は、図１１の検知領域Ｒ１の内部に設置した小領域と、検知領域Ｒ２の内部に設置した小領域を例示した概念図である。なお、図１２では、小領域Ｒ１ａと小領域Ｒ２ａのみを示しているが、各検知領域内に複数の小領域が設定される。

【0052】

図１３は、図１２の各小領域の画像上の横位置と、奥行距離をプロットしたものである。車両群（車両Ｖ１～Ｖ４）を検出した際の、画像Ｐ上での横位置と奥行距離の関係は図１３下のグラフのように表現される。この時、立方体に近似できる車両のような物体は、カメラに映るフロント部の小領域群と側面部の小領域群では、周囲の小領域と比較した場合に傾きに差が生じる。そこで、例えばある少領域とその隣接する左右の小領域を用いて傾きを算出する。ステップＳ３ｂでの検知領域の仮結合処理に用いる小領域で、この傾きが同じならそれは同一の物体の一片を捉えているものとして仮結合を行う。また、奥行き方向の位置や、そこから求まる傾きにはセンサ精度によってばらつきが有るため、傾きの差が閾値以下なら同一物体と判定する、としてもよい。前述の記載では小領域として３点を取得したが、これもセンサ精度によって定めるものであり、前記に限定しない。

【0053】

［ステップＳ３ｃ：同一物体判定処理］
ステップＳ３ｃでは、演算処理部１５は、ステップＳ３ｂによって作成した仮結合領域Ｃが同一物体であるかを判定する。同一物体の判定は、判定したい対象と、欲しい精度によって定められる。例えば物体検出のときに算出しない情報、横方向や斜めのエッジの連がつながっている場合は同一物体と判断する。また、小領域の色を比較して、その差が一定値以下ならば同一物体と判断する。また、検出したい物体が車両などのように限られている場合、更に精度の高い手法を用いることができる。

【0054】

同一物体として判定したい分割検知される物体が、例えば車両の場合、モデルパターンによるパターンマッチングや、機械学習によって作成された識別器を用いて、仮結合領域が結合すべき対象化を判定する。図１４にモデルパターンとのパターンマッチングの例を示す。仮結合処理によって与えられた仮結合領域Ｃ１は、画像上の車両を内包する形で取得されている。この仮結合領域Ｃ１に対応する画像領域と、予め定められたモデルパターンＭの類似度を比較して、類似度が一定以上ならば同一物体と判定する。類似度の算出方法としては、仮結合領域Ｃ１内のエッジ抽出を行い、正規化相関を行って類似度を算出する。同一判定の手法は、前記に限定するものでなく、ステップＳ３ａの領域検出処理によって分割検知されてしまうような事象が発生する物体に対して、任意に定めて良い。

【0055】

［ステップＳ３ｄ：検知領域統合処理］
ステップＳ３ｄでは、演算処理部１５は、検知領域バッファＢ３と、ステップＳ３ｂでの仮結合処理およびステップＳ３ｃでの同一性判定処理を通過した仮結合領域をあわせて検知領域のバッファを更新する。後段の処理に求められる計算コストや、各処理の精度などから記録する領域を選定する。例えば、同一性判定処理の精度が高ければ、仮結合領域のもととなった検知領域は保存しないことを選択する。また、かる結合処理によって画像上で重複する検知領域が取得される場合が考えられる。図１５に例を示す。横向きの２台の車両に対して、仮結合領域Ｃ１とＣ２が得られているが、それとあわせて２台の車両をまたぐように仮結合領域Ｃ３も得られている。この様な場合、ステップＳ３ｃの同一性判定処理で求めた類似度を用いることで、仮結合領域Ｃ３を棄却することができる。例えば、仮結合領域Ｃ１とモデルパターンＭの類似度と、仮結合領域Ｃ３とモデルパターンＭの類似度を比較し、モデルパターンＭとの類似度が相対的に低い仮結合領域Ｃ３を棄却し、類似度が相対的に高い仮結合領域Ｃ１を検知領域バッファＢ３に更新保存する。同様に、仮結合領域Ｃ２とモデルパターンＭの類似度と、仮結合領域Ｃ３とモデルパターンＭの類似度を比較し、モデルパターンＭとの類似度が相対的に低い仮結合領域Ｃ３を棄却し、類似度が相対的に高い仮結合領域Ｃ２を検知領域バッファＢ３に更新保存する。

【0056】

以上で説明したように、従来は、単独の立体物が複数の検知領域に分割されないように、物体検出のパラメータを異ならせた複数回の検出処理を実行する必要があったが、実施例１の画像認識装置によれば、画像上の単独の立体物が複数の検知領域に分割して誤検知された場合であっても、複数の検知領域を結合することで、単独の立体物に相当する検知領域を正確に作成できるため、対象の種別や位置や速度の計算処理の精度を向上させることができる。

【0057】

すなわち、本発明の画像認識装置、および、画像認識方法によれば、運転支援システムや自動運転システム等で監視対象となる車両や歩行者などの立体物を、独立した単一物体として適切に検出することができる。

【実施例2】

【0058】

次に、図１６を用いて、本発明の実施例２に係る画像認識装置１’を説明する。なお、実施例１との共通点は重複説明を省略する。実施例１の画像認識装置１では、左カメラ１１と右カメラ１２からなるステレオカメラを用いて立体物を検知したが、本実施例の画像認識装置１’では、ステレオカメラに代え、光学カメラ１１’とレーダーセンサ１２’を用いて立体物を検知する。以下、図１６を用いて、本実施例の処理動作を説明する。

【0059】

まず、ステップＳ１では、光学カメラ１１’により撮像された画像Ｐについて、撮像素子が持つ固有の癖を吸収するための補正などの画像処理を行う。画像処理の処理結果は画像バッファＢ１に蓄えられる。また、レーダーセンサ１２’により、立体物までの距離が得られる。

【0060】

ステップＳ３では、立体物までの距離に基づいて、３次元空間上の立体物を検知する。検知に用いた距離情報は距離バッファＢ４に蓄えられる。また、ステップＳ３での検知処理は、後段処理の必要に応じて画像と距離の対応付けを行う。

【0061】

ステップＳ４では、ステップＳ３での検知処理により設定された検知領域に対して立体物の種別を特定する認識処理を行う。

【0062】

本実施例のステップＳ３では、レーダーセンサ１２’から出力される立体物までの距離を入力とするため、距離計測に用いるレーダーセンサ１２’のセンサ特性を考慮した検知処理を行う必要はあるが、検知領域を決定した後の処理は、画像認識装置１で説明したステレオカメラによる構成と同様にできる。

【0063】

なお、本発明は、上記の実施例に限定されるものではなく、本発明の特徴を損なわない限り、本発明の技術思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、上述の実施形態と変形例を組み合わせた構成としてもよい。

【符号の説明】

【0064】

１、１’…画像認識装置、１１、１２…カメラ、１３…画像入力インタフェース、１４…画像処理部、１５…演算処理部、１６…記憶部、１７…ＣＡＮインタフェース、１８…制御処理部、１９…内部バス、ＣＡＮ…車載ネットワーク、Ｂ１…画像バッファ、Ｂ２…視差バッファ、Ｂ３…検知領域バッファ、Ｂ４…距離バッファ、Ｖ…車両、Ｒ…検知領域、Ｃ…仮結合領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】