IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士重工業株式会社の特許一覧

<>
  • 特開-画像処理装置 図1
  • 特開-画像処理装置 図2
  • 特開-画像処理装置 図3
  • 特開-画像処理装置 図4
  • 特開-画像処理装置 図5
  • 特開-画像処理装置 図6
  • 特開-画像処理装置 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089320
(43)【公開日】2024-07-03
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240626BHJP
   G06T 7/285 20170101ALI20240626BHJP
   G08G 1/16 20060101ALI20240626BHJP
   H04N 7/18 20060101ALI20240626BHJP
【FI】
G06T7/00 650B
G06T7/285
G08G1/16 C
H04N7/18 J
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022204607
(22)【出願日】2022-12-21
(71)【出願人】
【識別番号】000005348
【氏名又は名称】株式会社SUBARU
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(72)【発明者】
【氏名】高橋 直樹
【テーマコード(参考)】
5C054
5H181
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC15
5C054HA30
5H181AA01
5H181BB05
5H181CC04
5H181LL01
5H181LL06
5H181LL09
5L096AA09
5L096BA04
5L096CA05
5L096FA16
5L096FA35
5L096FA66
5L096GA51
5L096HA02
(57)【要約】
【課題】演算処理の負荷を軽減し、横断体の追跡におけるリアルタイム性を向上させる。
【解決手段】車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部100において撮像された距離画像の距離情報を横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部211と、生成された距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部212と、過去に演算されたエッジヒストグラム情報の中から演算されたエッジヒストグラム情報とマッチングするエッジヒストグラム情報を抽出する抽出部213と、抽出された過去に演算されたエッジヒストグラム情報と演算されたエッジヒストグラム情報との差分値から、横断体の車両車幅方向の移動量を算出する移動量算出部214と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
車両に搭載され、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部において撮像された前記距離画像の距離情報を前記撮像部の横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部と、
該生成された前記距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部と、
少なくとも、前記距離ヒストグラム生成部において生成された前記距離ヒストグラムと前記演算部において演算されたエッジヒストグラム情報とを紐付けて記憶するメモリと、
過去に演算された前記エッジヒストグラム情報の中から演算された前記エッジヒストグラム情報とマッチングする前記エッジヒストグラム情報を抽出する抽出部と、
該抽出された前記過去に演算された前記エッジヒストグラム情報と前記演算された前記エッジヒストグラム情報との差分値から、前記横断体の車両車幅方向の移動量を算出する移動量算出部と、
画像処理制御を実行する画像処理制御部と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記演算部は、前記画像処理制御部により前記距離画像を表示する画面上のサイズに対応した前記エッジヒストグラム情報を演算する領域として設定された矩形状の演算領域において、前記エッジヒストグラム情報を演算することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記演算部は、前記画面上の路面から所定の高さまで、前記矩形状の演算領域を順次オーバラップさせながら、前記エッジヒストグラム情報を演算することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記演算部は、前記距離ヒストグラムに前記距離情報が存在する高さ情報を含まない演算領域については、演算処理を実行しないことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記演算部は、前記エッジヒストグラム情報として輝度勾配を演算し、前記距離ヒストグラムごとのエッジ分布を求めることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記抽出部は、前記画像処理制御部において設定された検索範囲に含まれ、前記距離ヒストグラム生成部により生成された前記距離ヒストグラムと高さとの差が第1の閾値以内である前記過去に演算された前記エッジヒストグラム情報をマッチング対象とすることを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記抽出部は、前記画像処理制御部において設定された検索範囲に含まれ、前記距離ヒストグラム生成部により生成された前記距離ヒストグラムに対する速度変動が第2の閾値以内である前記過去に演算された前記エッジヒストグラム情報をマッチング対象とすることを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記抽出部は、前記演算された前記エッジヒストグラム情報と前記マッチング対象の前記エッジヒストグラム情報との近似度を判定して、前記演算部において演算されたエッジヒストグラム情報とマッチングさせるエッジヒストグラム情報を抽出することを特徴とする請求項6または7のいずれか1項に記載の画像処理装置。
【請求項9】
1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサに通信可能に接続される1つまたは複数のメモリと、を備え、
前記1つまたは複数のプロセッサは、
車両に搭載され、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部において撮像された前記距離画像の距離情報を前記撮像部の横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部と、
該生成された前記距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部と、
過去に演算された前記エッジヒストグラム情報の中から演算された前記エッジヒストグラム情報とマッチングする前記エッジヒストグラム情報を抽出する抽出部と、
該抽出された前記過去に演算された前記エッジヒストグラム情報と前記演算された前記エッジヒストグラム情報との差分値から、前記横断体の車両車幅方向の移動量を算出する移動量算出部と、
画像処理制御を実行させる画像処理制御部と、
を備え、
前記1つまたは複数のメモリは、少なくとも、前記距離ヒストグラム生成部において生成された前記距離ヒストグラムと前記演算部において演算されたエッジヒストグラム情報とを紐付けて記憶することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関する。
【背景技術】
【0002】
一般に、車両に搭載されたステレオカメラの撮影画像に基づいて車両周辺の横断体までの距離を検出する技術が知られている。
このような技術は、近年の情報処理技術、画像処理技術の発達に伴って、高速に人や車両等を検出する技術に進化を遂げている。
また、こうした技術を応用して、人や動物、他車両等に自車両が衝突する前に、自動的にブレーキをかけるよう制御することによって、自車両と人や動物、他車両等との衝突を未然に防ぐという機能を搭載した車両も知られている。
【0003】
上記の機能を実現するための要素として、ステレオカメラの画像を用いた測定において、あるフレームの視差画像(過去の画像)で、自車両よりも前方にある車両等の横断体を検出した後、それ以降のフレームの視差画像(現在の画像)において、当該横断体をトラッキング(追跡)する技術がある。
このようなトラッキング技術によって、横断体の移動のベクトルが分かるため、横断体に対する危険度を正しく判定することができる。
【0004】
上記のようなトラッキング方法としては、例えば、オプティカルフローによる追跡方法等が開示されている(例えば、特許文献1参照)。
オプティカルフローによる追跡方法は、フレーム画像上の横断体等の輝度モードが横断体の運動に従って変化しないという原理に基づいて、横断体を追跡するものである。
そのため、前後のフレーム画像について、オプティカルフロー分析を行うことによって、横断体の検知及び追跡を実行することができる。
また、オプティカルフローによる追跡方法は、横断体のフレーム画像間の運動範囲に対する制限が少なく、横断体がフレーム画像の間に大きく転移する場合であっても、実行可能であるという特徴を有する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007-235952号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、オプティカルフローによる追跡方法は、横断体に対する複数のサイズ変更を加味した手法であるために、画角の横方向だけでなく、前後方向の移動も予測する必要がある。
そのため、オプティカルフローによる追跡方法では、例えば、現在の画像と過去の画像との位置合わせ処理(マッチング処理)における演算量を全体の演算量が膨大となり、リアルタイム性に乏しいという課題があった。
【0007】
そこで、本発明は上述の課題に鑑みてなされたものであり、演算処理の負荷を軽減し、横断体の追跡におけるリアルタイム性を向上させる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
形態1;本発明の1またはそれ以上の実施形態は、車両に搭載され、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部において撮像された前記距離画像の距離情報を前記撮像部の横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部と、該生成された前記距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部と、少なくとも、前記距離ヒストグラム生成部において生成された前記距離ヒストグラムと前記演算部において演算されたエッジヒストグラム情報とを紐付けて記憶するメモリと、過去に演算された前記エッジヒストグラム情報の中から演算された前記エッジヒストグラム情報とマッチングする前記エッジヒストグラム情報を抽出する抽出部と、該抽出された前記過去に演算された前記エッジヒストグラム情報と前記演算された前記エッジヒストグラム情報との差分値から、前記横断体の車両車幅方向の移動量を算出する移動量算出部と、画像処理制御を実行する画像処理制御部と、を備えたことを特徴とする画像処理装置を提案している。
【0009】
形態2;本発明の1またはそれ以上の実施形態は、前記演算部は、前記画像処理制御部により前記距離画像を表示する画面上のサイズに対応した前記エッジヒストグラム情報を演算する領域として設定された矩形状の演算領域において、前記エッジヒストグラム情報を演算することを特徴とする画像処理装置を提案している。
【0010】
形態3;本発明の1またはそれ以上の実施形態は、前記演算部は、前記画面上の路面から所定の高さまで、前記矩形状の演算領域を順次オーバラップさせながら、前記エッジヒストグラム情報を演算することを特徴とする画像処理装置を提案している。
【0011】
形態4;本発明の1またはそれ以上の実施形態は、前記演算部は、前記距離ヒストグラムに前記距離情報が存在する高さ情報を含まない演算領域については、演算処理を実行しないことを特徴とする画像処理装置を提案している。
【0012】
形態5;本発明の1またはそれ以上の実施形態は、前記演算部は、前記エッジヒストグラム情報として輝度勾配を演算し、前記距離ヒストグラムごとのエッジ分布を求めることを特徴とする画像処理装置を提案している。
【0013】
形態6;本発明の1またはそれ以上の実施形態は、前記抽出部は、前記画像処理制御部において設定された検索範囲に含まれ、前記距離ヒストグラム生成部により生成された前記距離ヒストグラムと高さとの差が第1の閾値以内である前記過去に演算された前記エッジヒストグラム情報をマッチング対象とすることを特徴とする画像処理装置を提案している。
【0014】
形態7;本発明の1またはそれ以上の実施形態は、前記抽出部は、前記画像処理制御部において設定された検索範囲に含まれ、前記距離ヒストグラム生成部により生成された前記距離ヒストグラムに対する速度変動が第2の閾値以内である前記過去に演算された前記エッジヒストグラム情報をマッチング対象とすることを特徴とする画像処理装置を提案している。
【0015】
形態8;本発明の1またはそれ以上の実施形態は、前記抽出部は、前記演算された前記エッジヒストグラム情報と前記マッチング対象の前記エッジヒストグラム情報との近似度を判定して、前記演算部において演算されたエッジヒストグラム情報とマッチングさせるエッジヒストグラム情報を抽出することを特徴とする画像処理装置を提案している。
【0016】
形態9;本発明の1またはそれ以上の実施形態は、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサに通信可能に接続される1つまたは複数のメモリと、を備え、前記1つまたは複数のプロセッサは、車両に搭載され、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部において撮像された前記距離画像の距離情報を前記撮像部の横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラムを生成する距離ヒストグラム生成部と、該生成された前記距離ヒストグラムごとに、エッジヒストグラム情報を演算する演算部と、過去に演算された前記エッジヒストグラム情報の中から演算された前記エッジヒストグラム情報とマッチングする前記エッジヒストグラム情報を抽出する抽出部と、該抽出された前記過去に演算された前記エッジヒストグラム情報と前記演算された前記エッジヒストグラム情報との差分値から、前記横断体の車両車幅方向の移動量を算出する移動量算出部と、画像処理制御を実行させる画像処理制御部と、を備え、前記1つまたは複数のメモリは、少なくとも、前記距離ヒストグラム生成部において生成された前記距離ヒストグラムと前記演算部において演算されたエッジヒストグラム情報とを紐付けて記憶することを特徴とする画像処理装置を提案している。
【発明の効果】
【0017】
本発明の1またはそれ以上の実施形態によれば、演算処理の負荷を軽減し、横断体の追跡におけるリアルタイム性を向上させることができるという効果がある。
【図面の簡単な説明】
【0018】
図1】本発明の実施形態に係る画像処理装置を含む車載システムの構成を示す図である。
図2】本発明の実施形態に係る情報処理ユニット内のプロセッサの構成を示す図である。
図3】本発明の実施形態に係る情報処理ユニット内の距離ヒストグラム生成部において生成される距離ヒストグラムを例示した図である。
図4】本発明の実施形態に係る距離ヒストグラムに対する情報処理ユニットの演算部における演算領域を例示した図である。
図5】本発明の実施形態に係る距離ヒストグラムに対する情報処理ユニットの演算部における演算領域の遷移態様を例示した図である。
図6】本発明の実施形態に係る画像処理装置の処理フローを示す図である。
図7】本発明の実施形態に係る画像処理装置の抽出処理に関する処理フローを示す図である。
【発明を実施するための形態】
【0019】
<実施形態>
図1から図7を用いて、本実施形態に係る画像処理装置10について説明する。
なお、以下では、画像処理装置10を含む車載システム1を例示して、画像処理装置10について説明する。
【0020】
<車載システム1について>
本実施形態に係る車載システム1は、図1に示すように、画像処理装置10と、運転支援装置20とを含んで構成されている。
また、画像処理装置10は、撮像部100と、情報処理ユニット200と、を含んで構成されている。
【0021】
画像処理装置10は、撮像部100において撮像された距離画像を画像処理して、横断体の自車両車幅方向における移動量を算出し、当該移動量情報を運転支援装置20に出力する。
なお、詳細については、後述する。
ここで、横断体は、主として、車両であるが、人や動物あるいは、その他の移動物を含む。
【0022】
運転支援装置20は、図示しないCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びI/O等を有するマイクロコンピュータを備えた装置である。
運転支援装置20は、例えば、画像処理装置10から得られる情報に基づいて、自車両本体あるいは自車両における各種の車載機器の制御を実行する。
ここで、自車両本体の制御には、例えば、乗員に対する警告の報知、自車両のハンドル舵角の制御、または自車両のブレーキ制御等が含まれる。
【0023】
撮像部100は、車両に搭載され、自車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する。
撮像部100は、例えば、ステレオカメラにより構成され、図1に示すように、右カメラ110と、左カメラ120と、を備えている。
そして、右カメラ110により撮像された右画像と左カメラ120により撮像された左画像とのステレオマッチング処理を行うことにより、距離画像を生成する。
なお、距離画像の生成方法については、公知の手法を用いてもよい。
右カメラ110および左カメラ120は、互いに同期するCCD(Charge Coupled Device)センサやCMOS(Complementary Metal-Oxide-Semiconductor)センサ等のイメージセンサを備える。
右カメラ110および左カメラ120は、例えば、車両のフロントガラスの内側において、車幅方向に所定の間隔をあけて、路面から同じ高さに取り付けられている。
右カメラ110および左カメラ120は、所定の周期(例えば、0.1秒間隔)で、自車両前方周辺を繰り返し撮影する。
なお、撮像部100は、ダイレクトToF(Time of Flight)方式を用いてもよい。
【0024】
情報処理ユニット200は、図1に示すように、プロセッサ210と、RAMまたはROM等のメモリ220と、を有する。
情報処理ユニット200のプロセッサ210は、メモリ220に格納されたプログラムに従って、撮像部100から得られる横断体との距離に応じた画素値を有する距離画像に対する画像処理を実行する。
【0025】
<プロセッサ210の構成>
図2に示すように、本実施形態に係るプロセッサ210は、距離ヒストグラム生成部211と、演算部212と、抽出部213と、移動量算出部214と、画像処理制御部215と、を含んで構成されている。
【0026】
距離ヒストグラム生成部211は、撮像部100において撮像された距離画像の距離情報を撮像部100の横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラム(Zピーク)を生成する。
距離ヒストグラム生成部211において生成される距離ヒストグラムは、横軸を距離、縦軸を出現頻度とした場合に、例えば、図3に示すような表示形態となる。
以下では、例えば、図3に示される「A」を現在の画像における任意の位置の距離ヒストグラムとする。
距離ヒストグラム生成部211は、生成した距離ヒストグラムを後述する画像処理制御部215を介して、後述する演算部212に出力する。
【0027】
演算部212は、距離ヒストグラム生成部211において生成された距離ヒストグラムごとに、エッジヒストグラム情報を演算する。
演算部212において演算されたエッジヒストグラム情報は、距離ヒストグラムと紐付けられてメモリ220に格納される。
演算部212は、後述する画像処理制御部215により距離画像を表示する画面上のサイズに対応したエッジヒストグラム情報を演算する領域として設定された矩形状の演算領域において、エッジヒストグラム情報を演算する。
具体的には、図4に示すように、距離ヒストグラムには、撮像部100からの距離情報と画角横方向の位置情報とが含まれるため、演算部212の演算処理については、後述する画像処理制御部215により、距離ヒストグラムに対して、画面上のサイズに対応した矩形状のX×Yの演算領域CAが設定される。
演算部212は、この矩形状の演算領域CAを路面上から鉛直に移動させ、エッジヒストグラム情報を演算する。
矩形状の演算領域CAの移動形態としては、矩形状の演算領域を順次オーバラップさせながら移動させ、エッジヒストグラム情報を演算することが好ましい。
図4の例では、演算部212は、矩形状の演算領域CAをX=60cm、Y=40cmとし、図5に示すように、距離ヒストグラム上をOR=20cm刻みで、順次オーバラップさせながら路面に対して、鉛直方向に演算領域CAを移動させ、距離ヒストグラムに対するエッジヒストグラム情報を演算する。
なお、上記数値は、一例であり、仕様に応じて、他の数値を用いてもよい。
このとき、演算部212は、距離ヒストグラムに距離情報が存在する高さ情報を含まない演算領域CAについては、演算処理を実行しない。
また、演算部212は、エッジヒストグラム情報として輝度勾配を演算し、距離ヒストグラムごとのエッジ分布(HOG;輝度勾配ヒストグラム)を求める。
なお、輝度勾配ヒストグラムHOGの演算には、公知の手法を用いてもよい。
演算部212は、演算結果としてのエッジヒストグラム情報を後述する画像処理制御部215を介して、後述する抽出部213に出力する。
【0028】
抽出部213は、メモリ220に格納された過去に演算部212において演算されたエッジヒストグラム情報の中から演算部212において演算されたエッジヒストグラム情報(現在の距離ヒストグラムに対するエッジヒストグラム情報)とマッチングするエッジヒストグラム情報を抽出する。
抽出部213は、後述する画像処理制御部215において設定された検索範囲に含まれ、距離ヒストグラム生成部211により生成された距離ヒストグラム(現在の距離ヒストグラム)との高さの差が第1の閾値以内である過去に演算されたエッジヒストグラム情報をマッチング対象とする。
「検索範囲」は、例えば、自車両移動量と横断体の最大移動量とを合わせた範囲をマッチング対象の抽出における検索範囲とすることを例示することができる。
「第1の閾値」は、装置のスペックや仕様等により任意に定められる。
抽出部213は、後述する画像処理制御部215において設定された検索範囲に含まれ、距離ヒストグラム生成部により生成された距離ヒストグラム(現在の距離ヒストグラム)に対する速度変動が第2の閾値以内である過去に演算されたエッジヒストグラム情報をマッチング対象とする。
「第2の閾値」は、装置のスペックや仕様等により任意に定められる。
抽出部213は、エッジヒストグラム情報(現在の距離ヒストグラムのエッジヒストグラム情報)と上記抽出された過去に演算されたエッジヒストグラム情報との近似度を判定して、演算部212において演算されたエッジヒストグラム情報(現在の距離ヒストグラムに対するエッジヒストグラム情報)とマッチングさせるエッジヒストグラム情報を抽出する。
なお、近似度の算定方法としては、コサイン類似度、ユークリッド距離等の手法を用いてもよい。
抽出部213は、抽出結果を後述する画像処理制御部215を介して、後述する移動量算出部214に出力する。
【0029】
移動量算出部214は、抽出部213において、抽出された過去に演算されたエッジヒストグラム情報と演算されたエッジヒストグラム情報との差分値から、横断体の自車両車幅方向のおける移動量を算出する。
移動量算出部214は、算出した移動量を後述する画像処理制御部215を介して、運転支援装置300に出力する。
【0030】
画像処理制御部215は、メモリ220のROM等に格納された制御プログラムに従って、情報処理ユニット200全体の処理を制御する。
画像処理制御部215は、図2に示すように、バスラインBLを介して、撮像部100、距離ヒストグラム生成部211、演算部212、抽出部213、移動量算出部214と電気的に接続されている。
本実施形態においては、画像処理制御部215は、撮像部100、距離ヒストグラム生成部211、演算部212、抽出部213、移動量算出部214に対して、所定の処理を実行させる。
また、画像処理制御部215は、諸条件に基づいて、演算部212に対して、演算領域を設定し、抽出部213に対して、マッチングの検索範囲を設定する。
【0031】
<画像処理装置10の処理>
以下、図6を用いて、本実施形態に係る画像処理装置10の処理について説明する。
【0032】
図6に示すように、撮像部100は、右カメラ110により撮像された右画像と左カメラ120により撮像された左画像とのステレオマッチング処理を行うことにより、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する(ステップS110)。
撮像部100において撮像された距離画像は、画像処理制御部215を介して、距離ヒストグラム生成部211に出力される。
【0033】
距離ヒストグラム生成部211は、撮像部100において撮像された距離画像の距離情報を撮像部100の横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラム(Zピーク)を生成する(ステップS120)。
距離ヒストグラム生成部211において生成された距離ヒストグラムは、画像処理制御部215を介して、演算部212に出力される。
【0034】
演算部212は、距離ヒストグラム生成部211において生成された距離ヒストグラムごとに、エッジヒストグラム情報を演算する(ステップS130)。
ここで、演算部212は、距離画像を表示する画面上のサイズに対応したエッジヒストグラム情報を演算する矩形状の演算領域を設定して、エッジヒストグラム情報を演算する。
また、演算部212は、この矩形状の演算領域を路面上から鉛直に移動させ、エッジヒストグラム情報を演算する。
さらに、演算部212は、エッジヒストグラム情報として輝度勾配を演算し、距離ヒストグラムごとのエッジ分布を求める。
演算部212における演算結果としてのエッジヒストグラム情報は、画像処理制御部215を介して、距離ヒストグラムと紐付けられて、メモリ220に格納される。
【0035】
抽出部213は、過去に演算部212において演算されたエッジヒストグラム情報の中から演算部212において演算されたエッジヒストグラム情報とマッチングするエッジヒストグラム情報を抽出する(ステップS140)。
なお、抽出部213の処理の詳細については、後述する。
抽出部213において抽出された過去に演算部212において演算されたエッジヒストグラム情報の中から抽出されたエッジヒストグラム情報と演算部212において演算されたエッジヒストグラム情報とは、画像処理制御部215を介して、移動量算出部214に出力される。
【0036】
移動量算出部214は、抽出部213において、抽出された過去に演算されたエッジヒストグラム情報と演算されたエッジヒストグラム情報との差分値から、横断体の自車両車幅方向における移動量を算出する(ステップS150)。
移動量算出部214において算出された移動量を後述する画像処理制御部215を介して、運転支援装置300に出力される。
【0037】
<抽出部213の処理>
図7を用いて、抽出部213の処理について説明する。
【0038】
画像処理制御部215は、抽出部213に対して、過去画像における検索範囲を設定する(ステップS141)。
【0039】
抽出部213は、現在の距離ヒストグラムに対して設定された検索範囲内において、任意の過去の距離ヒストグラムを選択する(ステップS142)。
【0040】
抽出部213は、現在の距離ヒストグラムと選択された過去の距離ヒストグラムとの高さの差が第1の閾値以内であるか否かを判定する(ステップS143)。
抽出部213は、現在の距離ヒストグラムと選択された過去の距離ヒストグラムとの高さの差が第1の閾値以内ではないと判定する場合(ステップS143の「NO」)には、処理をステップS142に戻す。
【0041】
一方で、抽出部213は、現在の距離ヒストグラムと選択された過去の距離ヒストグラムとの高さの差が第1の閾値以内であると判定する場合(ステップS143の「YES」)には、抽出部213は、現在の距離ヒストグラムと選択された過去の距離ヒストグラムとの変動量から速度を算出する(ステップS144)。
【0042】
そして、抽出部213は、算出した速度が第2の閾値以内であるか否かを判定する(ステップS145)。
抽出部213は、算出した速度変動が第2の閾値以内ではないと判定する場合(ステップS145の「NO」)には、処理をステップS142に戻す。
【0043】
一方で、抽出部213は、算出した速度変動が第2の閾値以内であると判定する場合(ステップS145の「YES」)には、現在の距離ヒストグラムと選択された過去の距離ヒストグラムとの特徴量(例えば、輝度勾配)に対する近似度を算出する(ステップS146)。
【0044】
そして、抽出部213は、算出された近似度が今までのうち最も近いか否かを判定する(ステップS147)。
抽出部213は、算出された近似度が今までのうち最も近くはないと判定する場合(ステップS147の「NO」)には、処理をステップS142に戻す。
【0045】
一方で、抽出部213は、算出された近似度が今までのうち最も近いと判定する場合(ステップS147の「YES」)には、算出された近似度をメモリ220に保存し、検索範囲内の全ての距離ヒストグラムが選択されたか否かを判定する(ステップS148)。
抽出部213は、検索範囲内の全ての距離ヒストグラムが選択されてはいないと判定する場合(ステップS148の「NO」)には、処理をステップS142に戻す。
【0046】
一方で、抽出部213は、検索範囲内の全ての距離ヒストグラムが選択されていると判定する場合(ステップS148の「YES」)には、近似度が最も近い過去の距離ヒストグラムをマッチング対象として抽出し、画像処理制御部215に出力して、処理を終了する。
【0047】
<作用・効果>
以上、説明したように、本実施形態に係る画像処理装置10の距離ヒストグラム生成部211は、車両に搭載され、車両前方の複数の撮影画像における横断体との距離に応じた画素値を有する距離画像を撮像する撮像部100において撮像された距離画像の距離情報を撮像部100の横画角毎に圧縮し、1次元の距離情報としての距離ヒストグラムを生成する。
つまり、距離ヒストグラムには、撮像部100からの距離情報と画角横方向の位置情報とが含まれるため、距離ヒストグラムを用いて横断体の車両車幅方向の移動量を算出することによって、処理負荷を軽減しつつ、自車両と横断体との位置関係を精度よく把握することができる。
【0048】
本実施形態に係る画像処理装置10の演算部212は、生成された距離ヒストグラムごとに、エッジヒストグラム情報を演算する。そして、抽出部213は、過去に演算されたエッジヒストグラム情報の中から演算されたエッジヒストグラム情報とマッチングするエッジヒストグラム情報を抽出する。
つまり、演算部212は、生成された距離ヒストグラムごとに、距離ヒストグラムの特徴量であるエッジヒストグラム情報を演算する。そして、抽出部213は、エッジヒストグラム情報に基づいて、マッチング対象を抽出する。
そのため、演算されたエッジヒストグラムを用いて、現在の画像の距離ヒストグラムと過去の画像の距離ヒストグラムとを対比することによって、マッチング精度を高めることができ、ひいては、処理負荷を軽減することができる。
【0049】
本実施形態に係る画像処理装置10の演算部212は、画像処理制御部215により距離画像を表示する画面上のサイズに対応したエッジヒストグラム情報を演算する領域として設定された矩形状の演算領域CAにおいて、エッジヒストグラム情報を演算する。
つまり、距離ヒストグラムの特徴量を演算する際には、演算領域CAのサイズを可変することによって、固定の演算領域CAでは、表現できない検知対象となる横断体と背景等の関係を表現できることが知られている。
そのため、装置の仕様に応じて、演算領域CAのサイズを最適化することによって、効率的な演算処理を実行することができる。
【0050】
本実施形態に係る画像処理装置10の演算部212は、画面上の路面から所定の高さまで、矩形状の演算領域CAを順次オーバラップさせながら、エッジヒストグラム情報を演算する。
上記のような処理により、ある程度の処理速度を維持しながら、演算精度を高めることができる。
なお、演算精度よりも処理速度を重視するような仕様の場合には、オーバラップさせずにエッジヒストグラム情報の演算処理を実行するようにしてもよい。
また、演算部212は、画面上の路面から所定の高さまで、矩形状の演算領域CAを順次オーバラップさせながら、エッジヒストグラム情報を演算し、距離ヒストグラムに距離情報が存在する高さ情報を含まない演算領域については、演算処理を実行しない。
そのため、不要な演算処理を削減することにより、演算の処理負荷を軽減することができる。
【0051】
本実施形態に係る画像処理装置10の演算部212は、エッジヒストグラム情報として輝度勾配を演算し、距離ヒストグラムごとのエッジ分布を求める。
つまり、演算部212は、輝度勾配を演算し、距離ヒストグラムごとのエッジ分布を求めることから、抽出部213における高い抽出精度が期待できる。
そのため、マッチング対象を精度よく選別できるため、演算処理の負荷軽減が期待できる。
【0052】
本実施形態に係る画像処理装置10の抽出部213は、画像処理制御部215において設定された検索範囲に含まれ、距離ヒストグラム生成部211により生成された距離ヒストグラムと高さとの差が第1の閾値以内である過去に演算されたエッジヒストグラム情報をマッチング対象とする。
つまり、画像処理制御部215によって、検索範囲が限定され、さらに、距離ヒストグラムと高さとの差が第1の閾値以内であるという条件のもとで、マッチング対象が絞り込まれることから、処理の負荷軽減を実現することができる。
【0053】
本実施形態に係る画像処理装置10の抽出部213は、画像処理制御部215において設定された検索範囲に含まれ、距離ヒストグラム生成部211により生成された距離ヒストグラムに対する速度変動が第2の閾値以内である過去に演算されたエッジヒストグラム情報をマッチング対象とする。
つまり、画像処理制御部215によって、検索範囲が限定され、さらに、距離ヒストグラムに対する速度変動が第2の閾値以内であるという条件のもとで、マッチング対象が絞り込まれることから、処理の負荷軽減を実現することができる。
【0054】
本実施形態に係る画像処理装置10の抽出部213は、演算されたエッジヒストグラム情報とマッチング対象のエッジヒストグラム情報との近似度を判定して、演算部212において演算されたエッジヒストグラム情報とマッチングさせるエッジヒストグラム情報を抽出する。
つまり、画像処理制御部215によって、検索範囲が限定され、さらに、距離ヒストグラムと高さとの差が第1の閾値以内であるという条件あるいは、距離ヒストグラムに対する速度変動が第2の閾値以内であるという条件のもとで、絞り込まれたマッチング対象に対して、演算されたエッジヒストグラム情報との近似度を判定して、マッチングさせるエッジヒストグラム情報を抽出することから、処理負荷をさらに軽減することができる。
【0055】
<変形例1>
距離ヒストグラムごとに速度の履歴情報を付加し、現在の速度が、履歴情報の速度の平均値から一定値以上外れる場合には、抽出部213は、現在の速度が、履歴情報の速度の平均値から一定値以上外れる距離ヒストグラムをマッチング対象から除去するようにしてもよい。
上記の処理を行うことにより、マッチング対象を早い段階で削減できることから、処理負荷を低減することができる。
【0056】
<変形例2>
距離ヒストグラムごとに速度の履歴情報を付加し、周辺の距離ヒストグラムにおける速度と所定以上、速度が異なる距離ヒストグラムをマッチング対象から除去するようにしてもよい。
上記の処理を行うことにより、マッチング対象を早い段階で削減できることから、処理負荷を低減することができる。
【0057】
なお、プロセッサ210の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをプロセッサ210に読み込ませ、実行することによって本発明の画像処理装置10を実現することができる。ここでいうコンピュータシステムとは、OSや周辺装置等のハードウェアを含む。
【0058】
また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
【0059】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0060】
以上、この発明の実施形態について、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0061】
1;車載システム
10;画像処理装置
20;運転支援装置
100;撮像部
200;情報処理ユニット
210;プロセッサ
211;距離ヒストグラム生成部
212;演算部
213;抽出部
214;移動量算出部
215;画像処理制御部
220;メモリ
図1
図2
図3
図4
図5
図6
図7