特許 7018607 移動物体検出装置および移動物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-03

(45)【発行日】2022-02-14

(54)【発明の名称】移動物体検出装置および移動物体検出方法

(51)【国際特許分類】

   G06T 7/254 20170101AFI20220204BHJP

   G06T 7/00 20170101ALI20220204BHJP

   G08G 1/16 20060101ALI20220204BHJP

【ＦＩ】

G06T7/254 B

G06T7/00 350D

G06T7/00 650B

G08G1/16 C

【請求項の数】 3

(21)【出願番号】P 2017178431

(22)【出願日】2017-09-17

(65)【公開番号】P2019053625

(43)【公開日】2019-04-04

【審査請求日】2020-08-31

(73)【特許権者】

【識別番号】504165591

【氏名又は名称】国立大学法人岩手大学

(73)【特許権者】

【識別番号】000002082

【氏名又は名称】スズキ株式会社

(74)【代理人】

【識別番号】100120400

【弁理士】

【氏名又は名称】飛田 高介

(74)【代理人】

【識別番号】100124110

【弁理士】

【氏名又は名称】鈴木 大介

(74)【代理人】

【識別番号】110000349

【氏名又は名称】特許業務法人 アクア特許事務所

(72)【発明者】

【氏名】明石 卓也

(72)【発明者】

【氏名】張 潮

(72)【発明者】

【氏名】ガンボルド ウーガンバヤル

(72)【発明者】

【氏名】久保田 整

(72)【発明者】

【氏名】富田 浩行

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２００６－０５３６９２（ＪＰ，Ａ）

【文献】特開２０１１－２４３１５４（ＪＰ，Ａ）

【文献】特開平１１－０１５９８２（ＪＰ，Ａ）

【文献】特開２０１３－２０７３９３（ＪＰ，Ａ）

【文献】特開平１０－１０８１９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－９／４０

Ｇ０８Ｇ １／００－９９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

動画像を入力する入力部と、
動画像から連続的に複数のフレーム画像を取り出すフレーム取得部と、
移動物体に検出枠を設定する移動物体検出部と、
設定した検出枠を記憶する記憶部とを備え、
前記移動物体検出部は、
現フレームから背景差分法を用いて前景画素を抽出し、
前記前景画素を囲う枠を１次候補枠とし、
前記記憶部から前フレームの検出枠を取得し、
前記１次候補枠のうち、前記前フレームの検出枠と面積が所定以上重なるものを２次候補枠とし、
前記２次候補枠のうち、同じ前フレームの検出枠と重なるものをグループ化し、
グループ化された２次候補枠のうち、ｙ軸方向に所定以上重なるものは統合した検出枠とし、ｙ軸方向に所定以上重ならないものは分離した検出枠とし、
現フレームにおいて地平線を検出し、
現フレームにおいて検出された１または複数の前記検出枠に対し、前記地平線に所定の割合で重なっていない検出枠を除去するフィルタ部をさらに備えることを特徴とする移動物体検出装置。

【請求項2】

前記フィルタ部は、前記地平線の検出に遺伝的アルゴリズムを用いることを特徴とする請求項１に記載の移動物体検出装置。

【請求項3】

動画像を入力し、
動画像から連続的に複数のフレーム画像を取り出し、
処理対象となるフレーム画像を現フレームとし、その前のフレーム画像を前フレームとしたとき、
現フレームから背景差分法を用いて前景画素を抽出し、
前記前景画素を囲う枠を１次候補枠とし、
前フレームにおける移動物体を囲う検出枠を取得し、
前記１次候補枠のうち、前フレームの検出枠と面積が所定以上重なるものを２次候補枠とし、
前記２次候補枠のうち、同じ前フレームの検出枠と重なるものをグループ化し、
グループ化された２次候補枠のうち、ｙ軸方向に所定以上重なるものは統合した検出枠とし、ｙ軸方向に所定以上重ならないものは分離した検出枠とし、
現フレームにおいて地平線を検出し、
現フレームにおいて検出された１または複数の前記検出枠に対し、前記地平線に所定の割合で重なっていない検出枠を除去することを特徴とする移動物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、単眼カメラの動画像から移動物体を高い精度で高速に検出することが可能な移動物体検出装置および移動物体検出方法に関する。

【背景技術】

【0002】

現在、交通事故を未然に防ぐことを目的とした、多くの予防安全技術の研究開発が進められている。そのひとつに、交差点等での自動車と歩行者、自転車、自動車等との出合い頭の交通事故を防止する要請がある。そのようなシステムにおいては、車載センサや車載カメラを利用して移動物体を検出することが考えられる。

【0003】

車載センサを用いた物体検出技術としては、レーザーレンジセンサ等の補助装置を使用するシステムがある。しかしレーザー装置は高価である上に、強いレーザーを人体に照射することができないため、出力を上げにくいという問題がある。

【0004】

車載カメラを用いる場合、背景差分法を用いることが考えられる。背景差分法は高速に処理可能であり、動的なシーンの変化を用いた信頼性の高い手法である。しかし、物体が平坦なテクスチャを有する場合や、物体の一部が背景と似た色である場合には、物体の一部しか検出できない場合がある。

【0005】

特許文献１には、検出対象領域の候補が複数ある場合（顔部分と足部分）、検出対象領域が撮像画像中で占めるべき大きさを特定し、その大きさの範囲に、他の候補が含まれている場合、前記候補と他の候補とを結合した領域を新たな一の検出対象領域の候補として抽出する画像処理装置が提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１０－０９２３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の技術は、撮像画像中の検出対象領域の候補の位置に基づいて、占めるべき大きさを特定している。すると、まず検出対象の距離を判定する必要がある。特許文献１では撮像装置は交差点を俯瞰するように固定設置されている（段落００３８、図１）。この限定的な条件により画像上の位置から距離を測ることが可能となっているが、車載カメラの画像を基にした場合は距離を測ることは困難である。

【0008】

また特許文献１では、検出対象の種類（人物であるかどうか）を判定し、占めるべき大きさを特定する必要がある。このような判定は非常に不確実である。さらに、特許文献１では赤外線カメラを使用しているため肌が露出している部分が検出されるが、肌が見える面積は人物の向きや、服装、髪型により全く異なる点でも、不確実性が増してしまう。

【0009】

また、赤外線カメラではなく安価な単眼カメラを用いたり、さらに広範囲を撮影するために魚眼レンズや広角レンズを用いた場合には、赤外線カメラを用いた場合よりもノイズが大きくなる可能性がある。

【0010】

そこで本発明は、単眼カメラの動画像から移動物体を高い精度で高速に検出することが可能な、安価で安全性の高い移動物体検出装置および移動物体検出方法を提供することを目的としている。

【課題を解決するための手段】

【0011】

上記課題を解決するために、本発明にかかる移動物体検出装置の代表的な構成は、動画像を入力する入力部と、動画像から連続的に複数のフレーム画像を取り出すフレーム取得部と、移動物体に検出枠を設定する移動物体検出部と、設定した検出枠を記憶する記憶部とを備え、移動物体検出部は、現フレームから背景差分法を用いて前景画素を抽出し、前景画素を囲う枠を１次候補枠とし、記憶部から前フレームの検出枠を取得し、１次候補枠のうち、前フレームの検出枠と面積が所定以上重なるものを２次候補枠とし、２次候補枠のうち、同じ前フレームの検出枠と重なるものをグループ化し、グループ化された２次候補枠のうち、ｙ軸方向に所定以上重なるものは統合した検出枠とし、ｙ軸方向に所定以上重ならないものは分離した検出枠とすることを特徴とする。

【0012】

上記構成によれば、現フレームの候補枠に対して、前フレームの検出枠と重なった範囲内で統合と分離を行う。移動物体の種類や距離を判定する必要がなく、またノイズが多くても候補枠の統合と分離を行うことができる。これにより単眼カメラの画像であっても、そして車載カメラのように移動しながら撮影した画像であっても、移動物体に適切に対応した検出枠を設定することができる。したがって、接近する移動物体を高い精度で高速に検出することができ、安価に安全性の向上を図ることができる。

【0013】

背景画像と現フレームの画像を合成して背景画像を更新する背景画像生成部をさらに備えていてもよい。これにより移動しながら撮影された動画像であっても、背景画像を適宜生成することができる。

【0014】

現フレームにおいて検出された１または複数の検出枠に対し、所定の面積または縦横比を満たさない検出枠を除去するフィルタ部をさらに備えていてもよい。動画像が移動しながら撮影されたものであること、単眼カメラの画像であることは、ノイズが増える要因となる。上記構成によればノイズを除去して、移動物体の検出精度を向上させることができる。

【0015】

現フレームにおいて地平線を検出し、現フレームにおいて検出された１または複数の検出枠に対し、地平線に所定の割合で重なっていない検出枠を除去するフィルタ部をさらに備えていてもよい。

【0016】

車載カメラなどで移動しながら撮影した動画像においては、下方については道路標示や横断歩道、上方については建物や看板、信号機、電線、街路灯なども移動物体として検知してしまう可能性がある。しかし本発明において検出したい移動体は地上を移動するものである。そして上記の構成によれば、移動体でない検出枠を除去することができる。

【0017】

フィルタ部は、地平線の検出に遺伝的アルゴリズムを用いてもよい。これにより、建物や道路の形状に邪魔されて簡単にはわかりにくい地平線を、高い精度で検出することができる。

【0018】

本発明にかかる移動物体検出方法の代表的な構成は、動画像を入力し、動画像から連続的に複数のフレーム画像を取り出し、処理対象となるフレーム画像を現フレームとし、その前のフレーム画像を前フレームとしたとき、現フレームから背景差分法を用いて前景画素を抽出し、前景画素を囲う枠を１次候補枠とし、前フレームにおける移動物体を囲う検出枠を取得し、１次候補枠のうち、前フレームの検出枠と面積が所定以上重なるものを２次候補枠とし、２次候補枠のうち、同じ前フレームの検出枠と重なるものをグループ化し、グループ化された２次候補枠のうち、ｙ軸方向に所定以上重なるものは統合した検出枠とし、ｙ軸方向に所定以上重ならないものは分離した検出枠とすることを特徴とする。

【0019】

上記方法によれば、単眼カメラの動画像から移動物体を高い精度で高速に検出することができ、安価に安全性の向上を図ることができる。上記移動物体検出装置と同様の技術的思想を、当該移動物体検出方法にも適用することができる。

【発明の効果】

【0020】

本発明によれば、単眼カメラの動画像から移動物体を高い精度で高速に検出することが可能な、安価で安全性の高い移動物体検出装置および移動物体検出方法を提供することができる。

【図面の簡単な説明】

【0021】

【図1】本実施形態にかかる移動物体検出装置の全体構成を説明する図である。

【図2】本実施形態にかかる移動物体検出方法を説明するフローチャートである。

【図3】移動物体の検出の手順を説明するフローチャートである。

【図4】背景差分法の画像例である。

【図5】前景画素の膨張と収縮を説明する画像例である。

【図6】検出枠の設定について説明する画像例である。

【図7】統合と分離を説明する他の画像例である。

【図8】検出枠のフィルタリング処理を説明する画像例である。

【図9】背景画像の生成について説明する画像例である。

【図10】地平線を用いたフィルタリング処理について説明する画像例である。

【図11】遺伝的アルゴリズムの条件等を説明する図である。

【図12】遺伝的アルゴリズムのフローチャートである。

【図13】遺伝的アルゴリズムの目的関数を説明する図である。

【発明を実施するための形態】

【0022】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0023】

［第１実施形態］
本発明にかかる移動物体検出装置および移動物体検出方法の第１実施形態について説明する。図１は本実施形態にかかる移動物体検出装置１００の全体構成を説明する図である。図２は本実施形態にかかる移動物体検出方法を説明するフローチャートである。

【0024】

図１（ａ）に示すように、移動物体検出装置１００は自動車１０に搭載される車載システムである。代表的な例として、自動車１０の車載カメラ１２が撮影した動画像が移動物体検出装置１００に入力されて、移動物体を検出する。移動物体検出装置１００によって検出された移動物体の情報は、ブレーキングシステム１４や不図示のモニター等に送られて利用される。

【0025】

車載カメラ１２は、安価な単眼カメラであり、一般的な動画像を撮影する。動画像はカラー画像であってもよいし、グレースケール画像（モノクローム画像）であってもよい。また車載カメラ１２は、魚眼レンズや広角レンズを備えていてもよい。本発明によれば、単眼カメラの動画像からでも、後述するように移動物体を高い精度で高速に検出することが可能であるため、安価で安全性の高い移動物体検出装置および移動物体検出方法を提供することができる。

【0026】

図１（ｂ）には移動物体検出装置１００の構成が示されている。移動物体検出装置１００は具体的にはコンピュータシステムで構築することができる。以下、移動物体検出装置１００の構成について、図２に示すフローチャートを参照しながら説明する。

【0027】

入力部１１０には、車載カメラ１２が撮影した動画像が入力される（ステップ２１０）。動画像が映像信号である場合にはコンポジット端子やＨＤＭＩ（登録商標）端子を備えるビデオエンコーダチップが入力部１１０に該当する。動画像がエンコードされたデジタルデータになっている場合にはＵＳＢやＩＥＥＥ１３９４インターフェースが入力部１１０に該当する。いずれにしても入力部１１０は、移動物体検出装置１００内で処理可能なように動画像のデータを入力できればよい。

【0028】

フレーム取得部１１２は、入力された動画像から連続的に複数のフレーム画像（静止画）を取得する（ステップ２１２）。動画像からフレームを取得する具体的な処理は、動画像のフォーマットに依存する。例えば動画像がＭｏｔｉｏｎＪＰＥＧのように静止画を配列したフォーマットであれば、単純に各フレームを抜き出せばよい。なお、動画像のｆｐｓ（frame per second）に依存することなく、一定時間単位（例えば０．１秒単位）で抜き出してもよい。ＭＰＥＧのように差分圧縮されているものは、ＧＯＰ（Group Of Pictures）のＩフレームごとに抜き出してもよい。

【0029】

前処理部１１４は、取得したフレーム画像に対して前処理を行う（ステップ２１４）。本実施形態では、入力される動画像がカラー画像であり、前処理としてグレースケール画像に変換する。なお前処理としては、必要に応じてノイズ除去を行ったり、画像処理の対象となる領域を切り出すクロップ処理を行ってもよい。

【0030】

移動物体検出部１１８は、処理対象となるフレーム画像を現フレームとしたとき、現フレームから背景差分法を用いて移動物体を検出し、その検出枠を設定する（ステップ２１６）。なお以下の説明において、処理対象となるフレームの前のフレームを「前フレーム」と称し、次のフレームを「次フレーム」と称する。

【0031】

図３は移動物体の検出の手順（サブルーチン）を説明するフローチャートである。移動物体検出部１１８は、まず、背景差分法を用いて前景画素を抽出する（ステップ２３２）。

【0032】

図４は背景差分法の画像例である。図４（ａ）に示す現フレームの画像において、左側に位置している自転車に乗った人物と、中央に位置している２台の自動車が移動物体である。図４（ｂ）に示す背景画像は、背景画像生成部１１６から取得する。背景画像においてもこれらの移動物体は写っているが、それぞれ位置が少しずつ異なっている。これらの画像に背景差分法を適用する（輝度の減算を行う）と、図４（ｃ）に示す差分画像のように、差異のある画素が抽出される。この差異のある画素が前景画素である。

【0033】

図５は前景画素の膨張と収縮を説明する画像例である。背景差分法によって抽出した前景画素は、輝度が低く、また細かく分断された状態である。そこで、ガウシアンフィルタ等による平滑化（ぼかし処理）を行って近接する前景画素を連結した後に、図５（ａ）に示す画像のように二値化して明瞭化する（ステップ２３４）。これでもまだ中抜けや細かな分断があるため、図５（ｂ）に示すように前景画素の膨張を行った後に、図５（ｃ）に示すように前景画素の収縮を行う（ステップ２３６）。

【0034】

膨張とは、背景画素が黒、前景画素が白として、フィルタ径を例えば５×５とすると、総ての白い画素を中心とするフィルタ径内の画素を白にする処理である。収縮はその逆で、総ての黒い画素を中心とするフィルタ径内の画素を黒にする処理である。膨張と収縮を行うと、外縁の輪郭は元の位置に戻るものの、膨張によって埋められた中抜けや分断（不連続）は収縮しても埋められたままであるので、近接する前景画素同士を連結することができる。

【0035】

ここで、冒頭で説明したように、背景差分法においては物体が平坦なテクスチャを有する場合や、物体の一部が背景と似た色である場合には、背景画像と現フレームの画像で輝度差が生じないため、物体の一部しか検出できない場合がある。この場合、前景画素が離れて存在するため、上記のような平滑化や、膨張と収縮だけでは、前景画素同士を連結することはできない。そこで本発明においては、次に述べる候補枠の統合と分離を行う。

【0036】

統合とは、本来１つの移動物体であるものを、誤検出により複数の検出枠として抽出されたものであると判定して、１つの検出枠にする処理である。分離とは、近接する検出枠を、近接する複数の移動物体であると判定して独立した検出枠とする処理である。

【0037】

図６は検出枠の設定について説明する画像例である。移動物体検出部１１８は、抽出した前景画素の輪郭を検出して、図６（ａ）に示すように前景画素を囲う枠を１次候補枠１５０ａ～ｆとする（ステップ２３８）。そして移動物体検出部１１８は、記憶部１２０から前フレームの検出枠を取得する（ステップ２４０）。なお、現フレームにおいてまだ前フレームの検出枠が存在しない場合には、この統合と分離の処理（ステップ２４０ ～ステップ２４４）はスキップする。

【0038】

そして移動物体検出部１１８は、図６（ａ）に示す１次候補枠１５０ａ～ｆのうち、図６（ｂ）に示すように前フレームの検出枠１５２ａ～ｃと面積が所定以上（例えば５０％以上）重なるものを２次候補枠１５４ａ～ｄに設定する（ステップ２４２）。図６（ｂ）において前フレームの検出枠１５２は一点鎖線で示し、２次候補枠１５４は破線で示している。１次候補枠１５０ａ～ｆのうち、２次候補枠にならなかった１次候補枠１５０ｅ、１５０ｆは、そのまま検出枠となる（「検出枠」は、候補ではない）。

【0039】

移動物体検出部１１８は、２次候補枠１５４のうち、同じ前フレームの検出枠１５２と重なるものをグループ化する。図６（ｂ）において左側にある前フレームの検出枠１５２ａには２次候補枠１５４ａ、１５４ｂが重なっているため、これらをグループ化する。そして、グループ化された２次候補枠１５４ａ、１５４ｂのうち、図６（ｃ）に示すように、ｙ軸方向に所定以上（例えば３０％以上）重なるものは統合した検出枠１５６ａとする。ｙ軸方向に所定以上重ならないものは分離（独立）した検出枠とする（ステップ２４４）。なお「ｙ軸方向に所定以上重なる」とは、枠のｘ軸方向の座標の範囲が所定以上重複していることと同義である。

【0040】

上記を整理すると、「検出枠」となるのは次の３通りである。
・１次候補枠のうち、２次候補枠にならなかったもの（１５０ｅ、１５０ｆ）
・２次候補枠のうち、統合したもの（１５６ａ）
・２次候補枠のうち、統合せずに分離したままのもの（１５４ｃ、１５４ｄ）
なお、グループ化された２次候補枠が多数ある場合には、複数の統合した検出枠が設定される場合がある。例えば１つのグループに２次候補枠が４つある場合に、２つずつ統合されて、２つの検出枠が設定される場合がある。

【0041】

図７は統合と分離を説明する他の画像例であり、重なって見えていた２人の歩行者が離れていくときの処理例である。図７（ａ）は現フレームの画像である。道路上に２人の歩行者が歩いている。図７（ｂ）は現フレームにおいて抽出した前景画素を示していて、現フレームの中央部に対応している。右側の人物の前景画素は１つの１次候補枠１５０ｇになっているが、左側の人物の前景画素は上下で切れた２つの１次候補枠１５０ｈ、１５０ｉになっている。２人の歩行者についての前景画素のブロックは合計３つである。図７（ｃ）は前フレームにおいて抽出した前景画素および検出枠を示している。前フレームでは２人の歩行者がまだ重なって見えていたため、２人で１つの大きな検出枠１５２ｄとなっている。

【0042】

そして移動物体検出部１１８は、図７（ｄ）に示すように、１次候補枠１５０に前フレームの検出枠１５２ｄを重ねて、面積が所定以上重なるものを２次候補枠に設定する。本例では３つの１次候補枠１５０ｇ～ｉは、総て３つの２次候補枠１５４ｅ～ｇとなる。また、３つの２次候補枠１５４ｅ～ｇは同じ前フレームの検出枠１５２ｄに重なっているから、これらはグループ化される。

【0043】

図７（ｄ）において２次候補枠１５４ｆ、１５４ｇはｙ軸方向に所定以上重なっているから、図７（ｅ）に示すように統合した検出枠１５６ｂとする。２次候補枠１５４ｅはｙ軸方向に所定以上重なっていないから、統合せずに分離したままとする。結果として、図７（ｆ）に示すように、２人の歩行者にそれぞれ検出枠（２次候補枠１５４ｅ、統合した検出枠１５６ｂ）が設定される。なお、重なり度合いを判定するとき、２つの候補枠のｘ軸方向に重複する大きさ（長さ）を、２つの候補枠のうちｘ軸方向の大きさが小さい方と比較するとよい。

【0044】

このようにして、３つの前景画素を適切に統合して、２つの移動物体に検出枠を設定することができる。また同時に、前フレームでは１つであった検出枠を現フレームでは２つの検出枠に分離することができる。

【0045】

図８は検出枠のフィルタリング処理（ステップ２４６）を説明する画像例である。図８（ａ）は統合と分離が終了した後の検出枠を示している（図６（ｃ）参照）。図８（ａ）において、画像左側の自転車に乗った人物は統合した検出枠１５６ａとなり、画像中央の２台の自動車は２次候補枠１５４ｃ、１５４ｄとして検出されている。そして１次候補枠１５０ｅ、１５０ｆは、検出枠として残っているものの、極端に小さいため、ノイズと考えることができる。

【0046】

そこで本実施形態においては、フィルタ部１２２が、現フレームにおいて検出された１または複数の検出枠に対し、所定の面積または縦横比を満たさない検出枠を除去する（ＡＳＦ：Area Size Filtering）。すなわち、極端に小さい検出枠や、極端に細長い検出枠を除去する。

【0047】

図８（ｂ）の例では、フィルタリング処理によって極端に小さな検出枠（１次候補枠１５０ｅ、１５０ｆ）が除去されて、統合した検出枠１５６ａ、２次候補枠１５４ｃ、１５４ｄが残っている。なお図８（ｂ）では、これらの最終的な検出枠を、二値画像ではなく現フレームのグレースケール画像に重ねて示している。

【0048】

動画像が移動しながら撮影されたものであること、単眼カメラの画像であること、さらに魚眼レンズや広角レンズを使用することは、ノイズが増える要因となる。そこで上記のフィルタリング処理を行うことにより、ノイズを除去して、移動物体の検出精度を向上させることができる。

【0049】

移動物体検出部１１８は、フィルタ部１２２がフィルタリング処理を施した最終的な検出枠を、記憶部１２０に登録する（ステップ２１８）。検出枠はフレームの番号と対応付けて記憶され、任意のフレームの画像に対して検出済みの検出枠を読み出すことができる。特に、上記説明において現フレームの画像処理に前フレームの検出枠を利用したように、次フレームの画像処理に現フレームの検出枠を利用する。また移動物体検出装置１００が設定した検出枠は、出力部１２４によってブレーキングシステム１４や不図示のモニター等に送られる。

【0050】

背景画像生成部１１６は、次フレームの画像を処理するときのために、背景画像の生成（更新）を行う（ステップ２２０）。フレーム取得部１１２が取得した複数のフレーム画像のうち、１番目のフレーム画像は前景画素の抽出は行われず、背景画像としてのみ用いられる。２番目のフレーム画像から前景画素の抽出を行うとき、１番目のフレーム画像が背景画像に用いられる。３番目以降のフレーム画像から前景画素の抽出を行うとき、背景画像生成部１１６が生成（更新）した背景画像を用いる。

【0051】

図９は背景画像の生成について説明する画像例である。背景画像生成部１１６は、背景画像と現フレームの画像を合成して背景画像を更新し、次フレームを処理する際の背景画像とする。具体例として、図９に示すように、現フレームの輝度を２５％に落とした画像と背景画像の輝度を７５％に落とした画像を合成して背景画像を生成する。このようにして順繰りに背景画像の合成（更新）を行うことにより、移動しながら撮影された動画像であっても、また移動物体が存在しない状態がない動画像であっても、背景画像を適宜生成することができる。

【0052】

また、背景差分法において、学習に基づいた背景モデルの更新は計算コストが高いため、高速な動画像処理に応用が困難であるとされてきた。しかし本実施形態のように過去の背景画像と現フレームの画像を組み合わせることは、計算量が少なくて済むため、システム全体として計算コストの効率化を図ることができる。

【0053】

背景画像の生成が完了すると、次のフレーム画像があるか否かを判定する（ステップ２２２）。次フレームの画像があれば上記一連の処理を繰り返す。次フレームの画像がなければ処理を終了する。

【0054】

上記説明したように、本実施形態にかかる移動物体検出装置および移動物体検出方法によれば、現フレームの候補枠に対して、前フレームの検出枠と重なった範囲内で統合と分離を行う。移動物体の種類や距離を判定する必要がなく、またノイズが多くても候補枠の統合と分離を行うことができる。

【0055】

これにより安価な単眼カメラの画像であっても、そして車載カメラのように移動しながら撮影した画像であっても、移動物体に適切に対応した検出枠を設定することができる。また、背景差分法は高速に処理可能であり、また上記の候補枠の統合と分離の処理やフィルタリング処理も高速に処理可能である。したがって、接近する移動物体を高い精度で高速に検出することができ、安全性の向上を図ることができる。

【0056】

特に、統合と分離のアルゴリズムがシンプルであるため、従来の単なる背景差分法と比較すると、移動物体の検出率を大幅に上げたにもかかわらず、計算量の増加が少ない。従来技術と比較して本手法は実用性が高く、技術的な優位性も十分に高い。また本発明では１つの単眼カメラだけを使用するため、複数のカメラやレーザーレーダや赤外カメラ等を使用するような従来手法と比較すると、コスト面で大きな優位性がある。

【0057】

本発明は、出合い頭における交通事故を防ぐ車載の安全運転システムや、ロボットなどの移動装置の自動走行システムへの応用が可能である。また自動車やロボットなどに搭載されるシステムに限定されず、広角防犯カメラを用いた固定設置の監視システムに応用することもできる。

【0058】

［第２実施形態］
本発明にかかる移動物体検出装置および移動物体検出方法の第２実施形態について説明する。上記第１実施形態においては、フィルタ部１２２が所定の面積または縦横比を満たさない検出枠を除去する（ＡＳＦ）ように説明した。これに対し本実施形態においては、ＡＳＦに代えて、またはＡＳＦに追加して、地平線を検出し、現フレームにおいて検出された１または複数の検出枠に対し、地平線に所定の割合で重なっていない検出枠を除去する（ＨＬＦ：Horizontal Line Filtering）。

【0059】

図１０は地平線を用いたフィルタリング処理について説明する画像例である。図１０（ａ）は二値化画像と検出枠（統合と分離まで完了したもの）を示している。図１０（ｂ）は現フレームのグレースケール画像にフィルタリング処理後の検出枠を重ねて示している。

【0060】

図１０（ａ）を図１０（ｂ）と対比するとわかるように、車載カメラなどで移動しながら撮影した動画像においては、下方については道路標示や横断歩道（横断歩道の検出枠１６０ｂ）、上方については建物や看板、信号機、電線、街路灯など（看板の検出枠１６０ｃ、電線の検出枠１６０ｄ、街路灯の検出枠１６０ｅ）も移動物体として検知してしまう可能性がある。しかし本発明において検出したい移動体は、歩行者や自動車など地上を移動するもの（自動車の検出枠１６０ａ）である。

【0061】

そこで図１０（ｃ）に示す判定式のように、総ての検出枠１６０について、地平線ＨＬによって分断される面積ａ、ｂを取得し、地平線ＨＬに所定の割合で重なっていない検出枠を除去する。本実施形態では、判定式：｜ａ－ｂ｜／（ａ＋ｂ）≦０．６となる検出枠を残し（Ｃｏｒｒｅｃｔ＝１）、それ以外の検出枠は除去する（Ｃｏｒｒｅｃｔ＝０）。

【0062】

判定式の具体例として、地平線ＨＬが検出枠の中央を通るとき、ａ＝ｂであるから判定式の値は０となり、Ｃｏｒｒｅｃｔ＝１となってその検出枠１６０は残る。地平線ＨＬが検出枠に重ならないとき、判定式の値は１となり、Ｃｏｒｒｅｃｔ＝０となってその検出枠１６０は除去される。

【0063】

なお閾値を０．６としたのは一例であって、閾値の数値は適宜定めてよい。例えば｜ａ－ｂ｜／（ａ＋ｂ）＜１としてもよい。この場合、検出枠に地平線ＨＬが全く重なっていない検出枠のみが除去される。

【0064】

このようにして、移動体でない検出枠１６０を適切かつ高速な処理で除去することができる。これにより危険回避のために検出したい移動物体の検出精度を高めることができる。

【0065】

地平線を検出するための手法はさまざまなものが考えられるが、本実施形態では地平線の検出に遺伝的アルゴリズムを用いて地平線を検出する。遺伝的アルゴリズムは常に局所的に良好な解を複数保持しながら解の改良を図る多点探索であることから、大域的に最良の解を探索しうるため、最も好ましい方法である。これにより、建物や道路の形状に邪魔されて簡単にはわかりにくい地平線を、高い精度で検出することができる。

【0066】

図１１は遺伝的アルゴリズムの条件等を説明する図である。以下に説明する地平線の検出を簡潔に説明すると、路面とそれ以外（建物等の構造物や空など）との境界線を遺伝的アルゴリズムによって検出することにより、これを地平線とする。Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）は地平線上のｉ番目のピクセル（点）である。ｘ_ｉは地平線上のｉ番目の点のｘ座標である。ｙ_ｉは地平線上のｉ番目の点のｙ座標であり、ベースラインの高さＢ＋定数ａ＋変数ｂ_ｉで表される。そして、ａ，ｂ_０，ｂ_１，…ｂ_Ｍを遺伝的アルゴリズムの染色体とする。

【0067】

図１２は遺伝的アルゴリズムのフローチャートである。フィルタ部１２２は、まず所定の初期値を用いてアルゴリズムを初期化する（ステップ２５０）。アルゴリズムの初期値は、一例として、世代数５０、初期個体数５０、交叉レート０．７、突然変異レート０．０１としてよい。

【0068】

次に初期個体に仮パラメータを与えて、地平線の候補線を生成する（ステップ２５２）。遺伝的アルゴリズムのロジックに基づいて交叉と突然変異を繰り返しながら、候補線の目的関数に対する適合度の評価を行う（ステップ２５４）。なお、遺伝的アルゴリズムにおける交叉と突然変異については既知の技術であるため、ここでの詳述は省略する。

【0069】

図１３は遺伝的アルゴリズムの目的関数を説明する図である。目的関数Ｆは、閾値を超えるピクセル値の差が認められるピクセルＤｉｆｆ（ｊ，ｘ）の個数である。ｊは評価幅であり、評価範囲Ｌが最大値である。ｘはピクセルＰ_ｉ（ｘ_ｉ，ｙ_ｉ）とＰ_ｉ＋１（ｘ_ｉ＋１，ｙ_ｉ＋１）の中間位置のｘ座標である。ｙ_ｘはピクセルＰのｙ座標を線形補間（１次方程式）によって表したｘの関数である。

【0070】

ｉ番目のピクセルＰ_ｉ（ｘ_ｉ，ｙ_ｉ）のピクセル値（グレースケール値）をＰ（ｘ_ｉ，ｙ_ｉ）と表す。差が認められるピクセルＤｉｆｆ（ｊ，ｘ）の判定は、ピクセル値の差｜Ｐ（ｘ，ｙ_ｘ＋ｊ）－Ｐ（ｘ，ｙ_ｘ－ｊ）｜が閾値以上であれば１、閾値未満であれば０とする。ＤｉｆｆＴＢ（ｊ，ｘ）は、ｙ軸方向に上下２ｊ離れた位置のピクセル値を比較して、閾値以上にピクセル値（グレースケール値）が異なっていれば１となる。したがって目的関数Ｆは、染色体ａ，ｂ_０，ｂ_１，…ｂ_Ｍによって形成する地平線が路面とそれ以外との境界線に沿っているほど値が大きくなる。換言すれば、この遺伝的アルゴリズムによる地平線検出は、路面の上縁の輪郭抽出である。

【0071】

また評価関数ＦにあるＤｉｆｆＴＮ、ＤｉｆｆＢＮは、それぞれＰ（ｘ，ｙ_ｘ－ｊ）、Ｐ（ｘ，ｙ_ｘ＋ｊ）と隣の（次の）ピクセルとでピクセル値を比較している。これにより評価関数Ｆは、水平線（横線）のみでなく建物等の輪郭（縦線）にさしかかった場合も値が大きくなる。横線と縦線の交点で値が高くなるため、すなわち建物と地面との交点で値が高くなる。これにより地平線検出の精度を向上させることができる。

【0072】

フィルタ部１２２は、所定の世代数の計算を終えると、選択された候補線を地平線として出力する（ステップ２５６）。出力された地平線は、図１０（ｃ）で説明した判定式に使用する。

【0073】

そしてフィルタ部１２２は、次フレームがあるか否かを判定し（ステップ２５８）、次フレームがあれば遺伝的アルゴリズムによる地平線検出を繰り返し、次フレームがなければ地平線検出の処理を終了する。

【0074】

遺伝的アルゴリズムを用いた地平線の検出は、１枚の画像に対して処理を行うことが可能である。この場合、総てのフレームに対して処理を行ってもよいが、一定時間おきのフレームに対して行うことによって大幅に高速化を図ることができる。また、画像に変化がない間は一定時間おきに処理し、画像が大幅に変化したときにも処理を行うことにより、処理の高速化と精度の向上を図ることができる。

【0075】

また、加速度センサを搭載したり、ナビゲーションシステムから加速度センサの信号を受け取れるのであれば、角を曲がったときや上り下りが変化したときにも処理してよい。これにより地平線の変化に追従しやすくなり、検出精度の向上を図ることができる。

【0076】

また遺伝的アルゴリズムを用いた地平線の検出は、前フレームの演算結果を用いる（前フレームの画像を用いるのではない）ことによって高速化と精度の向上を図ることができる。具体的には、前フレームにおいて算出した最適解を含む遺伝的アルゴリズムのすべての個体の染色体情報を初期個体集団の初期の染色体として用いて演算を行う（進化的動画像処理）。特に総てのフレームに対して処理を行うとき、または短時間おきのフレームに対して処理を行うときには、画像内での地平線の移動はわずかであるため、前フレームの演算結果を用いれば最適解までの収束が極めて短時間となる。したがって、車載コンピュータのＣＰＵでもリアルタイム処理に十分な速度で演算することができ、地平線を検出しつづけることが可能となる。

【0077】

第２実施形態によれば、地平線に所定の割合で重なっていない検出枠を除去することにより、移動物体の検出精度を高めることができる。また、地平線の検出に遺伝的アルゴリズムを用いることにより、地平線を高い精度で検出することができる。

【産業上の利用可能性】

【0078】

本発明は、単眼カメラの動画像から移動物体を高い精度で高速に検出することが可能な、安価で安全性の高い移動物体検出装置および移動物体検出方法として利用することができる。

【符号の説明】

【0079】

１０…自動車、１２…車載カメラ、１４…ブレーキングシステム、１００…移動物体検出装置、１１０…入力部、１１２…フレーム取得部、１１４…前処理部、１１６…背景画像生成部、１１８…移動物体検出部、１２０…記憶部、１２２…フィルタ部、１２４…出力部、１５０…１次候補枠、１５２…前フレームの検出枠、１５４…２次候補枠、１５６…統合した検出枠、１６０…検出枠

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】