特許 6586051 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6586051

(24)【登録日】2019年9月13日

(45)【発行日】2019年10月2日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 3/00 20060101AFI20190919BHJP

   H04N 7/18 20060101ALI20190919BHJP

   G06T 1/00 20060101ALI20190919BHJP

   G08G 1/16 20060101ALI20190919BHJP

【ＦＩ】

   G06T3/00 720

   H04N7/18 D

   G06T1/00 330B

   G08G1/16 D

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2016-129616(P2016-129616)

(22)【出願日】2016年6月30日

(65)【公開番号】特開2018-5435(P2018-5435A)

(43)【公開日】2018年1月11日

【審査請求日】2018年7月6日

(73)【特許権者】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】國芳 隼平

(72)【発明者】

【氏名】島田 政範

(72)【発明者】

【氏名】渡邉 高之進

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１３−０９０００５（ＪＰ，Ａ）

【文献】 特開２０１５−１９２１９８（ＪＰ，Ａ）

【文献】 特開２００９−２３９７５４（ＪＰ，Ａ）

【文献】 胡 振程、外４名，“多視点映像情報統合による広域道路交通監視システムの構築”，情報処理学会研究報告，日本，社団法人情報処理学会，２００６年 ６月２３日，Vol.2006, No.67，pp.41-47

【文献】 早坂 光晴、外２名，“逆投影法とカルマンフィルタを用いた複数移動物体位置認識とその追跡”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００１年１１月 ８日，Vol.101, No.423，pp.133-138

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，３／００，７／００−７／９０

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

異なる視点から撮影された複数の原画像をそれぞれ正規化し、複数の正規化画像を生成する正規化部と、
複数の前記正規化画像に対して、所定条件を満たす物体に対応する物体領域をそれぞれ抽出し、複数の前記正規化画像に基づいて複数の背景画像を生成する物体領域抽出部と、
複数の前記正規化画像に係る前記物体領域が重なる部分である共通領域を抽出する共通領域抽出部と、
複数の前記背景画像を合成することにより、所定領域のうち前記共通領域以外の領域の画像を表す総合背景画像を生成する画像割当部と、
を有することを特徴とする画像処理装置。

【請求項2】

前記共通領域の重心位置を算出する重心位置算出部と、
前記重心位置の軌跡を表す軌跡画像を生成する軌跡画像生成部と、
をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

供給された物体画像を、前記共通領域に対応する大きさにリサイズした伸縮物体画像を生成するリサイズ部と、
前記総合背景画像と、前記伸縮物体画像とを合成して合成画像を出力する画像割当部と、
をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記物体画像は、何れかの前記正規化画像における前記物体領域の画像である
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

一または複数のシンボル画像を予め記憶する画像メモリをさらに有し、
前記物体画像は、前記画像メモリに記憶された何れかの前記シンボル画像である
ことを特徴とする請求項３に記載の画像処理装置。

【請求項6】

異なる視点から撮影された複数の原画像をそれぞれ正規化し、複数の正規化画像を生成する正規化過程と、
複数の前記正規化画像に対して、所定条件を満たす物体に対応する物体領域をそれぞれ抽出し、複数の前記正規化画像に基づいて複数の背景画像を生成する物体領域抽出過程と、
複数の前記正規化画像に係る前記物体領域が重なる部分である共通領域を抽出する共通領域抽出過程と、
複数の前記背景画像を合成することにより、所定領域のうち前記共通領域以外の領域の画像を表す総合背景画像を生成する画像割当過程と、
を有することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

交差点を通行する車両等の物体を複数のカメラで撮影し、撮像した複数の画像から合成画像を生成する技術が従来から知られている。
例えば、下記特許文献１の要約書には、「路面上に存在している立体物を良好な距離感をもって認識することができる俯瞰画像を車載カメラの撮影画像から生成する画像生成装置は、第１射影変換を用いて撮影画像から周辺俯瞰画像を生成する周辺俯瞰画像生成部と、車載カメラの視野内に存在する立体物を検知して、当該立体物の位置を含む立体物情報を出力する立体物検知部と、立体物情報に基づいて撮影画像から立体物が写っている画像領域である立体物画像を抽出する立体物抽出部と、周辺俯瞰画像における立体物の歪みを低減する第２射影変換を用いて立体物画像から立体物俯瞰画像を生成する立体物俯瞰画像生成部と、立体物情報に基づき周辺俯瞰画像に立体物俯瞰画像を画像合成する画像合成部を備える」と記載されている。

【0003】

また、下記特許文献２の要約書には、「停車時に立体物の有無を検出することを可能にした立体物確認装置を提供することを目的とする。」、「ドアミラーに検出用カメラを設け、ドアミラー格納状態及び展開状態の各々で撮影して、各々の撮影画像を俯瞰変換すると共に、位置合わせのために、格納状態で撮影した撮影画像を回転して、各々の撮影画像を比較する（１００〜１１４）。そして、撮影画像上にずれる部分が存在する場合に立体物と判定して警報を行う（１１６）。」と記載されている。

【0004】

また、下記特許文献３の要約書には、「複数の俯瞰画像を合成したときの見にくさを解消して見やすい画像を運転者に提示し、障害物を確実に認識させることのできる車両周辺監視装置を提供する。」、「本発明の車両周辺監視装置１は、自車の周囲の映像を撮像し、撮像領域がオーバーラップしている複数の撮像部２と、撮像部２によって撮像された画像を変換して複数の俯瞰画像を生成する画像変換部３と、複数の俯瞰画像の差分を計算し、オーバーラップ領域において画像が一致している一致領域と一致していない不一致領域とを確定させる領域確定部４と、一致領域と不一致領域とを異なる方法で合成して出力画像を生成する画像合成部５と、出力画像を運転者に提示する表示部６とを備えることを特徴とする。」と記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１２／０９６０５８号

【特許文献2】特開２０１５−７４３１８号

【特許文献3】特開２００７−０２７９４８号

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上述した各技術においては、生成された合成画像によって物体の正確な位置を把握することが難しいという問題があった。
この発明は上述した事情に鑑みてなされたものであり、撮影された物体の正確な位置を画像から把握できる画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため本発明の画像処理装置は、異なる視点から撮影された複数の原画像をそれぞれ正規化し、複数の正規化画像を生成する正規化部と、複数の前記正規化画像に対して、所定条件を満たす物体に対応する物体領域をそれぞれ抽出し、複数の前記正規化画像に基づいて複数の背景画像を生成する物体領域抽出部と、複数の前記正規化画像に係る前記物体領域が重なる部分である共通領域を抽出する共通領域抽出部と、複数の前記背景画像を合成することにより、所定領域のうち前記共通領域以外の領域の画像を表す総合背景画像を生成する画像割当部と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、撮影された物体の正確な位置を画像から把握できる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１実施形態による画像処理システムのブロック図である。

【図2】第１実施形態における処理プログラムのフローチャートである。

【図3】第１実施形態における各要素の一の配置例を示す図である。

【図4】図３の配置例における（ａ）正規化画像の例、（ｂ）二値化画像の例、（ｃ）共通領域表示画像の例を示す図である。

【図5】第１実施形態における各要素の他の配置例を示す図である。

【図6】図５の配置例における（ａ）正規化画像の例、（ｂ）二値化画像の例、（ｃ）共通領域表示画像の例を示す図である。

【図7】第２実施形態による画像処理システムのブロック図である。

【図8】第２実施形態における処理プログラムのフローチャートである。

【図9】第２実施形態における各要素の配置例を示す図である。

【図10】図９の配置例における（ａ）正規化画像の例、（ｂ）二値化画像の例、（ｃ）共通領域表示画像の例、（ｄ）重心位置の例、（ｅ）軌跡画像の例を示す図である。

【図11】第３実施形態による画像処理システムのブロック図である。

【図12】第３実施形態における処理プログラムのフローチャートである。

【図13】第３実施形態における各要素の配置例を示す図である。

【図14】図１３の配置例における（ａ）正規化画像の例、（ｂ）共通領域表示画像の例、（ｃ）合成画像の表示例、（ｄ）比較例による合成画像の表示例を示す図である。

【図15】第４実施形態による画像処理システムのブロック図である。

【発明を実施するための形態】

【0010】

［第１実施形態］
〈第１実施形態の構成〉
図１は、本発明の第１実施形態による画像処理システムＡ１のブロック図である。
画像処理システムＡ１は、画像処理装置２０１と、Ｎ台（Ｎは複数）のカメラ１０−１〜１０−Ｎと、表示部１２とを有している。カメラ１０−１〜１０−Ｎは、撮影した画像であるカメラ画像Ｖ１〜ＶＮ（原画像）を出力する。以下、カメラ１０−１〜１０−Ｎを総称して「カメラ１０」と呼ぶことがある。また、表示部１２は、ＬＣＤ（liquid crystal display）等のディスプレイである。

【0011】

画像処理装置２０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等、一般的なコンピュータとしてのハードウエアを備えており、ＨＤＤには、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等が格納されている。ＯＳおよびアプリケーションプログラムは、ＲＡＭに展開され、ＣＰＵによって実行される。図１において画像処理装置２０１の内部は、ＲＡＭに展開されたアプリケーションプログラム等によって実現される機能を、ブロックとして示す。

【0012】

画像処理装置２０１は、正規化部２２と、物体領域抽出部２４と、共通領域抽出部２６とを有している。正規化部２２は、カメラ画像Ｖ１〜ＶＮに対して正規化処理を施し、その結果を正規化画像ＶＳ１〜ＶＳＮとして出力する。なお、「正規化処理」とは、具体的には、カメラ画像Ｖ１〜ＶＮの視点を共通化するように、これらカメラ画像Ｖ１〜ＶＮを射影変換する処理である。物体領域抽出部２４は、正規化画像ＶＳ１〜ＶＳＮの各々の画像領域の中から、所定条件を満たす物体に対応する物体領域を抽出し、物体領域を特定する二値化画像ＶＢ１〜ＶＢＮを出力する。

【0013】

例えば、正規化画像ＶＳ１〜ＶＳＮが「道路」を撮影したものであるとすると、抽出対象の「物体領域」とは例えば「車両または人等を撮影した領域」とすることができる。物体領域の抽出方法としては、例えば背景差分を求める等、周知の技術を採用するとよい。背景差分による方法を採用する場合、「予め計測した背景色とは異なる色を有する」ということが上述の「所定条件」になる。二値化画像ＶＢ１〜ＶＢＮは、例えば物体領域を構成する画素の画素値を“１”とし、その他の領域を構成する画素の画素値を“０”とするビットマップとして表現することができる。

【0014】

ここで、二値化画像ＶＢ１〜ＶＢＮの物体領域が重なる領域を「共通領域」と呼び、共通領域抽出部２６は、この共通領域を抽出する。すなわち、上記例にあっては、二値化画像ＶＢ１〜ＶＢＮの相互に対応する画素値の論理積を求めると、論理積が“１”である範囲が共通領域になる。そして、共通領域抽出部２６は、共通領域を表す共通領域表示画像ＶＣを出力する。出力された共通領域表示画像ＶＣは、表示部１２に表示される。

【0015】

〈第１実施形態の動作〉
次に、図２を参照し、本実施形態の動作を説明する。なお、図２は、画像処理装置２０１にて実行される制御プログラムのフローチャートである。
図２において処理がステップＳ１０に進むと、正規化部２２は、各カメラ画像Ｖ１〜ＶＮのフレームを取得する。次に、処理がステップＳ１２（正規化過程）に進むと、正規化部２２は、各カメラ画像Ｖ１〜ＶＮを正規化画像ＶＳ１〜ＶＳＮに変換する。すなわち、各カメラ画像Ｖ１〜ＶＮのフレームを、正規化画像ＶＳ１〜ＶＳＮのフレームに変換する。次に、処理がステップＳ１４（物体領域抽出過程）に進むと、物体領域抽出部２４は、各正規化画像ＶＳ１〜ＶＳＮから物体領域を抽出し、二値化画像ＶＢ１〜ＶＢＮのフレームを生成する。

【0016】

次に、処理がステップＳ１６（共通領域抽出過程）に進むと、共通領域抽出部２６は、二値化画像ＶＢ１〜ＶＢＮから共通領域表示画像ＶＣを生成する。すなわち、二値化画像ＶＢ１〜ＶＢＮのフレームから共通領域を抽出し、共通領域表示画像ＶＣのフレームを生成する。次に、処理がステップＳ３０に進むと、正規化部２２は、今回生成した共通領域表示画像ＶＣのフレームが最終フレームであるか否かを判定する。なお、処理期間を特に定めない場合、ステップＳ３０では、常に「Ｎｏ」と判定される。ステップＳ３０において「Ｎｏ」と判定されると、処理はステップＳ１０に戻り、以降のフレームに対して同様の処理が繰り返される。これにより、表示部１２には、共通領域を表す共通領域表示画像ＶＣが連続的に表示される。

【0017】

〈動作の具体例（１）〉
次に、図３、図４（ａ）〜（ｃ）を参照し、本実施形態の動作の具体例を説明する。
まず、図３は、本実施形態における各要素の配置例を示す図である。図３において、平面領域５０は正方形の領域であり、そのほぼ中央に角柱部材５２が配置されている。角柱部材５２は、断面形状が正方形である長尺部材である。従って、角柱部材５２が平面領域５０に接する接触領域５２ａも、正方形になる。また、本実施形態においては、複数のカメラ１０として、２台のカメラ１０−１，１０−２が設けられている。

【0018】

カメラ１０−１，１０−２は、平面領域５０および角柱部材５２を斜め上方向から見下ろす位置に配置されている。カメラ１０−１，１０−２は、撮影した画像をカメラ画像Ｖ１，Ｖ２として出力する。カメラ画像Ｖ１，Ｖ２の内容の図示は省略するが、これらの画像領域において、平面領域５０に対応する領域は、略台形状になる。

【0019】

次に、図４（ａ）は、図３におけるカメラ画像Ｖ１，Ｖ２に基づいて、正規化部２２（図１参照）が生成した正規化画像ＶＳ１，ＶＳ２の例を示す図である。カメラ画像Ｖ１，Ｖ２において、平面領域５０に対応する領域は、略台形状であったが、正規化画像ＶＳ１，ＶＳ２においては、これら領域が正方形の領域７０−１，７０−２になるように、射影変換されている。これにより、角柱部材５２に対応する物体画像７２−１，７２−２は、角柱部材５２を上部に向かうほど膨らませたような形状になる。

【0020】

次に、図４（ｂ）は、図４（ａ）に示す正規化画像ＶＳ１，ＶＳ２に基づいて、物体領域抽出部２４（図１参照）が生成した二値化画像ＶＢ１，ＶＢ２の例を示す図である。二値化画像ＶＢ１，ＶＢ２においては、正規化画像ＶＳ１，ＶＳ２の物体画像７２−１，７２−２に対応する領域が物体領域８２−１，８２−２になり、これら領域の画素値が“１”に設定される。また、物体領域８２−１，８２−２以外の領域の画素値は“０”に設定される。

【0021】

次に、図４（ｃ）は、二値化画像ＶＢ１，ＶＢ２に基づいて、共通領域抽出部２６（図１参照）が生成した共通領域表示画像ＶＣの例を示す図である。共通領域表示画像ＶＣは、二値化画像ＶＢ１，ＶＢ２の論理積によって求めることができる。なお、図４（ｃ）において、物体領域８２−１，８２−２に対応する領域を破線で示し、両者の重なる部分が共通領域９０になる。共通領域９０の位置、大きさおよび形状は、図３に示した角柱部材５２の接触領域５２ａのものにほぼ一致している。従って、共通領域表示画像ＶＣは、角柱部材５２の位置を高精度で表す画像になる。

【0022】

〈動作の具体例（２）〉
次に、図５、図６（ａ）〜（ｃ）を参照し、本実施形態の他の動作の具体例を説明する。
まず、図５は、本実施形態における各要素の他の配置例を示す図である。図５において、平面領域５０は正方形の領域であり、そのほぼ中央に角柱部材５２および円柱部材５４が配置されている。角柱部材５２は、図３に示したものと同様である。従って、角柱部材５２および円柱部材５４が平面領域５０に接する接触領域５２ａ，５４ａも、正方形および円形になる。また、図５の例においては、複数のカメラ１０として、３台のカメラ１０−１〜１０−３が設けられている。

【0023】

カメラ１０−１〜１０−３は、平面領域５０、角柱部材５２および円柱部材５４を斜め上方向から見下ろす位置に配置され、撮影した画像をカメラ画像Ｖ１〜Ｖ３として出力する。なお、カメラ画像Ｖ１〜Ｖ３の内容は図示を省略するが、これらの画像領域において、平面領域５０に対応する領域は、略台形状になる。

【0024】

次に、図６（ａ）は、図５におけるカメラ画像Ｖ１〜Ｖ３に基づいて、正規化部２２（図１参照）が生成した正規化画像ＶＳ１〜ＶＳ３の例を示す図である。カメラ画像Ｖ１〜Ｖ３において、平面領域５０に対応する領域は、略台形状であったが、正規化画像ＶＳ１〜ＶＳ３においては、これら領域が正方形の領域７０−１〜７０−３になるように、射影変換されている。物体画像７２−１〜７２−３は、角柱部材５２および円柱部材５４に対応する画像である。

【0025】

次に、図６（ｂ）は、図６（ａ）に示す正規化画像ＶＳ１〜ＶＳ３に基づいて、物体領域抽出部２４（図１参照）が生成した二値化画像ＶＢ１〜ＶＢ３の例を示す図である。二値化画像ＶＢ１〜ＶＢ３においては、正規化画像ＶＳ１〜ＶＳ３の物体画像７２−１〜７２−３に対応する領域が物体領域８２−１〜８２−３になり、これら領域の画素値が“１”に設定される。また、物体領域８２−１〜８２−３以外の領域の画素値は“０”に設定される。

【0026】

次に、図６（ｃ）は、二値化画像ＶＢ１〜ＶＢ３に基づいて、共通領域抽出部２６（図１参照）が生成した共通領域表示画像ＶＣの例を示す図である。共通領域表示画像ＶＣは、二値化画像ＶＢ１〜ＶＢ３の論理積によって求めることができる。なお、図６（ｃ）において、物体領域８２−１〜８２−３に対応する領域を破線で示し、両者の重なる部分が共通領域９０になる。共通領域９０の位置、大きさおよび形状は、図５に示した角柱部材５２および円柱部材５４の接触領域５２ａ，５４ａのものに近似している。従って、共通領域表示画像ＶＣは、角柱部材５２および円柱部材５４の位置を高精度で表す画像になる。

【0027】

以上のように、本実施形態によれば、異なる視点から撮影された複数の原画像（Ｖ１〜ＶＮ）をそれぞれ正規化し、複数の正規化画像（ＶＳ１〜ＶＳＮ）を生成する正規化部（２２）と、複数の正規化画像（ＶＳ１〜ＶＳＮ）に対して、所定条件を満たす物体に対応する物体領域（８２−１〜８２−３）をそれぞれ抽出する物体領域抽出部（２４）と、複数の正規化画像（ＶＳ１〜ＶＳＮ）に係る物体領域（８２−１〜８２−３）が重なる部分である共通領域（９０）を抽出する共通領域抽出部（２６）と、を設けたため、撮影された物体の正確な位置を画像から把握できる。また、図５および図６（ａ）〜（ｃ）に示したように、平面領域５０に配置される物体（角柱部材５２、円柱部材５４）の数が多い場合であっても、カメラ１０の台数を増加させることにより、精度の高い共通領域表示画像ＶＣを得ることができる。

【0028】

［第２実施形態］
〈第２実施形態の構成〉
図７は、本発明の第２実施形態による画像処理システムＡ２のブロック図である。なお、図７において、図１の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
画像処理システムＡ２においては、画像処理システムＡ１（図１参照）の画像処理装置２０１に代えて、画像処理装置２０２が設けられている。画像処理装置２０２は、画像処理装置２０１と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等、一般的なコンピュータとしてのハードウエアを備えている。図７において画像処理装置２０２の内部は、ＲＡＭに展開されたアプリケーションプログラム等によって実現される機能を、ブロックとして示す。

【0029】

画像処理装置２０２は、正規化部２２と、物体領域抽出部２４と、共通領域抽出部２６と、重心位置算出部３０と、軌跡画像生成部３２と、を有している。ここで、正規化部２２、物体領域抽出部２４および共通領域抽出部２６の機能は、第１実施形態のもの（図１参照）と同様である。すなわち、正規化部２２は、カメラ画像Ｖ１〜ＶＮに基づいて、正規化画像ＶＳ１〜ＶＳＮを出力する。また、物体領域抽出部２４は、正規化画像ＶＳ１〜ＶＳＮに基づいて、物体領域を特定する二値化画像ＶＢ１〜ＶＢＮを出力する。

【0030】

また、共通領域抽出部２６は、 二値化画像ＶＢ１〜ＶＢＮに基づいて、共通領域を表す共通領域表示画像ＶＣを出力する。また、重心位置算出部３０は、共通領域の重心位置（図心位置）を算出する。また、軌跡画像生成部３２は、共通領域と、重心位置の軌跡とを表す軌跡画像ＶＤを生成する。

【0031】

〈第２実施形態の動作〉
次に、図８を参照し、本実施形態の動作を説明する。なお、図８は、画像処理装置２０２にて実行される制御プログラムのフローチャートである。
図８において、ステップＳ１０〜Ｓ１６の処理内容は、第１実施形態のもの（図２参照）と同様である。すなわち、ステップＳ１０，Ｓ１２では、正規化部２２は各カメラ画像Ｖ１〜ＶＮのフレームを取得し、正規化画像ＶＳ１〜ＶＳＮのフレームを出力する。また、ステップＳ１４では、物体領域抽出部２４は、物体領域を抽出し、二値化画像ＶＢ１〜ＶＢＮのフレームを生成する。また、処理がステップＳ１６では、共通領域抽出部２６は、二値化画像ＶＢ１〜ＶＢＮのフレームから共通領域を抽出し、共通領域表示画像ＶＣのフレームを生成する。

【0032】

次に、処理がステップＳ１８に進むと、重心位置算出部３０は、共通領域表示画像ＶＣに基づいて、共通領域の重心位置（図心位置）を計算する。次に、処理がステップＳ２０に進むと、軌跡画像生成部３２は、共通領域と、重心位置の軌跡とを表す軌跡画像ＶＤを生成する。すなわち、過去のフレームの重心位置と、今回のフレームの重心位置とをスーパーインポーズしつつ描画すると、描画結果は線状の軌跡になる。軌跡画像生成部３２は、共通領域表示画像ＶＣに対して、この軌跡をスーパーインポーズすることにより、軌跡画像ＶＤを生成する。

【0033】

次に、処理がステップＳ３０に進むと、正規化部２２は、今回生成した軌跡画像ＶＤのフレームが最終フレームであるか否かを判定する。ここで、「Ｎｏ」と判定されると、処理はステップＳ１０に戻り、以降のフレームに対して同様の処理が繰り返される。これにより、表示部１２には、共通領域と、重心位置の軌跡とを表す軌跡画像ＶＤが表示される。

【0034】

〈動作の具体例〉
次に、図９、図１０（ａ）〜（ｅ）を参照し、本実施形態の動作の具体例を説明する。
まず、図９は、本実施形態における各要素の配置例を示す図である。図９において、平面領域５０は、道路の交差点である正方形の領域である。平面領域５０の上には、バス５６が通行している。また、本実施形態においては、複数のカメラ１０として、２台のカメラ１０−１，１０−２が設けられている。

【0035】

カメラ１０−１，１０−２は、平面領域５０およびバス５６を斜め上方向から見下ろす位置に配置されている。カメラ１０−１，１０−２から出力されるカメラ画像Ｖ１，Ｖ２の内容の図示は省略するが、これらの画像領域において、平面領域５０に対応する領域は、略台形状になる。

【0036】

次に、図１０（ａ）は、カメラ画像Ｖ１，Ｖ２に基づいて、正規化部２２（図７参照）が生成した正規化画像ＶＳ１，ＶＳ２の例を示す図である。第１実施形態のもの（図４（ａ）参照）と同様に、正規化画像ＶＳ１，ＶＳ２においては、平面領域５０に対応する領域は、正方形の領域７０−１，７０−２になっている。また、バス５６に対応する物体画像７６−１，７６−２は、バス５６の形状を上下方向に引き延ばしたような形状になる。

【0037】

次に、図１０（ｂ）は、正規化画像ＶＳ１，ＶＳ２に基づいて、物体領域抽出部２４（図７参照）が生成した二値化画像ＶＢ１，ＶＢ２の例を示す図である。二値化画像ＶＢ１，ＶＢ２においては、正規化画像ＶＳ１，ＶＳ２の物体画像７６−１，７６−２に対応する領域が物体領域８６−１，８６−２になり、これら領域の画素値が“１”に設定される。また、物体領域８６−１，８６−２以外の領域の画素値は“０”に設定される。

【0038】

次に、図１０（ｃ）は、二値化画像ＶＢ１，ＶＢ２に基づいて、共通領域抽出部２６（図７参照）が生成した共通領域表示画像ＶＣの例を示す図である。共通領域表示画像ＶＣは、二値化画像ＶＢ１，ＶＢ２の論理積によって求めることができる。なお、図１０（ｃ）において、共通領域９０の形状は、バス５６の床面の形状にほぼ一致している。

【0039】

また、図１０（ｄ）は、重心位置算出部３０によって算出された共通領域９０の重心位置９４を示す。また、図１０（ｅ）は、軌跡画像生成部３２によって生成された軌跡画像ＶＤの例を示す。本実施形態によれば、第１実施形態のものと同様に、撮影された物体（バス５６）の正確な位置を画像から把握できる。さらに、本実施形態によれば、共通領域９０の正確な重心位置９４を求めることができ、正確な軌跡画像ＶＤを得ることができる。

【0040】

［第３実施形態］
〈第３実施形態の構成〉
図１１は、本発明の第３実施形態による画像処理システムＡ３のブロック図である。なお、図１１において、図１、図７の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
画像処理システムＡ３においては、画像処理システムＡ１（図１参照）の画像処理装置２０１に代えて、画像処理装置２０３が設けられている。画像処理装置２０３は、画像処理装置２０１と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等、一般的なコンピュータとしてのハードウエアを備えている。図１１において画像処理装置２０３の内部は、ＲＡＭに展開されたアプリケーションプログラム等によって実現される機能を、ブロックとして示す。

【0041】

画像処理装置２０３は、正規化部２２と、物体領域抽出部２４と、共通領域抽出部２６と、リサイズ部３４と、画像割当部３６とを有している。ここで、正規化部２２、物体領域抽出部２４および共通領域抽出部２６の機能は、第１実施形態のもの（図１参照）と同様である。すなわち、正規化部２２は、カメラ画像Ｖ１〜ＶＮに基づいて、正規化画像ＶＳ１〜ＶＳＮを出力する。また、物体領域抽出部２４は、正規化画像ＶＳ１〜ＶＳＮに基づいて、物体領域を特定する二値化画像ＶＢ１〜ＶＢＮを出力する。また、共通領域抽出部２６は、 二値化画像ＶＢ１〜ＶＢＮに基づいて、共通領域を表す共通領域表示画像ＶＣを出力する。

【0042】

さらに、本実施形態の物体領域抽出部２４は、各正規化画像ＶＳ１〜ＶＳＮの物体領域を除いた画像である背景画像ＶＪ１〜ＶＪＮを出力するとともに、正規化画像ＶＳ１〜ＶＳＮの何れかにおける物体領域の画像を、物体画像ＶＫとして出力する機能を有している。リサイズ部３４は、物体画像ＶＫの寸法を、共通領域表示画像ＶＣにおける共通領域に対応してリサイズし、伸縮物体画像ＶＬとして出力する。例えば、共通領域に収まるように物体画像ＶＫを縮小したものを伸縮物体画像ＶＬにするとよい。

【0043】

画像割当部３６は、背景画像ＶＪ１〜ＶＪＮをスーパーインポーズし、新たな背景画像を生成する。生成された背景画像を「総合背景画像」と呼ぶ。総合背景画像は、共通領域以外の領域において、平面領域５０を表す画像になる。さらに、画像割当部３６は、総合背景画像と、伸縮物体画像ＶＬとをスーパーインポーズし、その結果を合成画像ＶＥとして出力する。表示部１２は、この合成画像ＶＥを表示する。

【0044】

〈第３実施形態の動作〉
次に、図１２を参照し、本実施形態の動作を説明する。なお、図１２は、画像処理装置２０３にて実行される制御プログラムのフローチャートである。
図１２において、ステップＳ１０〜Ｓ１６の処理内容は、第１実施形態のもの（図２参照）と同様である。すなわち、ステップＳ１０，Ｓ１２では、正規化部２２は各カメラ画像Ｖ１〜ＶＮのフレームを取得し、正規化画像ＶＳ１〜ＶＳＮのフレームを出力する。また、ステップＳ１４では、物体領域抽出部２４は、物体領域を抽出し、二値化画像ＶＢ１〜ＶＢＮのフレームを生成する。また、処理がステップＳ１６では、共通領域抽出部２６は、二値化画像ＶＢ１〜ＶＢＮのフレームから共通領域を抽出し、共通領域表示画像ＶＣのフレームを生成する。

【0045】

次に、処理がステップＳ２２に進むと、物体領域抽出部２４は、各正規化画像ＶＳ１〜ＶＳＮの背景画像ＶＪ１〜ＶＪＮと、物体画像ＶＫとを出力する。次に、処理がステップＳ２４に進むと、リサイズ部３４は、物体画像ＶＫをリサイズずる。すなわち、物体画像ＶＫを、共通領域表示画像ＶＣにおける共通領域に対応してリサイズし、伸縮物体画像ＶＬとして出力する。

【0046】

次に、処理がステップＳ２６に進むと、画像割当部３６は、合成画像ＶＥを生成する。すなわち、画像割当部３６は、背景画像ＶＪ１〜ＶＪＮに基づいて総合背景画像を生成し、総合背景画像と伸縮物体画像ＶＬとをスーパーインポーズすることにより、合成画像ＶＥを生成する。そして、生成された合成画像ＶＥは、表示部１２表示される。

【0047】

次に、処理がステップＳ３０に進むと、正規化部２２は、今回生成した合成画像ＶＥのフレームが最終フレームであるか否かを判定する。ここで、「Ｎｏ」と判定されると、処理はステップＳ１０に戻り、以降のフレームに対して同様の処理が繰り返される。これにより、表示部１２には、合成画像ＶＥが表示され続ける。

【0048】

〈動作の具体例〉
次に、図１３、図１４（ａ）〜（ｄ）を参照し、本実施形態の動作の具体例を説明する。
まず、図１３は、本実施形態における各要素の配置例を示す図である。図１３に示す配置例では、図９に示した配置例と同様に、平面領域５０の上にバス５６が通行しており、複数のカメラ１０として、２台のカメラ１０−１，１０−２が設けられている。さらに、図１３においては、バス５６の近傍に歩行者５８が存在している。カメラ１０−１，１０−２は、カメラ画像Ｖ１，Ｖ２を出力する。但し、カメラ１０−２から見て歩行者５８はバス５６の死角に入るため、カメラ画像Ｖ２には歩行者５８の画像は含まれないこととする。

【0049】

次に、図１４（ａ）は、カメラ画像Ｖ１，Ｖ２に基づいて、正規化部２２（図１１参照）が生成した正規化画像ＶＳ１，ＶＳ２の例を示す図である。第２実施形態のもの（図１０（ａ）参照）と同様に、正規化画像ＶＳ１，ＶＳ２においては、平面領域５０に対応する領域は、正方形の領域７０−１，７０−２になっている。また、バス５６に対応する物体画像７６−１，７６−２は、バス５６の形状を上下方向に引き延ばしたような形状になる。ここで、正規化画像ＶＳ１には、歩行者５８の物体画像７８が含まれているが、正規化画像ＶＳ２には歩行者５８の画像は含まれていない。

【0050】

物体領域抽出部２４が出力する二値化画像ＶＢ１，ＶＢ２の図示は省略するが、図１４（ａ）における物体画像７６−１，７８，７６−２に対応する領域を“１”とし、他の領域を“０”とした画像になる。次に、図１４（ｂ）は、共通領域抽出部２６（図１１参照）が生成した共通領域表示画像ＶＣの例を示す図である。同図に示す共通領域表示画像ＶＣの内容は、第２実施形態のもの（図１０（ｃ）参照）と同様である。すなわち、共通領域表示画像ＶＣ内の共通領域９０の形状は、バス５６の床面の形状にほぼ一致している。

【0051】

次に、図１４（ｃ）は、画像割当部３６が出力する合成画像ＶＥの例を示す図である。合成画像ＶＥ内で、平面領域５０（図１３参照）に対応する領域１００は、背景画像ＶＪ１〜ＶＪＮをスーパーインポーズした総合背景画像に基づいて生成される。また、物体画像１０６は、図１４（ａ）に示した物体画像７６−２を、共通領域９０に対応してリサイズしたものであり、物体画像１０８は物体画像７８をそのまま用いたものである。

【0052】

次に、図１４（ｄ）は、比較例による合成画像ＶＦの例を示す図である。本比較例は、上述した特許文献３（特開２００７−０２７９４８号公報）の技術を用いて、リサイズしていない物体画像７６−２を、そのまま合成画像ＶＦの物体画像１１６として、平面領域５０に対応する領域１１０にスーパーインポーズしたものである。図１４（ａ）に示した歩行者５８がカメラ１０−１で撮影されていたとしても、その位置は物体画像１１６で占められているため、ユーザは、合成画像ＶＦに基づいて歩行者５８の存在を認識できない。これに対して、本実施形態（図１４（ｃ）参照）の合成画像ＶＥによれば、バス５６の物体画像１０６は、バス５６の床面の形状にほぼ一致するため、物体画像１０８によって、歩行者５８の存在を明確に認識できる。より一般的に表現すると、平面領域５０（図１３参照）の上に存在するものを高い確率で表示できるようになる。

【0053】

［第４実施形態］
図１５は、本発明の第４実施形態による画像処理システムＡ４のブロック図である。なお、図１５において、図１〜図１４の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
画像処理システムＡ４においては、画像処理システムＡ３（図１１参照）の画像処理装置２０３に代えて、画像処理装置２０４が設けられている。画像処理装置２０４は、画像処理装置２０３と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等、一般的なコンピュータとしてのハードウエアを備えている。図１５において画像処理装置２０４の内部は、ＲＡＭに展開されたアプリケーションプログラム等によって実現される機能を、ブロックとして示す。

【0054】

画像処理装置２０４は、正規化部２２と、物体領域抽出部２４と、共通領域抽出部２６とを有している。これらの機能は、第３実施形態のもの（図１１参照）と同様である。さらに、本実施形態の画像処理装置２０４は、画像メモリ３３を有している。画像メモリ３３は、車両や人間等のアニメーション画像、抽象イメージ等の画像データ（以下、シンボル画像という）を格納している。

【0055】

また、本実施形態におけるリサイズ部３４は、画像メモリ３３から何れかのシンボル画像を物体画像ＶＫとして読み出し、これを共通領域表示画像ＶＣの共通領域９０に対応してリサイズし、伸縮物体画像ＶＬとして出力する。画像割当部３６は、第３実施形態のものと同様に、背景画像ＶＪ１〜ＶＪＮをスーパーインポーズし、総合背景画像を生成する。さらに、画像割当部３６は、総合背景画像と、伸縮物体画像ＶＬとをスーパーインポーズし、その結果を合成画像ＶＥとして出力する。表示部１２は、この合成画像ＶＥを表示する。

【0056】

本実施形態によれば、図１４（ｃ）に示したものと同様の合成画像ＶＥを表示部１２に表示させることができる。但し、本実施形態において、物体画像１０６は、画像メモリ３３に記憶された何れかのシンボル画像をリサイズしたものになる。本実施形態によれば、第３実施形態と同様に、平面領域５０（図１３参照）の上に存在するものを高い確率で表示できるようになる。さらに、実際に撮影された物体画像に代えて、シンボル画像を合成画像ＶＥに適用するため、ユーザにとって合成画像ＶＥが見やすくなるという効果も奏する。

【0057】

［変形例］
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について削除し、若しくは他の構成の追加・置換をすることが可能である。また、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。

【0058】

（１）上記第３，第４実施形態において、第２実施形態と同様の軌跡画像生成部３２（図７参照）を追加し、これらの合成画像ＶＥ（図１４（ｃ）参照）に軌跡９６（図１０（ｅ）参照）を表示させてもよい。

【0059】

（２）上記第２〜第４実施形態は、複数のカメラ１０によって道路の交差点を撮影した場合の例を説明したが、本発明の撮影対象は道路に限られるものではない。本発明は、例えば、複数のカメラ１０によって、駅構内や商店等における「人」を撮影し、「人」の動線を把握する分野にも適用することができる。

【0060】

（３）上記各実施形態における画像処理装置２０１〜２０４のハードウエアは一般的なコンピュータによって実現できるため、図２、図８、図１２に示したフローチャートに係るプログラム等を記憶媒体に格納し、または伝送路を介して頒布してもよい。

【0061】

（４）上記各実施形態において、図２、図８、図１２に示した処理は、上記各実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(field-programmable gate array)等を用いたハードウエア的な処理に置き換えてもよい。

【符号の説明】

【0062】

２２ 正規化部
２４ 物体領域抽出部
２６ 共通領域抽出部
３０ 重心位置算出部
３２ 軌跡画像生成部
３３ 画像メモリ
３４ リサイズ部
３６ 画像割当部
８２−１〜８２−３，８６−１，８６−２ 物体領域
９０ 共通領域
９４ 重心位置
２０１〜２０４ 画像処理装置
Ｓ１２ ステップ（正規化過程）
Ｓ１４ ステップ（物体領域抽出過程）
Ｓ１６ ステップ（共通領域抽出過程）
Ｖ１〜ＶＮ カメラ画像（原画像）
ＶＤ 軌跡画像
ＶＥ 合成画像
ＶＪ１〜ＶＪＮ 背景画像
ＶＫ 物体画像
ＶＬ 伸縮物体画像
ＶＳ１〜ＶＳＮ 正規化画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】