特許 6091720 画像生成装置、画像生成方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6091720

(24)【登録日】2017年2月17日

(45)【発行日】2017年3月8日

(54)【発明の名称】画像生成装置、画像生成方法及びコンピュータプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20170227BHJP

   G08B 25/00 20060101ALI20170227BHJP

   G06T 1/00 20060101ALI20170227BHJP

   G06T 3/00 20060101ALI20170227BHJP

   G06T 3/60 20060101ALI20170227BHJP

【ＦＩ】

   H04N7/18 J

   G08B25/00 510M

   G06T1/00 330A

   G06T3/00 755

   G06T3/60 715

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2016-546281(P2016-546281)

(86)(22)【出願日】2014年9月5日

(86)【国際出願番号】JP2014073558

(87)【国際公開番号】WO2016035211

(87)【国際公開日】20160310

【審査請求日】2016年11月29日

【早期審査対象出願】

(73)【特許権者】

【識別番号】512225287

【氏名又は名称】堺ディスプレイプロダクト株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】繁田 光浩

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００９−１７１７９（ＪＰ，Ａ）

【文献】 特開２００９−１７０２６（ＪＰ，Ａ）

【文献】 特開２００７−２００００５（ＪＰ，Ａ）

【文献】 特開２００２−２７４３３（ＪＰ，Ａ）

【文献】 特開平１０−１０５６９０（ＪＰ，Ａ）

【文献】 特開平８−３１５１１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ３／６０

(57)【特許請求の範囲】

【請求項1】

道路を撮像した撮像画像を取得し、取得した撮像画像に基づいて前記道路上の状況を示す画像を生成する画像生成装置において、
取得した撮像画像から、該撮像画像の奥行き方向における消失点に収束する２本の消失線と、夫々が前記２本の消失線に交差する２本の平行直線とにより囲まれる台形領域の画像を抽出する領域抽出手段、
該領域抽出手段が抽出した台形領域を矩形領域に変形する幾何変換モデルを用いて、前記台形領域の画像を前記矩形領域の画像に変換する変換手段、及び
変換した前記矩形領域の画像に基づき、前記撮像画像の遠景側に存在する前記道路上の移動体又は構造物を拡大表示するための画像を生成する生成手段
を備えることを特徴とする画像生成装置。

【請求項2】

前記幾何変換モデルは、前記台形領域の４つの頂点と、前記矩形領域の４つの頂点との間の幾何学的関係を規定する射影変換により表されることを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記生成手段は、前記矩形領域の画像を回転する手段を含むことを特徴とする請求項１又は請求項２に記載の画像生成装置。

【請求項4】

前記領域抽出手段が抽出した前記台形領域の画像を前記奥行き方向に分割する領域分割手段、及び
前記領域分割手段が分割した各領域の画像を夫々変換して得られる複数の矩形領域の画像を合成する手段
を備えることを特徴とする請求項１から請求項３の何れか１つに記載の画像生成装置。

【請求項5】

前記道路の異なる範囲を撮像した複数の撮像画像を取得するようにしてあり、
各撮像画像から抽出した台形領域の画像を夫々変換して得られる複数の矩形領域の画像を合成する手段
を備えることを特徴とする請求項１から請求項４の何れか１つに記載の画像生成装置。

【請求項6】

前記道路を撮像した各撮像装置の配置に係る情報を取得する手段
を備え、
取得した各撮像装置の配置に係る情報に基づき、前記複数の矩形領域の画像を合成するようにしてあることを特徴とする請求項５に記載の画像生成装置。

【請求項7】

道路を撮像した撮像画像を取得し、取得した撮像画像に基づいて前記道路上の状況を示す画像を生成する方法において、
取得した撮像画像から、該撮像画像の奥行き方向における消失点に収束する２本の消失線と、夫々が前記２本の消失線に交差する２本の平行直線とにより囲まれる台形領域の画像を抽出し、
前記台形領域を矩形領域に変形する幾何変換モデルを用いて、前記台形領域の画像を前記矩形領域の画像に変換し、
変換した前記矩形領域の画像に基づき、前記撮像画像の遠景側に存在する前記道路上の移動体又は構造物を拡大表示するための画像を生成する
ことを特徴とする画像生成方法。

【請求項8】

コンピュータに、入力された道路の撮像画像に基づいて、前記道路上の状況を示す画像を生成させるコンピュータプログラムにおいて、
前記コンピュータに、
前記撮像画像から、該撮像画像の奥行き方向における消失点に収束する２本の消失線と、夫々が前記２本の消失線に交差する２本の平行直線とにより囲まれる台形領域の画像を抽出させる手順と、
前記台形領域を矩形領域に変形する幾何変換モデルを用いて、前記台形領域の画像を前記矩形領域の画像に変換させる手順と
を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路上の状況を示す画像を生成する画像生成装置、画像生成方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

従来より、道路上で発生する事象を複数のカメラで監視し、道路状態を管制室で集中管理する道路監視システムが存在する。例えば、特許文献１に記載の道路監視システムでは、複数の監視カメラによって撮像した画像を処理することにより事故等の異常検知を行ない、運転者や道路管理者へ情報を提供している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−２７３５８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の道路監視システムは、路側や道路上部等に設置した監視カメラの画像を処理するものであるため、監視カメラの死角となる位置や監視カメラの監視範囲外における異常検知は不可能である。また、監視カメラの死角をなくすためにはさらに多くの監視カメラを設置しなければならず、システムが大規模なものとなってコストがかかるという課題を有していた。

【0005】

本発明は、斯かる事情に鑑みてなされたものであり、遠景側に存在する道路上の移動体及び構造物の画像を拡大し、死角の少ない画像を提供できる画像生成装置、画像生成方法及びコンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願の画像生成装置は、道路を撮像した撮像画像を取得し、取得した撮像画像に基づいて前記道路上の状況を示す画像を生成する画像生成装置において、取得した撮像画像から、該撮像画像の奥行き方向における消失点に収束する２本の消失線と、夫々が前記２本の消失線に交差する２本の平行直線とにより囲まれる台形領域の画像を抽出する領域抽出手段、該領域抽出手段が抽出した台形領域を矩形領域に変形する幾何変換モデルを用いて、前記台形領域の画像を前記矩形領域の画像に変換する変換手段、及び変換した前記矩形領域の画像に基づき、前記撮像画像の遠景側に存在する前記道路上の移動体又は構造物を拡大表示するための画像を生成する生成手段を備えることを特徴とする。

【0007】

本願の画像生成装置は、前記幾何変換モデルは、前記台形領域の４つの頂点と、前記矩形領域の４つの頂点との間の幾何学的関係を規定する射影変換により表されることを特徴とする。

【0008】

本願の画像生成装置は、前記生成手段は、前記矩形領域の画像を回転する手段を含むことを特徴とする。

【0009】

本願の画像生成装置は、前記領域抽出手段が抽出した前記台形領域の画像を前記奥行き方向に分割する領域分割手段、及び前記領域分割手段が分割した各領域の画像を夫々変換して得られる複数の矩形領域の画像を合成する手段を備えることを特徴とする。

【0010】

本願の画像生成装置は、前記道路の異なる範囲を撮像した複数の撮像画像を取得するようにしてあり、各撮像画像から抽出した台形領域の画像を夫々変換して得られる複数の矩形領域の画像を合成する手段を備えることを特徴とする。

【0011】

本願の画像生成装置は、前記道路を撮像した各撮像装置の配置に係る情報を取得する手段を備え、取得した各撮像装置の配置に係る情報に基づき、前記複数の矩形領域の画像を合成するようにしてあることを特徴とする。

【0012】

本願の画像生成方法は、道路を撮像した撮像画像を取得し、取得した撮像画像に基づいて前記道路上の状況を示す画像を生成する方法において、取得した撮像画像から、該撮像画像の奥行き方向における消失点に収束する２本の消失線と、夫々が前記２本の消失線に交差する２本の平行直線とにより囲まれる台形領域の画像を抽出し、前記台形領域を矩形領域に変形する幾何変換モデルを用いて、前記台形領域の画像を前記矩形領域の画像に変換し、変換した前記矩形領域の画像に基づき、前記撮像画像の遠景側に存在する前記道路上の移動体又は構造物を拡大表示するための画像を生成することを特徴とする。

【0013】

本願のコンピュータプログラムは、コンピュータに、入力された道路の撮像画像に基づいて、前記道路上の状況を示す画像を生成させるコンピュータプログラムにおいて、前記コンピュータに、前記撮像画像から、該撮像画像の奥行き方向における消失点に収束する２本の消失線と、夫々が前記２本の消失線に交差する２本の平行直線とにより囲まれる台形領域の画像を抽出させる手順と、前記台形領域を矩形領域に変形する幾何変換モデルを用いて、前記台形領域の画像を前記矩形領域の画像に変換させる手順とを実行させる。

【発明の効果】

【0014】

本願によれば、撮像画像の遠景側に存在する道路上の移動体及び構造物を拡大表示するための画像を生成することにより、視認性の高い表示画像を提供することができる。

【図面の簡単な説明】

【0015】

【図1】実施の形態１に係る道路監視システムの構成を示すブロック図である。

【図2】画像生成装置のハードウェア構成を示すブロック図である。

【図3】画像生成装置の機能的構成を示すブロック図である。

【図4】画像生成装置が実行する処理の手順を説明するフローチャートである。

【図5】撮像画像の一例を示す模式図である。

【図6】抽出手順を説明する説明図である。

【図7】抽出した台形領域の画像を示す模式図である。

【図8】変換後の矩形領域の画像を示す模式図である。

【図9】矩形領域の画像に対して線形変換処理を施した画像の一例を示す模式図である。

【図10】実施の形態２に係る画像生成装置が実行する処理内容を説明する説明図である。

【図11】実施の形態３に係る道路監視システムの構成を示すブロック図である。

【図12】実施の形態３に係る画像生成装置が実行する処理内容を説明する説明図である。

【発明を実施するための形態】

【0016】

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は実施の形態１に係る道路監視システムの構成を示すブロック図である。本実施の形態に係る道路監視システムは、道路を斜め上方から撮像する撮像装置１と、撮像装置１から出力される撮像画像を基に道路の状況を示す画像を生成する画像生成装置２と、画像生成装置２から出力される画像を表示する表示装置３とを備える。

【0017】

撮像装置１は、適宜のタイミングで道路を撮像する。撮像装置１は、画像生成装置２に通信回線を介して接続されており、撮像して得られる撮像画像を画像生成装置２へ送信する。

【0018】

画像生成装置２及び表示装置３は、例えば、道路を監視する者（監視者）が居る監視施設、道路利用者（利用者）に対して道路状況を示す場所等に設置される。画像生成装置２は、撮像装置１から取得した撮像画像に基づいて、道路の状況を示す画像を生成する。このとき、画像生成装置２は、撮像画像から監視対象となる台形領域の画像を抽出し、抽出した台形領域の画像を矩形領域の画像に変換することにより遠景側を拡大した画像を生成し、変換した矩形領域の画像に基づき出力画像を生成する。画像生成装置２は、生成した出力画像を表示装置３へ出力する。

【0019】

表示装置３は、画像生成装置２から出力される画像を表示することにより、道路の状況に係る情報を監視者及び利用者に提供する。

【0020】

以下、画像生成装置２の内部構成について説明する。
図２は画像生成装置２のハードウェア構成を示すブロック図である。画像生成装置２は、制御部２１、記憶部２２、画像入力ＩＦ２３、画像出力ＩＦ２４などを備える。

【0021】

制御部２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。制御部２１内のＲＯＭには、装置全体を本発明に係る画像生成装置として機能させるためのコンピュータプログラムが格納されている。制御部２１が備えるＣＰＵは、ＲＯＭに格納されているコンピュータプログラムをＲＡＭ上に読み出して実行し、上述したハードウェア各部の動作を制御することにより、装置全体を本発明に係る画像生成装置として機能させる。具体的には、制御部２１は、撮像装置１から取得した撮像画像から監視対象となる台形領域の画像を抽出する処理、抽出した台形領域の画像を矩形領域の画像に変換する処理、及び変換した矩形領域の画像から出力画像を生成する処理を実行する。

【0022】

記憶部２２は、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read Only Memory）などの不揮発性メモリ、ＨＤＤ（Hard Disk Drive）のような記憶装置等により構成されている。記憶部２２は、画像入力ＩＦ２３を通じて取得した撮像画像、制御部２１が生成する処理途中の画像や最終的な出力画像等を随時記憶する。

【0023】

画像入力ＩＦ２３は、撮像装置１を有線又は無線により接続するためのインタフェースであり、撮像装置１から出力される撮像画像を有線通信又は無線通信により取得する。

【0024】

画像出力ＩＦ２４は、制御部２１が生成した出力画像を有線通信又は無線通信により外部へ出力するためのインタフェースである。出力先は、例えば、監視者及び利用者が閲覧する表示装置３である。また、表示装置３に代えて、道路状況を示す画像を経時的に蓄積するサーバ装置（不図示）へ出力する構成であってもよく、撮像装置１の近傍を通過する車両内の装置（例えば、車載モニタ）へ無線通信により送信する構成としてもよい。画像出力ＩＦ２４は、外部へ出力すべき出力画像を制御部２１から取得した場合、外部装置との通信規格に準じた通信処理を実行することにより、出力画像を外部装置へ送信する。

【0025】

図３は画像生成装置２の機能的構成を示すブロック図である。画像生成装置２は、機能的構成として、領域抽出部２１１、変換処理部２１２、及び画像生成部２１３を備える。領域抽出部２１１、変換処理部２１２、及び画像生成部２１３の各機能は、制御部２１が備えるＣＰＵが、ＲＯＭに格納されているコンピュータプログラムを実行することにより実現される。

【0026】

領域抽出部２１１は、画像入力ＩＦ２３を通じて入力される撮像画像から処理対象の画像を抽出する。より具体的には、領域抽出部２１１は、撮像画像の奥行き方向における消失点に収束する２本の消失線と、これらの消失線にそれぞれ近景側及び遠景側で交差する２本の平行直線とにより囲まれる台形領域の画像を抽出する。領域抽出部２１１は、抽出した台形領域の画像を変換処理部２１２へ送出する。

【0027】

領域抽出部２１１は、台形領域の画像を抽出するために用いる２本の消失線及び平行直線を、処理対象の撮像画像が入力される都度、設定することができる。例えば、領域抽出部２１１は、入力された撮像画像に含まれるエッジを検出し、検出したエッジの延長線が撮像画像の奥行き方向で収束するような点（消失点）を探索し、探索した消失点に収束するエッジのうち、道路部分の外側にある２本のエッジを選択することで２本の消失線を設定することができる。

【0028】

また、領域抽出部２１１は、撮像画像の近景側及び遠景側のそれぞれにおいて、２本の消失線に交差するように平行直線を設定する。なお、撮像画像における２本の平行直線の位置は領域抽出部２１１が適宜設定すればよい。例えば、領域抽出部２１１は、撮像画像の下辺からＹａ画素分（Ｙａは撮像画像の高さの１／４程度）だけ隔てた位置に近景側の平行直線を配置し、上辺からＹｂ画素分（Ｙｂは撮像画像の高さの１／４程度）だけ隔てた位置に遠景側の平行直線を配置する。

【0029】

本実施の形態では、撮像画像が入力される都度、領域抽出部２１１が２本の消失線及び平行直線を設定する構成としたが、撮像装置１の位置及び姿勢が常に一定である場合、抽出すべき台形領域を予め設定しておき、各撮像画像から予め設定した台形領域の画像を抽出する構成としてもよい。また、本実施の形態における消失線は、透視図法で描かれる精密な直線である必要はなく、消失線に近似する直線であればよい。また、本実施の形態における平行直線は、厳密に平行である必要はなく、実質的に平行であればよい。

【0030】

変換処理部２１２は、領域抽出部２１１から送出される台形領域の画像を、矩形領域の画像に変換する。より具体的には、変換元の台形領域の４つの頂点と、変換先の矩形領域の４つの頂点との間の幾何学的関係を規定する射影変換行列を設定し、この射影変換行列に基づいて台形領域の画像を矩形領域の画像に変換する。変換処理部２１２は、変換後の矩形領域の画像を画像生成部２１３へ送出する。

【0031】

画像生成部２１３は、変換処理部２１２により変換された矩形領域の画像から出力画像を生成する。画像生成部２１３は、変換処理部２１２から送出された矩形領域の画像に対して、回転処理、拡大縮小処理等を施すことにより、出力画像を生成する。画像生成部２１３は、生成した出力画像を画像出力ＩＦ２４へ送出する。

【0032】

以下、画像生成装置２の動作について説明する。
図４は画像生成装置２が実行する処理の手順を説明するフローチャートである。画像生成装置２の制御部２１は、画像入力ＩＦ２３を通じて撮像装置１から撮像画像を取得する（ステップＳ１１）。図５は撮像画像の一例を示す模式図である。図５に示した撮像画像には、走行している乗用車の画像が近景側に含まれており、停車しているバイクの画像が遠景側に含まれている。

【0033】

次いで、制御部２１は、取得した撮像画像から、２本の消失線及び平行線により囲まれる台形領域の画像を抽出する（ステップＳ１２）。図６は抽出手順を説明する説明図である。制御部２１は、道路の縁石部分、建築物、窓、ドアなどのエッジを撮像画像から抽出し、抽出したエッジの延長線が撮像画像の遠景側にて収束する消失点Ｐ０の座標を求める。本実施の形態では、消失点Ｐ０が撮像画像に含まれる例について示したが、消失点Ｐ０は必ずしも撮像画像に含まれる必要はない。

【0034】

次いで、制御部２１は、消失点Ｐ０に収束するエッジ（又はエッジの延長線）のうち、道路の縁石を示す２本のエッジを選択することにより、２本の消失線Ｌ１，Ｌ２を設定する。例えば、制御部２１は、撮像画像上で消失点Ｐ０を通る垂直線から左右方向に夫々エッジを探索し、左右方向で最初に探索されたエッジを選択することにより、２本の消失線Ｌ１，Ｌ２を設定する。

【0035】

次いで、制御部２１は、抽出すべき台形領域の下辺及び上辺に相当する２本の平行直線Ｌａ，Ｌｂを設定する。例えば、制御部２１は、撮像画像の下辺からＹａ画素分だけ隔てた位置に近景側の平行直線を配置し、上辺からＹｂ画素分だけ隔てた位置に遠景側の平行直線を配置することにより、２本の平行直線Ｌａ，Ｌｂを設定する。

【0036】

次いで、制御部２１は、撮像画像から、２本の消失線Ｌ１，Ｌ２と、２本の平行直線Ｌａ，Ｌｂとにより囲まれる台形領域の画像を抽出する。図７は抽出した台形領域の画像を示す模式図である。

【0037】

なお、本実施の形態では、撮像画像から、消失点Ｐ０の座標を算出し、消失点Ｐ０に収束するエッジの延長線を求めることにより、２本の消失線Ｌ１，Ｌ２を設定する構成としたが、撮像装置１が固定の位置及び姿勢から道路を撮像するのであれば、撮像画像を取得する都度、消失点Ｐ０及び消失点Ｐ０に収束するエッジの延長線を求める必要はない。この場合、抽出すべき台形領域の各辺に対応した消失線Ｌ１，Ｌ２及び平行直線Ｌａ，Ｌｂを予め設定しておくことができる。制御部２１は、撮像画像を取得した際、予め設定された２本の消失線Ｌ１，Ｌ２及び平行直線Ｌａ，Ｌｂに基づいて台形領域の画像を抽出する。

【0038】

次いで、制御部２１は、抽出した台形領域の画像を矩形領域の画像に変換する（ステップＳ１３）。例えば、台形領域を予め定めた矩形領域に変換する幾何変換モデルを設定し、ステップＳ１２で抽出した台形領域の画像を前記幾何変換モデルに従って変換することにより、矩形領域の画像を取得する。ここで、幾何変換モデルは、変換元の台形領域における４つの頂点と、変換先の矩形領域における４つの頂点との幾何学的関係を規定する射影変換により表される。制御部２１、台形領域の画像を構成する各画素の座標（ｘ，ｙ）を、射影変換行列を用いて、変換先の矩形領域の画像を構成する各画素の座標（Ｘ，Ｙ）に変換することにより、矩形領域の画像を生成する。なお、各画素の座標変換に伴い、変換後の各画素について画素値の補間処理を行ってもよいことは勿論のことである。図８は変換後の矩形領域の画像を示す模式図である。

【0039】

次いで、制御部２１は、変換後の矩形領域の出力画像に基づき、出力画像を生成し（ステップＳ１４）、生成した出力画像を画像出力ＩＦ２４を通じて所定の出力先へ出力する。制御部２１は、ステップＳ１３で変換した矩形領域の画像を出力画像として出力してもよく、矩形領域の画像に対して、回転、拡大縮小、鏡映変換、スキュー変換などの線形変換処理を施した画像を出力画像として出力してもよい。

【0040】

図９は矩形領域の画像に対して線形変換処理を施した画像の一例を示す模式図である。図９Ａは、矩形領域の画像を反時計回りに９０度回転することにより生成した出力画像を示している。元の撮像画像では、遠景側のバイクは小さく写っているため、監視者及び利用者にとってバイクの存在を認識することは容易ではなく、見落としが発生する可能性がある。これに対し、図９Ａに示す出力画像では、近景側の車両の画像は歪んでいるものの、遠景側の画像は拡大されるため、遠景側のバイクの存在を容易に認識することが可能となる。

【0041】

図９Ｂは、矩形領域の画像に対し、回転、縦方向の縮小、及びスキュー変換を施すことにより生成した出力画像を示している。このような線形変換処理を行うことにより、画像生成装置２は、近景側の画像の歪みを抑えつつ、遠景側の画像を拡大することができる。

【0042】

以上のように、実施の形態１に係る画像生成装置２は、撮像画像から抽出した台形領域の画像に対して、射影変換や線形変換といった変形処理を施すことにより、遠景側を拡大した画像を生成する。よって、実施の形態１に係る道路監視システムは、画像生成装置２が生成した出力画像を表示装置３に表示することにより、監視者及び利用者に対して、近景側から遠景側に至る監視領域内の移動体及び構造物の存在を容易に認識できる画像を提供することが可能となる。

【0043】

なお、本実施の形態では、台形領域の画像を矩形領域の画像に変換する射影変換処理と、矩形領域の画像から出力画像を生成する線形変換処理とを便宜的に分けて記載したが、これらの処理を単一の処理として実行する構成としてもよい。

【0044】

また、本実施の形態では、道路に設置された撮像装置１を用いて、道路の撮像画像を取得する構成としたが、自動車等の車両に搭載される車載カメラを用いて道路の撮像画像を取得する構成としてもよい。この場合、各車両が画像生成装置２を搭載し、画像生成装置２が生成する出力画像を車内モニタに表示する構成としてもよい。

【0045】

実施の形態２．
実施の形態２では、抽出した台形領域の画像を奥行き方向に分割し、分割した台形領域の画像をそれぞれ矩形領域の画像に変換してから合成する構成について説明する。
なお、実施の形態２に係る道路監視システムの構成、及び画像生成装置２の構成等は実施の形態１と同様であるため、その説明を省略することとする。

【0046】

図１０は実施の形態２に係る画像生成装置２が実行する処理内容を説明する説明図である。画像生成装置２の制御部２１は、上述したステップＳ１１及びＳ１２の処理を実行することにより、撮像画像から監視対象を含む台形領域の画像を抽出する。

【0047】

次いで、制御部２１は、抽出した台形領域の画像を奥行き方向に分割する。分割数及び分割箇所は適宜設定することができる。図１０に示した例では、抽出した台形領域の画像を中央付近にて２つに分割した状態を示している。

【0048】

次いで、制御部２１は、分割した台形領域の画像のそれぞれを矩形領域の画像に変換する。実施の形態１と同様に、台形領域のそれぞれについて矩形領域に変換する幾何変換モデルを設定し、各台形領域の画像をそれぞれの幾何変換モデルに従って変換することにより、矩形領域の画像に変換することができる。

【0049】

次いで、制御部２１は、各台形領域の画像を変換して得られる矩形領域の画像を合成する。制御部２１は、合成後の画像に基づいて出力画像を生成し、画像出力ＩＦ２４を通じて所定の出力先へ出力する。このとき、実施の形態１と同様に、合成後の画像に対して、回転、拡大縮小、鏡映変換、スキュー変換等の線形変換処理を施し、出力画像を生成する構成としてもよい。

【0050】

以上のように、実施の形態２では、撮像画像から抽出した台形領域の画像を奥行き方向に分割し、それぞれを矩形領域の画像に変換してから合成するので、近景側の画像については射影変換に伴う歪みの発生を抑えることができ、遠景側の画像については適度の大きさに拡大することができる。この結果、本実施の形態に係る道路監視システムは、道路上の移動体及び構造物を認識し易い画像を監視者及び利用者に提供することができる。

【0051】

実施の形態３．
実施の形態１及び２では、撮像装置１から取得した１つの撮像画像を基に出力画像を生成する構成としたが、道路に沿って撮像装置１を複数配置し、それぞれから取得した撮像画像を基に１つの出力画像を生成する構成としてもよい。
実施の形態３では、複数の撮像画像から１つの出力画像を生成する構成について説明する。

【0052】

図１１は実施の形態３に係る道路監視システムの構成を示すブロック図である。本実施の形態に係る道路監視システムは、例えば道路に沿って設置され、それぞれ道路を斜め上方から撮像する撮像装置１Ａ，１Ｂ，１Ｃと、撮像装置１Ａ，１Ｂ，１Ｃから出力される撮像画像を基に道路の状況を示す画像を生成する画像生成装置２と、画像生成装置２から出力される画像を表示する表示装置３とを備える。

【0053】

撮像装置１Ａ，１Ｂ，１Ｃは適宜のタイミングで道路を撮像する。撮像装置１Ａ，１Ｂ，１Ｃは、画像生成装置２に通信回線を介して接続されており、撮像して得られる撮像画像を画像生成装置２へ送信する。

【0054】

画像生成装置２は、撮像装置１Ａ，１Ｂ，１Ｃから取得した撮像画像に基づいて、道路の状況を示す画像を生成する。このとき、画像生成装置２は、それぞれの撮像画像から監視対象となる台形領域の画像を抽出し、抽出した台形領域の画像を矩形領域の画像に変換することにより遠景側を拡大した画像を生成し、生成した矩形領域の画像を合成して出力画像を生成する。画像生成装置２は、生成した出力画像を表示装置３へ出力する。
なお、画像生成装置２の内部構成については実施の形態１と同様であるため、その説明を省略することとする。

【0055】

表示装置３は、画像生成装置２から出力される画像を表示することにより、道路の状況に係る情報を監視者及び利用者に提供する。

【0056】

図１２は実施の形態３に係る画像生成装置２が実行する処理内容を説明する説明図である。画像生成装置２の制御部２１は、撮像装置１Ａ，１Ｂ，１Ｃが撮像した撮像画像を画像入力ＩＦ２３を通じて取得する。制御部２１は、取得した撮像画像のそれぞれから台形領域の画像を抽出し、抽出した台形領域の画像を射影変換することにより、矩形領域の画像を生成する。

【0057】

なお、制御部２１が撮像画像から抽出する台形領域の画像は、撮像装置１Ａ，１Ｂ，１Ｃの間で同一の形状である必要はなく、撮像装置１Ａ，１Ｂ，１Ｃの設置位置及び姿勢に応じて設定した形状の画像を抽出すればよい。

【0058】

また、制御部２１は、台形領域の画像を矩形領域の画像に変換する幾何変換モデルを撮像装置１Ａ，１Ｂ，１Ｃのそれぞれについて設定し、各台形領域の画像をそれぞれの幾何変換モデルに従って変換することにより、矩形領域の画像に変換する。

【0059】

次いで、制御部２１は、変換した矩形領域の画像を合成して出力画像を生成する。このとき、各矩形領域の画像に対し、回転、拡大縮小、鏡映変換、スキュー変換等の線形変換処理を施した後に、画像合成を行って出力画像を生成する構成としてもよい。また、制御部２１は、撮像装置１Ａ，１Ｂ，１Ｃの配置関係を考慮して、矩形領域の画像を合成することが好ましい。撮像装置１Ａ，１Ｂ，１Ｃの配置関係に係る情報は予め記憶部２２に記憶されているものとする。制御部２１は、撮像装置１Ａ，１Ｂ，１Ｃの配置関係に係る情報を記憶部２２から取得し、取得した配置関係に係る情報に基づき、矩形領域の画像を合成する。例えば、撮像装置１Ａ，１Ｂ，１Ｃがこの順に配置されている場合、撮像装置１Ａ，１Ｂ，１Ｃから生成した矩形領域の画像をこの順に合成する。また、撮像装置１Ａ，１Ｂ，１Ｃがそれぞれ道路の右側、左側、手前側に配置されている場合、表示装置３における表示画面の右側、左側、下側に各矩形領域の画像を配置して合成する。

【0060】

以上のように、実施の形態３に係る画像生成装置２は、複数の撮像装置１Ａ，１Ｂ，１Ｃから取得した撮像画像のそれぞれについて台形領域の画像を抽出し、抽出した画像に対する射影変換及び線形変換を行い、変換後の画像を合成して出力画像を生成する。よって、本実施の形態に係る道路監視システムは、画像生成装置２が生成した出力画像を表示装置３に表示することにより、監視者及び利用者に対して、移動体及び構造物の存在を容易に認識することができ、死角の少ない画像を提供することが可能となる。

【0061】

今回開示された実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0062】

１ 撮像装置
２ 画像生成装置
２１ 制御部
２２ 記憶部
２３ 画像入力ＩＦ
２４ 画像出力ＩＦ
２１１ 領域抽出部
２１２ 変換処理部
２１３ 画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】