特許 6022423 監視装置及び監視装置の制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6022423

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月9日

(54)【発明の名称】監視装置及び監視装置の制御プログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20161027BHJP

   H04N 7/18 20060101ALI20161027BHJP

【ＦＩ】

   G06T3/00 700

   H04N7/18 D

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2013-159987(P2013-159987)

(22)【出願日】2013年7月31日

(65)【公開番号】特開2015-32069(P2015-32069A)

(43)【公開日】2015年2月16日

【審査請求日】2015年10月30日

(73)【特許権者】

【識別番号】000223182

【氏名又は名称】ＴＯＡ株式会社

(74)【代理人】

【識別番号】100107847

【弁理士】

【氏名又は名称】大槻 聡

(72)【発明者】

【氏名】小川 雄三

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００５−２８６６８５（ＪＰ，Ａ）

【文献】 特開２００１−３１９２１８（ＪＰ，Ａ）

【文献】 特開２００９−２３０２３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

カメラ撮影されたカメラ画像を平面地図上に表示する監視装置において、
上記平面地図に対し、上記カメラ画像を射影変換し、マッピング画像を生成する射影変換手段と、
上記平面地図及び上記マッピング画像を合成した画像合成地図を生成する画像合成手段と、
上記カメラ画像上の予め指定された２以上の参照点、及び、上記平面地図上の予め指定された２以上の目標点に基づいて、上記参照点を対応する上記目標点に一致させる上記射影変換の変換係数を求める第１キャリブレーション手段と、
上記目標点と共に上記画像合成地図を表示する合成地図表示手段と、
ユーザ操作に基づいて、上記目標点の位置を変更する目標点変更手段と、
上記目標点変更手段による変更後の目標点に基づいて、上記変換係数を補正する第２キャリブレーション手段とを備えたことを特徴とする監視装置。

【請求項2】

上記画像合成手段は、透明化した上記マッピング画像を上記平面地図上に重畳させた画像合成地図を生成することを特徴とする請求項１に記載の監視装置。

【請求項3】

ユーザ操作に基づいて、上記画像合成地図における上記マッピング画像の透明度を調整する透明度調整手段を備えたことを特徴とする請求項２に記載の監視装置。

【請求項4】

上記カメラ画像に対し、レンズ歪みを補正する歪み補正変換を行う歪み補正手段と、
ユーザ操作に基づいて、上記歪み補正変換の変換係数を調整する補正係数調整手段とを備え、
上記射影変換手段は、上記歪み補正手段による歪み補正変換後のカメラ画像に対し、上記射影変換を行うことを特徴とする請求項１〜３のいずれかに記載の監視装置。

【請求項5】

カメラ撮影されたカメラ画像を平面地図上に表示する監視装置の制御プログラムであって、
上記平面地図に対し、上記カメラ画像を射影変換し、マッピング画像を生成する射影変換手順と、
上記平面地図及び上記マッピング画像を合成した画像合成地図を生成する画像合成手順と、
上記カメラ画像上の予め指定された２以上の参照点、及び、上記平面地図上の予め指定された２以上の目標点に基づいて、上記参照点を対応する上記目標点に一致させる上記射影変換の変換係数を求める第１キャリブレーション手順と、
上記目標点と共に上記画像合成地図を表示する合成地図表示手順と、
ユーザ操作に基づいて、上記目標点の位置を変更する目標点変更手順と、
上記目標点変更手順における変更後の目標点に基づいて、上記変換係数を補正する第２キャリブレーション手順とをコンピュータに実行させることを特徴とする監視装置の制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視装置及び監視装置の制御プログラムに係り、さらに詳しくは、カメラ撮影されたカメラ画像を平面地図上に表示する監視装置の改良に関する。

【背景技術】

【0002】

監視装置は、監視カメラによって撮影されたカメラ画像をモニター上に表示する端末装置であり、監視カメラの撮影範囲内を監視することができる。この様な監視装置には、平面地図上に監視カメラの位置及び撮影範囲を表示し、ユーザが平面地図上で設置位置を指定した監視カメラの向きや撮影倍率を制御するものがある。また、カメラ画像を射影変換してマッピング画像を生成し、このマッピング画像を平面地図上に重畳させた画像合成地図を表示することができる監視装置も知られている（例えば、特許文献１）。

【0003】

通常、カメラ画像と平面地図とを合成する場合、カメラ画像上の位置と平面地図上の位置とを互いに対応づけるカメラキャリブレーションを行う必要がある。例えば、カメラキャリブレーションは、ユーザがカメラ画像上の複数の参照点と平面地図上の複数の目標点とをそれぞれ指定するとともに、これらの位置情報をカメラ画像及び平面地図間で互いに関連づけることによって行われ、上記射影変換の変換係数が求められる。

【0004】

この様な従来の監視装置では、カメラキャリブレーションの精度が低いという問題があった。例えば、カメラのレンズ収差に起因してカメラ画像にはレンズ歪みがある。また、カメラから水平面上の参照点までの実際の距離に応じてカメラ画像の分解能が異なり、カメラから遠ざかるほど、参照点の位置情報に含まれる誤差が大きくなる。さらに、位置情報から変換係数を求める際のデジタル演算には、計算誤差が含まれる。これらの影響により、カメラキャリブレーションを正確に行うことは困難であった。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−２８６６８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記事情に鑑みてなされたものであり、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる監視装置を提供することを目的とする。また、本発明は、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させた監視装置の制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第一の態様による監視装置は、カメラ撮影されたカメラ画像を平面地図上に表示する監視装置であって、上記平面地図に対し、上記カメラ画像を射影変換し、マッピング画像を生成する射影変換手段と、上記平面地図及び上記マッピング画像を合成した画像合成地図を生成する画像合成手段と、上記カメラ画像上の予め指定された２以上の参照点、及び、上記平面地図上の予め指定された２以上の目標点に基づいて、上記参照点を対応する上記目標点に一致させる上記射影変換の変換係数を求める第１キャリブレーション手段と、上記目標点と共に上記画像合成地図を表示する合成地図表示手段と、ユーザ操作に基づいて、上記目標点の位置を変更する目標点変更手段と、上記目標点変更手段による変更後の目標点に基づいて、上記変換係数を補正する第２キャリブレーション手段とを備えて構成される。

【0008】

この監視装置では、第１キャリブレーションによって求められた変換係数を用いて射影変換を行うことにより、カメラ画像上の任意の位置が平面地図上の位置に対応づけられたマッピング画像をカメラ画像から得ることができる。その様なマッピング画像と平面地図とを合成した画像合成地図を表示することにより、ユーザは、マッピング画像及び平面地図間において特徴部分の位置にずれがあるか否か、また、ずれがある場合にずれの大きさや方向を容易に認識することができる。この様な第１キャリブレーションに対する精度検証の結果、ユーザが画像合成地図上の目標点の位置を変更すれば、射影変換の変換係数が補正されるので、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる。

【0009】

本発明の第二の態様による監視装置は、上記構成に加え、上記画像合成手段が、透明化した上記マッピング画像を上記平面地図上に重畳させた画像合成地図を生成するように構成される。この様な構成によれば、透明化したマッピング画像を介して平面地図上の表示オブジェクトが認識可能になるので、マッピング画像及び平面地図間で特徴部分のずれ具合を容易に認識することができる。

【0010】

特に、マッピング画像の全体にわたってずれ具合を認識でき、マッピング画像上のどの辺りが大きくずれているのかといったことを容易に識別することができる。従って、画像合成地図上で目標点の位置を変更する際に、マッピング画像の全体にわたってずれが小さくなるような位置を容易に見つけることができる。

【0011】

本発明の第三の態様による監視装置は、上記構成に加え、ユーザ操作に基づいて、上記画像合成地図における上記マッピング画像の透明度を調整する透明度調整手段を備えて構成される。この様な構成によれば、カメラ画像及び平面地図の明るさやコントラストに応じてマッピング画像の透明度を調整することにより、第１キャリブレーションの上述した精度検証を容易化することができるとともに、画像合成地図上で目標点の位置を変更する際に適切な位置を容易に見つけることができる。

【0012】

本発明の第四の態様による監視装置は、上記構成に加え、上記カメラ画像に対し、レンズ歪みを補正する歪み補正変換を行う歪み補正手段と、ユーザ操作に基づいて、上記歪み補正変換の変換係数を調整する補正係数調整手段とを備え、上記射影変換手段が、上記歪み補正手段による歪み補正変換後のカメラ画像に対し、上記射影変換を行うように構成される。

【0013】

この様な構成によれば、カメラ画像の歪み具合に応じて歪み補正変換の変換係数を調整することにより、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度をさらに向上させることができる。

【0014】

本発明の第五の態様による監視装置の制御プログラムは、カメラ撮影されたカメラ画像を平面地図上に表示する監視装置の制御プログラムであって、上記平面地図に対し、上記カメラ画像を射影変換し、マッピング画像を生成する射影変換手順と、上記平面地図及び上記マッピング画像を合成した画像合成地図を生成する画像合成手順と、上記カメラ画像上の予め指定された２以上の参照点、及び、上記平面地図上の予め指定された２以上の目標点に基づいて、上記参照点を対応する上記目標点に一致させる上記射影変換の変換係数を求める第１キャリブレーション手順と、上記目標点と共に上記画像合成地図を表示する合成地図表示手順と、ユーザ操作に基づいて、上記目標点の位置を変更する目標点変更手順と、上記目標点変更手順における変更後の目標点に基づいて、上記変換係数を補正する第２キャリブレーション手順とにより構成される。

【発明の効果】

【0015】

本発明による監視装置では、ユーザが画像合成地図上の目標点を変更すれば、射影変換の変換係数が補正されるので、カメラ画像及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる。また、本発明による制御プログラムでは、コンピュータを上述した様な監視装置として機能させることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施の形態による監視装置１０を含む監視システム１の一構成例を示したシステム図である。

【図2】図１の監視装置１０内の機能構成の一例を示したブロック図である。

【図3】図２の監視装置１０の動作の一例を示した図であり、ディスプレイ装置１１上に表示されるカメラ画像１３及びマップ画像１４が示されている。

【図4】図２の監視装置１０の動作の一例を示した図であり、マップ画像１４及びマッピング画像１５を合成した画像合成地図１６が示されている。

【図5】図２の監視装置１０の動作の一例を示した図であり、ディスプレイ装置１１上に表示されるカメラ設定画面３０が示されている。

【図6】図２の監視装置１０の動作の一例を示した図であり、第１キャリブレーション後に表示される精度検証画面４０が示されている。

【図7】図２の監視装置１０の動作の一例を示した図であり、マッピング画像１５の透明度を５０％にした場合が示されている。

【図8】図２の監視装置１０の動作の一例を示した図であり、マップ画像１４及びマッピング画像１５間で特徴部分の位置にずれが生じている場合が示されている。

【発明を実施するための形態】

【0017】

＜監視システム１＞
図１は、本発明の実施の形態による監視装置１０を含む監視システム１の一構成例を示したシステム図である。この監視システム１は、２以上の監視カメラ２と、これらの監視カメラ２がＬＡＮ（ローカルエリアネットワーク）２０を介して接続され、カメラ撮影されたカメラ画像を平面地図上に表示する監視装置１０とからなる。

【0018】

監視カメラ２は、被写体を撮影し、カメラ画像を生成する撮像装置であり、ＬＡＮ２０を介してエリア監視装置１０へ画像データを送信する機能を有する。例えば、カメラ画像は、リアルタイムの動画像からなり、ライブ映像として送信される。監視カメラ２は、屋外又は屋内のいずれにも設置可能であり、屋外設置の場合は、地面、舗装道路の路面などの水平面に向けて設置され、水平面上の移動体が撮影される。移動体には、人や自動車がある。屋内設置の場合には、床面などの水平面に向けて設置される。例えば、監視カメラ２は、向き及び撮影倍率が固定された固定カメラである。

【0019】

監視装置１０は、監視カメラ２から取得したカメラ画像や平面地図を表示するディスプレイ装置１１と、ユーザ操作を受け付ける操作部１２とを備えた端末装置であり、カメラ画像を用いてエリア監視を行うとともに、ＬＡＮ２０上の監視カメラ２を制御する機能を有する。操作部１２は、マウスやキーボードからなる。

【0020】

この監視装置１０は、カメラマップ表示機能、検知物体マッピング機能及び複数映像統合機能を有する。カメラマップ表示機能は、平面地図上に監視カメラ２の位置及び撮影範囲を表示する機能である。検知物体マッピング機能は、カメラ画像を解析して移動体を検知し、検知した移動体やその軌跡を平面地図上にリアルタイムに表示する機能である。

【0021】

複数映像統合機能は、カメラ画像に対し、当該カメラ画像上の位置を平面地図上の位置に対応づける射影変換を行ってマッピング画像を生成し、このマッピング画像及び平面地図を合成した画像合成地図を表示する機能である。例えば、２以上の監視カメラ２から取得した複数のカメラ画像を共通の平面地図に埋め込んだ画像合成地図を表示することができる。この様な画像合成地図を閲覧すれば、複数の監視カメラ２の撮影範囲を跨って移動する移動体を容易に監視し、或いは、追跡することができる。

【0022】

検知物体マッピング機能や複数映像統合機能を実現するには、カメラ画像及び平面地図間において位置情報を互いに対応づけるカメラキャリブレーションを行う必要がある。監視装置１０では、ユーザがカメラ画像上の２以上の参照点と平面地図上の２以上の目標点とをそれぞれ指定するとともに、これらの位置情報をカメラ画像及び平面地図間で互いに関連づけることによってカメラキャリブレーションが行われ、上記射影変換の変換係数が求められる。

【0023】

＜監視装置１０＞
図２は、図１の監視装置１０内の機能構成の一例を示したブロック図である。この監視装置１０は、ディスプレイ装置１１、地図情報記憶部１０１、設定画面表示部１０２、射影変換部１０３、画像合成部１０４、変換係数記憶部１０５，１１３、位置指定部１０６、位置情報記憶部１０７、第１キャリブレーション部１０８、目標点変更部１０９、第２キャリブレーション部１１０、透明度調整部１１１、歪み補正部１１２及び補正係数調整部１１４により構成される。

【0024】

例えば、監視装置１０は、制御プログラムに基づいてコンピュータを動作させることにより実現することができる。また、その様な制御プログラムは、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録して提供され、或いは、ネットワークを介して提供される。

【0025】

地図情報記憶部１０１には、平面地図を画面表示するための地図情報が保持される。例えば、上空から撮影された静止画像からなるマップ画像が平面地図として用いられる。平面地図には、マップ画像のように撮影画像からなるものの他に、建物の輪郭線、道路の境界線、駐車区画を示すペイント線などの図形のみで構成されるものや、図形と建物、構造物などを示すシンボルとで構成されるものを用いることができる。

【0026】

設定画面表示部１０２は、カメラキャリブレーションのためのカメラ設定画面をディスプレイ装置１１上に表示する。カメラ設定画面は、監視カメラ２から取得したカメラ画像と、地図情報記憶部１０１内に保持されているマップ画像とを並べて表示し、参照点及び目標点の位置指定を受け付ける校正用入力画面である。

【0027】

射影変換部１０３は、平面地図に対し、カメラ画像を射影変換し、平面地図に貼り付けるためのマッピング画像を生成するマッピング画像生成部である。この射影変換は、カメラ画像上の２以上の参照点を平面地図上の２以上の目標点に対応づけることにより、カメラ画像における水平面上の任意の幾何形状を平面地図に一致させる幾何変換である。

【0028】

例えば、カメラ画像上にｘ軸及びｙ軸からなる座標軸を定め、参照点の位置を（ｘ，ｙ）と表し、また、平面地図上にＸ軸及びＹ軸からなる座標軸を定め、目標点の位置を（Ｘ，Ｙ）と表せば、カメラ画像の射影変換は、次式（１）により表される。
Ｘ＝（ａ_１ｘ＋ｂ_１ｙ＋ｃ_１）／（ａ_３ｘ＋ｂ_３ｙ＋ｃ_３）
Ｙ＝（ａ_２ｘ＋ｂ_２ｙ＋ｃ_２）／（ａ_３ｘ＋ｂ_３ｙ＋ｃ_３） ・・・（１）

【0029】

上式（１）には、射影変換の変換係数を表す９つのパラメータａ_１〜ａ_３，ｂ_１〜ｂ_３，ｃ_１〜ｃ_３が含まれている。上式（１）は、パラメータａ_３〜ｃ_３のうちのゼロでないパラメータ、例えば、ｃ_３で分母子を除算しても数式の関係は変わらない。そこで、ｃ_３＝１と固定すれば、残りの独立変数は８個である。従って、８つのパラメータａ_１〜ａ_３，ｂ_１〜ｂ_３，ｃ_１，ｃ_２を指定することにより、１つの射影変換が決定される。変換係数記憶部１０５には、この様な射影変換を規定するパラメータが保持される。

【0030】

画像合成部１０４は、地図情報記憶部１０１内に保持されている平面地図と、射影変換部１０３により生成されたマッピング画像とを合成した画像合成地図を生成する合成地図生成部である。具体的には、マッピング画像を平面地図上に重畳させることにより、画像合成地図を生成する。ディスプレイ装置１１は、目標点と共に画像合成地図を表示する。

【0031】

位置指定部１０６は、ユーザ操作に基づいて、カメラ画像上の２以上の参照点と、平面地図上の２以上の目標点とをそれぞれ指定するとともに、これらの位置情報をカメラ画像及び平面地図間で互いに関連づける。位置情報記憶部１０７には、参照点及び目標点の位置情報と、関連づけの情報とが保持される。

【0032】

第１キャリブレーション部１０８は、位置情報記憶部１０７内に保持されている参照点及び目標点の位置情報と関連づけの情報とに基づいて、参照点を対応する目標点に一致させる射影変換の変換係数を求めるカメラ画像校正部である。どの３点も同一直線上にない４つの参照点と、対応する４つの目標点とが指定されれば、変換係数を求めることができる。

【0033】

具体的には、参照点及び目標点の各組合せに対し、数式（１）を用いれば、８つの方程式が導出される。すなわち、１組の参照点と目標点とで、ｘ及びｙ座標に関して２つの方程式が立てられるので、合計４組の参照点及び目標点から８つの方程式が得られる。これらの方程式を連立させて解くことにより、８つのパラメータａ_１〜ａ_３，ｂ_１〜ｂ_３，ｃ_１，ｃ_２を求めることができる。カメラキャリブレーションによって求められた変換係数を用いて射影変換を行うことにより、カメラ画像上の任意の位置が平面地図上の位置に対応づけられたマッピング画像をカメラ画像から得ることができる。

【0034】

ここで、２以上の監視カメラ２からカメラ画像を取得し、これらのカメラ画像を共通の平面地図上に埋め込んで画像合成地図を作成する場合、射影変換の変換係数は、監視カメラ２ごとに求められる。また、画像合成部１０４は、複数のマッピング画像を共通の平面地図上に重畳させて画像合成地図を生成する。

【0035】

目標点変更部１０９は、ユーザ操作に基づいて、目標点の位置を変更し、位置情報記憶部１０７内に保持されている目標点の位置情報を更新する位置情報編集部である。この目標点変更部１０９は、ユーザ操作に基づいて、画像合成地図上における目標点の変更に伴う参照点の変更を受け付け、位置情報記憶部１０７内に保持されている参照点の位置情報を更新する。

【0036】

第２キャリブレーション部１１０は、目標点変更部１０９による変更後の目標点に基づいて、射影変換の変換係数を補正し、変換係数記憶部１０５内に保持されているパラメータを更新するカメラ画像校正部である。なお、第１キャリブレーションや第２キャリブレーションに用いるカメラ画像には、ライブ映像に代えて、ライブ映像を構成する静止画像や、ライブ映像とは別個に撮影された静止画像を用いることができる。

【0037】

透明度調整部１１１は、ユーザ操作に基づいて、画像合成地図におけるマッピング画像の透明度を調整する。画像合成部１０４は、透明化したマッピング画像を平面地図上に重畳させた画像合成地図を生成する。ディスプレイ装置１１には、マッピング画像が透明化された画像合成地図が表示される。

【0038】

歪み補正部１１２は、監視カメラ２から取得したカメラ画像に対し、レンズ歪みを補正する歪み補正変換を行い、歪み補正変換後のカメラ画像を設定画面表示部１０２及び射影変換部１０３へ出力する画像処理部である。レンズ歪みは、光学レンズの径方向の歪み（歪曲収差）である。

【0039】

例えば、カメラ画像上にｘ軸及びｙ軸からなる座標軸を定め、光学レンズの中心軸の位置に対応するカメラ画像上の位置を原点として、歪み補正変換前後のカメラ画像上の位置をそれぞれ（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）と表せば、カメラ画像の歪み補正変換は、次式（２）により表される。
ｘ_２＝（１＋ｋ_１ｒ^２＋ｋ_２ｒ^４）×ｘ_１
ｙ_２＝（１＋ｋ_１ｒ^２＋ｋ_２ｒ^４）×ｙ_１ ・・・（２）
ｒ^２＝ｘ_１^２＋ｙ_１^２

【0040】

上式（２）には、歪み補正変換の変換係数を表す２つのパラメータｋ_１，ｋ_２が含まれている。これらのパラメータｋ_１，ｋ_２を指定することにより、歪み補正変換が決定される。ただし、レンズ歪みは、パラメータｋ_１が実際的には支配的であることから、レンズ歪みの補正は、パラメータｋ_１のみを調整することにより、簡易的に行うことが可能である。そこで、本実施の形態では、パラメータｋ_１のみを変更可能とし、パラメータｋ_２を固定し、或いは、無視して上式（２）を用いることにより、歪み補正変換が行われる。変換係数記憶部１１３には、この様な歪み補正変換を規定するパラメータが保持される。補正係数調整部１１４は、ユーザ操作に基づいて、歪み補正変換の変換係数を調整し、変換係数記憶部１１３内に保持されているパラメータを更新する。

【0041】

＜カメラ画像１３及びマップ画像１４＞
図３は、図２の監視装置１０の動作の一例を示した図であり、ディスプレイ装置１１上に表示されるカメラ画像１３及びマップ画像１４が示されている。図中の（ａ）には、監視カメラ２から取得したカメラ画像１３が示され、（ｂ）には、マップ画像１４が示されている。

【0042】

監視カメラ２は、屋外、例えば、建物の屋上に設置され、路面上の移動体を撮影する。このカメラ画像１３には、舗装道路１３ａ、建物１３ｂ、駐車区画内に停車中の自動車１３ｃなどが撮影されている。第１キャリブレーションのための参照点４には、マップ画像１４との対応づけが容易なカメラ画像１３上の特徴部分が指定される。

【0043】

例えば、駐車区画を示すペイント線の角（かど）部、建物１３ｂの角、街路灯などの構造物の根元等が参照点４として指定される。参照点４の指定は、マウスポインタ６をカメラ画像１３上で移動させて位置を指示することにより行われる。具体的には、カメラ画像１３の中央に４つの参照点４を頂点とする矩形がデフォルト設定として表示され、ドラッグ操作により参照点４を所望の位置まで移動させる。

【0044】

マップ画像１４は、監視カメラ２の撮影範囲の一部又は全部を含む平面地図であり、路面上の建物１３ｂや構造物を鉛直方向の上方向から見た様子が描画されている。このマップ画像１４には、建物１３ｂ、走行車線、駐車区画、監視カメラ２の撮影方向を表す図形と、監視カメラ２の設置位置を示すシンボル３とが描画されている。

【0045】

目標点５には、参照点４に対応するマップ画像１４上の位置が指定される。目標点５の指定は、マウスポインタ６をマップ画像１４上で移動させて位置を指示することにより行われる。第１キャリブレーションは、参照点４及び目標点５からなる４つの組合せに基づいて、射影変換の変換係数を求めることにより行われる。

【0046】

カメラ画像１３上において、２つの参照点４を結ぶ線分（図中では、破線により表示）上にマウスポインタ６を合わせ、クリック操作を行えば、参照点４を追加することができる。参照点４を追加した場合、参照点４及び目標点５からなる５以上の組合せに基づいて射影変換の変換係数を求めることになる。例えば、５以上の組合せから４つの組合せを抽出して変換係数を求めることを繰り返し、得られた変換係数から統計的手法を用いて変換係数の最適値又は平均値が算出される。

【0047】

なお、ここでは、参照点４及び目標点５からなる４つの組合せ又は５以上の組合せを指定することにより、射影変換の変換係数が求められるものとして説明した。しかし、ユーザがカメラ画像１３やマップ画像１４上で指定する参照点４や目標点５の個数はこれに限定されるものではない。例えば、監視カメラ２の水平面（路面）からの高さ、仰俯角方向の角度が既知である場合や、水平面上の基準とするマーク、構造物がカメラ画像上の特定の位置に撮影されるように、監視カメラ２の位置、向きが予め調整されている場合には、ユーザが指定する参照点４や目標点５の個数は４未満であっても良い。つまり、撮影状況が限定的であれば、ユーザが２つ又は３つの参照点４又は目標点５を指定することにより、射影変換の変換係数が決定される場合もある。

【0048】

＜画像合成地図１６＞
図４は、図２の監視装置１０の動作の一例を示した図であり、マップ画像１４及びマッピング画像１５を合成した画像合成地図１６が示されている。マッピング画像１５は、カメラ画像１３に対し、射影変換を行うことによって作成される。すなわち、カメラ画像１３における任意の画素の位置情報が、射影変換によってマップ画像１４における画素の位置情報に変換される。

【0049】

この射影変換では、路面上の幾何学的な形状がマップ画像１４に合わせ込まれる。このため、舗装道路や駐車区画のペイント線、舗装道路の境界線といった路面近傍の静止物は、その形状が真上から見た場合の形状に変換され、マップ画像１４における形状と一致する。

【0050】

一方、路面から高さ方向に突出した静止物や移動体は、その形状が路面に射影した形状に変換され、歪んで見える。画像合成地図１６は、マッピング画像１５における任意の画素をマップ画像１４上の対応する位置に配置することにより、マッピング画像１５をマップ画像１４上に重畳させた合成画像として作成される。この様な画像合成地図１６をディスプレイ装置１１上に表示することにより、ユーザは、マッピング画像１５及びマップ画像１４間において特徴部分の位置にずれがあるか否か、また、ずれがある場合にずれの大きさや方向を容易に認識することができる。

【0051】

＜カメラ設定画面３０＞
図５は、図２の監視装置１０の動作の一例を示した図であり、ディスプレイ装置１１上に表示されるカメラ設定画面３０が示されている。カメラ設定画面３０は、カメラキャリブレーションのための校正用入力画面であり、カメラ画像１３の表示領域３１と、歪み補正調整用のスライダー３２と、マップ画像１４の表示領域３３と、参照点４及び目標点５の表示ボタン３４とが配置されている。

【0052】

スライダー３２を操作することにより、表示領域３１内のカメラ画像１３に対し、レンズ歪みを補正する歪み補正変換の変換係数を調整することができる。歪み補正変換の変換係数は、補正量＝ゼロから補正量＝上限値までの範囲内で調整することができる。補正量＝０では、歪み補正変換を行わず、カメラ画像１３が歪み補正部１１２をスルーして射影変換部１０３に入力される。一方、補正量＝上限値では、歪み補正変換を規定するパラメータｋ_１が最大になる。

【0053】

カメラのレンズ収差に起因してカメラ画像１３にはレンズ歪みがある。特に、広角レンズを使用した監視カメラ２の場合、カメラ画像１３の中央部に比べ、周縁部の歪みが大きい。このため、水平面上の直線は、カメラ画像１３の周縁部において曲がって映し出される。この様なカメラ画像１３上に撮影されている幾何学的な形状の歪みは、スライダー３２を操作して補正量を調整することにより、除去することができる。

【0054】

表示ボタン３４を操作すれば、第１キャリブレーション用の参照点４及び目標点５をカメラ画像１３及びマップ画像１４上にそれぞれ表示させることができる。カメラ画像１３を歪み補正してから参照点４を指定し、第１キャリブレーションを行うことにより、第１キャリブレーションの精度を向上させることができる。

【0055】

＜精度検証画面４０＞
図６は、図２の監視装置１０の動作の一例を示した図であり、第１キャリブレーション後に表示される精度検証画面４０が示されている。また、図７は、図２の監視装置１０の動作の一例を示した図であり、マッピング画像１５の透明度を５０％にした場合が示されている。

【0056】

この精度検証画面４０は、カメラ画像１３及びマップ画像１４間における位置情報の対応づけの精度を検証するためのカメラキャリブレーション編集画面であり、カメラ画像１３の表示領域４１と、画像合成地図１６の表示領域４２と、マッピング画像１５の透明度調整用のスライダー４３と、修正キャリブレーションボタン４４とが配置されている。

【0057】

スライダー４３を操作することにより、表示領域４２内の画像合成地図１６に対し、マッピング画像１５の透明度を調整することができる。マッピング画像１５の透明度は、透明度＝１００％から透明度＝０％までの範囲内で調整することができる。透明度＝１００％では、マッピング画像１５が完全に透明であり、マップ画像１４の全体を視認することができる。一方、透明度＝０％では、マッピング画像１５が完全に不透明であり、マッピング画像１５との重複部分について、マップ画像１４を視認することができない。

【0058】

透明度を５０％程度にすれば、マッピング画像１５は半透明な状態である。この様に透明化したマッピング画像１５がマップ画像１４上に重畳された画像合成地図１６を表示することにより、透明化したマッピング画像１５を介してマップ画像１４上の表示オブジェクトが認識可能になるので、マッピング画像１５及びマップ画像１４間で特徴部分のずれ具合を容易に認識することができる。

【0059】

表示領域４１には、第１キャリブレーションにおいて使用した複数の参照点４がカメラ画像１３と共に表示されている。また、表示領域４２には、第１キャリブレーションにおいて使用した複数の目標点５が画像合成地図１６と共に表示されている。そこで、マップ画像１４及びマッピング画像１５間で特徴部分の位置にずれが生じていれば、マウスポインタ６を移動させて、カメラ画像１３上の参照点４の位置と、画像合成地図１６上の目標点５の位置とを変更することができる。

【0060】

図８は、図２の監視装置１０の動作の一例を示した図であり、マップ画像１４及びマッピング画像１５間で特徴部分の位置にずれが生じている場合が示されている。監視カメラ２から所定の距離の水平面に関し、カメラ画像１３上における水平面内の幾何形状は、カメラ画像１３のレンズ歪みに起因して、実際の幾何形状と異なっている。また、監視カメラ２から水平面上の参照点４までの実際の距離に応じてカメラ画像１３の分解能が異なることから、監視カメラ２から遠い参照点４の位置情報には、大きな誤差が含まれる。さらに、位置情報から射影変換の変換係数を求める際のデジタル演算には、計算誤差が含まれる。

【0061】

このため、画像合成地図１６において、マッピング画像１５上の特徴部分の位置と、マップ画像１４上の対応する特徴部分の位置との間に、ずれが生じる場合がある。この例では、建物１３ｂの角（かど）の位置がマッピング画像１５とマップ画像１４との間で大きくずれている。この様なずれは、透明化したマッピング画像１５が埋め込まれた画像合成地図１６を閲覧することにより、容易に識別することができる。

【0062】

第１キャリブレーションは、駐車区画を示すペイント線を目印にして参照点４及び目標点５を指定することにより行われた。この第１キャリブレーションでは、駐車区画付近ではずれが少ないが、カメラ画像１３の周縁部に撮影されている建物１３ｂの角ではずれが大きいことが、画像合成地図１６から容易に確認できる。建物１３ｂの角のずれが大きいのは、レンズ歪みや計算誤差の影響である。

【0063】

そこで、画像合成地図１６上で駐車区画内の目標点５の位置を微調整し、或いは、カメラ画像１３上で駐車区画内の参照点４の位置を微調整し、第２キャリブレーションを行う。第２キャリブレーションは、精度検証画面４０内の修正キャリブレーションボタン４４を操作することにより実行され、射影変換の変換係数が補正される。この修正キャリブレーションの後、建物１３ｂの角のずれ具合も、画像合成地図１６によって容易に確認することができる。この様な修正キャリブレーションを繰り返すことにより、第１キャリブレーションにおいて使用した４点以外の地点についても位置ずれが減少し、マッピング画像１５の全体にわたってマップ画像１４との位置ずれを少なくすることができる。

【0064】

さらに、必要であれば、建物１３ｂの角付近に目標点５を追加指定し、カメラ画像１３上にも対応する参照点４を指定し、参照点４及び目標点５の５つの組によって修正キャリブレーションを行うこともできる。なお、参照点４又は目標点５が変更されれば、修正キャリブレーションを自動的に実行するような構成であっても良い。

【0065】

本実施の形態によれば、第１キャリブレーションによって求められた変換係数を用いて射影変換を行うことにより、カメラ画像１３上の任意の位置が平面地図上の位置に対応づけられたマッピング画像１５をカメラ画像１３から得ることができる。その様なマッピング画像１５と平面地図とを合成した画像合成地図１６を表示することにより、第１キャリブレーションの精度検証を容易化することができる。また、第１キャリブレーションに対する精度検証の結果、ユーザが画像合成地図１６上の目標点５の位置を変更すれば、射影変換の変換係数が補正されるので、カメラ画像１３及び平面地図間におけるカメラキャリブレーションの精度を向上させることができる。

【0066】

さらに、透明化したマッピング画像１５を介して平面地図上の表示オブジェクトが認識可能になるので、マッピング画像１５及び平面地図間で特徴部分のずれ具合を容易に認識することができる。また、カメラ画像１３及び平面地図の明るさやコントラストに応じてマッピング画像１５の透明度を調整することにより、第１キャリブレーションの精度検証を容易化することができるとともに、画像合成地図１６上で目標点５の位置を変更する際に適切な位置を容易に見つけることができる。

【0067】

なお、本実施の形態では、マッピング画像１５を平面地図上に重畳させて画像合成地図１６が作成される場合の例について説明したが、本発明は平面地図及びマッピング画像を合成した画像合成地図の構成をこれに限定するものではない。例えば、平面地図が図形又はシンボルからなる場合や、透明化した平面地図を用いる場合には、平面地図をマッピング画像上に重畳させることによって画像合成地図が形成されるような構成であっても良い。

【0068】

また、本実施の形態では、第１キャリブレーションに使用する参照点４及び目標点５の位置をユーザが指定する場合の例について説明したが、本発明は参照点４及び目標点５の指定方法をこれに限定するものではない。例えば、カメラ画像１３及びマップ画像１４から特徴部分を自動抽出し、抽出された特徴部分に基づいて参照点４及び目標点５を指定するような構成であっても良い。

【0069】

画像上の特徴部分には、エッジや、２つのエッジが交差したコーナーがあり、輝度分布や輝度の変化率に基づいて抽出される。また、カメラ画像１３やマップ画像１４から抽出したエッジやコーナーを画像合成地図１６上に表示することにより、マッピング画像１５及びマップ画像１４間で特徴部分のずれ具合を容易に認識することができる。

【0070】

また、カメラ画像１３から抽出したエッジやコーナーの位置と、マップ画像１４から抽出したエッジやコーナーの位置との間でずれがあれば、カメラ画像１３とマップ画像１４との合致度合をユーザに認識させるために、エッジやコーナーを表すシンボルの表示態様、例えば、色をずれの大きさに応じて異ならせるような構成であっても良い。

【0071】

また、本実施の形態では、監視装置１０がディスプレイ装置１１及び操作部１２を備えた端末装置からなる場合の例について説明したが、本発明は監視装置１０の構成をこれに限定するものではない。例えば、監視カメラ２からカメラ画像を取得して処理する演算装置と、カメラ画像や処理結果を表示し、ユーザ操作を受け付ける端末装置とが、インターネットなどの通信ネットワークを介して接続された監視システムにも本発明は適用することができる。

【符号の説明】

【0072】

１ 監視システム
２ 監視カメラ
４ 参照点
５ 目標点
６ マウスポインタ
１０ 監視装置
１１ ディスプレイ装置
１２ 操作部
１３ カメラ画像
１４ マップ画像
１５ マッピング画像
１６ 画像合成地図
１０１ 地図情報記憶部
１０２ 設定画面表示部
１０３ 射影変換部
１０４ 画像合成部
１０５，１１３ 変換係数記憶部
１０６ 位置指定部
１０７ 位置情報記憶部
１０８ 第１キャリブレーション部
１０９ 目標点変更部
１１０ 第２キャリブレーション部
１１１ 透明度調整部
１１２ 歪み補正部
１１４ 補正係数調整部
２０ ＬＡＮ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】