6352208 三次元モデル処理装置およびカメラ校正システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6352208

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】三次元モデル処理装置およびカメラ校正システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20180625BHJP

   G06T 7/80 20170101ALI20180625BHJP

   G06T 1/00 20060101ALI20180625BHJP

   G01B 11/00 20060101ALI20180625BHJP

   G01B 11/26 20060101ALI20180625BHJP

【ＦＩ】

   G06T7/70 Z

   G06T7/80

   G06T1/00 315

   G01B11/00 A

   G01B11/26

【請求項の数】7

【全頁数】21

(21)【出願番号】特願2015-49705(P2015-49705)

(22)【出願日】2015年3月12日

(65)【公開番号】特開2016-170610(P2016-170610A)

(43)【公開日】2016年9月23日

【審査請求日】2017年4月24日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】宮北 豊

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１１−１７９９０８（ＪＰ，Ａ）

【文献】 特開２００７−２４９５９２（ＪＰ，Ａ）

【文献】 特開２００２−００８０１２（ＪＰ，Ａ）

【文献】 特開２００２−０２４８５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／２６

(57)【特許請求の範囲】

【請求項1】

基点から対象の表面までの奥行きを計測して得た複数の三次元座標データによって構成された前記対象の三次元モデルを記憶している三次元モデル記憶手段と、
それぞれ前記基点からの死角である奥行き未計測領域との境界に位置する前記三次元座標データとなる、当該基点からの向きが互いに隣接し且つ当該基点からの奥行きが所定値以上異なる手前データと奥データとのうち手前データに、前記対象のエッジが存在することを示すエッジ肯定値を前記三次元モデル記憶手段に記憶させるエッジ存在度付与手段と、
を備えたことを特徴とする三次元モデル処理装置。

【請求項2】

請求項１に記載の三次元モデル処理装置であって、さらに、
前記三次元モデルを任意の位置姿勢にて模擬撮影する仮想カメラを設定する仮想カメラ設定手段と、
前記仮想カメラの撮影面にて、前記エッジ肯定値を有する三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する仮想エッジ画像生成手段と、
を備えたことを特徴とする三次元モデル処理装置。

【請求項3】

請求項２に記載の三次元モデル処理装置と、
実カメラが前記対象を撮影した実画像を取得し、前記実画像上にて前記対象のエッジを表すエッジ画素を抽出して実エッジ画像を生成する実エッジ画像生成手段と、
前記実エッジ画像と前記仮想エッジ画像との類似度を算出して、前記類似度を最大化する前記仮想カメラの位置姿勢を前記実カメラの位置姿勢と決定するエッジ画像照合手段と、
を備えたことを特徴とするカメラ校正システム。

【請求項4】

基点から対象の表面までの奥行きを計測して得た複数の三次元座標データによって構成された前記対象の三次元モデルを記憶し、それぞれ前記基点からの死角である奥行き未計測領域との境界に位置する前記三次元座標データとなる、前記基点からの向きが互いに隣接し且つ当該基点からの奥行きが所定値以上異なる手前データと奥データとのうち手前データは、前記対象のエッジが存在することを示すエッジ肯定値を付与されている三次元モデル記憶手段と、
前記三次元モデルを任意の位置姿勢にて模擬撮影する仮想カメラを設定する仮想カメラ設定手段と、
前記仮想カメラの撮影面にて、前記エッジ肯定値を有する三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する仮想エッジ画像生成手段と、
を備えたことを特徴とする三次元モデル処理装置。

【請求項5】

請求項４に記載の三次元モデル処理装置であって、
前記三次元モデル記憶手段に記憶される前記三次元モデルはさらに、前記対象を撮影した画像において隣接画素との輝度差が所定値以上である画素に対応する三次元座標データに前記エッジ肯定値を付与されていること、を特徴とする三次元モデル処理装置。

【請求項6】

請求項４又は請求項５に記載の三次元モデル処理装置であって、
前記三次元モデル記憶手段に記憶される前記三次元モデルはさらに、隣接する三次元座標データとの前記対象の表面の法線ベクトルの差が所定値以上である三次元座標データに前記エッジ肯定値を付与されていること、を特徴とする三次元モデル処理装置。

【請求項7】

対象の表面の位置を表す複数の三次元座標データによって構成され、前記対象の表面に前記三次元座標データが得られていない領域が存在する三次元モデルであって、前記三次元座標データはそれが表す前記位置に前記対象のエッジが存在する可能性の高さを表すエッジ存在度を付与されている三次元モデルを記憶する三次元モデル記憶手段と、
前記対象を撮影するカメラの位置姿勢を、前記エッジ存在度が所定値以上である前記三次元座標データを用いて求める校正手段と、
を備えたことを特徴とするカメラ校正システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定対象を計測した三次元座標データから三次元モデルを生成する三次元モデル処理装置、三次元モデルから任意視点のエッジ画像を生成する三次元モデル処理装置および三次元モデルを利用してカメラを校正するカメラ校正システムに関する。

【背景技術】

【0002】

監視カメラを設置する空間を予め三次元計測して当該空間の三次元モデル（空間モデル）を生成しておけば、空間モデルを用いて監視カメラの撮影画像とマッチする視点を探索することによって、監視カメラの校正が可能となる。その探索においては、様々な位置姿勢の仮想カメラによって空間モデルを模擬撮影し、模擬撮影した画像と監視カメラで実際に撮影した画像とを比較して、エッジの位置が最も一致する仮想カメラの位置姿勢を監視カメラの位置姿勢と決定する。

【0003】

下記非特許文献１には、居室の三次元モデルに対してカメラパラメータが既知の仮想カメラによる任意視点の画像（生成画像）を生成し、携帯カメラで撮影した実画像と生成画像とからそれぞれ抽出したエッジの一種であるＳＩＦＴ（Scale Invariant Feature Transform）をマッチング処理することによって携帯カメラの位置・姿勢を推定することが記載されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】西田純、他、「仮想化現実環境モデルに基づく携帯カメラの位置方位推定に向けて」、電子情報通信学会技術研究報告、vol. 111, no. 101, MVE2011-28, pp. 73-78, 2011年6月

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、実際に三次元計測して得た空間モデルにおいては、オクルージョンによって生じた未計測領域が含まれ得る。この未計測領域が原因で監視カメラの校正などに有用なエッジが減少してしまう問題があった。

【0006】

例えば、警備対象となる部屋を隅々まで三次元計測して回ることは困難であり、距離画像センサなどの計測装置から見て机の陰などにより生じた死角が未計測領域となる。そして、空間モデルを計測時の視点以外から模擬撮影すると、模擬画像上に、死角を作った机の縁が未計測領域と隣り合って現れてしまう。ここで、未計測領域においては、それに隣接して計測された机の面が連続して広がっているのか、又は未計測領域との境界で終わっているのかといった情報が得られない。そのため、机の縁自体は計測できているにもかかわらず監視カメラの校正などに有用な机の縁のエッジを抽出できなくなる。このことは監視カメラの校正精度低下につながる。

【0007】

なお、陰を作った机の縁と模擬画像上で隣り合う未計測領域は、机の縁以外の床などとも隣り合う。そのため、仮に、模擬画像から机の縁のエッジを抽出するために未計測領域と計測領域の境界をエッジとみなしてしまうと、床部分から偽のエッジを抽出することになる。偽のエッジの抽出も、やはり監視カメラの校正精度低下につながる。

【0008】

また、物体を計測して得た三次元モデルを用いた物体認識や共通の空間を計測して得た三次元モデル同士の連結処理などにおいても同様に有用なエッジが減少してしまう問題があった。

【0009】

本発明は、上記問題を鑑みてなされたものであり、未計測領域との境界にある真のエッジを抽出可能な三次元モデルを提供できる三次元モデル処理装置の実現を目的とする。また、本発明は、三次元モデルから未計測領域との境界にある真のエッジを含めた任意視点のエッジ画像を生成できる三次元モデル処理装置の提供を別の目的とする。さらに本発明は、三次元モデルを利用したカメラ校正の精度を向上させることを別の目的とする。

【課題を解決するための手段】

【0010】

（１）本発明に係る三次元モデル処理装置は、基点から対象の表面までの奥行きを計測して得た複数の三次元座標データによって構成された前記対象の三次元モデルを記憶している三次元モデル記憶手段と、それぞれ前記基点からの死角である奥行き未計測領域との境界に位置する前記三次元座標データとなる、当該基点からの向きが互いに隣接し且つ当該基点からの奥行きが所定値以上異なる手前データと奥データとのうち手前データに、前記対象のエッジが存在することを示すエッジ肯定値を前記三次元モデル記憶手段に記憶させるエッジ存在度付与手段と、を備える。

【0011】

（２）他の本発明に係る三次元モデル処理装置は、上記（１）の構成に加え、前記三次元モデルを任意の位置姿勢にて模擬撮影する仮想カメラを設定する仮想カメラ設定手段と、前記仮想カメラの撮影面にて、前記エッジ肯定値を有する三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する仮想エッジ画像生成手段と、を備える。

【0012】

（３）本発明に係るカメラ校正システムは、上記（２）の三次元モデル処理装置と、実カメラが前記対象を撮影した実画像を取得し、前記実画像上にて前記対象のエッジを表すエッジ画素を抽出して実エッジ画像を生成する実エッジ画像生成手段と、前記実エッジ画像と前記仮想エッジ画像との類似度を算出して、前記類似度を最大化する前記仮想カメラの位置姿勢を前記実カメラの位置姿勢と決定するエッジ画像照合手段と、を備える。

【0013】

（４）別の本発明に係る三次元モデル処理装置は、基点から対象の表面までの奥行きを計測して得た複数の三次元座標データによって構成された前記対象の三次元モデルを記憶し、それぞれ前記基点からの死角である奥行き未計測領域との境界に位置する前記三次元座標データとなる、前記基点からの向きが互いに隣接し且つ当該基点からの奥行きが所定値以上異なる手前データと奥データとのうち手前データは、前記対象のエッジが存在することを示すエッジ肯定値を付与されている三次元モデル記憶手段と、前記三次元モデルを任意の位置姿勢にて模擬撮影する仮想カメラを設定する仮想カメラ設定手段と、前記仮想カメラの撮影面にて、前記エッジ肯定値を有する三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する仮想エッジ画像生成手段と、を備える。

【0014】

（５）上記（４）の三次元モデル処理装置において、前記三次元モデル記憶手段に記憶される前記三次元モデルはさらに、前記対象を撮影した画像において隣接画素との輝度差が所定値以上である画素に対応する三次元座標データに前記エッジ肯定値を付与されている構成とすることができる。

【0015】

（６）上記（４）、（５）の三次元モデル処理装置において、前記三次元モデル記憶手段に記憶される前記三次元モデルはさらに、隣接する三次元座標データとの前記対象の表面の法線ベクトルの差が所定値以上である三次元座標データに前記エッジ肯定値を付与されている構成とすることができる。

【0016】

（７）他の本発明に係るカメラ校正システムは、対象の表面の位置を表す複数の三次元座標データによって構成され、前記対象の表面に前記三次元座標データが得られていない領域が存在する三次元モデルであって、前記三次元座標データはそれが表す前記位置に前記対象のエッジが存在する可能性の高さを表すエッジ存在度を付与されている三次元モデルを記憶する三次元モデル記憶手段と、前記対象を撮影するカメラの位置姿勢を、前記エッジ存在度が所定値以上である前記三次元座標データを用いて求める校正手段と、を備える。

【発明の効果】

【0017】

本発明によれば、未計測領域との境界にあるエッジをも抽出可能な三次元モデルを生成できる。また、本発明によれば、未計測領域を含む三次元モデルから未計測領域との境界にあるエッジを含めた任意の視点のエッジ画像を生成できる。また、本発明によれば、計測して得た三次元モデルを利用して精度よくカメラ校正を行うことができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係るカメラ校正システムの概略の構成を示すブロック図である。

【図2】三次元計測装置から入力された計測データを用いて空間モデルを生成する際の三次元データ処理装置の機能ブロック図である。

【図3】三次元計測装置を用いた部屋の計測の様子を示す模式的な斜視図である。

【図4】空間モデルのデータ例を示す模式図である。

【図5】部屋を計測位置から計測した距離画像の模式図である。

【図6】部屋を計測して得られた空間モデルを上方からみた模式図である。

【図7】エッジ存在度の例を説明するための部屋の空間モデルの模式図である。

【図8】部屋の空間モデルを用いて、部屋に設置された監視カメラを校正するときの三次元データ処理装置の概略の機能ブロック図である。

【図9】空間モデル生成時のカメラ校正システムの動作の概略のフロー図である。

【図10】空間モデル生成時のカメラ校正システムの動作の概略のフロー図である。

【図11】カメラ校正時のカメラ校正システムの動作の概略のフロー図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態（以下実施形態という）として、監視カメラが設置された空間の三次元モデル（空間モデル）を利用して監視カメラを校正するカメラ校正システムの例を説明する。このカメラ校正システムには、上記空間を三次元計測した計測データから当該空間の空間モデルを生成し、また、当該空間モデルから任意視点のエッジ画像を生成する三次元モデル処理装置の例が含まれる。

【0020】

［カメラ校正システム１の構成］
図１はカメラ校正システム１の概略の構成を示すブロック図である。カメラ校正システム１は、三次元計測装置２、監視カメラ３、監視装置４及び三次元データ処理装置５からなる。

【0021】

三次元計測装置２は、監視カメラ３が設置された部屋を三次元計測して距離画像を取得すると共に、それと同期して部屋を撮影してＲＧＢ画像を取得し、部屋の距離画像およびＲＧＢ画像を含めた計測データを三次元データ処理装置５に出力する。例えば三次元計測装置２はＲＧＢＤカメラであり、投射したレーザー光が対象表面との往復にかかる時間から距離を計測するＴＯＦ（Time Of Flight）方式の距離センサ、および当該距離センサと同期して同一視野のＲＧＢ画像を撮影するカラーカメラを組み合わせた装置である。なお、カメラは濃淡画像を取得するモノクロカメラであってもよい。すなわち、三次元計測装置２は、計測位置（基点）から所定対象の表面までの奥行きを三次元計測して所定対象の三次元データを三次元データ処理装置５に出力し、好適にはさらに、三次元計測と同期して同一基点から所定対象を撮影し、所定対象の二次元画像を三次元データ処理装置５に出力する。

【0022】

監視カメラ３は校正対象のカメラである。例えば、複数の監視カメラ３がそれぞれ部屋の天井に設置され、天井から部屋を撮影し、監視画像と、予め付与されたカメラＩＤを監視装置４に出力する。また、監視カメラ３の校正時には監視カメラ３は監視画像とカメラＩＤを三次元データ処理装置５に出力する。

【0023】

監視装置４は三次元データ処理装置５から監視カメラ３の位置姿勢（撮影位置姿勢）を含むカメラパラメータを入力され、これを格納する。撮影位置姿勢は、実空間を模した世界座標系における監視カメラ３の撮影位置（光点位置）および撮影姿勢（光軸方向とその回転角）である。そして、この監視カメラ３の撮影位置姿勢を求める処理が校正である。

【0024】

また、監視装置４は監視カメラ３からの監視画像を解析して部屋内を移動する人物を追跡し、不審行動を検知する。不審人物を検知する際、監視装置４は校正されたカメラパラメータを基に監視画像から抽出した変化領域の実サイズなどを求めて変化領域が人によるものか否かなどの判定を行う。

【0025】

三次元データ処理装置５は例えば、ＰＣ（Personal Computer）などのコンピュータで構成される。三次元データ処理装置５は三次元計測装置２から入力された計測データを用いて空間モデルを生成する。また、三次元データ処理装置５は監視カメラ３から監視画像とカメラＩＤとを入力され、監視画像と空間モデルとを基に監視カメラ３を校正し、校正結果である監視カメラ３の撮影位置姿勢を含むカメラパラメータを、対応するカメラＩＤと共に監視装置４に出力する。カメラパラメータには、撮影位置姿勢の他に焦点距離、解像度（幅方向画素数、高さ方向画素数）、レンズ歪みなどが含まれる。これらのうち撮影位置姿勢以外は基本的に変動しない。そのため、撮影位置姿勢以外のカメラパラメータについては監視カメラ３の仕様を参照して得た値、或いは予めの計測により得た値を予め三次元データ処理装置５に記憶させておく。

【0026】

三次元データ処理装置５は計測データ入力部５０、記憶部５１、監視画像入力部５２、制御部５３、出力部５４及びユーザーインターフェース部５５を含む。

【0027】

計測データ入力部５０は三次元計測装置２と制御部５３とを接続する通信インターフェース回路であり、三次元計測装置２から計測データを入力され、これを制御部５３に出力する。

【0028】

記憶部５１はＲＯＭ (Read Only Memory)、ＲＡＭ (Random Access Memory)等の記憶装置であり、各種プログラムや各種データを記憶し、制御部５３との間でこれらの情報を入出力する。

【0029】

監視画像入力部５２は監視カメラ３と制御部５３とを接続する通信インターフェース回路であり、監視カメラ３から撮影画像及びカメラＩＤを入力され、これらを制御部５３に出力する。

【0030】

制御部５３はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成される。制御部５３は記憶部５１からプログラムを読み出して実行することで後述する各手段として機能する。

【0031】

出力部５４は制御部５３と監視装置４とを接続する通信インターフェース回路であり、制御部５３から監視カメラ３のカメラパラメータ及びカメラＩＤを入力され、これらを監視装置４に出力する。

【0032】

ユーザーインターフェース部５５はキーボード、マウス、ディスプレイ等からなるユーザーインターフェース機器である。例えば、設置作業者などのユーザーにより使用され、計測データ中の床面領域を指定するなど各種パラメータの入力作業に用いられる。

【0033】

［空間モデル生成時の三次元データ処理装置５］
図２は三次元計測装置２から入力された計測データを用いて空間モデルを生成するときの三次元データ処理装置５の機能ブロック図である。記憶部５１は空間モデル記憶手段５１０および計測パラメータ記憶手段５１１として機能する。また制御部５３は座標変換手段５３０、エッジ存在度付与手段５３１として機能する。エッジ存在度付与手段５３１は変化点抽出手段５３２とエッジ存在度判定手段５３３とを含む。

【0034】

空間モデル記憶手段５１０は空間モデル、つまり三次元計測装置２の計測により得た所定対象の三次元モデルを記憶する三次元モデル記憶手段である。空間モデルは、座標変換手段５３０が変換した複数の三次元座標データ（ポイントクラウドなどと称される）、各三次元座標データと対応付けられた輝度データ、およびエッジ存在度付与手段５３１により各三次元座標データに付与されたエッジ存在度からなる。ここで、三次元座標データはその位置に物体表面が存在することを意味する。輝度データはその位置における物体表面の色や輝度を表す。エッジ存在度は対応する三次元座標データの位置にエッジが存在する可能性の高さを表す値であり、本実施形態ではエッジ存在度の値域を０．０以上１．０以下であると定義する。エッジ存在度についてはさらに後述する。

【0035】

計測パラメータ記憶手段５１１は三次元計測装置２の計測時の位置姿勢（計測位置姿勢）を含む計測パラメータを記憶する。計測位置姿勢は、実空間を模した世界座標系における三次元計測装置２の計測位置（光点位置）および計測姿勢（光軸方向とその回転角）で表される。計測位置姿勢は座標変換手段５３０により算出される。あるいは別途実測した計測位置姿勢をユーザーインターフェース部５５から予め入力し、これらを記憶してもよい。

【0036】

計測パラメータには、計測位置姿勢の他に焦点距離、解像度（幅方向画素数、高さ方向画素数）などがある。計測位置姿勢以外は基本的に変動しないため、三次元計測装置２の仕様を参照して得た値、或いは予めの計測により得た値を予め記憶させておく。なお画角は焦点距離と解像度とから導出可能である。また、計測パラメータから計測時の投影面が導出できる。

【0037】

座標変換手段５３０は計測データ入力部５０経由で三次元計測装置２から入力された計測データを世界座標系の三次元座標データに座標変換して空間モデル記憶手段５１０に記憶させる。また、座標変換手段５３０は計測データから計測時の三次元計測装置２の計測位置姿勢を算出し、算出した計測位置姿勢を計測パラメータ記憶手段５１１に記憶させる。

【0038】

座標変換処理の概略の手順は、（ａ）距離画像から計測位置を原点とするローカル座標系における三次元点群を計算し、（ｂ）ローカル座標系に世界座標系の基準を設定して世界座標系における計測位置姿勢ＲＴを推定し、（ｃ）ＲＴを使ってローカル座標系の三次元点群を世界座標系の三次元座標データに変換するというものである。以下、各手順を説明する。

【0039】

手順（ａ）では、次式に従い、まず各画素（ｘ，ｙ）の画素値すなわち奥行き値がｄである距離画像（ｘ，ｙ，ｄ）の座標系を三次元計測装置２の光点（計測位置）を原点としたローカル座標系の三次元点群（Ｘc，Ｙc，Ｚc）に変換する。

【数1】

【0040】

ただし、距離画像の中心画素位置を（ｃｘ，ｃｙ）とする。ｆは三次元計測装置２の焦点距離である。

【0041】

手順（ｂ）では、計測位置姿勢ＲＴを算出するために、ローカル座標系の三次元点群のうち床面である点をユーザインターフェース部５５を用いて選択入力させ、この選択入力に基づいて計測位置直下の床面の座標値を算出する。これにより例えば、床面をＸＹ平面、高さ方向をＺ軸、床面上の計測位置直下点を原点とする世界座標系における計測位置姿勢ＲＴ（３×４の行列）を算出することができる。

【0042】

手順（ｃ）では手順（ｂ）で求めたＲＴを利用して次式に従い、ローカル座標系の三次元点群を世界座標系の三次元座標データ（Ｘ，Ｙ，Ｚ）に変換する。

【数2】

【0043】

さらに、座標変換手段５３０はＲＧＢ画像の各画素値を輝度データとして、各画素と対応する距離画像の画素の変換先の三次元座標データと対応付けて、空間モデル記憶手段５１０に記憶させる。

【0044】

図３は三次元計測装置２を用いた部屋６００の計測の様子を示す模式的な斜視図である。部屋６００は、例えば警備対象となる部屋であり、天井には校正対象の監視カメラ３が設置されている。また、部屋６００には床６０１や机６０２が存在し、床６０１には模様６０３が形成されている。ちなみに後述するように、カメラ校正システム１は机６０２の縁などのエッジを監視カメラ３の校正の基準として利用する。

【0045】

監視カメラの設置作業者は三次元計測装置２を用いて部屋６００を三次元計測する。三次元計測装置２は計測位置６５０及び計測姿勢６５１で表される計測位置姿勢にて、各画素が計測位置６５０から床６０１や机６０２の表面の複数点それぞれまでの奥行きを表す距離画像を出力する。さらに、三次元計測装置２は、部屋６００を同一の計測位置姿勢にて撮影したＲＧＢ画像を出力する。ここで、三次元計測装置２は基本的に撮影位置６５２及び撮影姿勢６５３で表される監視カメラ３の撮影位置姿勢とは異なる計測位置姿勢にて部屋６００を計測する。

【0046】

三次元計測装置２が出力する距離画像およびＲＧＢ画像が表す領域は図３において白抜き表示した領域である。この領域を計測領域と呼ぶ。計測領域は部屋６００の全体を網羅できず、オクルージョンが原因で未計測領域が生じる。図３において網掛け表示した未計測領域は机６０２によるオクルージョンが原因で生じた領域であり、基点（計測位置６５０）からの死角である。また、図３において斜線表示した画角外領域は三次元計測装置２の画角外であった領域である。

【0047】

図４は空間モデルのデータ例を示す模式図であり、例えば、三次元座標データ、輝度データ、エッジ存在度を対応付けたテーブル形式で空間モデル記憶手段５１０に記憶されている。ちなみに、図４に示すデータはいずれも計測領域のデータである。１番目の三次元座標データは空間モデルにおいて座標（Ｘ１，Ｙ１，Ｚ１）に物体の表面があり、その色はＲＧＢ表色系での（Ｒ１，Ｇ１，Ｂ１）であり、エッジ存在度の値“１．０”は当該座標に机６０２の縁などのエッジが存在することを示す。２番目の三次元座標データも同様に、空間モデルにおいて座標（Ｘ２，Ｙ２，Ｚ２）に物体表面のエッジが存在し、その色が（Ｒ２，Ｇ２，Ｂ２）であることを示す。３番目の三次元座標データは空間モデルにおいて座標（Ｘ３，Ｙ３，Ｚ３）に物体の表面があり、その色はＲＧＢ表色系での（Ｒ３，Ｇ３，Ｂ３）であり、エッジ存在度の値“０．０”はそこにエッジが存在する可能性が小さいことを示す。

【0048】

さて、距離画像にて奥行きが変化する点は物体の縁などに生じる、カメラの校正などに有用なエッジである。しかし奥行き変化点が空間モデルにおいて未計測領域との境界に位置する三次元座標データであると実際にエッジが存在していても利用できない問題が生じる。しかも物体の縁の近傍はオクルージョンが生じやすいため、有用なエッジが失われやすい。例えば図３の監視カメラ３が撮影する監視画像には未計測領域が含まれる。部屋６００を計測した空間モデルを用いて監視カメラ３が撮影する監視画像を模擬すると、未計測領域の境界には机６０２の縁と床６０１の平面とが混在する。共に未計測領域との境界に位置する机６０２の縁の三次元座標データと床６０１の平面の三次元座標データとを識別できない限り机６０２の縁に現れる有用なエッジを棄てざるを得ない。本発明ではエッジ存在度付与手段５３１により当該有用なエッジが存在する三次元座標データを識別し、識別した三次元座標データにエッジが存在することを示すエッジ肯定値を付与することで、有用なエッジを活用可能な三次元モデルを生成する。

【0049】

エッジ存在度付与手段５３１は空間モデルを構成する複数の三次元座標データにエッジ存在度を付与する。既に述べたようにエッジ存在度は対応する三次元座標データの位置にエッジが存在する可能性の高さを表す値であり、三次元座標データがエッジの位置であるか否かを識別するための情報である。

【0050】

対象表面でのエッジは、物体の凹凸により特定視点からの奥行きが大きく変化する三次元座標データが示す位置、同じく物体の凹凸により法線方向が大きく変化する三次元座標データが示す位置、物体表面の模様等により輝度が大きく変化する三次元座標データが示す位置に現れる。エッジ存在度付与手段５３１は変化点抽出手段５３２及びエッジ存在度判定手段５３３により、これらの三次元座標データにエッジ肯定値を付与し空間モデル記憶手段５１０に記憶させる。

【0051】

変化点抽出手段５３２は空間モデルを構成する複数の三次元座標データの中から奥行き変化点、法線方向変化点および輝度変化点を抽出し、これらをエッジ存在度判定手段５３３に出力する。

【0052】

まず、奥行き変化点の抽出について説明する。変化点抽出手段５３２は、計測位置から計測した距離画像上で隣り合う画素間で奥行きの差を算出して予め定めたしきい値Ｔｄと比較し、しきい値Ｔｄ以上の奥行きの差が算出された画素と対応する三次元座標データを奥行き変化点として抽出する。距離画像上で隣り合う画素と対応する三次元座標データは、空間モデルにおいて基点（計測位置）からの向き（視線方向）が互いに隣接する三次元座標データである。例えば、距離画像に所定のエッジオペレータを適用して各画素の奥行きエッジ強度を算出し、奥行きエッジ強度が予め定めたしきい値Ｔｅ以上の画素と対応する三次元座標データを奥行き変化点として抽出すればよい。ＴｅはＴｄ以上の奥行きの差を抽出し損なわない範囲に設定しておく。

【0053】

エッジオペレータにはソーベルオペレータ（Sobel Operator）を用いることができるが、ラプラシアンフィルタ（Laplacian Filter）など他の公知のオペレータを用いてもよい。

【0054】

本実施形態では三次元計測装置２から入力される距離画像を奥行き変化点の抽出に用いる。一方、三次元計測装置２からの距離画像を直接用いずに、空間モデルと計測パラメータとから上記距離画像を再現し、再現した距離画像から奥行き変化点を抽出してもよい。具体的には、空間モデルを構成する複数の三次元座標データそれぞれについて計測位置からの奥行きを算出し、算出した奥行きを計測パラメータが表す投影面に投影すれば上記距離画像を再現できる。なお、再現する距離画像の画角は三次元計測装置２の画角に合わせる。計測時には記憶部５１に距離画像を格納せずに座標変換手段５３０の処理だけを行っておき、エッジ存在度付与手段５３１の処理は計測後の別時刻に実行できる。当該構成は記憶部５１の容量や制御部５３の処理能力が低いときに有効である。

【0055】

次に法線方向変化点の抽出について説明する。変化点抽出手段５３２は対象表面の形状を表す空間モデルにおいて対象表面の法線方向が予め定めたしきい値Ｔｎ以上の変化を示す三次元座標データを法線方向変化点として抽出する。まず変化点抽出手段５３２は、各画素とその周辺の三次元座標データとを用いて法線ベクトルを算出する。具体的には注目画素の三次元座標データをＰ０とし、注目画素の周辺の点（例えば右隣）の三次元座標データをＰ１、注目画素の周辺の他の点（例えば下隣）の三次元座標データをＰ２とする。注目画素の三次元位置から周辺の点までのベクトルをそれぞれＶｅｃ１＝Ｐ１−Ｐ０，Ｖｅｃ２＝Ｐ２−Ｐ０とする。法線ベクトルはＶｅｃ１とＶｅｃ２との外積から算出することができ、法線ベクトルＮｏｒｍ＝Ｖｅｃ１×Ｖｅｃ２となる。次に、変化点抽出手段５３２は各画素の法線ベクトルとその周辺画素の法線ベクトルとのなす角度を算出し、その総和がしきい値Ｔｎ以上である画素を法線方向変化点として抽出する。法線方向変化点は空間に存在する物体の凹凸部分にて抽出される。

【0056】

次に輝度変化点の抽出について説明する。変化点抽出手段５３２は計測位置姿勢にて空間モデルが表す空間を撮影したＲＧＢ画像から隣接画素との輝度差が予め定めたしきい値Ｔｉ以上である輝度変化点を抽出する。本実施形態では輝度差としてエッジ強度を利用する。変化点抽出手段５３２は上述のＲＧＢ画像の各画素に所定のエッジオペレータを適用して当該画素とその周囲画素とのエッジ強度を算出し、エッジ強度がしきい値Ｔｉ以上である画素を輝度変化点として抽出する。輝度変化点は空間に存在する物体の模様部分などにて抽出される。

【0057】

本実施形態では三次元計測装置２から入力されるＲＧＢ画像を輝度変化点の抽出に用いる。一方、三次元計測装置２からのＲＧＢ画像を直接用いずに、空間モデルと計測パラメータとから上記ＲＧＢ画像を再現し、再現したＲＧＢ画像から輝度変化点を抽出してもよい。具体的には、空間モデルを構成する複数の三次元座標データについて対応する輝度データを計測パラメータが表す投影面に投影するレンダリング処理によりＲＧＢ画像を再現できる。なお、再現するＲＧＢ画像の画角は三次元計測装置２の画角に合わせる。計測時には記憶部５１にＲＧＢ画像を格納せずに座標変換手段５３０の処理だけを行っておき、エッジ存在度付与手段５３１の処理は計測後の別時刻に実行できる。当該構成は記憶部５１の容量や制御部５３の処理能力が低いときに有効である。

【0058】

エッジ存在度判定手段５３３は変化点抽出手段５３２により抽出された奥行き変化点、法線方向変化点および輝度変化点それぞれについてエッジ存在度を判定し空間モデル記憶手段５１０に記憶させる。

【0059】

エッジ存在度判定手段５３３は奥行き変化点の三次元座標データのうち手前側の三次元座標データ（手前データ）に、エッジが存在することを示すエッジ存在度としてエッジ肯定値を付与し、奥側の三次元座標データ（奥データ）にはエッジ肯定値を付与しない。この取り扱いについて説明する。手前データと奥データとの間の奥行きのギャップからは、それら三次元座標データ間にて他の三次元座標データが得られず対象表面形状が計測されていない、つまり未計測領域となっていること、及び手前データと奥データとは当該未計測領域の境界に位置していることが推察される。しかしながら、手前データは三次元計測装置２から見て物体の凸部の先端位置にて抽出されるので、エッジの位置であるとすることができる。一方、奥データについてはそれが位置する対象表面とそれに隣接する未計測領域での対象表面とが平滑につながっている可能性を否定できないため、エッジの位置とすることは妥当ではない。よって上述のように手前データのみをエッジの位置とする。これにより未計測領域との境界に位置する三次元座標データのうち、実際に物体の外形部分のエッジが存在する三次元座標データに、エッジが存在することを示すエッジ存在度（エッジ肯定値）を付与でき、実際にエッジが存在する可能性が低い三次元座標データに、エッジが存在しないことを示すエッジ存在度（エッジ否定値）を付与できる。

【0060】

本実施形態では、エッジ肯定値を１．０、エッジ否定値を０．０とする。すなわち、エッジ存在度判定手段５３３は奥行き変化点の三次元座標データのうち手前側の三次元座標データに対するエッジ存在度を１．０と判定し、奥側の三次元座標データに対するエッジ存在度を０．０と判定し、判定したエッジ存在度を空間モデル記憶手段５１０に記憶させる。例えば、エッジ存在度判定手段５３３は、各奥行き変化点に注目し、計測位置姿勢にて計測された距離画像上で隣接する奥行き変化点に奥行き値がしきい値Ｔｄ以上大きなもの、つまり奥側の三次元座標データが存在すれば、注目している奥行き変化点は手前側の三次元座標データであるとしてそのエッジ存在度を１．０と判定し、存在しなければエッジ存在度を０．０と判定する。

【0061】

次にエッジ存在度判定手段５３３は、法線方向変化点に対応する三次元座標データにエッジ肯定値を付与する。具体的には、エッジ存在度判定手段５３３は変化点抽出手段５３２により抽出された法線方向変化点のうち奥行き変化点ではない三次元座標データに対するエッジ存在度を１．０と判定し、判定したエッジ存在度を空間モデル記憶手段５１０に記憶させる。これにより物体の外形以外の凹凸部分にエッジ肯定値を付与できる。

【0062】

さらにエッジ存在度判定手段５３３は、変化点抽出手段５３２により抽出された各輝度変化点について、当該輝度変化点と対応する位置の三次元座標データにエッジ肯定値を付与する。具体的には、エッジ存在度判定手段５３３は、輝度変化点のうち奥行き変化点ではない三次元座標データに対するエッジ存在度を１．０と判定し、判定したエッジ存在度を空間モデル記憶手段５１０に記憶させる。これにより模様部分などにエッジ肯定値を付与できる。

【0063】

さらにエッジ存在度判定手段５３３は、上記以外の三次元座標データ、すなわち、奥行き変化点でなく、且つ法線方向変化点でもなく、且つ輝度変化点でもない三次元座標データに対するエッジ存在度を０．０と判定し、判定したエッジ存在度を空間モデル記憶手段５１０に記憶させる。

【0064】

ここで図５及び図６を用いて奥行き変化点に対するエッジ存在度の付与の例を説明する。図５は、部屋６００を計測位置６５０から計測した距離画像７５０の模式図であり、図５（ａ）は距離画像７５０の全体を示し、図５（ｂ）は距離画像７５０の一部領域７５１を示している。また、図６は部屋６００を計測して得られた空間モデル８００を上方からみた模式図である。図６において網かけ部は未計測領域８０３であり、領域８０４は床６０１の平面を表す三次元座標データ群、また領域８０５は机６０２の上面を表す三次元座標データ群である。

【0065】

図５（ａ）は図３に示したような位置関係で三次元計測装置２により取得した距離画像であり、その画角内には机６０２と床６０１が存在する。一部領域７５１は机の縁６０２を含む５×５画素の領域であり、小さい四角は画素を表し、当該四角内の数値は奥行き値を表している。奥行き値の単位はセンチメートル（ｃｍ）である。しきい値Ｔｄは１０ｃｍとし、領域７５１の中では、領域７５２および領域７５３として示した奥行きエッジ強度の高い１０画素が奥行き変化点として抽出される。領域７５２の画素７５４に対応する図６の三次元座標データ８０１は机６０２側面の縁部分の１点を表しておりエッジが実在する三次元座標データであるが、これに対し領域７５３の画素７５５に対応する図６の三次元座標データ８０２は床６０１の平面上の１点を表しておりエッジが実在しない三次元座標データである。これら三次元座標データ８０１，８０２は共に未計測領域８０３との境界に位置する。

【0066】

距離画像上で画素７５４について隣り合う画素との奥行き値を比較すると、しきい値Ｔｄを超えて４０ｃｍ大きい画素が存在するため、画素７５４は手前の奥行き変化点と判定され、画素７５４と対応する机６０２の縁部分の三次元座標データ８０１に対してエッジ肯定値１．０が付与される。

【0067】

他方、距離画像上で画素７５５について隣り合う画素との奥行き値を比較すると、画素７５５よりも大きな奥行き値の画素が存在しないため、画素７５５は奥の奥行き変化点と判定され、画素７５５と対応する床６０１の三次元座標データ８０２に対してエッジ否定値０．０が付与される。

【0068】

このようにして未計測領域８０３との境界に位置する三次元座標データのうち、エッジが実在する三次元座標データには、エッジ肯定値を付与でき、エッジが実在する可能性が低い三次元座標データには、エッジ否定値を付与できる。

【0069】

図７はエッジ存在度の例を説明するための部屋６００の空間モデルの模式図である。図７において、実線部（直線Ｐ１−Ｐ２，Ｐ１−Ｐ３，Ｐ１−Ｐ５，Ｐ２−Ｐ４，Ｐ３−Ｐ４，Ｐ３−Ｐ６，Ｐ４−Ｐ７，Ｐ５−Ｐ６，Ｐ６−Ｐ７部および直線群Ｓ）の三次元座標データにエッジ肯定値１．０が付与され、それ以外の三次元座標データにエッジ否定値０．０が付与されている。

【0070】

これら実線部のうち直線Ｐ１−Ｐ２，Ｐ１−Ｐ５，Ｐ２−Ｐ４およびＰ４−Ｐ７部の三次元座標データには手前の奥行き変化点としてエッジ肯定値１．０が付与されている。手前の奥行き変化点と判定されたこれらの三次元座標データは未計測領域（網掛け部）との境界に位置し、従来技術ではカメラ校正等に利用できなかったエッジであるが、本発明ではエッジ肯定値が付与されカメラ校正等に利用可能となる。

【0071】

実線部のうち直線Ｐ１−Ｐ３，Ｐ３−Ｐ４，Ｐ３−Ｐ６，Ｐ５−Ｐ６およびＰ６−Ｐ７部の三次元座標データには法線方向変化点または輝度変化点としてエッジ肯定値１．０が付与され、また、実線部のうち直線群Ｓには輝度変化点としてエッジ肯定値１．０が付与されている。

【0072】

［カメラ校正時の三次元データ処理装置５］
図８は部屋６００の空間モデルを用いて、部屋６００に設置された監視カメラ３を校正するときの三次元データ処理装置５の概略の機能ブロック図である。

【0073】

記憶部５１は空間モデル記憶手段５１０として機能し、制御部５３は実エッジ画像生成手段５３５、仮想カメラ設定手段５３６、仮想エッジ画像生成手段５３７およびエッジ画像照合手段５３８などとして機能する。

【0074】

実エッジ画像生成手段５３５は監視カメラ３（実カメラ）から入力された各監視画像（実画像）からエッジを抽出してエッジ画像を生成し、生成したエッジ画像を、対応するカメラＩＤと共にエッジ画像照合手段５３８に出力する。後述する仮想エッジ画像生成手段５３７が生成するエッジ画像と区別するために、ここで生成するエッジ画像を実エッジ画像と呼ぶ。

【0075】

実エッジ画像生成手段５３５は監視画像における周囲画素との輝度差が予め定めたしきい値Ｔｉ以上である輝度変化点に対応する画素に画素値“１”、それ以外の画素に画素値“０”を設定して実エッジ画像を生成する。本実施形態では輝度差としてエッジ強度を利用する。実エッジ画像生成手段５３５は監視画像の各画素にソーベルオペレータなど所定のエッジオペレータを適用しエッジ強度を算出する。

【0076】

仮想カメラ設定手段５３６は空間モデル内で部屋６００を任意の位置姿勢にて模擬撮影する仮想カメラを複数設定し、設定した仮想カメラのカメラパラメータを仮想エッジ画像生成手段５３７に出力する。仮想カメラのカメラパラメ―タに含まれる位置姿勢は校正対象である監視カメラ３の撮影位置姿勢の候補である。カメラパラメータのうち位置姿勢以外の焦点距離、解像度、レンズ歪みなどは予め記憶させてある監視カメラ３の値を用いる。

【0077】

仮想カメラ設定手段５３６は空間モデルのＸＹＺ座標系において原点から予め定めた微小間隔でＸ方向、Ｙ方向、Ｚ方向に仮想カメラの位置を移動させると共に仮想カメラの姿勢（ピッチ角、ヨー角、ロール角）を予め定めた微小間隔で変更して総当たり的に複数の仮想カメラを設定してもよいが、ユーザーインターフェース部５５から予め監視カメラ３の設置仕様等に基づく設定範囲を入力し、当該範囲内に仮想カメラを設定することでカメラ校正の処理量を減ずることができる。例えば、設置仕様が鉛直下方に向けて天井設置する仕様であれば、天井高を予め入力しておくことで、仮想カメラのＺ方向の移動範囲とピッチ角の変動範囲を大幅に狭くできる。また、設置仕様に定められたＸ座標、Ｙ座標、Ｚ座標、ピッチ角、ヨー角、ロール角を予め入力し、入力した各値を中心として予め定めた設置誤差範囲内に一定の微小間隔で複数の仮想カメラを設定してもよいし、入力した各値から離れるに従って広がる微小間隔で複数の仮想カメラを設定してもよい。

【0078】

仮想エッジ画像生成手段５３７は、仮想カメラ設定手段５３６が設定した各カメラパラメータが表す撮影面に部屋６００の空間モデルを投影してエッジ画像を生成し、生成したエッジ画像をエッジ画像照合手段５３８に出力する。ここで生成するエッジ画像を仮想エッジ画像と呼ぶ。

【0079】

具体的には、空間モデルを構成する三次元座標データのうちエッジ存在度がエッジ肯定値“１．０”である三次元座標データを撮影面に投影し、エッジ存在度がエッジ否定値“０．０”である三次元座標データを投影しないことで、仮想カメラの撮影面にて、エッジ肯定値を有する三次元座標データの投影位置をエッジ画素とする仮想エッジ画像を生成する。なお、この際、Ｚバッファ法、Ｚソート法などの隠面消去法により、仮想カメラの撮影位置から見て手前の面の三次元座標データのみを投影する。

【0080】

距離画像の奥行き変化点にて上述のようにしてエッジ存在度を定義したことにより、当該奥行き変化点に対応して空間モデルに生じる未計測領域の境界にて実在するエッジを仮想エッジ画像に含ませることができる。

【0081】

ここで、計測視点からの距離よりも仮想視点からの距離の方が遠い三次元座標データにエッジが実在していても、当該仮想視点に監視カメラ３が存在した場合に得られる監視画像においては、当該三次元座標データと対応する画素位置の解像度が低下してエッジが抽出されない場合がある。そこで、空間モデルを構成する三次元座標データに対応付けられた輝度データを各仮想視点が表す撮影面に投影した投影像（レンダリング画像）からエッジ画像を生成し、仮想エッジ画像を、生成したエッジ画像と仮想エッジ画像との論理積画像に置き換えてもよい。特にこのとき、仮想視点からの距離が遠い三次元座標データについては、レンダリング画像の１画素に複数の三次元座標データが投影される。仮想エッジ画像生成手段５３７はこれら複数の三次元座標データに対応付けられた輝度データの平均値を投影先の画素に設定する。なお、レンダリング画像に投影される未計測領域には外れ値（例えばＲＧＢ値（２５５，２５５，２５５））を与えておけばよい。このようにするとレンダリング画像における未計測領域との境界から実在しないエッジが抽出され得るが、このエッジは仮想エッジ画像との論理積演算により消去されるため問題とならない。この輝度データの平均化によって、解像度の低下によるエッジの不抽出を再現でき、実エッジ画像と仮想エッジ画像の照合精度を向上させることができる。

【0082】

エッジ画像照合手段５３８は実エッジ画像生成手段５３５が生成した実エッジ画像と仮想エッジ画像生成手段５３７が仮想カメラのカメラパラメータごとに生成した仮想エッジ画像との類似度を算出し、実エッジ画像に類似する仮想エッジ画像を与える仮想カメラの位置姿勢を監視カメラ３の位置姿勢と決定する。例えばエッジ画像照合手段５３８は最も類似度が高い仮想カメラの位置姿勢を監視カメラ３の位置姿勢と決定する。

【0083】

ここで、類似度はエッジ位置の一致度合いに応じた値になるように定義される。例えば、エッジ位置の一致数を仮想エッジ画像のエッジ画素数、または実エッジ画像のエッジ画素数と仮想エッジ画像のエッジ画素数との和で除した値を類似度としてもよい。また例えば、仮想エッジ画像の各エッジ位置から実エッジ画像の最近傍エッジ位置までの距離、または実エッジ画像の各エッジ位置から仮想エッジ画像の最近傍エッジ位置までの距離を累積し、その累積値の逆数に応じた値を仮想エッジ画像のエッジ画素数、または実エッジ画像のエッジ画素数と仮想エッジ画像のエッジ画素数との和で除した値を類似度としてもよい。また、類似度に、輝度データの一致度合いを重み付け加算して類似度を補正してもよい。この場合、監視画像と上記レンダリング画像との間で対応する画素同士で画素値の正規化相関値を輝度データの一致度合いとすることができる。

【0084】

ちなみに、本発明に係る三次元モデル処理装置は、空間モデル記憶手段５１０、エッジ存在度付与手段５３１、仮想カメラ設定手段５３６および仮想エッジ画像生成手段５３７を含み、本発明に係るカメラ校正システムは、当該三次元モデル処理装置と、実エッジ画像生成手段５３５およびエッジ画像照合手段５３８とを含んで構成される。

【0085】

［空間モデル生成時のカメラ校正システム１の動作］
図９及び図１０は空間モデル生成時のカメラ校正システム１の動作の概略のフロー図である。三次元計測装置２が部屋６００の計測を行うと、三次元計測装置２から三次元データ処理装置５に計測データが入力される。三次元データ処理装置５は入力された計測データに対して図９及び図１０に示す一連の処理を行い、部屋６００の空間モデルを生成する。

【0086】

計測データ入力部５０は三次元計測装置２から計測データ、すなわち計測位置姿勢にて計測した距離画像と、同計測位置姿勢にて撮影したＲＧＢ画像とを取得し、これらを制御部５３に入力する（ステップＳ１０）。

【0087】

制御部５３は座標変換手段５３０として動作し、座標変換手段５３０は、ステップＳ１０にて取得した距離画像から計測位置姿勢を算出して、計測パラメータ記憶手段５１１として機能する記憶部５１に記憶させる（ステップＳ１１）。

【0088】

座標変換手段５３０は、ステップＳ１１にて算出した計測位置姿勢を用い、ステップＳ１０にて取得した距離画像の各画素を三次元座標データに変換して空間モデル記憶手段５１０として機能する記憶部５１に記憶させる（ステップＳ１２）。さらに、後段の処理のために距離画像の画素と三次元座標データとの対応関係も空間モデル記憶手段５１０に一時記憶させておく。また、座標変換手段５３０は、ステップＳ１０にて取得したＲＧＢ画像の各画素値を、対応する距離画像の画素の変換先となった三次元座標データに輝度データとして紐づけて空間モデル記憶手段５１０に記憶させる。

【0089】

また、制御部５３はエッジ存在度付与手段５３１として動作し、ステップＳ１３〜Ｓ２５の処理を行う。まず、エッジ存在度付与手段５３１の変化点抽出手段５３２は、ステップＳ１０にて取得した距離画像の各画素におけるエッジ強度を算出して、エッジ強度がしきい値Ｔｅ以上である画素を奥行き変化点として抽出する（ステップＳ１３）。

【0090】

次にエッジ存在度付与手段５３１のエッジ存在度判定手段５３３は、変化点抽出手段５３２が抽出した奥行き変化点を順次、注目変化点に設定してエッジ存在度を付与するステップＳ１４〜Ｓ１８のループ処理を実行する。

【0091】

エッジ存在度判定手段５３３は、距離画像上で注目変化点の８近傍画素にて抽出された各奥行き変化点の奥行き値から注目変化点の奥行き値を減じて奥行き差を算出し、算出した各奥行き差をしきい値Ｔｄと比較する（ステップＳ１５）。８近傍点のうちに奥行き差がしきい値Ｔｄ以上のものが１つでもあれば（Ｓ１５にてＹＥＳの場合）、注目している奥行き変化点にはしきい値Ｔｄ以上奥の隣接奥行き変化点があり、従って注目している三次元座標データは計測位置からの奥行きが所定値以上の変化を示す変化点の三次元座標データのうち手前側の三次元座標データであるとして、注目している三次元座標データに対応付けてエッジ存在度１．０を空間モデル記憶手段５１０に記憶させる（ステップＳ１６）。

【0092】

このエッジ存在度付与により、未計測領域の境界に位置するものも含めて、計測位置姿勢にて観測される物体の外形部分の三次元座標データにエッジが存在することが識別可能となる。そしてエッジ存在度１．０が付与された空間モデルを用いることにより未計測領域の境界に位置するエッジを有効活用することが可能となる。

【0093】

一方、８近傍点のうちに奥行き差がしきい値Ｔｄ以上のものが１つもなければ（Ｓ１５にてＮＯの場合）、注目している三次元座標データは計測位置からの奥行きが所定値以上の変化を示す変化点の三次元座標データのうち奥側の三次元座標データであるとして、注目している三次元座標データに対応付けてエッジ存在度０．０を空間モデル記憶手段５１０に記憶させる（ステップＳ１７）。

【0094】

このエッジ存在度付与により、未計測領域の境界に位置する三次元座標データのうちエッジが存在する可能性の低い三次元座標データが識別可能になる。

【0095】

エッジ存在度判定手段５３３は、全ての奥行き変化点を処理したか確認し（ステップＳ１８）、未処理のものがある場合は（Ｓ１８にてＮＯの場合）ステップＳ１４に戻り、次の奥行き変化点の処理を行う。一方、全ての奥行き変化点を処理し終えた場合は処理をステップＳ１９に進める（Ｓ１８にてＹＥＳの場合）。

【0096】

変化点抽出手段５３２は、ステップＳ１０にて取得した距離画像の各画素における法線方向を算出して各画素の法線方向とその周囲画素の法線方向との差を算出し、差がしきい値Ｔｎ以上の周囲画素が存在する画素を法線方向変化点として抽出する（ステップＳ１９）。

【0097】

また、変化点抽出手段５３２は、ステップＳ１０にて取得した二次元画像の各画素におけるエッジ強度を算出し、エッジ強度がしきい値Ｔｉ以上である画素を輝度変化点として抽出する（ステップＳ２０）。

【0098】

エッジ存在度判定手段５３３は、変化点抽出手段５３２が抽出した法線方向変化点および輝度変化点を順次、注目変化点に設定してエッジ存在度を判定するステップＳ２１〜Ｓ２４のループ処理を実行する。ちなみに当該ループ処理では、同一の三次元座標データに対応する法線方向変化点および輝度変化点はひとつにまとめて処理すればよい。

【0099】

エッジ存在度判定手段５３３は、注目変化点が既に奥行き変化点として処理したものか否かを確認し（ステップＳ２２）、奥行き変化点として処理していない場合は（Ｓ２２にてＮＯの場合）、注目変化点として注目している三次元座標データに対応付けてエッジ存在度１．０を空間モデル記憶手段５１０に記憶させる（ステップＳ２３）。

【0100】

一方、注目変化点がすでに奥行き変化点として処理したものである場合は（Ｓ２２にてＹＥＳの場合）、ステップＳ２３をスキップすることでステップＳ１６，Ｓ１７で付与したエッジ存在度を維持する。

【0101】

エッジ存在度判定手段５３３は、全ての法線方向変化点および輝度変化点を処理したか確認し（ステップＳ２４）、未処理のものがある場合は（Ｓ２４にてＮＯの場合）ステップＳ２１に戻り、次の変化点の処理を行う。一方、全ての法線方向変化点および輝度変化点を処理し終えた場合は処理をステップＳ２５に進める（Ｓ２４にてＮＯの場合）。

【0102】

エッジ存在度判定手段５３３は、空間モデル記憶手段５１０に記憶されている空間モデルにおいて未だエッジ存在度が付与されていない三次元座標データを抽出し、抽出した三次元座標データにエッジ存在度０．０を対応付けて空間モデル記憶手段５１０に記憶させる（ステップＳ２５）。

【0103】

複数の計測位置６５０・計測姿勢６５１にて計測データを取得する場合には、各計測データについて上述の処理を行うことができ、これにより未計測領域を減らし、より多くのエッジを抽出することが可能である。

【0104】

［カメラ校正時のカメラ校正システム１の動作］
図１１はカメラ校正時のカメラ校正システム１の動作の概略のフロー図である。部屋６００に設置された監視カメラ３が部屋６００の撮影を行うと、監視カメラ３から三次元データ処理装置５に監視画像が入力される。三次元データ処理装置５は入力された監視画像に対して図１１に示す一連の処理を行い、監視カメラ３の校正を行う。

【0105】

監視画像入力部５２は監視カメラ３から監視画像を取得し、これを制御部５３に入力する（ステップＳ５０）。制御部５３は実エッジ画像生成手段５３５として動作し、ステップＳ５０にて取得した監視画像の各画素にエッジオペレータを適用して実エッジ画像を生成する（ステップＳ５１）。

【0106】

次に制御部５３は仮想カメラ設定手段５３６として動作し、空間モデルの座標系に互いに位置姿勢の異なる複数の仮想カメラを設定する（ステップＳ５２）。

【0107】

そして、制御部５３は仮想エッジ画像生成手段５３７として動作し、ステップＳ５２にて設定された各仮想カメラの撮影面に仮想エッジ画像を生成する（ステップＳ５３）。具体的には、仮想エッジ画像生成手段５３７は空間モデル記憶手段５１０から部屋６００の空間モデルを読み出し、ステップＳ５２にて設定された各仮想カメラのカメラパラメータが表す撮影面にエッジ存在度１．０が付与された三次元座標データを投影して仮想エッジ画像を生成する。また同投影面に輝度データをレンダリングし、レンダリングした画像の各画素にエッジオペレータを適用してエッジ画像を生成し、仮想エッジ画像を、生成したエッジ画像との論理積画像に更新する。

【0108】

制御部５３はエッジ画像照合手段５３８として動作し、ステップＳ５１にて生成した実エッジ画像と、ステップＳ５３にて生成した仮想カメラごとの仮想エッジ画像それぞれとの類似度を算出する（ステップＳ５４）。エッジ画像照合手段５３８は、ステップＳ５４にて算出した仮想カメラごとの類似度に基づいて、最大の類似度が算出された仮想カメラの位置姿勢を検出し、検出した仮想カメラの位置姿勢を監視カメラ３の位置姿勢と決定して監視カメラ３のカメラＩＤと共に出力部５４に入力する（ステップＳ５５）。

【0109】

ここで決定される監視カメラ３の位置姿勢は、空間モデルにおいて未計測領域の境界に位置するエッジをも利用して求めた高精度な推定結果となっている。

【0110】

出力部５４は、監視カメラ３の位置姿勢とカメラＩＤを監視装置４に入力する。監視装置４は入力された監視カメラ３の位置姿勢を格納し、以降の監視処理にて利用する。

【0111】

［変形例］
（１）上記実施形態においては、エッジ存在度付与手段５３１がエッジ存在度としてエッジ否定値“０．０”またはエッジ肯定値“１．０”のいずれかの値を付与する例を示したが、エッジ肯定値として２種類以上のエッジ存在度を付与してもよい。その場合、エッジ存在度付与手段５３１は、例えば、奥行き変化点に対しては０．５、法線方向変化点に対しては０．８、輝度変化点に対しては１．０、法線方向変化点且つ輝度変化点である変化点に対しては０．８のエッジ存在度を付与する。そして、エッジ画像照合手段５３８は仮想エッジ画像のエッジ位置をエッジ存在度で重み付けて実エッジ画像との類似度を算出する。例えば、縁に丸みのある机などでは、奥行き変化点および法線方向変化点として検出される机の縁のエッジの位置が計測位置姿勢と撮影位置姿勢の違いによって微小にずれる。一方、輝度変化点として検出される平面上のエッジはこのようなずれは生じにくい。このように複数種類のエッジ肯定値を用いることで、より実際的なエッジ情報を三次元モデルに付与できる。

【0112】

（２）上記実施形態では、三次元モデルとして所定空間を計測して得た空間モデルを例示したが、三次元モデルは什器等の所定物体を計測して得た物体モデルであってもよい。

【0113】

（３）上記実施形態では、三次元座標データが三次元空間中の点を表すポイントクラウド形式の三次元モデルを例示したが、物体面の頂点座標の集合を含むメッシュモデル形式の三次元モデルであってもよい。その場合、例えば、任意の頂点座標のペアを三次元座標データとし（つまり直線単位の三次元座標データとし）、エッジ存在度付与手段５３１は当該三次元座標データに対してエッジ存在度を付与する。

【0114】

（４）上記実施形態においては監視カメラ３が１台の例を説明したが、監視カメラは２台以上でもよく、その場合は各監視カメラに上記例と同様の処理を繰り返せばよい。

【0115】

（５）上記実施形態においては、撮影位置姿勢が固定されたカメラを校正するカメラ校正システムを例示したが、本発明は、パン・チルト動作するカメラ、ロボット等の移動体に設置されたカメラ、人が手持ちしたカメラなど撮影位置姿勢が変動するカメラを校正するカメラ校正システムにも適用することができる。すなわち、これらのカメラを校正する場合は、撮影位置姿勢が変動した後の撮影画像が入力されるたびに校正を行えばよい。

【0116】

（６）上記実施形態では、エッジ存在度を付与した三次元モデルを投影して仮想エッジ画像を生成する例を示したが、エッジ存在度を付与した空間モデルは投影せずとも三次元データ間の位置合わせや照合の精度を向上させる効果を奏する。例えば、互いに異なる複数の計測視点から計測して得た空間モデル或いは物体モデルのそれぞれにエッジ存在度を付与し、これら複数の空間モデル或いは複数の物体モデルを、エッジが存在することを示すエッジ存在度が付与された三次元座標データを重視して位置合わせすれば、位置合わせ精度を向上させることができる。また例えば、所定物体を計測して得た物体モデルにエッジ存在度を付与して、該物体モデルと未知物体を計測して得た三次元データとを照合して物体認識を行う際に、エッジが存在することを示すエッジ存在度が付与された三次元座標データを重視して照合を行えば照合精度を向上させることができる。

【0117】

（７）上記実施形態では、仮想エッジ画像を利用してカメラを校正する例を示したが、当該仮想エッジ画像を利用して物体照合の精度を向上させることも可能である。例えば、所定物体を計測して得た物体モデルにエッジ存在度を付与して仮想エッジ画像を生成し、撮影画像から生成した実エッジ画像との照合を行えば、撮影画像に写っている物体が所定物体であるか否かを判定する精度を向上させることができる。

【符号の説明】

【0118】

１ カメラ校正システム、２ 三次元計測装置、３ 監視カメラ、４ 監視装置、５ 三次元データ処理装置、５０ 計測データ入力部、５１ 記憶部、５２ 監視画像入力部、５３ 制御部、５４ 出力部、５５ ユーザーインターフェース部、５１０ 空間モデル記憶手段、５１１ 計測パラメータ記憶手段、５３０ 座標変換手段、５３１ エッジ存在度付与手段、５３２ 変化点抽出手段、５３３ エッジ存在度判定手段、５３５ 実エッジ画像生成手段、５３６ 仮想カメラ設定手段、５３７ 仮想エッジ画像生成手段、５３８ エッジ画像照合手段、６００ 部屋、６０１ 床、６０２ 机、６０３ 模様、６５０ 計測位置、６５１ 計測姿勢、６５２ 撮影位置、６５３ 撮影姿勢。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】