知財求人 - 知財ポータルサイト「IP Force」
▶ コリア アドバンスト インスティテュート オブ サイエンス アンド テクノロジーの特許一覧 ▶ ミルテック カンパニー，リミテッドの特許一覧
特開2024-72284マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024072284
(43)【公開日】2024-05-27
(54)【発明の名称】マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法および装置
(51)【国際特許分類】
G01B 11/25 20060101AFI20240520BHJP
G01C 3/00 20060101ALI20240520BHJP
G06T 19/00 20110101ALI20240520BHJP
【ＦＩ】
G01B11/25 H
G01C3/00 120
G06T19/00 A
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023194302
(22)【出願日】2023-11-15
(31)【優先権主張番号】10-2022-0152975
(32)【優先日】2022-11-15
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】518366555
【氏名又は名称】コリア アドバンスト インスティテュート オブ サイエンス アンド テクノロジー
(71)【出願人】
【識別番号】518368009
【氏名又は名称】ミルテック カンパニー，リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】キム・ミンヒョク
(72)【発明者】
【氏名】チョ・ヒョンジュン
【テーマコード（参考）】
2F065
2F112
5B050
【Ｆターム（参考）】
2F065AA53
2F065BB05
2F112AC06
2F112CA12
2F112CA13
2F112DA02
2F112FA03
2F112FA41
5B050AA10
5B050BA09
5B050BA13
5B050CA01
5B050DA01
5B050EA07
5B050EA13
5B050EA26
5B050FA02
(57)【要約】 （修正有）
【課題】マルチビューシステムにおける３Ｄ復元作業の品質を高める３次元キャリブレーション方法および装置を提供する。
【解決手段】位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つ以上のカメラとプロジェクタのパラメータから３Ｄ復元に必要なデータである位相（ｐｈａｓｅ）を取得する段階１１０、カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義してカメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行する段階１２０、および最適化されたカメラおよびプロジェクタのパラメータを利用して深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求める段階１３０を含む。
【選択図】図１０
【解決手段】位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つ以上のカメラとプロジェクタのパラメータから３Ｄ復元に必要なデータである位相（ｐｈａｓｅ）を取得する段階１１０、カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義してカメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行する段階１２０、および最適化されたカメラおよびプロジェクタのパラメータを利用して深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求める段階１３０を含む。
【選択図】図１０
【特許請求の範囲】
【請求項1】
コンピュータ装置によって実行されるマルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法であって、
位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つ以上のカメラおよびプロジェクタのパラメータで３Ｄ復元に必要なデータである位相（ｐｈａｓｅ）を取得する段階、
カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義して、前記カメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行する段階、および
最適化された前記カメラおよびプロジェクタのパラメータを利用して、深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求める段階
を含む、３次元キャリブレーション方法。
位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つ以上のカメラおよびプロジェクタのパラメータで３Ｄ復元に必要なデータである位相（ｐｈａｓｅ）を取得する段階、
カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義して、前記カメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行する段階、および
最適化された前記カメラおよびプロジェクタのパラメータを利用して、深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求める段階
を含む、３次元キャリブレーション方法。
【請求項2】
前記位相（ｐｈａｓｅ）を取得する段階は、
前記プロジェクタが一連の構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）イメージを投影する段階、
投影した光がオブジェクトで反射して少なくとも１つのカメラのセンサで感知される段階、および
一対のカメラおよびプロジェクタで３Ｄ復元に必要な前記位相（ｐｈａｓｅ）を取得する段階
を含む、請求項１に記載の３次元キャリブレーション方法。
前記プロジェクタが一連の構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）イメージを投影する段階、
投影した光がオブジェクトで反射して少なくとも１つのカメラのセンサで感知される段階、および
一対のカメラおよびプロジェクタで３Ｄ復元に必要な前記位相（ｐｈａｓｅ）を取得する段階
を含む、請求項１に記載の３次元キャリブレーション方法。
【請求項3】
前記位相（ｐｈａｓｅ）を取得する段階は、
上部に位置するメインカメラおよび少なくとも１つ以上の側面に位置するサイドカメラが構成され、前記メインカメラおよび前記サイドカメラの間に位置する前記プロジェクタを利用し、位相測定プロファイロメトリ（ＰＭＰ）方法に基づいて位相（ｐｈａｓｅ）を取得すること
を特徴とする、請求項１に記載の３次元キャリブレーション方法。
上部に位置するメインカメラおよび少なくとも１つ以上の側面に位置するサイドカメラが構成され、前記メインカメラおよび前記サイドカメラの間に位置する前記プロジェクタを利用し、位相測定プロファイロメトリ（ＰＭＰ）方法に基づいて位相（ｐｈａｓｅ）を取得すること
を特徴とする、請求項１に記載の３次元キャリブレーション方法。
【請求項4】
前記ポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）のすべての点に対してワールド（ｗｏｒｌｄ）座標からカメラ座標への変換を実行し、前記カメラ座標のｚ値を格納して各前記カメラおよびプロジェクタの対ごとに深度マップ（ｄｅｐｔｈ ｍａｐ）を求める段階、および
前記深度マップ（ｄｅｐｔｈ ｍａｐ）の誤差を補正するためにすべての前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、前記信頼度（ｃｏｎｆｉｄｅｎｃｅ）に基づいてそれぞれの前記深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって最終ポイントクラウドを取得することによって３Ｄ復元を実行する段階
をさらに含む、請求項１に記載の３次元キャリブレーション方法。
前記深度マップ（ｄｅｐｔｈ ｍａｐ）の誤差を補正するためにすべての前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、前記信頼度（ｃｏｎｆｉｄｅｎｃｅ）に基づいてそれぞれの前記深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって最終ポイントクラウドを取得することによって３Ｄ復元を実行する段階
をさらに含む、請求項１に記載の３次元キャリブレーション方法。
【請求項5】
前記最終ポイントクラウドの取得にともなって３Ｄ復元を実行する段階、
前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算するときに、各ピクセルの深度（ｄｅｐｔｈ）を通じて得られる３Ｄ空間における点に対して、メインカメラに見える点の場合には、対応する信頼度（ｃｏｎｆｉｄｅｎｃｅ）とともにメインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）と加重合算によって深度マップの融合がなされる段階、および
前記メインカメラに見えない点の場合には、残りのサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）で加重合算によって深度マップ融合がなされる段階
を含む、請求項４に記載の３次元キャリブレーション方法。
前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算するときに、各ピクセルの深度（ｄｅｐｔｈ）を通じて得られる３Ｄ空間における点に対して、メインカメラに見える点の場合には、対応する信頼度（ｃｏｎｆｉｄｅｎｃｅ）とともにメインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）と加重合算によって深度マップの融合がなされる段階、および
前記メインカメラに見えない点の場合には、残りのサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）で加重合算によって深度マップ融合がなされる段階
を含む、請求項４に記載の３次元キャリブレーション方法。
【請求項6】
マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション装置であって、
位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つ以上のカメラおよびプロジェクタのパラメータで３Ｄ復元に必要なデータである位相（ｐｈａｓｅ）を取得する位相取得部、
カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義して、前記カメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を行うキャリブレーション部、および
最適化された前記カメラおよびプロジェクタのパラメータを利用して深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求めるポイントクラウド取得部
を含む、３次元キャリブレーション装置。
位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つ以上のカメラおよびプロジェクタのパラメータで３Ｄ復元に必要なデータである位相（ｐｈａｓｅ）を取得する位相取得部、
カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義して、前記カメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を行うキャリブレーション部、および
最適化された前記カメラおよびプロジェクタのパラメータを利用して深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求めるポイントクラウド取得部
を含む、３次元キャリブレーション装置。
【請求項7】
前記位相取得部は、
前記プロジェクタが一連の構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）イメージを投影し、投影した光がオブジェクトで反射して少なくとも１つ以上の前記カメラのセンサで感知され、一対のカメラおよびプロジェクタで３Ｄ復元に必要な前記位相（ｐｈａｓｅ）を取得すること
を特徴とする、請求項６に記載の３次元キャリブレーション装置。
前記プロジェクタが一連の構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）イメージを投影し、投影した光がオブジェクトで反射して少なくとも１つ以上の前記カメラのセンサで感知され、一対のカメラおよびプロジェクタで３Ｄ復元に必要な前記位相（ｐｈａｓｅ）を取得すること
を特徴とする、請求項６に記載の３次元キャリブレーション装置。
【請求項8】
前記位相取得部は、
上部に位置するメインカメラおよび少なくとも１つ以上の側面に位置するサイドカメラが構成され、前記メインカメラおよび前記サイドカメラの間に位置する前記プロジェクタを利用し、位相測定プロファイロメトリ（ＰＭＰ）方法に基づいて位相（ｐｈａｓｅ）を取得すること
を特徴とする、請求項６に記載の３次元キャリブレーション装置。
上部に位置するメインカメラおよび少なくとも１つ以上の側面に位置するサイドカメラが構成され、前記メインカメラおよび前記サイドカメラの間に位置する前記プロジェクタを利用し、位相測定プロファイロメトリ（ＰＭＰ）方法に基づいて位相（ｐｈａｓｅ）を取得すること
を特徴とする、請求項６に記載の３次元キャリブレーション装置。
【請求項9】
前記ポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）のすべての点に対してワールド（ｗｏｒｌｄ）座標からカメラ座標への変換を実行し、前記カメラ座標のｚ値を格納して各前記カメラおよびプロジェクタの対ごとに深度マップ（ｄｅｐｔｈ ｍａｐ）を求める深度マップ取得部、および
前記深度マップ（ｄｅｐｔｈ ｍａｐ）の誤差を補正するためにすべての前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、前記信頼度（ｃｏｎｆｉｄｅｎｃｅ）に基づいてそれぞれの前記深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって最終ポイントクラウドを取得することによって３Ｄ復元を実行する深度マップ融合部
をさらに含む、請求項６に記載の３次元キャリブレーション装置。
前記深度マップ（ｄｅｐｔｈ ｍａｐ）の誤差を補正するためにすべての前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、前記信頼度（ｃｏｎｆｉｄｅｎｃｅ）に基づいてそれぞれの前記深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって最終ポイントクラウドを取得することによって３Ｄ復元を実行する深度マップ融合部
をさらに含む、請求項６に記載の３次元キャリブレーション装置。
【請求項10】
前記深度マップ融合部は、
前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算するときに、各ピクセルの深度（ｄｅｐｔｈ）を通じて得られる３Ｄ空間における点に対して、メインカメラに見える点の場合には、対応する信頼度（ｃｏｎｆｉｄｅｎｃｅ）とともにメインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）と加重合算によって深度マップ融合がなされ、前記メインカメラに見えない点の場合には、残りのサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）で加重合算によって深度マップ融合がなされること
を特徴とする、請求項９に記載の３次元キャリブレーション装置。
前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算するときに、各ピクセルの深度（ｄｅｐｔｈ）を通じて得られる３Ｄ空間における点に対して、メインカメラに見える点の場合には、対応する信頼度（ｃｏｎｆｉｄｅｎｃｅ）とともにメインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）と加重合算によって深度マップ融合がなされ、前記メインカメラに見えない点の場合には、残りのサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）で加重合算によって深度マップ融合がなされること
を特徴とする、請求項９に記載の３次元キャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の実施形態は、マルチビュー（ｍｕｌｔｉ－ｖｉｅｗ）位相移動プロファイロメトリのための３次元キャリブレーション方法および装置に関し、より詳細には、マルチビューシステムにおける３Ｄ復元作業の品質を高める、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法および装置に関する。
【背景技術】
【0002】
３次元空間に存在するオブジェクトの幾何学的データの取得、すなわち３Ｄスキャンは、多くの価値をもつ技術である。特に、半導体のようなオブジェクトの３Ｄ形状に関する情報を取得してこれを検査する装置のように、無限の活用性を備えた技術であると言える。
【0003】
３Ｄスキャン技術の代表的なものとして位相測定プロファイロメトリー（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）が挙げられるが、これはカメラとプロジェクタを活用するものであって、プロジェクタで予め定義された構造化光イメージを投影し、これをカメラがキャプチャしてオブジェクトの３Ｄ情報を取得する方法である。しかし、このような方法でオブジェクトの３Ｄスキャンを行う場合は、取得しようとする地点をカメラが見ることができなければならず、そこにプロジェクタが照射した光が到達しなければならないという制約がある。例えば、システムの上方向から下方向にカメラが存在する場合、３Ｄスキャン結果として得られるオブジェクトの側面データが極めて乏しくなる。したがって、すべての方向でオブジェクトの３Ｄスキャンを行うためには、プロジェクタができる限り多様な方向から光を照射し、それを多様な位置に存在するカメラで撮影することが必要となる。
【0004】
これだけでなく、高品質の結果物を得るためには、１対のカメラとプロジェクタの組み合わせだけで３Ｄデータを得るよりも、このような３Ｄデータを組み合わせたものから必要のないポイント（ｐｏｉｎｔ）は捨て、より信頼性の高いポイントを中心にしてデータを処理する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
実施形態は、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法および装置について説明するものであり、より具体的には、上部および側面カメラを多数配置したシステムでプロジェクタおよびカメラの位置情報を含む多様なパラメータを最適化し、これによってマルチビューシステムにおける３Ｄ復元作業の品質を高める技術を提供する。
【0006】
実施形態は、キャリブレーションターゲットを対象にして撮影を行った後、メインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）にサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）を追加して深度マップ融合（ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）をなしてから最終３Ｄポイントクラウドを取得することにより、３Ｄ復元のためのＰＭＰシステムのキャリブレーションを１つのターゲットだけでなすことができ、ターゲットを動かして追加の撮影を行う必要がなく１つのシーンだけでキャリブレーションおよび３Ｄ復元を行うことができる、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法および装置を提供する。
【課題を解決するための手段】
【0007】
一実施形態において、コンピュータ装置によって実行されるマルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法は、位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つのカメラおよびプロジェクタのパラメータから３次元復元に必要なデータである位相を取得する段階、カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義して、前記カメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行する段階、および最適化された前記カメラおよびプロジェクタのパラメータを利用して深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求める段階を含んでよい。
【0008】
前記位相（ｐｈａｓｅ）を取得する段階は、前記プロジェクタが一連の構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）イメージを投影する段階、投影された光がオブジェクトで反射して少なくとも１つ以上の前記カメラのセンサで感知される段階、および１対のカメラおよびプロジェクタで３Ｄ復元に必要な前記位相（ｐｈａｓｅ）を取得する段階を含んでよい。
【0009】
前記位相（ｐｈａｓｅ）を取得する段階は、上部に位置するメインカメラおよび少なくとも１つ以上の側面に位置するサイドカメラが構成され、前記メインカメラおよび前記サイドカメラの間に位置する前記プロジェクタを利用し、位相測定プロファイロメトリ（ＰＭＰ）方法に基づいて位相（ｐｈａｓｅ）を取得してよい。
【0010】
前記ポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）のすべての点に対してワールド（ｗｏｒｌｄ）座標からカメラ座標への変換を行い、前記カメラ座標のｚ値を格納して各前記カメラおよびプロジェクタの対ごとに深度マップ（ｄｅｐｔｈ ｍａｐ）を求める段階、および前記深度マップ（ｄｅｐｔｈ ｍａｐ）の誤差を補正するためにすべての前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、前記信頼度（ｃｏｎｆｉｄｅｎｃｅ）に基づいてそれぞれの前記深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって最終ポイントクラウドを取得することによって３Ｄ復元を実行する段階をさらに含んでよい。
【0011】
前記最終ポイントクラウドを取得することによって３Ｄ復元を実行する段階は、前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算するときに、各ピクセルの深度（ｄｅｐｔｈ）から得られる３Ｄ空間における点に対して、メインカメラに見える点の場合には、対応する信頼度（ｃｏｎｆｉｄｅｎｃｅ）とともにメインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）と加重合計によって深度マップ融合がなされる段階、および前記メインカメラに見えない点の場合には、残りのサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）で加重合計によって深度マップ融合がなされる段階を含んでよい。
【0012】
他の実施形態において、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション装置は、位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つのカメラおよびプロジェクタのパラメータで３Ｄ復元に必要なデータである位相を取得する位相取得部、カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義して、前記カメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を行うキャリブレーション部、および最適化された前記カメラおよびプロジェクタのパラメータを利用して深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求めるポイントクラウド取得部を含んでよい。
【0013】
前記位相取得部は、前記プロジェクタが一連の構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）イメージを投影し、投影された光がオブジェクトで反射して少なくとも１つ以上の前記カメラのセンサで感知され、１対のカメラおよびプロジェクタで３Ｄ復元に必要な前記位相（ｐｈａｓｅ）を取得してよい。
【0014】
前記位相取得部は、上部に位置するメインカメラおよび少なくとも１つ以上の側面に位置するサイドカメラが構成され、前記メインカメラおよび前記サイドカメラの間に位置する前記プロジェクタを利用し、位相測定プロファイロメトリ（ＰＭＰ）方法に基づいて位相（ｐｈａｓｅ）を取得してよい。
【0015】
前記ポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）のすべての点に対してワールド（ｗｏｒｌｄ）座標からカメラ座標への変換を行い、前記カメラ座標のｚ値を格納して各前記カメラおよびプロジェクタの対ごとに深度マップ（ｄｅｐｔｈ ｍａｐ）を求める深度マップ取得部、および前記深度マップ（ｄｅｐｔｈ ｍａｐ）の誤差を補正するためにすべての前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、前記信頼度（ｃｏｎｆｉｄｅｎｃｅ）に基づいてそれぞれの前記深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって最終ポイントクラウドを取得することによって３Ｄ復元を実行する深度マップ融合部をさらに含んでよい。
【0016】
前記深度マップ融合部は、前記深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算するときに、各ピクセルの深度（ｄｅｐｔｈ）から得られる３Ｄ空間における点に対して、メインカメラに見える点の場合には、対応する信頼度（ｃｏｎｆｉｄｅｎｃｅ）とともにメインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）と加重合計によって深度マップ融合がなされ、前記メインカメラに見えない点の場合には、残りのサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）で加重合計によって深度マップ融合がなされてよい。
【発明の効果】
【0017】
実施形態によると、上部および側面カメラを多数配置したシステムでプロジェクタおよびカメラの位置情報を含む多様なパラメータを最適化し、これによってマルチビューシステムにおける３Ｄ復元作業の品質を高める、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法および装置を提供することができる。
【0018】
また、実施形態によると、キャリブレーションターゲットを対象にして撮影を行った後、メインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）にサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）を追加して深度マップ融合（ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）をなしてから最終３Ｄポイントクラウドを取得することにより、３Ｄ復元のためのＰＭＰシステムのキャリブレーションを１つのターゲットだけでなすことができ、ターゲットを動かして追加の撮影を行う必要がなく１つのシーンだけでキャリブレーションおよび３Ｄ復元を行うことができるマルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法および装置を提供することができる。
【図面の簡単な説明】
【0019】
【図1A】一実施形態における、キャリブレーションターゲットの３Ｄモデルを示した図である。
【図1B】一実施形態における、キャリブレーションターゲットのＡｒＵｃｏマーカーなどを含んだ２Ｄ図面を示した図である。
【図2A】一実施形態における、キャリブレーションターゲットの実際の撮影イメージを示した図である。
【図2B】一実施形態における、キャリブレーションターゲットの実際の撮影イメージを示した図である。
【図3A】一実施形態における、イメージからＡｒＵｃｏマーカー感知結果、および認識されたマーカーを最適化したパラメータを利用して再投影（ｒｅｐｒｏｊｅｃｔｉｏｎ）させた結果を示した図である。
【図3B】一実施形態における、イメージからＡｒＵｃｏマーカー感知結果、および認識されたマーカーを最適化したパラメータを利用して再投影（ｒｅｐｒｏｊｅｃｔｉｏｎ）させた結果を示した図である。
【図4】一実施形態における、プロジェクタが投影するイメージの一例（縦軸）を示した図である。
【図5A】一実施形態における、カメラで撮影した構造化光パターンイメージのデコード結果を示した図である。
【図5B】一実施形態における、カメラで撮影した構造化光パターンイメージのデコード結果を示した図である。
【図6A】一実施形態における、位相アンラッピング入力値および出力値を示した図である。
【図6B】一実施形態における、位相アンラッピング入力値および出力値を示した図である。
【図7】一実施形態における、カメラピクセル座標および位相（ｐｈａｓｅ）による３Ｄデータの取得を説明するための図である。
【図8A】一実施形態における、深度マップ（ｄｅｐｔｈ ｍａｐ）の信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算する過程を示した図である。
【図8B】一実施形態における、深度マップ（ｄｅｐｔｈ ｍａｐ）の信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算する過程を示した図である。
【図9】一実施形態における、ターゲットイメージと深度マップ（ｄｅｐｔｈ ｍａｐ）、および信頼度マップ（ｃｏｎｆｉｄｅｎｃｅ ｍａｐ）を示した図である。
【図10】一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法を示したフローチャートである。
【図11】一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション装置を示したブロック図である。
【図12】一実施形態における、深度マップ（ｄｅｐｔｈ ｍａｐ）融合を説明するための図である。
【図13A】一実施形態における、最終３Ｄポイントクラウドを示した図である。
【図13B】一実施形態における、最終３Ｄポイントクラウドを示した図である。
【発明を実施するための形態】
【0020】
以下、添付の図面を参照しながら実施形態について説明する。しかし、記述する実施形態は多様な他の形態に変形することが可能であるため、本発明の範囲が後述する実施形態によって限定されてはならない。また、多様な実施形態は、当該技術分野において通常の知識を有する者に本発明をより完全に説明するために提供されるものである。図面において、要素の形状や大きさなどは、より明確な説明のために誇張して示すこともある。
【0021】
実施形態は、システムの上部に位置するメインカメラと側面に位置するサイドカメラ、その間に位置するプロジェクタを活用してオブジェクトの３Ｄ復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実行することを目標とする。このために、通常的に活用することが可能な位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法によってオブジェクトの３Ｄデータを取得する。
【0022】
先ず、ＰＭＰ方式において、プロジェクタが一連の構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）イメージを投影し、この光がオブジェクトで反射してカメラのセンサで感知される。この過程において、１対のカメラ－プロジェクタで３Ｄ復元に必要なデータ、すなわち、位相（ｐｈａｓｅ）を得ることができる。このような構造化光イメージを生成する過程をエンコーディング（ｅｎｃｏｄｉｎｇ）、カメラでキャプチャしたイメージを位相マップ（ｐｈａｓｅ ｍａｐ）に変える過程をデコーディング（ｄｅｃｏｄｉｎｇ）と呼ぶが、ＰＭＰ方法の最終的な目標は、カメラごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義し、これを最適化することにある。
【0023】
位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数は、位相（ｐｈａｓｅ）を深度（ｄｅｐｔｈ）に変換するものであって、多様な形態のモデルで表現されてよいが、本実施形態ではステレオモデル（ｓｔｅｒｅｏ ｍｏｄｅｌ）を採用した。ステレオ三角測量モデル（ｓｔｅｒｅｏ ｔｒｉａｎｇｕｌａｔｉｏｎ ｍｏｄｅｌ）とは、プロジェクタを１つのピンホールカメラ（ｐｉｎｈｏｌｅ ｃａｍｅｒａ）でモデリングし、従来のステレオマッチングと同じ方式によって３Ｄデータを取得する。ステレオ三角測量モデルにおいて、位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数は、カメラおよびプロジェクタの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）および外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）の関数として表現してよい。したがって、本実施形態の主な目標は、カメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）過程を確立することにあると見ることができる。
【0024】
カメラおよびプロジェクタのキャリブレーションを実行すると同時に、すべてのカメラ－プロジェクタの組み合わせそれぞれの位相深度関数を定義してよい。
【0025】
しかし、上述したような過程では、各カメラ－プロジェクタのそれぞれの組み合わせから得られる３Ｄデータが独立したポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）の形態または深度マップ（ｄｅｐｔｈ ｍａｐ）の形態で得られるようになるが、これらの間に誤差が発生することがある。したがって、それぞれの深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって３Ｄ復元が最終的に完結となる。このような信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）の過程では、それぞれの深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルごとに信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算するようになる。このとき、各ピクセルの深度（ｄｅｐｔｈ）から得られる３Ｄ空間の点は、上部のメインカメラに見える場合とそうでない場合の２つに分けられてよい。
【0026】
メインカメラに見える点の場合は、対応する信頼度（ｃｏｎｆｉｄｅｎｃｅ）とともにメインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）と加重合計（ｗｅｉｇｈｔｅｄ ｓｕｍ）によって深度マップ融合（ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）がなされ、メインカメラに見えない点の場合は、残りのサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）で加重合計（ｗｅｉｇｈｔｅｄ ｓｕｍ）によって深度マップ融合（ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）がなされる。
【0027】
以下、一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法および装置についてより詳しく説明する。
【0028】
表１は、表記法を示している。
【0029】
【表1】
【0030】
カメラパラメータ
カメラパラメータは、Ｒ、ｔのような外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）、Ｋとレンズ歪み（ｌｅｎｓ ｄｉｓｔｏｒｔｉｏｎ）係数（ｋ１、ｋ２、ｋ３）で構成される内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）に分けられてよい。外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）は、ｗｏｒｌｄ座標系とカメラ座標系との関係に関するパラメータであり、３Ｄ空間上に存在する点のｗｏｒｌｄ座標Ｘｗとカメラ座標Ｘｃの間には次のような関係が成立する。
カメラパラメータは、Ｒ、ｔのような外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）、Ｋとレンズ歪み（ｌｅｎｓ ｄｉｓｔｏｒｔｉｏｎ）係数（ｋ１、ｋ２、ｋ３）で構成される内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）に分けられてよい。外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）は、ｗｏｒｌｄ座標系とカメラ座標系との関係に関するパラメータであり、３Ｄ空間上に存在する点のｗｏｒｌｄ座標Ｘｗとカメラ座標Ｘｃの間には次のような関係が成立する。
【0031】
【数1】
このとき、Ｒ，ｔは、３次元空間でのそれぞれのｒｉｇｉｄ－ｂｏｄｙ ｔｒａｎｓｆｏｒｍを表現する３×３、３×１行列として次のように表現することができる。
【0032】
【数2】
・・・（２）
【0033】
数式（２）で、ベクトルｑは、ｔｒａｎｓｌａｔｉｏｎ３つとｑｕａｔｅｒｎｉｏｎ３つ、合計６つの構成要素（ｅｌｅｍｅｎｔ）で構成されている。
【0034】
ピンホールカメラモデル（ｐｉｎｈｏｌｅ ｃａｍｅｒａ ｍｏｄｅｌ）において、ｐｃは、正規化されたイメージ平面（ｎｏｒｍａｌｉｚｅｄ ｉｍａｇｅ ｐｌａｎｅ）、すなわち、カメラ座標系上でｚ＝１の平面に投影される。
【0035】
【数3】
【0036】
数式（３）において、
は、ｘｃのｈｏｍｏｇｅｎｅｏｕｓ ｃｏｏｒｄｉｎａｔｅを意味する。一方、システム上部のメインカメラのようにテレセントリックレンズ（ｔｅｌｅｃｅｎｔｒｉｃ ｌｅｎｓ）を使用するカメラは、少し異なる方法で投影される。
【0037】
【数4】
【0038】
カメラの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）は、ｘｎとピクセル座標ｐの関係を規定する。先ず、カメラレンズによる放射状歪み（ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）の補正は、正規化されたイメージ座標（ｎｏｒｍａｌｉｚｅｄ ｉｍａｇｅ ｃｏｏｒｄｉｎａｔｅ）でなされる。
【0039】
【数5】
【0040】
【0041】
【数6】
【0042】
以上の過程によって、任意の３Ｄ ｐｏｉｎｔ Ｘｗからピクセル座標ｐあるいはその逆を計算することができる。
【0043】
キャリブレーションターゲットの構成
カメラレンズによる歪みがないと仮定する場合、ピンホールカメラモデル（ｐｉｎｈｏｌｅ ｃａｍｅｒａ ｍｏｄｅｌ）の３ＤポイントＸｗと対応するピクセルｐとの関係は次のとおりとなる。
カメラレンズによる歪みがないと仮定する場合、ピンホールカメラモデル（ｐｉｎｈｏｌｅ ｃａｍｅｒａ ｍｏｄｅｌ）の３ＤポイントＸｗと対応するピクセルｐとの関係は次のとおりとなる。
【0044】
【数7】
【0045】
ｓはｈｏｍｏｇｅｎｅｏｕｓ ｃｏｏｒｄｉｎａｔｅ
のスカラー係数（ｓｃａｌｅ ｆａｃｔｏｒ）、
は焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、ｕ０、ｖ０はｐｒｉｎｃｉｐｌｅ ｐｏｉｎｔを意味する。一方、テレセントリックモデル（ｔｅｌｅｃｅｎｔｒｉｃ ｍｏｄｅｌ）の場合は、次のとおりとなる。
【0046】
【数8】
【0047】
ここで、Ｒ、ｔは、該当のチェッカーボードの座標系からカメラ座標系への変換行列である。このとき、一平面上に存在するチェッカーボードと対応するピクセルとの関係は、ｚｗ＝０の条件を追加して説明することができる。
【0048】
【数9】
【0049】
同様に、テレセントリックレンズ（ｔｅｌｅｃｅｎｔｒｉｃ ｌｅｎｓ）カメラの場合は、次のように示すことができる。
【0050】
【数10】
【0051】
ここで、ホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）Ｈは、予め定義されたチェッカーボードのコーナーの座標とイメージで認識されたピクセル座標の値に基づいてｃｌｏｓｅｄ－ｆｏｒｍによって解を求めることができる。このようなホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）は、Ｋと外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）Ｒ、ｔの積で構成されているが、Ｈからパラメータを逆に計算するためには、多様なｏｒｉｅｎｔａｔｉｏｎのチェッカーボードイメージを撮影してホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）を複数確保しなければならない。理論的にすべてのパラメータの解を求めるためには、最小で３つのホモグラフィーが必要となる。
【0052】
したがって、一般的なカメラキャリブレーション過程は、チェッカーボードパターンが刻まれた平面の角度などを多様に変えながらイメージを取得することから始まる。しかし、マルチビューシステムの利点を生かすために、さらに後述するプロジェクタキャリブレーションを実行するために、新たなキャリブレーションターゲットオブジェクトを提案した。
【0053】
図１は、一実施形態における、キャリブレーションターゲットの３ＤモデルおよびＡｒＵｃｏマーカーなどを含む２Ｄ図面を示している。より具体的に説明すると、図１（ａ）は、一実施形態における、キャリブレーションターゲットの３Ｄモデルを示しており、図１（ｂ）は、一実施形態における、ＡｒＵｃｏマーカーなどを含む２Ｄ図面を示している。
【0054】
図２は、一実施形態における、キャリブレーションターゲットの実際の撮影イメージを示している。より具体的に説明すると、図２（ａ）は、一実施形態における、上部に位置するメインカメラで撮影したイメージを示しており、図２（ｂ）は、一実施形態における、サイドカメラ０１（西側）で撮影したイメージを示している。
【0055】
本実施形態を実施しながら提案したキャリブレーションターゲットは、以下の条件を満たすように設計した。
【0056】
－一カメラが最大限多くの平面を見ることができなければならない。
－一平面を見ることができるカメラが最小で２台以上なければならない。
－より正確なホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）計算のために、一平面上に最小で３つのＡｒＵｃｏマーカーを配置しなければならない。
－同じＩＤをもつＡｒＵｃｏマーカーは複数回にわたって使用しない。
－一平面を見ることができるカメラが最小で２台以上なければならない。
－より正確なホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）計算のために、一平面上に最小で３つのＡｒＵｃｏマーカーを配置しなければならない。
－同じＩＤをもつＡｒＵｃｏマーカーは複数回にわたって使用しない。
【0057】
ターゲットの各ＡｒＵｃｏマーカーＩＤは重複しないため、カメラでとあるマーカーを認識したとき、そのコーナーがどの平面上に存在するのかが分かる。また、各ｗｏｒｌｄ座標系は最底平面を基準にして定義し、残りの平面上の座標系はＲ、ｔに基づいてｗｏｒｌｄ座標系に変換してよい。例えば、ｉ番目の平面のローカル座標系からｗｏｒｌｄ座標系への変換を
とすると、次のように示すことができる。
【0058】
【数11】
【0059】
カメラキャリブレーション
図３は、一実施形態における、イメージからのＡｒＵｃｏマーカーの感知結果および認識されたマーカーを最適化されたパラメータを利用して再投影（ｒｅｐｒｏｊｅｃｔｉｏｎ）させた結果を示している。より具体的に説明すると、図３（ａ）は、一実施形態における、イメージからのＡｒＵｃｏマーカーの感知結果を示しており、図３（ｂ）は、一実施形態における、認識されたマーカーを最適化されたパラメータを利用して再投影（ｒｅｐｒｏｊｅｃｔｉｏｎ）させた結果を示している。図３（ａ）のイメージはカメラ歪みの補正が適用されていないのに対し、図３（ｂ）のイメージはカメラ歪みが補正されている。
図３は、一実施形態における、イメージからのＡｒＵｃｏマーカーの感知結果および認識されたマーカーを最適化されたパラメータを利用して再投影（ｒｅｐｒｏｊｅｃｔｉｏｎ）させた結果を示している。より具体的に説明すると、図３（ａ）は、一実施形態における、イメージからのＡｒＵｃｏマーカーの感知結果を示しており、図３（ｂ）は、一実施形態における、認識されたマーカーを最適化されたパラメータを利用して再投影（ｒｅｐｒｏｊｅｃｔｉｏｎ）させた結果を示している。図３（ａ）のイメージはカメラ歪みの補正が適用されていないのに対し、図３（ｂ）のイメージはカメラ歪みが補正されている。
【0060】
１枚のイメージごとにチェッカーボードパターンを１回ずつ撮影するという一般的なリブレーション方法では、１枚のイメージごとに１つのホモグラフィーが計算され、このときのチェッカーボードパターンは広いピクセルにわたって撮影される。これに対し、複数のチェッカーボード平面が１枚のイメージで撮影される本実施形態に係る方法では、１つのチェッカーボードパターンがイメージ内の狭い領域だけで有効に作用するようになる。実際のカメラの場合、レンズによる歪み現象が存在し、この歪み現象は線形問題でなく非線形問題であることから、単に複数のホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）によってＫ、Ｒ、ｔを最適化することは難しく、極小値（ｌｏｃａｌ ｍｉｎｉｍａ）に陥りやすいという問題を抱えている。
【0061】
極小値（ｌｏｃａｌ ｍｉｎｉｍａ）に陥る場合、カメラのパラメータだけでなく、キャリブレーションターゲットにおける各平面の座標系変換も誤って最適化される恐れがあることを意味する。しかし、一平面が複数台のカメラで見えるということを活用すれば、マルチビューシステムの利点を活かして、ローカルオプティマ（ｌｏｃａｌ ｏｐｔｉｍａ）に陥ることなくカメラパラメータを計算することができる。
【0062】
先ず、平面それぞれにどのＩＤのマーカーがあるかは既に分かっており、各マーカーコーナーのローカル座標は予め定義されている状態であるため、数式（１１）に基づいて、各マーカーコーナーのｗｏｒｌｄ座標は
をパラメータとする関数で表現される。続いて、数式（１）、数式（３）、数式（４）、数式（５）、数式（６）によって予測されるｐは、マーカーコーナーのｗｏｒｌｄ座標、カメラの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）および外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）をパラメータとする関数で表現されてよく、これを実際のｐｇｔ（ｕｎｄｉｓｔｏｒｔｅｄ）と比較する。最終的に、すべてのカメラで認識されたマーカーコーナーの合計を同時に最小化するパラメータを最適化することにより、すべてのカメラの各パラメータだけでなく、キャリブレーションターゲットのすべての平面に対して
も最適化することができる。本実施形態で使用したシステムは、合計５台のカメラが１８個の平面からなるターゲットを撮影するため、次のように示すことができる。
【0063】
【0064】
位相デコード（ｐｈａｓｅ ｄｅｃｏｄｉｎｇ）とアンラッピング（ｕｎｗｒａｐｐｉｎｇ）
図４は、一実施形態における、プロジェクタで投影するイメージの例（縦軸）を示している。図４を参照すると、周波数
に対してそれぞれ４枚のイメージ、合計１６枚のイメージが生成され、同じような方式で１６枚の横軸イメージも生成してプロジェクタで投影する。
図４は、一実施形態における、プロジェクタで投影するイメージの例（縦軸）を示している。図４を参照すると、周波数
【0065】
プロジェクタで投影するイメージのｐｉｘｅｌ ｉｎｔｅｎｓｉｔｙは、横軸または縦軸方向に多様な周波数（ｆｒｅｑｕｅｎｃｙ）のｃｏｓｉｎｅ－ｗａｖｅ形態をなしている。本実施形態で実際に使用した周波数は
である。合計４つの周波数で生成された波動に対して
だけの位相（ｐｈａｓｅ）を移動させ、水平／垂直方向にそれぞれ４×４＝１６枚のイメージを投影することになる。
【0066】
プロジェクタで投影した光がオブジェクトで反射してカメラで感知されるようになるが、ｆの周波数をもつｉ番目のイメージが投影されたとき、ピクセル（ｕ、ｖ）でのｉｎｔｅｎｓｉｔｙを
とすると、次の式のように示すことができる。
【0067】
【数13】
【0068】
このとき、ｉ＝０、１、２、３でのすべてのｐｉｘｅｌ ｉｎｔｅｎｓｉｔｙを総合して周波数がｆのときのピクセル（ｕ、ｖ）での位相
は、次のように求めることができる。
【0069】
【数14】
【0070】
図５は、一実施形態における、カメラで撮影した構造化光パターンイメージのデコード結果を示している。図５（ａ）を参照すると、左側の４つのイメージ（ｆ＝４０）を通じて右側のラッピングされた位相（ｗｒａｐｐｅｄ ｐｈａｓｅ）を得ることができ、図５（ｂ）を参照すると、左側の４つのイメージ（ｆ＝４１）を通じて右側のラッピングされた位相（ｗｒａｐｐｅｄ ｐｈａｓｅ）を得ることができる。
【0071】
しかし、
は、３Ｄ復元で実際に使用されるアンラッピングされた位相（ｕｎｗｒａｐｐｅｄ ｐｈａｓｅ）ではなく、ラッピングされた位相（ｗｒａｐｐｅｄ ｐｈａｓｅ）である。ｆ＝４０のときのラッピングされた位相（ｗｒａｐｐｅｄ ｐｈａｓｅ）は、一波長内にオブジェクトのすべての領域を含むが、詳細な情報を含むことは難く、ｆ＝４３のときのアンラッピングされた位相（ｕｎｗｒａｐｐｅｄ ｐｈａｓｅ）は、局所的に詳細な情報は含むが、すべての領域を一波長内に含むことができない。
【0072】
したがって、すべての周波数ｆに対してラッピングされた位相（ｗｒａｐｐｅｄ ｐｈａｓｅ）を計算した後、最終的にｆ＝４０からｆ＝４３までのラッピングされた位相（ｗｒａｐｐｅｄ ｐｈａｓｅ）をすべて含有するアンラッピングされた位相（ｕｎｗｒａｐｐｅｄ ｐｈａｓｅ）
を計算しなければならない。
【0073】
図６は、一実施形態における、位相アンラッピング入力値および出力値を示している。
【0074】
図６（ａ）を参照すると、一実施形態における、位相アンラッピング入力値を示しており、図６（ｂ）を参照すると、一実施形態における、位相アンラッピング出力値を示している。
であるすべてのラッピングされた位相（ｗｒａｐｐｅｄ ｐｈａｓｅ）を統合して最終アンラッピングされた位相（ｕｎｗｒａｐｐｅｄ ｐｈａｓｅ）を計算することができる。
【0075】
先ず、
を、ｆ＝４０からｆ＝４ｊまでのラッピングされた位相（ｗｒａｐｐｅｄ ｐｈａｓｅ）を包含するアンラッピングされた位相（ｕｎｗｒａｐｐｅｄ ｐｈａｓｅ）とすると、次の式のように示すことができる。
【0076】
【数15】
【0077】
また、
と
を利用して
を計算する過程は、次のとおりとなる。
【0078】
【数16】
【0079】
最終的にアンラッピングされた位相（ｕｎｗｒａｐｐｅｄ ｐｈａｓｅ）
が、３Ｄ復元の入力値として使用される。
【0080】
プロジェクタキャリブレーション
図７は、一実施形態における、カメラピクセル座標および位相（ｐｈａｓｅ）を利用した３Ｄデータの取得を説明するための図である。図７を参照すると、キャリブレーション段階では、カメラ７１０およびプロジェクタ７２０の交点Ｘｉｎｔｅｒｓｅｃｔとターゲット平面７３０との距離値を利用して損失（ｌｏｓｓ）を構成して最適化する。
図７は、一実施形態における、カメラピクセル座標および位相（ｐｈａｓｅ）を利用した３Ｄデータの取得を説明するための図である。図７を参照すると、キャリブレーション段階では、カメラ７１０およびプロジェクタ７２０の交点Ｘｉｎｔｅｒｓｅｃｔとターゲット平面７３０との距離値を利用して損失（ｌｏｓｓ）を構成して最適化する。
【0081】
本実施形態において、プロジェクタは、サイドカメラと同じピンホールカメラモデル（ｐｉｎｈｏｌｅ ｃａｍｅｒａ ｍｏｄｅｌ）を使用する。しかし、ピクセル座標を直接取得することができるサイドカメラとは異なり、プロジェクタの場合、カメラで撮影したアンラッピングされた位相（ｕｎｗｒａｐｐｅｄ ｐｈａｓｅ）を間接的に使用しなければならないため、プロジェクタの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）に若干の変化が必要となる。基本的に、アンラッピングされた位相（ｕｎｗｒａｐｐｅｄ ｐｈａｓｅ）は、ピンホールカメラモデル（ｐｉｎｈｏｌｅ ｃａｍｅｒａ ｍｏｄｅｌ）におけるピクセル座標
と線形関係をもつ。
【0082】
【数17】
【0083】
これを数式（６）に代入すると、次のように示すことができる。
【0084】
【数18】
【0085】
数式（１８）で、Ｘｎ，ｐは、プロジェクタの正規化されたプロジェクタ平面（ｎｏｒｍａｌｉｚｅｄ ｐｒｏｊｅｃｔｏｒ ｐｌａｎｅ）上に存在する歪んだ座標を意味する。また、あるカメラ－プロジェクタの一対で、カメラおよびプロジェクタのパラメータがすべて分かっていると仮定するとき、位相（ｐｈａｓｅ）およびピクセル座標を入力値として求めた３次元ポイント（ｐｏｉｎｔ、点）は、次のような式を満たさなければならない。
【0086】
【数19】
【0087】
幾何学的に分析するとき、数式（１９）の最初の２つの式は、正規化されたカメラ平面（ｎｏｒｍａｌｉｚｅｄ ｃａｍｅｒａ ｐｌａｎｅ）上に存在する点［ｘｎ、ｙｎ、１］とカメラの原点を経る直線を意味し、最後の式は、プロジェクタの原点と正規化されたプロジェクタ平面（ｎｏｒｍａｌｉｚｅｄ ｐｒｏｊｅｃｔｏｒ ｐｌａｎｅ）上の直線ｘ＝ｘｎ，ｐ（または、ｙ＝ｙｎ，ｐ）を含む平面を意味する。３Ｄ空間上で復元された点ｐｉｎｔｅｒｓｅｃｔ＝［ｘｗ、ｙｗ、ｚｗ］は、上述した直線と平面の交点であると言える。
【0088】
数式（１９）を整理すると、ｐｉｎｔｅｒｓｅｃｔ（図７のＸｉｎｔｅｒｓｅｃｔ）をプロジェクタパラメータの関数として表現することができる。
【0089】
【数20】
【0090】
また、キャリブレーションターゲットのＡｒＵｃｏマーカーｉｄは固有であるため、カメラからターゲットの各平面が位置するイメージ上の領域を抽出することができる。したがって、平面ｉが撮影された領域内のピクセル（ｕ、ｖ）と対応する位相（ｐｈａｓｅ）
で数式（５）、数式（６）、数式（１８）を通じて
（または、
）に変換することができ、これによってｐｉｎｔｅｒｓｅｃｔを計算することができるが、ｐｉｎｔｅｒｓｅｃｔは平面ｉ上に存在するため、平面ｉの方程式を満たさなければならない。
【0091】
【数21】
【0092】
したがって、
を損失（ｌｏｓｓ）とし、プロジェクタの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）と外部パラメータ（ｅｘｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）をパラメータとする最適化過程によって、プロジェクタの最適パラメータを求めることができる。
【0093】
【数22】
【0094】
ここで、ｎｉは、ｉ－平面法線ベクトルを意味する。
【0095】
３Ｄ復元
上述したような過程によって最適化されたカメラおよびプロジェクタのパラメータを利用し、数式（２０）によってポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求めることができる。また、数式（１）によってポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）のすべての点に対してｗｏｒｌｄ座標からカメラ座標への変換を行うことができ、このカメラ座標のｚ値を格納することによって各カメラ－プロジェクタの一対ごとに深度マップ（ｄｅｐｔｈ ｍａｐ）を求めることがでる。しかし、カメラでの測定誤差などを理由に深度マップ（ｄｅｐｔｈ ｍａｐ）で誤差が発生することがある。したがって、すべての深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、これに基づいてポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を統合する過程を経なければならない。
上述したような過程によって最適化されたカメラおよびプロジェクタのパラメータを利用し、数式（２０）によってポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求めることができる。また、数式（１）によってポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）のすべての点に対してｗｏｒｌｄ座標からカメラ座標への変換を行うことができ、このカメラ座標のｚ値を格納することによって各カメラ－プロジェクタの一対ごとに深度マップ（ｄｅｐｔｈ ｍａｐ）を求めることがでる。しかし、カメラでの測定誤差などを理由に深度マップ（ｄｅｐｔｈ ｍａｐ）で誤差が発生することがある。したがって、すべての深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、これに基づいてポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を統合する過程を経なければならない。
【0096】
任意のカメラをリファレンス（ｒｅｆｅｒｅｎｃｅ）とし、このカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）ピクセルごとに信頼度（ｃｏｎｆｉｄｅｎｃｅ）を求めるには、先ず、各ピクセル（ｕ、ｖ）に該当する深度（ｄｅｐｔｈ）ｄｒｅｆ（ｕ、ｖ）を得ることができ、３Ｄ空間上で該当のｐｏｉｎｔのｗｏｒｌｄ座標を求めることができる。また、リファレンス（ｒｅｆｅｒｅｎｃｅ）カメラを除いた残りのカメラで、数式（１）を利用して該当のｐｏｉｎｔ ｐ（ｕ、ｖ）のｗｏｒｌｄ座標をそれぞれのカメラ座標に変換することができる。このとき、カメラ
でｐ（ｕ、ｖ）と対応するピクセル座標ｕｊ、ｖｊの値を求めた後、カメラｊの深度マップ（ｄｅｐｔｈ ｍａｐ）を利用してｖｉｓｉｂｉｌｉｔｙ ｔｅｓｔを実行する。
【0097】
Ｖｉｓｉｂｉｌｉｔｙ ｖｊ（ｐ（ｕ、ｖ））は、カメラｊでｐ（ｕ、ｖ）の実際の深度（ｄｅｐｔｈ）ｚｊをカメラｊの深度マップ（ｄｅｐｔｈ ｍａｐ）によって求めたｄｊ（ｕｊ、ｖｊ）と比較し、ｄｊ（ｕ、ｖｊｊ）が大きい場合は１、ｄｊ（ｕｊ、ｖｊ）が小さい場合は０となり、ｐがカメラｊで見えないと判定する。ｖｊ（ｐ）が１であるすべてのカメラｊに対して、信頼度Ｃｒｅｆ，ｊ（ｕ、ｖ）は次のように計算することができる。
【0098】
【数23】
【0099】
図８は、一実施形態における、深度マップ（ｄｅｐｔｈ ｍａｐ）の信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算する過程を示した図である。図８（ａ）および（ｂ）を参照すると、リファレンス（ｒｅｆｅｒｅｎｃｅ）カメラの深度マップ（ｄｅｐｔｈ ｍａｐ）から生成された３Ｄ ｐｏｉｎｔと他のカメラｊの間の実際の深度（ｄｅｐｔｈ）（
）がカメラｊの深度マップ（ｄｅｐｔｈ ｍａｐ）値に近いほど信頼度（ｃｏｎｆｉｄｅｎｃｅ）が高い。ここで、リファレンス（ｒｅｆｅｒｅｎｃｅ）カメラの座標は８１０であり、カメラ座標は８２０である。
【0100】
リファレンス（ｒｅｆｅｒｅｎｃｅ）カメラのピクセル（ｕ、ｖ）の信頼度（ｃｏｎｆｉｄｅｎｃｅ）Ｃｒｅｆ（ｕ、ｖ）は、ｖｊ（ｐ（ｕ、ｖ））＝１であるすべてのカメラｊに対して次の式のように示すことができる。
【0101】
【数24】
【0102】
上述した過程によってすべての深度マップ（ｄｅｐｔｈ ｍａｐ）に対する信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算してから１つに統合する過程を経ると、３Ｄ復元が最終的に完結する。先ず、任意のカメラにｊに対して、深度マップ（ｄｅｐｔｈ ｍａｐ）の各ピクセルに深度（ｄｅｐｔｈ）および信頼度（ｃｏｎｆｉｄｅｎｃｅ）が与えられている。このとき、深度マップ（ｄｅｐｔｈ ｍａｐ）を利用して求めた３Ｄ ｐｏｉｎｔ ｐｊがメインカメラに見える場合とそうでない場合に分けられるが、メインカメラで見える場合、ｐｊの深度（ｄｅｐｔｈ）および信頼度（ｃｏｎｆｉｄｅｎｃｅ）（ｄ，Ｃ）をメインカメラでｐｊと対応するピクセル（ｕ、ｖ）に対するａｒｒａｙ Ｌｍａｉｎ（ｕ、ｖ）に格納する。この過程をすべてのカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）に対して実行すれば、メインカメラのピクセル（ｕ、ｖ）それぞれに３Ｄ ｐｏｉｎｔの配列が与えられることになる。最終的に、メインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）は、次のように加重合計（ｗｅｉｇｈｔｅｄ ｓｕｍ）の形態で計算される。
【0103】
【数25】
【0104】
ｐｊがメインカメラで見えない場合、上述した過程をサイドカメラで実行することにより、最終的に信頼性基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）が完結する。
【0105】
図９は、一実施形態における、ターゲットイメージと深度マップ（ｄｅｐｔｈ ｍａｐ）、および信頼度マップ（ｃｏｎｆｉｄｅｎｃｅ ｍａｐ）を示した図である。
【0106】
図９を参照すると、左の図面は、一実施形態における、キャプチャしたターゲットイメージを示しており、中央の図面は、該当のカメラにおける深度マップ（ｄｅｐｔｈ ｍａｐ）を示しており、右の図面は、信頼度マップ（ｃｏｎｆｉｄｅｎｃｅ ｍａｐ）を示している。第１列から、メインカメラ、サイドカメラ００（東）、サイドカメラ０１（西）、サイドカメラ０２（南）、サイドカメラ０３（北）を示す。
【0107】
プロジェクタおよびカメラのビューベクトル（ｖｉｅｗ ｖｅｃｔｏｒ）と反射した光の角度を含む多様な変数により、深度（ｄｅｐｔｈ）の信頼度（ｃｏｎｆｉｄｅｎｃｅ）が多様に現れることを確認することができる。
【0108】
図１０は、一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法を示したフローチャートである。
【0109】
図１０を参照すると、一実施形態における、コンピュータ装置によって実行されるマルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法は、位相測定プロファイロメトリ（Ｐｈａｓｅ Ｍｅａｓｕｒｉｎｇ Ｐｒｏｆｉｌｏｍｅｔｒｙ：ＰＭＰ）方法に基づいて、少なくとも１つ以上のカメラとプロジェクタのパラメータから３Ｄ復元に必要なデータである位相（ｐｈａｓｅ）を取得する段階１１０、カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義してカメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行する段階１２０、および最適化されたカメラおよびプロジェクタのパラメータを利用して深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を求める段階１３０を含んでよい。
【0110】
また、ポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）のすべて点に対してワールド（ｗｏｒｌｄ）座標からカメラ座標への変換を行い、カメラ座標のｚ値を格納してカメラおよびプロジェクタの対ごとに深度マップ（ｄｅｐｔｈ ｍａｐ）を求める段階１４０、および深度マップ（ｄｅｐｔｈ ｍａｐ）の誤差を補正するためにすべての深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、信頼度（ｃｏｎｆｉｄｅｎｃｅ）に基づいてそれぞれの深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって最終ポイントクラウドを取得することによって３Ｄ復元を実行する段階１５０をさらに含んでよい。
【0111】
実施形態によると、１つのターゲットを動かさずにカメラのキャリブレーションを行い、カメラとプロジェクタのキャリブレーションを１つのターゲットによって同時に行うことができる。また、プロジェクタのインバースカメラモデル（ｉｎｖｅｒｓｅ ｃａｍｅｒａ ｍｏｄｅｌ）による位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義することができる。
【0112】
以下、一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法についてより詳しく説明する。
【0113】
一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション方法について、一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション装置を例に挙げて説明する。
【0114】
図１１は、一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション装置を示したブロック図である。
【0115】
図１１を参照すると、一実施形態における、マルチビュー位相移動プロファイロメトリのための３次元キャリブレーション装置１１００は、位相取得部１１１０、キャリブレーション部１１２０、およびポイントクラウド取得部１１３０を含んでよい。また、実施形態によっては、深度マップ取得部１１４０および深度マップ融合部１１５０をさらに含んでもよい。
【0116】
段階Ｓ１１０で、位相取得部１１１０は、位相測定プロファイロメトリ（ＰＭＰ）方法に基づいて、少なくとも１つ以上のカメラおよびプロジェクタのパラメータで３Ｄ復元に必要なデータである位相（ｐｈａｓｅ）を取得してよい。
【0117】
より具体的に説明すると、位相取得部１１１０は、プロジェクタは、一連の構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）イメージを投影し、投影した光がオブジェクトで反射して少なくとも１つ以上のカメラのセンサで感知され、一対のカメラおよびプロジェクタから３Ｄ復元に必要な位相（ｐｈａｓｅ）を取得してよい。このとき、位相取得部１１１０は、上部に位置するメインカメラおよび少なくとも１つ以上の側面に位置するサイドカメラが構成され、メインカメラおよびサイドカメラの間に位置するプロジェクタを利用し、位相測定プロファイロメトリ（ＰＭＰ）方法に基づいて位相（ｐｈａｓｅ）を取得してよい。
【0118】
段階１２０で、キャリブレーション部１１２０は、カメラおよびプロジェクタの組み合わせごとに位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を定義して、カメラおよびプロジェクタのパラメータを最適化するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行してよい。ここで、位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数は、位相（ｐｈａｓｅ）を深度（ｄｅｐｔｈ）または深度マップ（ｄｅｐｔｈ ｍａｐ）に変換するものである。
【0119】
すなわち、キャリブレーション部１１２０は、固定ターゲットを利用してカメラパラメータと位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）マップを形成するキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行してよい。既存（非特許文献１など）の場合、平面ターゲットを何度も物理的に変えながら撮影しなければキャリブレーションを行うことができなかったが、このように動的なターゲットを利用すれば、位相測定プロファイロメトリ（ＰＭＰ）方法の位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）マップをキャリブレーションすることができない。実施形態では、ターゲットを意図的に静的にさせ、これを利用してこの上に多様な位相のイメージを投影できるようにすることにより、位相測定プロファイロメトリ（ＰＭＰ）方法の位相－深度マップのキャリブレーションでカメラパラメータを同時に取得することができる。
【0120】
段階１３０で、ポイントクラウド取得部１１３０は、最適化されたカメラおよびプロジェクタのパラメータを利用して、深度（ｄｅｐｔｈ）情報を含むポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を得てよい。
【0121】
段階１４０で、深度マップ取得部１１４０は、ポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）のすべての点に対してワールド（ｗｏｒｌｄ）座標からカメラ座標への変換を行い、カメラ座標のｚ値を格納して各カメラおよびプロジェクタの対ごとに深度マップ（ｄｅｐｔｈ ｍａｐ）を求めてよい。
【0122】
段階１５０で、深度マップ融合部１１５０は、深度マップ（ｄｅｐｔｈ ｍａｐ）の誤差を補正するためにすべての深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）を計算し、信頼度（ｃｏｎｆｉｄｅｎｃｅ）に基づいてそれぞれの深度マップ（ｄｅｐｔｈ ｍａｐ）を１つに統合する信頼度基盤の深度マップ融合（ｃｏｎｆｉｄｅｎｃｅ－ｂａｓｅｄ ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）によって最終ポイントクラウドを取得することにより、３Ｄ復元を実行してよい。
【0123】
図１２は、一実施形態における、深度マップ（ｄｅｐｔｈ ｍａｐ）融合を説明するための図である。
【0124】
図１２を参照すると、深度マップ融合部１１５０は、深度マップ（ｄｅｐｔｈ ｍａｐ）のピクセルそれぞれの信頼度（ｃｏｎｆｉｄｅｎｃｅ）１２５０を計算するときに、各ピクセルの深度（ｄｅｐｔｈ）１２４０を通じて得ることができる３Ｄ空間における点は、上部のメインカメラ１２０１に見える場合とそうでない場合、すなわち、メインカメラ１２０１によって見える可視性１２６０状態によって２つに区分されてよい。
【0125】
メインカメラ１２０１に見える点の場合には、対応する信頼度（ｃｏｎｆｉｄｅｎｃｅ）１２５０とともに、メインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）１２１０と加重合計１２２０によって深度マップの融合がなされ、メインカメラ１２０１に見えない点の場合には、残りのサイドカメラ１２０２の深度マップ（ｄｅｐｔｈ ｍａｐ）１２８０で加重合計１２７０によって深度マップの融合がなされてよい。これにより、最終３Ｄポイントクラウド１２３０を取得することができる。
【0126】
図１３は、一実施形態における、最終３Ｄポイントクラウドを示した図である。
【0127】
図１３を参照すると、キャリブレーションターゲットを対象にして撮影を行った後、メインカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）にサイドカメラの深度マップ（ｄｅｐｔｈ ｍａｐ）を追加することで深度マップ融合（ｄｅｐｔｈ ｍａｐ ｆｕｓｉｏｎ）をなした最終３Ｄポイントクラウド（ｐｏｉｎｔｃｌｏｕｄ）を示している。
【0128】
結果的に、本実施形態によると、３Ｄ復元のためのＰＭＰシステムのキャリブレーションを１つのターゲットだけで成功的になすことができ、このターゲットを動かして追加の撮影を行う必要なく、１つのシーンだけでキャリブレーションおよび３Ｄ復元の実行が可能となることが分かる。また、位相－深度（ｐｈａｓｅ－ｔｏ－ｄｅｐｔｈ）関数を、追加のパラメータなしでカメラとプロジェクタのパラメータだけで構成することができる。
【0129】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。
【0130】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0131】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付の特許請求の範囲に属する。
【符号の説明】
【0132】
１１００：３次元キャリブレーション装置
１１１０：位相取得部
１１２０：キャリブレーション部
１１３０：ポイントクラウド取得部
１１４０：深度マップ取得部
１１５０：深度マップ融合部
１１１０：位相取得部
１１２０：キャリブレーション部
１１３０：ポイントクラウド取得部
１１４０：深度マップ取得部
１１５０：深度マップ融合部
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【外国語明細書】