知財求人 - 知財ポータルサイト「IP Force」
特許6359259デプスセンサと撮影カメラとの間の関係に基づいたデプス映像補正装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6359259
(24)【登録日】2018年6月29日
(45)【発行日】2018年7月18日
(54)【発明の名称】デプスセンサと撮影カメラとの間の関係に基づいたデプス映像補正装置及び方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20180709BHJP
G01B 11/24 20060101ALI20180709BHJP
G06T 1/00 20060101ALI20180709BHJP
【ＦＩ】
G01B11/25 H
G01B11/24 K
G06T1/00 315
【請求項の数】7
【全頁数】14
(21)【出願番号】特願2013-219327(P2013-219327)
(22)【出願日】2013年10月22日
(65)【公開番号】特開2014-85351(P2014-85351A)
(43)【公開日】2014年5月12日
【審査請求日】2016年10月24日
(31)【優先権主張番号】10-2012-0117997
(32)【優先日】2012年10月23日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2013-0105538
(32)【優先日】2013年9月3日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】596180076
【氏名又は名称】韓國電子通信研究院
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
(74)【代理人】
【識別番号】100091982
【弁理士】
【氏名又は名称】永井 浩之
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100082991
【弁理士】
【氏名又は名称】佐藤 泰和
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100117787
【弁理士】
【氏名又は名称】勝沼 宏仁
(74)【代理人】
【識別番号】100167933
【弁理士】
【氏名又は名称】松野 知紘
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(72)【発明者】
【氏名】キム、ジェ、ハン
(72)【発明者】
【氏名】チュ、チャン、ウ
(72)【発明者】
【氏名】パク、イル、ギュ
(72)【発明者】
【氏名】チャ、ヤン、ミ
(72)【発明者】
【氏名】チェ、ジン、ソン
(72)【発明者】
【氏名】ク、ボン、キ
【審査官】
小野寺 麻美子
(56)【参考文献】
【文献】
特開２００２−２０２１２２（ＪＰ，Ａ）
【文献】
特開２０１２−１９４１２６（ＪＰ，Ａ）
【文献】
特開２０１０−１８６２６５（ＪＰ，Ａ）
【文献】
特開２００１−３２０６５２（ＪＰ，Ａ）
【文献】
特開２００３−１４１５２７（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１２／０１０５５８５（ＵＳ，Ａ１）
【文献】
特開２００８−２５６６９２（ＪＰ，Ａ）
【文献】
特開平０５−１４３６３５（ＪＰ，Ａ）
【文献】
Daniel Herrera C,et al.，Joint Depth and Color Camera Calibration with Distortion Correction，IEEE Transactions on Pattern Analysis and Machine Intelligence，２０１２年 ５月，Vol.34,No.10，p.2058-2064
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０１Ｂ １１／００ − Ｇ０１Ｂ １１／３０
Ｇ０６Ｔ １／００ − Ｇ０６Ｔ １／４０
Ｇ０６Ｔ ３／００ − Ｇ０６Ｔ ９／４０
Ｇ０１Ｓ ７／４８ − Ｇ０１Ｓ ７／５１
Ｇ０１Ｓ １７／００ − Ｇ０１Ｓ １７／９５
(57)【特許請求の範囲】
【請求項1】
カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を決定する３次元点決定部と、
前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスセンサの誤差と前記デプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、
前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するデプス映像補正部と、
を備え、
前記補正情報決定部は、前記カメラ映像の３次元点と前記デプス映像の３次元点を用いて数式（１）、数式（２）、及び数式（３）を生成し、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて数式（４）を生成し、数式（４）を用いて補正情報を決定することを特徴とするデプス映像補正装置。
Ｘ＝（Ｘ’×Ｈ１１＋Ｙ’×Ｈ１２＋Ｚ’×Ｈ１３＋Ｈ１４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（１）
Ｙ＝（Ｘ’×Ｈ２１＋Ｙ’×Ｈ２２＋Ｚ’×Ｈ２３＋Ｈ２４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（２）
Ｚ＝（Ｘ’×Ｈ３１＋Ｙ’×Ｈ３２＋Ｚ’×Ｈ３３＋Ｈ３４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（３）
ここで、Ｘ、Ｙ、Ｚは前記カメラ映像の３次元上の点の座標であり、Ｘ’、Ｙ’、Ｚ’は前記デプス映像の３次元上の点の座標であり、Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４は補正情報である。
Ａｈ＝０ ・・・・（４）
ここで、Ａは前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点の座標から構成された３ｍ×１６行列であり、ｈは補正情報であり、ｍはカメラ映像またはデプス映像に含まれた３次元上の点の個数である。
前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスセンサの誤差と前記デプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、
前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するデプス映像補正部と、
を備え、
前記補正情報決定部は、前記カメラ映像の３次元点と前記デプス映像の３次元点を用いて数式（１）、数式（２）、及び数式（３）を生成し、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて数式（４）を生成し、数式（４）を用いて補正情報を決定することを特徴とするデプス映像補正装置。
Ｘ＝（Ｘ’×Ｈ１１＋Ｙ’×Ｈ１２＋Ｚ’×Ｈ１３＋Ｈ１４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（１）
Ｙ＝（Ｘ’×Ｈ２１＋Ｙ’×Ｈ２２＋Ｚ’×Ｈ２３＋Ｈ２４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（２）
Ｚ＝（Ｘ’×Ｈ３１＋Ｙ’×Ｈ３２＋Ｚ’×Ｈ３３＋Ｈ３４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（３）
ここで、Ｘ、Ｙ、Ｚは前記カメラ映像の３次元上の点の座標であり、Ｘ’、Ｙ’、Ｚ’は前記デプス映像の３次元上の点の座標であり、Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４は補正情報である。
Ａｈ＝０ ・・・・（４）
ここで、Ａは前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点の座標から構成された３ｍ×１６行列であり、ｈは補正情報であり、ｍはカメラ映像またはデプス映像に含まれた３次元上の点の個数である。
【請求項2】
前記３次元点決定部は、前記デプス映像で前記カメラ映像を自体補正するために用いたカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点を前記デプス映像の３次元点に決定することを特徴とする請求項１に記載のデプス映像補正装置。
【請求項3】
前記デプス映像補正部は、前記補正情報を初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を行ってデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正することを特徴とする請求項１に記載のデプス映像補正装置。
【請求項4】
カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を決定するステップと、
前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定するステップと、
前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するステップと、
を含み、
前記補正情報を決定するステップは、前記カメラ映像の３次元点と前記デプス映像の３次元点を用いて数式（１）、数式（２）、及び数式（３）を生成し、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて数式（４）を生成し、数式（４）を用いて補正情報を決定することを特徴とするデプス映像補正方法。
Ｘ＝（Ｘ’×Ｈ１１＋Ｙ’×Ｈ１２＋Ｚ’×Ｈ１３＋Ｈ１４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（１）
Ｙ＝（Ｘ’×Ｈ２１＋Ｙ’×Ｈ２２＋Ｚ’×Ｈ２３＋Ｈ２４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（２）
Ｚ＝（Ｘ’×Ｈ３１＋Ｙ’×Ｈ３２＋Ｚ’×Ｈ３３＋Ｈ３４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（３）
ここで、Ｘ、Ｙ、Ｚは前記カメラ映像の３次元上の点の座標であり、Ｘ’、Ｙ’、Ｚ’は前記デプス映像の３次元上の点の座標であり、Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４は補正情報である。
Ａｈ＝０ ・・・・（４）
ここで、Ａは前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点の座標から構成された３ｍ×１６行列であり、ｈは補正情報であり、ｍはカメラ映像またはデプス映像に含まれた３次元上の点の個数である。
前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定するステップと、
前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するステップと、
を含み、
前記補正情報を決定するステップは、前記カメラ映像の３次元点と前記デプス映像の３次元点を用いて数式（１）、数式（２）、及び数式（３）を生成し、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて数式（４）を生成し、数式（４）を用いて補正情報を決定することを特徴とするデプス映像補正方法。
Ｘ＝（Ｘ’×Ｈ１１＋Ｙ’×Ｈ１２＋Ｚ’×Ｈ１３＋Ｈ１４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（１）
Ｙ＝（Ｘ’×Ｈ２１＋Ｙ’×Ｈ２２＋Ｚ’×Ｈ２３＋Ｈ２４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（２）
Ｚ＝（Ｘ’×Ｈ３１＋Ｙ’×Ｈ３２＋Ｚ’×Ｈ３３＋Ｈ３４）／（Ｘ’×Ｈ４１＋Ｙ’×Ｈ４２＋Ｚ’×Ｈ４３＋Ｈ４４） ・・・・（３）
ここで、Ｘ、Ｙ、Ｚは前記カメラ映像の３次元上の点の座標であり、Ｘ’、Ｙ’、Ｚ’は前記デプス映像の３次元上の点の座標であり、Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４は補正情報である。
Ａｈ＝０ ・・・・（４）
ここで、Ａは前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点の座標から構成された３ｍ×１６行列であり、ｈは補正情報であり、ｍはカメラ映像またはデプス映像に含まれた３次元上の点の個数である。
【請求項5】
前記３次元上の点を決定するステップは、前記デプス映像で前記カメラ映像を自体補正するために用いたカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点を前記デプス映像の３次元点に決定することを特徴とする請求項４に記載のデプス映像補正方法。
【請求項6】
前記デプス映像を補正するステップは、前記補正情報を初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を行ってデプス映像を補正することを特徴とする請求項４に記載のデプス映像補正方法。
【請求項7】
前記デプス映像を補正するステップは、前記補正情報に基づいて前記デプス映像の３次元上の点をカメラ座標系に移すことを特徴とする請求項４に記載のデプス映像補正方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デプス映像を補正する装置及び方法に関し、より詳しくは、デプスセンサと撮影カメラとの間の関係に基づいてデプス映像を補正する装置及び方法に関する。
【背景技術】
【0002】
マイクロソフトのキネクト（マイクロソフト）のように構造光を用いて三角測量するデプスセンサは生産時の組立公差及び光学部分の誤差によって最終ユーザが使用されるときに誤差を内包した結果を取得することができる。
【0003】
また、デプスセンサと撮影カメラを共に用いて対象のテクスチャを同時に抽出するときにはデプスセンサとカメラとの間の幾何学的な幾何関係を求めなければならない。この幾何関係を精密に求めない場合、３次元復元される対象に対するテクスチャ情報にエラーが発生することがある。
【0004】
従来におけるデプス映像補正装置は、デプスセンサが測定したデプス映像に基づいて撮影カメラとの幾何関係を求めるため、従来のデプス映像補正装置が補正したデプス映像はデプスセンサに含まれた誤差による誤差を含んでもよい。
【0005】
したがって、デプスセンサの誤差を補正し、デプスセンサと撮影カメラとの間の幾何学的な幾何関係を求めてデプス映像を補正する方法が要求されている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、対象との距離を測定するデプスセンサと対象を撮影する撮影カメラを同時に用いてデプス映像を補正する場合、デプスセンサの不正確度を改善し、デプスセンサと撮影カメラとの間の幾何関係を補正する装置及び方法を提供する。
【課題を解決するための手段】
【0007】
本発明の一実施形態に係るデプス映像補正装置は、カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を決定する３次元点決定部と、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスセンサの誤差と前記デプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するデプス映像補正部とを備える。
【0008】
本発明の一実施形態に係るデプス映像補正装置の３次元点決定部は、前記デプス映像で前記カメラ映像を自体補正するために用いたカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点を前記デプス映像の３次元点に決定してもよい。
【0009】
本発明の一実施形態に係るデプス映像補正装置の前記補正情報決定部は、前記カメラ映像の３次元点と前記デプス映像の３次元点を用いて数式（１）、数式（２）、及び数式（３）を生成してもよい。
【0010】
本発明の一実施形態に係るデプス映像補正装置のデプス映像補正部は、前記補正情報を初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を行ってデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正してもよい。
【0011】
本発明の一実施形態に係るデプス映像補正装置は、撮影カメラが復元したパターン面の方程式と、デプスセンサが復元したパターン面の方程式を用いて前記デプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する補正情報決定部と、前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するデプス映像補正部とを備える。
【0012】
本発明の一実施形態に係るデプス映像補正装置の補正情報決定部は、撮影カメラが復元したパターン面の方程式が数式（５）であり、デプスセンサが復元したパターン面の方程式が数式（６）である場合、数式（５）と数式（６）に基づいて数式（７）、数式（８）、及び数式（９）を生成してもよい。
【0013】
本発明の一実施形態に係るデプス映像補正装置のデプス映像補正部は、前記補正情報に基づいて前記デプス映像の３次元上の点をカメラ座標系に移してもよい。
【0014】
本発明の一実施形態に係るデプス映像補正方法は、カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を決定するステップと、前記カメラ映像の３次元上の点と前記デプス映像の３次元上の点を用いて前記デプス映像を撮影したデプスの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定するステップと、前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するステップとを含む。
【0015】
本発明の一実施形態に係るデプス映像補正方法は、撮影カメラが復元したパターン面の方程式と、デプスセンサが復元したパターン面の方程式を用いて前記カメラ映像を撮影した撮影カメラと、前記デプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定するステップと、前記補正情報と前記デプス映像の３次元上の点に基づいて前記デプス映像を補正するステップとを含む。
【発明の効果】
【0016】
本発明の一実施形態によると、カメラ映像の３次元上の点と前記カメラ映像と同時に撮影されたデプス映像の３次元上の点を用いて、前記デプス映像を撮影したデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正することによって精密なデプス映像を取得することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態に係るデプス映像補正装置と異なる装置間の関係を示す図である。
【図2】本発明の一実施形態に係る補正用パターンの一例である。
【図3】本発明の一実施形態に係るデプス映像及びカメラ映像の一例である。
【図4】本発明の一実施形態に係るデプス映像補正装置を示す図である。
【図5】本発明の一実施形態に係るデプス映像補正装置がデプス映像の特徴点とカメラ映像の特徴点をマッチングする過程の一例である。
【図6】本発明の一実施形態に係る映像補正方法を示すフローチャートである。
【図7】本発明の一実施形態に係る映像補正方法の他の一例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について添付の図面を参照しながら詳細に説明する。本発明の一実施形態に係る映像補正方法はデプス映像補正装置によって行うことができる。
【0019】
図１は、本発明の一実施形態に係るデプス映像補正装置と異なる装置間の関係を示す図である。
【0020】
撮影カメラ１２０は、補正用パターン１１０を撮影して補正用パターンの含まれたカメラ映像を生成する。ここで、補正用パターン１１０は、撮影カメラ１２０とデプスセンサ１３０との間の幾何学的な関係を容易に識別するよう、表面に複数の表示が形成された３次元オブジェクトであってもよい。
【0021】
補正用パターン１１０の形態は、以下の図２を参照して詳細に説明する。
【0022】
また、デプスセンサ１３０は、撮影カメラ１２０と同時に補正用パターン１１０を撮影してデプス映像を生成する。ここで、デプスセンサ１３０は、構造光を用いて補正用パターン１１０とデプスセンサ１３０との間の距離を三角測量し、測量した距離に基づいてデプス映像を生成する。
【0023】
そして、撮影カメラ１２０とデプスセンサ１３０は、映像補正方法によりそれぞれ複数のカメラ映像とデプス映像を生成してデプス映像補正装置１００に送信する。
【0024】
デプス映像補正装置１００は、デプスセンサ１３０から受信したデプス映像及び撮影カメラ１２０から受信したカメラ映像を用いて撮影カメラ１２０とデプスセンサ１３０との間の幾何学的な関係を識別し、識別した関係に基づいてデプス映像を補正する。
【0025】
図２は、本発明の一実施形態に係る補正用パターンの一例である。
【0026】
本発明の一実施形態において、撮影カメラ１２０とデプスセンサ１３０が撮影する補正用パターン１１０は、図２に示すように各面が正方形の多面体２００であり、各面に複数の円２１０が図示されている。
【0027】
ここで、デプス映像補正装置１００は、補正用パターン１１０の各面で円２１０の位置に基づいてデプス映像に含まれた補正用パターン１１０とカメラ映像に含まれた補正用パターン１１０をマッチングし、マッチング結果に基づいて撮影カメラ１２０とデプスセンサ１３０との間の幾何学的な関係を識別する。
【0028】
図３は、本発明の一実施形態に係るデプス映像及びカメラ映像の一例である。
【0029】
デプスセンサ１３０と撮影カメラ１２０は、映像補正方法によりそれぞれ少なくとも１つのデプス映像３１０とカメラ映像３２０を生成してデプス映像補正装置１００に送信する。
【0030】
ここで、デプス映像３１０とカメラ映像３２０は、それぞれデプスセンサ１３０と撮影カメラ１２０が同一の補正用パターン１１０を撮影して生成した映像である。しかし、撮影カメラ１２０とデプスセンサ１３０との間の幾何学的な関係により、図３に示すようにデプス映像３１０に含まれた補正用パターン１１０とカメラ映像３２０に含まれた補正用パターン１１０は大きさ及び角度に差がある。
【0031】
図４は、本発明の一実施形態に係るデプス映像補正装置を示す図である。
【0032】
図４を参考すると、本発明の一実施形態に係るデプス映像補正装置１００は、３次元点決定部４１０、補正情報決定部４２０、及びデプス映像補正部４３０を備える。
【0033】
３次元点決定部４１０は、カメラ映像の３次元上の点とカメラ映像と同時に撮影されたデプス映像の３次元上の点を決定する。
【0034】
ここで、３次元点決定部４１０はカメラ映像を自体補正し、カメラ映像を自体補正するために用いたカメラ映像特徴点の３次元上の点をカメラ映像の３次元点に決定する。ここで、３次元点決定部４１０は、カメラ補正分野で用いる方法のうちの１つを選択してカメラ映像を自体補正する。そして、３次元点決定部４１０はカメラ映像特徴点の３次元上の点をＸ、Ｙ、Ｚと定義する。
【0035】
また、３次元点決定部４１０は、デプス映像でカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点をデプス映像の３次元点に決定する。ここで、３次元点決定部４１０は、デプス映像特徴点の３次元上の点をＸ’、Ｙ’、Ｚ’と定義する。
【0036】
補正情報決定部４２０は、カメラ映像の３次元上の点とデプス映像の３次元上の点を用いてデプスセンサ１３０の誤差とデプスセンサ１３０と撮影カメラ１２０との間の幾何学的な幾何関係を補正するための補正情報を決定する。
【0037】
例えば、補正情報決定部４２０は、３次元点決定部４１０が決定したカメラ映像の３次元点とデプス映像の３次元点を用いて数式（１）、数式（２）、数式（３）を同時に生成する。【数1】
【数2】
【数3】
【0038】
そして、補正情報決定部４２０は、カメラ映像とデプス映像で互いに対応する全ての対応点に対して数式（１）、数式（２）、数式（３）を同時に生成し、生成した数式（１）、数式（２）、数式（３）を行列の形態で表現すると、数式（４）のような同次方程式を生成する。【数4】
【0039】
ここで、ｈは、変数Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４から構成された列ベクトルであってもよい。
【0040】
また、Ａは、カメラ映像特徴点の３次元上の点Ｘ、Ｙ、Ｚとデプス映像特徴点の３次元上の点Ｘ’、Ｙ’、Ｚ’から構成された３ｍ×１６行列であってもよい。
【0041】
ここで、ｍは、カメラ映像、またはデプス映像に含まれた３次元上の点の個数である。具体的に、デプス映像特徴点の３次元上の点は、前記カメラ映像特徴点に対応するデプス映像特徴点により決定されるため、カメラ映像に含まれたカメラ映像特徴点の３次元上の点の個数とデプス映像に含まれたデプス映像特徴点の３次元上の点の個数は同一であってもよい。したがって、補正情報決定部４２０は、カメラ映像に含まれた３次元上の点の個数、または、デプス映像に含まれた３次元上の点の個数のうちの１つを選択してｍに設定する。
【0042】
補正情報決定部４２０は、数式（４）でｈに含まれた変数の値を算出し、算出した変数の値を補正情報に決定する。
【0043】
また、補正情報決定部４２０は、撮影カメラ１２０が復元したパターン面の方程式とデプスセンサ１３０が復元したパターン面の方程式を用いて、デプス映像を撮影したデプスセンサ１３０の誤差とデプスセンサ１３０と撮影カメラ１２０との間の幾何学的な幾何関係を補正するための補正情報を決定する。
【0044】
例えば、撮影カメラ１２０がカメラ映像で復元した補正用パターン１１０のパターン面の方程式が数式（５）であり、デプスセンサ１３０が復元した補正用パターン１１０のパターン面の方程式が数式（６）であってもよい。【数5】
【数6】
【0045】
ここで、補正情報決定部４２０は数式（１）、数式（２）、数式（３）に基づいて数式（７）、数式（８）、数式（９）を生成する。具体的に、補正情報決定部４２０は数式（１）、数式（２）、数式（３）のＸ、Ｙ、Ｚをａ、ｂ、ｃに変更し、Ｘ’Ｙ’、Ｚ’をａ’、ｂ’、ｃ’に変更して数式（７）、数式（８）、数式（９）を生成する。【数7】
【数8】
【数9】
【0046】
そして、補正情報決定部４２０は数式（７）、数式（８）、数式（９）を行列の形態に表現して数式（１０）のような同次方程式を生成する。【数10】
【0047】
ここで、ｈは、変数Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４から構成された列ベクトルであってもよい。
【0048】
また、Ｂは数式（５）のａ、ｂ、ｃと数式（６）のａ’、ｂ’、ｃ’から構成された３ｍ×１６行列であってもよい。
【0049】
ここで、ｍはカメラ映像、または、デプス映像で復元されたパターン面の個数である。具体的に、デプス映像で復元されたパターン面は、前記カメラ映像で復元されたパターン面に対応するデプス映像で復元されたパターン面により決定されるため、カメラ映像に含まれた復元されたパターン面の個数とデプス映像に含まれた復元されたパターン面の個数は同一であってもよい。したがって、補正情報決定部４２０は、カメラ映像に含まれた復元されたパターン面の個数、またはデプス映像に含まれた復元されたパターン面議の個数のうちの１つを選択してｍに設定する。
【0050】
また、補正情報決定部４２０は、数式（１０）のｈを用いて数式（１１）の行列Ｈを求めることができる。【数11】
【0051】
最後に、補正情報決定部４２０は、数式（１０）で行列Ｈに含まれた変数の値を算出し、算出した変数の値を補正情報に決定する。ここで、行列Ｈに含まれた変数Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４は数式（１０）のｈに含まれた変数であってもよい。すなわち、補正情報決定部４２０は、列ベクトルのｈを行列Ｈの形態に変換し、変換されたＨを補正情報に決定する。
【0052】
ここで、補正情報決定部４２０は、行列Ｈの逆転置行列である行列Ｌに含まれた因子を数式（１）、数式（２）、数式（３）に含まれた補正情報と交換してデプス映像座標とカメラ座標との間の関係情報を決定する。例えば、補正情報決定部４２０は数式（１２）を用いて行列Ｌを決定する。【数12】
【0053】
具体的に、補正情報決定部４２０は、行列Ｌの因子Ｌｉｊをカメラ映像とＨｉｊの代わりに用いて点Ｘ’、Ｙ’、Ｚ’と点Ｘ、Ｙ、Ｚに対する変換系を示す関係情報を決定する。
【0054】
デプス映像補正部４３０は、デプス映像に含まれた３次元上の点と補正情報決定部４２０が決定した補正情報に基づいてデプス映像を補正する。
【0055】
例えば、デプス映像に含まれた３次元上の漸移Ｘ’、Ｙ’、Ｚ’である場合、デプス映像補正部４３０は数式（１）、数式（２）、数式（３）にＸ’、Ｙ’、Ｚ’と補正情報Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４を代入して３次元上の点Ｘ、Ｙ、Ｚを決定する。
【0056】
ここで、デプス映像補正部４３０が決定した３次元上の点Ｘ、Ｙ、Ｚは、撮影カメラ１２０とデプスセンサ１３０との間の幾何関係による誤差を補正しながら、デプス映像に含まれた３次元上の点をカメラ座標系に移動した値である。
【0057】
すなわち、デプス映像補正部４３０は３次元上の点Ｘ、Ｙ、Ｚを決定し、撮影カメラ１２０とデプスセンサ１３０との間の幾何関係により補正する。
【0058】
また、デプス映像補正部４３０は、補正情報であるｈを初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を行ってデプスセンサの誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係をより精密に補正することができる。
【0059】
例えば、デプス映像補正部４３０は、数式（１３）のような費用関数を定義する。【数13】
【0060】
ここで、Ｐ＝Ｘ、Ｙ、Ｚであり、Ｐ''＝Ｘ''、Ｙ''、Ｚ''であってもよい。また、Ｘ''、Ｙ''、Ｚ''はＸ’、Ｙ’、Ｚ’を数式（１）、数式（２）、数式（３）に代入した結果である。
【0061】
図５は、本発明の一実施形態に係るデプス映像補正装置がデプス映像の特徴点とカメラ映像の特徴点をマッチングする過程の一例である。
【0062】
３次元点決定部４１０はカメラ映像５２０を自体補正し、カメラ映像を自体補正するために用いたカメラ映像特徴点５２１の３次元上の点をカメラ映像の３次元点に決定する。
【0063】
そして、３次元点決定部４１０は、デプス映像５１０でカメラ映像特徴点５２１に対応するデプス映像特徴点５１１を抽出し、抽出したデプス映像特徴点５１１に対応する３次元上の点をデプス映像の３次元点に決定する。
【0064】
図６は、本発明の一実施形態に係る映像補正方法を示すフローチャートである。
【0065】
図６は、３次元上の点を用いた映像補正方法である。
【0066】
ステップＳ６１０において、３次元点決定部４１０は、撮影カメラ１２０とデプスセンサ１３０が同時に撮影したカメラ映像とデプス映像を受信する。
【0067】
ステップＳ６２０において、３次元点決定部４１０は、ステップＳ６１０で受信したカメラ映像の３次元上の点とステップＳ６１０で受信したデプス映像の３次元上の点を決定する。
【0068】
具体的に、３次元点決定部４１０はカメラ映像を自体補正し、カメラ映像を自体補正するために用いたカメラ映像特徴点の３次元上の点をカメラ映像の３次元点に決定する。次に、３次元点決定部４１０は、デプス映像でカメラ映像特徴点に対応するデプス映像特徴点を抽出し、抽出したデプス映像特徴点に対応する３次元上の点をデプス映像の３次元点に決定する。
【0069】
ステップＳ６３０において、補正情報決定部４２０は、ステップＳ６２０で決定したカメラ映像の３次元上の点とデプス映像の３次元上の点を用いてデプスセンサ１３０の誤差とデプスセンサと撮影カメラとの間の幾何学的な幾何関係を補正するための補正情報を決定する。
【0070】
例えば、補正情報決定部４２０は、３次元点決定部４１０が決定したカメラ映像の３次元点とデプス映像の３次元点を用いて数式（１）、数式（２）、数式（３）を生成する。そして、補正情報決定部４２０は、カメラ映像と、デプス映像で互いに対応する全ての対応点に対して数式（１）、数式（２）、数式（３）を生成し、生成した数式（１）、数式（２）、数式（３）を行列の形態に表現すると、数式（４）のような同次方程式を生成する。最後に、補正情報決定部４２０は、数式（４）でｈに含まれた変数の値を算出し、算出した変数の値を補正情報に決定する。
【0071】
また、補正情報決定部４２０は、補正情報を含む行列Ｈの逆転置行列である行列Ｌに含まれた因子を数式（１）、数式（２）、数式（３）に含まれた補正情報と交換してデプス映像の座標とカメラ座標との間の関係情報を決定する。
【0072】
ステップＳ６４０において、デプス映像補正部４３０は、補正情報のｈを初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を実行する。ステップＳ６５０は、カメラ映像を精密に補正しようとするとき実行され、カメラ映像の補正程度に応じてステップＳ６５０の実行が省略されてもよい。
【0073】
ステップＳ６５０において、デプス映像補正部４３０は、デプス映像に含まれた３次元上の点とステップＳ６３０で補正情報決定部４２０が決定した補正情報に基づいてデプス映像を補正する。
【0074】
例えば、デプス映像に含まれた３次元上の漸移Ｘ’、Ｙ’、Ｚ’である場合、デプス映像補正部４３０は数式（１）ないし数式（３）にＸ’、Ｙ’、Ｚ’と補正情報Ｈ１１ Ｈ１２ Ｈ１３ Ｈ１４ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ２４ Ｈ３１ Ｈ３２ Ｈ３３ Ｈ３４ Ｈ４１ Ｈ４２ Ｈ４３ Ｈ４４を代入して３次元上の点Ｘ、Ｙ、Ｚを決定する。
【0075】
また、デプス映像補正部４３０は、デプス映像に含まれた３次元上の点とステップＳ６５０で最小化した費用関数に基づいてデプス映像を補正する。
【0076】
図７は、本発明の一実施形態に係る映像補正方法の他の一例を示すフローチャートである。
【0077】
図７は、パターン面の方程式を用いた映像補正方法である。
【0078】
ステップＳ７１０において、３次元点決定部４１０は、撮影カメラ１２０とデプスセンサ１３０が同時に撮影したカメラ映像とデプス映像を受信する。
【0079】
ステップＳ７２０において、３次元点決定部４１０は、ステップＳ７１０で受信したカメラ映像で補正用パターン１１０のパターン面の方程式を復元する。また、３次元点決定部４１０は、ステップＳ７１０で受信したデプス映像で補正用パターン１１０のパターン面の方程式を復元する。
【0080】
ステップＳ７３０において、補正情報決定部４２０は、ステップＳ７２０で復元したカメラ映像のパターン面の方程式と、デプス映像のパターン面の方程式を用いてデプス映像を撮影したデプスセンサ１３０の誤差とデプスセンサ１３０と撮影カメラ１２０との間の幾何学的な幾何関係を補正するための補正情報を決定する。
【0081】
ここで、補正情報決定部４２０は、数式（１）、数式（２）、数式（３）に基づいて数式（７）、数式（８）、数式（９）を生成する。具体的に、補正情報決定部４２０は、数式（１）、数式（２）、数式（３）のＸ、Ｙ、Ｚをａ、ｂ、ｃに変更し、Ｘ’、Ｙ’、Ｚ’をａ’、ｂ’、ｃ’に変更し、数式（７）、数式（８）、数式（９）を生成する。
【0082】
そして、補正情報決定部４２０は、数式（７）、数式（８）、数式（９）を行列の形態に表現して数式（１０）のような同次方程式を生成する。
【0083】
次に、補正情報決定部４２０は、数式（１０）でｈに含まれた変数の値を算出し、算出した変数の値を補正情報に決定する。
【0084】
また、補正情報決定部４２０は、補正情報を含む行列Ｈの逆転置行列である行列Ｌに含まれた因子を数式（１）、数式（２）、数式（３）に含まれた補正情報と交換してデプス映像の座標とカメラ座標との間の関係情報を決定する。
【0085】
ステップＳ７４０において、デプス映像補正部４３０は、補正情報のｈを初期値にする費用関数を定義し、定義した費用関数を最小化する非線形最適化の過程を実行する。ステップＳ７５０は、カメラ映像を精密に補正しようとするとき実行され、カメラ映像の補正程度に応じてステップＳ７５０の実行が省略されてもよい。
【0086】
ステップＳ７５０において、デプス映像補正部４３０は、デプス映像に含まれた３次元上の点とステップＳ７３０で補正情報決定部４２０が決定した補正情報に基づいてデプス映像を補正する。
【0087】
また、デプス映像補正部４３０は、デプス映像に含まれた３次元上の点とステップＳ７５０で最小化した費用関数に基づいてデプス映像を補正する。
【0088】
実施形態に係る方法は、多様なコンピュータ手段によって行うことができるプログラム命令の形態で実現されても良く、かかるプログラム命令は、コンピュータ読み出し可能媒体に記録されてもよい。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。
【0089】
以上のように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。
【0090】
したがって、本発明の範囲は、説明された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【0091】
１００：デプス映像補正装置４１０：３次元点決定部
４２０：補正情報決定部
４３０：デプス映像補正部