特許 6760957 ３次元モデリング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6760957

(24)【登録日】2020年9月7日

(45)【発行日】2020年9月23日

(54)【発明の名称】３次元モデリング方法及び装置

(51)【国際特許分類】

   G06T 7/593 20170101AFI20200910BHJP

   G06T 7/00 20170101ALI20200910BHJP

【ＦＩ】

   G06T7/593

   G06T7/00 660A

【請求項の数】17

【全頁数】23

(21)【出願番号】特願2017-548399(P2017-548399)

(86)(22)【出願日】2016年3月8日

(65)【公表番号】特表2018-511874(P2018-511874A)

(43)【公表日】2018年4月26日

(86)【国際出願番号】CN2016075837

(87)【国際公開番号】WO2016146001

(87)【国際公開日】20160922

【審査請求日】2019年3月8日

(31)【優先権主張番号】201510117117.2

(32)【優先日】2015年3月17日

(33)【優先権主張国】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】510330264

【氏名又は名称】アリババ・グループ・ホールディング・リミテッド

【氏名又は名称原語表記】ＡＬＩＢＡＢＡ ＧＲＯＵＰ ＨＯＬＤＩＮＧ ＬＩＭＩＴＥＤ

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100205785

【弁理士】

【氏名又は名称】▲高▼橋 史生

(74)【代理人】

【識別番号】100097320

【弁理士】

【氏名又は名称】宮川 貞二

(74)【代理人】

【識別番号】100155192

【弁理士】

【氏名又は名称】金子 美代子

(74)【代理人】

【識別番号】100131820

【弁理士】

【氏名又は名称】金井 俊幸

(74)【代理人】

【識別番号】100100398

【弁理士】

【氏名又は名称】柴田 茂夫

(72)【発明者】

【氏名】ヂャン，ジエ

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００７−１０２４１２（ＪＰ，Ａ）

【文献】 特開２００３−１８７２６１（ＪＰ，Ａ）

【文献】 特開２０１２−０６８８６１（ＪＰ，Ａ）

【文献】 特開２００９−１１０３５６（ＪＰ，Ａ）

【文献】 特開２０１４−１７５７０２（ＪＰ，Ａ）

【文献】 特開２０１２−２１２４２８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１００２５６（ＵＳ，Ａ１）

【文献】 藤村 恒太、外２名，“マルチカメラを用いた人体頭部３次元モデリングシステムとその応用”，情報処理学会論文誌，日本，社団法人情報処理学会，２００４年 ６月１５日，Vol.45, No.SIG 8(CVIM 9)，pp.1-9

【文献】 Asem M. Ali，"A 3D-Based Pose Invariant Face Recognition at a Distance Framework"，IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY，米国，IEEE，２０１４年１０月 ８日，Vol. 9, No. 12，pp.2158-2169

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって：
第１の方向に方向づけられた物体の第１の画像及び第２の方向に方向づけられた前記物体の第２の画像を取得するステップと；
前記第１の画像の前記物体の複数の特徴点を判定するステップと；
前記第１の画像の前記物体と前記第２の画像の前記物体の方向情報に基づいて、前記複数の特徴点に対応する前記第２の画像の複数のプレ対応特徴点を判定するステップと；
前記第２の画像を第２の格子とマッチングするステップと；
前記第１の画像の前記物体の前記複数の特徴点に対応する、前記第２の画像の前記物体の複数の対応特徴点を判定するステップであって、
少なくとも１つのプレ対応特徴点を含む前記第２の格子の格子セルの中心点を、前記第２の画像の前記複数の対応特徴点として判定するステップ
を備える、ステップと；
前記複数の特徴点と前記対応する複数の対応特徴点との間の類似度を計算するステップと；
前記複数の特徴点の奥行き値を計算するステップと；
前記類似度と奥行き値に基づいて、加重した奥行き値を計算するステップと；
前記加重した奥行き値に基づいて、前記物体の３次元モデリングを実行するステップと；を備える、
コンピュータ実装方法。

【請求項2】

前記第１の画像の前記物体の複数の初期特徴点を判定するステップと；
前記第１の画像を複数の格子セルを含む第１の格子とマッチングするステップと；をさらに備え、
前記第１の画像の前記物体の複数の特徴点を判定するステップは、各格子セル内で特徴点の数が等しくなるまで、前記複数の初期特徴点をフィルタリングするステップであって、各格子セルは少なくとも１つの初期特徴点を含む、前記フィルタリングするステップをさらに備える、
請求項１に記載のコンピュータ実装方法。

【請求項3】

前記第１の画像の前記物体の複数の特徴点を判定するステップは：
前記複数の初期特徴点から、前記複数の初期特徴点が位置する前記格子セルの中心点までの距離を計算するステップと；
少なくとも１つの初期特徴点を含む各格子セルについて、前記格子セルの前記中心点に最も近い初期特徴点を前記特徴点として判定するステップと；をさらに備える、
請求項２に記載のコンピュータ実装方法。

【請求項4】

前記第１の画像の前記物体の複数の特徴点を判定するステップは、前記格子セルが初期特徴点を含まない場合には、格子セルの中心点を前記格子セル内の特徴点として判定するステップをさらに備える、
請求項２に記載のコンピュータ実装方法。

【請求項5】

前記複数の特徴点と前記対応する複数の対応特徴点との間の類似度を判定するステップは：
少なくとも１つの特徴点を含む前記第１の格子の前記格子セル内の全ての画素の色値を判定するステップと；
少なくとも１つの対応特徴点を含む前記第２の格子の前記格子セル内の全ての画素の色値を判定するステップと；
少なくとも１つの特徴点を含む前記第１の格子の前記格子セル内の全ての前記画素と、少なくとも１つの対応特徴点を含む前記第２の格子の前記格子セル内の全ての前記画素との間の平均色値の差を計算するステップと；
前記平均色値の差に基づいて、前記複数の特徴点と前記対応する複数の対応特徴点との前記類似度を判定するステップと；をさらに備える、
請求項３に記載のコンピュータ実装方法。

【請求項6】

加重した奥行き値は、次のように計算される、
加重した奥行き値＝奥行き値×（加重した奥行き値計算の対象の特徴点を除く複数の特徴点の平均色値の差の和／複数の特徴点の平均色値の差の和）
請求項５に記載のコンピュータ実装方法。

【請求項7】

前記第２の格子の前記格子セルの面積は、前記第１の格子の前記格子セルの面積よりも小さい、
請求項３に記載のコンピュータ実装方法。

【請求項8】

前記加重した奥行き値を計算するステップの前に、前記類似度に基づいて、前記複数の特徴点をフィルタリングするステップ；をさらに備える、
請求項１に記載のコンピュータ実装方法。

【請求項9】

前記複数の特徴点をフィルタリングするステップは：
前記類似度に基づいて、特徴点除去閾値を判定するステップと；
その対応する類似度が前記特徴点除去閾値よりも小さい場合、特徴点を除去するステップと；をさらに備える、
請求項８に記載のコンピュータ実装方法。

【請求項10】

前記第１の格子の前記格子セルは、三角形の形状を有する、
請求項２に記載のコンピュータ実装方法。

【請求項11】

演算を実行するためにコンピュータシステムによって実行可能な１つ又は複数の命令を格納する、非一時的なコンピュータ可読媒体であって、
前記演算は：
第１の方向に方向づけられた物体の第１の画像及び第２の方向に方向づけられた前記物体の第２の画像を取得することと；
前記第１の画像の前記物体の複数の特徴点を判定することと；
前記第１の画像の前記物体と前記第２の画像の前記物体の方向情報に基づいて、前記複数の特徴点に対応する前記第２の画像の複数のプレ対応特徴点を判定することと；
前記第２の画像を第２の格子とマッチングすることと；
前記第１の画像の前記物体の前記複数の特徴点に対応する、前記第２の画像の前記物体の複数の対応特徴点を判定することであって、
少なくとも１つのプレ対応特徴点を含む前記第２の格子の格子セルの中心点を、前記第２の画像の前記複数の対応特徴点として判定すること
を備える、判定することと；
前記複数の特徴点と前記対応する複数の対応特徴点との間の類似度を計算することと；
前記複数の特徴点の奥行き値を計算することと；
前記類似度と奥行き値に基づいて、加重した奥行き値を計算することと；
前記加重した奥行き値に基づいて、前記物体の３次元モデリングを実行することと；を備える、
非一時的なコンピュータ可読媒体。

【請求項12】

前記第１の画像の前記物体の複数の初期特徴点を判定することと；
前記第１の画像を複数の格子セルを含む第１の格子とマッチングすることと；をさらに備え、
前記第１の画像の前記物体の複数の特徴点を判定することは、各格子セル内で特徴点の数が等しくなるまで、前記複数の初期特徴点をフィルタリングすることであって、各格子セルは少なくとも１つの初期特徴点を含む、前記フィルタリングすることをさらに備える、
請求項１１に記載の非一時的なコンピュータ可読媒体。

【請求項13】

前記第１の画像の前記物体の複数の特徴点を判定することは：
前記複数の初期特徴点から、前記複数の初期特徴点が位置する前記格子セルの中心点までの距離を計算することと；
少なくとも１つの初期特徴点を含む各格子セルについて、前記格子セルの前記中心点に最も近い初期特徴点を前記特徴点として判定することと；をさらに備える、
請求項１２に記載の非一時的なコンピュータ可読媒体。

【請求項14】

コンピュータ実装システムであって、
１台又は複数台のコンピュータと；
前記１台又は複数台のコンピュータと相互運用可能に結合され、前記１台又は複数台のコンピュータによって実行されると演算を実行する命令を格納する有形の非一時的なマシン可読媒体を有する、１つ又は複数のコンピュータメモリデバイスと；を備え、
前記演算は；
第１の方向に方向づけられた物体の第１の画像及び第２の方向に方向づけられた前記物体の第２の画像を取得することと；
前記第１の画像の前記物体の複数の特徴点を判定することと；
前記第１の画像の前記物体と前記第２の画像の前記物体の方向情報に基づいて、前記複数の特徴点に対応する前記第２の画像の複数のプレ対応特徴点を判定することと；
前記第２の画像を第２の格子とマッチングすることと；
前記第１の画像の前記物体の前記複数の特徴点に対応する、前記第２の画像の前記物体の複数の対応特徴点を判定することであって、
少なくとも１つのプレ対応特徴点を含む前記第２の格子の格子セルの中心点を、前記第２の画像の前記複数の対応特徴点として判定すること
を備える、判定することと；
前記複数の特徴点と前記対応する複数の対応特徴点との間の類似度を計算することと；
前記複数の特徴点の奥行き値を計算することと；
前記類似度と奥行き値に基づいて、加重した奥行き値を計算することと；
前記加重した奥行き値に基づいて、前記物体の３次元モデリングを実行することと；を備える、
コンピュータ実装システム。

【請求項15】

前記第１の画像の前記物体の複数の初期特徴点を判定することと；
前記第１の画像を複数の格子セルを含む第１の格子とマッチングすることと；をさらに備え、
前記第１の画像の前記物体の複数の特徴点を判定することは、各格子セル内で特徴点の数が等しくなるまで、前記複数の初期特徴点をフィルタリングすることであって、各格子セルは少なくとも１つの初期特徴点を含む、前記フィルタリングすることをさらに備える、
請求項１４に記載のコンピュータ実装システム。

【請求項16】

前記第１の画像の前記物体の複数の特徴点を判定することは：
前記複数の初期特徴点から、前記複数の初期特徴点が位置する前記格子セルの中心点までの距離を計算することと；
少なくとも１つの初期特徴点を含む各格子セルについて、前記格子セルの前記中心点に最も近い初期特徴点を前記特徴点として判定することと；をさらに備える、
請求項１５に記載のコンピュータ実装システム。

【請求項17】

前記複数の特徴点と前記対応する複数の対応特徴点との間の類似度を判定することは：
少なくとも１つの特徴点を含む前記第１の格子の前記格子セル内の全ての画素の色値を判定することと；
少なくとも１つの対応特徴点を含む前記第２の格子の前記格子セル内の全ての画素の色値を判定することと；
少なくとも１つの特徴点を含む前記第１の格子の前記格子セル内の全ての前記画素と、少なくとも１つの対応特徴点を含む前記第２の格子の前記格子セル内の全ての前記画素との間の平均色値の差を計算することと；
前記平均色値の差に基づいて、前記複数の特徴点と前記対応する複数の対応特徴点との前記類似度を判定することと；をさらに備える、
請求項１６に記載のコンピュータ実装システム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０１５年３月１７日に提出され中国特許出願第２０１５１０１１７１１７．２号「３次元モデリング方法及び装置」の優先権を主張し、上記中国特許出願は参照によってその全体が本明細書に組み込まれる。

【0002】

本出願はコンピュータの技術分野、詳細には３次元モデリング方法及び装置に関する。

【背景技術】

【0003】

コンピュータビジョンの分野では、２次元画像データに基づく物体の３次元モデリングが広く適用されてきた。２次元画像に含まれる情報、例えば光の流れ（light streams）、影及び質感（texture）、を全て用いて物体の奥行きを判定（決定）し、それにより３次元モデルを構成することができる。

【0004】

しかし、光の流れ、影、質感などの情報によって奥行き値（depth value）を取得する際の計算量は膨大である。携帯電話のようなモバイルデバイスを例に挙げると、内蔵型プロセッサは、上記情報に対するリアルタイムでの計算が困難なため、携帯電話のようなモバイルデバイスでの３次元モデリングに基づくいくつかのサービス又は機能のアプリケーションは制限されてしまう。

【0005】

他方、情報処理量を減らして携帯電話のようなモバイルデバイスのプロセッサの計算能力に適応させると、３次元モデリングの精度が低下するおそれがある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本出願の実施の形態は、携帯電話のようなモバイルデバイス上での実施が容易でない膨大な量の計算を要する従来技術の３次元モデリングに伴う問題を解決するための３次元モデリング方法及び装置を提供する。

【課題を解決するための手段】

【0007】

３次元モデリング方法は、本出願の実施の形態において提供され：
物体の第１の方向の第１の画像及び第２の方向の第２の画像をそれぞれ取り込むステップと；
第１の画像の複数の特徴点を取得するステップと；
複数の特徴点に対応する前記第２の画像の対応特徴点を判定するステップと；
複数の特徴点とこれに対応する対応特徴点との間の類似度と、複数の特徴点の奥行き値とを計算するステップと；
複数の特徴点と対応する対応特徴点との間の類似度に従って、複数の特徴点の奥行き値に重み付け計算を行うステップと；
重み付け計算を行った複数の特徴点の奥行き値に基づいて、物体の３次元モデリングを実行するステップとを備える。

【0008】

３次元モデリング方法は、本出願の他の実施の形態において提供され：
物体の複数方向の画像を取り込むステップと；
複数の画像のうち一つの画像の複数の特徴点を取得するステップと；
複数の特徴点に対応する対応特徴点を残りの画像にてそれぞれ判定するステップと；
複数の特徴点と残りの画像の対応する対応特徴点との間の類似度と、対応特徴点の奥行き値をそれぞれ計算するステップと；
複数の画像に関する方向情報と対応特徴点の奥行き値とに従って複数の特徴点の奥行き値を計算するステップと；
複数の特徴点と残りの画像の対応する対応特徴点との間の類似度に従って、複数の特徴点の奥行き値に重み付け計算を行うステップと；
重み付け計算を行った複数の特徴点の奥行き値に基づいて、物体の３次元モデリングを実行するステップとを備える。

【0009】

３次元モデリング装置は、本出願の実施の形態において提供され：
物体の第１の方向の第１の画像及び第２の方向の第２の画像をそれぞれ取り込む画像取り込みモジュールと；
第１の画像の複数の特徴点を取得する特徴検出モジュールと；
複数の特徴点に対応する、第２の画像の対応特徴点を判定するマッチングモジュールと；
複数の特徴点と対応する対応特徴点との間の類似度と、複数の特徴点の奥行き値とを計算し、複数の特徴点と対応する対応特徴点との間の類似度に従って複数の特徴点の奥行き値に重み付け計算を行う計算モジュールと；
重み付け計算を行った後に、複数の特徴点の前記奥行き値に基づいて物体の３次元モデリングを実行するモデル生成モジュールとを備える。

【0010】

３次元モデリング装置は、本出願の他の実施の形態において提供され：
物体の複数方向の画像を取り込む画像取り込みモジュールと；
複数の画像のうちの一つの画像の複数の特徴点を取得する特徴検出モジュールと；
複数の特徴点に対応する対応特徴点を残りの画像にてそれぞれ判定するマッチングモジュールと；
複数の特徴点と残りの画像の対応する対応特徴点との間の類似度と、対応特徴点の奥行き値とをそれぞれ計算し、複数の画像に関する方向情報と、対応特徴点の奥行き値とに従って、複数の特徴点の奥行き値を計算し、複数の特徴点と残りの画像の対応する対応特徴点との間の類似度に従って、複数の特徴点の奥行き値に重み付け計算を行う計算モジュールと；
重み付け計算を行った後に、複数の特徴点の奥行き値に基づいて物体の３次元モデリングを実行するモデル生成モジュールとを備える。

【0011】

本出願の実施の形態は３次元モデリング方法及び装置を提供する。本方法は、種々の特徴点（feature points）の奥行き値を計算するために、物体の少なくとも異なる２方向で画像を取り込むステップと、これら画像のうち一つの画像の特徴点を取得するステップと、残りの方向の画像の、対応する対応特徴点を判定して種々の特徴点の奥行き値を計算するステップを含み、並びに、特徴点と対応特徴点との間の類似度を用いて種々の特徴点の奥行き値に重み付け計算を行うステップと、重み付け計算を行った種々の特徴点の奥行き値を利用して、物体の３次元モデリングを実行するステップとを含み、よって３次元モデリングの計算量を効果的に減らせる本方法を、携帯電話のようなモバイルデバイス上で容易に実施でき、比較的高い精度が得られる。

【図面の簡単な説明】

【0012】

ここで説明する図面は本出願をさらに理解するために使用され、また、本出願の一部を構成する。本出願の例証的な実施の形態及びその記述は、本出願を説明するために使用され、本出願を限定するものではない。それぞれの図面の説明を以下で述べる。

【0013】

【図1】本出願の実施の形態で提供される、３次元モデリングの概略的なフローチャートである。

【図2】本出願の実施の形態で提供される、特徴点を取得するステップのフローチャートである。

【図3】本出願の実施の形態で提供される、第１の画像の特徴点に対応する第２の画像の対応特徴点を判定するステップのフローチャートである。

【図4】本出願の実施の形態で提供される、特徴点と対応特徴点との間の類似度を計算するステップのフローチャートである。

【図5】本出願の実施の形態で提供される、ＹＺ平面上で人物顔をＹ軸からＺ軸へ仰角αだけ右方向に回転させた場合の座標の略図である。

【図6】本出願の実施の形態で提供される、ＸＺ平面上で人間顔をＸ軸からＺ軸へ偏向角βだけ左方向に回転させた場合の座標の略図である。

【図7】本出願の実施の形態で提供される、ＸＹ平面上で人物顔をＸ軸からＹ軸へ回転角γだけ左方向に回転させた場合の座標の略図である。

【図8】本出願の実施の形態で提供される、第１の画像で取得した初期特徴点の略図である。

【図9】本出願の実施の形態で提供される、第１の格子を利用して初期特徴点をスクリーニングするステップの略図である。

【図10】本出願の実施の形態で提供される、第１の画像の特徴点Ａに対応する対応特徴点Ａ’を第２の画像で探すステップの略図である。

【図11】本出願の別の実施の形態で提供される３次元モデリング工程の概略フローチャートである。

【図12】本出願の別の実施の形態で提供される、携帯電話を利用して取り込んだ人物顔の正面顔画像、上向きの正面顔画像、左に傾けた正面顔画像、右に傾けた正面顔画像の略図である。

【図13】本出願の一実施の形態で提供される３次元モデリング装置のモジュールの略図である。

【発明を実施するための形態】

【0014】

本出願の目的、技術的な解決策、利点をより明確にするために、以下、本出願の技術的解決策を本出願の特定の実施の形態及び対応する図面に関連させ明瞭かつ完全に記述する。明らかに、これら実施の形態は、本出願の全ての実施の形態ではなく単にそのいくつかでしかない。本出願の実施の形態に基づき、一切の発明努力なく当業者によって得られたその他全ての実施の形態は本出願の保護範囲内に含まれるものとする。

【0015】

図１は、本出願の実施の形態で提供される３次元モデリングの工程であり、以下のステップを備える。

【0016】

Ｓ１１：物体の第１の方向の第１の画像と第２の方向の第２の画像とをそれぞれ取り込むステップ。

【0017】

本出願のこの実施の形態では、物体は３次元構造を有する種々の物体、例えば人物顔、を含む。第１の画像と第２の画像には、互いに対して仰角、偏向角、回転角に関し特定の差異がある。第１の画像と第２の画像は両方ともＲＧＢチャネルを含み（すなわち、第１の画像と第２の画像はカラー画像）、両画像の画素は３９２×４４０を超える。当然ながら、別の実施の形態では、第１の画像と第２の画像はグレースケールマップであってもよい。

【0018】

本出願中で述べる仰角、偏向角、回転角について、図５〜図７の参照と併せ、人物顔を例に挙げて説明する。人物顔の正面顔画像を参照すると、Ｘ軸は人物顔の正面顔の水平軸として定義され、Ｙ軸は人物顔の正面顔の垂直軸として定義され、一方、Ｚ軸はＸ軸及びＹ軸に対して垂直であり、Ｚ軸はまた人物顔の各種特徴の奥行きを示す。図５に示すように、仰角αはＹＺ平面上で人物顔をＹ軸からＺ軸へ右回転させる角度であり、図６に示すように、偏向角βはＸＺ平面上で人物顔をＸ軸からＺ軸へ左回転させる角度であり、図７に示すように、回転角γはＸＹ平面上で人物顔をＸ軸からＹ軸へ左回転させる角度である。

【0019】

Ｓ１２：第１の画像の複数の特徴点を取得するステップ。

【0020】

本出願のこの実施の形態では、第１の画像の輝度が大きく変化する点を取得するために、特徴点の取得にエッジ検出法を用いてもよい。同時に、画像エッジ検出は、奥行きの不連続性、表面方向の不連続性、材質の変化、シナリオイルミネーション（scenario illumination）の変化といった画像の重要な構造属性を保持しつつ、データの処理量を大幅に減らすことができる。

【0021】

図２を参照し、ステップＳ１２における第１の画像の複数の特徴点を取得するステップを説明するが、これは以下のステップを含む。

【0022】

Ｓ１２１：第１の画像のいくつかの初期特徴点を取得するステップ。

【0023】

図８を参照すると、ここでは、初期特徴点（図８中に×印で示す点）を取得するためにエッジ検出法を用いており、これらの初期特徴点は、特徴的なエッジのプロファイル、すなわち人物顔の５つの感覚器を反映する。

【0024】

Ｓ１２２：第１の画像を予め設定した第１の格子とマッチングするステップ。

【0025】

図９を参照すると、本出願のこの実施の形態では、第１の格子の格子セルを正方形として画成しているが、当然ながら、第１の格子の格子セルは必要に応じて三角形又は正六角形などの複数の形状として画成することもできる。このステップにより、第１の画像のいくつかの初期特徴点がそれぞれ第１の格子の種々の格子セル内に収まる。留意すべきは、例えば携帯電話における実際のアプリケーションのシナリオでは、第１の画像と第１の格子のマッチングは、必ずしも視覚的にフィードバックされるのではなく、携帯電話に内蔵のデータプロセッサの操作処理によって達成されることである。

【0026】

Ｓ１２３：第１の格子の格子セル内に保持された初期特徴点の数が等しくなるまでいくつかの初期特徴点をスクリーニングし、これらを特徴点として判定するステップ。

【0027】

引き続き人物顔を例に挙げると、人物顔の特徴部分は均一に分布していないため、初期特徴点を取得するためにエッジ検出を利用した場合に、第１の画像のいくつかの領域内の初期特徴点の分布は他の領域と比べて明らかにより集中し得る。しかし、例えば携帯電話のようなモバイルデバイスの用途では、取得した全ての初期特徴点に奥行き計算を実行することは明らかに達成困難かつ不要である。第１の格子を利用してこれらの特徴点をスクリーニングすることにより、データの計算量を大幅に減らしつつ、スクリーニング後に初期特徴点が依然として人物顔の基本的形状を反映できるようになる。

【0028】

この実施の形態では、いくつかの特徴点をスクリーニングするために、第１の格子の格子セル内に保持された初期特徴点の数が等しくなるようにすることが基準であるが、代替の実施の形態によっては、その他にも、例えば、種々の格子セル内の初期特徴点の数の差が、予め判定した閾値よりも大きくならないように設定するといったスクリーニング基準を用いてもよい。

【0029】

図１０を参照すると、本出願のこの実施の形態では、初期特徴点の具体的なスクリーニング工程は次の通りである。まず、いくつかの初期特徴点から、これらの点が位置する第１の格子の格子セルの中心までの距離を計算し、次に、第１の格子の格子セルにおいて、所属する格子セルの中心に最も近い初期特徴点を特徴点として判定する。この工程では、第１の格子の特定の格子セルが初期特徴点を含まないケースが生じることがあり、このケースでは、これら格子セルの中心（図１０の中空円で示す点）をその格子セル内の特徴点として判定する。

【0030】

当然ながら、代替の実施の形態によっては、種々の格子セルの初期特徴点の平均座標値も明らかにすることができ、得られた平均座標値に対応する点は、対応する第１の格子の格子セル内に保持された特徴点として見なされる。

【0031】

Ｓ１３：複数の特徴点に対応する第２の画像の対応特徴点を判定するステップ。

【0032】

図９及び図１０を参照するとともに、引き続き人物画を例に挙げ、鼻先の特徴点Ａが第１の画像で取得されたと仮定すると、ステップ１３の目的は、第２の画像で鼻先がある位置（すなわち、対応特徴点Ａ’座標）を探し、次に、この方法に従って第１の画像及び第２の画像の複数の特徴点と対応特徴点との間の相互関係を確立することである。

【0033】

図３を参照しながら、以下でステップ１３における対応特徴点を判定する具体的なステップを説明する。この具体的なステップは以下を含む。

【0034】

Ｓ１３１：第１の画像と第２の画像に関する方向情報に従って、複数の特徴点に対応した第２の画像のプレ対応特徴点を判定するステップ。

【0035】

第１の画像と第２の画像に関する方向情報は、複数の手段によって判定することができる。携帯電話での人物顔の撮影を例に挙げる。

【0036】

一実施の形態では、カメラを利用して第１の画像及び第２の画像を連続的に取り込むと、第１の画像及び第２の画像に関する方向情報が、携帯電話内蔵の動作センサ（ジャイロスコープ、コンパス、加速度計など）によって直接に判定される。

【0037】

引き続き図５乃至図７を参照すると、別の実施の形態において、カメラを利用して第１の画像及び第２の画像をそれぞれ取り込む場合には、第１の画像及び第２の画像に関する方向情報を、例えば姿勢測定アルゴリズムの手段によって判定できる。具体的には、既存の生体解剖学の知識によって、人物顔の回転が仮定の回転中心Ｃに基づいて判定されると仮定すると、回転中心の座標Ｃ_Ｘ、Ｃ_Ｙ、Ｃ_Ｚを大まかに推定することができる一方、回転中心Ｃから人物顔上の両目の間の距離ｒを用いて、上述の仰角α、偏向角β、回転角γを測定することができる。これと同時に、大まかに推定できる次の値、すなわち、人物顔が正面顔画像である場合の、人物顔の両目間の中心位置の第１の画像の座標（Ｕ_Ｘ、Ｕ_Ｙ）及び第２の画像の座標（Ｖ_Ｘ、Ｖ_Ｙ）と両目間の中心位置の奥行きＥ_Ｚとに基づいて、仰角α、偏向角β、回転角γの計算式は次の通り得られる。
仰角α

ここで、

偏向角β

ここで、

回転角γ

【0038】

Ｓ１３２：第２の画像を予め設定した第２の格子とマッチングするステップ。

【0039】

図１０を参照すると、第１の格子と同様、本出願のこの実施の形態では、第２の格子の格子セルに正方形を使用している。加えて、下記のステップにおいて対応特徴点の判定の精度を高めるために、第２の格子の格子セルの面積は第１の格子の格子セルの面積よりも小さくなるように設定されている（すなわち、同じ面積の第１の格子と第２の格子において、第１の格子に対し第２の格子セルの方がより多くの格子セルに分割されている）。

【0040】

Ｓ１３３：プレ対応特徴点が位置する第２の格子の格子セルの中心を、対応する対応特徴点として判定するステップ。

【0041】

Ｓ１４：複数の特徴点とこれに対応する対応特徴点との間の類似度と、複数の特徴点の奥行き値とを計算するステップ。

【0042】

図４を参照し、ステップＳ１４での特徴点と対応特徴点との間の類似度を計算する具体的なステップを説明する。この具体的なステップは以下を含む。

【0043】

Ｓ１４１；複数の特徴点が位置する第１の格子の格子セル内の全ての画素の色値を取得するステップ。

【0044】

Ｓ１４２：複数の対応特徴点が位置する第２の格子の格子セル内の全ての画素の色値を取得するステップ。

【0045】

ステップＳ１４１及びステップＳ１４２で述べた「色値」とは、Ｒ、Ｇ、Ｂの３色のチャネルにおける画素の色値を意味する。

【0046】

Ｓ１４３：複数の特徴点が位置する第１の格子の格子セル内の全ての画素と、これに対応する対応特徴点が位置する第２の格子の格子セル内の全ての画素との間の平均色値誤差をそれぞれ計算し、この平均色値誤差に従って、複数の特徴点とこれに対応する対応特徴点との間の類似度を判定するステップ。平均色値誤差Ｓの計算式は次の通りである。

ここで、ｉとｊは第１の格子の格子セル内の画素の座標値、Ｆ_ｉｊは画素が（ｉ，ｊ）の位置にある特徴点、Ｓ_ｉｊは画素が（ｉ，ｊ）の位置にある対応特徴点、Ｒ（Ｆ_ｉｊ，Ｓ_ｉｊ）はＲチャネル上の点Ｆ_ｉｊと点Ｓ_ｉｊの間の差の絶対値、Ｇ（Ｆ_ｉｊ，Ｓ_ｉｊ）はＧチャネル上の点Ｆ_ｉｊと点Ｓ_ｉｊの間の差の絶対値、Ｂ（Ｆ_ｉｊ，Ｓ_ｉｊ）はＢチャネル上の点Ｆ_ｉｊと点Ｓ_ｉｊの間の差の絶対値、||Ｆ||は第１の格子の格子セルの面積（すなわち、第１の格子の格子セル内に含まれる画素値）、λは定数であり、計算式は次の通りである。

ここで、ｍａｘＸとｍａｘＹは、第１の格子の一つ一つの格子セル内で対応する特徴点から最も遠く離れた距離値（画素で表す）であり、ｆｐ．ｘとｆｐ．ｙは特徴点の座標値であり、ｓｐ．ｘとｓｐ．ｙは対応特徴点の座標値である。

【0047】

特徴点と対応特徴点との間の類似度は、計算によって得た平均色値誤差の値に従って判定され、また、平均色値誤差が大きいほど、特徴点と対応特徴点との間の類似度は低くなる。特徴点は、特徴点と対応特徴点との間の類似度を利用してスクリーニングすることができる。具体的には次の通りである。

【0048】

まず、複数の特徴点とこれらに対応する対応特徴点との間の類似度に従って廃棄閾値を判定し、次に、対応特徴点との類似度がこの廃棄閾値よりも低い特徴点を複数の特徴点から排除する。特徴点とこれに対応する対応特徴点との間の類似度が廃棄閾値よりも低い場合は、現時点での対応特徴点は、第２の画像の特徴点に実際に対応する点ではないことを示し、さらに、現時点では特徴点マッチングが失敗したと判定される一方、マッチングに失敗したこれらの特徴点は後続の３次元モデリング計算には関与しない。

【0049】

引き続き図５乃至図７を参照すると、特徴点の奥行き値は、仰角、偏向角、回転角における対応特徴点の奥行きを合成することで得られ、これら各種角度における奥行き値と組み合わせて計算を実行することで、これらの角度の影響が大きくなり、奥行き値の計算結果の精度が高まる。具体的には、
仰角における特徴点の奥行き値は次式で得られ、

偏向角における特徴点の奥行き値は次式で得られ、

回転角における特徴点の奥行き値は次式で得られ、

奥行き値Ｚの計算式はＺ_α、Ｚ_β、Ｚ_γを次式の通り合成して得られる。

【0050】

Ｓ１５：複数の特徴点とこれに対応する対応特徴点との間の類似度に従って、複数の特徴点の奥行き値に重み付け計算を行うステップ。

【0051】

具体的には、特徴点の奥行き値に重み付け計算を行う式は次の通りである。
加重した奥行き値＝奥行き値Ｚ×（重み付け計算対象の特徴点を除く全ての特徴点の平均色値誤差の和／全ての特徴点の平均色値誤差の和）

【0052】

Ｓ１６：重み付け計算を行った複数の特徴点の奥行き値に従って、物体の３次元モデリングを実行するステップ。

【0053】

本出願のこの実施の形態では、３次元モデリングに三角格子を採用し、三角格子の頂点がそれぞれの特徴点となる。当然ながら、別の代替の実施の形態では、例えばポリゴンモデリングなどの方法を使用してもよい。

【0054】

図１１は、本出願の別の実施の形態で提供される３次元モデリングの工程であり、具体的に以下のステップを含む。
Ｓ２１：物体の複数方向の画像を取り込むステップ。
Ｓ２２：複数の画像のうち一つ画像の複数の特徴点を取得するステップ。
Ｓ２３：複数の特徴点に対応する対応特徴点を残りの画像でそれぞれ判定するステップ。
Ｓ２４：複数の特徴点とこれらに対応する残りの画像の対応特徴点との間の類似度と、対応特徴点の奥行き値とをそれぞれ計算するステップ。
Ｓ２５：複数の画像に関する方向情報と対応特徴点の奥行き値とに従って、複数の特徴点の奥行き値を計算するステップ。
Ｓ２６：複数の特徴点と、これに対応する残りの画像の対応特徴点との間の類似度に従って、複数の特徴点の奥行き値に重み付け計算を行うステップ。
Ｓ２７：重み付け計算を行った複数の特徴点の奥行き値に基づいて、物体の３次元モデリングを実行するステップ。

【0055】

図１２を参照し、引き続き、携帯電話を使用する人物顔の３次元モデリングの実行を例に挙げて、物体の基準方向の第１の画像と、基準方向から逸脱した３方向における第２の画像、第３の画像、第４の画像とを取り込む。加えて、第１の画像、第２の画像、第３の画像、第４の画像は、それぞれ、人物顔の正面顔画像、上向きの正面顔画像、左に傾けた正面顔画像、右に傾けた正面顔画像である。こうすることで、人物顔の正面顔画像で捕えた特徴点に対応する対応特徴点の全てが、上向きの正面顔画像、左に傾けた正面顔画像、右に傾けた正面顔画像のうち少なくとも一つにて実質的に見つけられるので、人物顔の正面顔画像の各特徴点の奥行き値の計算工程は各々の角度因子を合成したものであり、その結果、計算で得た奥行き値は確実に一層高精度になる。

【0056】

この実施の形態では、本出願の３次元モデリング方法を、４つの画像の取り込みを例に挙げて説明する。しかし、これは限定ではなく、特定の使用環境及び精度要求の違いに応じて、取り込む画像の枚数は適応的に調整することも可能である。加えて、この実施の形態は一つ前の実施の形態の他のステップの改善に関与するものではないため、これらのステップについては変更がない限りここでは述べない、また、一つ前の実施の形態で詳細に述べた方法及び装置の両方はその全体がこの実施の形態にも適用され得る。

【0057】

図１３は、本出願の実施の形態で提供される３次元モデリング装置の種々のモジュールの略図であり、具体的には下記を含む：
物体の第１の方向の第１の画像と第２の方向の第２の画像とをそれぞれ取り込む画像取り込みモジュール３１と；
第１の画像の複数の特徴点を取得する特徴検出モジュール３２と；
上記複数の特徴点に対応する第２の画像の対応特徴点を判定するマッチングモジュール３３と；
複数の特徴点とこれに対応する対応特徴点との間の類似度と、複数の特徴点の奥行き値とを計算し、複数の特徴点とこれに対応する対応特徴点との間の類似度に従って、複数の特徴点の奥行き値に重み付け計算を行う計算モジュール３４と；
重み付け計算を行った複数の特徴点の奥行き値に基づいて、物体の３次元モデリングを実行するモデル生成モジュール３６。

【0058】

本出願のこの実施の形態では、特徴検出モジュール３２は、具体的に、第１の画像のいくつかの初期特徴点を取得するために、第１の画像を予め設定した第１の格子とマッチングするために、第１の格子の格子セル内に保持された初期特徴点の数が等しくなるまで、いくつかの初期特徴点をスクリーニングするために、及び、これらの初期特徴点を特徴点として判定するために用いられる。

【0059】

本出願のこの実施の形態では、特徴検出モジュール３２は計算ユニット３２１を含み、この計算ユニット３２１は、具体的に、いくつかの初期特徴点から、これら初期特徴点が位置する第１の格子の格子セルの中心までの距離を計算するために用いられ、また、特徴検出モジュール３２は、具体的に、第１の格子の格子セル内で、初期特徴点が位置する格子セルの中心に最も近い初期特徴点を特徴点として判定するために使いられる。

【0060】

本出願のこの実施の形態において、特徴検出モジュール３２は、第１の格子の格子セルに初期特徴点がない場合に、格子セルの中心をその格子セル内の特徴点として判定するためにさらに用いられる。

【0061】

本出願のこの実施の形態では、マッチングモジュール３３は、具体的に、第１の画像及び第２の画像に関する方向情報に従って、複数の特徴点に対応した第２の画像のプレ対応特徴点を判定するために、第２の画像を予め設定した第２の格子とマッチングするために、及び、対応する対応特徴点としてのプレ対応特徴点が位置する第２の格子の格子セルの中心を判定するために用いられる。

【0062】

本出願のこの実施の形態では、計算モジュール３４は、具体的に、特徴点が位置する第１の格子の格子セルの内の全ての画素の色値を取得するために、複数の対応特徴点が位置する第２の格子の格子セル内の全ての画素の色値を取得するために、複数の特徴点が位置する第１の格子の格子セル内の全ての画素と、対応する対応特徴点が位置する第２の格子の格子セル内の全ての画素との間の平均色値誤差をそれぞれ計算するために、及び、平均色値誤差に従って、複数の特徴点とこれに対応する対応特徴点との間の類似度を判定するために用いられる。

【0063】

本出願のこの実施の形態では、複数の特徴点とこれに対応する対応特徴点との間の類似度に従って、複数の特徴点の奥行き値に重み付け計算を行う式は次の通りである。
加重した奥行き値＝奥行き値Ｚ×（重み付け計算対象の特徴点を除く全ての特徴点の平均色値誤差の和／全ての特徴点の平均色値誤差の和）

【0064】

本出願のこの実施の形態では、第２の格子の格子セルの面積は第１の格子の格子セルの面積よりも小さい。

【0065】

本出願のこの実施の形態では、本装置はスクリーニングモジュール３５をさらに含み、スクリーニングモジュール３５は、複数の特徴点の奥行き値に重み付け計算を行う前に、複数の特徴点とこれに対応する対応特徴点との間の類似度に従って、複数の特徴点をスクリーニングする。

【0066】

本出願のこの実施の形態では、スクリーニングモジュール３５は、具体的に、まず、複数の特徴点とこれに対応する対応特徴点との間の類似度に従って廃棄閾値を判定し、次に、対応する対応特徴点との類似度が廃棄閾値より高い特徴点を複数の特徴点から排除するために用いられる。

【0067】

本出願のこの実施の形態では、モデル生成モジュール３６は、三角格子を採用することで、物体の３次元モデリングを実行する。

【0068】

引き続き図１３を参照すると、本出願の３次元モデリング装置の別の実施の形態において、本装置は下記を含む：物体の複数方向の画像を取り込む画像取り込みモジュール３１と；複数の画像のうち一つの画像の複数の特徴点を取得する特徴検出モジュール３２と；複数の特徴点に対応する対応特徴点を残りの画像にてそれぞれ判定するマッチングモジュール３３と；計算モジュール３４であって、この計算モジュール３４は、複数の特徴点とこれに対応する残りの画像の対応特徴点との間の類似度と、対応特徴点の奥行き値とをそれぞれ計算し、複数の画像に関する方向情報と対応特徴点の奥行き値とに従って、複数の特徴点の奥行き値を計算し、複数の特徴点とこれに対応する残りの画像の対応特徴点との間の類似度に従って、複数の特徴点の奥行き値に重み付け計算を行う、計算モジュール３４と；重み付け計算を行った複数の特徴点の奥行き値に基づいて、物体の３次元モデリングを実行するモデル生成モジュール３６。

【0069】

本出願のこの実施の形態では、画像取り込みモジュール３１は、具体的に、物体の基準方向の第１の画像と、基準方向から逸脱した３方向における第２の画像と、第３の画像と、第４の画像とを取り込むために用いられる。

【0070】

本出願のこの実施の形態では、物体は人物顔を含む。

【0071】

本出願のこの実施の形態では、第１の画像、第２の画像、第３の画像、及び第４の画像はそれぞれ、人物顔の正面顔画像、上向きの正面顔画像、左に傾けた正面顔画像、及び右に傾けた正面顔画像である。

【0072】

本出願のこの実施の形態は、３次元モデリング方法及び装置を提供する。この方法は、種々の特徴点（feature points）の奥行き値を計算するために、物体の少なくとも異なる２方向で画像を取り込むステップと、これら画像のうち一つの画像の特徴点を取得するステップと、残りの方向の画像の、対応する対応特徴点を判定して種々の特徴点の奥行き値を計算するステップを含み、並びに、特徴点と対応特徴点との間の類似度を用いて種々の特徴点の奥行き値に重み付け計算を行うステップと、重み付け計算を行った種々の特徴点の奥行き値を利用して、物体の３次元モデリングを実行するステップとを含み、よって３次元モデリングの計算量を効果的に減らせる本方法を、携帯電話のようなモバイルデバイス上で容易に実施でき、比較的高い精度が得られる。

【0073】

当業者は、本発明のこの実施の形態を方法、システム、又はコンピュータプログラム製品として提供できることを理解するだろう。したがって、本発明はハードウェアのみの実施の形態、ソフトウェアのみの実施の形態、又は、ソフトウェアとハードウェアの組み合わせによる実施の形態を採用できる。さらに、本発明は、コンピュータで使用可能なプログラムコードを含む一つ以上のコンピュータで使用可能な記憶媒体（ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリなどを非限定的に含む）上で実現されるコンピュータプログラム製品の形態を採用することもできる。

【0074】

本発明の実施の形態による方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して、本発明を説明した。フローチャート及び／又はブロック図の各フロー及び／又はブロック、そして、フローチャート及び／又はブロック図のフロー及び／又はブロックの任意の組み合わせは、コンピュータプログラムの命令によって実施できることは言うまでもない。これらのコンピュータプログラム命令は、汎用コンピュータのプロセッサ、専用コンピュータ、埋込型プロセッサ、又はマシンを生成するその他のプログラム可能なデータ処理デバイスに提供することができ、これにより、コンピュータのプロセッサ又はその他のプログラム可能なデータ処理デバイスによって実行された命令が、フローチャートの一つ以上のフロー、及び／又は、ブロック図の一つ以上のブロックにおける特定機能を実施する手段を生成できるようになる。

【0075】

これらのコンピュータプログラム命令は、コンピュータ又はその他のプログラム可能なデータ処理デバイスを特定の方法で操作するように誘導し得るコンピュータ可読メモリに記憶することもでき、これにより、コンピュータ可読メモリに記憶された命令が、フローチャートの一つ以上のフロー及び／又はブロック図の一つ以上のブロックにおける特定機能を実施できる命令手段を含んだ製品を生成することができる。

【0076】

これらのコンピュータプログラム命令をコンピュータ又はその他のプログラム可能なデータ処理デバイス内にロードして、一連の操作ステップがコンピュータ又はその他のプログラム可能なデバイスによって実行され、コンピュータ実施処理を実現するようにしてもよく、したがって、コンピュータ又はその他のプログラム可能なデバイスによって実行された命令は、フローチャートの一つ以上のフロー及び／又はブロック図の一つ以上のブロックにおける特定機能を実施するステップを提供する。

【0077】

典型的な構成では、コンピューティングデバイスは一つ以上のプロセッサ（ＣＰＵ）、入／出力インターフェース、ネットワークインターフェース及びメモリを含む。

【0078】

メモリは、非永久的メモリ、ランダムアクセスメモリ（ＲＡＭ）、及び／又は、コンピュータで読取可能な媒体内の不揮発性メモリ（読取り専用メモリ（ＲＯＭ）又はフラッシュメモリ（フラッシュＲＡＭ））などを含んでよい。メモリはコンピュータ可読媒体の一例である。

【0079】

コンピュータで読取り可能な媒体は、永久的又は非永久的なリムーバブル及び非リムーバブル媒体を備え、また、任意の方法あるいは技術によって情報記憶装置を実現することができる。情報はコンピュータで読取り可能な命令、データ構造、プログラムモジュール又はその他のデータであってよい。コンピュータの記憶媒体の例は、例えば、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、その他のタイプのランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、電気的消去再書込可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又はその他のメモリ技術、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）又はその他の光学記憶装置、磁気カセットテープ、磁気テープ及び磁気ディスク記憶デバイス又はその他の磁気記憶デバイス、あるいは任意のその他の非伝送媒体を非限定的に含み、これらは計算デバイスによってアクセス可能な情報を保存するために使用できる。本明細書での定義によれば、コンピュータ可読媒体は、変調データ信号及び搬送波のような一時的にコンピュータで読取り可能な媒体を含まない。

【0080】

さらに、用語「備える」、「含む」、又はこれらのその他のあらゆる適用形は、非排他的な包含をカバーするものであるため、一連の要素を含む工程、方法、商品、デバイスは、このような要素を含むだけでなく、明記されていないその他の要素をも含むか、あるいは、その工程、方法、商品、デバイスに固有の要素をさらに含むことができる点にも留意する必要がある。さらなる限定がなければ、表現「を備える〜（comprising a/an…）」によって限定される要素は、その要素含む工程、方法、商品、デバイスに存在しているその他の同一の要素を除外するものではない。

【0081】

当業者は、本出願の実施の形態は方法、システム、コンピュータプログラム製品としての提供が可能であることを理解するだろう。したがって、本出願は、完全なハードウェアの実施の形態、完全なソフトウェアの実施の形態、又はソフトウェアとハードウェアを組み合わせた実施の形態を採用できる。さらに、本出願は、一つ以上のコンピュータで使用可能な記憶媒体（ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリなどを非限定的に含む）上で実施できるコンピュータプログラム製品（コンピュータ使用可能プログラムコードを含む）の形態を採用することが可能である。

【0082】

上述は単に本出願の実施の形態であり、本出願を限定するものではない。当業者にとっては、本出願に様々な変更及び変形を加えることが可能である。本出願の精神及び原理から逸脱せずに為されるあらゆる修正、均等物の置き換え、改良は、本出願の特許請求の範囲内に含まれる。
［第１の局面］
３次元モデリング方法であって：
物体の第１の方向の第１の画像及び第２の方向の第２の画像を取り込むステップと；
前記第１の画像の複数の特徴点を取得するステップと；
前記複数の特徴点に対応する前記第２の画像の対応特徴点を判定するステップと；
前記複数の特徴点とこれに対応する対応特徴点との間の類似度と、前記複数の特徴点の奥行き値とを計算するステップと；
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って、前記複数の特徴点の前記奥行き値に重み付け計算を行うステップと；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて、前記物体の３次元モデリングを実行するステップと；を備えることを特徴とする、
３次元モデリング方法。
［第２の局面］
前記第１の画像の前記複数の特徴点を取得するステップは、具体的に：
前記第１の画像のいくつかの初期特徴点を取得するステップと；
前記第１の画像を予め設定した第１の格子とマッチングするステップと；
前記第１の格子の格子セル内に保持された前記初期特徴点の数が等しくなるまで、前記いくつかの初期特徴点をスクリーニングし、これらを前記特徴点として判定するステップと；を備えることを特徴とする、
第１の局面に記載の方法。
［第３の局面］
前記第１の格子の格子セル内に保持された前記初期特徴点の数が等しくなるまで、前記いくつかの初期特徴点をスクリーニングし、これらを前記特徴点として判定するステップは、具体的に：
前記いくつかの初期特徴点からこれらの初期特徴点が位置する前記第１の格子の前記格子セルの中心までの距離を計算するステップと；
前記第１の格子の前記格子セル内において、所属する前記格子セルの中心に最も近い初期特徴点を前記特徴点として判定するステップと；を備えることを特徴とする、
第２の局面に記載の方法。
［第４の局面］
前記方法は：
前記第１の格子の格子セルに前記初期特徴点がない場合には、前記格子セルの中心を前記格子セル内の特徴点と判定するステップ；をさらに備えることを特徴とする、
第２の局面又は第３の局面に記載の方法。
［第５の局面］
前記複数の特徴点に対応する前記第２の画像の前記対応特徴点を判定するステップは、具体的に：
前記第１の画像及び前記第２の画像に関する方向情報に従って、前記複数の特徴点に対応する前記第２の画像のプレ対応特徴点を判定するステップと；
前記第２の画像を予め設定した第２の格子とマッチングするステップと；
前記プレ対応特徴点が位置する前記第２の格子の格子セルの中心を、これに対応する対応特徴点として判定するステップと；を備えることを特徴とする、
第３の局面に記載の方法。
［第６の局面］
前記複数の特徴点と前記対応する対応特徴点との間の類似度を計算するステップは、具体的に：
前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての画素の色値を取得するステップと；
前記複数の対応特徴点が位置する前記第２の格子の前記格子セル内の全ての画素の色値を取得するステップと；
前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての前記画素と、前記対応する対応特徴点が位置する前記第２の格子の前記格子セル内の全ての前記画素との間の平均色値誤差をそれぞれ計算し、前記平均色値誤差に従って、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度を判定するステップと；を備えることを特徴とする、
第５の局面に記載の方法。
［第７の局面］
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点の前記奥行き値に重み付け計算を行う式は、
加重した奥行き値＝奥行き値×（重み付け計算対象の特徴点を除く全ての前記特徴点の前記平均色値誤差の和／全ての前記特徴点の前記平均色値誤差の和）であることを特徴とする、
第６の局面に記載の方法。
［第８の局面］
前記第２の格子の前記格子セルの前記面積は、前記第１の格子の前記格子セルの前記面積よりも小さいことを特徴とする、
第５の局面乃至第７の局面のいずれかに記載の方法。
［第９の局面］
前記方法は：
前記複数の特徴点の前記奥行き値に前記重み付け計算を行う前に、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点をスクリーニングするステップ；をさらに備えることを特徴とする、
第１の局面に記載の方法。
［第１０の局面］
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点をスクリーニングするステップは、具体的に：
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って廃棄閾値を判定するステップと；
前記対応する対応特徴点との類似度が前記廃棄閾値よりも低い特徴点を前記複数の特徴点から排除するステップと；をさらに備えることを特徴とする、
第９の局面に記載の方法。
［第１１の局面］
前記物体の３次元モデリングを実行するステップが、三角格子を採用することを特徴とする、
第１の局面に記載の方法。
［第１２の局面］
３次元モデリング方法であって：
物体の複数方向の画像を取り込むステップと；
前記複数の画像のうち一つの画像の複数の特徴点を取得するステップと；
前記複数の特徴点に対応する対応特徴点を残りの画像にてそれぞれ判定するステップと；
前記複数の特徴点と前記残りの画像の前記対応する対応特徴点との間の類似度と、前記対応特徴点の奥行き値をそれぞれ計算するステップと；
前記複数の画像に関する方向情報と前記対応特徴点の前記奥行き値とに従って前記複数の特徴点の奥行き値を計算するステップと；
前記複数の特徴点と前記残りの画像の前記対応する対応特徴点との間の前記類似度に従って、前記複数の特徴点の前記奥行き値に重み付け計算を行うステップと；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて、前記物体の３次元モデリングを実行するステップと；を備えることを特徴とする、
３次元モデリング方法。
［第１３の局面］
前記物体の複数方向の画像を取り込むステップは、具体的に：
前記物体の基準方向の第１の画像と、前記基準方向から逸脱した３方向における第２の画像、第３の画像、及び第４の画像を取り込むステップ；を備えることを特徴とする、
第１２の局面に記載の方法。
［第１４の局面］
前記物体は、人物顔；を備えることを特徴とする、
第１３の局面に記載の方法。
［第１５の局面］
前記第１の画像、第２の画像、第３の画像、及び第４の画像は、それぞれ、前記人物顔の正面顔画像、上向きの正面顔画像、左に傾けた正面顔画像、及び右に傾けた正面顔画像であることを特徴とする、
第１４の局面に記載の方法。
［第１６の局面］
３次元モデリング装置であって：
物体の第１の方向の第１の画像及び第２の方向の第２の画像をそれぞれ取り込む画像取り込みモジュールと；
前記第１の画像の複数の特徴点を取得する特徴検出モジュールと；
前記複数の特徴点に対応する、前記第２の画像の対応特徴点を判定するマッチングモジュールと；
前記複数の特徴点と前記対応する対応特徴点との間の類似度と、前記複数の特徴点の奥行き値とを計算し、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点の前記奥行き値に重み付け計算を行う計算モジュールと；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて前記物体の３次元モデリングを実行するモデル生成モジュールと；を備えることを特徴とする、
３次元モデリング装置。
［第１７の局面］
前記特徴検出モジュールは、具体的に、前記第１の画像のいくつかの初期特徴点を取得するために、前記第１の画像を予め設定した第１の格子とマッチングするために、前記第１の格子の格子セル内にある前記初期特徴点の数が等しくなるまで前記いくつかの初期特徴点をスクリーニングするために、及びこれらを前記特徴点として判定するために用いられることを特徴とする、
第１６の局面に記載の装置。
［第１８の局面］
前記特徴検出モジュールは、具体的に、前記いくつかの初期特徴点からこれらの初期特徴点が位置する前記第１の格子の前記格子セルの中心までの距離を計算するために使用される計算ユニット；を備え、
前記特徴検出モジュールは、具体的に、前記第１の格子の前記格子セル内において、所属する前記格子セルの中心に最も近い初期特徴点を前記特徴点として判定するために用いられることを特徴とする、
第１７の局面に記載の装置。
［第１９の局面］
前記特徴検出モジュールは、前記第１の格子の格子セルに前記初期特徴点がない場合には、前記格子セルの中心を前記格子セル内の特徴点として判定するためにさらに用いられることを特徴とする、
第１７の局面又は第１８の局面に記載の装置。
［第２０の局面］
前記マッチングモジュールは、具体的に、前記第１の画像及び前記第２の画像に関する方向情報に従って、前記複数の特徴点に対応する前記第２の画像のプレ対応特徴点を判定するために、前記第２の画像を予め設定した第２の格子とマッチングするために、及び、前記プレ対応特徴点が位置する前記第２の格子の格子セルの中心を、これに対応する対応特徴点として判定するために用いられることを特徴とする、
第１８の局面に記載の装置。
［第２１の局面］
前記計算モジュールは、具体的に、前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての画素の色値を取得するために、前記複数の対応特徴点が位置する前記第２の格子の前記格子セル内の全ての画素の色値を取得するために、前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての前記画素と、前記対応する対応特徴点が位置する前記第２の格子の前記格子セル内の全ての前記画素との間の平均色値誤差をそれぞれ計算するために、及び、前記平均色値誤差に従って、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度を判定するために用いられることを特徴とする、
第２０の局面に記載の装置。
［第２２の局面］
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点の前記奥行き値に重み付け計算を行う式は、
加重した奥行き値＝奥行き値×（前記重み付け計算の対象の前記特徴点を除く全ての前記特徴点の前記平均色値誤差の和／全ての前記特徴点の前記平均色値誤差の和）であることを特徴とする、
第２１の局面に記載の装置。
［第２３の局面］
前記第２の格子の前記格子セルの前記面積は、前記第１の格子の前記格子セルの前記面積よりも小さいことを特徴とする、
第２０の局面乃至第２２の局面のいずれかに記載の装置。
［第２４の局面］
前記装置は、前記複数の特徴点の前記奥行き値に前記重み付け計算を行う前に、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点をスクリーニングするスクリーニングモジュール；をさらに備えることを特徴とする、
第１６の局面に記載の装置。
［第２５の局面］
前記スクリーニングモジュールは、具体的に、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って廃棄閾値を判定するために、及び、前記対応する対応特徴点との類似度が前記廃棄閾値よりも高い特徴点を前記複数の特徴点から排除するために用いられることを特徴とする、
第２４の局面に記載の装置。
［第２６の局面］
前記モデル生成モジュールは、三角格子を採用することにより、前記物体の３次元モデリングを実行することを特徴とする、
第１６の局面に記載の装置。
［第２７の局面］
３次元モデリング装置であって：
物体の複数方向の画像を取り込む画像取り込みモジュールと；
前記複数の画像のうちの一つの画像の複数の特徴点を取得する特徴検出モジュールと；
前記複数の特徴点に対応する対応特徴点を残りの画像にてそれぞれ判定するマッチングモジュールと；
前記複数の特徴点と前記残りの画像の前記対応する対応特徴点との間の類似度と、前記対応特徴点の奥行き値とをそれぞれ計算し、前記複数の画像に関する方向情報と、前記対応特徴点の前記奥行き値とに従って、前記複数の特徴点の奥行き値を計算し、前記複数の特徴点と前記残りの画像の前記対応する対応特徴点との間の前記類似度に従って、前記複数の特徴点の前記奥行き値に重み付け計算を行う計算モジュールと；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて前記物体の３次元モデリングを実行するモデル生成モジュールと；を備えることを特徴とする、
３次元モデリング装置。
［第２８の局面］
前記画像取り込みモジュールは、具体的に、前記物体の基準方向の第１の画像と、前記基準方向から逸脱した３方向における第２の画像、第３の画像、及び第４の画像とを取り込むために用いられることを特徴とする、
第２７の局面に記載の装置。
［第２９の局面］
前記物体は、人物顔；を備えることを特徴とする、
第２８の局面に記載の装置。
［第３０の局面］
前記第１の画像、第２の画像、第３の画像、及び第４の画像はそれぞれ、前記人物顔の正面顔画像、上向きの正面顔画像、左に傾けた正面顔画像、及び右に傾けた正面顔画像であることを特徴とする、
第２９の局面に記載の装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】