特許7446414３Ｄモデルのテクスチャを取得するための方法および関連する装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-29
(45)【発行日】2024-03-08
(54)【発明の名称】３Ｄモデルのテクスチャを取得するための方法および関連する装置
(51)【国際特許分類】
G06T 7/55 20170101AFI20240301BHJP
G06V 20/64 20220101ALI20240301BHJP
【ＦＩ】
G06T7/55
G06V20/64
【請求項の数】
10
(21)【出願番号】P 2022516349
(86)(22)【出願日】2020-10-14
(65)【公表番号】
(43)【公表日】2022-11-21
(86)【国際出願番号】 CN2020120797
(87)【国際公開番号】W WO2021139293
(87)【国際公開日】2021-07-15
【審査請求日】2022-03-14
(31)【優先権主張番号】202010027225.1
(32)【優先日】2020-01-10
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】林 祥▲凱▼
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２０１５－１５３４０５（ＪＰ，Ａ）
【文献】特開２０１７－０４５１４８（ＪＰ，Ａ）
【文献】Sehwan Kim, et al.，Projection-based registration using a multi-view camera for indoor scene reconstruction，Fifth International Conference on 3-D Digital Imaging and Modeling (3DIM'05)，IEEE，2005年06月13日，https://ieeexplore.ieee.org/document/1443282
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
(57)【特許請求の範囲】
【請求項1】
コンピュータデバイスによって行われる3次元（3D）モデルのテクスチャを取得するための方法であって、方法は、複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するステップであって、前記3Dネットワークは、前記対象物体の点群情報と、前記対象物体の前記点群情報と色情報との間の第1の対応関係と、前記対象物体の第1のカメラ姿勢とを含み、前記第1のカメラ姿勢は、前記3Dネットワークが生成される場合に基準位置に対する前記対象物体の変位を表すために使用される、ステップと、
前記少なくとも2つの3Dネットワークにそれぞれ含まれる前記第1のカメラ姿勢に従って、前記少なくとも2つの3Dネットワークを同じ角度に移動させるステップと、
（ｉ）第1のネットワーク内の第1の点に最も近い第2の点を取得するステップであって、前記第2の点は第2のネットワーク内にあり、前記第1のネットワークおよび前記第2のネットワークは、前記少なくとも2つの3Dネットワークのそれぞれ異なる3Dネットワークである、ステップと、
（ｉｉ）前記第1の点と前記第2の点との間のオフセットを取得するステップと、
前記第1のネットワーク内の各点に対してステップ（ｉ）および（ｉｉ）を繰り返し実行して、前記第1のネットワーク内の各点と前記第2のネットワーク内の対応する各点との間の各オフセットを取得するステップと、
前記各オフセットに従って前記第1の対応関係を更新して、前記対象物体の前記点群情報と前記色情報との間の第2の対応関係を取得するステップと、
前記第2の対応関係に従って前記対象物体の3Dモデルの表面色テクスチャを取得するステップと
を含む、方法。
【請求項2】
第1のネットワーク内の第1の点に最も近い第2の点を取得する前記ステップは、前記第2のネットワーク内のすべての点をトラバースするステップと、
前記第2のネットワーク内の前記すべての点の3D座標をそれぞれ取得するステップと、
前記3D座標に従って前記第2のネットワーク内の前記点と前記第1の点との間の距離をそれぞれ計算するステップと、
前記第1の点に最も近い前記第2のネットワーク内の点を前記第2の点として決定するステップと
を含む、請求項1に記載の方法。
【請求項3】
第1のネットワーク内の第1の点に最も近い第2の点を取得する前記ステップは、k最近傍（kNN）アルゴリズムを使用して前記第1の点に最も近い前記第2の点を取得するステップ
を含む、請求項1に記載の方法。
【請求項4】
前記各オフセットに従って前記第1の対応関係を更新して、前記対象物体の前記点群情報と前記色情報との間の第2の対応関係を取得する前記ステップは、前記第1の対応関係に従って前記点群情報内の3D点に対応する前記色情報内の画素を取得するステップと、
前記各オフセットに従って前記点群情報内の前記3D点をオフセットするステップと、
前記点群情報においてオフセットされた後に取得された前記3D点と前記画素との間の対応関係を前記第2の対応関係として取得するステップと
を含む、請求項1に記載の方法。
【請求項5】
前記オフセットは、回転演算を表すために用いられる回転行列Rおよび並進演算を表すために用いられる並進行列Tを含み、前記各オフセットに従って前記点群情報内の前記3D点をオフセットする前記ステップは、式：D1＝（R｜T）×D2を実行するステップであって、
D1は3Dネットワーク内の点群情報であり、D2は他の3Dネットワーク内の情報である、ステップ
を含む、請求項4に記載の方法。
【請求項6】
前記第2の対応関係に従って前記対象物体の3Dモデルの表面色テクスチャを取得する前記ステップは、前記第2の対応関係に従って前記3Dモデルの前記3D点にそれぞれ対応する前記画素を取得するステップと、
前記3Dモデルの表面上でテクスチャマッピングを実施するために、前記対応する3D点上の前記画素をカバーするステップと
を含む、請求項4に記載の方法。
【請求項7】
複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得する前記ステップは、複数の撮影角度で前記対象物体の少なくとも2つの初期画像を取得するステップであって、前記少なくとも2つの初期画像は、前記対象物体の深度情報をそれぞれ記録し、前記深度情報は、前記対象物体の各点と前記基準位置との間の距離を記録するために使用され、前記基準位置は、前記対象物体を撮影するカメラの位置である、ステップと、
各初期画像に対応する第1の点群情報を取得するために、各初期画像内の前記深度情報に従って3D空間内で逆投影を行うステップであって、前記第1の点群情報内の点は、前記対象物体の3D点を記録するために使用される、ステップと、
前記3D点と前記色情報内の画素との間の前記第1の対応関係を取得するステップと、
前記第1の点群情報および前記第1の対応関係に従って前記3Dネットワークを生成するステップと
を含む、請求項1から6のいずれか一項に記載の方法。
【請求項8】
3次元（3D）モデルのテクスチャを取得するための装置であって、複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するように構成された第1の取得ユニットであって、前記3Dネットワークは、前記対象物体の点群情報と、前記対象物体の前記点群情報と色情報との間の第1の対応関係と、前記対象物体の第1のカメラ姿勢とを含み、前記第1のカメラ姿勢は、前記3Dネットワークが生成される場合に基準位置に対する前記対象物体の変位を表すために使用される、第1の取得ユニットと、
第2の取得ユニットであって、
前記少なくとも2つの3Dネットワークにそれぞれ含まれる前記第1のカメラ姿勢に従って、前記第1の取得ユニットによって取得された前記少なくとも2つの3Dネットワークを同じ角度に移動させ、
（ｉ）第1のネットワーク内の第1の点に最も近い第2の点を取得し、前記第2の点は第2のネットワーク内にあり、前記第1のネットワークおよび前記第2のネットワークは、前記少なくとも2つの3Dネットワークのそれぞれ異なる3Dネットワークであり、
（ｉｉ）前記第1の点と前記第2の点との間のオフセットを取得し、
前記第1のネットワーク内の各点に対して動作（ｉ）および（ｉｉ）を繰り返し実行して、前記第1のネットワーク内の各点と前記第2のネットワーク内の対応する各点との間の各オフセットを取得する
ように構成された、第2の取得ユニットと、
前記第2の取得ユニットによって取得された前記各オフセットに従って前記第1の対応関係を更新して、前記対象物体の前記点群情報と前記色情報との間の第2の対応関係を取得するように構成された、更新ユニットと、
前記更新ユニットによって取得された前記第2の対応関係に従って前記対象物体の3Dモデルの表面色テクスチャを取得するように構成された、第3の取得ユニットと
を備える、装置。
【請求項9】
対話装置と、入力／出力（I／O）インターフェースと、プロセッサと、プログラム命令を記憶するメモリとを備える、コンピュータデバイスであって、前記対話装置は、ユーザによって入力された操作命令を取得するように構成され、
前記プロセッサは、請求項1から7のいずれか一項に記載の方法を行うために、前記メモリに記憶された前記プログラム命令を実行するように構成される、
コンピュータデバイス。
【請求項10】
命令を含むコンピュータプログラムであって、前記命令は、コンピュータ上で実行されると、前記コンピュータに請求項1から7のいずれか一項に記載の方法を行わせる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、2020年1月10日に中国国家知識産権局に出願された「METHOD AND APPARATUS FOR ACQUIRING TEXTURE OF 3D MODEL，DEVICE，AND MEDIUM」なる名称の中国特許出願第202010027225．1号に基づく優先権を主張し、その全体が参照により組み込まれる。
本出願は、2020年1月10日に中国国家知識産権局に出願された「METHOD AND APPARATUS FOR ACQUIRING TEXTURE OF 3D MODEL，DEVICE，AND MEDIUM」なる名称の中国特許出願第202010027225．1号に基づく優先権を主張し、その全体が参照により組み込まれる。
【0002】
本出願は、電子技術の分野に関し、より具体的には、3次元（3D）モデルのテクスチャの取得に関する。
【背景技術】
【0003】
顔再構成技術は、1つまたは複数の2次元（2D）顔画像から3D顔モデルを再構成する技術である。
【0004】
具体的な作業において、ユーザは、端末の命令に従って異なる角度から複数の2D写真を撮る。写真撮影によって取得された2D顔画像は、写真の色情報および深度情報を含む。3D再構成のプロセスでは、3D点は深度情報から逆投影される。投影された3D点は、色情報内の画素と対応関係を有する。異なる2D画像から投影された3D点が融合された後、再構成された3D顔モデルを取得することができる。最後に、対応関係に従って、3D顔モデル内の3D点に対応する画素が3Dモデルに貼り付けられるので、3Dモデルのテクスチャマッピングを実施することができ、3Dモデルは多彩である。
【発明の概要】
【課題を解決するための手段】
【0005】
これを考慮して、前述の問題を解決するために、本出願で提供される技術的解決策は以下の通りである。
【0006】
一態様では、本出願の実施形態は、コンピュータデバイスによって行われる、3Dモデルのテクスチャを取得するための方法を提供し、方法は、
複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するステップであって、3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とを含み、第1のカメラ姿勢は、3Dネットワークが生成される場合に基準位置に対する対象物体の変位を表すために使用される、ステップと、
少なくとも2つの3Dネットワークにそれぞれ含まれる第1のカメラ姿勢に従って、少なくとも2つの3Dネットワークを同じ角度に移動させるステップと、
第1のネットワーク内の第1の点に最も近い第2の点を取得するステップであって、第2の点は第2のネットワーク内にあり、第1のネットワークおよび第2のネットワークは、それぞれ少なくとも2つの3Dネットワークの異なる3Dネットワークである、ステップと、
第1の点と第2の点との間のオフセットを取得するステップと、
オフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するステップと、
第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するステップと、
を含む。
複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するステップであって、3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とを含み、第1のカメラ姿勢は、3Dネットワークが生成される場合に基準位置に対する対象物体の変位を表すために使用される、ステップと、
少なくとも2つの3Dネットワークにそれぞれ含まれる第1のカメラ姿勢に従って、少なくとも2つの3Dネットワークを同じ角度に移動させるステップと、
第1のネットワーク内の第1の点に最も近い第2の点を取得するステップであって、第2の点は第2のネットワーク内にあり、第1のネットワークおよび第2のネットワークは、それぞれ少なくとも2つの3Dネットワークの異なる3Dネットワークである、ステップと、
第1の点と第2の点との間のオフセットを取得するステップと、
オフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するステップと、
第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するステップと、
を含む。
【0007】
他の態様では、本出願の実施形態は、3Dモデルのテクスチャを取得するための装置を提供し、装置は、
複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するように構成された第1の取得ユニットであって、3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とを含み、第1のカメラ姿勢は、3Dネットワークが生成される場合に基準位置に対する対象物体の変位を表すために使用される、第1の取得ユニットと、
第2の取得ユニットであって、
少なくとも2つの3Dネットワークにそれぞれ含まれる第1のカメラ姿勢に従って、少なくとも2つの3Dネットワークを同じ角度に移動させ、
第1のネットワーク内の第1の点に最も近い第2の点を取得し、第2の点は第2のネットワーク内にあり、第1のネットワークおよび第2のネットワークは、それぞれ少なくとも2つの3Dネットワークの異なる3Dネットワークであり、
第1の点と第2の点との間のオフセットを取得する、
ように構成された、第2の取得ユニットと、
第2の取得ユニットによって取得されたオフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するように構成された、更新ユニットと、
更新ユニットによって取得された第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するように構成された、第3の取得ユニットと、
を含む。
複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するように構成された第1の取得ユニットであって、3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とを含み、第1のカメラ姿勢は、3Dネットワークが生成される場合に基準位置に対する対象物体の変位を表すために使用される、第1の取得ユニットと、
第2の取得ユニットであって、
少なくとも2つの3Dネットワークにそれぞれ含まれる第1のカメラ姿勢に従って、少なくとも2つの3Dネットワークを同じ角度に移動させ、
第1のネットワーク内の第1の点に最も近い第2の点を取得し、第2の点は第2のネットワーク内にあり、第1のネットワークおよび第2のネットワークは、それぞれ少なくとも2つの3Dネットワークの異なる3Dネットワークであり、
第1の点と第2の点との間のオフセットを取得する、
ように構成された、第2の取得ユニットと、
第2の取得ユニットによって取得されたオフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するように構成された、更新ユニットと、
更新ユニットによって取得された第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するように構成された、第3の取得ユニットと、
を含む。
【0008】
任意選択で、第2の取得ユニットは、
第2のネットワーク内のすべての点をトラバースし、
第2のネットワーク内のすべての点の3D座標をそれぞれ取得し、
3D座標に従って第2のネットワーク内の点と第1の点との間の距離をそれぞれ計算し、
第1の点に最も近い第2のネットワーク内の点を第2の点として決定する
ようにさらに構成される。
第2のネットワーク内のすべての点をトラバースし、
第2のネットワーク内のすべての点の3D座標をそれぞれ取得し、
3D座標に従って第2のネットワーク内の点と第1の点との間の距離をそれぞれ計算し、
第1の点に最も近い第2のネットワーク内の点を第2の点として決定する
ようにさらに構成される。
【0009】
任意選択で、第2の取得ユニットは、
k最近傍（kNN）アルゴリズムを使用して第1の点に最も近い第2の点を取得する
ようにさらに構成される。
k最近傍（kNN）アルゴリズムを使用して第1の点に最も近い第2の点を取得する
ようにさらに構成される。
【0010】
任意選択で、更新ユニットは、
第1の対応関係に従って点群情報内の3D点に対応する色情報内の画素を取得し、
オフセットに従って点群情報内の3D点をオフセットし、
点群情報においてオフセットされた後に取得された3D点と画素との間の対応関係を第2の対応関係として取得する
ようにさらに構成される。
第1の対応関係に従って点群情報内の3D点に対応する色情報内の画素を取得し、
オフセットに従って点群情報内の3D点をオフセットし、
点群情報においてオフセットされた後に取得された3D点と画素との間の対応関係を第2の対応関係として取得する
ようにさらに構成される。
【0011】
任意選択で、オフセットは、回転演算を表すために用いられる回転行列Rおよび並進演算を表すために用いられる並進行列Tを含み、更新ユニットは、
式：D1＝（R｜T）×D2を実行し、
D1は3Dネットワーク内の点群情報であり、D2は他の3Dネットワーク内の情報である
ようにさらに構成される。
式：D1＝（R｜T）×D2を実行し、
D1は3Dネットワーク内の点群情報であり、D2は他の3Dネットワーク内の情報である
ようにさらに構成される。
【0012】
任意選択で、第3の取得ユニットは、
第2の対応関係に従って3Dモデルの3D点にそれぞれ対応する画素を取得し、
3Dモデルの表面上のテクスチャマッピングを実施するために、対応する3D点上の画素をカバーする
ようにさらに構成される。
第2の対応関係に従って3Dモデルの3D点にそれぞれ対応する画素を取得し、
3Dモデルの表面上のテクスチャマッピングを実施するために、対応する3D点上の画素をカバーする
ようにさらに構成される。
【0013】
任意選択で、第1の取得ユニットは、
異なる撮影角度における対象物体の少なくとも2つの初期画像を取得し、少なくとも2つの初期画像は、対象物体の深度情報をそれぞれ記録し、深度情報は、対象物体の各点と基準位置との間の距離を記録するために使用され、基準位置は、対象物体を撮影するカメラの位置であり、
各初期画像に対応する第1の点群情報を取得するために、各初期画像内の深度情報に従って3D空間内で逆投影を行い、第1の点群情報内の点は、対象物体の3D点を記録するために使用され、
3D点と色情報内の画素との間の第1の対応関係を取得し、
第1の点群情報および第1の対応関係に従って3Dネットワークを生成する
ようにさらに構成される。
異なる撮影角度における対象物体の少なくとも2つの初期画像を取得し、少なくとも2つの初期画像は、対象物体の深度情報をそれぞれ記録し、深度情報は、対象物体の各点と基準位置との間の距離を記録するために使用され、基準位置は、対象物体を撮影するカメラの位置であり、
各初期画像に対応する第1の点群情報を取得するために、各初期画像内の深度情報に従って3D空間内で逆投影を行い、第1の点群情報内の点は、対象物体の3D点を記録するために使用され、
3D点と色情報内の画素との間の第1の対応関係を取得し、
第1の点群情報および第1の対応関係に従って3Dネットワークを生成する
ようにさらに構成される。
【0014】
他の態様では、本出願の実施形態は、入力／出力（I／O）インターフェース、プロセッサ、およびメモリを含むコンピュータデバイスをさらに提供し、メモリはプログラム命令を記憶し、対話装置は、ユーザによって入力された操作命令を取得するように構成され、プロセッサは、前述のいずれか1つによる方法を行うために、メモリに記憶されたプログラム命令を実行するように構成される。
【0015】
さらに他の態様では、本出願の実施形態は、コンピュータプログラムを記憶するように構成された記憶媒体を提供し、コンピュータプログラムは、前述の態様の方法を行うように構成される。
【0016】
さらに他の態様では、本出願の実施形態は、命令を含むコンピュータプログラム製品を提供し、コンピュータプログラム製品は、コンピュータ上で実行されると、コンピュータに前述の態様の方法を行わせる。
【0017】
本出願の実施形態で提供される3Dモデルのテクスチャを取得するための方法は、複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するステップであって、3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とを含み、第1のカメラ姿勢は、3Dネットワークが生成される場合に基準位置に対する対象物体の変位を表すために使用される、ステップと、第1のカメラ姿勢に従って少なくとも2つの3Dネットワーク内の対象物体の同じ位置を記録するために使用される3D点間のオフセットを取得するステップと、オフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するステップと、第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するステップと、を含む。点群情報と色情報との間の対応関係を更新することにより、3Dモデル内の3D点と画素との間のより正確で微妙な位置合わせが実現され、3Dモデルのテクスチャマッピングの効果が向上する。
【0018】
本出願の実施形態または関連技術における技術的解決策をより明確に説明するために、以下で、実施形態または関連技術を説明するために必要な添付の図面を簡単に説明する。当然ながら、添付の図面は以下の説明で本出願の実施形態を示すにすぎず、当業者は、創造的な取り組みをせずとも、添付の図面から他の図面を導き出すことができる。
【図面の簡単な説明】
【0019】
【図1】本出願の一実施形態による、3Dモデルのテクスチャを取得するための方法の一実施形態のフローチャートである。
【図2】本出願の一実施形態による、3Dモデルのテクスチャを取得するための方法の他の実施形態のフローチャートである。
【図3】本出願の一実施形態による、3Dモデルのテクスチャを取得するための方法の他の実施形態の概略図である。
【図4】本出願の一実施形態による、3Dモデルのテクスチャを取得するための方法の他の実施形態の概略図である。
【図5】本出願の一実施形態による、3Dモデルのテクスチャを取得するための方法の他の実施形態のフローチャートである。
【図6】本出願の一実施形態による、3Dモデルのテクスチャを取得するための方法の他の実施形態のフローチャートである。
【図7】本出願の一実施形態による、3Dモデルのテクスチャを取得するための方法のカラー画像および深度画像の概略図である。
【図8】本出願の一実施形態による、3Dモデルのテクスチャを取得するための方法の第1の点群情報の概略図である。
【図9】従来技術におけるユーザの顔をカバーする画素ネットワークの位置合わせ効果図である。
【図10】本出願の一実施形態による3Dモデルのテクスチャを取得するための方法のユーザ面をカバーする画素ネットワークの位置合わせ効果図である。
【図11】本出願の一実施形態によるコンピュータデバイスの概略図である。
【図12】本出願の一実施形態による、3Dモデルのテクスチャを取得するための装置の概略図である。
【発明を実施するための形態】
【0020】
本出願の実施形態における技術的解決策は、本出願の実施形態における添付の図面を参照して以下で明確かつ完全に説明される。明らかに、説明される実施形態は、本出願の実施形態のすべてではなく一部にすぎない。創造的な取り組みをせずに本出願の実施形態に基づいて当業者によって得られる他の実施形態はいずれも、本出願の保護範囲に入るものとする。
【0021】
本出願の明細書、特許請求の範囲、および添付の図面において、「第1」、「第2」、「第3」、「第4」などの用語は（存在する場合）、特定の順序または順番を説明するのではなく、類似の対象を区別することを意図している。そのように使用されるデータは、適切な場合に交換可能であり、その結果、本明細書に記載された実施形態は、本明細書に図示または記載された順序以外の順序で実施することができることを理解されたい。さらに、「含む（include）」および「含有する（contain）」という用語およびそれらの任意の他の変形は、非排他的な包含をカバーすることを意味し、例えば、ステップまたはユニットのリストを含むプロセス、方法、システム、製品、またはデバイスは、必ずしもそれらの明示的に列挙されたステップまたはユニットに限定されず、明示的に列挙されていない、またはそのようなプロセス、方法、システム、製品、もしくはデバイスに固有の他のステップもしくはユニットを含むことができる。
【0022】
顔再構成技術は、1つまたは複数の2D顔画像から3D顔モデルを再構成する技術である。
【0023】
具体的な作業において、ユーザは、端末の命令に従って異なる角度から複数の2D写真を撮る。写真撮影によって取得された2D顔画像は、写真の色情報および深度情報を含む。3D再構成のプロセスでは、3D点が深度情報から逆投影される。投影された3D点は、色情報内の画素と対応関係を有する。異なる2D画像から投影された3D点が融合された後、再構成された3D顔モデルを取得することができる。最後に、対応関係に従って、3D顔モデル内の3D点に対応する画素が3Dモデルに貼り付けられるので、3Dモデルのテクスチャマッピングを実施することができ、3Dモデルは多彩である。
【0024】
テクスチャマッピング処理では、3D点を融合するステップの後、3D点と画素との間の対応関係は正確ではない場合がある。さらに、対応関係が特に正確であっても、顔は剛体ではないため、様々な瞬間に撮影された画像は完全に静止していることが保証されない場合があり（まばたきや口のひきつりが発生する場合があり）、これらの誤差は3D再構成中に平滑化され、その結果、3Dモデルは対応関係に従って画素と位置合わせすることができない。対応関係にずれがある場合、例えば、3Dモデルの鼻先の点が色情報における口の画素に対応する場合、テクスチャマッピング処理中に、口の色が3Dモデルの鼻先にマッピングされ、3Dモデルに誤ったテクスチャが生じる。
【0025】
したがって、前述の問題を解決するために、本出願の実施形態は、点群情報と色情報との間の対応関係を更新して、テクスチャ情報と3Dモデルとの間のより細かい位置合わせを実施することができる、3Dモデルのテクスチャを取得するための方法を提供する。理解を容易にするために、以下で、添付の図面を参照して本出願の実施形態で提供される方法を詳細に説明する。
【0026】
本出願の実施形態で提供される方法は、顔、玩具、またはビークルなどの様々な異なる対象物体に適用され得、これは本出願の実施形態では限定されない。理解を容易にするために、対象物体が顔である例が、説明のために本出願の実施形態で使用される。
【0027】
【0028】
101．複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得する。
【0029】
この実施形態では、3Dネットワークを生成するための具体的な方法は以下の通りである。
【0030】
1．複数の撮影角度で対象物体の少なくとも2つの初期画像を取得する。
【0031】
この実施形態では、初期画像は、異なる角度から撮影された対象物体の画像、例えば、端末の案内下でユーザによって異なる角度で撮影された顔画像である。カメラは、少なくとも2つの初期画像がそれぞれ顔の深度情報を記録するように深度レンズを含み、深度情報は、対象物体の各点とカメラとの間の距離を記録するために使用される。
【0032】
任意選択で、初期画像は、代替的に、本出願の実施形態では限定されない走査などの他の方法で取得されてもよい。
【0033】
2．各初期画像に対応する第1の点群情報を取得するために、各初期画像内の深度情報に従って3D空間内で逆投影を行う。
【0034】
この実施形態では、第1の点群情報内の点は、対象物体の3D点を記録するために使用され、例えば、対象物体が顔である場合、顔の表面上の複数の3D点が第1の点群情報に記録される。
【0035】
3．3D点と色情報内の画素との間の第1の対応関係を取得する。
【0036】
この実施形態では、初期画像が生成されるとき、深度情報を記録する点は画素と1対1の対応関係にある。深度情報が3D点として投影された後、深度情報を記録した点が3D点として3D空間に投影される。したがって、3D点は、対応関係、すなわち画素との第1の対応関係を依然として維持する。
【0037】
4．第1の点群情報および第1の対応関係に従って3Dネットワークを生成する。
【0038】
この実施形態では、生成された3Dネットワークは、第1の点群情報と、第1の点群情報内の3D点と画素との間の第1の対応関係を含む。
【0039】
したがって、ステップ101において、少なくとも2つの取得された3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係（すなわち、3D点と画素との間の対応関係）と、対象物体の第1のカメラ姿勢とをそれぞれ含み、第1のカメラ姿勢は、異なる3Dネットワークが生成される場合にカメラに対する対象物体の動きを表すために使用される。
【0040】
102．少なくとも2つの3Dネットワークにそれぞれ含まれる第1のカメラ姿勢に従って、少なくとも2つの3Dネットワークを同じ角度に移動させる。
【0041】
この実施形態では、各3Dネットワークは、1つの初期画像に基づいて生成された3D点群セットであり、したがって、360度の回転をサポートすることができる。各3Dネットワークの角度は、3Dネットワークに記録されたカメラの姿勢に従って知ることができる。したがって、複数の3Dネットワークは、後続のステップを行うために、第1のカメラ姿勢に従って同じ角度に移動される。具体的には、3Dネットワークを最初に第1のフレームとして設定することができる。例えば、ユーザの正面顔画像によって生成された3Dネットワークが第1のフレームとして使用され、その後、他の3Dネットワークは、第1のフレームが位置する角度に均一に移動される。移動の具体的な動作様式は、回転または並進のうちの少なくとも1つであってもよい。
【0042】
103．第1のネットワーク内の第1の点に最も近い第2の点を取得する。
【0043】
この実施形態では、第1の点および第2の点は、2つの異なる3Dネットワーク内の3D点である。例えば、第1の点は第1のネットワーク内の点であり、第2の点は第2のネットワーク内の点であり、第1のネットワークおよび第2のネットワークは、少なくとも2つの3Dネットワーク内の2つの異なる3Dネットワークである。すべての3Dネットワークが同じ角度にあるため、他の3Dネットワークに属する点に最も近い点は、対象物体の同じ位置を記録するために使用される3D点である可能性が高い。
【0044】
104．第1の点と第2の点との間のオフセットを取得する。
【0045】
この実施形態では、第2の点が第1の点に最も近い点であり、第2の点と第1の点とが重ならない場合、2点間のオフセットが取得される。オフセットは、第1の点と第2の点との間の相対回転または並進のうちの少なくとも1つであってもよく、オフセットは、第1の点と第2の点との間のオフセットを取得することによって取得されてもよい。
【0046】
この実施形態では、3Dネットワークが生成されるときに初期画像の撮影角度が異なるため、対象物体の同じ位置を記録する3D点には一定のずれがあり得る。例えば、ユーザの鼻先の点Aは、正面写真によって生成された3Dネットワークに記録され、ユーザの鼻先の点Bは、側面写真によって生成された3Dネットワークに記録される。同じ角度まで回転させると、ずれにより、A点とB点が完全に重ならない場合がある。この場合、点Aと点Bとのずれは、2点間のオフセットである。
【0047】
105．オフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得する。
【0048】
この実施形態では、同じ位置を記録する2点間にオフセットが存在するため、点の位置は後続の点群融合プロセス中に変化する。例えば、上述の例で説明したように、正面写真と側面写真によって生成された3Dネットワークでは、ユーザの鼻先を記録するためにそれぞれ使用される点Aと点Bとの間にオフセットがあり、点群融合後、正面写真によって生成された3Dネットワーク内の点Aは、オフセットによって変化する。この場合、点Aはもはやユーザの鼻先の位置になくてもよい。元の第1の対応関係によれば、点Aは依然としてユーザの鼻先の画素に対応する。したがって、点Aに対応する画素は、第2の対応関係を取得するために、オフセットに従って更新される必要がある。
【0049】
106．第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得する。
【0050】
この実施形態では、第2の対応関係は、3Dモデルと画素との間の実際の対応関係により近い、異なる3Dネットワーク内の3D点間のオフセットに従って生成された更新された対応関係である。この場合、3Dモデルの表面上の画素を第2の対応関係に従って取得して、3Dモデルの表面色テクスチャを取得する。具体的なプロセスは以下の通りであり得る。
【0051】
1．第2の対応関係に従って3Dモデルの3D点にそれぞれ対応する画素を取得する。
【0052】
この実施形態では、第2の対応関係において、3D点は画素と1対1の対応関係にある。したがって、第2の対応関係に従って、3Dネットワーク内の各3D点に対応する画素を取得することができる。
【0053】
2．3Dモデルの表面上のテクスチャマッピングを実施するために、対応する3D点上の画素をカバーする。
【0054】
取得された画素は対応する3D点に貼り付けられ、3Dモデルの表面上のテクスチャマッピングを実施することができ、その結果、3Dモデルは多彩である。
【0055】
本出願の実施形態で提供される3Dモデルのテクスチャを取得するための方法、複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するステップであって、少なくとも2つの3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とをそれぞれ含み、第1のカメラ姿勢は、異なる3Dネットワークが生成される場合にカメラに対する対象物体の移動を表すために使用される、ステップと、第1のカメラ姿勢に従って異なる3Dネットワーク内の対象物体の同じ位置を記録するために使用される3D点間のオフセットを取得するステップと、オフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するステップと、第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するステップと、を含む。点群情報と色情報との間の対応関係を更新することにより、3Dモデル内の3D点と画素との間のより正確で微妙な位置合わせが実現され、3Dモデルのテクスチャマッピングの効果が向上する。
【0056】
異なる撮影角度で生成された3Dネットワーク間には、ずれがあるため、オフセットを取得する必要があり、最も近い点を探すことでオフセットを取得する。最も近い点を探すための具体的な取得方法については、本出願の実施形態でより具体的な実装形態が提供され、これについては添付の図面を参照して以下で詳細に説明する。
【0057】
【0058】
201．複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得する。
【0059】
この実施形態では、このステップについては、ステップ101を参照することができ、ここでは詳細を繰り返さない。
【0060】
202．少なくとも2つの3Dネットワークにそれぞれ含まれる第1のカメラ姿勢に従って、少なくとも2つの3Dネットワークを同じ角度に移動させる。
【0061】
この実施形態では、このステップについては、ステップ102を参照することができ、ここでは詳細を繰り返さない。ステップ202が完了した後、ユーザは、必要に応じて以下のステップ203または204のいずれかを行うことができる。
【0062】
203．すべての座標点をトラバースし、3D座標を使用して距離を計算した後、第1の点に最も近い第2の点を探すためにソートする。
【0063】
204．k最近傍（kNN）アルゴリズムを使用して第1の点に最も近い第2の点を探す。
【0064】
ステップ205から207については、ステップ104から106を参照することができ、ここでは詳細を繰り返さない。
【0065】
本出願のこの実施形態で提供される方法では、対象物体の同じ位置を記録する点および異なる3Dネットワーク間の点は、最も近い点を探すことによって取得され、その結果、異なる3Dネットワーク間のオフセットが正確に取得され、それにより、オフセットに基づいて対応関係のその後の更新のための正確な基礎が提供され、点群情報と色情報との間の対応関係の正確さが提供される。
【0066】
実施形態2では、第1の点に最も近い第2の点を取得する具体的な実装形態については、複数の方法を使用することができ、これには、I．すべての座標点をトラバースし、3D座標を使用して距離を計算した後に座標点をソートするステップと、II．kNNアルゴリズムを使用するステップと、が含まれるが、これらに限定されない。便宜上、2つのケースについて以下に詳細に説明する。
【0067】
I．すべての座標点をトラバースし、3D座標を使用して距離を計算した後に座標点をソートする。
【0068】
【0069】
ステップ301および302については、ステップ201および202を参照することができ、ここでは詳細を繰り返さない。
【0070】
303．第2のネットワーク内のすべての点をトラバースする。
【0071】
この実施形態では、第2のネットワークは、少なくとも2つの3Dネットワークのうちの1つであり、第2のネットワーク内の3D点は、第2のネットワーク内のすべての点をトラバースするために1つずつ取得される。
【0072】
304．第2のネットワーク内のすべての点の3D座標をそれぞれ取得する。
【0073】
この実施形態では、取得した第2のネットワーク内の座標点について、各座標点の3D座標値（x、y、z）を取得する。
【0074】
305．3D座標に従って第2のネットワーク内の点と第1の点との間の距離をそれぞれ計算する。
【0075】
この実施形態では、第1の点が位置する3Dネットワークは第1のネットワークであり、すなわち、第2の点および第1の点は2つの異なる3Dネットワーク内の点である。3D座標の座標値に従って、第2のネットワーク内の点と第1のネットワーク内の第1の点との間の距離をそれぞれ計算することができる。
【0076】
306．第1の点に最も近い第2のネットワーク内の点を第2の点として決定する。
【0077】
この実施形態では、距離の計算結果に従ってソートが行われ、すなわち、第2のネットワーク内の第1の点に最も近い点がソートされた結果に従って第2の点として取得され、その結果、第1のネットワーク内の第1の点に最も近い点がトラバースによって発見される。この方法が繰り返され、第1のネットワーク内の各点に対して同様の動作を行い、第1のネットワーク内の点に最も近い第2のネットワーク内の点を取得する。
【0078】
あるいは、前述のステップは、複数の3Dネットワークに対して並列に実施されてもよく、3Dネットワークのうちの1つ（第1のネットワーク）のみが説明のための前述の実施形態における例である。
【0079】
後続のステップ307から309については、ステップ205から207を参照することができ、ここでは詳細を繰り返さない。
【0080】
この実施形態では、座標点がトラバースされた後、座標値に従って最も近い点が取得されるので、1つの点に最も近い他の点を非常に正確に見つけることができる。一方、座標値は正確な精度を提供することができるので、その後のステップでは、座標値に従ってオフセットも正確に計算することができ、それによって点群情報と色情報との間の対応関係の正確な更新を実現する。
【0081】
実施形態3で提供される方法では精度が比較的高いが、3D点をトラバースする方法は、ハッシュレートに対するより高い要件を有し、より長い計算時間も必要とする。したがって、この問題を解決するために、本出願のこの実施形態では他の実装形態が提供される。
【0082】
II．kNNアルゴリズムを使用する。便宜上、2つのケースについて以下に詳細に説明する。
【0083】
【0084】
ステップ401および402については、ステップ201および202を参照することができ、ここでは詳細を繰り返さない。
【0085】
403．kNNアルゴリズムを使用して第1の点に最も近い第2の点を取得する。
【0086】
この実施形態では、kNNアルゴリズムの中心的な考え方は、特徴空間内のサンプルに最も近いk個のサンプルのほとんどが或るカテゴリに属する場合、サンプルもこのカテゴリに属し、このカテゴリ内のサンプルの特性を有することである。分類を決定するポリシーでは、アルゴリズムは、最も近い1つまたは複数のサンプルのカテゴリのみに基づいて分類対象サンプルのカテゴリを決定する。kNN法は、カテゴリを決定するポリシーにおけるごく少数の隣接サンプルにのみ関係する。kNN法は、クラスフィールドを決定する方法に依存するのではなく、カテゴリを決定するために周囲の限定された近くのサンプルに主に依存するため、クラスフィールドのより多くの交差または重複を有するそのような分類対象サンプルセットを処理するために本出願のこの実施形態に含まれる点群情報については、KNN法は他の方法よりも適している。
【0087】
後続のステップ404から406については、ステップ205から207を参照することができ、ここでは詳細を繰り返さない。
【0088】
この実施形態では、kNNアルゴリズムを使用して最も近い点を探し、第1のネットワーク内の第1の点に最も近い第2の点を第2のネットワーク内で迅速に見つけることができ、それにより、ハッシュレートリソースが削減され、3Dモデルのテクスチャを取得するための方法を実施する効率が改善される。
【0089】
本出願の実施形態で提供される方法では、初期状態において、以下の2組の対応関係が主に含まれる。
【0090】
I．第1の対応関係。初期画像において、深度画像とカラー画像との間に対応関係があり、具体的には、深度画像内の点記録深度情報とカラー画像内の画素との間に対応関係がある。深度画像内の深度情報を記録する点が3D空間内の点群情報として投影された後、点群情報内の3D点とカラー画像内の画素との間の対応関係が第1の対応関係である。
【0091】
II．オフセット対応関係。対象物体の異なる角度から撮影された初期画像において、最終的に取得された3Dネットワーク間に一定のずれがあり、異なる3Dネットワーク内の対象物体の同じ位置を記録した3D点間に一定のオフセットがある。例えば、第1のネットワークと第2のネットワークとの間で、点Aおよび点Bはユーザの鼻先を記録した点であるが、2つの点の間にはオフセットがある。したがって、オフセットに基づいて点Aと点Bとの間に対応関係がある。
【0092】
本出願のこの実施形態で提供される方法の中心的な考え方は、オフセット対応関係を介して第1の対応関係を更新し、それによって画素と3D点との位置合わせを改善し、3Dモデル上のより正確なテクスチャマッピングを達成することである。理解を容易にするために、オフセット対応関係を介して第1の対応関係を更新するプロセスは、添付の図面を参照して以下で詳細に説明される。
【0093】
【0094】
ステップ501から504については、ステップ101から104を参照することができる。任意選択で、ステップ501から504は、代替的に、本出願のこの実施形態では限定されない実施形態3または実施形態4の方法を使用して実施されてもよい。
【0095】
505．第1の対応関係に従って点群情報内の3D点に対応する色情報内の画素を取得する。
【0096】
この実施形態では、初期3Dネットワークが取得されると、3D点と画素との間に第1の対応関係があり、これはここで直接取得され得る。
【0097】
506．オフセットに従って点群情報内の3D点をオフセットする。
【0098】
この実施形態では、ステップ506は、以下の方法で具体的に実施され得る。
【0099】
1．オフセット内の回転行列Rおよび並進行列Tを取得する。
【0100】
この実施形態では、Rは3Dネットワーク間の回転動作を表すために使用され、Tは3Dネットワーク間の並進動作を表すために使用され、その結果、3D点間のオフセットは、2つの行列を使用することによって定量化され得る。
【0101】
2．式D1＝（R｜T）×D2を実行することによって3D点をオフセットする。
【0102】
この実施形態では、D1は3Dネットワーク内の点群情報であり、D2は他の3Dネットワーク内の情報である。2つの3Dネットワーク間の点群情報のオフセットは、オフセットに従って実施される。
【0103】
507．点群情報においてオフセットされた後に取得された3D点と画素との間の対応関係を第2の対応関係として取得する。
【0104】
この実施形態では、オフセットされた後に取得された点の位置は、3Dネットワークが3Dモデルに融合された後の3D点の実際の位置である。この場合、オフセットされた後に取得された3D点に基づいて、この位置の3D点と画素との間の対応関係を再確認することにより、第1の対応関係を第2の対応関係に更新し、3D点と画素との位置合わせを実現する。
【0105】
ステップ503からステップ507は、一度だけ実行されるのではなく、複数回実行されて反復されてもよい。対応関係は、各反復後により正確であり、具体的な反復回数は、取得されると予想される精度に依存する。
【0106】
508．第2の対応関係に従って3Dモデルの3D点にそれぞれ対応する画素を取得する。
【0107】
この実施形態では、更新された第2の対応関係に従って、3Dモデル内の各3D点に対応する画素を取得することができる。
【0108】
509．対応する3D点上の画素をカバーする。
【0109】
この実施形態では、3Dモデルの表面上のテクスチャマッピングを実施するために、対応する3D点上の画素をカバーする。具体的には、テクスチャマッピングを実施するプロセスにおける具体的な技術的詳細は、関連技術における技術的解決策に属する。第2の対応関係に基づいて、当業者は、テクスチャマッピングの具体的な実装形態を独立して選択することができ、これについては本出願のこの実施形態では限定されない。
【0110】
さらに、本出願のこの実施形態は、実際の作業において3Dモデルのテクスチャを取得するための方法の具体的な実装形態をさらに提供する。理解を容易にするために、添付の図面を参照して詳細な説明を以下に提供する。
【0111】
【0112】
601．異なる撮影角度で対象物体の少なくとも2つの初期画像を取得する。
【0113】
この実施形態では、図7を参照すると、図7は、カラー画像701および深度画像702をそれぞれ含む、少なくとも2つの取得された初期画像におけるユーザの側面の画像を示している。カラー画像701は、カラーテクスチャを表現するために使用される画素を記録し、深度画像702は、深度情報を表現するために使用される点、すなわち、画像内の各点とカメラとの間の距離を記録する。
【0114】
602．各初期画像に対応する第1の点群情報を取得するために、各初期画像内の深度情報に従って3D空間内で逆投影を行う。
【0115】
【0116】
603．3D点と色情報内の画素との間の第1の対応関係を取得する。
【0117】
この実施形態では、第1の点群情報801は深度画像702内の点と1対1の対応関係にあり、深度画像702内の点もカラー画像701内の画素と1対1の対応関係にある。したがって、3D点と色情報内の画素との間の第1の対応関係は、対応関係に従って取得され得る。
【0118】
604．第1の点群情報および第1の対応関係に従って3Dネットワークを生成する。
【0119】
この実施形態では、生成された3Dネットワークは、第1の対応関係および対象物体のカメラ姿勢に関する情報も3Dネットワークに記録されることを除いて、図8に示されるネットワークである。
【0120】
605．第1のカメラ姿勢に従って、異なる3Dネットワーク内の対象物体の同じ位置を記録するために使用される3D点間のオフセットを取得する。
【0121】
この実施形態では、オフセットを取得するための具体的な方法については、前述の実装形態のいずれか1つを参照することができ、ここでは詳細を繰り返さない。
【0122】
606．オフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得する。
【0123】
この実施形態では、第1の対応関係に基づいて更新して、第2の対応関係を取得する方法については、前述の実装形態のいずれか1つを参照することができ、ここでは詳細を繰り返さない。
【0124】
607．第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得する。
【0125】
この実施形態では、このステップについては、前述の実装形態のいずれか1つを参照することができ、ここでは詳細を繰り返さない。図9に示すように、図9は、点群情報と、従来技術のカラー画像内の画素によって形成された画素ネットワーク901との間の対応関係を示している。図9から、点群情報と色情報との間の対応関係は更新されないため、鼻先902などの位置では、3Dモデルはモデリングプロセス中に平滑化され、ある一定のオフセットをもたらし、その結果、画素ネットワーク901をこれらの領域と位置合わせすることができないことが分かる。図10に示すように、本出願の実施形態で提供される方法によって処理された後、鼻先領域1002は画素ネットワーク1001によって完全にカバーされ得ることが分かる。本出願の実施形態で提供される方法で対応関係が更新された後、顔の範囲を画素ネットワーク1001によってより正確にカバーすることができる。
【0126】
本出願の実施形態で提供される3Dモデルのテクスチャを取得するための方法は、複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するステップであって、少なくとも2つの3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とをそれぞれ含み、第1のカメラ姿勢は、異なる3Dネットワークが生成される場合にカメラに対する対象物体の移動を表すために使用される、ステップと、第1のカメラ姿勢に従って異なる3Dネットワーク内の対象物体の同じ位置を記録するために使用される3D点間のオフセットを取得するステップと、オフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するステップと、第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するステップと、を含む。点群情報と色情報との間の対応関係を更新することにより、3Dモデル内の3D点と画素との間のより正確で微妙な位置合わせが実現され、3Dモデルのテクスチャマッピングの効果が向上する。
【0127】
以上、本出願の実施形態で提供される解決策について説明している。前述の機能を実装するために、コンピュータデバイスは、機能を行うための対応するハードウェア構造および／またはソフトウェアモジュールを含むことが理解されよう。当業者は、本明細書で開示された実施形態を参照して説明された例におけるモジュールおよびアルゴリズムステップが、本出願におけるハードウェアまたはハードウェアとコンピュータソフトウェアとの組み合わせによって実施され得ることを容易に認識することができる。機能がハードウェアによって行われるか、またはハードウェアを駆動するコンピュータソフトウェアによって行われるかは、技術的解決策の特定の用途および設計制約に依存する。当業者は、特定の用途ごとに説明された機能を実装するために異なる方法を使用することができるが、その実装は本出願の範囲を超えると見なされるべきではない。
【0128】
ハードウェア構造に関して、前述の方法は、1つの物理デバイスによって実施されてもよく、または複数の物理デバイスによって共同で実施されてもよく、または物理デバイス内の論理機能モジュールであってもよい。これは、本出願のこの実施形態では特に限定されない。
【0129】
例えば、前述の方法はすべて、図11のコンピュータデバイスによって実施されてもよい。図11は、本出願の一実施形態によるコンピュータデバイスのハードウェアの概略構造図である。コンピュータデバイスは、少なくとも1つのプロセッサ1101と、通信線1102と、メモリ1103と、少なくとも1つの通信インターフェース1104とを含む。
【0130】
プロセッサ1101は、汎用中央処理装置（CPU）、マイクロプロセッサ、特定用途向け集積回路（ASIC）、または本出願の解決策におけるプログラムの実行を制御するように構成された1つもしくは複数の集積回路とすることができる。
【0131】
通信線1102は、上記の構成要素間で情報を送信するためのチャネルを含み得る。
【0132】
通信インターフェース1104は、任意の送受信機などを用いて、他のデバイス、またはイーサネット、無線アクセスネットワーク（RAN）、もしくは無線ローカルエリアネットワーク（WLAN）などの通信網と通信する装置である。
【0133】
メモリ1103は、読取り専用メモリ（ROM）もしくは静的な情報および命令を記憶することができる他のタイプの静的記憶デバイス、ランダムアクセスメモリ（RAM）もしくは情報および命令を記憶することができる他のタイプの動的記憶デバイスであってもよく、または電気的消去可能プログラマブル読取り専用メモリ（EEPROM）もしくはコンパクトディスク読取り専用メモリ（CD－ROM）もしくは他のコンパクトディスク記憶装置、光ディスク記憶装置（圧縮された光ディスク、レーザディスク、光ディスク、デジタル多用途光ディスク、ブルーレイディスクを含む）、磁気ディスク記憶媒体、もしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形態で所望のプログラムコードを搬送もしくは記憶するために使用することができ、かつコンピュータによってアクセスすることができる任意の他の媒体であってもよいが、それらに限定されない。メモリは独立して存在してもよく、通信線1102を介してプロセッサに接続される。メモリは、プロセッサとさらに統合されてもよい。
【0134】
メモリ1103は、本出願の解決策を行うためのコンピュータ実行可能命令を記憶するように構成され、プロセッサ1101によって制御および実行される。プロセッサ1101は、本出願の実施形態で提供される方法を実施するために、メモリ1103に記憶されたコンピュータ実行可能命令を実行するように構成される。
【0135】
任意選択で、本出願のこの実施形態におけるコンピュータ実行可能命令は、アプリケーションコードとも呼ばれ得る。これは、本出願のこの実施形態では特に限定されない。
【0136】
具体的な実装中、一実施形態では、プロセッサ1101は、1つまたは複数のCPU、例えば図11のCPU0およびCPU1を含むことができる。
【0137】
具体的な実装中、一実施形態では、コンピュータデバイスは、図11のプロセッサ1101およびプロセッサ1107などの複数のプロセッサを含むことができる。これらのプロセッサの各々は、シングルコア（single－CPU）プロセッサであってもよいし、マルチコア（multi－CPU）プロセッサであってもよい。本明細書のプロセッサは、1つもしくは複数のデバイスもしくは回路、および／またはデータ（例えば、コンピュータ実行可能命令）を処理するように構成された処理コアであってもよい。
【0138】
具体的な実装中、一実施形態では、コンピュータデバイスは、出力デバイス1105および入力デバイス1106をさらに含むことができる。出力デバイス1105は、プロセッサ1101と通信し、複数の方法で情報を表示することができる。例えば、出力デバイス1105は、液晶ディスプレイ（LCD）、発光ダイオード（LED）表示デバイス、陰極線管（CRT）表示デバイス、プロジェクタなどであってもよい。入力デバイス1106は、プロセッサ1101と通信し、複数の方法でユーザ入力を受け取ることができる。例えば、入力デバイス1106は、マウス、キーボード、タッチスクリーンデバイス、センサデバイスなどであってもよい。
【0139】
コンピュータデバイスは、汎用デバイスまたは専用デバイスであってもよい。具体的な実装中、コンピュータデバイスは、デスクトップコンピュータ、ポータブルコンピュータ、ネットワークサーバ、パームトップコンピュータ（携帯情報端末、PDA）、携帯電話、タブレットコンピュータ、無線端末デバイス、組み込みデバイス、または図11の同様の構造を有するデバイスであってもよい。コンピュータデバイスの種類は、本出願の実施形態では限定されない。
【0140】
本出願の実施形態では、記憶デバイスの機能ユニットは、前述の方法例に基づいて分割されてもよい。例えば、各機能ユニットが具体的な機能に対応するように機能ユニットを分割してもよいし、2つ以上の機能を1つの処理ユニットに統合してもよい。統合ユニットは、ハードウェアの形態で実装されてもよいし、ソフトウェア機能ユニットの形態で実装されてもよい。本出願の実施形態におけるユニット分割は一例であり、論理的な機能分割にすぎない。実際の実装では、他の分割方式があり得る。
【0141】
例えば、機能ユニットを統合的に分割する場合、図12は、3Dモデルのテクスチャを取得するための装置の概略図を示す。
【0142】
図12に示すように、本出願の一実施形態で提供される3Dモデルのテクスチャを取得するための装置は、
複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するように構成された第1の取得ユニット1201であって、3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とを含み、第1のカメラ姿勢は、3Dネットワークが生成される場合に基準位置に対する対象物体の変位を表すために使用される、第1の取得ユニット1201と、
第2の取得ユニット1202であって、
少なくとも2つの3Dネットワークにそれぞれ含まれる第1のカメラ姿勢に従って、第1の取得ユニット1201によって取得された少なくとも2つの3Dネットワークを同じ角度に移動させ、
第1のネットワーク内の第1の点に最も近い第2の点を取得し、第2の点は第2のネットワーク内にあり、第1のネットワークおよび第2のネットワークは、それぞれ少なくとも2つの3Dネットワークの異なる3Dネットワークであり、
第1の点と第2の点との間のオフセットを取得する、
ように構成された、第2の取得ユニット1202と、
第2の取得ユニット1202によって取得されたオフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するように構成された、更新ユニット1203と、
更新ユニット1203によって取得された第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するように構成された、第3の取得ユニット1204と、
を含む。
複数の角度に基づいて対象物体によって生成された少なくとも2つの3Dネットワークを取得するように構成された第1の取得ユニット1201であって、3Dネットワークは、対象物体の点群情報と色情報との間の第1の対応関係と、対象物体の第1のカメラ姿勢とを含み、第1のカメラ姿勢は、3Dネットワークが生成される場合に基準位置に対する対象物体の変位を表すために使用される、第1の取得ユニット1201と、
第2の取得ユニット1202であって、
少なくとも2つの3Dネットワークにそれぞれ含まれる第1のカメラ姿勢に従って、第1の取得ユニット1201によって取得された少なくとも2つの3Dネットワークを同じ角度に移動させ、
第1のネットワーク内の第1の点に最も近い第2の点を取得し、第2の点は第2のネットワーク内にあり、第1のネットワークおよび第2のネットワークは、それぞれ少なくとも2つの3Dネットワークの異なる3Dネットワークであり、
第1の点と第2の点との間のオフセットを取得する、
ように構成された、第2の取得ユニット1202と、
第2の取得ユニット1202によって取得されたオフセットに従って第1の対応関係を更新して、対象物体の点群情報と色情報との間の第2の対応関係を取得するように構成された、更新ユニット1203と、
更新ユニット1203によって取得された第2の対応関係に従って対象物体の3Dモデルの表面色テクスチャを取得するように構成された、第3の取得ユニット1204と、
を含む。
【0143】
任意選択で、第2の取得ユニット1202は、
第2のネットワーク内のすべての点をトラバースし、
第2のネットワーク内のすべての点の3D座標をそれぞれ取得し、
3D座標に従って第2のネットワーク内の点と第1の点との間の距離をそれぞれ計算し、
第1の点に最も近い第2のネットワーク内の点を第2の点として決定する
ようにさらに構成される。
第2のネットワーク内のすべての点をトラバースし、
第2のネットワーク内のすべての点の3D座標をそれぞれ取得し、
3D座標に従って第2のネットワーク内の点と第1の点との間の距離をそれぞれ計算し、
第1の点に最も近い第2のネットワーク内の点を第2の点として決定する
ようにさらに構成される。
【0144】
任意選択で、第2の取得ユニット1202は、
kNNアルゴリズムを使用して第1の点に最も近い第2の点を取得する
ようにさらに構成される。
kNNアルゴリズムを使用して第1の点に最も近い第2の点を取得する
ようにさらに構成される。
【0145】
任意選択で、更新ユニット1203は、
第1の対応関係に従って点群情報内の3D点に対応する色情報内の画素を取得し、
オフセットに従って点群情報内の3D点をオフセットし、
点群情報においてオフセットされた後に取得された3D点と画素との間の対応関係を第2の対応関係として取得する
ようにさらに構成される。
第1の対応関係に従って点群情報内の3D点に対応する色情報内の画素を取得し、
オフセットに従って点群情報内の3D点をオフセットし、
点群情報においてオフセットされた後に取得された3D点と画素との間の対応関係を第2の対応関係として取得する
ようにさらに構成される。
【0146】
任意選択で、オフセットは、回転演算を表すために用いられる回転行列Rおよび並進演算を表すために用いられる並進行列Tを含み、更新ユニット1203は、
式：D1＝（R｜T）×D2を実行し、
D1は3Dネットワーク内の点群情報であり、D2は他の3Dネットワーク内の情報である
ようにさらに構成される。
式：D1＝（R｜T）×D2を実行し、
D1は3Dネットワーク内の点群情報であり、D2は他の3Dネットワーク内の情報である
ようにさらに構成される。
【0147】
任意選択で、第3の取得ユニット1204は、
第2の対応関係に従って3Dモデルの3D点にそれぞれ対応する画素を取得し、
3Dモデルの表面上のテクスチャマッピングを実施するために、対応する3D点上の画素をカバーする
ようにさらに構成される。
第2の対応関係に従って3Dモデルの3D点にそれぞれ対応する画素を取得し、
3Dモデルの表面上のテクスチャマッピングを実施するために、対応する3D点上の画素をカバーする
ようにさらに構成される。
【0148】
任意選択で、第1の取得ユニット1201は、
異なる撮影角度における対象物体の少なくとも2つの初期画像を取得し、少なくとも2つの初期画像は、対象物体の深度情報をそれぞれ記録し、深度情報は、対象物体の各点と基準位置との間の距離を記録するために使用され、基準位置は、対象物体を撮影するカメラの位置であり、
各初期画像に対応する第1の点群情報を取得するために、各初期画像内の深度情報に従って3D空間内で逆投影を行い、第1の点群情報内の点は、対象物体の3D点を記録するために使用され、
3D点と色情報内の画素との間の第1の対応関係を取得し、
第1の点群情報および第1の対応関係に従って3Dネットワークを生成する
ようにさらに構成される。
異なる撮影角度における対象物体の少なくとも2つの初期画像を取得し、少なくとも2つの初期画像は、対象物体の深度情報をそれぞれ記録し、深度情報は、対象物体の各点と基準位置との間の距離を記録するために使用され、基準位置は、対象物体を撮影するカメラの位置であり、
各初期画像に対応する第1の点群情報を取得するために、各初期画像内の深度情報に従って3D空間内で逆投影を行い、第1の点群情報内の点は、対象物体の3D点を記録するために使用され、
3D点と色情報内の画素との間の第1の対応関係を取得し、
第1の点群情報および第1の対応関係に従って3Dネットワークを生成する
ようにさらに構成される。
【0149】
加えて、本出願の一実施形態は記憶媒体をさらに提供し、記憶媒体はコンピュータプログラムを記憶するように構成され、コンピュータプログラムは前述の実施形態による方法を実行するように構成される。
【0150】
本出願の一実施形態は、命令を含むコンピュータプログラム製品をさらに提供し、コンピュータプログラム製品は、コンピュータ上で実行されると、コンピュータに前述の実施形態による方法を行わせる。
【0151】
本出願のこの実施形態で提供されるコンピュータ記憶媒体に記憶されたプログラムの詳細な説明については、前述の実施形態を参照することができ、ここでは詳細を繰り返さない。
【0152】
本明細書の実施形態はすべて漸進的に記載されている。各実施形態の説明は、他の実施形態との相違点に着目したものであり、実施形態間で同一または類似の部分については、相互に参照可能である。装置の実施形態は、基本的に方法の実施形態に対応しているので、簡単に説明するだけであり、関連する部品について方法の実施形態を参照することができる。
【0153】
当業者であれば、本明細書の実施形態、ユニットおよびアルゴリズムと組み合わせて、記載された各例のステップは、電子ハードウェア、コンピュータソフトウェア、またはそれらの組み合わせで実施され得ることをさらに理解することができる。ハードウェアとソフトウェアとの間の互換性を明確に説明するために、各例の構成およびステップは、上記の説明における機能に従って一般的に説明されている。機能がハードウェアのモードで実行されるかソフトウェアのモードで実行されるかは、技術的解決策の特定の用途および設計制約条件に依存する。当業者は、特定の用途ごとに説明された機能を実装するために異なる方法を使用することができるが、その実装は本出願の範囲を超えると見なされるべきではない。
【0154】
本明細書に開示された実施形態と組み合わせて、記載された方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはそれらの組み合わせを使用することによって直接実施され得る。ソフトウェアモジュールは、RAM、メモリ、ROM、電気的プログラマブルROM（EPROM）、EEPROM、レジスタ、ハードディスク、リムーバブル磁気ディスク、CD－ROM、または当技術分野で周知の他の形態の任意の記憶媒体に配置され得る。
【0155】
開示された実施形態の前述の説明は、当業者が本出願を実施または使用することを可能にする。実施形態に対する様々な修正は当業者には明らかであり、本明細書で定義される一般的な原理は、本出願の趣旨または範囲から逸脱することなく他の実施形態で実施され得る。したがって、本出願は、ディスプレイ開示に示されたこれらの実施形態に限定されず、ディスプレイ開示に開示された原理および新規な特徴と一致する最も広い範囲に適合する必要がある。
【符号の説明】
【0156】
701 カラー画像
702 深度画像
801 第1の点群情報
901 画素ネットワーク
902 鼻先
1001 画素ネットワーク
1002 鼻先領域
1101 プロセッサ
1102 通信線
1103 メモリ
1104 通信インターフェース
1105 出力デバイス
1106 入力デバイス
1107 プロセッサ
1201 第1の取得ユニット
1202 第2の取得ユニット
1203 更新ユニット
1204 第3の取得ユニット
702 深度画像
801 第1の点群情報
901 画素ネットワーク
902 鼻先
1001 画素ネットワーク
1002 鼻先領域
1101 プロセッサ
1102 通信線
1103 メモリ
1104 通信インターフェース
1105 出力デバイス
1106 入力デバイス
1107 プロセッサ
1201 第1の取得ユニット
1202 第2の取得ユニット
1203 更新ユニット
1204 第3の取得ユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】