特表 2024-525703 三次元動的追跡方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-12

(54)【発明の名称】三次元動的追跡方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240705BHJP

   G06T 7/20 20170101ALI20240705BHJP

【ＦＩ】

G06T19/00 A

G06T7/20 300B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024501612

(86)(22)【出願日】2022-07-12

(85)【翻訳文提出日】2024-01-19

(86)【国際出願番号】 CN2022105100

(87)【国際公開番号】W WO2023284713

(87)【国際公開日】2023-01-19

(31)【優先権主張番号】202110784787.5

(32)【優先日】2021-07-12

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518283252

【氏名又は名称】先臨三維科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＳＨＩＮＩＮＧ ３Ｄ ＴＥＣＨ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１３９８ Ｘｉａｎｇｂｉｎ Ｒｏａｄ，Ｗｅｎｙａｎ Ｓｔｒｅｅｔ，Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ ３１１２５８ （ＣＮ）

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】華 ▲うぃん▼峰

(72)【発明者】

【氏名】田 彦

(72)【発明者】

【氏名】江 騰飛

(72)【発明者】

【氏名】許 威威

(72)【発明者】

【氏名】段 子恒

(72)【発明者】

【氏名】陶 泓羽

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA02

5B050BA06

5B050BA09

5B050BA12

5B050CA01

5B050DA04

5B050EA13

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5L096AA02

5L096AA06

5L096AA09

5L096BA06

5L096CA02

5L096DA01

5L096DA02

5L096FA09

5L096FA66

5L096FA67

5L096FA69

5L096HA02

(57)【要約】

本開示は、画像のフュージョン技術分野に関し、三次元動的追跡方法、装置、電子機器及び記憶媒体を提供し、追跡方法は、人の笑顔データ、三次元歯データ及び顔テンプレートデータを取得することと、取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することと、初期深度の点群データを融合して等値面を取得し、等値面に対応する目標深度の点群データを取得することと、目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の人の笑顔データに対応する目標テクスチャデータを取得することと、目標深度の点群データに基づいて初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現することと、目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域と初期三次元歯データをフィッティングエリアにおいてフィッティングし、三次元歯牙の追跡の正確性を向上させることと、を含む。

【特許請求の範囲】

【請求項1】

三次元動的追跡方法であって、
人の笑顔データ、三次元歯データ及び顔テンプレートデータを取得することであって、ここで、前記人の笑顔データはテクスチャデータと深度データを含むものと、
取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することであって、ここで、前記初期点群データは初期深度の点群データ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得することと、
前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の人の笑顔データに対応する目標テクスチャデータを取得することと、
前記目標深度の点群データに基づいて前記初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現することと、
前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙領域と初期三次元歯データをフィッティングエリアにおいてフィッティングすることと、を含む、ことを特徴とする三次元動的追跡方法。

【請求項2】

前記の取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することは、
人の笑顔データ、三次元歯データ及び顔テンプレートデータのソース点群データを取得することと、
反復最近点アルゴリズムにおける回転パラメータ、並進パラメータ及び誤差閾値を決定することと、
回転パラメータ、並進パラメータ及び誤差閾値に基づいてソース点群データを所定の座標系に登録して初期点群データを取得することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記の前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得することは、
ＴＳＤＦアルゴリズムを用いて前記初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得することと、
前記遮断符号付き距離関数値と重み値に基づいてマーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得することと、
前記等値面に対応する点群データに基づいて目標深度の点群データを決定することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記のＴＳＤＦアルゴリズムを用いて前記初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得することは、
初期点群データに対応する長方体のバウンディングボックスを確立することと、
初期点群データに対応する長方体のバウンディングボックスをボクセル化することと、
ＴＳＤＦアルゴリズムを用いて各ボクセル化における初期深度の点群データに対応するＴＳＤＦ値及び重み値を算出することと、を含む、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記の前記遮断符号付き距離関数値と重み値に基づいてマーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得することは、
遮断符号付き距離関数値と重み値に対する前処理を行って特定の配列に読み込むことと、
異なるボクセル化に対応するユニット体の位置情報を取得することと、
各前記ユニット体の位置情報に基づいて各前記ユニット体に対応する状態テーブルを決定することと、
各前記ユニット体の状態テーブルに基づき、等値面と交差する各前記ユニット体のエッジを取得し、線形補間の方法により各前記ユニット体と等値面との交差部の位置座標を算出することと、
中心差分法を利用し、各前記ユニット体における各頂点の法線ベクトルを取得し、線形補間の方法を用い、三角パッチの各頂点の法線ベクトルを取得することと、
各前記ユニット体と等値面との交差部の位置座標及び頂点法線ベクトルに基づいて等値面を決定することと、を含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記の前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の顔の動的データに対応する目標テクスチャデータを取得することは、

を含み、

ｐ点がｉ番目のカメラ画角に投影された時の画素値を示す、ことを特徴とする請求項３に記載の方法。

【請求項7】

前記の前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙領域と前記初期三次元歯データをフィッティングエリアにおいてフィッティングすることは、
目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域を、ガウスニュートン法を用いて、初期三次元歯データとフィッティングエリアにおいてフィッティングすること、を含む、ことを特徴とする請求項１に記載の方法。

【請求項8】

三次元動的追従装置であって、
人の笑顔データ、三次元歯データ及び顔テンプレートデータを取得するために用いられるデータ取得モジュールであって、ここで、前記人の笑顔データはテクスチャデータと深度データを含むものと、
取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得するために用いられる初期点群データ取得モジュールであって、ここで、前記初期点群データは初期深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得するために用いられる目標深度の点群データ取得モジュールと、
前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の人の笑顔データに対応する目標テクスチャデータを取得する目標テクスチャデータ取得モジュールと、
前記目標深度の点群データに基づいて前記初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現するために用いられる顔テンプレート追跡モジュールと、
前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙の領域をフィッティングして三次元歯データをフィッティングエリアに表示するために用いられる三次元歯牙追跡モジュールと、を含む、ことを特徴とする三次元動的追従装置。

【請求項9】

電子機器であって、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するために用いられる記憶装置と、を含み、
前記一つ又は複数のプログラムは前記一つ又は複数のプロセッサによって実行される場合、前記一つ又は複数のプロセッサは請求項１～７のいずれか一項に記載の三次元動的追跡方法を実現する、ことを特徴とする電子機器。

【請求項10】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該プログラムはプロセッサによって実行される時に請求項１～７のいずれか一項に記載の三次元動的追跡方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、２０２１年０７月１２日に中国国家知識産権局に提出された、出願番号２０２１１０７８４７８７．５、発明名称が「三次元動的追跡方法、装置、電子機器及び記憶媒体」である中国特許出願の優先権を主張し、その出願の全体が参照によって本明細書に組み込まれる。

【0002】

本開示は、三次元変形の技術分野に関し、特に三次元動的追跡方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0003】

現在、データ収集技術と三次元再構成技術の急速な発展により、物理モデルの高精度デジタル化が可能となる。歯科のデジタル化分野において、スキャンと３Ｄ再構成により、三次元歯顎のデジタル化モデルを取得することができ、よって、歯科製品の後続加工や製造のカスタマイズ化を実現する。三次元再構成技術により、ユーザは、歯牙の矯正を行う前、三次元歯牙モデルによって自分の歯牙が矯正された後の効果を見ることができる。

【0004】

従来技術において、一般的に２Ｄ顔＋２Ｄ歯を用い、すなわち、撮影された２Ｄ画像に基づき、手動で歯牙モデルを調節することで矯正後の歯牙を取得し、又は、２Ｄ顔＋３Ｄ歯を用い、すなわち、撮影された２Ｄ画像に基づき、３Ｄ歯型を画像における歯牙に対応する領域に投影する。２Ｄの画像では、下顎の露出は一般的に少ないため、歯の露出が多い姿勢を保つ状態のみで下顎の追跡を実現することができるため、追跡効果が悪い。更に、２Ｄを用いて歯牙の追跡を行う時に顔のスケール情報がなく、視覚効果が普通である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

一般的に２Ｄ顔＋２Ｄ歯を用い、すなわち、撮影された２Ｄ画像に基づき、手動で歯牙モデルを調節することで矯正後の歯牙を取得し、又は、２Ｄ顔＋３Ｄ歯を用い、すなわち、撮影された２Ｄ画像に基づき、３Ｄ歯型を画像における歯牙に対応する領域に投影する。２Ｄの画像では、下顎の露出は一般的に少ないため、歯の露出が多い姿勢を保つ状態のみで下顎の追跡を実現することができるため、追跡効果が悪い。更に、２Ｄを用いて歯牙の追跡を行う時に顔のスケール情報がなく、視覚効果が普通である。

【課題を解決するための手段】

【0006】

本開示に開示された様々な実施例によれば、三次元動的追跡方法、装置、電子機器及び記憶媒体を提供する。

【0007】

本開示の実施例は、三次元動的追跡方法を提供し、
人の笑顔データ、三次元歯データ及び顔テンプレートデータを取得することであって、ここで、前記人の笑顔データはテクスチャデータと深度データを含むものと、
取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することであって、ここで、前記初期点群データは初期深度の点群データ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得することと、
前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の人の笑顔データに対応する目標テクスチャデータを取得することと、
前記目標深度の点群データに基づいて前記初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現することと、
前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙領域と前記初期三次元歯データをフィッティングエリアにおいてフィッティングすることと、を含む。

【0008】

本開示の実施例の一選択可能な実施形態として、前記の取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することは、
人の笑顔データ、三次元歯データ及び顔テンプレートデータのソース点群データを取得することと、
反復最近点アルゴリズムにおける回転パラメータ、並進パラメータ及び誤差閾値を決定することと、
回転パラメータ、並進パラメータ及び誤差閾値に基づいてソース点群データを所定の座標系に登録して初期点群データを取得することと、を含む。

【0009】

本開示の実施例の一選択可能な実施形態として、前記の前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得することは、
ＴＳＤＦアルゴリズムを用いて前記初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得することと、
前記遮断符号付き距離関数値と重み値に基づいてマーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得することと、
前記等値面に対応する点群データに基づいて目標深度の点群データを決定することと、を含む。

【0010】

本開示の実施例の一選択可能な実施形態として、前記のＴＳＤＦアルゴリズムを用いて前記初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得することは、
初期点群データに対応する長方体のバウンディングボックスを確立することと、
初期点群データに対応する長方体のバウンディングボックスをボクセル化することと、
ＴＳＤＦアルゴリズムを用いて各ボクセル化における初期深度の点群データに対応するＴＳＤＦ値及び重み値を算出することと、を含む。

【0011】

本開示の実施例の一選択可能な実施形態として、前記の前記遮断符号付き距離関数値と重み値に基づいてマーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得することは、
遮断符号付き距離関数値と重み値に対する前処理を行って特定の配列に読み込むことと、
異なるボクセル化に対応するユニット体の位置情報を取得することと、
各前記ユニット体の位置情報に基づいて各前記ユニット体に対応する状態テーブルを決定することと、
各前記ユニット体の状態テーブルに基づき、等値面と交差する各前記ユニット体のエッジを取得し、線形補間の方法により各前記ユニット体と等値面との交差部の位置座標を算出することと、
中心差分法を利用し、各前記ユニット体における各頂点の法線ベクトルを取得し、線形補間の方法を用い、三角パッチの各頂点の法線ベクトルを取得することと、
各前記ユニット体と等値面との交差部の位置座標及び頂点法線ベクトルに基づいて等値面を決定することと、を含む。

【0012】

本開示の実施例の一選択可能な実施形態として、前記の前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の顔の動的データに対応する目標テクスチャデータを取得することは、

を含み、

ｐ点がｉ番目のカメラ画角に投影された時の画素値を示す。

【0013】

本開示の実施例の一選択可能な実施形態として、前記の前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙領域と前記初期三次元歯データをフィッティングエリアにおいてフィッティングすることは、
目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域を、ガウスニュートン法を用いて、初期三次元歯データとフィッティングエリアにおいてフィッティングすること、を含む。

【0014】

本開示の実施例は、三次元動的追従装置を提供し、
人の笑顔データ、三次元歯データ及び顔テンプレートデータを取得するために用いられるデータ取得モジュールであって、ここで、前記人の笑顔データはテクスチャデータと深度データを含むものと、
取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得するために用いられる初期点群データ取得モジュールであって、ここで、前記初期点群データは初期深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得するために用いられる目標深度の点群データ取得モジュールと、
前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の人の笑顔データに対応する目標テクスチャデータを取得する目標テクスチャデータ取得モジュールと、
前記目標深度の点群データに基づいて前記初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現するために用いられる顔テンプレート追跡モジュールと、
前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙の領域をフィッティングして三次元歯データをフィッティングエリアに表示するために用いられる三次元歯牙追跡モジュールと、を含む。

【0015】

本開示の実施例は、電子機器を提供し、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するために用いられる記憶装置と、を含み、
前記一つ又は複数のプログラムは前記一つ又は複数のプロセッサによって実行される場合、前記一つ又は複数のプロセッサはいずれか一つの前記三次元動的追跡方法を実現する。

【0016】

本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該プログラムはプロセッサによって実行される時にいずれか一つの前記三次元動的追跡方法を実現する。

【0017】

本開示の他の特徴と利点は下記の明細書に記載され、且つ明細書から部分的に明らかとなり、又は本発明を実施することにより理解される。本開示の目的と別の利点は、明細書、特許請求の範囲及び図面において、特に示されている構造により実現されて取得され、次の図面と記述において、本開示の一又は複数の実施例を詳細に説明する。

【0018】

本開示の上記目的、特徴と利点を更に明確且つ分かりやすくするために、以下は、好適な実施例を挙げ、添付の図面に合わせ、詳細に説明する。

【図面の簡単な説明】

【0019】

本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下は、実施例又は従来技術の記述に使用される図面を簡単に説明し、言うまでもなく、当業者にとって、創造的な労働を付与しない前提で、これらの図面に基づいて他の図面を得ることが可能である。

【図1】本開示の実施例により提供される三次元動的追跡方法のフローチャートである。

【図2】本開示の実施例により提供される別の三次元動的追跡方法のフローチャートである。

【図3】本開示の実施例により提供される別の三次元動的追跡方法のフローチャートである。

【図4】本開示の実施例により提供される別の三次元動的追跡方法のフローチャートである。

【図5】本開示の実施例により提供される三次元動的追従装置の構成図である。

【図6】本開示の実施例により提供される電子機器の構成図である。

【発明を実施するための形態】

【0020】

本開示の上記目的、特徴と利点をより明確に理解するために、以下は、本開示の解決手段を更に説明する。説明すべきことは、矛盾しない限り、本開示の実施例及び実施例における特徴は相互に組み合わせることができることである。

【0021】

以下の説明において、本開示を十分に理解するために、多くの詳細内容を説明するが、本開示は、更に、これらの説明の以外の形態で実施してもよく、当然ながら、明細書における実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではない。

【0022】

本開示の明細書と特許請求の範囲における「第１」と「第２」などの技術用語は、異なる対象物を区別するためのものであり、対象物の特定の順番を記述するためのものではない。

【0023】

本開示の実施例では、「例示的」又は「例えば」などの用語は、実例として、例証又は説明するためのものである。本開示の実施例において、「例示的」又は「例えば」として記載されているいかなる実施例又は設計態様も、別の実施例や設計態様より好ましく、又は、より利点を有すると解釈されてはならない。正確には、具体的な形態で関連概念を示すために、「例示的」又は「例えば」などの用語を使用し、更に、本開示の実施例の説明において、特に断りのない限り、「複数」の意味は２つ又は２つ以上を指す。

【0024】

図１は、本開示の実施例により提供される三次元動的追跡方法のフローチャートである。本実施例は、３Ｄ顔＋３Ｄ歯のリアルタイム追跡や、上下顎の同時追跡の状況を実現することができる。本実施例の方法は、三次元動的追従装置により実行されてもよく、当該装置はハードウェア／又はソフトウェアの形態で実現され、そして、電子機器に設置されてもよい。本願のあらゆる実施例に記載の三次元動的追跡方法を実現することができる。

【0025】

本発明の実施例により提供される三次元動的追跡方法の実行主体は三次元動的追従装置であってもよい。当該三次元動的追従装置は、携帯電話、ブレットコンピュータ、ノートパソコン、スーパーモバイルパソコン（ｕｌｔｒａ－ｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、ＵＭＰＣ）、ネットブック、個人用デジタル補助装置（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）、スマートウォッチ、スマートハンドリングなどの端末デバイスであってもよく、又は当該端末デバイスは更に、他のタイプの端末デバイスであってもよく、本発明の実施例は、端末デバイスのタイプを限定しない。

【0026】

従来技術において、一般的に２Ｄ顔＋２Ｄ歯を用い、すなわち、撮影された２Ｄ画像に基づき、手動で歯牙モデルを調節することで矯正後の歯牙を取得し、又は、２Ｄ顔＋３Ｄ歯を用い、すなわち、撮影された２Ｄ画像に基づき、３Ｄ歯型を画像における歯牙に対応する領域に投影する。２Ｄの画像では、下顎の露出は一般的に少ないため、歯の露出が多い姿勢を保つ状態のみで下顎の追跡を実現することができるため、追跡効果が悪い。更に、２Ｄを用いて歯牙の追跡を行う時に顔のスケール情報がなく、視覚効果が普通である。３Ｄ歯型が画像における歯牙に対応する領域に投影された後の正確性を保証するために、本開示の実施例は、三次元動的追跡方法を提供する。
図１に示すように、当該方法は具体的に以下を含む。

【0027】

Ｓ１１０、人の笑顔データ、三次元歯データ及び顔テンプレートデータを取得し、ここで、人の笑顔データはテクスチャデータと深度データを含む。

【0028】

具体的に、取得された人の笑顔データはテクスチャデータと深度データを含み、ここで、テクスチャデータはＲＧＢ画像であり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）３つの色チャネルを変化したり、これらを相互に重ね合わせたりすることで様々な色を取得し、ＲＧＢは赤、緑、青という３つのチャネルの色を示す。深度データは深度マップ（Ｄｅｐｔｈ Ｍａｐ）であり、３Ｄコンピュータグラフィックスにおいて、視点のシーンオブジェクトの表面の距離に関する情報を含む画像又は画像チャネルである。ここで、深度マップはグレースレベル画像に類似するが、その各画素値はセンサと物体との実際距離である。一般的にＲＧＢ画像と深度マップは整合されているため、画素点の間は1対1の対応関係を有する。三次元歯データは口腔内スキャナにより走査されるデータ（設計したデータであってもよい）であり、顔テンプレートデータは双線形モデル（Ｂｉｌｎｅａｒ ｍｏｄｅｌ）で構築したテンプレートデータベースにおける顔テンプレートデータである。

【0029】

Ｓ１２０、取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得する。

【0030】

具体的に、初期点群データは初期深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを含む。

【0031】

三次元歯牙データは走査により取得され、人の笑顔データはｋｉｎｅｃｔにより撮影され、顔テンプレートデータは顔テンプレートのデータベースから取得される。そのため、人の笑顔データ、三次元歯牙データ及び顔テンプレートデータは異なる座標系における点群データであり、三次元歯牙データの動的追跡を実現するために、一般的に、取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得する必要あり、すなわち、取得された初期点群データは同じ座標系に位置する。

【0032】

Ｓ１３０、初期深度の点群データを融合して等値面を取得し、等値面に対応する目標深度の点群データを取得する。

【0033】

初期深度の点群データを融合して等値面を取得し、すなわち、初期深度の点群データから滑らかな等値面を取得することにより、更に良い視覚効果を保証する。具体的に、初期深度の点群データを融合して等値面を取得する過程では、まずＴＳＤＦアルゴリズムを用いて初期点群データに対応する遮断符号付き距離関数値と重み値を取得し、取得された初期点群データに対応する遮断符号付き距離関数値に基づいてマーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得し、更に等値面に対応する目標深度の点群データを取得する。

【0034】

Ｓ１４０、目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の人の笑顔データに対応する目標テクスチャデータを取得する。

【0035】

目標深度の点群データを取得した後、取得された目標深度の点群データを初期テクスチャデータに逆投影することにより、更に逆投影後の人の笑顔点群データに対応する目標テクスチャデータを取得し、すなわち、目標点群データの異なる視野角における目標テクスチャデータを取得し、取得された顔のテクスチャデータがよりリアルであることを保証する。

【0036】

点がｉ番目のカメラ画角に投影された時の画素値を示す。

【0037】

すなわち、初期テクスチャデータにおけるｐ点の目標テクスチャデータは、ｐ点がｉ番目のカメラ画角に投影された時の画素値及び重み値に関連し、更に、ｐ点の各カメラ画角における重み値を取得した後、取得された重み値に対する正規化処理を行う必要がある。

【0038】

Ｓ１５０、目標深度の点群データに基づいて初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現する。

【0039】

具体的に、顔テンプレートデータは双線形モデル（Ｂｉｌｉｎｅａｒ Ｍｏｄｅｌ）で構築したテンプレートのデータベースにおける顔テンプレートデータを用い、ここで、顔テンプレートデータには、２６３１７個の点、５２個の表情パラメータ及び９３８個の個人顔のパラメータがあり、顔テンプレートの追跡は、主にステップＳ１３０に決定された目標深度の点群データに基づいて双線形モデル（Ｂｉｌｉｎｅａｒ Ｍｏｄｅｌ）で構築したテンプレートのデータベースにおける表情パラメータを最適化し、更に目標顔テンプレートの点群データを取得することによって、顔の表情変化の追跡を実現する。

【0040】

Ｓ１６０、目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域と初期三次元歯データをフィッティングエリアにおいてフィッティングする。

【0041】

取得された人の笑顔データは動的に変化するため、歯牙領域と現行フレームにおける顔テンプレートデータをリアルタイムで追跡することを保証するために、現行フレームにおける歯牙領域は、次のフレームにおける歯牙領域の位置からリアルタイムで変化する。例えば、歯牙の上顎と下顎を両方とも追跡する必要がある場合、まず、目標顔テンプレートの点群データにおける特徴点が前後フレームにある位置を取得する必要があり、前のフレームの特徴点から現行フレームの特徴点までの平面の距離を算出する。例えば、歯牙の上顎を追跡する時、特徴点として鼻を選択し、鼻の特徴点が現行フレームにある位置座標を取得することで、人の笑顔が動的に変化した後、変化後の次のフレームにおける鼻の特徴点が次のフレームにある位置座標を取得し、取得された異なるフレームにおける鼻の特徴点の位置座標の変化に基づき、初期テクスチャデータにより識別される歯牙領域における上顎線に対する座標位置変換を行い、上顎をリアルタイムで追跡することを実現する。歯牙の下顎を追跡する時、特徴点としてあごを選択し、あごの特徴点が現行フレームにある位置座標を取得することで、人の笑顔が動的に変化した後、変化後の次のフレームにおけるあごの特徴点が次のフレームにある位置座標を取得し、取得された異なるフレームにおけるあごの特徴点の位置座標の変化に基づき、初期テクスチャデータにより識別される歯牙領域における下顎線に対する座標位置変換を行い、下顎をリアルタイムな追跡を実現し、更に取得された三次元歯データをフィッティングエリアに表示する。

【0042】

本開示の実施例により提供される三次元動的追跡方法は、取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することにより、取得された初期点群データ中の初期深度の点群データを融合して等値面を取得し、更に等値面に対応する目標深度の点群データを取得し、人の笑顔データがより良い視覚効果を有することを保証する。取得された目標深度の点群データを初期テクスチャデータに逆投影することにより、顔テクスチャの表示を実現する。目標深度の点群データに基づいて初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現し、最後、目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域をフィッティングして表示することにより、歯牙の追跡を実現し、追跡結果の正確性を向上させる。

【0043】

任意選択的に、図２は、本開示の実施例により提供される別の三次元動的追跡方法のフローチャートであり、図２に示すように、ステップＳ１２０の一可能な実施形態は以下を含む。

【0044】

Ｓ１２１、人の笑顔データ、三次元歯データ及び顔テンプレートデータのソース点群データを取得する。

【0045】

人の笑顔データ、三次元歯牙データ及び顔テンプレートデータを取得した後、人の笑顔データに対応するソース点群データ、三次元歯牙データに対応するソース点群データ及び顔テンプレートデータに対応するソース点群データを取得し、異なるデータに対応するソース点群は異なる点群セットに対応し、例えば、人の笑顔データに対応するソース点群データＸは点群セットｘｉで構成され、三次元歯牙データに対応するソース点群データＹは点群セットｙｉで構成され、顔テンプレートデータに対応するソース点群データＺは点群セットｚｉで構成される。

【0046】

Ｓ１２２、反復最近点アルゴリズムにおける回転パラメータ、並進パラメータ及び誤差閾値を決定する。

【0047】

異なるデータに対応するソース点群データを決定した後、ソース点群における対応点群セットを見つけ出し、回転パラメータ、並進パラメータ及び誤差閾値に基づいてソース点群データを所定の座標系に登録して初期点群データを取得する。

【0048】

具体的に、反復最近点アルゴリズム（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ、ＩＣＰ）の目的は、整合される点群データと参照点群データの間の回転パラメータＲと並進パラメータＴを見つけ出すことであり、よって、二点のデータの間は誤差閾値の最適なマッチングを満たす。

【0049】

人の笑顔データに対応するソース点群データがＸ１であり、この時、ソース点群データＸ１に対応する目標点群データがＸ２であると仮定し、ＩＣＰ方法の整合ステップは以下のとおりである。

【0050】

Ｘ２における各点のＸ１点セットにおける対応近点を算出し、上記対応点ペアの平均距離を最も小さくする剛体変換を求め、並進パラメータＴと回転パラメータＲを求め、Ｘ２に前のステップで求めた並進と回転パラメータを使用し、新規な変換点セットを取得し、新規な変換点セットと基準点セットは、二つの点セットの平均距離が誤差閾値より小さくなると、反復計算を停止させ、そうでなければ、目標関数の要求に達するまで、新規な変換点セットを新規なＸ２として継続的に反復を行う。

【0051】

最近点ペアの検索において、対応点の計算は全体の整合過程に消費時間が最も長いステップであり、最近点を検索する際、ｋ－ｄ ｔｒｅｅにより検索速度を向上させ、Ｋ－ｄ ｔｒｅｅ法により確立する点のトポロジー関係は二分木に基づく座標軸分割であり、ｋ－ｄ ｔｒｅｅの構築過程は二分木規則に応じて生成するものであり、まず、Ｘ軸に応じて分割線を見つけ出し、すなわち、全ての点のｘ値の平均値を算出し、この平均値に最も近い点のｘ値で空間を２つの部分に分割し、その後、分割されたサブ空間においてＹ軸に応じて分割線を見つけ出し、それをそれぞれ２つの部分に分割し、分割後のサブ空間は更にＸ軸に応じて分割され……同様に、最後、分割された領域内に１つの点しかないまで実行する。そのような分割過程は１つの二分木に対応し、二分木の子ノードは１本の分割線に対応し、二分木の各葉ノードは１つの点に対応する。このようにすると、点のトポロジー関係を確立する。

【0052】

Ｓ１２３、回転パラメータ、並進パラメータ及び誤差閾値に基づいてソース点群データを所定の座標系に登録して初期点群データを取得する。

【0053】

人の笑顔データに対応するソース点群データＸ１は点群ｘｉを含む場合、点群ｘｉは回転パラメータ、並進パラメータ及び誤差閾値により所定の座標系に登録されて初期点群ｘｉ’＝Ｒｘｉ＋Ｔを取得する。

【0054】

本開示の実施例により提供される三次元動的追跡方法は、剛性登録アルゴリズムにより異なる座標系に位置する人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に移動させ、更に所定の座標系に位置する深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを取得する。

【0055】

任意選択的に、図３は、本開示の実施例により提供される別の三次元動的追跡方法のフローチャートであり、図３に示すように、ステップＳ１３０の一可能な実施形態は以下を含む。

【0056】

Ｓ１３１、ＴＳＤＦアルゴリズムを用いて初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得する。

【0057】

具体的に、ＴＳＤＦアルゴリズムを用いて初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得することは、
初期点群データに対応する長方体のバウンディングボックスを確立することと、
初期点群データに対応する長方体のバウンディングボックスをボクセル化することと、
ＴＳＤＦアルゴリズムを用いて各ボクセル化における初期深度の点群データに対応するＴＳＤＦ値及び重み値を算出することと、を含む。

【0058】

例示的に、初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得することは、まず、各初期点群データが所在する立方体空間として、初期点群データの直方体のバウンディングボックスを確立し、その後、初期点群データに対応する長方体のバウンディングボックスをボクセル化し、最後、遮断符号付き距離関数（Ｔｒｕｎｃａｔｅｄ Ｓｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｆｕｎｃｔｉｏｎ、ＴＳＤＦ）を用いて各ボクセル化における初期深度の点群データに対応するＴＳＤＦ値及び重み値を算出することを含んでもよい。具体的に、全てのボクセルをエルゴディックし、１つのボクセルのワールド座標系における三次元位置点ｐを例として、深度データのカメラの位置姿勢行列により、ワールド座標系における点ｐのカメラの座標系におけるマッピング点ｖを求め、カメラの内部パラメータ行列により、ｖ点を逆投影して深度マップにおける対応画素点ｘを求め、画素点ｘの深度値はｖａｌｕｅ（ｘ）であり、点ｖからカメラ座標原点までの距離はｄｉｓｔａｎｃｅ（ｖ）である。とすれば、ｐ点に対応するｓｄｆ値はｓｄｆ（ｐ）＝ｖａｌｕｅ（ｘ）－ｄｉｓｔａｎｃｅ（ｖ）、ＴＳＤＦ（ｐ）＝ｓｄｆ（ｐ）／｜ｕ｜であり、ここで、｜ｕ｜は対応の所定閾値であり、当該所定閾値はボクセルの数及び大きさに関連し、ＴＳＤＦ（ｐ）＞１の場合、ｐ点に対応するＴＳＤＦ値は１であり、ＴＳＤＦ（ｐ）＜－１の場合、ｐ点に対応するＴＳＤＦ値は－１である。比重ｗ（ｐ）の計算式：ｗ（ｐ）＝ｃｏｓ（θ）、ここで、θは投影光線と表面法線ベクトルとの夾角である。

【0059】

Ｓ１３２、遮断符号付き距離関数値と重み値に基づいてマーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得する。

【0060】

具体的に、遮断符号付き距離関数値と重み値に基づいてマーチングキューブ（ｍａｒｃｈｉｎｇ ｃｕｂｅ）シミュレーションアルゴリズムを用いて初期深度の点群データに対応する等値面を取得することは、
遮断符号付き距離関数値と重み値に対する前処理を行って特定の配列に読み込むこと、
異なるボクセル化に対応するユニット体の位置情報を取得することと、
各ユニット体の位置情報に基づいて各ユニット体に対応する状態テーブルを決定することと、
各ユニット体の状態テーブルに基づき、等値面と交差する各ユニット体のエッジを取得し、線形補間の方法により各ユニット体と等値面との交差部の位置座標を算出することと、
中心差分法を利用し、各ユニット体における各頂点の法線ベクトルを取得し、線形補間の方法を用い、三角パッチの各頂点の法線ベクトルを取得することと、
各ユニット体と等値面との交差部の位置座標及び頂点法線ベクトルに基づいて等値面を決定することと、を含む。

【0061】

マーチングキューブアルゴリズムの主な思想は、三次元離散データフィールドにおいて線形補間により等値面に接近し、具体的に、三次元離散データフィールドにおける各グリッドユニットは１つのボクセルとされ、ボクセルの各頂点には対応するスカラー量値が存在する。ボクセル頂点における値は等値面の値以上である場合、当該頂点は等値面の外に位置すると定義し、「０」と示され、ボクセル頂点における値は等値面の値より小さい場合、当該頂点は等値面に位置すると定義し、「１」と示される。各ボクセルユニットは８個の頂点を有するため、すれば合計２＾８＝２５６種類の状況が存在する。

【0062】

各ボクセルユニットにおける頂点と辺のインデックス規則は、仮にボクセル中の頂点の値は等値面の値より小さく、頂点に接続されるボクセルの辺と交差する線は三角パッチを形成し、三角パッチの頂点の具体的な位置は線形補間の方法に基づいて算出する必要がある。その後、中心差分法を利用し、各ユニット体における各頂点の法線ベクトルを取得し、線形補間の方法を用い、三角パッチの各頂点の法線ベクトルを取得する。最後、各ユニット体と等値面との交差部の位置座標及び頂点法線ベクトルに基づいて等値面を決定する。

【0063】

Ｓ１３３、等値面に対応する点群データに基づいて目標深度の点群データを決定する。

【0064】

取得された等値面に対応する点群データを介して目標深度の点群データを決定し、すなわち、現行フレームの人の笑顔データに対応する深度データを決定し、取得された三次元人の笑顔データに対応する深度データの平滑性を保証する。

【0065】

本開示の実施例により提供される三次元動的追跡方法は、ＴＳＤＦアルゴリズムによって初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得した後、マーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得し、更に等値面に基づいて対応する目標深度の点群データを決定し、人の笑顔データがより良い視覚効果を有することを保証する。

【0066】

任意選択的に、図４は、本開示の実施例により提供される別の三次元動的追跡方法のフローチャートであり、図４に示すように、ステップＳ１６０の一可能な実施形態は以下を含む。

【0067】

Ｓ１６１、目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域を、ガウスニュートン法を用いて、初期三次元歯データとフィッティングエリアにおいてフィッティングする。

【0068】

取得された人の笑顔データは動的に変化するため、歯牙領域と現行フレームにおける顔テンプレートデータをリアルタイムで追跡することを保証するために、現行フレームにおける歯牙領域は、次のフレームにおける歯牙領域の位置からリアルタイムで変化する。例えば、歯牙の上顎と下顎を両方とも追跡する必要がある場合、まず、目標顔テンプレートの点群データにおける特徴点が前後フレームにある位置を取得する必要があり、前のフレームの特徴点から現行フレームの特徴点までの平面の距離を算出する。例えば、歯牙の上顎を追跡する時、特徴点として鼻を選択し、鼻の特徴点が現行フレームにある位置座標を取得することで、人の笑顔が動的に変化した後、変化後の次のフレームにおける鼻の特徴点が次のフレームにある位置座標を取得し、取得された異なるフレームにおける鼻の特徴点の位置座標の変化に基づき、初期テクスチャデータにより識別される歯牙領域における上顎線に対する座標位置変換を行い、上顎をリアルタイムで追跡することを実現する。歯牙の下顎を追跡する時、特徴点としてあごを選択し、あごの特徴点が現行フレームにある位置座標を取得することで、人の笑顔が動的に変化した後、変化後の次のフレームにおけるあごの特徴点が次のフレームにある位置座標を取得し、取得された異なるフレームにおけるあごの特徴点の位置座標の変化に基づき、初期テクスチャデータにより識別される歯牙領域における下顎線に対する座標位置変換を行い、下顎をリアルタイムな追跡を実現し、更に取得された三次元歯データをフィッティングエリアに表示する。

【0069】

具体的に、まず目標顔テンプレートの前後フレームの鼻における対応点を算出し、前のフレームの点から現行フレームの対応点までの平面の距離を算出する。

【0070】

ここで、ｖｄは、現行フレームの点の座標を示し、ｎｄは、現行フレームの点の法線ベクトルを示し、ｖｓは、前のフレームの対応点の座標を示す。

【0071】

その後、初期テクスチャデータにより識別される歯牙領域の上顎のエッジに基づき、初期三次元歯データを初期テクスチャデータに逆投影することで上歯のエッジをフィッティングする。初期テクスチャデータにより識別される歯牙領域の下顎のエッジに基づき、初期三次元歯データを初期テクスチャデータに逆投影することで下歯のエッジをフィッティングする。

【0072】

上顎の追跡においてエネルギー項は２つあり、

下顎の追跡においてエネルギー項は２つあり、

ここで、上記エネルギー項において、

ここで、ｕｄは、現行フレームにより検出された歯牙のエッジ画素の座標を示し、ｖｄは、現行フレームにより検出された歯牙のエッジ画素の法線ベクトルを示す。

【0073】

ここで、Ｖｗは、ワールド座標系における座標位置を示し、Ｖｃは、カメラの座標系における座標を示し、Ｋ、ＲＴは、カメラの内外パラメータをそれぞれ示す。

【0074】

任意選択的に、上記実施例によれば、図５は、本開示の実施例により提供される三次元動的追従装置であり、図５に示すように、三次元動的追従装置は、
人の笑顔データ、三次元歯データ及び顔テンプレートデータを取得するために用いられるデータ取得モジュール５１０であって、ここで、人の笑顔データはテクスチャデータと深度データを含むものと、
取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得するために用いられる初期点群データ取得モジュール５２０であって、ここで、初期点群データは初期深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
初期深度の点群データを融合して等値面を取得し、等値面に対応する目標深度の点群データを取得するために用いられる目標深度の点群データ取得モジュール５３０と、
目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の人の笑顔データに対応する目標テクスチャデータを取得する目標テクスチャデータ取得モジュール５４０と、
目標深度の点群データに基づいて初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現するために用いられる顔テンプレート追跡モジュール５５０と、
目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域と初期三次元歯データをフィッティングエリアにおいてフィッティングするために用いられる三次元歯牙追跡モジュール５６０と、を含む。

【0075】

本開示の実施例により提供される三次元動的追従装置では、初期点群データ取得モジュールは、データ取得モジュールにより取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得し、目標深度の点群データ取得モジュールは、取得された初期点群データ中の初期深度の点群データを融合して等値面を取得し、更に等値面に対応する目標深度の点群データを取得し、人の笑顔データがより良い視覚効果を有することを保証する。目標テクスチャデータ取得モジュールは、取得された目標深度の点群データを初期テクスチャデータに逆投影することにより、顔テクスチャの表示を実現する。顔テンプレート追跡モジュールは、目標深度の点群データに基づいて初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現し、最後、三次元歯牙追跡モジュールは、目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域をフィッティングして三次元歯データをフィッティングエリアに表示することにより、歯牙の追跡を実現し、追跡結果の正確性を向上させる。

【0076】

図６は、本開示の実施例により提供される電子機器の構成図である。図６に示すように、当該電子機器は、プロセッサ６１０、メモリ６２０、入力装置６３０と出力装置６４０を含み、電子機器におけるプロセッサ６１０の数は一つ又は複数であってもよく、図６において、１つのプロセッサ６１０を例として、電子機器におけるプロセッサ６１０、メモリ６２０、入力装置６３０と出力装置６４０はバス又は他の方式によって接続されてよく、図６において、バスによって接続される場合を例とする。

【0077】

メモリ６２０は、コンピュータ可読記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば、本発明の実施例における三次元動的追跡方法に対応するプログラム命令／モジュールを記憶するために用いられてよい。プロセッサ６１０は、メモリ６２０に記憶されるソフトウェアプログラム、命令及びモジュールを実行することによって、電子機器の様々な機能アプリケーション及びデータ処理を実行し、すなわち、本発明の実施例により提供される三次元動的追跡方法を実現する。

【0078】

メモリ６２０は、主にプログラム記憶領域とデータ記憶領域を含んでもよく、ここで、プログラム記憶領域は、操作システム、少なくとも一つの機能に必要なアプリケーションを記憶することができ、データ記憶領域は、端末の使用に基づいて確立されたデータなどを記憶することができる。更に、メモリ６２０は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば、少なくとも一つの磁気ディスクメモリ、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリを更に含んでもよい。いくつかの実施例では、メモリ６２０は、プロセッサ６１０に対して遠隔に設置されるメモリを更に含んでもよく、これらのリモートメモリはネットワークを介してコンピュータ機器に接続されてよい。上記ネットワークの実施例は、インターネット、企業イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むが、これらに限定されない。

【0079】

入力装置６３０は、入力した数字又は文字情報を受信し、及び電子機器のユーザ設定及び機能制御に関するキー信号の入力を生成するために用いられてよく、キーボード、マウスなどを含んでもよい。出力装置６４０は、表示画面などの表示装置を含んでもよい。

【0080】

本開示の実施例は、コンピュータで実行可能なコマンドを含む記憶媒体を更に提供し、前記コンピュータで実行可能なコマンドはコンピュータプロセッサにより実行される時に本発明の実施例により提供される三次元動的追跡方法を実現するために用いられる。

【0081】

当然ながら、本発明の実施例により提供されるコンピュータで実行可能なコマンドを含む記憶媒体では、そのコンピュータで実行可能なコマンドは上記のような方法の操作に限定されず、更に本発明のあらゆる実施例により提供される三次元動的追跡方法における相関操作を実行することもできる。

【0082】

以上の実施形態に関する記述に基づいて、当業者にとって、明確に理解すべきことは、本発明は、ソフトウェア及び必要な汎用ハードウェアによって実現されてよく、当然ながら、ハードウェアによって実現されてよいが、多くの場合に前者がより好ましい実施形態であることである。そのような理解に基づいて、本発明の技術的解決手段では、本質的に、又は従来技術に貢献する部分は、ソフトウェア製品の形態で表現されてよく、当該コンピュータソフトウェア製品はコンピュータ可読記憶媒体、例えば、コンピュータのフロッピーディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ（ＦＬＡＳＨ）、ハードディスク又は光ディスクなどに記憶されてよく、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよく）に本発明の各実施例に記載の方法を実行させるために用いられるいくつかの命令を含んでもよい。

【0083】

注意すべきことは、上記追従装置の実施例では、備えられる各ユニットとモジュールは機能ロジックに応じて定義されたものに過ぎず、対応する機能さえを実現することができればよく、上記定義に限定されず、また、各機能ユニットの具体的な名称も相互に区別するためのものに過ぎず、本発明の特許請求の範囲を限定するためのものではないことである。

【0084】

説明すべきことは、本明細書において、例えば、「第１」と「第２」などのような関連用語は１つの実体又は操作と他の実体又は操作を区別するためのものであり、必ずしもこれらの実体又は操作の間に、いかなるこのような実際的な関係又は順序が存在することを要求又は示唆するわけではないことである。且つ、「含む」、「包含する」という用語又はそのいかなる他の変形は非排他的な「含む」をカバーし、よって、一連の要素を含む過程、方法、物品又は機器は、それらの要素を含むのみならず、また、明白に挙げていない他の要素を更に含み、又はこのような過程、方法、物品又は機器が特有である要素を更に含むことである。更なる限定のない場合、「１つの……を含む」という文書により限定された要素は、前記要素を含む過程、方法、物品又は機器において別の同じ要素が更に存在することを排除しないものである。

【0085】

上記内容は、本開示の実施形態に過ぎず、当業者は、それによって、本開示を実現又は理解することができる。これらの実施例に対する複数種の修正は、当業者にとって簡単に実現できるものであり、本明細書で定義された一般的な原理は、本開示の趣旨又は範囲から逸脱しない限り、別の実施例で実現することもできる。そのため、本開示は、本明細書に記載のこれらの実施例に限定されることがなく、本明細書に開示された原理及び新規性特徴と一致する最も広い範囲に適合すべきである。

【0086】

以上の実施例の各技術的特徴は、任意に組み合わせることができ、説明の便宜上、上記実施例における各技術的特徴の全ての可能な組み合わせについて説明していないが、これらの技術的特徴の組み合わせに矛盾がない限り、いずれも本明細書に記載の範囲に含まれると理解すべきである。

【0087】

前記実施例は、本開示のいくつかの実施形態のみを表現し、その説明は具体的且つ詳細であるが、発明の範囲を制限するものと理解してはいけない。指摘すべきことは、当業者にとって、本開示の構想を逸脱しない限り、更にいくつかの変形と改善を行ってもよく、これらはいずれも本開示の特許請求の範囲に含まれることである。そのため、本開示特許の特許請求の範囲は添付の特許請求の範囲に準ずるべきである。

【産業上の利用可能性】

【0088】

本開示の実施例により提供される三次元動的追跡方法、装置、電子機器及び記憶媒体は、取得された人の笑顔データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することにより、取得された初期点群データ中の初期深度の点群データを融合して等値面を取得し、更に等値面に対応する目標深度の点群データを取得し、人の笑顔データがより良い視覚効果を有することを保証する。取得された目標深度の点群データを初期テクスチャデータに逆投影することにより、顔テクスチャの表示を実現する。目標深度の点群データに基づいて初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現し、最後、目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域をフィッティングして表示することにより、歯牙の追跡を実現し、追跡結果の正確性を向上させる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-01-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

三次元動的追跡方法であって、
顔の動的データ、三次元歯データ及び顔テンプレートデータを取得することであって、ここで、前記顔の動的データはテクスチャデータと深度データを含むものと、
取得された顔の動的データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することであって、ここで、前記初期点群データは初期深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得することと、
前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の顔の動的データに対応する目標テクスチャデータを取得することと、
前記目標深度の点群データに基づいて前記初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現することと、
前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙領域と初期三次元歯データをフィッティングエリアにおいてフィッティングすることと、を含む、ことを特徴とする三次元動的追跡方法。

【請求項2】

前記の取得された顔の動的データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することは、
顔の動的データ、三次元歯データ及び顔テンプレートデータのソース点群データを取得することと、
反復最近点アルゴリズムにおける回転パラメータ、並進パラメータ及び誤差閾値を決定することと、
回転パラメータ、並進パラメータ及び誤差閾値に基づいてソース点群データを所定の座標系に登録して初期点群データを取得することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記の前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得することは、
ＴＳＤＦアルゴリズムを用いて前記初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得することと、
前記遮断符号付き距離関数値と重み値に基づいてマーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得することと、
前記等値面に対応する点群データに基づいて目標深度の点群データを決定することと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記のＴＳＤＦアルゴリズムを用いて前記初期深度の点群データに対応する遮断符号付き距離関数値と重み値を取得することは、
初期点群データに対応する長方体のバウンディングボックスを確立することと、
初期点群データに対応する長方体のバウンディングボックスをボクセル化することと、
ＴＳＤＦアルゴリズムを用いて各ボクセル化における初期深度の点群データに対応するＴＳＤＦ値及び重み値を算出することと、を含む、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記の前記遮断符号付き距離関数値と重み値に基づいてマーチングキューブアルゴリズムを用いて初期深度の点群データに対応する等値面を取得することは、
遮断符号付き距離関数値と重み値に対する前処理を行って特定の配列に読み込むことと、
異なるボクセル化に対応するユニット体の位置情報を取得することと、
各前記ユニット体の位置情報に基づいて各前記ユニット体に対応する状態テーブルを決定することと、
各前記ユニット体の状態テーブルに基づき、等値面と交差する各前記ユニット体のエッジを取得し、線形補間の方法により各前記ユニット体と等値面との交差部の位置座標を算出することと、
中心差分法を利用し、各前記ユニット体における各頂点の法線ベクトルを取得し、線形補間の方法を用い、三角パッチの各頂点の法線ベクトルを取得することと、
各前記ユニット体と等値面との交差部の位置座標及び頂点法線ベクトルに基づいて等値面を決定することと、を含む、ことを特徴とする請求項４に記載の方法。

【請求項6】

前記の前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の顔の動的データに対応する目標テクスチャデータを取得することは、

を含み、

【請求項7】

前記の前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙領域と前記初期三次元歯データをフィッティングエリアにおいてフィッティングすることは、
目標顔テンプレートの点群データと初期テクスチャデータにより識別される歯牙領域を、ガウスニュートン法を用いて、初期三次元歯データとフィッティングエリアにおいてフィッティングすること、を含む、ことを特徴とする請求項１に記載の方法。

【請求項8】

三次元動的追従装置であって、
顔の動的データ、三次元歯データ及び顔テンプレートデータを取得するために用いられるデータ取得モジュールであって、ここで、前記顔の動的データはテクスチャデータと深度データを含むものと、
取得された顔の動的データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得するために用いられる初期点群データ取得モジュールであって、ここで、前記初期点群データは初期深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得するために用いられる目標深度の点群データ取得モジュールと、
前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の顔の動的データに対応する目標テクスチャデータを取得する目標テクスチャデータ取得モジュールと、
前記目標深度の点群データに基づいて前記初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現するために用いられる顔テンプレート追跡モジュールと、
前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙の領域をフィッティングして三次元歯データをフィッティングエリアに表示するために用いられる三次元歯牙追跡モジュールと、を含む、ことを特徴とする三次元動的追従装置。

【請求項9】

電子機器であって、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するために用いられる記憶装置と、を含み、
前記一つ又は複数のプログラムは前記一つ又は複数のプロセッサによって実行される場合、前記一つ又は複数のプロセッサは請求項１～７のいずれか一項に記載の三次元動的追跡方法を実現する、ことを特徴とする電子機器。

【請求項10】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該プログラムはプロセッサによって実行される時に請求項１～７のいずれか一項に記載の三次元動的追跡方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本開示の実施例は、三次元動的追跡方法を提供し、
顔の動的データ、三次元歯データ及び顔テンプレートデータを取得することであって、ここで、前記顔の動的データはテクスチャデータと深度データを含むものと、
取得された顔の動的データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することであって、ここで、前記初期点群データは初期深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得することと、
前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の顔の動的データに対応する目標テクスチャデータを取得することと、
前記目標深度の点群データに基づいて前記初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現することと、
前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙領域と前記初期三次元歯データをフィッティングエリアにおいてフィッティングすることと、を含む。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本開示の実施例の一選択可能な実施形態として、前記の取得された顔の動的データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得することは、
顔の動的データ、三次元歯データ及び顔テンプレートデータのソース点群データを取得することと、
反復最近点アルゴリズムにおける回転パラメータ、並進パラメータ及び誤差閾値を決定することと、
回転パラメータ、並進パラメータ及び誤差閾値に基づいてソース点群データを所定の座標系に登録して初期点群データを取得することと、を含む。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正の内容】

【0012】

本開示の実施例の一選択可能な実施形態として、前記の前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の顔の動的データに対応する目標テクスチャデータを取得することは、

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正の内容】

【0014】

本開示の実施例は、三次元動的追従装置を提供し、
顔の動的データ、三次元歯データ及び顔テンプレートデータを取得するために用いられるデータ取得モジュールであって、ここで、前記顔の動的データはテクスチャデータと深度データを含むものと、
取得された顔の動的データ、三次元歯データ及び顔テンプレートデータを所定の座標系に登録して初期点群データを取得するために用いられる初期点群データ取得モジュールであって、ここで、前記初期点群データは初期深度の点群データ、初期テクスチャデータ、初期三次元歯の点群データと初期顔テンプレートの点群データを含むものと、
前記初期深度の点群データを融合して等値面を取得し、前記等値面に対応する目標深度の点群データを取得するために用いられる目標深度の点群データ取得モジュールと、
前記目標深度の点群データを初期テクスチャデータに逆投影し、逆投影後の顔の動的データに対応する目標テクスチャデータを取得する目標テクスチャデータ取得モジュールと、
前記目標深度の点群データに基づいて前記初期顔テンプレートの点群データを最適化して目標顔テンプレートの点群データを取得し、顔の表情変化の追跡を実現するために用いられる顔テンプレート追跡モジュールと、
前記目標顔テンプレートの点群データと前記初期テクスチャデータにより識別される歯牙の領域をフィッティングして三次元歯データをフィッティングエリアに表示するために用いられる三次元歯牙追跡モジュールと、を含む。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００２７

【補正方法】変更

【補正の内容】

【0027】

Ｓ１１０、人の笑顔データ、三次元歯データ及び顔テンプレートデータを取得し、ここで、人の笑顔データはテクスチャデータと深度データを含む。また、人の笑顔データは、顔の動的データには含まれている。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００３６

【補正方法】変更

【補正の内容】

【0036】

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００６９

【補正方法】変更

【補正の内容】

【0069】

具体的に、まず目標顔テンプレートの前後フレームの鼻における対応点を算出し、前のフレームの点から現行フレームの対応点までの平面の距離を算出する。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００７２

【補正方法】変更

【補正の内容】

【0072】

上顎の追跡においてエネルギー項は２つあり、

下顎の追跡においてエネルギー項は２つあり、

ここで、上記エネルギー項において、

ここで、ｕｄは、現行フレームにより検出された歯牙のエッジ画素の座標を示し、ｖｄは、現行フレームにより検出された歯牙のエッジ画素の法線ベクトルを示す。

【国際調査報告】