特表 2023-534327 顔三次元モデル可視化方法、装置、電子機器および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-09

(54)【発明の名称】顔三次元モデル可視化方法、装置、電子機器および記録媒体

(51)【国際特許分類】

   G06T 17/20 20060101AFI20230802BHJP

【ＦＩ】

G06T17/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022540757

(86)(22)【出願日】2021-11-23

(85)【翻訳文提出日】2022-06-30

(86)【国際出願番号】 CN2021132548

(87)【国際公開番号】W WO2022262201

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】202110682452.2

(32)【優先日】2021-06-18

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522002032

【氏名又は名称】厦門美図宜膚科技有限公司

【氏名又は名称原語表記】Ｘｉａｍｅｎ ＭｅｉｔｕＥｖｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ ５６８， Ｎｏ．９４２，Ｔｏｎｇｌｏｎｇ ２ｎｄ Ｒｏａｄ， Ｇａｏｘｉｎ Ｄｉｓｔｒｉｃｔ （Ｘｉａｎｇ’ａｎ） Ｉｎｄｕｓｔｒｉｅｓ， Ｘｉａｍｅｎ Ｃｉｔｙ， Ｆｕｊｉａｎ， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】羅家禎

(72)【発明者】

【氏名】陳福興

(72)【発明者】

【氏名】劉興雲

(72)【発明者】

【氏名】李志陽

(72)【発明者】

【氏名】斉子銘

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA14

5B080BA07

5B080CA00

5B080FA02

5B080GA22

(57)【要約】

本発明は、顔三次元モデル可視化方法、装置、電子機器、および記録媒体を提供し、三次元モデルの技術分野に関連する。前記方法は、被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得するステップ－ここで、第１顔三次元モデルおよび第２顔三次元モデルは、三角パッチフォーマットである－と、第１顔三次元モデルおよび第２顔三次元モデルにおける座標点の間の距離を算出するステップと、距離に基づいて第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するステップと、第１顔三次元モデルおよび第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するステップと、を備える。本発明によれば、顔の変化を直観的に表現することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

顔三次元モデル可視化方法であって、
被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得するステップであって、前記第１顔三次元モデルおよび前記第２顔三次元モデルは、三角パッチフォーマットであるステップと、
前記第１顔三次元モデルおよび前記第２顔三次元モデルにおける座標点間の距離を算出するステップと、
前記距離に基づいて前記第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するステップと、
前記第１顔三次元モデルおよび前記第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するステップと、
を含む、ことを特徴とする顔三次元モデル可視化方法。

【請求項2】

前記被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得するステップは、
前記被験者の２つの異なる時刻における第１初期顔三次元モデルおよび前記第２顔三次元モデルを取得するステップと、
前記第１初期顔三次元モデルおよび前記第２顔三次元モデルの姿勢変換行列を算出するステップと、
前記姿勢変換行列に基づいて、前記第１初期顔三次元モデルを前記第２顔三次元モデルに位置合わせ、前記第１顔三次元モデルを取得するステップと、
を含む、ことを特徴とする請求項１に記載の顔三次元モデル可視化方法。

【請求項3】

前記第１初期顔三次元モデルおよび前記第２顔三次元モデルの姿勢変換行列を算出するステップは、
前記第１初期顔三次元モデルの鼻先位置を球の中心として、前記第１初期顔三次元モデルを所定の半径で截取し、前記第１初期顔三次元モデルに対応する第１球体截取モデルを取得するステップと、
前記第２顔三次元モデルの鼻先位置を球の中心として、前記第２顔三次元モデルを前記所定の半径で截取し、前記第２顔三次元モデルに対応する第２球体截取モデルを取得するステップと、
所定の変換行列算出方法と、前記第１球体截取モデルおよび前記第２球体截取モデルとを用いて、前記姿勢変換行列を算出して取得するステップと、
を含む、ことを特徴とする請求項２に記載の顔三次元モデル可視化方法。

【請求項4】

前記第１顔三次元モデルおよび前記第２顔三次元モデルにおける座標点間の距離を算出するステップは、
前記第１顔三次元モデルにおける各頂点の座標に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を算出するステップを含む、ことを特徴とする請求項１～請求項３のいずれか１項に記載の顔三次元モデル可視化方法。

【請求項5】

前記第１顔三次元モデルにおける各頂点の座標に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を算出するステップは、
前記第１顔三次元モデルおよび前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを算出するステップと、
前記第１顔三次元モデルの最小公倍数立方体バウンディングボックスに対してオクツリー構造を構築するステップと、
前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを前記オクツリー構造の深さによって均等に分割し、所定数量の小立方体を取得するステップと、
前記第２顔三次元モデルの三角パッチと前記小立方体とを関連付けるステップと、
前記第１顔三次元モデルの頂点座標と前記小立方体とのインデックス関係に基づいて、前記第１顔三次元モデルの頂点と前記小立方体における三角パッチとを関連付けるステップと、
前記頂点の座標と関連する三角パッチとの距離に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を取得するステップと、
を含む、ことを特徴とする請求項４に記載の顔三次元モデル可視化方法。

【請求項6】

前記第１顔三次元モデルの頂点の座標と前記小立方体とのインデックス関係に基づいて、前記第１顔三次元モデルの前記頂点と前記小立方体における三角パッチとを関連付けるステップは、
前記オクツリー構造に基づいて、前記第１顔三次元モデルの頂点コードを算出するステップと、
前記頂点コードと前記小立方体とのインデックス関係に基づいて、前記頂点が関連付けられる小立方体における三角パッチは空集合でない場合、前記頂点と前記小立方体における三角パッチとを関連付けることを決定するステップと、
を含む、ことを特徴とする請求項５に記載の顔三次元モデル可視化方法。

【請求項7】

前記頂点に関連付けられる小立方体における三角パッチは空集合である場合、前記小立方体を中心として、前記小立方体の所定半径近傍領域内の他の小立方体における三角パッチは空集合であるかどうかを判定するステップと、
前記他の小立方体における三角パッチは空集合でない場合、前記頂点と前記他の小立方体における三角パッチとを関連付けるステップと、
をさらに含む、ことを特徴とする請求項６に記載の顔三次元モデル可視化方法。

【請求項8】

前記距離に基づいて前記第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するステップは、
前記距離とカラーテーブルとの映射関係に基づいて、前記第１顔三次元モデルの任意の領域をカラーレンダリングし、前記ヒートマップモデルを取得するステップを含む、ことを特徴とする請求項１～請求項７のいずれか１項に記載の顔三次元モデル可視化方法。

【請求項9】

前記第１顔三次元モデルおよび前記第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するステップは、
前記第１顔三次元モデルの第１高度図および前記第２顔三次元モデルの第２高度図を算出するステップと、
前記第１高度図に基づいて、前記第１顔三次元モデルの第１二次元等高線を算出するステップと、
前記第２高度図に基づいて、前記第２顔三次元モデルの第２二次元等高線を算出するステップと、
前記第１二次元等高線を第１三次元等高線に変換し、前記第２二次元等高線を第２三次元等高線に変換するステップと、
前記第１顔三次元モデルを前記第１三次元等高線に基づいてレンダリングし、前記第１等高線モデルを取得するステップと、
前記第２顔三次元モデルを前記第２三次元等高線に基づいてレンダリングし、前記第２等高線モデルを取得するステップと、
を含む、ことを特徴とする請求項１～請求項８のいずれか１項に記載の顔三次元モデル可視化方法。

【請求項10】

顔三次元モデル可視化装置であって、
三次元モデル取得モジュールと、距離算出モジュールと、ヒートマップ可視化モジュールと、等高線可視化モジュールと、を備え、
前記三次元モデル取得モジュールは、被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得するように構成され、前記第１顔三次元モデルおよび前記第２顔三次元モデルは、三角パッチフォーマットであり、
前記距離算出モジュールは、前記第１顔三次元モデルおよび前記第２顔三次元モデルにおける座標点間の距離を算出するように構成され、
前記ヒートマップ可視化モジュールは、前記距離に基づいて前記第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するように構成され、
前記等高線可視化モジュールは、前記第１顔三次元モデルおよび前記第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するように構成される、ことを特徴とする顔三次元モデル可視化装置。

【請求項11】

前記三次元モデル取得モジュールは、三次元モデル取得ユニットと、姿勢変換行列算出ユニットと、位置合わせユニットと、を備え、
前記三次元モデル取得ユニットは、前記被験者の２つの異なる時刻における第１初期顔三次元モデルおよび前記第２顔三次元モデルを取得するように構成され、
前記姿勢変換行列算出ユニットは、前記第１初期顔三次元モデルおよび前記第２顔三次元モデルの姿勢変換行列を算出するように構成され、
前記位置合わせユニットは、前記姿勢変換行列に基づいて、前記第１初期顔三次元モデルを前記第２顔三次元モデルに位置合わせ、第１顔三次元モデルを取得するように構成される、ことを特徴とする請求項１０に記載の顔三次元モデル可視化装置。

【請求項12】

前記姿勢変換行列算出ユニットは、第１球体截取サブユニットと、第２球体截取サブユニットと、姿勢変換行列算出サブユニットと、を備え、
前記第１球体截取サブユニットは、前記第１初期顔三次元モデルの鼻先位置を球の中心として、前記第１初期顔三次元モデルを所定の半径で截取し、前記第１初期顔三次元モデルに対応する第１球体截取モデルを取得するように構成され、
前記第２球体截取サブユニットは、前記第２顔三次元モデルの鼻先位置を球の中心として、前記第２顔三次元モデルを前記所定の半径で截取し、前記第２顔三次元モデルに対応する第２球体截取モデルを取得するように構成され、
前記姿勢変換行列算出サブユニットは、所定の変換行列算出方法と、前記第１球体截取モデルおよび前記第２球体截取モデルとを用いて、前記姿勢変換行列を算出して取得するように構成される、ことを特徴とする請求項１１に記載の顔三次元モデル可視化装置。

【請求項13】

前記距離算出モジュールは、前記第１顔三次元モデルにおける各頂点の座標に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を算出するように構成される、ことを特徴とする請求項１０～請求項１２のいずれか１項に記載の顔三次元モデル可視化装置。

【請求項14】

前記距離算出モジュールは、バウンディングボックス算出ユニットと、オクツリー構築ユニットと、均等分割ユニットと、第１関連付けユニットと、第２関連付けユニットと、距離算出ユニットと、を備え、
前記バウンディングボックス算出ユニットは、前記第１顔三次元モデルおよび前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを算出するように構成され、
前記オクツリー構築ユニットは、前記第１顔三次元モデルの最小公倍数立方体バウンディングボックスに対してオクツリー構造を構築するように構成され、
前記均等分割ユニットは、前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを前記オクツリー構造の深さによって均等に分割し、所定数量の小立方体を取得するように構成され、
前記第１関連付けユニットは、前記第２顔三次元モデルの三角パッチと前記小立方体とを関連付けるように構成され、
前記第２関連付けユニットは、前記第１顔三次元モデルの頂点の座標と前記小立方体とのインデックス関係に基づいて、前記第１顔三次元モデルの頂点と前記小立方体における三角パッチとを関連付けるように構成され、
前記距離算出ユニットは、前記頂点の座標と関連する三角パッチとの距離に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を取得するように構成される、ことを特徴とする請求項１０～請求項１２のいずれか１項に記載の顔三次元モデル可視化装置。

【請求項15】

前記第２関連付けユニットは、コード算出サブユニットと、第２関連付けサブユニットと、を備え、
前記コード算出サブユニットは、前記オクツリー構造に基づいて、前記第１顔三次元モデルの頂点コードを算出するように構成され、
前記第２関連付けサブユニットは、前記頂点コードと前記小立方体とのインデックス関係に基づいて、前記頂点が関連付けられる小立方体における三角パッチは空集合でない場合、前記頂点と前記小立方体における三角パッチとを関連付けることを決定するように構成される、ことを特徴とする請求項１４に記載の顔三次元モデル可視化装置。

【請求項16】

前記顔三次元モデル可視化装置は、近傍判定ユニットと、第３関連付けサブユニットと、を備え、
前記近傍判定ユニットは、前記頂点に関連付けられる小立方体における三角パッチは空集合である場合、前記小立方体を中心として、前記小立方体の所定半径近傍領域内の他の小立方体における三角パッチは空集合であるかどうかを判定するように構成され、
前記第３関連付けサブユニットは、前記他の小立方体における三角パッチは空集合でない場合、前記頂点と前記他の小立方体における三角パッチとを関連付けるように構成される、ことを特徴とする請求項１４または１５に記載の顔三次元モデル可視化装置。

【請求項17】

前記ヒートマップ可視化モジュールは、前記距離とカラーテーブルとの映射関係に基づいて、前記第１顔三次元モデルの任意の領域をカラーレンダリングし、前記ヒートマップモデルを取得するようにさらに構成される、ことを特徴とする請求項１０～請求項１６のいずれか１項に記載の顔三次元モデル可視化装置。

【請求項18】

前記等高線可視化モジュールは、高度図算出ユニットと、第１二次元等高線算出ユニットと、第２二次元等高線算出ユニットと、変換ユニットと、第１等高線可視化ユニットと、第２等高線可視化ユニットと、を備え、
前記高度図算出ユニットは、前記第１顔三次元モデルの第１高度図および前記第２顔三次元モデルの第２高度図を算出するように構成され、
前記第１二次元等高線算出ユニットは、前記第１高度図に基づいて、前記第１顔三次元モデルの第１二次元等高線を算出するように構成され、
前記第２二次元等高線算出ユニットは、前記第２高度図に基づいて、前記第２顔三次元モデルの第２二次元等高線を算出するように構成され、
前記変換ユニットは、前記第１二次元等高線を第１三次元等高線に変換し、前記第２二次元等高線を第２三次元等高線に変換するように構成され、
前記第１等高線可視化ユニットは、前記第１顔三次元モデルを前記第１三次元等高線に基づいてレンダリングし、前記第１等高線モデルを取得するように構成され、
前記第２等高線可視化ユニットは、前記第２顔三次元モデルを前記第２三次元等高線に基づいてレンダリングし、前記第２等高線モデルを取得するように構成される、ことを特徴とする請求項１０～請求項１７のいずれか１項に記載の顔三次元モデル可視化装置。

【請求項19】

電子機器であって、
プロセッサと、記録媒体と、バスと、を備え、
前記記録媒体は、前記プロセッサによって実行可能なプログラム指令を記録し、前記電子機器が動作する際、前記プロセッサは前記バスを介して前記記録媒体と通信し、前記プロセッサは前記プログラム指令を実行することで、請求項１～請求項９のいずれか１項に記載の顔三次元モデル可視化方法のステップを実行する、ことを特徴とする電子機器。

【請求項20】

コンピュータが読み取り可能な非一時的な記録媒体であって、
前記記録媒体は、プログラムを記録し、前記プログラムはプロセッサによって実行される際、請求項１～請求項９のいずれか１項に記載の顔三次元モデル可視化方法のステップを実行する、ことを特徴とするコンピュータが読み取り可能な非一時的な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願］
本出願は、２０２１年６月１８日に出願された「顔三次元モデル可視化方法、装置、電子機器および記録媒体」という名称の中国特許出願第２０２１１０６８２４５２２号の優先権を主張するものであり、その内容全体は参照により本明細書に組み込まれる。

【0002】

本発明は、三次元モデル技術分野に関し、特に、顔三次元モデル可視化方法、装置、電子機器、および記録媒体に関する。

【背景技術】

【0003】

美容医療業界では、顔三次元モデルの正確な測定・比較・可視化が、治療効果の評価および患者が治療前後の自分の変化を直観的に観察することに重要な役割を果たす。

【0004】

既存の顔三次元モデリング・測定ソリューションでは、主に単一の顔三次元モデルに対して測定し、目の幅、鼻の高さ、鼻の角度などのデータ比較することで顔の変化を分析する。

【0005】

しかし、データの比較分析では、患者を治療前後の変化を直観的に観察させることができず、かつ一部美容医療の施術の中にはわずかな変形しかないため、データには違うが全く反映されない可能性もある。

【発明の概要】

【0006】

本発明では、顔の変化を直観的に示すことのできる顔三次元可視化方法、装置、電子機器および記録媒体を提供し、これにより、従来技術における上述の欠点を解決する。

【0007】

本発明のいくつかの実施形態によれば、顔三次元モデル可視化方法を提供する。この顔三次元モデル可視化方法は、被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得するステップ－ここで、前記第１顔三次元モデルおよび前記第２顔三次元モデルは、三角パッチフォーマットである－と、前記第１顔三次元モデルおよび前記第２顔三次元モデルにおける座標点間の距離を算出するステップと、前記距離に基づいて前記第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するステップと、前記第１顔三次元モデルおよび前記第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するステップと、を備えてもよい。

【0008】

好ましくは、前記被験者の２つの異なる時刻における前記第１顔三次元モデルおよび前記第２顔三次元モデルを取得するステップは、前記被験者の２つの異なる時刻における第１初期顔三次元モデルおよび前記第２顔三次元モデルを取得するステップと、前記第１初期顔三次元モデルおよび前記第２顔三次元モデルの姿勢変換行列を算出するステップと、前記姿勢変換行列に基づいて、前記第１初期顔三次元モデルを前記第２顔三次元モデルに位置合わせ、前記第１顔三次元モデルを取得するステップと、を備えてもよい。

【0009】

好ましくは、前記第１初期顔三次元モデルおよび前記第２顔三次元モデルの前記姿勢変換行列を算出するステップは、前記第１初期顔三次元モデルの鼻先位置を球の中心として、前記第１初期顔三次元モデルを所定の半径で截取し、前記第１初期顔三次元モデルに対応する第１球体截取モデルを取得するステップと、前記第２顔三次元モデルの鼻先位置を球の中心として、前記第２顔三次元モデルを前記所定の半径で截取し、前記第２顔三次元モデルに対応する第２球体截取モデルを取得するステップと、所定の変換行列算出方法と前記第１球体截取モデルおよび前記第２球体截取モデルとを用い、前記姿勢変換行列を算出して取得するステップと、を備えてもよい。

【0010】

好ましくは、前記第１顔三次元モデルおよび前記第２顔三次元モデルにおける座標点間の距離を算出するステップは、前記第１顔三次元モデルにおける各頂点の座標に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を算出するステップを備えてもよい。

【0011】

好ましくは、前記第１顔三次元モデルにおける各頂点の座標に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を算出するステップは、前記第１顔三次元モデルおよび前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを算出するステップと、前記第１顔三次元モデルの最小公倍数立方体バウンディングボックスに対してオクツリー構造を構築するステップと、前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを前記オクツリー構造の深さによって均等に分割し、所定数量の小立方体を取得するステップと、前記第２顔三次元モデルの三角パッチと前記小立方体とを関連付けるステップと、前記第１顔三次元モデルの頂点の座標と前記小立方体とのインデックス関係に基づいて、前記第１顔三次元モデルの前記頂点と前記小立方体における三角パッチとを関連付けるステップと、前記頂点の座標と関連する三角パッチとの距離に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を取得するステップと、を備えてもよい。

【0012】

好ましくは、前記第１顔三次元モデルの頂点の座標と前記小立方体とのインデックス関係に基づいて、前記第１顔三次元モデルの前記頂点と前記小立方体における三角パッチとを関連付けるステップは、前記オクツリー構造に基づいて、前記第１顔三次元モデルの頂点コードを算出するステップと、前記頂点コードと前記小立方体とのインデックス関係に基づいて、前記頂点が関連付けられる小立方体における三角パッチは空集合でない場合、前記頂点と前記小立方体における三角パッチとを関連付けることを決定するステップと、を備えてもよい。

【0013】

好ましくは、前記方法は、前記頂点に関連付けられる小立方体における三角パッチは空集合である場合、前記小立方体を中心として、前記小立方体の所定半径近傍領域内の他の小立方体における三角パッチは空集合であるかどうかを判定するステップと、前記他の小立方体における三角パッチは空集合でない場合、前記頂点と前記他の小立方体における三角パッチとを関連付けるステップと、をさらに備えてもよい。

【0014】

好ましくは、前記距離に基づいて前記第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するステップは、前記距離とカラーテーブルとの映射関係に基づいて、前記第１顔三次元モデルの任意の領域をカラーレンダリングし、前記ヒートマップモデルを取得するステップを備えてもよい。

【0015】

任意選択で、前記第１顔三次元モデルおよび前記第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するステップは、前記第１顔三次元モデルの第１高度図および前記第２顔三次元モデルの第２高度図を算出するステップと、前記第１高度図に基づいて、前記第１顔三次元モデルの第１二次元等高線を算出するステップと、前記第２高度図に基づいて、前記第２顔三次元モデルの第２二次元等高線を算出するステップと、前記第１二次元等高線を第１三次元等高線に変換し、前記第２二次元等高線を第２三次元等高線に変換するステップと、前記第１顔三次元モデルを前記第１三次元等高線に基づいてレンダリングし、前記第１等高線モデルを取得するステップと、前記第２顔三次元モデルを前記第２三次元等高線に基づいてレンダリングし、前記第２等高線モデルを取得するステップと、を備えてもよい。

【0016】

本願のさらなる実施形態は、顔三次元モデル可視化装置を提供し、前記顔三次元モデル可視化装置は、三次元モデル取得モジュールと、距離算出モジュールと、ヒートマップ可視化モジュールと、等高線可視化モジュールと、を備え、前記三次元モデル取得モジュールは、被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得するように構成され、ここで前記第１顔三次元モデルおよび前記第２顔三次元モデルは、三角パッチフォーマットであり、前記距離算出モジュールは、前記第１顔三次元モデルおよび前記第２顔三次元モデルにおける座標点間の距離を算出するように構成され、前記ヒートマップ可視化モジュールは、前記距離に基づいて前記第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するように構成され、前記等高線可視化モジュールは、前記第１顔三次元モデルおよび前記第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するように構成されてもよい。

【0017】

好ましくは、前記三次元モデル取得モジュールは、三次元モデル取得ユニットと、姿勢変換行列算出ユニットと、位置合わせユニットと、を備え、前記三次元モデル取得ユニットは、前記被験者の２つの異なる時刻における第１初期顔三次元モデルおよび前記第２顔三次元モデルを取得するように構成され、前記姿勢変換行列算出ユニットは、前記第１初期顔三次元モデルおよび前記第２顔三次元モデルの姿勢変換行列を算出するように構成され、前記位置合わせユニットは、前記姿勢変換行列に基づいて、前記第１初期顔三次元モデルを前記第２顔三次元モデルに位置合わせ、第１顔三次元モデルを取得するように構成されてもよい。

【0018】

好ましくは、前記姿勢変換行列算出ユニットは、第１球体截取サブユニットと、第２球体截取サブユニットと、姿勢変換行列算出サブユニットと、を備え、前記第１球体截取サブユニットは、前記第１初期顔三次元モデルの鼻先位置を球の中心として、前記第１初期顔三次元モデルを所定の半径で截取し、前記第１初期顔三次元モデルに対応する第１球体截取モデルを取得するように構成され、前記第２球体截取サブユニットは、前記第２顔三次元モデルの鼻先位置を球の中心として、前記第２顔三次元モデルを前記所定の半径で截取し、前記第２顔三次元モデルに対応する第２球体截取モデルを取得するように構成され、前記姿勢変換行列算出サブユニットは、所定の変換行列算出方法と、前記第１球体截取モデルおよび前記第２球体截取モデルとを用い、前記姿勢変換行列を算出して取得するように構成されてもよい。

【0019】

好ましくは、前記距離算出モジュールは、前記第１顔三次元モデルにおける各頂点の座標に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を算出するように構成されてもよい。

【0020】

好ましくは、前記距離算出モジュールは、バウンディングボックス算出ユニットと、オクツリー構築ユニットと、均等分割ユニットと、第１関連付けユニットと、第２関連付けユニットと、距離算出ユニットと、を備え、前記バウンディングボックス算出ユニットは、前記第１顔三次元モデルおよび前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを算出するように構成され、前記オクツリー構築ユニットは、前記第１顔三次元モデルおよび前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスに対してオクツリー構造を構築するように構成され、前記均等分割ユニットは、前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを前記オクツリー構造の深さによって均等し、所定数量の小立方体を取得するように構成され、前記第１関連付けユニットは、前記第２顔三次元モデルの三角パッチと前記小立方体とを関連付けるように構成され、前記第２関連付けユニットは、前記第１顔三次元モデルの頂点の座標と前記小立方体とのインデックス関係に基づいて、前記第１顔三次元モデルの頂点と前記小立方体における三角パッチとを関連付けるように構成され、前記距離算出ユニットは、前記頂点の座標と関連する三角パッチとの距離に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を取得するように構成されてもよい。

【0021】

好ましくは、前記第２関連付けユニットは、コード算出サブユニットと、第２関連付けサブユニットと、を備え、前記コード算出サブユニットは、前記オクツリー構造に基づいて、前記第１顔三次元モデルの頂点コードを算出するように構成され、前記第２関連付けサブユニットは、前記頂点コードと前記小立方体とのインデックス関係に基づいて、前記頂点が関連付けられる小立方体における三角パッチは空集合でない場合、前記頂点と前記小立方体における三角パッチとを関連付けることを決定するように構成されてもよい。

【0022】

好ましくは、前記顔三次元モデル可視化装置は、近傍判定ユニットと、第３関連付けサブユニットと、を備え、前記近傍判定ユニットは、前記頂点に関連付けられる小立方体における三角パッチは空集合である場合、前記小立方体を中心として、前記小立方体の所定半径近傍領域内の他の小立方体における三角パッチは空集合であるかどうかを判定するように構成され、前記第３関連付けサブユニットは、前記他の小立方体における三角パッチは空集合でない場合、前記頂点と前記他の小立方体における三角パッチとを関連付けるように構成されてもよい。

【0023】

好ましくは、前記ヒートマップ可視化モジュールは、前記距離とカラーテーブルとの映射関係に基づいて、前記第１顔三次元モデルの任意の領域をカラーレンダリングし、前記ヒートマップモデルを取得するようにさらに構成されてもよい。

【0024】

好ましくは、前記等高線可視化モジュールは、高度図算出ユニットと、第１二次元等高線算出ユニットと、第２二次元等高線算出ユニットと、変換ユニットと、第１等高線可視化ユニットと、第２等高線可視化ユニットと、を備え、前記高度図算出ユニットは、前記第１顔三次元モデルの第１高度図および前記第２顔三次元モデルの第２高度図を算出するように構成され、前記第１二次元等高線算出ユニットは、前記第１高度図に基づいて、前記第１顔三次元モデルの第１二次元等高線を算出するように構成され、前記第２二次元等高線算出ユニットは、前記第２高度図に基づいて、前記第２顔三次元モデルの第２二次元等高線を算出するように構成され、前記変換ユニットは、前記第１二次元等高線を第１三次元等高線に変換し、前記第２二次元等高線を第２三次元等高線に変換するように構成され、前記第１等高線可視化ユニットは、前記第１顔三次元モデルを前記第１三次元等高線に基づいてレンダリングし、前記第１等高線モデルを取得するように構成され、前記第２等高線可視化ユニットは、前記第２顔三次元モデルを前記第２三次元等高線に基づいてレンダリングし、前記第２等高線モデルを取得するように構成されてもよい。

【0025】

本願のいくつかのさらなる実施形態は、電子機器を提供し、前記電子機器は、プロセッサと、記録媒体と、バスと、を備え、前記記録媒体は、前記プロセッサによって実行可能なプログラム指令を記録し、前記電子機器が動作する際、前記プロセッサは前記バスを介して前記記録媒体と通信し、前記プロセッサは前記プログラム指令を実行することで、上記実施形態のいずれかに記載の顔三次元モデル可視化方法のステップを実行してもよい。

【0026】

本願のいくつかのさらなる実施形態は、コンピュータが読み取り可能な非一時的な記録媒体を提供し、前記記録媒体は、プログラムを記録し、前記プログラムはプロセッサによって実行される際、上記実施形態のいずれかに記載の顔三次元モデル可視化方法のステップを実行してもよい。

【0027】

本発明の有益な効果は、少なくとも以下のとおりである。
本発明は、顔三次元モデル可視化方法、装置、電子機器および記録媒体を提供し、被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得し、ここで前記第１顔三次元モデルおよび前記第２顔三次元モデルは、三角パッチフォーマットであり、前記第１顔三次元モデルおよび前記第２顔三次元モデルにおける座標点間の距離を算出し、前記距離に基づいて前記第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得し、前記第１顔三次元モデルおよび前記第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得することである。本願が提供する態様によれば、第１顔三次元モデルと第２顔三次元モデルとの座標点間の距離に基づいて第２顔三次元モデルに対する第１顔三次元モデルの顔の凹凸を表現し、２つのモデルの顔の凹凸差をヒートマップモデルによって直観的に表現し、第１等高線モデルおよび第２等高線モデルによって被験者の顔の変形および移動状況を直観的に把握することで、顔の変化を可視化することができる。

【図面の簡単な説明】

【0028】

本発明の実施形態の技術的解決策をより明確に説明するため、以下、実施形態で使用される添付図面を簡単的に説明する。なお、以下に示される添付図面は、本願の特定のいくつかの実施形態のみを例示し、範囲が限定されなく、当業者にとって何らの創意工夫をせずにこれらの添付図面に基づいて他の関連図面を得ることができることに留意されたい。

【図1】本願の実施形態に係る第１顔三次元モデル可視化方法のフロー概略図である。

【図2】本願の実施形態に係る第２顔三次元モデル可視化方法のフロー概略図である。

【図3】本願の実施形態に係る第３顔三次元モデル可視化方法のフロー概略図である。

【図4】本願の実施形態に係る第４顔三次元モデル可視化方法のフロー概略図である。

【図5】本願の実施形態に係る第５顔三次元モデル可視化方法のフロー概略図である。

【図6】本願の実施形態に係る近傍小正方体の構成概略図である。

【図7】本願の実施形態に係る第６顔三次元モデル可視化方法のフロー概略図である。

【図8】本願の実施形態に係る三次元モデル可視化装置の構成概略図である。

【図9】本願の実施形態に係る電子機器の概略図である。

【発明を実施するための形態】

【0029】

本願の実施形態の目的、技術的解決策および利点をより明確にするため、以下、本願の実施形態における技術的解決策を添付図面とともに明確かつ完全に説明するが、ここで説明される実施形態は本願の実施形態の一部であり、全ての実施形態ではないことに留意されたい。

【0030】

したがって、添付図面に提供される本願の実施形態の以下の詳細な説明は、保護が主張される本願の範囲を限定することを意図するものではなく、単に本願の選択された実施形態を示すものである。本願の実施形態に基づいて、当業者が創意工夫することなく得られる他のすべての実施形態は、本願の保護範囲に含まれる。

【0031】

本願明細書において、「上」、「下」などの用語で示される方位または位置関係は、添付図面に基づいて示される方位または位置関係であり、または本願に係る製品が使用される際に慣習的に置かれる方位または位置関係であり、それらは、単に本願の説明を簡略化する目的で、特定の方位を有して特定の方位で構成や操作が必要であることを示すまたは示唆するものではなく、本願を限定するものと解釈されるものではないことに留意されたい。

【0032】

また、本願の明細書、特許請求の範囲および上記添付図面における「第１」、「第２」などの用語は、同様の対象を区別するために用いられ、特定の順序または配列を説明するために使用される必要はない。なお、このように使用されるデータは、本願に記載される実施形態が本明細書に図示または記載される以外の順序で実施され得るように、適宜、交換され得ることに理解されたい。さらに、用語「含む」、「備える」およびこれらの変形は、非排他的な包含を意図し、たとえば、一連のステップまたはユニットからなるプロセス、方法、システム、製品または装置は、明示的に記載されるステップまたはユニットに限定されなく、明示的に記載されていない、またはそれらのプロセス、方法、製品、装置に固有の他のステップまたはユニットを含むことができる。

【0033】

なお、本願の実施形態における各種特徴事項は、互いに矛盾なく組み合わせ可能であることに留意されたい。

【0034】

本願の実施形態は、顔三次元モデル可視化方法を提供し、その実施主体は、顔三次元モデル可視化機能を有する電子機器であり、前記電子機器は顔三次元モデルのモデリング機能を有するモデリング装置に統合されてもよく、モデリング装置と通信可能の電子機器としてモデリング装置から送信される顔三次元モデルを受け取ってもよい。前記電子機器は、美容機器であってもよく、スマートフォン、タブレット、サーバ、デスクトップＰＣ、ノートパソコンなどであってもよく、ここで特に限定されない。

【0035】

図１は、本願の実施形態に係る第１顔三次元モデル可視化方法のフロー概略図である。図１に示されるように、この方法は、以下のように構成されてもよい。

【0036】

Ｓ１０：被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得する。

【0037】

具体的には、第１顔三次元モデルおよび第２顔三次元モデルは、同一の被験者の２つの異なる時刻における顔三次元モデルであり、第１顔三次元モデルおよび第２顔三次元モデルは、いずれも三次元スキャン装置によって取得できるものである。さらに、第１顔三次元モデルは、三次元スキャンモデルによって取得され、第２顔三次元モデルは、専門家、たとえば整形外科医が、第１顔三次元モデルに対して整形シミュレーションを行い、第１顔三次元モデルの顔構造を調整することで取得できるものである。後の計算を容易にするため、第１顔三次元モデルおよび第２顔三次元モデルが三角パッチフォーマットであることが必要であり、三角パッチフォーマットは、顔三次元モデルが複数の三角面によって構成されていることを示す。

【0038】

なお、第１顔三次元モデルおよび第２顔三次元モデルは、高精度・高解像度かつテクスチャマップを有する三次元モデルであることに留意されたい。

【0039】

Ｓ２０：第１顔三次元モデルおよび第２顔三次元モデルにおける座標点間の距離を算出する。

【0040】

具体的には、第１顔三次元モデルおよび第２顔三次元モデルにおける座標点間の距離を算出することは、第１顔三次元モデルの頂点から第２顔三次元モデルまでの距離を算出することと、第２顔三次元モデルの頂点から第１顔三次元モデルまでの距離を算出することと、を含んでもよい。

【0041】

以下、第１顔三次元モデルの頂点から第２顔三次元モデルまでの距離を算出することを一例として説明する。

【0042】

第１顔三次元モデルの頂点は、第１顔三次元モデルを構築するキーポイント、または第１顔三次元モデルにおける三角パッチの三角頂点であり、第１顔三次元モデルの頂点から第２顔三次元モデルまでの距離を算出する過程は、第１顔三次元モデルの頂点から第２顔三次元モデルまでの最も近い距離を算出し、一つ選択可能の計算方法では、第１顔三次元モデルの各頂点から第２顔三次元モデルの全ての頂点までの距離を算出することで、最も近い距離を決定する。

【0043】

別の実施形態において、第１顔三次元モデルの各頂点の座標に基づいて、第１顔三次元モデルの各頂点から第２顔三次元モデルに最も近い三角パッチまでの距離を計算する。

【0044】

具体的には、第１顔三次元モデルも第２顔三次元モデルも高精度モデルとしては非常に多くの頂点を持つため、第１顔三次元モデルにおける頂点から第２顔三次元モデルに最も近い三角パッチまでの距離を算出する方法を選択することができる。そのうち、各頂点から全ての三角パッチまでの距離を算出することで、頂点に最も近い三角パッチの距離を第１距離として決定することができ、ここで点から面までの距離計算方法については詳細に説明しない。

【0045】

Ｓ３０：距離に基づいて第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得する。

【0046】

具体的には、ヒートマップモデルは、被験者の顔の任意領域の筋肉状態を示し、第１顔三次元モデルおよび第２顔三次元モデルの座標点間の指向距離に基づいて、前記指向距離は正の場合、第１顔三次元モデルがこの座標点で第２顔三次元モデルに対して凸であることを示し、前記指向距離は正の場合、第１顔三次元モデルがこの座標点で第２顔三次元モデルに対して凹であることを示し、各座標点が第１顔三次元モデルにおける領域内の色値を算出し、前記色値に基づいて第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得する。

【0047】

Ｓ４０：第１顔三次元モデルおよび第２顔三次元モデルに基づいて三次元等高線をそれぞれ計算し、第１等高線モデルおよび第２等高線モデルを取得する。

【0048】

具体的には、等高線モデルは、被験者の顔の任意領域の向きを示し、第１顔三次元モデルの各頂点の所定高さ方向の高さ値に基づいて第１顔三次元モデルの三次元等高線を決定し、第１顔三次元モデルの三次元等高線を第１顔三次元モデルにレンダリングし、第１等高線を取得する。

【0049】

第２等高線モデルの計算過程は、第１等高線モデルと同様のため、ここでの説明は省略する。

【0050】

本願の実施形態に係る顔三次元モデル可視化方法は、被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得し、第１顔三次元モデルおよび第２顔三次元モデルは、三角パッチフォーマットであり、第１顔三次元モデルおよび第２顔三次元モデルにおける座標点の間の距離を算出し、距離に基づいて第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得し、第１顔三次元モデルおよび第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得する。本願の実施形態に係る方法によれば、第１顔三次元モデルと第２顔三次元モデルとの座標点間の距離に基づいて第２顔三次元モデルに対する第１顔三次元モデルの顔の凹凸を表現し、２つのモデルの顔の凹凸差をヒートマップモデルによって直観的に表現し、第１等高線モデルおよび第２等高線モデルによって被験者の顔の変形および移動状況を直観的に把握することで、顔の変化を可視化することができる。

【0051】

上記実施形態に基づいて、本願実施形態は、もう一つ顔三次元モデル可視化方法も提供し、図２は、本願実施形態に係る第２顔三次元モデル可視化方法のフロー概略図である。図２に示されるように、上記Ｓ１０は、以下のように構成されてもよい。

【0052】

Ｓ１１：被験者の前記２つの異なる時刻における第１初期顔三次元モデルおよび第２顔三次元モデルを取得する。

【0053】

具体的には、第１初期顔三次元モデル及び第２顔三次元モデルの取得方法は、上述のＳ１０と同様のため、ここでは特に説明しない。異なる時刻で取得される顔三次元モデルの間には角度や顔の動作に違いがあるため、その中の一つ顔三次元モデルを補正する必要がある。本願実施形態の解決策は、第１初期顔三次元モデルを補正する。

【0054】

Ｓ１２：第１初期顔三次元モデルおよび第２顔三次元モデルの姿勢変換行列を算出する。

【0055】

具体的には、第１初期顔三次元モデルに対して回転・並進変換を行い、第１初期顔三次元モデルを第２顔三次元モデルに位置合わせ、回転・並進変換を行うための姿勢変換行列

を予め定められる変換方法で算出する。

【0056】

Ｓ１３：姿勢変換行列に基づいて第１初期顔三次元モデルを第２顔三次元モデルに位置合わせ、第１顔三次元モデルを取得する。

【0057】

具体的には、姿勢変換行列

は、第１初期顔三次元モデルを第２顔三次元モデルの座標系内に合わせるように補正し、補正後の第１顔三次元モデルを取得することができる。例として、整列式は

。

【0058】

本願実施形態に係る顔三次元モデル可視化方法は、被験者の前記２つの異なる時刻の第１初期顔三次元モデルおよび第２顔三次元モデルを取得し、第１初期顔三次元モデルおよび第２顔三次元モデルの姿勢変換行列を算出し、姿勢変換行列に基づいて第１初期顔三次元モデルを第２顔三次元モデルに位置合わせ、第１顔三次元モデルを取得するものである。本願の実施形態に係る方法によれば、第１初期顔三次元モデルを第２顔三次元モデルに位置合わせすることができ、異なる時刻の顔三次元モデルの間の傾きのずれに起因してヒートマップモデルおよび等高線モデルによって可視化対比の際に結果の偏差を回避することができ、対比結果の正確性を向上させることができる。

【0059】

上記実施形態に基づいて、本願実施形態は、もう一つ顔三次元モデル可視化方法も提供し、図３は、本願実施形態に係る第３顔三次元モデル可視化方法のフロー概略図である。図３に示されるように、上記Ｓ１２は、以下のように構成されてもよい。

【0060】

Ｓ１２１：第１初期顔三次元モデルの鼻先位置を球の中心として、第１初期顔三次元モデルを所定の半径で截取し、第１初期顔三次元モデルに対応する第１球体截取モデルを取得する。

【0061】

具体的には、顔三次元モデルの両側の頬の領域は、姿勢変換行列の算出への貢献度が少ないので、算出量を減して計算効率を向上させるため、鼻先位置を球の中心として、第１初期顔三次元モデルを所定の半径で截取し、第１球体截取モデルを取得する。

【0062】

Ｓ１２２：第２顔三次元モデルの鼻先位置を球の中心として、第２顔三次元モデルを所定の半径で截取し、第２顔三次元モデルに対応する第２球体截取モデルを取得する。

【0063】

具体的には、第２顔三次元モデルに対して截取する第２球体截取モデルの取得過程は第１初期顔三次元モデルの過程と同様のため、ここで説明を省略する。

【0064】

Ｓ１２３：所定の変換行列算出方法と、第１球体截取モデルおよび第２球体截取モデルとを用い、姿勢変換行列を算出して取得する。

【0065】

具体的には、所定の変換行列算出方法を用い、第１球体截取モデルを第２球体截取モデルに位置合わせる姿勢変換行列

を算出する。所定の変換行列算出方法は、たとえば、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを使っても良い。

【0066】

本願の実施形態に係る顔三次元モデル可視化方法は、第１初期顔三次元モデルの鼻先位置を球の中心として、第１初期顔三次元モデルを所定の半径で截取し、第１初期顔三次元モデルに対応する第１球体截取モデルを取得し、第２顔三次元モデルの鼻先位置を球の中心として、第２顔三次元モデルを所定の半径で截取し、第２顔三次元モデルに対応する第２球体截取モデルを取得し、所定の変換行列算出方法と、第１球体截取モデルおよび第２球体截取モデルとを用い、姿勢変換行列を算出して取得するものである。本願の実施形態に係る方法によれば、第１初期顔三次元モデルおよび第２顔三次元モデルに対してそれぞれ球体截取を行うことで、姿勢変換行列の算出に貢献度が少ない両側の頬部領域を省略し、第１球体截取モデルおよび第２球体截取モデルを取得することができ、所定の変換行列算出方法を用いて姿勢変換行列を算出する際に算出量を減少し、計算効率を向上させる。

【0067】

上記実施形態に基づいて、本願実施形態は、もう一つ顔三次元モデル可視化方法も提供し、図４は、本願実施形態に係る第４顔三次元モデル可視化方法のフロー概略図である。図４に示されるように、上記Ｓ２０は、以下のように構成されてもよい。

【0068】

Ｓ２１：第１顔三次元モデルおよび第２顔三次元モデルの最小公倍数立方体バウンディングボックス（Ｔｈｅ Ｌｅａｓｔ Ｃｏｍｍｏｎ Ｂｏｕｎｄｉｎｇ Ｃｕｂｅ）を算出する。

【0069】

具体的には、第１顔三次元モデルの縦横高さおよび第２顔三次元モデルの縦横高さに基づいて、第１顔三次元モデルの縦横高さおよび第２顔三次元モデルの縦横高さから最大の縦、横、高さを求め、この最大の縦、横、高さに基づいて、第１顔三次元モデルと第２顔三次元モデルとの最小公倍数立方体バウンディングボックスを構築し、最小公倍数立方体バウンディングボックスはそれぞれ第１顔三次元モデルおよび第２顔三次元モデルを完全に囲むことができる。

【0070】

Ｓ２２：第１顔三次元モデルの最小公倍数立方体バウンディングボックスに対してオクツリー構造を構築する。

【0071】

具体的には、オクツリー構造（Ｏｃｔｒｅｅ）は三次元空間を記述するツリーデータ構造であり、最小公倍数立方体バウンディングボックスを分割することで、２＊２＊２＝８個小立方体を取得し、各小立方体には第１顔三次元モデルの複数の頂点が格納され、複数の頂点を格納する小立方体を順に分割し、分割の深さＮは小立方体を分割する回数を示し、分割の深さは必要に応じて決定され、分割の深さに達する前に小立方体には頂点が存在しない場合、分割を早期に停止する。オクツリー構造の深さは、第１顔三次元モデルの最小公倍数立方体バウンディングボックスを分割する回数に１を加え、すなわち１回分割する場合、オクツリー構造の深さは２である。

【0072】

Ｓ２３：第２顔三次元モデルの最小公倍数立方体バウンディングボックスをオクツリー構造の深さで均等に分割し、予め決められる数量の小立方体を取得する。

【0073】

具体的には、上記Ｓ２２のオクツリー構造の深さに基づいて、第２顔三次元モデルの最小公倍数立方体バウンディングボックスをＮ３個小立方体に均等に分割する。

【0074】

Ｓ２４：第２顔三次元モデルの三角パッチと小立方体とを関連付ける。

【0075】

具体的には、各小立方体を第２顔三次元モデルにおける全ての三角パッチと交差テストを行い、小立方体と全ての三角パッチとの交差が空集合でない場合、交差する三角パッチを対応する小立方体の関連パッチ列に追加する。

【0076】

Ｓ２５：第１顔三次元モデルの頂点座標および小立方体のインデックス関係に基づいて、第１顔三次元モデルの頂点と小立方体の三角パッチとを関連付ける。

【0077】

具体的には、小立方体を所定の規則に従ってコーディングし、第１顔三次元モデルの頂点座標および第２顔三次元モデルの小立方体のインデックス関係を決定し、この索引関係に基づいて、第１顔三次元モデルの頂点と対応する小立方体における三角パッチとを関連付ける。

【0078】

Ｓ２６：頂点座標と関連する三角パッチとの距離に基づいて、第１顔三次元モデルの各頂点から第２顔三次元モデルに最も近い三角パッチまでの距離を取得する。

【0079】

具体的には、各小立方体には複数の三角パッチが含まれるので、この頂点の頂点座標に基づいてこの頂点と各三角パッチとの距離を算出することで、この頂点と最も近い三角パッチとの距離を決定する。

【0080】

本願実施形態に係る顔三次元モデル可視化方法は、第１顔三次元モデルおよび第２顔三次元モデルの最小公倍数立方体バウンディングボックスを算出し、第１顔三次元モデルの最小公倍数立方体バウンディングボックスに対してオクツリー構造を構築し、第２顔三次元モデルの最小公倍数立方体バウンディングボックスをオクツリー構造の深さによって均等に分割し、所定数量の小立方体を取得し、第１顔三次元モデルの頂点座標と前記小立方体とのインデックス関係に基づいて、第１顔三次元モデルの頂点と小立方体における三角パッチとを関連付け、頂点座標と関連する三角パッチとの距離に基づいて、第１顔三次元モデルにおける各頂点から第２顔三次元モデルに最も近い三角パッチまでの距離を取得するものである。本願の実施形態に係る方法によれば、第１顔三次元モデルの頂点と第２顔三次元モデルの三角パッチとの関連関係を構築することで、頂点と全ての三角パッチとの距離を計算しないように、頂点と関連する三次元モデルの三角パッチとの距離を算出して最も近い距離を決定し、算出量を減少し、計算効率を向上させる。

【0081】

上記実施形態に基づいて、本願実施形態は、さらに他の顔三次元モデル可視化方法を提供し、図５は、第５顔三次元モデル可視化方法のフロー概略図である。図５に示されるように、上記Ｓ２５は、以下のように構成されてもよい。

【0082】

Ｓ２５１：オクツリー構造に基づいて、第１顔三次元モデルの頂点コードを算出する。

【0083】

具体的には、頂点コードは二進コードであり、その具体的なコーディング過程を以下の例として説明する。

【0084】

頂点Ｐの三次元座標を（ｘ，ｙ，ｚ）＝（１３，５，４）とし、第１顔三次元モデルの最小公倍数立方体バウンディングボックスの頂点座標は、（ｘ_ｍｉｎ，ｙ_ｍｉｎ，ｚ_ｍｉｎ，ｘ_ｍａｘ，ｙ_ｍａｘ，ｚ_ｍａｘ）＝（０，０，０，１６，１６，１６）とする。

【0085】

頂点コードは、モートン（Ｍｏｒｔｏｎ）コードを用い、頂点Ｐのインデックス値（ｉ，ｊ，ｋ）を算出する。具体的数式は、以下の通りである。

【0086】

ここで、

は切り捨てコードであり、（ｉ，ｊ，ｋ）＝（６，２，２）、頂点Ｐのインデックス値を二進コードに変換する：（ｉ_１ｉ_２ｉ_３，ｊ_１ｊ_２ｊ_３，ｋ_１ｋ_２ｋ_３）＝（１１０，０１０，０１０）。

【0087】

Ｓ２５２：頂点コードと小立方体とのインデックス関係に基づいて、頂点に関連付けられる小立方体における三角パッチが空集合でない場合、頂点と小立方体における三角パッチとを関連付けると決定する。

【0088】

具体的には、頂点コードと小立方体のインデックス関係に基づいて、頂点と関連付ける小立方体を決定し、この小立方体の関連パッチ列が空集合であるかどうかを決定する。

【0089】

頂点と関連付ける小立方体の関連パッチ列における三角パッチが空集合でない場合、この頂点とこの小立方体の関連パッチ列における全ての三角パッチとを関連付ける。

【0090】

別の実施形態において、頂点コードと小立方体とのインデックス関係は、以下の数式で表すことができる。

【0091】

【0092】

ここで、Ｑは小立方体のインデックスコード、ｑ_ｌ＝４ｉ_ｌ＋２ｊ_ｌ＋ｋ_ｌである。

【0093】

たとえば、上記二進コード（ｉ_１ｉ_２ｉ_３，ｊ_１ｊ_２ｊ_３，ｋ_１ｋ_２ｋ_３）＝（１１０，０１０，０１０）に対応する小立方体のインデックスコードは、Ｑ＝４７０である。

【0094】

本願実施形態に係る顔三次元モデル可視化方法は、オクツリー構造に基づいて、第１顔三次元モデルの頂点コードを算出し、頂点コードと小立方体とのインデックス関係に基づいて、頂点が関連付けられる小立方体における三角パッチは空集合でない場合、頂点を小立方体における三角パッチとを関連付けることを決定するものである。本願実施形態に係る方法によれば、計算によって頂点と小立方体における三角パッチとを関連付け、頂点と三角パッチとの間の距離の算出回数を減少し、計算効率を向上させるができる。

【0095】

上記実施形態に基づき、本願の実施形態は、さらに他の顔三次元モデル可視化方法を提供し、図５に示されるように、上記方法は、以下のように構成されてもよい。

【0096】

Ｓ２５３：頂点と関連付ける小立方体における三角パッチが空集合である場合、小立方体を中心として、その小立方体の所定半径近傍の他の小立方体における三角パッチが空集合であるかどうかを決定する。

【0097】

具体的には、頂点と関連付ける小立方体の三角パッチ列における三角パッチが空集合である場合、すなわち、小立方体に三角パッチが含まれない場合、その小立方体を中心として、所定半径に対応する近傍の他の小立方体を決定し、最初は所定半径を２として、その小立方体の半径２に対応する近傍には８個の小立方体を含む。図６は、本願実施形態に係る近傍小立方体の構成概略図である。図６に示されるように、左側の小立方体の半径は１であり、左側の小立方体を中心として予め設定した半径を２として得られた領域内の小立方体は右側に示されたものである。この所定半径の近傍にある他の小立方体の三角パッチ列における三角パッチが空集合であるかどうかを決定する。

【0098】

Ｓ２５４：他の小立方体における三角パッチが空集合でない場合、頂点と他の小立方体における三角パッチとを関連付ける。

【0099】

具体的には、他の小立方体において三角パッチ列における三角パッチが空集合でない場合、頂点と対応する小立方体の三角パッチ列における全ての三角パッチとを関連付け、複数の他の小立方体において三角パッチ列における三角パッチが空集合でない場合、頂点と空集合でない他の全ての小立方体の三角パッチ列における全ての三角パッチとを関連付ける。

【0100】

別の実施形態において、他の小立方体における三角パッチが空集合である場合、所定半径を１増加し、Ｓ２５３～Ｓ２５４を続いて実行する。

【0101】

本願実施形態に係る顔三次元モデル可視化方法は、頂点と関連付ける小立方体における三角パッチが空集合である場合、その小立方体を中心として、小立方体から所定半径近傍の他の小立方体における三角パッチが空集合であるかを決定し、他の小立方体の三角パッチが空集合でない場合、頂点と他の小立方体の三角パッチとを関連付ける。本願実施形態に係る方法は、各頂点に三角パッチを関連付けることで、ヒートマップおよび等高線を算出する際に結果の正確性を保障する。

【0102】

上記実施形態に基づいて、本願実施形態は、さらに他の顔三次元モデル可視化方法を提供し、上記Ｓ３０は、以下のように構成されてもよい。

【0103】

距離とカラーテーブルとの映射関係に基づいて、第１顔三次元モデルの任意の領域をカラーレンダリングし、ヒートマップモデルを取得する。

【0104】

具体的には、カラーテーブルは「青－シアン－緑－黄－オレンジ－赤」のグラデーションに沿った帯状であり、合計ＮＣ種の色を含み、テーブル内に

の色は、Ｃ（ｋ）で示される。

【0105】

距離とカラーテーブルとの映射関係を構築し、区間［ａ，ｂ］における距離とカラーテーブルとの対応関係は、

である。ｘ＜ａの場合、

であり、ｘ＞ｂの場合、

である。

【0106】

ここで、ａ、ｂはそれぞれ映射区間の境界で、ａ＜ｂである。

【0107】

各頂点から最も近い三角パッチまでの距離に基づいて、その頂点の所定範囲に対応する色値を決定し、その頂点の所定範囲をカラーレンダリングし、第１顔三次元モデルの任意の領域の多種の色値を算出することで、任意の領域をカラーレンダリングし、ヒートマップモデルを取得する。

【0108】

その任意の領域における複数の色の出現回数を統計し、第１顔三次元モデルのカラーバー統計図を描画し、ユーザーインターフェースに示すとともに、ヒートマップモデル、カラーバー統計図、カラーテーブル、および距離とカラーテーブルとの映射関係を示すことができる。

【0109】

本願発明の実施形態に係る顔三次元モデル可視化方法は、距離とカラーテーブルとの対応関係に基づいて、第１顔三次元モデルの任意の領域をカラーレンダリングし、ヒートマップモデルを取得するものである。本願実施形態に係る方法によれば、ヒートマップモデルによって顔筋肉の差異変化を可視化することができ、第２顔三次元モデルが専門家によって作られたシミュレーション方法である場合、顔の差異に基づいて整形手術に必要な薬の量を決定し、術前の解決策設計を容易にすることができる。

【0110】

なお、本願実施形態に係るヒートマップモデルは、第１顔三次元モデルにレンダリングすることで得られるが、第２顔三次元モデルの頂点から第１顔三次元モデルの最も近い三角パッチまでの距離を算出し、その距離とカラーテーブルとの対応関係に基づいて、第２顔三次元モデルの任意の領域をレンダリングすることで得られることもできる。本願では、限定されることはない。

【0111】

上記実施形態に基づいて、本願実施形態は、さらに他の顔三次元モデル可視化方法を提供する。図７は、本願実施形態に係る第６顔三次元モデル可視化方法のフロー概略図である。図７に示めされるように、上記Ｓ４０は、以下のように構成されてもよい。

【0112】

Ｓ４１：第１顔三次元モデルの第１高度図および第２顔三次元モデルの第２高度図を算出する。

【0113】

具体的には、第１顔三次元モデルを例として説明すると、第１高度図の算出方法は以下であってもよい。

【0114】

三次元のデカルト座標系に基づいて、第１顔三次元モデルを直す。具体的には、第１顔三次元モデルの目の中心点を三次元のデカルト座標系のＸ軸に平行させ、第１顔三次元モデルの頭部の中軸を三次元のデカルト座標系のＹ軸に平行させ、三次元のデカルト座標系のＺ軸を第１顔三次元モデルの鼻先に通じさせ、かつ鼻先をＺ軸の所定座標点に位置させる。たとえば、鼻先とＺ軸の原点との距離は１５０ｍｍである。

【0115】

所定展開方法を用い、第１顔三次元モデルを二次元平面内に展開し、二次元座標（ｘ，ｙ）に対応する第１顔三次元モデルの頂点の三次元座標（ｘ，ｙ，ｚ）を取得する。第１顔三次元モデルの座標図を作成し、その座標図の中に、頂点の二次元座標（ｘ，ｙ）の位置に頂点の三次元座標（ｘ，ｙ，ｚ）が格納される。

【0116】

二次元座標系における高度方向ｈｎを定義し、定義された高度方向ｈｎに基づいて、その高度方向ｈｎにおける各頂点の高度値ｈを算出し、第１顔三次元モデルの第１高度図を構築する。第１高度図において、頂点の二次元座標（ｘ，ｙ）の位置に頂点の高度値ｈが格納される。

【0117】

たとえば、高度値ｈの算出方法は：二次元平面内に二次元座標（ｘ，ｙ）の画素Ｐ（ｘ，ｙ）に基づいて、画素Ｐ（ｘ，ｙ）および高度方向ｈｎに対して内積演算し、具体的な数式は、

である。

【0118】

第２高度図の算出方法は上記第１高度図の算出方法と同様のため、ここで説明を省略する。

【0119】

Ｓ４２：第１高度図に基づいて、第１顔三次元モデルの第１二次元等高線を算出する。

【0120】

具体的には、所定の等高線算出方法を用い、第１顔三次元モデルの第１高度図をそれぞれ算出し、第１顔三次元モデルの第１二次元等高線を取得する。たとえば、所定の等高線算出方法として、ＭａｒｃｈｉｎｇＳｑｕａｒｅｓアルゴリズムが挙げられる。

【0121】

Ｓ４３：第２高度図に基づいて、第２顔三次元モデルの第２二次元等高線を算出する。

【0122】

具体的には、第２二次元等高線の算出方法は上記Ｓ４２における第１二次元等高線の算出方法と同様のため、ここで説明を省略する。

【0123】

Ｓ４４：第１二次元等高線を第１三次元等高線に変換し、第２二次元等高線を第２三次元等高線に変換する。

【0124】

具体的には、第１顔三次元モデルの座標図および第１二次元等高線に基づいて、第１二次元等高線の頂点を三次元座標に変換し、第１顔三次元モデルの第１三次元等高線を取得する。また、第２顔三次元モデルの座標図と第２二次元等高線に基づいて、第２二次元等高線の頂点を三次元座標に変換し、第２顔三次元モデルの第２三次元等高線を取得する。

【0125】

Ｓ４５：第１三次元等高線に基づいて第１顔三次元モデルをレンダリングし、第１等高線モデルを取得する。

【0126】

具体的には、第１三次元等高線の頂点の三次元座標に基づいて、第１顔三次元モデルにおいて、頂点の三次元座標に基づいて第１三次元等高線をレンダリングし、第１等高線モデルを取得する。

【0127】

別の実施形態において、第１三次元等高線の高度差とカラーテーブルとの映射関係に基づいて、第１三次元等高線を着色する。

【0128】

具体的には、第１三次元等高線と高度差との映射関係および高度差とカラーテーブルとの映射関係に基づいて、第１三次元等高線とカラーテーブルとの映射関係を決定し、この対応関係に基づいて第１三次元等高線を着色し、着色された第１等高線モデルを取得する。高度差とカラーテーブルの映射関係は必要に応じて定義されることができ、ここで限定されない。

【0129】

たとえば、第１三次元等高線と高度差との映射関係は、「高度差＝第１三次元等高線の高度値－最大高度値」であり、第１三次元等高線の高度値は、第１三次元等高線の三次元座標に基づいて、座標図から対応する二次元座標を決定し、さらに高度図から二次元座標に対応する高度値を決定する。

【0130】

Ｓ４６：第２三次元等高線に基づいて第２顔三次元モデルをレンダリングし、第２等高線モデルを取得する。

【0131】

具体的なレンダリング方法については、上記Ｓ４５と同様のため、ここで説明を省略する。

【0132】

別の実施形態において、第２三次元等高線の高度差とカラーテーブルとの映射関係に基づいて、第２三次元等高線を着色し、第２三次元等高線の高度差の算出方法は第１三次元等高線の高度差の算出方法と同様のため、ここで説明を省略する。

【0133】

着色された第１等高線モデルと第２等高線モデルにおいて、それぞれの最高点の高度差と同じの点が同じ色であるため、等高線の色を比較することで、等高線の領域で顔の変化状況を把握することができる。

【0134】

本願の実施形態に係る顔三次元モデル可視化方法は、第１顔三次元モデルの第１高度図および第２顔三次元モデルの第２高度図を算出し、第１高度図に基づいて、第１顔三次元モデルの第１二次元等高線を算出し、第２高度図に基づいて、第２顔三次元モデルの第２二次元等高線を算出し、第１二次元等高線を第１三次元等高線に変換し、第２二次元等高線を第２三次元等高線に変換し、第１顔三次元モデルを第１三次元等高線に基づいてレンダリングして第１等高線モデルを取得し、第２顔三次元モデルを第２三次元等高線に基づいてレンダリングして第２等高線モデルを取得するものである。本願実施形態に係る方法によれば、第１等高線モデルおよび第２等高線モデルによって、被験者の顔の変化および移動状況を直観的に把握し、顔変化の可視化を実現することができる。

【0135】

上記実施形態に基づいて、本願実施形態は、さらに顔三次元モデル可視化装置を提供する。図８は、本願実施形態に係る顔三次元モデル可視化装置の構成概略図である。図８に示されるように、この顔三次元モデル可視化装置は、三次元モデル取得モジュール１０と、距離算出モジュール２０と、ヒートマップ可視化モジュール３０と、等高線可視化モジュール４０と、を備えてもよい。前記三次元モデル取得モジュール１０は、被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得するように構成されてもよい。ここで、前記第１顔三次元モデルおよび前記第２顔三次元モデルは、三角パッチフォーマットである。前記距離算出モジュール２０は、前記第１顔三次元モデルおよび前記第２顔三次元モデルにおける座標点の間の距離を算出するように構成されてもよい。前記ヒートマップ可視化モジュール３０は、前記距離に基づいて前記第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するように構成されてもよい。前記等高線可視化モジュール４０は、前記第１顔三次元モデルおよび前記第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するように構成されてもよい。

【0136】

好ましくは、三次元モデル取得モジュール１０は、三次元モデル取得ユニットと、姿勢変換行列算出ユニットと、位置合わせユニットと、を備えてもよい。前記三次元モデル取得ユニットは、被験者の前記２つの異なる時刻における第１初期顔三次元モデルおよび前記第２顔三次元モデルを取得するように構成されてもよい。前記姿勢変換行列算出ユニットは、前記第１初期顔三次元モデルおよび前記第２顔三次元モデルの姿勢変換行列を算出するように構成されてもよい。前記位置合わせユニットは、前記姿勢変換行列に基づいて、前記第１初期顔三次元モデルを前記第２顔三次元モデルに位置合わせ、前記第１顔三次元モデルを取得するように構成されてもよい。

【0137】

好ましくは、姿勢変換行列算出ユニットは、第１球体截取サブユニットと、第２球体截取サブユニットと、姿勢変換行列算出サブユニットと、を備えてもよい。前記第１球体截取サブユニットは、前記第１初期顔三次元モデルの鼻先位置を球の中心として、前記第１初期顔三次元モデルを所定の半径で截取し、前記第１初期顔三次元モデルに対応する第１球体截取モデルを取得するように構成されてもよい。前記第２球体截取サブユニットは、前記第２顔三次元モデルの鼻先位置を球の中心として、前記第２顔三次元モデルを前記所定の半径で截取し、前記第２顔三次元モデルに対応する第２球体截取モデルを取得するように構成されてもよい。前記姿勢変換行列算出サブユニットは、所定の変換行列算出方法と、前記第１球体截取モデルおよび前記第２球体截取モデルとを用い、前記姿勢変換行列を算出して取得するように構成されてもよい。

【0138】

好ましくは、距離算出モジュール２０は、前記第１顔三次元モデルにおける各頂点の座標に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を算出するように構成されてもよい。

【0139】

好ましくは、距離算出モジュール２０は、バウンディングボックス算出ユニットと、オクツリー構築ユニットと、均等分割ユニットと、第１関連付けユニットと、第２関連付けユニットと、距離算出ユニットと、を備えてもよい。前記バウンディングボックス算出ユニットは、前記第１顔三次元モデルおよび前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを算出するように構成されてもよい。前記オクツリー構築ユニットは、前記第１顔三次元モデルおよび前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスに対してオクツリー構造を構築するように構成されてもよい。前記均等分割ユニットは、前記第２顔三次元モデルの最小公倍数立方体バウンディングボックスを前記オクツリー構造の深さによって均等し、所定数量の小立方体を取得するように構成されてもよい。前記第１関連付けユニットは、前記第２顔三次元モデルの三角パッチと前記小立方体とを関連付けるように構成されてもよい。前記第２関連付けユニットは、前記第１顔三次元モデルの頂点の座標と前記小立方体とのインデックス関係に基づいて、前記第１顔三次元モデルの前記頂点と前記小立方体における前記三角パッチとを関連付けるように構成されてもよい。前記距離算出ユニットは、前記頂点の座標と関連する三角パッチとの距離に基づいて、前記第１顔三次元モデルにおける各頂点から前記第２顔三次元モデルに最も近い三角パッチまでの距離を取得するように構成されてもよい。

【0140】

好ましくは、第２関連付けユニットは、コード算出サブユニットと、第２関連付けサブユニットと、を備えてもよい。前記コード算出サブユニットは、前記オクツリー構造に基づいて、前記第１顔三次元モデルの頂点コードを算出するように構成されてもよい。前記第２関連付けサブユニットは、前記頂点コードと前記小立方体とのインデックス関係に基づいて、前記頂点が関連付けられる小正方形における三角パッチは空集合ではない場合、前記頂点を前記小立方体における三角パッチに関連付けることを決定するように構成されてもよい。

【0141】

好ましくは、前記装置は、近傍判定ユニットと、第３関連付けサブユニットと、を備えてもよい。前記近傍判定ユニットは、前記頂点に関連付けられる小立方体における三角パッチは空集合である場合、前記小立方体を中心として、前記小立方体の所定半径近傍領域内の他の小立方体における三角パッチは空集合であるかどうかを判定するように構成されてもよい。前記第３関連付けサブユニットは、前記他の小立方体における三角パッチは空集合ではない場合、前記頂点を前記他の小立方体における三角パッチに関連付けるように構成されてもよい。

【0142】

好ましくは、ヒートマップ可視化モジュール３０は、前記距離とカラーテーブルとの映射関係に基づいて、前記第１顔三次元モデルの任意の領域を演色し、前記ヒートマップモデルを取得するようにさらに構成されてもよい。

【0143】

好ましくは、等高線可視化モジュール４０は、高さマップ算出ユニットと、第１二次元等高線算出ユニットと、第２二次元等高線算出ユニットと、変換ユニットと、第１等高線可視化ユニットと、第２等高線可視化ユニットと、を備えてもよい。前記高さマップ算出ユニットは、前記第１顔三次元モデルの第１高さマップおよび前記第２顔三次元モデルの第２高さマップを算出するように構成されてもよい。前記第１二次元等高線算出ユニットは、前記第１高さマップに基づいて、前記第１顔三次元モデルの前記第１二次元等高線を算出するように構成されてもよい。前記第２二次元等高線算出ユニットは、前記第２高さマップに基づいて、前記第２顔三次元モデルの前記第２二次元等高線を算出するように構成されてもよい。前記変換ユニットは、前記第１二次元等高線を第１三次元等高線に変換し、前記第２二次元等高線を第２三次元等高線に変換するように構成されてもよい。前記第１等高線可視化ユニットは、前記第１顔三次元モデルを前記第１三次元等高線に基づいてレンダリングし、前記第１等高線モデルを取得するように構成されてもよい。前記第２等高線可視化ユニットは、前記第２顔三次元モデルを前記第２三次元等高線に基づいてレンダリングし、前記第２等高線モデルを取得するように構成されてもよい。

【0144】

上記装置は、前記実施形態に係る方法を実行するために使用され、その実現原理および技術的効果は同様のため、ここで説明を省略する。

【0145】

これらのモジュールは、例えば、１つ以上の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、１つ以上のマイクロプロセッサ、または、１つ以上のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）など、上記の方法を実施するように構成された１つ以上の集積回路であってもよい。また、上記モジュールのいずれかが処理要素スケジューリングプログラムコードの形態で実現される場合、この処理要素は、プログラムコードを呼び出すことができるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの汎用プロセッサであってもよい。また、これらのモジュールを統合し、ＳＯＣ（Ｓｙｓｔｅｍ Ｏｎ ａ Ｃｈｉｐ）として実現することも可能である。

【0146】

図９は、本願実施形態に係る電子機器の概略図である。電子装置１００は、プロセッサ１０１と、記録媒体１０２と、バスと、を備えてもよい。

【0147】

記録媒体１０２は、プロセッサ１０１によって実行可能なプログラム指令を記録し、電子機器１００が動作する際、プロセッサ１０１はバスを介して記録媒体１０２と通信し、プロセッサ１０１はプログラム指令を実行することで、上記方法実施形態を実行する。ここで、具体的な実現方式および技術的効果については同様のため、説明を省略する。

【0148】

好ましくは、本願はさらにプログラム製品を提供し、たとえば、コンピュータが読み取り可能な非一時的な記録媒体であって、プログラムを備えてもよく、前記プログラムはプロセッサによって実行される際、上記方法実施形態を実行する。

【0149】

本願で提供されるいくつかの実施形態において、開示される装置および方法は、他の方法で実施され得ることを理解されたい。たとえば、上記装置の実施形態は単なる概略であり、たとえユニットの分割は論理的な機能分割に過ぎない記載され、実際に実現する際には他の方法で分割することもでき、たとえば複数のユニットまたは構成要素を組み合わせてもよく、別のシステムに統合することもでき、または一部の機能を無視し、あるいは実行しないこともできる。また、図示又は記載された相互結合、直接結合、または通信接続は、電気的、機械的、またはその他の形式で何らかのインターフェース、装置またはユニットを介して、間接的な結合、直接的な結合、または通信接続であってもよい。

【0150】

分離構成要素として説明された前記ユニットは、物理的に分離されていてもいなくてもよく、単位として表示された構成要素は、物理的な単位であってもなくてもよく、すなわち、一箇所に配置されていてもよく、複数のネットワークユニットに分散して配置されていてもよい。これらのユニットの一部または全部は、本実施形態案の目的を達成するため、実用上の必要性に応じて選択することができる。

【0151】

あるいは、本願の様々な実施形態における各機能ユニットは、単一の処理ユニットに統合されてもよく、各ユニットが物理的に別々に存在してもよく、２つ以上のユニットが一つユニットに統合されてもよい。上記統合のユニットは、ハードウェアの形で実現されてもよく、ハードウェアにソフトウェアの機能ユニットを加える形で実現されてもよい。

【0152】

ソフトウェア機能ユニットの形態における上記統合のユニットは、コンピュータが読み取り可能な記録媒体に格納されてもよい。上記ソフトウェア機能ユニットは、記録媒体に格納され、コンピュータ装置（ＰＣ、サーバ、またはネットワーク装置などであってもよい）またはプロセッサ（Ｐｒｏｃｅｓｓｏｒ）によって本願の様々な実施形態で説明される方法のいくつかのステップを実行できるようにするいくつかの指令を備える。前記記録媒体としては、ＵＳＢフラッシュドライブ、モバイルハードディスク、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ディスクやＣＤ－ＲＯＭなど、プログラムコードを格納できる媒体が挙げられる。

【0153】

以上、本発明に係る具体的な実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。本発明が開示する技術的範囲内で当業者が容易に想到し得る変形または置換は、本発明の保護範囲に含まれるものである。したがって、本発明の保護範囲は、特許請求の範囲の記載に従うものである。

【産業上の利用可能性】

【0154】

本発明は、顔三次元モデル可視化方法、装置、電子機器、および記録媒体を提供する。前記方法は、被験者の２つの異なる時刻における第１顔三次元モデルおよび第２顔三次元モデルを取得するステップ－ここで、第１顔三次元モデルおよび第２顔三次元モデルは、三角パッチフォーマットである－と、第１顔三次元モデルおよび第２顔三次元モデルにおける座標点の間の距離を算出するステップと、距離に基づいて第１顔三次元モデルをレンダリングし、ヒートマップモデルを取得するステップと、第１顔三次元モデルおよび第２顔三次元モデルに基づいて三次元等高線をそれぞれ算出し、第１等高線モデルおよび第２等高線モデルを取得するステップと、を備える。本発明によれば、顔の変化を直観的に表現することができる。

【0155】

さらに、本発明の顔三次元モデル可視化方法、装置、電子機器、および記録媒体は、再現性があり、様々な産業用途で使用できることが理解されるであろう。たとえば、本発明の顔三次元モデル可視化方法、装置、電子機器、および記録媒体は、三次元モデルの技術分野に利用されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】