(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-07
(54)【発明の名称】顔再構成方法、装置、コンピュータ装置及び記憶媒体
(51)【国際特許分類】
G06T 17/00 20060101AFI20231130BHJP
G06T 1/00 20060101ALI20231130BHJP
G06T 7/50 20170101ALI20231130BHJP
G06T 7/30 20170101ALI20231130BHJP
G06T 7/00 20170101ALI20231130BHJP
【ＦＩ】
G06T17/00
G06T1/00 315
G06T1/00 340A
G06T7/50
G06T7/30
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023531694
(86)(22)【出願日】2021-07-27
(85)【翻訳文提出日】2023-05-24
(86)【国際出願番号】 CN2021108629
(87)【国際公開番号】W WO2022110855
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】202011337942.0
(32)【優先日】2020-11-25
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520291939
【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １１０１－１１１７，１１ｔｈ Ｆｌｏｏｒ Ｎｏ．５８ Ｎｏｒｔｈｗｅｓｔ ４ｔｈ Ｒｉｎｇ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００８０ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】林 純澤
(72)【発明者】
【氏名】陳 祖凱
(72)【発明者】
【氏名】王 権
(72)【発明者】
【氏名】徐 勝偉
(72)【発明者】
【氏名】銭 晨
【テーマコード（参考）】
5B057
5B080
5L096
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA12
5B057CA16
5B057CB01
5B057CB13
5B057CB16
5B057CC01
5B057CE04
5B057DA07
5B057DB03
5B057DB06
5B057DB09
5B057DC32
5B057DC40
5B080AA00
5B080BA00
5B080CA00
5B080FA02
5B080GA00
5L096AA02
5L096AA06
5L096AA09
5L096BA18
5L096CA02
5L096DA01
5L096EA02
5L096FA32
5L096FA69
5L096GA08
5L096GA32
5L096HA11
5L096KA04
(57)【要約】
本開示は、顔再構成方法、装置、コンピュータ装置及び記憶媒体を提供し、ここで、当該方法は、対象画像に含まれる元の顔の高密度点群データを取得するステップと、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて元の顔の高密度点群データをフィッティングし、複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップと、予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップであって、複数組の第２の参照顔は複数の参照画像における第１の参照顔に基づいて生成されるステップと、対象顔モデルの高密度点群データに基づいて、対象画像の元の顔に対応する対象顔モデルを生成するステップと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
対象画像に含まれる元の顔の高密度点群データを取得するステップと、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップと、
予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップであって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成されるステップと、
前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するステップと、を含む、
ことを特徴とする顔再構成方法。
【請求項2】
前記予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップは、複数組の前記第２の参照顔の高密度点群データに基づいて、複数組の前記第２の参照顔の高密度点群データの平均値データを生成するステップと、
複数組の前記第２の参照顔の高密度点群データ、前記平均値データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、前記対象顔モデルの高密度点群データを生成するステップと、を含む、
ことを特徴とする請求項１に記載の顔再構成方法。
【請求項3】
前記複数組の前記第２の参照顔の高密度点群データ、前記平均値データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、前記対象顔モデルの高密度点群データを生成するステップは、複数組の前記第２の参照顔の高密度点群データの各組の前記第２の参照顔の高密度点群データ、及び前記平均値データに基づいて、各組の前記第２の参照顔の高密度点群データの差分データを決定するステップと、
複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、複数組の前記第２の参照顔の高密度点群データのそれぞれに対応する差分データを補間処理するステップと、
前記補間処理の結果及び前記平均値データに基づいて、前記対象顔モデルの高密度点群データを生成するステップと、を含む、
ことを特徴とする請求項２に記載の顔再構成方法。
【請求項4】
前記対象画像に含まれる元の顔の高密度点群データを取得するステップは、前記元の顔を含む前記対象画像を取得するステップと、
予め訓練されたニューラルネットワークを用いて前記対象画像を処理し、前記対象画像における前記元の顔の高密度点群データを得るステップと、を含む、
ことを特徴とする請求項１～３のいずれか１項に記載の顔再構成方法。
【請求項5】
第１の参照顔を含む複数の参照画像を取得することと、複数の前記参照画像のそれぞれについて、予め訓練されたニューラルネットワークを用いて各前記参照画像を処理し、各前記参照画像における前記第１の参照顔の高密度点群データを得ることと、により前記複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを取得する、
ことを特徴とする請求項１～４のいずれか１項に記載の顔再構成方法。
【請求項6】
前記複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップは、前記元の顔の高密度点群データ及び前記第１の参照顔の高密度点群データを最小二乗処理し、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応する中間係数を得るステップと、
各組の前記第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定するステップと、を含む、
ことを特徴とする請求項１～５のいずれか１項に記載の顔再構成方法。
【請求項7】
前記各組の前記第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定するステップは、各組の前記第１の参照顔の高密度点群データから、対象顔モデルの部位に対応する第１のタイプの高密度点群データを決定するステップと、
前記第１の参照顔の高密度点群データにおける前記第１のタイプの高密度点群データに対応する中間係数を調整し、第１のフィッティング係数を得るステップと、
前記第１の参照顔の高密度点群データのうち第２のタイプの高密度点群データに対応する中間係数を、第２のフィッティング係数として決定するステップであって、前記第２のタイプの高密度点群データは前記第１の参照顔の高密度点群データのうち前記第１のタイプの高密度点群データ以外の高密度点群データであるステップと、
前記第１のフィッティング係数及び前記第２のフィッティング係数に基づいて、各組の前記第１の参照顔の高密度点群データのフィッティング係数を得るステップと、を含む、
ことを特徴とする請求項６に記載の顔再構成方法。
【請求項8】
前記参照画像における第１の参照顔の高密度点群データを調整し、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを得ること、又は、前記参照画像における第１の参照顔に基づいて、前記予め設定されたスタイルを有する第２の参照顔を含む仮想顔画像を生成し、予め訓練されたニューラルネットワークを用いて前記仮想顔画像における前記第２の参照顔の高密度点群データを生成することにより、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを取得する、
ことを特徴とする請求項１～７のいずれか１項に記載の顔再構成方法。
【請求項9】
前記ニューラルネットワークを訓練することは、サンプル画像セットを取得することであって、前記サンプル画像セットは第１のサンプル顔を含む複数の第１のサンプル画像を含み、前記複数の第１のサンプル画像は複数の第１のサンプル画像サブセットに分割され、各前記第１のサンプル画像サブセットは複数の予め設定された収集角度からそれぞれ収集された同じ表情を有する第１のサンプル顔の画像を含むことと、
前記サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データを取得することと、
前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第１のサンプル画像に対して特徴学習を行い、前記第１のサンプル画像の第１のサンプル顔の予測された高密度点群データを得ることと、
前記第１のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することと、を含む、
ことを特徴とする請求項４、５、及び８のいずれか１項に記載の顔再構成方法。
【請求項10】
前記サンプル画像セットは第２のサンプル顔及び背景を含む複数の第２のサンプル画像をさらに含み、前記ニューラルネットワークを訓練することは、さらに、各前記第２のサンプル画像の顔キーポイントデータを取得することと、
前記第２のサンプル画像の顔キーポイントデータ及び前記第２のサンプル画像を用いて、前記第２のサンプル画像の第２のサンプル顔の高密度点群データをフィッティングして生成することと、
前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第２のサンプル画像に対して特徴学習を行い、前記第２のサンプル画像の第２のサンプル顔の予測された高密度点群データを得ることと、
前記第２のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することと、を含む、
ことを特徴とする請求項９に記載の顔再構成方法。
【請求項11】
前記サンプル画像セットは第３のサンプル画像をさらに含み、前記第３のサンプル画像は前記第１のサンプル画像に対してデータ拡張処理を行うことにより得られ、前記ニューラルネットワークを訓練することは、さらに、前記第３のサンプル画像の第３のサンプル顔の高密度点群データを取得することと、
前記ニューラルネットワークを用いて前記第３のサンプル画像に対して特徴学習を行い、前記第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得ることと、
前記第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することと、を含む、
ことを特徴とする請求項９又は１０に記載の顔再構成方法。
【請求項12】
前記データ拡張処理は、ランダム消去処理、ガウス雑音処理、モーションブラー処理、及び色チャンネル変更処理の少なくとも１つを含む、ことを特徴とする請求項１１に記載の顔再構成方法。
【請求項13】
対象画像に含まれる元の顔の高密度点群データを取得するための第１の取得モジュールと、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るための第１の処理モジュールと、
予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するための決定モジュールであって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成される決定モジュールと、
前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するための生成モジュールと、を含む、
ことを特徴とする顔再構成装置。
【請求項14】
プロセッサと、前記プロセッサによって実行可能な機械可読命令を記憶しているメモリと、を含み、前記プロセッサは前記メモリに記憶された機械可読命令を実行するために用いられ、前記機械可読命令が前記プロセッサによって実行されると、前記プロセッサは請求項１～１２のいずれか１項に記載の顔再構成方法のステップを実行する、ことを特徴とするコンピュータ装置。
【請求項15】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがコンピュータ装置によって実行されると、前記コンピュータ装置は請求項１～１２のいずれか１項に記載の顔再構成方法のステップを実行する、ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
＜関連出願の相互参照＞
本特許出願は、２０２０年１１月２５日に提出された、出願番号２０２０１１３３７９４２．０、発明の名称「顔再構成方法、装置、コンピュータ装置及び記憶媒体」の中国特許出願の優先権を主張し、当該出願が参照により本明細書に組み込まれる。
本特許出願は、２０２０年１１月２５日に提出された、出願番号２０２０１１３３７９４２．０、発明の名称「顔再構成方法、装置、コンピュータ装置及び記憶媒体」の中国特許出願の優先権を主張し、当該出願が参照により本明細書に組み込まれる。
【0002】
本開示は、画像処理技術の分野に関し、具体的には、顔再構成方法、装置、コンピュータ装置及び記憶媒体に関する。
【背景技術】
【0003】
通常、実際の顔や自分の好みに基づいて仮想顔３次元モデルを確立し、顔の再構成を実現することができ、ゲーム、アニメ、バーチャルソーシャルなどの分野で広く応用されている。例えば、ゲームにおいて、プレイヤは、ゲームプログラムによって提供される顔再構成システムによって、プレイヤによって提供される画像に含まれる実際の顔に基づいて仮想顔３次元モデルを生成し、生成された仮想顔３次元モデルを用いてより没入感のあるゲームへの参加を可能とする。
【0004】
現在、顔再構成方法に基づいて得られた仮想顔３次元モデルと実際の顔との間の類似度は低い。
【発明の概要】
【0005】
本開示の実施例は、少なくとも１つの顔再構成方法、装置、コンピュータ装置及び記憶媒体を提供する。
【0006】
第１の態様において、本開示の実施例は、顔再構成方法を提供し、対象画像に含まれる元の顔の高密度点群データを取得するステップと、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップと、予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップであって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成されるステップと、前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するステップと、を含む。
【0007】
当該実施形態において、フィッティング係数を媒介として用いて、元の顔の高密度点群データと複数の第１の参照顔の高密度点群データとの間の関連関係を確立し、当該関連関係は、第１の参照顔の高密度点群データに基づいて決定された第２の参照顔の高密度点群データと、元の顔に基づいて確立された対象顔モデルの高密度点群データとの間の関連性を特徴付けることができ、それにより生成された対象顔モデルは対象画像における元の顔の特徴（例えば形状特徴など）を有し、元の顔との間の類似度がより高く、また生成された対象顔モデルが予め設定されたスタイルを有するようにすることができる。
【0008】
選択可能な一実施形態において、前記予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップは、複数組の前記第２の参照顔の高密度点群データに基づいて、複数組の前記第２の参照顔の高密度点群データの平均値データを生成するステップと、複数組の前記第２の参照顔の高密度点群データ、前記平均値データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、前記対象顔モデルの高密度点群データを生成するステップと、を含む。
【0009】
選択可能な一実施形態において、前記複数組の前記第２の参照顔の高密度点群データ、前記平均値データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、前記対象顔モデルの高密度点群データを生成するステップは、複数組の前記第２の参照顔の高密度点群データの各組の前記第２の参照顔の高密度点群データ、及び前記平均値データに基づいて、各組の前記第２の参照顔の高密度点群データの差分データを決定するステップと、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、複数組の前記第２の参照顔の高密度点群データのそれぞれに対応する差分データを補間処理するステップと、前記補間処理の結果及び前記平均値データに基づいて、前記対象顔モデルの高密度点群データを生成するステップと、を含む。
【0010】
当該実施形態において、平均値データを用いて複数組の第２の参照顔の高密度点群データの平均的な特徴を正確に特徴付けることができ、各組の第２の参照顔の高密度点群データの差分データを用いて、各組の第２の参照顔の高密度点群データのそれぞれと複数組の第２の参照顔の高密度点群データの平均的な特徴との相違度を正確に特徴付けることができ、それにより、より正確な相違度データを用いて平均値データを調整し、対象顔モデルの高密度点群データをより簡単に決定する。
【0011】
選択可能な一実施形態において、前記対象画像に含まれる元の顔の高密度点群データを取得するステップは、前記元の顔を含む前記対象画像を取得するステップと、予め訓練されたニューラルネットワークを用いて前記対象画像を処理し、前記対象画像における前記元の顔の高密度点群データを得るステップと、を含む。
【0012】
当該実施形態において、元の顔の高密度点群データを用いて対象画像における元の顔の顔特徴をより正確に特徴付けることができる。
【0013】
選択可能な一実施形態において、前記方法は、第１の参照顔を含む複数の参照画像を取得することと、複数の前記参照画像のそれぞれについて、予め訓練されたニューラルネットワークを用いて各前記参照画像を処理し、各前記参照画像における前記第１の参照顔の高密度点群データを得ることと、により前記複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを取得する。
【0014】
当該実施形態において、第１の参照顔の高密度点群データを用いて、参照画像における第１の参照顔のそれぞれに対応する顔特徴をより正確に特徴付けることができる。同時に、第１の参照顔を含む複数の参照画像を用いることで、できるだけ広範囲の顔外形特徴をカバーすることができる。
【0015】
選択可能な一実施形態において、前記複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップは、前記元の顔の高密度点群データ及び前記第１の参照顔の高密度点群データを最小二乗処理し、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応する中間係数を得るステップと、各組の第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定するステップと、を含む。
【0016】
当該実施形態において、フィッティング係数を用いて、複数の第１の参照顔の高密度点群データを用いて元の顔の高密度点群データをフィッティングする時のフィッティング状況を正確に特徴付けることができる。
【0017】
選択可能な一実施形態において、前記各組の第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定するステップは、各組の前記第１の参照顔の高密度点群データから、対象顔モデルの部位に対応する第１のタイプの高密度点群データを決定するステップと、前記第１の参照顔の高密度点群データにおける前記第１のタイプの高密度点群データに対応する中間係数を調整し、第１のフィッティング係数を得るステップと、前記第１の参照顔の高密度点群データのうち第２のタイプの高密度点群データに対応する中間係数を、第２のフィッティング係数として決定するステップであって、前記第２のタイプの高密度点群データは前記第１の参照顔の高密度点群データのうち前記第１のタイプの高密度点群データ以外の高密度点群データであるステップと、前記第１のフィッティング係数及び前記第２のフィッティング係数に基づいて、各組の前記第１の参照顔の高密度点群データのフィッティング係数を得るステップと、を含む。
【0018】
選択可能な一実施形態において、前記方法は、前記参照画像における第１の参照顔の高密度点群データを調整し、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを得ること、又は、前記参照画像における第１の参照顔に基づいて、前記予め設定されたスタイルを有する第２の参照顔を含む仮想顔画像を生成し、予め訓練されたニューラルネットワークを用いて前記仮想顔画像における前記第２の参照顔の高密度点群データを生成することにより、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを取得する。
【0019】
当該実施形態において、一部の顔の部位に対応するフィッティング係数を調整することにより、フィッティング係数及び複数の対応する第１の参照顔の高密度点群データに基づいてフィッティングされた高密度点群データを、対象画像に対応する元の顔の高密度点群データに近似させることができ、つまり得られたフィッティング係数は第１の参照顔の高密度点群が元の顔の高密度点群にフィッティングする時の係数をより正確に特徴付けることができる。
【0020】
選択可能な一実施形態において、前記ニューラルネットワークを訓練することは、サンプル画像セットを取得することであって、前記サンプル画像セットは第１のサンプル顔を含む複数の第１のサンプル画像を含み、前記複数の第１のサンプル画像は複数の第１のサンプル画像サブセットに分割され、各第１のサンプル画像サブセットは複数の予め設定された収集角度からそれぞれ収集された同じ表情を有する第１のサンプル顔の画像を含むことと、前記サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データを取得することと、前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第１のサンプル画像に対して特徴学習を行い、前記第１のサンプル画像の第１のサンプル顔の予測された高密度点群データを得ることと、前記第１のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することと、を含む。
【0021】
選択可能な一実施形態において、前記サンプル画像セットは第２のサンプル顔及び背景を含む複数の第２のサンプル画像をさらに含み、前記ニューラルネットワークを訓練するステップは、さらに、各前記第２のサンプル画像の顔キーポイントデータを取得するステップと、第２のサンプル画像の顔キーポイントデータ及び前記第２のサンプル画像を用いて、前記第２のサンプル画像の第２のサンプル顔の高密度点群データをフィッティングして生成するステップと、前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第２のサンプル画像に対して特徴学習を行い、前記第２のサンプル画像の第２のサンプル顔の予測された高密度点群データを得るステップと、前記第２のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練するステップと、を含む。
【0022】
選択可能な一実施形態において、前記サンプル画像セットは第３のサンプル画像をさらに含み、前記第３のサンプル画像は前記第１のサンプル画像に対してデータ拡張処理を行うことにより得られ、
前記ニューラルネットワークを訓練するステップは、さらに、
前記第３のサンプル画像の第３のサンプル顔の高密度点群データを取得するステップと、
前記ニューラルネットワークを用いて前記第３のサンプル画像に対して特徴学習を行い、前記第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得るステップと、
前記第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練するステップと、を含む。
前記ニューラルネットワークを訓練するステップは、さらに、
前記第３のサンプル画像の第３のサンプル顔の高密度点群データを取得するステップと、
前記ニューラルネットワークを用いて前記第３のサンプル画像に対して特徴学習を行い、前記第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得るステップと、
前記第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練するステップと、を含む。
【0023】
選択可能な一実施形態において、前記データ拡張処理は、ランダム消去処理、ガウス雑音処理、モーションブラー処理、及び色チャンネル変更処理の少なくとも１つを含む。
【0024】
当該実施形態において、第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像の数を調整することによって、異なる利点のニューラルネットワークを得て、実際のニーズに応じてより優れたニューラルネットワークを得ることができ、同時に、第３のサンプル画像はデータ拡張処理によって得られるので、サンプル画像に第３のサンプル画像が含まれている場合、訓練されたニューラルネットワークのデータ処理能力がより高くなる。
【0025】
同時に、第２のサンプル画像に含まれる顔はできるだけ広範囲の顔外形特徴をカバーすることができるので、得られるニューラルネットワークはより良い汎化能力を有することができる。
【0026】
第２の態様において、本開示の実施例は、顔再構成装置をさらに提供し、
対象画像に含まれる元の顔の高密度点群データを取得するための第１の取得モジュールと、
複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るための第１の処理モジュールと、
予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するための決定モジュールであって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成される決定モジュールと、
前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するための生成モジュールと、を含む。
対象画像に含まれる元の顔の高密度点群データを取得するための第１の取得モジュールと、
複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るための第１の処理モジュールと、
予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するための決定モジュールであって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成される決定モジュールと、
前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するための生成モジュールと、を含む。
【0027】
選択可能な一実施形態において、前記決定モジュールは、予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定する場合、複数組の前記第２の参照顔の高密度点群データに基づいて、複数組の前記第２の参照顔の高密度点群データの平均値データを生成することと、複数組の前記第２の参照顔の高密度点群データ、前記平均値データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、前記対象顔モデルの高密度点群データを生成することとに用いられる。
【0028】
選択可能な一実施形態において、前記決定モジュールは、複数組の前記第２の参照顔の高密度点群データ、前記平均値データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、前記対象顔モデルの高密度点群データを生成する場合、複数組の前記第２の参照顔の高密度点群データの各組の前記第２の参照顔の高密度点群データ、及び前記平均値データに基づいて、各組の前記第２の参照顔の高密度点群データの差分データを決定することと、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、複数組の前記第２の参照顔の高密度点群データのそれぞれに対応する差分データを補間処理することと、前記補間処理の結果及び前記平均値データに基づいて、前記対象顔モデルの高密度点群データを生成することとに用いられる。
【0029】
選択可能な一実施形態において、前記第１の取得モジュールは、対象画像に含まれる元の顔の高密度点群データを取得する場合、前記元の顔を含む前記対象画像を取得することと、予め訓練されたニューラルネットワークを用いて前記対象画像を処理し、前記対象画像における前記元の顔の高密度点群データを得ることとに用いられる。
【0030】
選択可能な一実施形態において、前記装置は、第１の参照顔を含む複数の参照画像を取得することと、複数の前記参照画像のそれぞれについて、予め訓練されたニューラルネットワークを用いて各前記参照画像を処理し、各前記参照画像における前記第１の参照顔の高密度点群データを得ることと、により前記複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを取得するための第２の処理モジュールをさらに含む。
【0031】
選択可能な一実施形態において、前記第１の処理モジュールは、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得る場合、前記元の顔の高密度点群データ及び前記第１の参照顔の高密度点群データを最小二乗処理し、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応する中間係数を得ることと、各組の第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定することとに用いられる。
【0032】
選択可能な一実施形態において、前記第１の処理モジュールは、各組の第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定する場合、各組の前記第１の参照顔の高密度点群データから、対象顔モデルの部位に対応する第１のタイプの高密度点群データを決定することと、前記第１の参照顔の高密度点群データにおける前記第１のタイプの高密度点群データに対応する中間係数を調整し、第１のフィッティング係数を得ることと、前記第１の参照顔の高密度点群データのうち第２のタイプの高密度点群データに対応する中間係数を、第２のフィッティング係数として決定することであって、前記第２のタイプの高密度点群データは前記第１の参照顔の高密度点群データのうち前記第１のタイプの高密度点群データ以外の高密度点群データであることと、前記第１のフィッティング係数及び前記第２のフィッティング係数に基づいて、各組の前記第１の参照顔の高密度点群データのフィッティング係数を得ることとに用いられる。
【0033】
選択可能な一実施形態において、前記装置は、前記参照画像における第１の参照顔の高密度点群データを調整し、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを得ること、又は、前記参照画像における第１の参照顔に基づいて、前記予め設定されたスタイルを有する第２の参照顔を含む仮想顔画像を生成し、予め訓練されたニューラルネットワークを用いて前記仮想顔画像における前記第２の参照顔の高密度点群データを生成することにより、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを取得するための調整モジュールをさらに含む。
【0034】
選択可能な一実施形態において、前記装置は、前記ニューラルネットワークを訓練する場合、サンプル画像セットを取得することであって、前記サンプル画像セットは第１のサンプル顔を含む複数の第１のサンプル画像を含み、前記複数の第１のサンプル画像は複数の第１のサンプル画像サブセットに分割され、各第１のサンプル画像サブセットは複数の予め設定された収集角度からそれぞれ収集された同じ表情を有する第１のサンプル顔の画像を含むことと、前記サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データを取得することと、前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第１のサンプル画像に対して特徴学習を行い、前記第１のサンプル画像の第１のサンプル顔の予測された高密度点群データを得ることと、前記第１のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することとに用いられる訓練モジュールをさらに含む。
【0035】
選択可能な一実施形態において、前記サンプル画像セットは第２のサンプル顔及び背景を含む複数の第２のサンプル画像をさらに含み、前記訓練モジュールは、さらに、各前記第２のサンプル画像の顔キーポイントデータを取得することと、第２のサンプル画像の顔キーポイントデータ及び前記第２のサンプル画像を用いて、前記第２のサンプル画像の第２のサンプル顔の高密度点群データをフィッティングして生成することと、前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第２のサンプル画像に対して特徴学習を行い、前記第２のサンプル画像の第２のサンプル顔の予測された高密度点群データを得ることと、前記第２のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することとに用いられる。
【0036】
選択可能な一実施形態において、前記サンプル画像セットは第３のサンプル画像をさらに含み、前記第３のサンプル画像は前記第１のサンプル画像に対してデータ拡張処理を行うことにより得られ、
前記訓練モジュールは、さらに、前記第３のサンプル画像の第３のサンプル顔の高密度点群データを取得することと、前記ニューラルネットワークを用いて前記第３のサンプル画像に対して特徴学習を行い、前記第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得ることと、
前記第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することとに用いられる。
前記訓練モジュールは、さらに、前記第３のサンプル画像の第３のサンプル顔の高密度点群データを取得することと、前記ニューラルネットワークを用いて前記第３のサンプル画像に対して特徴学習を行い、前記第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得ることと、
前記第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することとに用いられる。
【0037】
選択可能な一実施形態において、前記データ拡張処理は、ランダム消去処理、ガウス雑音処理、モーションブラー処理、及び色チャンネル変更処理の少なくとも１つを含む。
【0038】
第３の態様において、本開示の選択可能な実現形態は、コンピュータ装置をさらに提供し、プロセッサと、メモリと、を含み、前記プロセッサは前記メモリに記憶された機械可読命令を実行するために用いられ、前記機械可読命令が前記プロセッサによって実行されると、上記第１の態様、又は第１の態様におけるいずれかの可能な実施形態におけるステップを実行する。
【0039】
第４の態様において、本開示の選択可能な実現形態は、コンピュータ可読記憶媒体をさらに提供し、記憶しているコンピュータプログラムが実行されると、上記第１の態様、又は第１の態様におけるいずれかの可能な実施形態におけるステップを実行する。
【0040】
上記顔再構成装置、コンピュータ装置、及びコンピュータ可読記憶媒体の効果説明について上記顔再構成方法の説明を参照し、ここではその説明が省略される。
【0041】
本開示の上記目的、特徴及び利点をより明確に分かりやすくするために、以下、添付図面と組み合わせて、好ましい実施例で詳細に説明する。
【図面の簡単な説明】
【0042】
本開示の実施例の技術的解決手段をより明瞭に説明するために、以下、実施例において使用が必要な図面を簡単に紹介する。これらの図面は、本開示に合致する実施例を示し、明細書とともに本開示の技術的解決手段を説明するために用いられる。理解すべきものとして、以下の図面は、本開示のいくつかの実施例のみを示し、したがって、範囲を限定するものと見なされるべきではなく、当業者にとって、創造的な労力を行わずに、さらにこれらの図面に基づいて他の関連する図面を得ることができる。
【図1】本開示の実施例にて提供される顔再構成方法を示すフローチャートである。
【図2】本開示の実施例にて提供されるニューラルネットワークを訓練する具体的な方法を示すフローチャートである。
【図3】本開示の実施例にて提供される第１のサンプル画像、及び第１のサンプル画像を用いて決定された第３のサンプル画像を示す概略図である。
【図4】本開示の実施例にて提供される第２のサンプル画像の第２のサンプル顔の高密度点群データを取得する具体的な方法を示すフローチャートである。
【図5】本開示の実施例にて提供されるニューラルネットワーク構造の具体例を示す図である。
【図6】複数の参照画像のそれぞれに対応するフィッティング係数を決定する方法を示すフローチャートである。
【図7】本開示の実施例にて提供される各組の第１の参照顔の高密度点群データに対応するフィッティング係数を決定する具体的な方法を示すフローチャートである。
【図8】本開示の実施例にて提供される対象顔モデルの高密度点群データを決定する具体的な方法を示すフローチャートである。
【図9】本開示の実施例にて提供される対象顔モデルの高密度点群データを生成する具体的な方法を示すフローチャートである。
【図10】本開示の実施例にて提供される顔再構成装置を示す概略図である。
【図11】本開示の実施例にて提供されるコンピュータ装置を示す概略図である。
【発明を実施するための形態】
【0043】
本開示の実施例の目的、技術的解決手段及び利点をより明瞭にするために、以下、本開示の実施例における図面を組み合わせて、本開示の実施例における技術的解決手段を明瞭、完全に記述し、明らかに、記述された実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではない。通常、この図面において記述して示される本開示の実施例のコンポーネントは、様々な異なる構成で配置され、設計されてもよい。したがって、以下、本開示の実施例の詳細な記述は、保護が要求される本開示の範囲を限定することを意図せず、本開示の選定された実施例のみを示す。本開示の実施例に基づき、当業者であれば、創造的な労力を行わずに得られた全ての他の実施例は、いずれも本開示の保護範囲に属する。
【0044】
研究の結果、顔画像に含まれる顔に基づいて顔再構成を行って仮想顔３次元モデルを得る場合、通常、まず顔画像に基づいて顔に対応する顔高密度点群を取得し、さらに仮想顔３次元モデルの具体的なスタイルに基づいて顔高密度点群を複数回調整することで、仮想画像を生成する。異なる顔に対応する顔高密度点群が異なるため、再構成しようとする仮想顔のスタイルが同じであっても、決定されたスタイルに応じて異なる顔に対応する顔高密度点群に対して顔再構成を行う時に行われる調整も異なり、且つ調整には大きな不確定性があり、調整の過程において調整の具体的な方向を制御することが困難となり、生成された仮想顔３次元モデルと実際の顔との間に大きな差異が存在する可能性があり、仮想顔３次元モデルと実際の顔との間の類似度が低いという問題が生じる。
【0045】
また、異なる顔を再構成する時、異なる顔に対応する顔高密度点群、及びスタイルの顔高密度点群に対する要求に応じて、異なる顔に対する調整案を設定する必要があるため、異なる調整案に基づいて各顔の顔高密度点群を調整する場合、いずれも多くの時間を消費し、顔再構成の効率が低くなる。
【0046】
上記研究に基づき、本開示は、顔再構成方法、装置、コンピュータ装置及び記憶媒体を提供し、フィッティング係数を媒介として用いて、元の顔の高密度点群データと複数の第１の参照顔の高密度点群データとの間の関連関係を確立し、当該関連関係は、第１の参照顔の高密度点群データに基づいて決定された第２の参照顔の高密度点群データと、元の顔に基づいて確立された対象顔モデルの高密度点群データとの間の関連性を特徴付けることができ、それにより生成された対象顔モデルは対象画像における元の顔の特徴（例えば形状特徴など）を有し、元の顔との間の類似度がより高く、また生成された対象顔モデルが予め設定されたスタイルを有するようにすることができる。
【0047】
さらに、本解決手段は、異なるスタイルに対して、複数の参照画像のそれぞれに対応する第２の参照顔の高密度点群データを生成し、且つ予め設定されたスタイルを有する第２の参照顔の高密度点群データを用いて、元の顔に対する対象顔モデルを生成するだけでよく、異なる元の顔に対するターゲット調整案を決定することなく、同じ第２の参照顔の高密度点群データ、及び異なる元の顔のフィッティング係数を用いて、異なる元の顔の対象顔モデルを決定し、より高い処理効率を有する。
【0048】
以上の解決手段に存在する欠陥は、いずれも発明者が実践を経て詳細に検討した結果であり、したがって、上記問題の発見過程及び以下の本開示が上記問題に対して提案する解決手段は、いずれも発明者が本開示の過程において本開示に対して行った貢献であるべきである。
【0049】
なお、以下の図面において、類似の符号及び文字は、類似の項目を示し、したがって、ある項目は、１つの図面において定義されると、以降の図面においてさらに定義され、解釈される必要がない。
【0050】
本実施例の理解を容易にするために、まず、本開示の実施例により開示される顔再構成方法を詳細に紹介し、本開示の実施例にて提供される顔再構成方法の実行主体は、一般に、一定のコンピューティング能力を有するコンピュータ装置であり、当該コンピュータ装置は、例えば、端末機器又はサーバ又は他の処理機器を含み、端末機器は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実現形態において、当該顔再構成方法は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出すことにより実現されることができる。
【0051】
以下、本開示の実施例にて提供される顔再構成方法について説明する。
【0052】
図１に示すように、本開示の実施例は、顔再構成方法を提供し、前記方法は、ステップＳ１０１～Ｓ１０４を含み、ここで、
Ｓ１０１において、対象画像に含まれる元の顔の高密度点群データを取得し、
Ｓ１０２において、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて元の顔の高密度点群データをフィッティングし、複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得、
Ｓ１０３において、予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定し、複数組の第２の参照顔はそれぞれ複数の参照画像における第１の参照顔に基づいて生成され、
Ｓ１０４において、対象顔モデルの高密度点群データに基づいて、対象画像の元の顔に対応する対象顔モデルを生成する。
Ｓ１０１において、対象画像に含まれる元の顔の高密度点群データを取得し、
Ｓ１０２において、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて元の顔の高密度点群データをフィッティングし、複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得、
Ｓ１０３において、予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定し、複数組の第２の参照顔はそれぞれ複数の参照画像における第１の参照顔に基づいて生成され、
Ｓ１０４において、対象顔モデルの高密度点群データに基づいて、対象画像の元の顔に対応する対象顔モデルを生成する。
【0053】
本開示の実施例は、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて対象画像における元の顔の高密度点群データをフィッティングすることによって決定されたフィッティング係数、及び参照画像における第１の参照顔に基づいて生成された予め設定されたスタイルを有する第２の参照顔の高密度点群データに基づいて、対象顔モデルの高密度点群データを得、且つ対象顔モデルの高密度点群データに基づいて、対象画像に対応する対象顔モデルを生成する。当該過程はフィッティング係数を媒介として用いて、元の顔の高密度点群データと複数の第１の参照顔の高密度点群データとの間の関連関係を確立し、当該関連関係は、第１の参照顔の高密度点群データに基づいて決定された第２の参照顔の高密度点群データと、元の顔の高密度点群データに基づいて確立された対象顔モデルの高密度点群データとの間の関連性を特徴付けることができ、それにより生成された対象顔モデルの高密度点群データは対象画像における元の顔の特徴（例えば形状特徴など）を有し、元の顔との間の類似度がより高く、また生成された対象顔モデルが予め設定されたスタイルを有するようにすることができる。
【0054】
以下、上記ステップＳ１０１～Ｓ１０４について詳細に説明する。
【0055】
上記ステップＳ１０１について、詳細に説明する。
【0056】
対象画像は、例えば、予め取得された顔を含む画像であり、例えば、ある被写体をカメラなどの撮影装置で撮影した際に取得された顔を含む画像である。この時、例えば、画像に含まれるいずれかの顔を元の顔として決定し、且つ元の顔を顔再構成の対象としてもよい。
【0057】
本開示の実施例にて提供される顔再構成方法を異なるシナリオに適用する場合、対象画像の取得方法も異なる。
【0058】
例えば、当該顔再構成方法をゲームに適用する場合、ゲーム装置にインストールされている画像取得装置によってゲームプレイヤの顔が含まれる画像を取得してもよいし、ゲーム装置内のアルバムからゲームプレイヤの顔が含まれる画像を選択し、且つ取得されたゲームプレイヤの顔が含まれる画像を対象画像としてもよい。
【0059】
また例えば、顔再構成方法を携帯電話などの端末機器に適用する場合、端末機器のカメラでユーザの顔を含む画像を収集したり、端末機器のアルバムからユーザの顔を含む画像を選択したり、端末機器にインストールされている他のアプリケーションからユーザの顔を含む画像を受信したりしてもよい。
【0060】
また例えば、顔再構成方法をライブシナリオに適用する場合、ライブ装置によって取得されたビデオストリームに含まれる複数フレームのビデオフレーム画像から顔を含むビデオフレーム画像を取得し、且つ顔を含むビデオフレーム画像を対象画像としてもよい。ここで、対象画像は、例えば、複数フレームであってもよく、複数フレームの対象画像は、例えば、ビデオストリームにおける複数フレームのビデオフレーム画像をサンプリングして得られてもよい。
【0061】
対象画像に含まれる元の顔の高密度点群データを取得する時、例えば、元の顔を含む対象画像を取得し、予め訓練されたニューラルネットワークを用いて対象画像を処理し、対象画像における元の顔の高密度点群データを得る、という方式を採用することができる。
【0062】
ここで、予め訓練されたニューラルネットワークを用いて対象画像を処理し、元の顔の高密度点群データを得る時、予め訓練されたニューラルネットワークは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）、逆伝播ニューラルネットワーク（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）、バックボーンニューラルネットワーク（Ｂａｃｋｂｏｎｅ）の少なくとも１つを含む。
【0063】
ニューラルネットワーク構造を決定する時、例えばまずニューラルネットワークのバックボーンネットワーク（Ｂａｃｋｂｏｎｅ ｎｅｔｗｏｒｋ）を、ニューラルネットワークの主体アーキテクチャとして決定することができ、例示的に、バックボーンネットワークは、開始ネットワーク（Ｉｎｃｅｐｔｉｏｎ）、残差ネットワーク変形ネットワーク（ｔｈｅ ｎｅｘｔ ｄｉｍｅｎｓｉｏｎ ｔｏ ＲＥＳＮＥＴ、ＲｅｓＮｅＸｔ）、開始ネットワーク変形ネットワーク（Ｘｃｅｐｔｉｏｎ）、スクイーズ及び励起ネットワーク（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ、ＳＥＮｅｔ）、軽量化ネットワーク（ＭｏｂｉｌｅＮｅｔ）、及び軽量ネットワーク（ＳｈｕｆｆｌｅＮｅｔ）の少なくとも１つを含んでもよい。
【0064】
例示的に、ニューラルネットワークが畳み込みニューラルネットワークを含む場合、軽量化ネットワークを畳み込みニューラルネットワーク基礎モデルとして選択し、軽量化ネットワークに加えて、他のネットワーク構造を追加し、畳み込みニューラルネットワークを構成し、且つ構成された畳み込みニューラルネットワークを訓練することもできる。当該過程は軽量化ネットワークを畳み込みニューラルネットワークの一部として採用し、且つ軽量化ネットワークは体積が小さく、データ処理速度が速いため、訓練の速度もより速く、また、訓練されたニューラルネットワークは体積が小さく、データ処理速度が速いという利点もあり、組み込み機器への配置により適する。
【0065】
ここで、上記ニューラルネットワークのネットワーク構造は一例に過ぎず、ネットワーク構造の具体的な構築方式及び構造は、実際の状況に応じて決定されてもよく、ここではその説明が省略され、上記例も本開示の実施例を限定するものではない。
【0066】
図２に示すように、本開示の実施例は、ニューラルネットワークを訓練する具体的な方法を提供し、以下を含む。
【0067】
Ｓ２０１において、サンプル画像セットを取得し、サンプル画像セットは第１のサンプル顔を含む複数の第１のサンプル画像を含み、複数の第１のサンプル画像は複数の第１のサンプル画像サブセットに分割され、各第１のサンプル画像サブセットは複数の予め設定された収集角度からそれぞれ収集された同じ表情を有する第１のサンプル顔の画像を含む。
【0068】
ここで、サンプル画像セットに含まれる第１のサンプル顔の複数の第１のサンプル画像に対して、対応する第１のサンプル顔は例えば予め決定された顔画像を取得してニューラルネットワークを訓練するための少なくとも１つの個体オブジェクトの顔である。
【0069】
第１のサンプル画像サブセットを決定するために第１のサンプル顔を撮影する時、例えば複数の異なる表情に対して複数の第１のサンプル画像サブセットを決定してもよい。ここで、複数の異なる表情は、例えば、喜び、興奮、落ち込み、苦しみなどである。第１のサンプル顔を撮影して第１のサンプル画像サブセットを取得する場合、「喜び」表情に対する第１のサンプル顔を撮影することを例に、「喜び」表情を呈する第１のサンプル顔を異なる角度から撮影することで、「喜び」表情で対応する複数の第１のサンプル画像を第１のサンプル画像サブセットとして取得することができる。ここで、第１のサンプル画像を取得する時、異なる第１のサンプル画像における第１のサンプル顔の背景が同じであってもよい。
【0070】
同様に、類似の方法を用いて、異なる表情で第１のサンプル顔のそれぞれに対応する第１のサンプル画像サブセットを取得することができ、ここではその説明が省略される。
【0071】
複数の異なる表情のそれぞれに対応する第１のサンプル画像サブセットを決定すると、第１のサンプル顔の複数の第１のサンプル画像を決定することができる。
【0072】
例示的に、第１のサンプル画像を取得する時、画像収集装置を用いて撮影して画像を取得することができ、ここで、画像収集装置は例えば深度カメラ及びカラーカメラの少なくとも１つを含む。
【0073】
例えば、Ｉ個の個体オブジェクトの顔をＥ個の表情で撮影して、複数の第１のサンプル画像を得ることができる。例えば、まずある個体オブジェクトＡの顔を第１のサンプル顔として決定してもよい。第１のサンプル顔が「苦しみ」表情を呈する場合、Ｐ（Ｐは１よりも大きい整数）個の異なる角度から第１のサンプル顔を撮影し、「苦しみ」表情でのＰ個の異なる角度に対応する複数の画像を、「苦しみ」表情に対応する第１のサンプル画像サブセットとして得る。そして第１のサンプル顔が他の表情（例えばＥ－１個の異なる表情を含む）を呈する場合にＰ個の角度に対応するＰ枚の画像を、他の表情に対応する第１のサンプル画像サブセットとして取得する。相応して、個体オブジェクトＡのＥ個の異なる表情についてＥ個の異なる第１のサンプル画像サブセットを決定することができ、相応して、個体オブジェクトＡのＰ×Ｅ枚の画像を取得することができる。そして、残りのＩ－１個の個体オブジェクトを撮影し、残りのＩ－１個の個体オブジェクトのそれぞれに対応するＰ×Ｅ枚の画像、つまり合計Ｍ（Ｍ＝Ｉ×Ｅ×Ｐ）枚の画像を、複数の第１のサンプル画像として取得することができる。
【0074】
取得された複数の第１のサンプル画像は異なる表情の複数の撮影個体オブジェクトに対応する顔を呈するが、背景などの他の部分が少ないので、第１のサンプル画像を用いて画像における複数の角度での顔に対応する高密度点群データに対するニューラルネットワークの取得能力を訓練することができる。
【0075】
本開示の別の実施例において、サンプル画像セットは第２のサンプル画像をさらに含み、第２のサンプル画像は、異なる個体オブジェクトに対してランダムに撮影して得られてもよいし、予め設定されたネットワークプラットフォームから顔を含む複数の画像をランダムにクローリングし、且つクローリングした画像を第２のサンプル顔画像としてもよい。
【0076】
例示的に、異なる個体オブジェクトに対してランダムに撮影して第２のサンプル画像を得る場合、カメラ又は他の画像撮影装置を用いて複数の第２のサンプル顔を撮影して第２のサンプル画像を取得することができ、又は、予め撮影された複数の第２のサンプル画像を直接取得することができる。第２のサンプル画像は例えば取得された背景を含むＨ枚の顔画像を含み、ここで、第２のサンプル画像に含まれる背景など、顔の認識に干渉する部分は、対象画像における顔を認識して高密度点群データを取得する場合、顔以外の他の部分に対するニューラルネットワークの干渉耐性を訓練するために用いられる。
【0077】
本開示の別の実施例において、サンプル画像セットは第３のサンプル画像をさらに含み、第３のサンプル画像は例えば第１のサンプル画像に対してデータ拡張処理を行うことにより得られることができる。ここで、データ拡張処理は、ランダム消去（Ｒａｎｄｏｍ Ｅｒａｓｉｎｇ）処理、ガウス雑音（Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ）処理、ブラー（Ｂｌｕｒ）処理、及び色チャンネル変更（Ｃｃｏｌｏｒ Ｃｈａｎｎｅｌ Ｃｈａｎｇｅ）処理の少なくとも１つを含む。データ拡張処理の方法を用いることにより、データの特徴を集約し、ニューラルネットワークによる関連性のない特徴の学習を減少させ、それにより高密度点群データを取得する時のニューラルネットワークの性能を向上させることができる。
【0078】
例示的に、ランダム消去処理を選択する場合、第１のサンプル画像における一部の領域に対して消去処理を行って第３のサンプル画像を得ることができ、ここで、消去部分の大きさは第１のサンプル画像の大きさ及び実際の必要に応じて決定することができ、ここでは限定されず、ガウス雑音処理を選択する場合、例えば揺らぎノイズ、宇宙ノイズ、熱雑音、及びショットノイズを含む少なくとも１つを選択して第１のサンプル画像に加え、得られた第３のサンプル画像に少なくとも１つのガウス雑音が含まれるようにすることができ、ブラー処理を選択する場合、例えば画像における少なくとも一部の画素点をモーションブラー処理して、モーションブラー効果を有する第３のサンプル画像を得ることができ、色チャンネル変更処理を選択する場合、例えば大域的色チャンネル変更処理、又はランダム色チャンネル変更処理を用いて第１のサンプル画像を処理し、大域的又は部分的色チャンネル変更の第３のサンプル画像を得ることができる。
【0079】
図３は、本開示の実施例にて提供される第１のサンプル画像、及び第１のサンプル画像を用いて決定された第３のサンプル画像の概略図であり、図３に示すように、３１は第１のサンプル画像を表し、３２は第１のサンプル画像３１に対してブラー処理のデータ拡張処理を行って得られた第３のサンプル画像を表し、３３は第１のサンプル画像３１に対して部分消去のデータ拡張処理を行って得られた第３のサンプル画像を表し、ここで、３４は部分消去の位置を表す。
【0080】
この場合、第３のサンプル画像に対応するサンプル顔の高密度点群データは、第３のサンプル画像を生成する第１のサンプル画像に対応するサンプル顔の高密度点群データと同じである。
【0081】
上記Ｓ２０１に続いて、ニューラルネットワークを訓練する具体的な方法は、
サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データを取得するＳ２０２をさらに含む。
サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データを取得するＳ２０２をさらに含む。
【0082】
具体的には、サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データ及び第２のサンプル画像の第２のサンプル顔の高密度点群データを取得する時、例えば、サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データ、第２のサンプル画像の第２のサンプル顔の高密度点群データ、及び第３のサンプル画像の第３のサンプル顔の高密度点群データを取得する、という方法を採用することができる。
【0083】
例示的に、サンプル画像セットにおける第１のサンプル画像について、第１のサンプル顔を撮影して対応する第１のサンプル画像を取得した後、各第１のサンプル画像における第１のサンプル顔の高密度点群データを取得することができる。カラーカメラを用いて第１のサンプル画像を取得する場合、例えば顔３Ｄ変形統計モデル（３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ、３ＤＭＭ）などのモデルを用いて第１のサンプル顔の高密度点群データを得ることができ、深度カメラを用いて第１のサンプル画像を取得する場合、例えば深度カメラによって取得された深度画像に基づいて、第１のサンプル顔の高密度点群データを得ることができる。
【0084】
サンプル画像セットにおける第２のサンプル画像について、図４に示すように、本開示の実施例は、第２のサンプル画像の第２のサンプル顔の高密度点群データを取得する具体的な方法を提供し、
各第２のサンプル画像の顔キーポイントデータを取得するＳ４０１と、
第２のサンプル画像の顔キーポイントデータ及び第２のサンプル画像を用いて、第２のサンプル画像の第２のサンプル顔の高密度点群データをフィッティングして生成するＳ４０２と、
ニューラルネットワークを用いて、サンプル画像セットにおける第２のサンプル画像に対して特徴学習を行い、第２のサンプル画像の第２のサンプル顔の予測された高密度点群データを得るＳ４０３と、
第２のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、ニューラルネットワークを訓練するＳ４０４と、を含む。
各第２のサンプル画像の顔キーポイントデータを取得するＳ４０１と、
第２のサンプル画像の顔キーポイントデータ及び第２のサンプル画像を用いて、第２のサンプル画像の第２のサンプル顔の高密度点群データをフィッティングして生成するＳ４０２と、
ニューラルネットワークを用いて、サンプル画像セットにおける第２のサンプル画像に対して特徴学習を行い、第２のサンプル画像の第２のサンプル顔の予測された高密度点群データを得るＳ４０３と、
第２のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、ニューラルネットワークを訓練するＳ４０４と、を含む。
【0085】
ここで、第２のサンプル画像は例えば取得された背景を含むＨ枚の顔画像を含み、且つ各第２のサンプル画像はいずれも決定された顔キーポイントを含む。ここで、第２のサンプル画像に含まれる顔キーポイントは第２のサンプル画像に対応するサンプル顔の高密度点群データを決定するために用いられ、例えば第２のサンプル画像に直接ラベル付けされる顔特徴を特徴付けるためのキーポイント、例えば眉、目、耳、鼻、口、頬骨、眉骨を特徴付ける複数のキーポイント、又は、キーポイント検出方法を用いて決定された顔に対応するキーポイントを含む。ここで、キーポイント検出方法は、アクティブ形状モデル（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ、ＡＳＭ）、アクティブ外観モデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ、ＡＡＭ）、カスケードポーズ回帰（Ｃａｓｃａｄｅｄ Ｐｏｓｅ Ｒｅｇｒｅｓｓｉｏｎ、ＣＰＲ）の少なくとも１つを含む。
【0086】
第２のサンプル画像の顔キーポイントデータが得られる場合、フィッティングモデルを用いて第２のサンプル画像の第２のサンプル顔の高密度点群データを生成することができる。ここで、フィッティングモデルは例えば顔３Ｄ変形統計モデルを含む。
【0087】
上記Ｓ２０２に続いて、ニューラルネットワークを訓練する方法は、
ニューラルネットワークを用いて、サンプル画像セットにおける第１のサンプル画像に対して特徴学習を行い、第１のサンプル画像の第１のサンプル顔の予測された高密度点群データを得るＳ２０３をさらに含む。
ニューラルネットワークを用いて、サンプル画像セットにおける第１のサンプル画像に対して特徴学習を行い、第１のサンプル画像の第１のサンプル顔の予測された高密度点群データを得るＳ２０３をさらに含む。
【0088】
具体的には、第１のサンプル画像の第１のサンプル顔の予測された高密度点群データ及び第２のサンプル画像の第２のサンプル顔の予測された高密度点群データを決定する時、例えば、初期ニューラルネットワークを用いて、サンプル画像セットにおける第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像に対して特徴学習を行い、第１のサンプル画像の第１のサンプル顔の予測された高密度点群データ、第２のサンプル画像の第２のサンプル顔の予測された高密度点群データ、及び第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得る、という方法を採用することができる。
【0089】
この時、なお、第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像の少なくとも１つのサンプル画像を取得するステップは、初期ニューラルネットワークを用いて第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像の少なくとも１つに対して特徴学習を行うステップと同期実行されてもよく、つまり初期ニューラルネットワークを用いて第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像の少なくとも１つに対して特徴学習を行った後にそれぞれ対応する予測された高密度点群データを直接得ることができる。
【0090】
また、初期ニューラルネットワークを用いて第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像の少なくとも１つに対して特徴学習を行う時、同期して第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像の少なくとも１つに対して特徴学習を行うことができ、又は、実際のニーズに応じて第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像の少なくとも１つに対して順次特徴学習を行って、第１のサンプル画像の第１のサンプル顔の予測された高密度点群データ、第２のサンプル画像の第２のサンプル顔の予測された高密度点群データ、及び第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得る。
【0091】
本開示の実施例は、上述したサンプル処理過程の前後実行順序を限定するものではなく、具体的には実際のニーズに応じて設定することができる。
【0092】
例示的に、サンプル画像セットが第１のサンプル画像及び第２のサンプル画像を含む場合、予め設定された割合で異なる数の第１のサンプル画像及び第２のサンプル画像を選択し、且つ選択された第１のサンプル画像及び第２のサンプル画像を初期ニューラルネットワークに入力することができる。サンプル画像セットが第１のサンプル画像、第２のサンプル画像及び第３のサンプル画像を含む場合、予め設定された割合で異なる数の第１のサンプル画像、第２のサンプル画像、及び第３のサンプル画像を選択し、且つ選択された第１のサンプル画像、第２のサンプル画像及び第３のサンプル画像を初期ニューラルネットワークに入力することができる。割合の選択が異なると、ニューラルネットワーク訓練への重点も異なる。第１のサンプル画像及び／又は第３のサンプル画像の割合が大きい時、訓練されたニューラルネットワークは、画像における異なる角度の顔に対応する顔高密度点群を取得する能力が強くなる。第２のサンプル画像の割合が大きい時、訓練されたニューラルネットワークは、画像における顔以外の背景部分からの干渉に対して耐性が強くなる。このように、異なる使用要求を満たすことができる。
【0093】
サンプル画像を初期ニューラルネットワークに入力した後、初期ニューラルネットワークはサンプル画像に対して特徴学習を行い、且つ各サンプル画像の予測された顔の高密度点群データを出力することができる。予測された顔の高密度点群データ、及び各サンプル画像に対応するサンプル顔の高密度点群データを用いて、ニューラルネットワークの損失を決定し、当該損失は、ニューラルネットワークが顔の高密度点群データを生成する時の精度を測定するために用いられる。
【0094】
ニューラルネットワークを用いて得られた予測された顔の高密度点群データは例えば予め設定された座標系における顔高密度点群の位置を特徴付ける座標値を含むか、又は、予め設定された座標系における顔高密度点群の位置を特徴付けるｘ軸、ｙ軸、ｚ軸のそれぞれに対応する座標値を含むことができる。ここで、予め設定された座標系は例えば予め設定された顔座標系である。
【0095】
例示的に、いずれかの予測された顔の高密度点群データは、顔高密度点群の位置を特徴付ける座標値を含む場合、この予測された顔の高密度点群データは、座標値（ｘ，ｙ，ｚ）を含むか、又は、ｘ軸上の座標値ｘ、ｙ軸上の座標値ｙ、及びｚ軸上の座標値ｚを含むことができ、且つ異なる予測された顔の高密度点群データに含まれるｘ軸、ｙ軸、及びｚ軸上の座標値は出力された予測された顔の高密度点群データにおいて予め設定された配列順序を有する。
【0096】
図５に示すように、本開示の実施例は、ニューラルネットワーク構造の具体例の図をさらに提供し、ここで、ニューラルネットワーク構造は、バックボーンネットワーク５１、第１の全接合層５２、及び３組の第２の全接合層５３を含む。
【0097】
このニューラルネットワークを用いてサンプル画像を処理し、サンプルにおける顔の予測された顔の高密度点群データを決定する時、例えばサンプル画像をバックボーンネットワークに入力し、サンプル画像の特徴データを得、特徴データは第１の全接合層を経た後、それぞれ３組の第２の全接合層に入力し、３組の第２の全接合層はサンプル画像における顔の高密度点群の顔座標系における座標値を予測するために用いられる。例えば、第１の組の第２の全接合層は顔座標系における高密度点群のｘ軸の座標値を出力することができ、第２の組の第２の全接合層は顔座標系における高密度点群のｙ軸の座標値を出力することができ、第３の組の第２の全接合層は顔座標系における高密度点群のｚ軸の座標値を出力することができる。高密度点群の顔座標系における座標値は、サンプル画像における顔の予測された顔の高密度点群データを構成する。
【0098】
複数の第１のサンプル画像、及び複数の第２のサンプル画像を決定する場合、第１のサンプル画像の選択割合が４０％、第２のサンプル画像の選択割合が６０％の予め設定された割合でニューラルネットワークを訓練するための複数のサンプル画像を選択する。例えば、１００枚のサンプル画像を用いてニューラルネットワークを訓練する場合、４０枚の第１のサンプル画像、及び６０枚の第２のサンプル画像を複数のサンプル画像として選択する。
【0099】
ここで、畳み込みニューラルネットワークを初期ニューラルネットワークとして選択して訓練し、且つ軽量化ネットワークｔを基礎モデル、スプリットネットワーク（ｓｐｌｉｔ ＦＣ）を出力層として畳み込みニューラルネットワークを構築することで、複数のサンプル画像のそれぞれに対応する予測された顔の高密度点群データを得ることができ、且つ得られた予測された顔の高密度点群データは高密度点群における点のそれぞれのｘ軸、ｙ軸、及びｚ軸における複数の座標値を含む。
【0100】
この時、いずれかのサンプル画像に対応する予測された顔の高密度点群データについて、顔高密度点群がＲ個の異なる顔部位を含む場合、出力された予測された顔の高密度点群データは例えば行列形態で出力されてもよく、［ｘ１，ｘ２，…，ｘＲ］、［ｙ１，ｙ２，…，ｙＲ］、及び［ｚ１，ｚ２，…，ｚＲ］と表され、つまりＲ個の異なる顔部位のうちのいずれか１つに対応する予測された顔の高密度点群データに含まれる座標値（ｘｉ，ｙｉ，ｚｉ），ｉ∈［１，Ｒ］は、ｘ軸、ｙ軸、及びｚ軸における座標値ｘｉ、ｙｉ、及びｚｉに分割され、且つそれぞれ３つの異なる行列のうちのｉ番目の要素として出力される。
【0101】
上記Ｓ２０３に続いて、ニューラルネットワークを訓練する方法は、
第１のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、ニューラルネットワークを訓練するＳ２０４をさらに含む。
第１のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、ニューラルネットワークを訓練するＳ２０４をさらに含む。
【0102】
具体的には、初期ニューラルネットワークを訓練して訓練済みニューラルネットワークを得る時、第１のサンプル顔の高密度点群データ及び予測された高密度点群データ、第２のサンプル顔の高密度点群データ及び予測された高密度点群データ、及び第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、ニューラルネットワークを訓練し、訓練が完了した後に訓練済みニューラルネットワークを得る、という方法を採用することができる。
【0103】
例示的に、予測された顔の高密度点群データ、及びサンプル顔の高密度点群データの差分に基づいてニューラルネットワークの損失を決定し、且つ損失を用いてニューラルネットワークを訓練することができ、訓練の方向は損失を減少させる方向であり、それによりニューラルネットワークが画像を処理する時、得られた予測された顔の高密度点群データは、実際の顔の高密度点群データに十分に近づくようになる。
【0104】
訓練済みニューラルネットワークが得られる場合、対象ピクチャをニューラルネットワークに入力し、対象ピクチャにおける元の顔に対応する高密度点群データを得ることができる。
【0105】
上記ステップＳ１０２について、詳細に説明する。
【0106】
参照画像は例えば異なる個体オブジェクトのそれぞれに対応する顔であってもよく、異なる個体オブジェクトに対応する顔は異なり、例示的に、性別、年齢、肌の色、太さなどの少なくとも１つが異なる複数の人を決定し、複数の人のそれぞれについて、人毎の顔画像を取得し、且つ取得された顔画像を第２のサンプル画像とすることができる。このように、第２のサンプル画像に基づいて生成された第２のサンプル顔の高密度点群データは、できるだけ広範囲の顔外形特徴をカバーすることができる。
【0107】
複数の参照画像に対応する複数の第１の参照顔の高密度点群データを取得する時、例えば、第１の参照顔を含む複数の参照画像を取得し、複数の参照画像のそれぞれについて、予め訓練されたニューラルネットワークを用いて各参照画像における第１の参照顔の高密度点群データを取得する、という方式を採用することができる。ここで、予め訓練されたニューラルネットワークを用いて複数の第１の参照顔の高密度点群を取得する方式は、上述した予め訓練されたニューラルネットワークを用いて元の顔の高密度点群を取得する方式と類似しているので、ここではその説明が省略される。
【0108】
元の顔の高密度点群データ、及び第１の参照顔の高密度点群データを決定する場合、第１の参照顔の高密度点群データを用いて元の顔の高密度点群データをフィッティングし、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データのフィッティング係数を取得することができる。ここで、フィッティング係数は、媒介として、対象画像における元の顔の高密度点群データと複数の参照ピクチャのそれぞれに対応する第１の参照顔の高密度点群データとの間の関連関係を確立することができる。
【0109】
図６に示すように、本開示の実施例は、複数の参照画像のそれぞれに対応するフィッティング係数を決定する方法を提供し、以下のステップＳ６０１～Ｓ６０２を含む。
【0110】
Ｓ６０１において、元の顔の高密度点群データ及び第１の参照顔の高密度点群データを最小二乗処理し、複数組の第１の参照顔の高密度点群データのそれぞれに対応する中間係数を得る。
【0111】
例示的に、元の顔の高密度点群データをＩＮｍｅｓｈ、第１の参照顔の高密度点群データをＢＡＳＥｍｅｓｈとして表す。ここで、第１の参照顔の高密度点群が複数の参照画像により決定されるので、Ｎ枚の参照画像が存在する場合、第１の参照顔の高密度点群データＢＡＳＥｍｅｓｈのうち対応するＮ組の顔が含まれる高密度点群データは、
として表され、ここで、
はｉ枚目の参照画像に対応する顔の高密度点群データを表す。
【数1】
【数2】
【0112】
ＩＮｍｅｓｈ及び
を用いて最小二乗処理を行うことにより、Ｎ個のフィッティング値を得ることができ、αｉ（ｉ∈［１，Ｎ］）として表される。ここで、αｉは、ｉ組目の第１の参照顔の高密度点群データに対応するフィッティング値を表す。Ｎ個のフィッティング値により、フィッティング係数Ａｌｐｈａを決定することができ、例えば係数行列で表すことができ、つまりＡｌｐｈａ＝［α１，α２，…，αＮ］である。
【数3】
【数4】
【0113】
ここで、第１の参照顔の高密度点群データによって元の顔の高密度点群データをフィッティングする過程において、フィッティング係数によって第１の参照顔の高密度点群データを重み付け加算したデータを、元の顔の高密度点群データのデータにできるだけ近づけるようにする。
【0114】
当該フィッティング係数は、複数の参照画像に対応する第１の参照顔の高密度点群データで元の顔の高密度点群データを表現する時、各第１の参照顔の高密度点群データの表現係数としても見なされることができる。
【0115】
Ｓ６０２において、複数組の第１の参照顔の高密度点群データの各組の第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の第１の参照顔の高密度点群データに対応するフィッティング係数を決定する。
【0116】
具体的には、図７に示すように、本開示の実施例は、各組の第１の参照顔の高密度点群データに対応するフィッティング係数を決定する具体的な方法をさらに提供し、以下のステップＳ７０１～Ｓ７０４を含む。
【0117】
Ｓ７０１において、各組の第１の参照顔の高密度点群データから、対象顔モデルの部位に対応する第１のタイプの高密度点群データを決定する。
【0118】
複数組の第１の参照顔の高密度点群データのうちいずれかの組の高密度点群データ
について、
がｉ枚目の参照画像に基づいて得られるので、
はｉ枚目の参照画像における顔部位に対応する高密度点群データを含む。ここで、顔部位は例えば眉、鼻、目、口、頬骨、顎の部位を含む。各顔部位について、さらに細かく分けてもよく、例えば眉は、眉尻の部位、眉間の部位、眉山の部位に分けてもよい。
【数5】
【数6】
【数7】
【0119】
可能な一実施形態において、第１の参照顔の高密度点群データが元の顔の高密度点群データをフィッティングする状況をフィッティング係数がより正確に特徴付けるようにするために、一部の顔部位に対応するフィッティング係数を調整することができる。これにより、フィッティング係数と複数の対応する第１の参照顔の高密度点群データに基づいてフィッティングされた高密度点群データとが、対象画像に対応する元の顔の高密度点群データに近くなる。この時、フィッティング係数を調整する必要がある一部の顔部位は、対象顔モデル部位であり、例えば目、口を含んでもよい。具体的な対象顔モデル部位は、具体的な状況や経験によって決定されてもよく、ここではその説明が省略される。
【0120】
各組の第１の参照顔の高密度点群データから、対象顔モデル部位に対応する第１のタイプの高密度点群データを決定する場合、１組の第１の参照顔の高密度点群データ
を例に、顔部位は例えばＲ個に分割することができ、この時Ｒ個の顔部位に対応する高密度点群データは例えば
、
、……、
として表すことができる。Ｒ個の顔部位における対象顔部位が目、口を含む場合、対象顔モデル部位に対応する高密度点群データは例えば
及び
を含み、つまり第１のタイプの高密度点群データである。
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【0121】
Ｓ７０２において、第１の参照顔の高密度点群データにおける第１のタイプの高密度点群データに対応する中間係数を調整し、第１のフィッティング係数を得る。
【0122】
第１のタイプの高密度点群データを決定する場合、対象顔モデルに対応する一部の部位に対応する第１のフィッティング係数、つまりよりよいフィッティング効果を達成するために調整が必要な一部の中間係数を決定することができる。同時に、中間係数におけるいずれかのフィッティング値αｉに対して、αｉがＩＮｍｅｓｈ及び
を用いて最小二乗処理を行って得られるので、αｉにそれぞれ複数の対象顔モデルに対応する複数の一部の部位の中間係数も含まれる。
【数14】
【0123】
例示的に、対象顔モデル部位がそれぞれ目、口である場合、αｉにおける複数の対象顔モデル部位に対応する中間係数は例えばαｉ－１及びαｉ－２として表すことができ、つまり第１のタイプの高密度点群データ
及び
に対応する中間係数である。中間係数αｉ－１及びαｉ－２に対して数値調整を行うことで、調整後に得られた第１のフィッティング係数に基づいて元の顔の高密度点群データをフィッティングした後、フィッティング結果が元の顔の高密度点群データとより類似するようにすることができる。ここで、数値調整は例えば数値増加及び／又は数値減少を含む。
【数15】
【数16】
【0124】
Ｓ７０３において、第１の参照顔の高密度点群データにおける第２のタイプの高密度点群データに対応する中間係数を第２のフィッティング係数として決定し、第２のタイプの高密度点群データは第１の参照顔の高密度点群データのうち第１のタイプの高密度点群データ以外の高密度点群データである。
【0125】
この時、第１の参照顔の高密度点群データのうち第２のタイプの高密度点群データに対応する中間係数を第２のフィッティング係数として決定することができる。また、各組の第１の参照顔の高密度点群データのうち第１のタイプの高密度点群データ以外の高密度点群データを第２のタイプの高密度点群データとすることもできる。第２のタイプの高密度点群データに対応するフィッティング係数はフィッティング結果に対する影響が小さいか、又はフィッティングに際してフィッティング結果が優れているため、第２のタイプの高密度点群データに対応するフィッティング係数を調整せず、フィッティング効果を保証しながら効率を向上させることができる。
【0126】
Ｓ７０４において、第１のフィッティング係数及び第２のフィッティング係数に基づいて、各組の第１の参照顔の高密度点群データのフィッティング係数を得る。
【0127】
第１のフィッティング係数が対象顔モデル部位に対応し、第２のフィッティング係数が複数の顔部位のうち対象顔モデル部位を除く他の顔部位に対応するので、第１のフィッティング係数、及び第２のフィッティング係数を組み合わせることにより、複数の顔部位に対応するフィッティング係数、つまり各組の第１の参照顔の高密度点群データのフィッティング係数を決定することができる。
【0128】
上記ステップＳ１０３について、詳細に説明する。
【0129】
予め設定されたスタイルは例えばカートゥーンスタイル、古代スタイル又は抽象スタイルなどであってもよく、具体的には実際のニーズに応じて設定することができる。例示的に、予め設定されたスタイルがカートゥーンスタイルである場合について、予め設定されたスタイルを有する第２の参照顔はカートゥーン顔であってもよい。
【0130】
第１の参照顔を用いて予め設定されたスタイルを有する第２の参照顔の高密度点群データを生成する時、例えば、参照画像における第１の参照顔の高密度点群データを調整し、予め設定されたスタイルを有する第２の参照顔の高密度点群データを得るか、又は、参照画像における第１の参照顔に基づいて、予め設定されたスタイルを有する第２の参照顔を含む仮想顔画像を生成し、且つ予め訓練されたニューラルネットワークを用いて仮想顔画像における第２の参照顔の高密度点群データを生成する、という方式を採用することができる。
【0131】
第１の参照顔の高密度点群を調整して予め設定されたスタイルを有する第２の参照顔の高密度点群データを得る場合、例示的に、予め設定されたスタイルに応じて第１の参照顔の高密度点群データにおける全ての高密度点群データ又は一部の高密度点群データを調整することで、得られた第２の参照顔の高密度点群データから反映された顔は予め設定されたスタイルを有する。
【0132】
予め設定されたスタイルがカートゥーンスタイルであることを例に、可能な一実施形態において、カートゥーンスタイルは例えば目に対するズームインを含む場合、第１の参照顔の高密度点群データを調整する時、目に対応する高密度点群データに対して、上瞼部位に対応する高密度点群の位置座標を上へ移動させるか及び／又は下瞼部位に対応する高密度点群の位置座標を下へ移動させる調整を行うことで、得られた第２の参照顔の高密度点群データにおける目に対応する高密度点群データは目がズームインされることを示す。
【0133】
第１の参照顔に基づいて仮想顔画像を生成し、且つ予め訓練されたニューラルネットワークを用いて第２の参照顔の高密度点群データを生成する場合、例示的に、予め設定されたスタイルに応じて参照画像における第１の参照顔に対してグラフィック画像処理を行い、予め設定されたスタイルを有する第２の参照顔の仮想顔画像を生成することができる。ここで、グラフィック画像処理は、例えば、ピクチャ編集、ピクチャ描画、ピクチャデザインを含むことができる。
【0134】
予め設定されたスタイルを有する第２の参照顔の仮想顔画像が得られる場合、予め訓練されたニューラルネットワークを用いて対応する第２の参照顔の高密度点群データを決定することができる。ここで、予め訓練されたニューラルネットワークを用いて第２の参照顔の高密度点群データを決定する方法は、上述した予め訓練されたニューラルネットワークを用いて元の顔の高密度点群データ、及び第１の参照顔の高密度点群データを決定する方法と類似しているので、ここではその説明が省略される。
【0135】
この時、例えば得られた第２の参照顔の高密度点群データをＣＡＲＴｍｅｓｈとして表すことができる。
【0136】
予め設定されたスタイルを有する第２の参照顔の高密度点群データ、及び複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を決定すると、対象顔モデルの高密度点群データを決定することができる。
【0137】
図８に示すように、本開示の実施例は、対象顔モデルの高密度点群データを決定する具体的な方法をさらに提供し、以下のステップＳ８０１～Ｓ８０２を含む。
【0138】
Ｓ８０１において、複数組の第２の参照顔の高密度点群データに基づいて、複数組の第２の参照顔の高密度点群データの平均値データを生成する。
【0139】
可能な一実施形態において、第２の参照顔の高密度点群データの平均値データを生成するために、第２の参照顔の高密度点群データＣＡＲＴｍｅｓｈにおける対応する部位の座標値に基づいて平均化処理を行うことができる。ここで、平均値データは複数組の第２の参照顔の高密度点群データの平均的な特徴を特徴付けるために用いられる。例示的に、第２の参照顔の高密度点群データにＮ組の顔高密度点群が含まれる場合、第２の参照顔の高密度点群データにおける複数組の顔の高密度点群データを
、
、……、
として表すことができる。
【数17】
【数18】
【数19】
【0140】
ここで、いずれかの組の第２の参照顔の高密度点群データ
について、異なる部位位置に対応する複数の顔高密度点群を決定することができ、Ｗ個の異なる顔高密度点群を含む場合、例えばＷ個の異なる顔高密度点群をＰ１、Ｐ２、……、ＰＷとして表し、それぞれ対応する座標値を
、
、……、
として表すことができる。各組の
における対応する部位位置の座標値を用いて平均値を求めることにより、対応する部位位置の平均値データを得ることができる。この時、異なる部位位置の最初の顔高密度点群Ｐ１について、例えば下記式（１）を採用して平均値データ
を得ることができる。
【数20】
【数21】
【数22】
【数23】
【数24】
【数25】
【数26】
【0141】
他の異なる部位位置の顔高密度点群の平均値データを決定する方式は、上述した最初の顔高密度点群に対して平均値データを求める方式と類似しているので、ここではその説明が省略される。
【0142】
この時、異なる部位位置の平均値データ
、
、……、
、つまり第２の参照顔の高密度点群データの平均値データを得ることができ、
として表すことができる。
【数27】
【数28】
【数29】
【数30】
【0143】
Ｓ８０２において、複数組の第２の参照顔の高密度点群データ、平均値データ、及び複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを生成する。
【0144】
具体的には、図９に示すように、本開示の実施例は、対象顔モデルの高密度点群データを生成する具体的な方法をさらに提供し、以下を含む。
【0145】
Ｓ９０１において、複数組の第２の参照顔の高密度点群データの各組の第２の参照顔の高密度点群データ、及び平均値データに基づいて、各組の第２の参照顔の高密度点群データの差分データを決定する。
【0146】
例示的に、各組の第２の参照顔の高密度点群データと、平均値データにおける異なる部位位置に対応する座標値とを差分し、各組の第２の参照顔の高密度点群データの差分データを決定することができ、Δｍｅｓｈ、つまりΔｍｅｓｈ＝ＣＡＲＴｍｅｓｈーＭＥＡＮｍｅｓｈとして表される。ここで、差分データは、各組の第２の参照顔の高密度点群データのそれぞれと複数組の第２の参照顔の高密度点群データの平均的な特徴との差異度を特徴付けることができる。
【0147】
ここで、複数の第２の参照顔の高密度点群データが存在するので、差分データΔｍｅｓｈに複数の第２の参照顔の高密度点群データにそれぞれ対応する複数のサブ差分データが含まれる。例示的に、Ｎ組の第２の参照顔の高密度点群データが存在する場合、対応する差分データΔｍｅｓｈは例えばＮ組の第２の参照顔の高密度点群データに含まれる
のそれぞれに対応するサブ差分データ
、……、
を含んでもよく、つまり差分データΔｍｅｓｈにＮ個のサブ差分データが含まれ、
として表すことができる。
【数31】
【数32】
【数33】
【数34】
【数35】
【数36】
【数37】
【0148】
Ｓ９０２において、複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、複数組の第２の参照顔の高密度点群データのそれぞれに対応する差分データを補間処理する。
【0149】
例示的に、フィッティング係数を複数組の第２の参照顔の高密度点群データに対応する重みとし、複数組の第２の参照顔の高密度点群データのそれぞれに対応する差分データを重み付け加算処理し、補間処理の過程を実現することができる。
【0150】
フィッティング係数がＡｌｐｈａ＝［α１，α２，…，αＮ］を含む場合、複数の参照画像のそれぞれに対応する第２の参照顔の第２の参照顔の高密度点群データの重みは即ちα１、α２、……、αＮである。フィッティング係数を用いて複数組の第２の参照顔の高密度点群データのそれぞれに対応する差分データを重み付け加算し、得られた結果はＡＩＭｍｅｓｈとして表すことができ、元の顔の高密度点群と第１の参照顔の高密度点群との間の関連関係を元の顔の高密度点群と第２の参照顔の高密度点群との間に移すために用いられ、それにより得られた顔高密度点群は元の顔の高密度点群の特徴を有するだけでなく、第２の参照顔の高密度点群のスタイルを有し、この場合、複数組の第２の参照顔の高密度点群データのそれぞれに対応する差分データを重み付け加算した結果ＡＩＭｍｅｓｈは下記式（２）を満たす。
【数38】
【0151】
ここで、λｉ，ｉ∈［１，Ｎ］は第２の参照顔の高密度点群データの重みα１、α２、……、αＮ及び／又は複数組の第２の参照顔の高密度点群データのそれぞれに対応する差分データ
、
、……、
のそれぞれに対応する重みを表し、重み付け加算して得られた結果に対する異なる差分データの寄与度及び／又は重要性を特徴付けるために用いられ、予め設定又は調整可能であり、具体的な設定及び調整方法はここではその説明が省略される。
【数39】
【数40】
【数41】
【0152】
Ｓ９０３において、補間処理の結果及び平均値データに基づいて、対象顔モデルの高密度点群データを生成する。
【0153】
可能な一実施形態において、加重和の結果を平均値データに直接重ね合わせて対象顔モデルの高密度点群データを生成することができ、ＯＵＴｍｅｓｈとして表し、つまり下記式（３）で対象顔モデルの高密度点群データＯＵＴｍｅｓｈを得ることができる。
ＯＵＴｍｅｓｈ＝ＡＩＭｍｅｓｈ＋ＭＥＡＮｍｅｓｈ （３）
ＯＵＴｍｅｓｈ＝ＡＩＭｍｅｓｈ＋ＭＥＡＮｍｅｓｈ （３）
【0154】
この時、即ち対象画像における顔特徴を含むだけでなく、第２の参照顔の高密度点群データから反映された予め設定されたスタイルを含む対象顔モデルの高密度点群データＯＵＴｍｅｓｈを得ることができる。
【0155】
上記ステップＳ１０４について、対象顔モデルの高密度点群データを用いて、対象画像に対応する対象顔モデルを生成することができる。
【0156】
例示的に、対象顔モデルの高密度点群データＯＵＴｍｅｓｈに基づいて、レンダリングの方式で対応する対象顔モデルを生成するか、又は、対象顔モデルの高密度点群データＯＵＴｍｅｓｈと関連関係を有するスキンを決定し、且つ対象顔モデルの高密度点群データＯＵＴｍｅｓｈを用いて対象画像に対応する対象顔モデルを生成することができる。具体的な方法は実際の状況に応じて選択することができ、ここではその説明が省略される。
【0157】
本開示の実施例は、本開示の実施例にて提供される顔再構成方法を用いて、対象画像ＰｉｃＡにおける元の顔Ａに対応する対象仮想顔モデルＭｏｄＡｉｍを取得する具体的な過程の説明をさらに提供する。
【0158】
対象仮想顔モデルＭｏｄＡｉｍを決定するステップは、下記（１）～（４）を含む。
【0159】
（１）素材を準備し、複数の参照画像Ｐｉｃｃｏｎｓを取得する。
【0160】
（２）高密度点群データを準備し、ここで、下記（２－１）及び（２－２）を含む。
【0161】
（２－１）ニューラルネットワークを用いて対象画像ＰｉｃＡにおける元の顔Ａに対応する高密度点群データＩＮｍｅｓｈを決定する。
【0162】
（２－２）ニューラルネットワークを用いて複数の参照画像Ｐｉｃｃｏｎｓのそれぞれに対応する第１の参照顔の高密度点群データＢＡＳＥｍｅｓｈを決定する。
【0163】
（３）フィッティング係数Ａｌｐｈａを決定し、ここで、下記（３－１）～（３－４）を含む。
【0164】
（３－１）対象顔モデルの部位に対応する第１のタイプの高密度点群データ
及び
を決定する。
【数42】
【数43】
【0165】
（３－２）対象顔モデルに対応する高密度点群データを用いて元の顔の高密度点群データをフィッティングし、中間係数を決定する。
【0166】
（３－３）第１のタイプの高密度点群データに対応する中間係数におけるαｉ－１及びαｉ－２を調整し、第１のフィッティング係数を得る。
【0167】
（３－４）第１の参照顔の高密度点群データのうち第１のタイプの高密度点群データ以外の第２のタイプの高密度点群に対応する中間係数を、第２のフィッティング係数として決定し、且つ第１のフィッティング係数、及び第２のフィッティング係数を用いてフィッティング係数Ａｌｐｈａを決定する。
【0168】
（４）対象顔モデルＭｏｄＡｉｍを決定し、ここで、下記（４－１）～（４－３）を含む。
【0169】
（４－１）複数組の第２の参照顔の高密度点群データの平均値データＭＥＡＮｍｅｓｈを決定する。
【0170】
（４－２）対象顔モデルの高密度点群データを決定し、複数組の第２の参照顔の高密度点群データＣＡＲＴｍｅｓｈ、平均値データＭＥＡＮｍｅｓｈ、及び複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数Ａｌｐｈａに基づいて、対象顔モデルの高密度点群データＡＩＭｍｅｓｈを生成する。
【0171】
（４－３）生成された対象顔モデルの高密度点群データＡＩＭｍｅｓｈを用いて、対象顔モデルＭｏｄＡｉｍを決定する。
【0172】
ここで、なお、上記（１）～（４）は顔再構成方法を完了する具体例に過ぎず、本開示の実施例にて提供される顔再構成方法を限定するものではない。
【0173】
当業者であれば理解されるように、具体的な実施形態の上記方法において、各ステップの記載順序は、厳密な実行順序による実施過程に対するいかなる限定も意味するものではなく、各ステップの具体的な実行順序は、その機能及び可能な固有の論理により決定されるべきである。
【0174】
同じ技術的思想に基づき、本開示の実施例は、さらに、顔再構成方法に対応する顔再構成装置を提供し、本開示の実施例における装置の問題解決原理は、本開示の実施例における上記顔再構成方法と類似するため、装置の実施が方法の実施を参照してもよく、重複内容についてはその説明が省略される。
【0175】
図１０に示すように、本開示の実施例にて提供される顔再構成装置の概略図であり、前記装置は、
対象画像に含まれる元の顔の高密度点群データを取得するための第１の取得モジュール１０と、
複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るための第１の処理モジュール２０と、
予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するための決定モジュール３０であって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成される決定モジュール３０と、
前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するための生成モジュール４０と、を含む。
対象画像に含まれる元の顔の高密度点群データを取得するための第１の取得モジュール１０と、
複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るための第１の処理モジュール２０と、
予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するための決定モジュール３０であって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成される決定モジュール３０と、
前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するための生成モジュール４０と、を含む。
【0176】
選択可能な一実施形態において、前記決定モジュール３０は、予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定する場合、複数組の前記第２の参照顔の高密度点群データに基づいて、複数組の前記第２の参照顔の高密度点群データの平均値データを生成することと、複数組の前記第２の参照顔の高密度点群データ、前記平均値データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、前記対象顔モデルの高密度点群データを生成することとに用いられる。
【0177】
選択可能な一実施形態において、前記決定モジュール３０は、複数組の前記第２の参照顔の高密度点群データ、前記平均値データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、前記対象顔モデルの高密度点群データを生成する場合、複数組の前記第２の参照顔の高密度点群データの各組の前記第２の参照顔の高密度点群データ、及び前記平均値データに基づいて、各組の前記第２の参照顔の高密度点群データの差分データを決定することと、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、複数組の前記第２の参照顔の高密度点群データのそれぞれに対応する差分データを補間処理することと、前記補間処理の結果及び前記平均値データに基づいて、前記対象顔モデルの高密度点群データを生成することとに用いられる。
【0178】
選択可能な一実施形態において、前記第１の取得モジュール１０は、対象画像に含まれる元の顔の高密度点群データを取得する場合、前記元の顔を含む前記対象画像を取得することと、予め訓練されたニューラルネットワークを用いて前記対象画像を処理し、前記対象画像における前記元の顔の高密度点群データを得ることとに用いられる。
【0179】
選択可能な一実施形態において、前記装置は、第１の参照顔を含む複数の参照画像を取得することと、複数の前記参照画像のそれぞれについて、予め訓練されたニューラルネットワークを用いて各前記参照画像を処理し、各前記参照画像における前記第１の参照顔の高密度点群データを得ることと、により前記複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを取得するための第２の処理モジュール５０をさらに含む。
【0180】
選択可能な一実施形態において、前記第１の処理モジュール２０は、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得る場合、前記元の顔の高密度点群データ及び前記第１の参照顔の高密度点群データを最小二乗処理し、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応する中間係数を得ることと、各組の第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定することとに用いられる。
【0181】
選択可能な一実施形態において、前記第１の処理モジュール２０は、各組の第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定する場合、各組の前記第１の参照顔の高密度点群データから、対象顔モデルの部位に対応する第１のタイプの高密度点群データを決定することと、前記第１の参照顔の高密度点群データにおける前記第１のタイプの高密度点群データに対応する中間係数を調整し、第１のフィッティング係数を得ることと、前記第１の参照顔の高密度点群データのうち第２のタイプの高密度点群データに対応する中間係数を、第２のフィッティング係数として決定することであって、前記第２のタイプの高密度点群データは前記第１の参照顔の高密度点群データのうち前記第１のタイプの高密度点群データ以外の高密度点群データであることと、前記第１のフィッティング係数及び前記第２のフィッティング係数に基づいて、各組の前記第１の参照顔の高密度点群データのフィッティング係数を得ることとに用いられる。
【0182】
選択可能な一実施形態において、前記装置は、前記参照画像における第１の参照顔の高密度点群データを調整し、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを得ること、又は、前記参照画像における第１の参照顔に基づいて、前記予め設定されたスタイルを有する第２の参照顔を含む仮想顔画像を生成し、予め訓練されたニューラルネットワークを用いて前記仮想顔画像における前記第２の参照顔の高密度点群データを生成することにより、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを取得するための調整モジュール６０をさらに含む。
【0183】
選択可能な一実施形態において、前記装置は、前記ニューラルネットワークを訓練する場合、サンプル画像セットを取得することであって、前記サンプル画像セットは第１のサンプル顔を含む複数の第１のサンプル画像を含み、前記複数の第１のサンプル画像は複数の第１のサンプル画像サブセットに分割され、各第１のサンプル画像サブセットは複数の予め設定された収集角度からそれぞれ収集された同じ表情を有する第１のサンプル顔の画像を含むことと、前記サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データを取得することと、初期ニューラルネットワークを用いて、前記サンプル画像セットにおける第１のサンプル画像に対して特徴学習を行い、前記第１のサンプル画像の第１のサンプル顔の予測された高密度点群データを得ることと、前記第１のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することとに用いられる訓練モジュール７０をさらに含む。
【0184】
選択可能な一実施形態において、前記サンプル画像セットは第２のサンプル顔及び背景を含む複数の第２のサンプル画像をさらに含み、前記訓練モジュール７０は、さらに、各前記第２のサンプル画像の顔キーポイントデータを取得することと、第２のサンプル画像の顔キーポイントデータ及び前記第２のサンプル画像を用いて、前記第２のサンプル画像の第２のサンプル顔の高密度点群データをフィッティングして生成することと、前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第２のサンプル画像に対して特徴学習を行い、前記第２のサンプル画像の第２のサンプル顔の予測された高密度点群データを得ることと、前記第２のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することとに用いられる。
【0185】
選択可能な一実施形態において、前記サンプル画像セットは第３のサンプル画像をさらに含み、前記第３のサンプル画像は前記第１のサンプル画像に対してデータ拡張処理を行うことにより得られ、
前記訓練モジュール７０は、さらに、前記第３のサンプル画像の第３のサンプル顔の高密度点群データを取得することと、前記初期ニューラルネットワークを用いて第３のサンプル画像に対して特徴学習を行い、前記第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得ることと、
前記第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することとに用いられる。
前記訓練モジュール７０は、さらに、前記第３のサンプル画像の第３のサンプル顔の高密度点群データを取得することと、前記初期ニューラルネットワークを用いて第３のサンプル画像に対して特徴学習を行い、前記第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得ることと、
前記第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することとに用いられる。
【0186】
選択可能な一実施形態において、前記データ拡張処理は、ランダム消去処理、ガウス雑音処理、モーションブラー（Ｍｏｔｉｏｎ Ｂｌｕｒ）処理、及び色チャンネル変更処理の少なくとも１つを含む。
【0187】
装置における各モジュールの処理フロー、及び各モジュール間のインタラクションフローについての説明は上述した方法の実施例における関連する説明を参照することができ、ここでは詳しく説明しない。
【0188】
図１１に示すように、本開示の実施例は、コンピュータ装置をさらに提供し、プロセッサ１１と、メモリ１２と、を含み、プロセッサ１１はメモリ１２に記憶された機械可読命令を実行するために用いられ、前記機械可読命令がプロセッサ１１によって実行されると、プロセッサ１１は、
対象画像に含まれる元の顔の高密度点群データを取得するステップと、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて元の顔の高密度点群データをフィッティングし、複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップと、予め設定されたスタイルを有する第２の参照顔の高密度点群データ、及び複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップであって、第２の参照顔は参照画像における第１の参照顔に基づいて生成されるステップと、対象顔モデルの高密度点群データに基づいて、対象画像の元の顔に対応する対象顔モデルを生成するステップと、を実行する。
対象画像に含まれる元の顔の高密度点群データを取得するステップと、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて元の顔の高密度点群データをフィッティングし、複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップと、予め設定されたスタイルを有する第２の参照顔の高密度点群データ、及び複数組の第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップであって、第２の参照顔は参照画像における第１の参照顔に基づいて生成されるステップと、対象顔モデルの高密度点群データに基づいて、対象画像の元の顔に対応する対象顔モデルを生成するステップと、を実行する。
【0189】
上記メモリ１２は、内部メモリ１２１と外部メモリ１２２とを含み、ここでの内部メモリ１２１は、内メモリとも呼ばれ、プロセッサ１１における演算データ、及びハードディスクなどの外部メモリ１２２と交換されるデータを一時的に格納するために用いられ、プロセッサ１１は、内部メモリ１２１により外部メモリ１２２とデータのやり取りを行う。
【0190】
上記命令の具体的な実行過程は本開示の実施例に記載の顔再構成方法のステップを参照することができ、ここではその説明が省略される。
【0191】
本開示の実施例は、さらに、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、当該コンピュータプログラムがプロセッサによって実行されると、上記方法の実施例に記載の顔再構成方法のステップを実行する。ここで、当該記憶媒体は、揮発性又は不揮発性のコンピュータ可読記憶媒体であってもよい。
【0192】
本開示の実施例は、さらに、プログラムコードを担持するコンピュータプログラム製品を提供し、前記プログラムコードに含まれる命令は、上記方法の実施例に記載の顔再構成方法のステップを実行するために用いられ、具体的には上記方法の実施例を参照することができ、ここではその説明が省略される。
【0193】
ここで、上記コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア、又はそれらの組み合わせの方式により実現することができる。１つの選択可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現化され、別の選択可能な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア製品、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などとして具現化される。
【0194】
当業者であれば、記述の便宜及び簡潔のために、上述したシステム及び装置の具体的な動作過程は、前述方法の実施例における対応する過程を参照してもよく、ここではその説明が省略されることを明確に了解することができる。本開示により提供されるいくつかの実施例において、開示されているシステム、装置、及び方法は、他の方式で実現されることが理解されるべきである。上記で記述した装置の実施例は、単に例示的なものであり、例えば、前記ユニットの分割は、単に論理的機能の分割であり、実際に実現される時、別の分割方式があってもよく、また、例えば、複数のユニット又はコンポーネントが別のシステムに組み合わされてもよく、又は統合されてもよく、又は、いくつかの特徴が無視されてもよく、又は、実行されなくてもよい。他方、表示又は説明した相互間の結合又は直接結合又は通信接続は、いくつかの通信インタフェース、装置又はユニットを介した間接的な結合又は通信接続であってもよく、電気的、機械的、又は他の形態であってもよい。
【0195】
前記分離コンポーネントとして説明されたユニットは、物理的に分離されてもよく、又は物理的に分離されなくてもよく、ユニットとして表示されたコンポーネントは、物理的なユニットであってもよく、又は物理的なユニットでなくてもよく、即ち、一箇所に位置してもよく、又は複数のネットワークユニットに分散されてもよい。実際の要求に応じて、その一部又は全部のユニットを選択して本実施例の手段の目的を実現することができる。
【0196】
また、本開示の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、各ユニットが物理的に別々に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。
【0197】
前記機能は、ソフトウェア機能ユニットの形態で実現され、独立した製品として販売又は使用される時、１つのプロセッサが実行可能な不揮発性のコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の技術的解決手段は、本質的に、又は、従来技術に貢献する部分、又は、当該技術的解決手段の一部をソフトウェア製品の形態で具体化することができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、本開示の各実施例に記載の方法の全て又は一部のステップを、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい）に実行させるための複数の命令を含む。また、前述記憶媒体は、Ｕディスク、ポータブルハードディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、又は光ディスクなど各種のプログラムコードを記憶可能な媒体を含む。
【0198】
最後に、上述の実施例は、本開示の具体的な実施形態に過ぎず、本開示の技術的解決手段を説明するために用いられ、これを限定するものではなく、本開示の保護範囲は、これに限定されるものではなく、前述実施例を参照して本開示を詳細に説明したが、当業者であれば理解されるように、当業者であれば、本開示の技術範囲内において、依然として、前述実施例に記載された技術的解決手段を修正したり、容易に変化を想到することができたり、又は、その技術的特徴の一部を均等に置換したりすることができ、これらの修正、変化又は置換は、対応する技術的解決手段の本質を本開示の実施例の技術的解決手段の精神及び範囲から逸脱させず、いずれも本開示の保護範囲に含まれるべきである。したがって、本開示の保護範囲は、特許請求の範囲の保護範囲を基準とすべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2023-05-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
対象画像に含まれる元の顔の高密度点群データを取得するステップと、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップと、
予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップであって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成されるステップと、
前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するステップと、を含む、
ことを特徴とする顔再構成方法。
【請求項2】
前記予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するステップは、複数組の前記第２の参照顔の高密度点群データに基づいて、複数組の前記第２の参照顔の高密度点群データの平均値データを生成するステップと、
複数組の前記第２の参照顔の高密度点群データの各組の前記第２の参照顔の高密度点群データ、及び前記平均値データに基づいて、各組の前記第２の参照顔の高密度点群データの差分データを決定するステップと、
複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、複数組の前記第２の参照顔の高密度点群データのそれぞれに対応する差分データを補間処理するステップと、
前記補間処理の結果及び前記平均値データに基づいて、前記対象顔モデルの高密度点群データを生成するステップと、を含む、
ことを特徴とする請求項１に記載の顔再構成方法。
【請求項3】
前記対象画像における前記元の顔の高密度点群データ及び前記複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データは、予め訓練されたニューラルネットワークを用いて得られる、
ことを特徴とする請求項１又は２に記載の顔再構成方法。
【請求項4】
前記複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るステップは、前記元の顔の高密度点群データ及び前記第１の参照顔の高密度点群データを最小二乗処理し、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応する中間係数を得るステップと、
各組の前記第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定するステップと、を含む、
ことを特徴とする請求項１～３のいずれか１項に記載の顔再構成方法。
【請求項5】
前記各組の前記第１の参照顔の高密度点群データに対応する中間係数に基づいて、各組の前記第１の参照顔の高密度点群データに対応するフィッティング係数を決定するステップは、各組の前記第１の参照顔の高密度点群データから、対象顔モデルの部位に対応する第１のタイプの高密度点群データを決定するステップと、
前記第１の参照顔の高密度点群データにおける前記第１のタイプの高密度点群データに対応する中間係数を調整し、第１のフィッティング係数を得るステップと、
前記第１の参照顔の高密度点群データのうち第２のタイプの高密度点群データに対応する中間係数を、第２のフィッティング係数として決定するステップであって、前記第２のタイプの高密度点群データは前記第１の参照顔の高密度点群データのうち前記第１のタイプの高密度点群データ以外の高密度点群データであるステップと、
前記第１のフィッティング係数及び前記第２のフィッティング係数に基づいて、各組の前記第１の参照顔の高密度点群データのフィッティング係数を得るステップと、を含む、
ことを特徴とする請求項４に記載の顔再構成方法。
【請求項6】
前記参照画像における第１の参照顔の高密度点群データを調整し、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを得ること、又は、前記参照画像における第１の参照顔に基づいて、前記予め設定されたスタイルを有する第２の参照顔を含む仮想顔画像を生成し、予め訓練されたニューラルネットワークを用いて前記仮想顔画像における前記第２の参照顔の高密度点群データを生成することにより、前記予め設定されたスタイルを有する第２の参照顔の高密度点群データを取得する、
ことを特徴とする請求項１～５のいずれか１項に記載の顔再構成方法。
【請求項7】
前記ニューラルネットワークを訓練することは、サンプル画像セットを取得することであって、前記サンプル画像セットは第１のサンプル顔を含む複数の第１のサンプル画像を含み、前記複数の第１のサンプル画像は複数の第１のサンプル画像サブセットに分割され、各前記第１のサンプル画像サブセットは複数の予め設定された収集角度からそれぞれ収集された同じ表情を有する第１のサンプル顔の画像を含むことと、
前記サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データを取得することと、
前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第１のサンプル画像に対して特徴学習を行い、前記第１のサンプル画像の第１のサンプル顔の予測された高密度点群データを得ることと、
前記第１のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することと、を含む、
ことを特徴とする請求項３又は６に記載の顔再構成方法。
【請求項8】
前記サンプル画像セットは第２のサンプル顔及び背景を含む複数の第２のサンプル画像をさらに含み、前記ニューラルネットワークを訓練することは、さらに、各前記第２のサンプル画像の顔キーポイントデータを取得することと、
前記第２のサンプル画像の顔キーポイントデータ及び前記第２のサンプル画像を用いて、前記第２のサンプル画像の第２のサンプル顔の高密度点群データをフィッティングして生成することと、
前記ニューラルネットワークを用いて、前記サンプル画像セットにおける第２のサンプル画像に対して特徴学習を行い、前記第２のサンプル画像の第２のサンプル顔の予測された高密度点群データを得ることと、
前記第２のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することと、を含む、
ことを特徴とする請求項７に記載の顔再構成方法。
【請求項9】
前記サンプル画像セットは第３のサンプル画像をさらに含み、前記第３のサンプル画像は前記第１のサンプル画像に対してデータ拡張処理を行うことにより得られ、前記ニューラルネットワークを訓練することは、さらに、前記第３のサンプル画像の第３のサンプル顔の高密度点群データを取得することと、
前記ニューラルネットワークを用いて前記第３のサンプル画像に対して特徴学習を行い、前記第３のサンプル画像の第３のサンプル顔の予測された高密度点群データを得ることと、
前記第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、前記ニューラルネットワークを訓練することと、を含み、
前記データ拡張処理は、ランダム消去処理、ガウス雑音処理、モーションブラー処理、及び色チャンネル変更処理の少なくとも１つを含む、
ことを特徴とする請求項７又は８に記載の顔再構成方法。
【請求項10】
対象画像に含まれる元の顔の高密度点群データを取得するための第１の取得モジュールと、複数の参照画像のそれぞれに対応する第１の参照顔の高密度点群データを用いて前記元の顔の高密度点群データをフィッティングし、複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数を得るための第１の処理モジュールと、
予め設定されたスタイルを有する複数組の第２の参照顔の高密度点群データ、及び複数組の前記第１の参照顔の高密度点群データのそれぞれに対応するフィッティング係数に基づいて、対象顔モデルの高密度点群データを決定するための決定モジュールであって、前記複数組の第２の参照顔はそれぞれ前記複数の参照画像における第１の参照顔に基づいて生成される決定モジュールと、
前記対象顔モデルの高密度点群データに基づいて、前記対象画像の前記元の顔に対応する対象顔モデルを生成するための生成モジュールと、を含む、
ことを特徴とする顔再構成装置。
【請求項11】
プロセッサと、前記プロセッサによって実行可能な機械可読命令を記憶しているメモリと、を含み、前記プロセッサは前記メモリに記憶された機械可読命令を実行するために用いられ、前記機械可読命令が前記プロセッサによって実行されると、前記プロセッサは請求項１～９のいずれか１項に記載の顔再構成方法のステップを実行する、ことを特徴とするコンピュータ装置。
【請求項12】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがコンピュータ装置によって実行されると、前記コンピュータ装置は請求項１～９のいずれか１項に記載の顔再構成方法のステップを実行する、ことを特徴とするコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【0082】
いくつかの実施例において、サンプル画像セットにおける第１のサンプル画像の第１のサンプル顔の高密度点群データを取得する時、サンプル画像セットにおける第２のサンプル画像の第２のサンプル顔の高密度点群データ及び／又は第３のサンプル画像の第３のサンプル顔の高密度点群データをさらに取得することができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【0088】
いくつかの実施例において、第１のサンプル画像の第１のサンプル顔の予測された高密度点群データを決定する時、初期ニューラルネットワークを用いて、サンプル画像セットにおける第２のサンプル画像及び／又は第３のサンプル画像に対して特徴学習を行い、第２のサンプル画像の第２のサンプル顔の予測された高密度点群データ及び／又は第３のサンプル画像の第３のサンプル顔の予測された高密度点群データをさらに得ることができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【0102】
いくつかの実施例において、第１のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて初期ニューラルネットワークを訓練する時、第２のサンプル顔の高密度点群データ及び予測された高密度点群データ、及び／又は、第３のサンプル顔の高密度点群データ及び予測された高密度点群データを用いて、ニューラルネットワークを訓練し、訓練済みニューラルネットワークをさらに得ることができる。
【国際調査報告】