知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023076820
(43)【公開日】2023-06-02
(54)【発明の名称】画像処理方法、装置、電子機器、及び記憶媒体
(51)【国際特許分類】
G06T 11/00 20060101AFI20230526BHJP
G06T 7/00 20170101ALI20230526BHJP
【ＦＩ】
G06T11/00 110
G06T7/00 350C
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022187657
(22)【出願日】2022-11-24
(31)【優先権主張番号】202111396686.7
(32)【優先日】2021-11-23
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ワン・ディ
(72)【発明者】
【氏名】ヂャオ・チェン
(72)【発明者】
【氏名】リ・ジエ
【テーマコード（参考）】
5B080
5L096
【Ｆターム（参考）】
5B080AA00
5B080CA00
5B080FA02
5B080GA22
5L096AA06
5L096DA05
5L096FA32
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】画像処理のための方法、装置、電子機器と記憶媒体、およびコンピュータプログラム製品を提供する。
【解決手段】本開示は、拡張／仮想現実、画像処理分野に関する画像処理方法、装置、電子機器と記憶媒体を提供し、特に３次元顔再構築における画像処理の方法、装置、電子機器、及び記憶媒体に関する。具体的な実現態様としては、２次元顔画像の第一のテクスチャ係数を取得し、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成し、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得し、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得することである。
【選択図】図１
【解決手段】本開示は、拡張／仮想現実、画像処理分野に関する画像処理方法、装置、電子機器と記憶媒体を提供し、特に３次元顔再構築における画像処理の方法、装置、電子機器、及び記憶媒体に関する。具体的な実現態様としては、２次元顔画像の第一のテクスチャ係数を取得し、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成し、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得し、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得することである。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像処理方法であって、
２次元顔画像の第一のテクスチャ係数を取得するステップと、
前記第一のテクスチャ係数と前記２次元顔画像の第一のテクスチャベースに基づいて、前記２次元顔画像の第一のテクスチャ画像を生成するステップと、
前記第一のテクスチャ画像に基づいて前記第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、前記第一のテクスチャ画像に基づいて前記第一のテクスチャベースを更新し、第二のテクスチャベースを取得するステップと、
前記第二のテクスチャベースが収束されたことに応答する場合、前記第二のテクスチャベースに基づいて前記２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するステップと、を含む、画像処理方法。
２次元顔画像の第一のテクスチャ係数を取得するステップと、
前記第一のテクスチャ係数と前記２次元顔画像の第一のテクスチャベースに基づいて、前記２次元顔画像の第一のテクスチャ画像を生成するステップと、
前記第一のテクスチャ画像に基づいて前記第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、前記第一のテクスチャ画像に基づいて前記第一のテクスチャベースを更新し、第二のテクスチャベースを取得するステップと、
前記第二のテクスチャベースが収束されたことに応答する場合、前記第二のテクスチャベースに基づいて前記２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するステップと、を含む、画像処理方法。
【請求項2】
前記第二のテクスチャベースが収束されていないことに応答する場合、前記第一のテクスチャ係数と前記第二のテクスチャベースに基づいて、前記２次元顔画像の第二のテクスチャ画像を生成するステップと、
前記第二のテクスチャ画像に基づいて前記第二のテクスチャベースが第二のターゲット条件を満たすと決定する場合、前記第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得するステップと、
前記第二のテクスチャ係数を前記第一のテクスチャ係数として決定し、前記第二のテクスチャベースを前記第一のテクスチャベースとして決定し、前記第二のテクスチャベースが収束されたと決定するまで、前記第一のテクスチャ係数と前記２次元顔画像の第一のテクスチャベースに基づいて、前記２次元顔画像の第一のテクスチャ画像を生成するステップを実行するステップと、をさらに含む、請求項１に記載の方法。
前記第二のテクスチャ画像に基づいて前記第二のテクスチャベースが第二のターゲット条件を満たすと決定する場合、前記第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得するステップと、
前記第二のテクスチャ係数を前記第一のテクスチャ係数として決定し、前記第二のテクスチャベースを前記第一のテクスチャベースとして決定し、前記第二のテクスチャベースが収束されたと決定するまで、前記第一のテクスチャ係数と前記２次元顔画像の第一のテクスチャベースに基づいて、前記２次元顔画像の第一のテクスチャ画像を生成するステップを実行するステップと、をさらに含む、請求項１に記載の方法。
【請求項3】
前記第二のテクスチャ画像に基づいて前記第二のテクスチャベースが第二のターゲット条件を満たすと決定するステップは、
前記第二のテクスチャ画像をレンダリング処理し、第一のレンダリング画像を取得するステップと、
前記第一のレンダリング画像と前記２次元顔画像に対応するターゲット真理値図との間の第一の損失度を取得するステップと、
前記第一の損失度がターゲット閾値範囲内であると決定する場合、前記第二のテクスチャベースが前記第二のターゲット条件を満たすと決定するステップとを含む、請求項２に記載の方法。
前記第二のテクスチャ画像をレンダリング処理し、第一のレンダリング画像を取得するステップと、
前記第一のレンダリング画像と前記２次元顔画像に対応するターゲット真理値図との間の第一の損失度を取得するステップと、
前記第一の損失度がターゲット閾値範囲内であると決定する場合、前記第二のテクスチャベースが前記第二のターゲット条件を満たすと決定するステップとを含む、請求項２に記載の方法。
【請求項4】
２次元顔画像の第一のテクスチャ係数を取得するステップは、前記２次元顔画像を、入力画像のテクスチャ係数を予測するために用いられるターゲットネットワークモデルに入力して処理し、前記第一のテクスチャ係数を取得するステップを含み、
前記第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得するステップは、前記ターゲットネットワークモデルのパラメータの重み付けを更新し、更新後の前記ターゲットネットワークモデルに基づいて前記第一のテクスチャ係数を前記第二のテクスチャ係数に調整するステップを含む、請求項２に記載の方法。
前記第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得するステップは、前記ターゲットネットワークモデルのパラメータの重み付けを更新し、更新後の前記ターゲットネットワークモデルに基づいて前記第一のテクスチャ係数を前記第二のテクスチャ係数に調整するステップを含む、請求項２に記載の方法。
【請求項5】
前記第一のテクスチャ画像に基づいて前記第一のテクスチャ係数が第一のターゲット条件を満たすと決定するステップは、
前記第一のテクスチャ画像をレンダリング処理し、第二のレンダリング画像を取得するステップと、
前記第二のレンダリング画像と前記２次元顔画像に対応するターゲット真理値図との間の第二の損失度を取得するステップと、
前記第二の損失度がターゲット閾値範囲内であると決定する場合、前記第一のテクスチャ係数が前記第一のターゲット条件を満たすと決定するステップと、を含む、請求項１に記載の方法。
前記第一のテクスチャ画像をレンダリング処理し、第二のレンダリング画像を取得するステップと、
前記第二のレンダリング画像と前記２次元顔画像に対応するターゲット真理値図との間の第二の損失度を取得するステップと、
前記第二の損失度がターゲット閾値範囲内であると決定する場合、前記第一のテクスチャ係数が前記第一のターゲット条件を満たすと決定するステップと、を含む、請求項１に記載の方法。
【請求項6】
前記第一のテクスチャ画像に基づいて前記第一のテクスチャベースを更新し、第二のテクスチャベースを取得するステップは、
前記第二の損失度に基づいて前記第一のテクスチャベースを前記第二のテクスチャベースに調整するステップを含む、請求項５に記載の方法。
前記第二の損失度に基づいて前記第一のテクスチャベースを前記第二のテクスチャベースに調整するステップを含む、請求項５に記載の方法。
【請求項7】
前記第二の損失度に基づいて前記第一のテクスチャベースを前記第二のテクスチャベースに調整するステップは、
前記第二の損失度に基づいて前記第一のテクスチャベースのテンソルを調整するステップと、
調整後の前記テンソルに対応するテクスチャベースを、前記第二のテクスチャベースとして決定するステップと、を含む、請求項６に記載の方法。
前記第二の損失度に基づいて前記第一のテクスチャベースのテンソルを調整するステップと、
調整後の前記テンソルに対応するテクスチャベースを、前記第二のテクスチャベースとして決定するステップと、を含む、請求項６に記載の方法。
【請求項8】
前記第二のテクスチャベースに基づいて前記２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するステップは、
前記第一のテクスチャ係数と前記第二のテクスチャベースに基づいて、前記２次元顔画像の第二のテクスチャ画像を生成するステップと、
前記第二のテクスチャ画像に基づいて前記２次元顔画像に対して３次元再構築を行い、前記３次元顔画像を取得するステップと、を含む、請求項１に記載の方法。
前記第一のテクスチャ係数と前記第二のテクスチャベースに基づいて、前記２次元顔画像の第二のテクスチャ画像を生成するステップと、
前記第二のテクスチャ画像に基づいて前記２次元顔画像に対して３次元再構築を行い、前記３次元顔画像を取得するステップと、を含む、請求項１に記載の方法。
【請求項9】
画像処理装置であって、
２次元顔画像の第一のテクスチャ係数を取得するための取得ユニットと、
前記第一のテクスチャ係数と前記２次元顔画像の第一のテクスチャベースに基づいて、前記２次元顔画像の第一のテクスチャ画像を生成するための生成ユニットと、
前記第一のテクスチャ画像に基づいて前記第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、前記第一のテクスチャ画像に基づいて前記第一のテクスチャベースを更新し、第二のテクスチャベースを取得するための更新ユニットと、
前記第二のテクスチャベースが収束されたことに応答する場合、前記第二のテクスチャベースに基づいて前記２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するための再構築ユニットと、を含む、画像処理装置。
２次元顔画像の第一のテクスチャ係数を取得するための取得ユニットと、
前記第一のテクスチャ係数と前記２次元顔画像の第一のテクスチャベースに基づいて、前記２次元顔画像の第一のテクスチャ画像を生成するための生成ユニットと、
前記第一のテクスチャ画像に基づいて前記第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、前記第一のテクスチャ画像に基づいて前記第一のテクスチャベースを更新し、第二のテクスチャベースを取得するための更新ユニットと、
前記第二のテクスチャベースが収束されたことに応答する場合、前記第二のテクスチャベースに基づいて前記２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するための再構築ユニットと、を含む、画像処理装置。
【請求項10】
電子機器であって、
少なくとも１つのプロセッサ、及び
前記少なくとも１つのプロセッサと通信可能に接続されるメモリを含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行されることが可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されて、前記少なくとも１つのプロセッサに請求項１から請求項８のいずれか１項に記載の方法を実行させることができる、電子機器。
少なくとも１つのプロセッサ、及び
前記少なくとも１つのプロセッサと通信可能に接続されるメモリを含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行されることが可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されて、前記少なくとも１つのプロセッサに請求項１から請求項８のいずれか１項に記載の方法を実行させることができる、電子機器。
【請求項11】
コンピュータに請求項１から請求項８のいずれか１項に記載の方法を実行させるために用いられるコンピュータ命令が記憶されている、非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項12】
コンピュータプログラムを含むコンピュータプログラム製品であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から請求項８のいずれか１項に記載の方法を実現させる、コンピュータプログラム製品。
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から請求項８のいずれか１項に記載の方法を実現させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、拡張／仮想現実、画像処理分野に関し、特に３次元顔再構築における画像処理の方法、装置、電子機器と記憶媒体に関する。
【背景技術】
【0002】
現在、顔再構築において、テクスチャ画像の生成は、テクスチャベースの色カバー能力及びテクスチャ係数の予測精度に依存しているが、３次元顔再構築を行うためのテクスチャベースに対し、そのオープンソースは、いずれも手動で描画されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、画像処理のための方法、装置、電子機器と記憶媒体を提供する。
【課題を解決するための手段】
【0004】
本開示の１つの側面によれば、２次元顔画像の第一のテクスチャ係数を取得するステップと、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するステップと、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすことを決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得するステップと、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するステップと、を含む画像処理方法を提供する。
【0005】
本開示の別の側面によれば、２次元顔画像の第一のテクスチャ係数を取得するための取得ユニットと、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するための生成ユニットと、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得するための更新ユニットと、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するための再構築ユニットと、を含む画像処理装置を提供する。
【0006】
本開示の別の側面によれば、少なくとも１つのプロセッサ、及び少なくとも１つのプロセッサと通信可能に接続されるメモリを含み、そのうち、メモリには、少なくとも１つのプロセッサによって実行されることが可能な命令が記憶されており、命令が少なくとも１つのプロセッサによって実行されて、少なくとも１つのプロセッサに請求項１から８のいずれか１項に記載の方法を実行させることができる電子機器を提供する。
【0007】
本開示の別の方面によれば。コンピュータに請求項１から８のいずれか１項に記載の方法を実行させるために用いられるコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
【0008】
本開示の別の側面によれば、コンピュータプログラムを含むコンピュータプログラム製品であって、コンピュータプログラムがプロセッサによって実行されると、請求項１から８のいずれか１項に記載の方法を実現させるコンピュータプログラム製品を提供する。
【0009】
理解すべきことは、本部分に記述された内容は、本開示の実施例の肝心な特徴又は重要な特徴を標識するために意図しているものではなく、本開示の範囲を制限するものでもない。本開示の他の特徴は、以下の明細書によって容易に理解されることになる。
【0010】
添付図面は、本態様をより良く理解するためのものとして、本開示に対する限定を構成しない。
【図面の簡単な説明】
【0011】
【図1】本開示の実施例による画像処理方法の模式図である。
【図2】本開示の実施例によるレンダリング図生成フローの模式図である。
【図4】本開示の実施例を実現するための画像処理装置の構造図である。
【図5】本開示の実施例による電子機器の模式的なブロック図である。
【発明を実施するための形態】
【0012】
以下では、添付図面を参照しながら本開示の模式的な実施例について説明し、理解を容易にするために、その中に本開示の実施例の様々な詳細を含んでおり、それらは単なる例示するものと見なされるべきである。そのため、当業者は、本開示の範囲及び趣旨から逸脱することなく、ここで記述される実施例に対して様々な変更と修正を行うことができることを認識すべきである。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構成の説明を省略する。
【0013】
以下、本開示の実施例の画像処理方法を説明する。
従来のコンピュータグラフィックス学では、テクスチャベースは、一定の１組の直交テクスチャ画像を用いてから、フィッティングの方式によってテクスチャ係数を計算する。このような方式には限界があり、一定のテクスチャベースは、この３次元顔再構築モデルが最終的に色を表す範囲を決定しており、例えばヨーロッパの顔基底を用いると、如何にテクスチャ係数をトレーニングしてもアジアの顔を表すことができない。しかし、テクスチャベースがトレーニング方式で生成される場合、テクスチャベースとテクスチャ係数とを同時にトレーニングすると、トレーニングが収束せず、安定しないことになる。
従来のコンピュータグラフィックス学では、テクスチャベースは、一定の１組の直交テクスチャ画像を用いてから、フィッティングの方式によってテクスチャ係数を計算する。このような方式には限界があり、一定のテクスチャベースは、この３次元顔再構築モデルが最終的に色を表す範囲を決定しており、例えばヨーロッパの顔基底を用いると、如何にテクスチャ係数をトレーニングしてもアジアの顔を表すことができない。しかし、テクスチャベースがトレーニング方式で生成される場合、テクスチャベースとテクスチャ係数とを同時にトレーニングすると、トレーニングが収束せず、安定しないことになる。
【0014】
【0015】
ステップＳ１０１では、２次元顔画像の第一のテクスチャ係数を取得する。
本開示の上記ステップＳ１０１による技術案では、２次元顔画像の第一のテクスチャ係数を取得する前に、２次元顔画像を１枚收集する必要がある。
本開示の上記ステップＳ１０１による技術案では、２次元顔画像の第一のテクスチャ係数を取得する前に、２次元顔画像を１枚收集する必要がある。
【0016】
この実施例では、第一のテクスチャ係数は、收集した２次元顔画像をターゲットネットワークモデルに入力して処理したものであってもよい。
【0017】
選択的に、第一のテクスチャ係数は、２次元顔画像をターゲットネットワークモデルに入力して予測することによって得られてもよく、例えば、２次元顔画像を畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮと略称される）に入力し、予測して第一のテクスチャ係数を取得し、畳み込みニューラルネットワークの入力層は、マルチ次元データを処理可能であって、畳み込みニューラルネットワークがコンピュータビジョン分野において広く応用される。よって、その構造を説明する際には３次元入力データ、即ち平面上の２ビット画素ドットと色チャンネル（ＲＧＢチャンネル）を予め仮定しており、勾配降下アルゴリズムを用いて学習するため、畳み込みニューラルネットワークの入力特徴を正規化処理する必要がある。
【0018】
ステップＳ１０２では、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成する。
【0019】
本開示の上記ステップＳ１０２による技術案では、２次元顔画像の第一のテクスチャ係数を取得した後、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成することができる。
【0020】
この実施例では、第一のテクスチャベースは、收集した２次元顔画像のテクスチャベースの値であり、第一のテクスチャ係数と第一のテクスチャベースとを線形加算して計算し、さらに２次元顔画像の第一のテクスチャ画像を生成する。
【0021】
ステップＳ１０３では、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得する。
【0022】
本開示の上記ステップＳ１０３による技術案では、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成した後、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすか否かを判断することができ、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと判断する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得する。
【0023】
この実施例では、第一のターゲット条件は、第一のテクスチャ画像と２次元顔画像に対応するターゲット真理値図との間の違いが許可可能な範囲内であるか否かを判断するために用いられてもよく、生成した第一のテクスチャ画像が第一のターゲット条件に合う場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得する。
【0024】
選択的に、第一のターゲット条件は、第一のテクスチャ画像の損失度が、ＲＧＢ平均単一チャンネル損失値が一定の閾値範囲内となるように下がることであってもよく、テクスチャ係数のトレーニングが安定していると決定することができ、例えば、第一のターゲット条件は、第一のテクスチャ画像の損失度について、ＲＧＢ平均単一チャンネル損失値が１０以内となるように下がることであってもよい。
【0025】
ステップＳ１０４では、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得する。
【0026】
本開示の上記ステップＳ１０４による技術案では、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得した後、第二のテクスチャベースが収束されるか否かを判断することによって、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行って、３次元顔画像を取得するか否かを決定することができる。第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得することができる。
【0027】
上記ステップＳ１０１～ステップＳ１０４によって、２次元顔画像の第一のテクスチャ係数を取得し、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成し、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得し、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得する。つまり、本開示は、テクスチャベースが収束されたことに応答するまで、テクスチャ係数とテクスチャベースとを交互にトレーニングし、テクスチャベースが収束されたことに応答すると、収束されたテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得することで、テクスチャ画像のテクスチャベースが収束するようにトレーニングすることを実現することによって、３次元顔画像再構築の効率が低い課題を解決し、３次元顔画像再構築の効率を向上させる技術的効果を達成する。
【0028】
以下、この実施例の上記方法をさらに詳細に説明する。
１つの選択的な実施の形態として、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するステップＳ１０４は、第二のテクスチャベースが収束されていないことに応答する場合、第一のテクスチャ係数と第二のテクスチャベースに基づいて、２次元顔画像の第二のテクスチャ画像を生成することと、第二のテクスチャ画像に基づいて第二のテクスチャベースが第二のターゲット条件を満たすと決定する場合、第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得することと、第二のテクスチャ係数を第一のテクスチャ係数として決定し、第二のテクスチャベースを第一のテクスチャベースとして決定し、第二のテクスチャベースが収束されたことに応答するまで、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するステップを実行することと、を含む。
１つの選択的な実施の形態として、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するステップＳ１０４は、第二のテクスチャベースが収束されていないことに応答する場合、第一のテクスチャ係数と第二のテクスチャベースに基づいて、２次元顔画像の第二のテクスチャ画像を生成することと、第二のテクスチャ画像に基づいて第二のテクスチャベースが第二のターゲット条件を満たすと決定する場合、第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得することと、第二のテクスチャ係数を第一のテクスチャ係数として決定し、第二のテクスチャベースを第一のテクスチャベースとして決定し、第二のテクスチャベースが収束されたことに応答するまで、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するステップを実行することと、を含む。
【0029】
この実施例では、第二のテクスチャベースが収束されていないことに応答する場合、第一のテクスチャ係数と第二のテクスチャベースに基づいて、２次元顔画像の第二のテクスチャ画像を生成することは、微分可能レンダラーによって第二のテクスチャ画像をレンダリングすることであってもよく、選択的に、第一のテクスチャ係数と第二のテクスチャベースとを線形演算し、第二の顔画像を取得してから、第二の顔画像を３Ｄ点群に貼り付けてｍｅｓｈを取得し、ｍｅｓｈとＯＢＪを微分可能レンダラーに入力し、第二のテクスチャ画像のレンダリングを行うことで、第二のテクスチャ画像を取得する。
【0030】
この実施例では、第二のテクスチャ画像に基づいて第二のテクスチャベースが第二のターゲット条件を満たすと決定する場合、第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得する。ここで、第二のターゲット条件は、第二のテクスチャベースが要求に合うか否かを判断するために用いられるものとして、テクスチャベースの表現範囲が大きくなったことであってもよく、第一のテクスチャ係数を更新する前に、ターゲットネットワークモデルのパラメータの重み付けを更新し、更新後のターゲットネットワークモデルに基づいて第一のテクスチャ係数を第二のテクスチャ係数に調整し、テクスチャ係数が安定値に達するまでトレーニングした場合、テクスチャベースは、１つのテンソルとして、それ自体の勾配は、畳み込みニューラルネットワークの勾配返送過程に関与し、重み付けが更新され始め、第二のテクスチャ係数を取得することをさらに含む。
【0031】
この実施例では、第二のテクスチャ係数を第一のテクスチャ係数として決定し、第二のテクスチャベースを第一のテクスチャベースとして決定し、第二のテクスチャベースが収束されたことに応答するまで、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するステップを実行し、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成することにおいて、第一のテクスチャ係数は、ステップＳ１０１において２次元顔画像をターゲットネットワークモデルＣＮＮに入力して予測することによって得られたものである一方、第一のテクスチャベースは、上述した、ターゲットネットワークモデルに入力して第一のテクスチャ係数を予測するための顔画像のテクスチャベースの値である。選択的に、予め用意した２次元顔画像のテクスチャベースは、１５５＊１０２４＊１０２４次元のテンソル（Ｔｅｎｓｏｒ）であってもよく、つまり、トレーニングの開始時に、第一のテクスチャベースは、固定値であり、トレーニング過程において、第二のテクスチャベースが収束されていないことに応答し、レンダリング図の損失度がテクスチャベースにフィードバックした際の勾配によって決定され、その後、テクスチャ係数を更新し、第二のテクスチャベースは、１つのテンソルとしてトレーニング過程に関与し、第一のテクスチャ係数と第一のテクスチャベースとを線形加算して計算することで、２次元顔画像のテクスチャ画像を再生成する。
【0032】
１つの選択的な実施の形態として、第二のテクスチャ画像に基づいて第二のテクスチャベースが第二のターゲット条件を満たすと決定することは、第二のテクスチャ画像に対してレンダリング処理を行い、第一のレンダリング画像を取得することと、第一のレンダリング画像と２次元顔画像に対応するターゲット真理値図との間の第一の損失度を取得することと、第一の損失度がターゲット閾値範囲内であると決定する場合、第二のテクスチャベースが第二のターゲット条件を満たすと決定することとを含む。
【0033】
この実施例では、第二のターゲット条件は、テクスチャベースをトレーニングする表現範囲が大きくなったことであってもよい。
【0034】
この実施例では、第一のテクスチャ画像に対してレンダリング処理を行う場合、生成した第二のテクスチャ画像を微分可能レンダラーに入力して、第一のレンダリング画像を取得することができる。微分可能レンダラーにおけるインバースレンダリング過程は、第一のテクスチャ画像とターゲットネットワークモデルＣＮＮにおける３Ｄモデルファイル（ＯＢＪ）とを統合してｍｅｓｈを取得し、つまり第一のテクスチャ画像を３Ｄ点群に貼り付けてｍｅｓｈを取得してから、ｍｅｓｈを微分可能レンダラーに入力し、第二のテクスチャ画像をレンダリングすることである。
【0035】
この実施例では、上記ＯＢＪは、モデルにおいて与えられたものでもよく、トレーニングすることによって生成したものであってもよく、ここで限定されない。
【0036】
この実施例では、第一のレンダリング画像と２次元顔画像に対応するターゲット真理値図との間の第一の損失度を取得し、第二のテクスチャ画像によってレンダリング処理されて得られた第一のレンダリング図と２次元顔画像との間の違いを比較することによって、違いを定量化し、第一のレンダリング画像と２次元顔画像に対応するターゲット真理値図との間の第一の損失度を計算する。
【0037】
この実施例では、第一の損失度がターゲット閾値範囲内であると決定する場合、第二のテクスチャベースが第二のターゲット条件を満たすと決定する。ここで、ターゲット閾値範囲は、損失度について、ＲＧＢ平均単一チャンネル損失値が１０以内となるように下がり、即ちテクスチャ係数のトレーニングが安定していることであってもよく、第二のターゲット条件は、テクスチャベースをトレーニングする表現範囲が大きくなったことであってもよい。第一のレンダリング図と２次元顔画像に対応するターゲット真理値図との間の差分をより小さくするために、ターゲット閾値範囲が十分に小さい値の範囲であるべきと決定し、つまり、要求される厳格性が高ければ高いほど、ターゲット閾値範囲が小さくなり、第一のレンダリング図も２次元顔画像に対応するターゲット真理値図に近づくようになる。
【0038】
１つの選択的な実施の形態として、２次元顔画像の第一のテクスチャ係数を取得するステップＳ１０１は、２次元顔画像をターゲットネットワークモデルに入力して処理し、第一のテクスチャ係数を取得することを含む。ここで、ターゲットネットワークモデルは、入力画像のテクスチャ係数を予測するために用いられる。第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得することは、ターゲットネットワークモデルのパラメータの重み付けを更新し、更新後のターゲットネットワークモデルに基づいて第一のテクスチャ係数を第二のテクスチャ係数に調整することを含む。
【0039】
この実施例では、２次元顔画像をターゲットネットワークモデルに入力して処理し、第一のテクスチャ係数を取得する。ここで、ターゲットネットワークモデルは、入力画像のテクスチャ係数を予測するために用いられ、ターゲットネットワークモデルは、畳み込みニューラルネットワークであってもよく、畳み込みニューラルネットワークの入力層は、マルチ次元データを処理可能であって、畳み込みニューラルネットワークがコンピュータビジョン分野において広く応用される。よって、その構造を説明する際には３次元入力データを予め仮定しており、即ち平面上の２ビット画素ドットとＲＧＢチャンネル、勾配降下アルゴリズムを用いて学習するため、畳み込みニューラルネットワークの入力特徴を正規化処理する必要がある。
【0040】
この実施例では、第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得することは、ターゲットネットワークモデルのパラメータの重み付けを更新し、更新後のターゲットネットワークモデルに基づいて第一のテクスチャ係数を第二のテクスチャ係数に調整し、ターゲットネットワークモデルのパラメータの重み付けを更新し、更新後のターゲットネットワークモデルに基づいて第一のテクスチャ係数を第二のテクスチャ係数に調整することを含み、テクスチャ係数が安定値に達するまでトレーニングした場合、テクスチャベースは、１つのテンソルとして、それ自体の勾配は、畳み込みニューラルネットワークの勾配返送過程に関与し、重み付けの更新が始まるため、畳み込みニューラルネットワークは、顔画像のテクスチャ係数を再予測することで、第一のテクスチャ係数に対する更新を実現し、第一のテクスチャ係数が更新された後の第二のテクスチャ係数を取得し、その後、テクスチャ係数とテクスチャ画像とを交互にトレーニングする過程において、テクスチャベースが１つのテンソルとして畳み込みニューラルネットワーク勾配返送過程に関与し、重み付けを更新することによって、交互トレーニング過程における第一のテクスチャ係数の更新を実現する。
【0041】
１つの選択的な実施の形態として、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定するステップＳ１０３は、第一のテクスチャ画像に対してレンダリング処理を行い、第二のレンダリング画像を取得することと、第二のレンダリング画像と２次元顔画像に対応するターゲット真理値図との間の第二の損失度を取得することと、第二の損失度がターゲット閾値範囲内であると決定する場合、第一のテクスチャ係数が第一のターゲット条件を満たすと決定することとを含む。
【0042】
この実施例では、第一のテクスチャ画像に対してレンダリング処理を行い、第二のレンダリング画像を取得する。第一のテクスチャ画像に対してレンダリング処理を行う場合、ステップＳ１０２において生成した第一のテクスチャ画像を微分可能レンダラーに入力して、第二のレンダリング画像を取得することができる。微分可能レンダラーにおけるインバースレンダリング過程は、第一のテクスチャ画像とターゲットネットワークモデルＣＮＮにおける３Ｄモデルファイル（ＯＢＪ）とを統合してｍｅｓｈを取得し、つまり第一のテクスチャ画像を３Ｄ点群に貼り付けてｍｅｓｈを取得してから、ｍｅｓｈを微分可能レンダラーに入力し、第二のテクスチャ画像をレンダリングすることである。
【0043】
この実施例では、第二のレンダリング画像と２次元顔画像に対応するターゲット真理値図との間の第二の損失度を取得し、第二のレンダリング画像と２次元顔画像に対応するターゲット真理値図との間の第二の損失度を計算し、つまり、第二のレンダリング画像と２次元顔画像に対応するターゲット真理値図との間の差分を比較し、第二の損失度という数値でこのような差分を定量化する。
【0044】
この実施例では、第二の損失度がターゲット閾値範囲内であると決定する場合、第一のテクスチャ係数が第一のターゲット条件を満たすと決定し、第二の損失度がターゲット閾値範囲内であるか否かを判断することによって、第一のテクスチャ係数が第一のターゲット条件を満たすか否かを判断する。第二のレンダリング図と２次元顔画像に対応するターゲット真理値図との間の差分をより小さくするために、ターゲット閾値範囲が十分に小さい値の範囲であるべきと決定し、つまり、要求される厳格性が高ければ高いほど、ターゲット閾値範囲が小さくなり、第二のレンダリング図も２次元顔画像に対応するターゲット真理値図に近づくようになり、第一のターゲット条件は、第二の損失度について、ＲＧＢ平均単一チャンネル損失値が１０以内となるように下がり、即ちテクスチャ係数のトレーニングが安定していることであってもよい。
【0045】
１つの選択的な実施の形態として、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得するステップＳ１０３は、第二の損失度に基づいて第一のテクスチャベースを第二のテクスチャベースに調整することを含む。
【0046】
この実施例では、第二の損失度について、ＲＧＢ平均単一チャンネル損失値が１０以内となるように下がり、即ちテクスチャ係数のトレーニングが安定している。
【0047】
１つの選択的な実施の形態として、第二の損失度に基づいて第一のテクスチャベースのテンソルを調整し、調整後のテンソルに対応するテクスチャベースを、第二のテクスチャベースとして決定する。
【0048】
この実施例では、テクスチャベースは、初期化時に１つのテンソル（ｔｅｎｓｏｒ）であり、テクスチャ係数がトレーニングされる際に、テクスチャベースは、１つのテンソルとして、その勾配がゼロであり、重み付けが更新されないが、テクスチャ係数が安定値に達するまでトレーニングした後、テクスチャベースがトレーニング過程に関与し、第二の損失度がターゲット閾値範囲以内である場合、第二の損失度に基づいて、第一のテクスチャベースのテンソルを更新してから、更新後のテンソルに対応するテクスチャベースを第二のテクスチャベースとして決定する。
【0049】
１つの選択的な実施の形態として、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するステップＳ１０４は、第一のテクスチャ係数と第二のテクスチャベースに基づいて、２次元顔画像の第二のテクスチャ画像を生成することと、第二のテクスチャ画像に基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得することと、を含む。
【0050】
この実施例では、第二のテクスチャベースが収束されたことに応答する場合、交互トレーニング過程は、終了し、収束された第二のテクスチャベースと第一のテクスチャ係数は、線形加算の計算によって、第二のテクスチャ画像を生成してから、第一のテクスチャ画像を３Ｄ点群に貼り付けてｍｅｓｈを取得し、ｍｅｓｈによって３次元顔画像をレンダリングすることができる。
【0051】
この実施例は、第二のテクスチャベースが収束されていないことに応答する場合、第一のテクスチャ係数と第二のテクスチャベースに基づいて、２次元顔画像の第二のテクスチャ画像を生成し、第二のテクスチャ画像に基づいて第二のテクスチャベースが第二のターゲット条件を満たすと決定する場合、第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得し、第二のテクスチャ係数を第一のテクスチャ係数として決定し、第二のテクスチャベースを第一のテクスチャベースとして決定し、第二のテクスチャベースが収束されたことに応答するまで、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するステップを実行することによって、テクスチャベースの収束効果を確保し、３次元顔再構築の効率が低い課題を解決し、３次元顔再構築の効率を向上させる技術的効果を達成する。
【0052】
【0053】
まず、２Ｄ顔画像を１枚用意する。
そして、用意した２Ｄ顔画像１枚をターゲットネットワークモデルに入力し、第一のテクスチャ係数を予測する。ここで、ターゲットネットワークモデルは、２Ｄ顔画像のテクスチャ係数（Ｔｅｘ ｐａｒａｍ）を出力する畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。
そして、用意した２Ｄ顔画像１枚をターゲットネットワークモデルに入力し、第一のテクスチャ係数を予測する。ここで、ターゲットネットワークモデルは、２Ｄ顔画像のテクスチャ係数（Ｔｅｘ ｐａｒａｍ）を出力する畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。
【0054】
それから、２Ｄ顔画像は、テクスチャベース（Ｔｅｘ ｂａｓｅ）を提供しており、テクスチャベースとテクスチャ係数とを線形加算して計算し、テクスチャ画像を生成する。
【0055】
最後に、生成したテクスチャ画像を３ＤモデルファイルＯＢＪと統合し、ｍｅｓｈを取得し、ｍｅｓｈを微分可能レンダラーに入力し、２Ｄレンダリング図を生成する。
【0056】
この実施例では、テクスチャ係数とテクスチャベースとを線形加算して計算することによって、第一のテクスチャ画像を取得し、テクスチャ画像を３Ｄ点群に貼り付けてｍｅｓｈを取得してから、ｍｅｓｈを微分可能レンダラーに入力し、第二のテクスチャ画像をレンダリングし、生成したレンダリング図は、ターゲット真理値図との間の損失度Ｌｏｓｓを計算するために用いられ、さらに損失度Ｌｏｓｓがターゲット閾値範囲内であると決定する。
【0057】
【0058】
ステップＳ３０１では、２次元顔画像を１枚用意する。
ステップＳ３０２では、２次元顔画像をターゲットネットワークモデルＣＮＮに入力する。
ステップＳ３０２では、２次元顔画像をターゲットネットワークモデルＣＮＮに入力する。
【0059】
本開示の上記ステップＳ３０２による技術案では、ターゲットネットワークモデルＣＮＮは、２次元顔画像の第一のテクスチャ係数を予測し、且つ、第二のテクスチャベースが収束されていないことに応答する場合、第一のテクスチャ係数と第二のテクスチャベースに基づいて、２次元顔画像の第二のテクスチャ画像を生成し、第二のテクスチャ画像に基づいて第二のテクスチャベースが第二のターゲット条件を満たすと決定する場合、第一のテクスチャ係数を更新し、第二のテクスチャ係数を取得し、第二のテクスチャ係数を第一のテクスチャ係数として決定し、第二のテクスチャベースを第一のテクスチャベースとして決定し、第二のテクスチャベースが収束されたことに応答するまで、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するステップを実行する過程において、テクスチャ係数は、いずれもターゲットネットワークモデルＣＮＮによって予測されたものであり、そのうち、テクスチャ係数のターゲットネットワークモデルＣＮＮにおける重み付けも更新される。
【0060】
ステップＳ３０３では、テクスチャ係数とテクスチャベースとを線形加算して計算し、テクスチャ画像を生成する。
【0061】
ステップＳ３０４では、生成したテクスチャ画像をモデルのＯＢＪファイルと統合し、ｍｅｓｈを取得し、ｍｅｓｈを微分可能レンダラーに入力し、２Ｄレンダリング図を生成する。
【0062】
ステップＳ３０５では、２Ｄ顔レンダリング図とターゲット顔真理値図（Ｇｔ図）の損失度Ｌｏｓｓを計算する。
【0063】
本開示の上記ステップＳ３０５による技術案では、損失度ＬｏｓｓはＲＧＢ平均単一チャンネル損失が１０以内となるに下がり、即ちテクスチャ係数のトレーニングが安定している。
【0064】
この実施例では、トレーニング過程において生成したテクスチャ図の２次元レンダリング画像とターゲット真理値図との間の損失度Ｌｏｓｓを計算することによって、ステップ１０３において、第二の損失度がターゲット閾値範囲内であると決定し、さらに第一のテクスチャ係数が第一のターゲット条件を満たすと決定し、第二の損失度に基づいて第一のテクスチャベースを第二のテクスチャベースに調整し、第二の損失度に基づいて第一のテクスチャベースのテンソルを調整する。また、１つの選択的な実施例において、第二のテクスチャ画像に基づいて第二のテクスチャベースが第二のターゲット条件を満たすと決定することは、第一の損失度がターゲット閾値範囲内であると決定する場合、第二のテクスチャベースが第二のターゲット条件を満たすと決定することを含む。
【0065】
本開示の実施例は、図１に示される実施例を実行するための画像処理装置をさらに提供する。
【0066】
【0067】
取得ユニット４１は、２次元顔画像の第一のテクスチャ係数を取得するために用いられ、畳み込みニューラルネットワーク（ＣＮＮ）をターゲットネットワークモデルとして、２次元顔画像をＣＮＮに入力して第一のテクスチャ係数を予測することができ、交互にトレーニングする過程において、取得ユニット４１は、第二のテクスチャベースに基づいて生成された第二のテクスチャ画像の第二のテクスチャ係数を予測してから、第二のテクスチャ係数を第一のテクスチャ係数として、テクスチャベースが安定するまで、テクスチャベースをトレーニングし続けるために用いられる。
【0068】
生成ユニット４２は、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するために用いられ、生成ユニット４２は、微分可能レンダラーを含み、具体的には、生成ユニットにおいて、第一のテクスチャ係数と第一のテクスチャベースとを線形加算して計算し、第一の顔画像を取得してから、第一の顔画像を３Ｄ点群に貼り付けてｍｅｓｈを取得し、ｍｅｓｈとＯＢＪとを微分可能レンダラーに入力し、テクスチャ画像のレンダリングを行うことで、第一のテクスチャ画像を取得する。
【0069】
更新ユニット４３は、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得するが、交互にトレーニングする過程において、第二のテクスチャベースが収束されていないことに応答する場合、第一のテクスチャ係数と第二のテクスチャベースに基づいて、２次元顔画像の第二のテクスチャ画像を生成し、第二のテクスチャ画像に基づいて前記第二のテクスチャベースが、テクスチャベースをトレーニングする表現範囲が大きくなったことであってもよい第二のターゲット条件を満たすと決定し、ターゲットネットワークモデルのパラメータの重み付けを更新することによって、さらに第一のテクスチャ係数を更新し、ＣＮＮモデルによって予測して第二のテクスチャ係数を取得してから、第二のテクスチャ係数を第一のテクスチャ係数として決定し、第二のテクスチャベースを第一のテクスチャベースとして決定し、第二のテクスチャベースが収束されたことに応答するまで、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成するステップを実行するために用いられる。
【0070】
再構築ユニット４４は、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得し、第二のテクスチャベースが収束されたことに応答する場合、第一のテクスチャ係数と第二のテクスチャベースに基づいて、２次元顔画像の第二のテクスチャ画像を生成し、第二のテクスチャ画像に基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得するために用いられる。
【0071】
この実施例の画像処理装置では、畳み込みニューラルネットワークによって２次元顔画像のテクスチャ係数を予測し、２次元顔画像のテクスチャベースとテクスチャ係数とを交互にトレーニングし、最終的にテクスチャ画像のテクスチャベースを収束させ、３次元顔再構築の効率が低い課題を解決し、３次元顔画像再構築の効率を向上させる技術的効果を達成する。
【0072】
本開示の技術案では、関わるユーザ個人情報の取得、記憶や応用などは、いずれも関連法律法規の規定に合致し、且つ公序良俗に違反しない。
【0073】
本開示の実施例によれば、本開示は、電子機器と、読み取り可能な記憶媒体とコンピュータプログラム製品とをさらに提供する。
【0074】
本開示の実施例は、電子機器を提供する。この電子機器は、少なくとも１つのプロセッサ、及び少なくとも１つのプロセッサと通信可能に接続されるメモリを含んでもよい。ここで、メモリには、少なくとも１つのプロセッサによって実行されることが可能な命令が記憶されており、命令が少なくとも１つのプロセッサによって実行されて、少なくとも１つのプロセッサに本開示の実施例の画像処理方法を実行させることができる。
【0075】
選択的に、上記電子機器は、上記プロセッサに接続される伝送機器及び上記プロセッサに接続される入力出力機器をさらに含んでもよい。
【0076】
選択的に、本実施例では、上記不揮発性記憶媒体は、以下のステップＳ１０１～Ｓ１０４を実行するためのコンピュータプログラムを記憶するように構成されてもよい。
【0077】
Ｓ１０１では、２次元顔画像の第一のテクスチャ係数を取得する。
Ｓ１０２では、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成する。
Ｓ１０２では、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成する。
【0078】
Ｓ１０３では、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得する。
【0079】
Ｓ１０４では、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得する。
【0080】
選択的に、本実施例では、上記非一時的なコンピュータ読み取り可能な記憶媒体は、電子的、磁気的、光学的、電磁的、赤外線的、又は半導体システム、装置又は機器、又は上記内容の任意の適宜な組み合わせを含んでもよいが、それらに限らない。読み取り可能な記憶媒体のより具体的な例として、１つ又は複数の線に基づく電气接続、携帯型コンピュータディスク、ハードディクス、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ファイバ、移動可能なコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記内容の任意の適宜な組み合わせを含む。
【0081】
本開示の実施例によれば、本開示は、コンピュータプログラムを含むコンピュータプログラム製品をさらに提供する。このコンピュータプログラムがプロセッサによって実行されると、以下のステップを実現させる。
【0082】
Ｓ１０１では、２次元顔画像の第一のテクスチャ係数を取得する。
Ｓ１０２では、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成する。
Ｓ１０２では、第一のテクスチャ係数と２次元顔画像の第一のテクスチャベースに基づいて、２次元顔画像の第一のテクスチャ画像を生成する。
【0083】
Ｓ１０３では、第一のテクスチャ画像に基づいて第一のテクスチャ係数が第一のターゲット条件を満たすと決定する場合、第一のテクスチャ画像に基づいて第一のテクスチャベースを更新し、第二のテクスチャベースを取得する。
【0084】
Ｓ１０４では、第二のテクスチャベースが収束されたことに応答する場合、第二のテクスチャベースに基づいて２次元顔画像に対して３次元再構築を行い、３次元顔画像を取得する。
【0085】
図５は、本開示の実施例による電子機器の模式的なブロック図である。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適宜なコンピュータを示すことを意図している。電子機器は、さらに、様々な形式の移動装置、例えば、パーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブルデバイス、及び他の類似しているコンピューティング装置を示してもよい。本明細書に示される部品、それらの接続と関係、及びそれらの機能は、単に例として使用され、また、本明細書に記述されている及び／又は要求される本開示の実施例の実現を制限することを意図しない。
【0086】
図５は、本開示の実施例を実施するための模式的な電子機器５００の模式的なブロック図を示す。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適宜なコンピュータを示すことを意図している。電子機器は、さらに、様々な形式の移動装置、例えば、パーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブルデバイス、及び他の類似しているコンピューティング装置を示してもよい。本明細書に示される部品、それらの接続と関係、及びそれらの機能は、単に例として使用され、また、本明細書に記述されている及び／又は要求される本開示の実施例の実現を制限することを意図しない。
【0087】
図５に示すように、機器５００は、リードオンリーメモリ（ＲＯＭ）５０２に記憶されたコンピュータプログラム、又は記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータプログラムに基づいて、様々な適宜な動作と処理を実行することができる計算ユニット５０１を含む。ＲＡＭ５０３には、機器５００の操作に必要な様々なプログラムとデータが記憶されてもよい。計算ユニット５０１、ＲＯＭ５０２及びＲＡＭ５０３は、バス５０４によって互いに接続されている。入出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。
【0088】
機器５００における複数の部品は、Ｉ／Ｏインターフェース５０５に接続され、例えばキーボード、マウスなどのような入力ユニット５０６、例えば様々なタイプのディスプレイ、スピーカなどのような出力ユニット５０７、例えば磁気ディスク、光ディスクなどのような記憶ユニット５０８、及び、例えばネットカード、モデム、無線通信送受信機などのような通信ユニット５０９を含む。通信ユニット５０９は、機器５００がインターネットのようなコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを許可する。
【0089】
計算ユニット５０１は、様々な処理と計算能力を有する汎用及び／又は専用処理コンポーネントであってもよい。計算ユニット５０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工智能（ＡＩ）計算チップ、機器学習モデルアルゴリズムを運行する様々な計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、及び任意の適当なプロセッサ、コントローラ、マイクロコントローラなどを含むが、それらに限らない。計算ユニット５０１は、上述した各方法と処理、例えば、生成したテクスチャ画像の２次元レンダリング図とターゲット真理値図との間の損失度を計算する方法実行する。例えば、いくつかの実施例において、方法で計算して生成したテクスチャ画像の２次元レンダリング図とターゲット真理値図との間の損失度は、コンピュータソフトウェアプログラムとしても実現されてもよく、それは、機器読み取り可能な媒体、例えば記憶ユニット５０８に有形的に含まれる。いくつかの実施例において、コンピュータプログラムの一部又は全ては、ＲＯＭ５０２及び／又は通信ユニット５０９を介して機器５００にロードされ、及び／又は取り付けられてもよい。コンピュータプログラムがＲＡＭ５０３にロードされ、計算ユニット５０１によって実行される場合、上述した方法で生成したテクスチャ画像の２次元レンダリング図とターゲット真理値図との間の損失度を計算する１つ又は複数のステップを実行してもよい。あるいは、他の実施例において、計算ユニット５０１は、他の任意の適当な方式（例えば、ファームウェアに頼る）によって生成したテクスチャ画像の２次元レンダリング図とターゲット真理値図との間の損失度を計算する方法を実行するように配置されてもよい。
【0090】
本明細書では、以上に記述されるシステムと技術の様々な実施の形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、チップ上システムのシステム（ＳＯＣ）、ロードプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせに実現されてもよい。これらの様々な実施の形態は、以下を含んでもよく、１つ又は複数のコンピュータプログラムに実施され、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行し、及び／又は解釈してもよく、このプログラマブルプロセッサは、専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、と少なくとも１つの出力装置からデータと命令を受信し、且つデータと命令をこの記憶システム、この少なくとも１つの入力装置、とこの少なくとも１つの出力装置に伝送してもよい。
【0091】
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを採用して作成してもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供して、プログラムコードがプロセッサ又はコントローラによって実行される時、フローチャート及び／又はブロック図に規定される機能／操作が実施されることができる。プログラムコードは、完全に機器上で実行され、部分的に機器上で実行され、独立したソフトウェアパッケージとして部分的に機器上で実行され、且つ部分的に遠隔機器上で実行され、又は完全に遠隔機器又はサーバ上で実行されてもよい。
【0092】
本開示のコンテキストでは、機器読み取り可能な媒体は、有形の媒体であってもよく、それは、命令実行システム、装置又は機器によって使用され、又は命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか、記憶してもよい。機器読み取り可能な媒体は、機器読み取り可能な信号媒体又は機器読み取り可能な記憶媒体であってもよい。機器読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線的、又は半導体システム、装置又は機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限らない。機器読み取り可能な記憶媒体のより具体的な例として、１つ又は複数の線に基づく電气接続、携帯型コンピュータディスク、ハードディクス、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ファイバ、便利なコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記内容の任意の適切な組み合わせを含む。
【0093】
ユーザとのインタラクションを提供するために、コンピュータ上でここに記述されるシステムと技術を実施してもよく、このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極管表示装置）又はＬＣＤ（液晶ディスプレイ）監視器）、及びキーボードと指向装置（例えば、マウス又はトラックボール）を有し、ユーザは、このキーボードとこの指向装置によって入力をコンピュータに提供することができる。他の種類の装置はさらに、ユーザとのインタラクションを提供するために用いられてもよく、例えば、ユーザに提供するフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、且つ任意の形式（音声入力、ボイス入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。
【0094】
ここに記述されるシステムと技術を、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとして）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィックスユーザインターフェース又はネットワークブラウザを有するユーザコンピュータ、ユーザは、このグラフィックスユーザインターフェース又はこのネットワークブラウザによってここに記述されているシステムと技術の実施の形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品を含む任意の組み合わせのコンピューティングシステムに実施してもよい。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムの部品を互に接続してもよい。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）とインターネットとを含む。
【0095】
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、一般的には、互いに離れており、通常、通信ネットワークによってインタラクションされる。該当するコンピュータ上で運行し、且つ互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバの関係を生成する。サーバは、クラウドサーバであってもよく、分散型システムのサーバであってもよく、又はブロックチェーンを結び付けたサーバであってもよい。
【0096】
理解すべきことは、上記に示される様々な形式のフローを用いて、順位を再並べ替え、ステップを追加し、削除してもよい。例えば、本開示に記載されている各ステップは、並列に実行されてもよく、順次に実行されてもよく、異なる手順で実行されてもよい。本開示に開示される技術案が望ましい結果を達成することができる限り、本明細書は、ここで制限しない。
【0097】
上記具体的な実施の形態は、本開示の保護範囲に対する制限を構成しない。当業者が理解すべきことは、設計要求と他の要素に基づいて、様々な修正、組み合わせ、サブ組み合わせと置き換えを行ってもよい。本開示の精神と原則内に行われる任意の修正、同等の置き換えと改良などは、本開示の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】