特開 2024-78653 画像処理装置、画像処理方法、及び、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078653

(43)【公開日】2024-06-11

(54)【発明の名称】画像処理装置、画像処理方法、及び、記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240604BHJP

   G06T 1/00 20060101ALI20240604BHJP

   G06V 40/16 20220101ALI20240604BHJP

   G06V 10/44 20220101ALN20240604BHJP

   G06V 10/772 20220101ALN20240604BHJP

【ＦＩ】

G06T7/00 660A

G06T1/00 340A

G06V40/16

G06V10/44

G06V10/772

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022191125

(22)【出願日】2022-11-30

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】大西 祥史

【テーマコード（参考）】

5B043

5B057

5L096

【Ｆターム（参考）】

5B043EA06

5B043GA02

5B043GA13

5B057DB02

5B057DC01

5B057DC33

5B057DC36

5L096CA02

5L096FA71

5L096FA72

5L096JA03

5L096JA11

5L096JA18

5L096KA03

(57)【要約】

【課題】元画像の本人性が維持されるように当該元画像の属性を変換した画像を生成することが可能な画像処理装置等を提供する。
【解決手段】画像処理装置において、スコア算出手段は、第１の顔画像がｎ個の顔画像各々に対してどの程度類似しているかを示す第１の類似スコア群と、第１の顔画像の属性を変換したｍ個の第２の顔画像がｎ個の顔画像各々に対してどの程度類似しているかを示すｍ組の第２の類似スコア群と、を算出する。スコア分布取得手段は、第１の類似スコア群の分布状態を示す第１のスコア分布と、ｍ組の第２の類似スコア群各々の分布状態を示すｍ個の第２のスコア分布と、を取得する。変換パラメータ取得手段は、第１のスコア分布とｍ個の第２のスコア分布との比較結果に基づき、変換パラメータを取得する。画像生成手段は、変換パラメータに基づき、第１の顔画像の属性を変換した顔画像を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出するスコア算出手段と、
前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得するスコア分布取得手段と、
前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得する変換パラメータ取得手段と、
前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する画像生成手段と、
を有する画像処理装置。

【請求項2】

前記第１のスコア分布と、前記ｍ個の第２のスコア分布各々と、の間における距離としてｍ個の距離を算出する距離算出手段をさらに有し、
前記変換パラメータ取得手段は、前記ｍ個の距離の算出結果を比較することにより、前記変換パラメータを取得する請求項１に記載の画像処理装置。

【請求項3】

前記変換パラメータ取得手段は、前記ｍ個の距離の算出結果に基づき、前記ｍ個の第２のスコア分布の中から、前記第１のスコア分布との距離が最小となる一のスコア分布を抽出し、当該一のスコア分布を取得するために前記第１の顔画像に対して適用された一の変換方法に対応する一の変換パラメータを取得する請求項２に記載の画像処理装置。

【請求項4】

前記変換パラメータ取得手段は、前記ｍ個の距離の算出結果に基づき、前記ｍ個の第２のスコア分布の中から、前記第１のスコア分布との距離が小さい順に複数のスコア分布を抽出し、当該複数のスコア分布を取得するために前記第１の顔画像に対して適用された複数の変換方法各々に対応する複数の変換パラメータを取得する請求項２に記載の画像処理装置。

【請求項5】

前記スコア分布取得手段は、前記ｎ個の顔画像のうちの共通のｐ（２≦ｐ≦ｎ）個の顔画像から算出されたｐ個の類似スコアを用い、前記第１のスコア分布と、前記ｍ個の第２のスコア分布と、を取得する請求項１に記載の画像処理装置。

【請求項6】

前記スコア分布取得手段は、前記ｐ個の類似スコアのうちの上位ｋ（２≦ｋ≦ｐ）個の類似スコアの分布状態を示す前記第１のスコア分布を取得するとともに、前記ｐ個の類似スコアのうちの上位ｋ個の類似スコアの分布状態を示す前記ｍ個の第２のスコア分布を取得する請求項５に記載の画像処理装置。

【請求項7】

対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出し、
前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得し、
前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得し、
前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する画像処理方法。

【請求項8】

対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出し、
前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得し、
前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得し、
前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、元画像とは異なる画像を生成する画像処理の技術に関する。

【背景技術】

【0002】

元画像に対して画像処理を施すことにより、当該元画像とは異なる画像を生成する技術が近年提案されている。

【0003】

具体的には、例えば、特許文献１には、年齢層の異なる平均顔データから年齢による顔の変化を示す年齢差ベクトルを算出し、当該年齢差ベクトルを用いて対象人物の顔画像を加工することにより、当該顔画像の年齢を変換した他の顔画像を生成する観点が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－１７０４８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に開示された技術によれば、年齢変換後の顔画像として、元画像の本人性が損なわれた画像が生成される場合がある、という課題が生じている。

【0006】

本開示の１つの目的は、元画像の本人性が維持されるように当該元画像の属性を変換した画像を生成することが可能な画像処理装置を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一つの観点では、画像処理装置は、対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出するスコア算出手段と、前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得するスコア分布取得手段と、前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得する変換パラメータ取得手段と、前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する画像生成手段と、を有する。

【0008】

本開示の他の観点では、画像処理方法は、対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出し、前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得し、前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得し、前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する。

【0009】

本開示のさらに他の観点では、記録媒体は、対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出し、前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得し、前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得し、前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する処理をコンピュータに実行させるプログラムを記録する。

【発明の効果】

【0010】

本開示によれば、元画像の本人性が維持されるように当該元画像の属性を変換した画像を生成することが可能となる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る画像処理装置のハードウェア構成を示すブロック図。

【図2】第１実施形態に係る画像処理装置の機能構成を示すブロック図。

【図3】第１実施形態に係る画像処理装置に含まれる本人性データ取得部の構成の一例を示す図。

【図4】第１実施形態に係る画像処理装置において行われる処理の一例を示すフローチャート。

【図5】第２実施形態に係る画像処理装置の機能構成を示すブロック図。

【図6】第２実施形態に係る画像処理装置において行われる処理を説明するためのフローチャート。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本開示の好適な実施形態について説明する。

【0013】

＜第１実施形態＞
［ハードウェア構成］
図１は、第１実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。画像処理装置１００は、図１に示すように、インタフェース（ＩＦ）１１１と、プロセッサ１１２と、メモリ１１３と、記録媒体１１４と、データベース（ＤＢ）１１５と、表示装置１１６と、入力装置１１７と、を有している。

【0014】

ＩＦ１１１は、外部装置との間でデータの入出力を行う。ＩＦ１１１は、例えば、カメラにより撮影された対象人物の顔画像等を受信する。

【0015】

プロセッサ１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、画像処理装置１００の全体を制御する。具体的には、プロセッサ１１２は、対象人物の顔画像の属性を変換した他の顔画像の生成に係る処理等を行う。

【0016】

メモリ１１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１１３は、プロセッサ１１２による各種の処理の実行中に作業メモリとしても使用される。

【0017】

記録媒体１１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、画像処理装置１００に対して着脱可能に構成される。記録媒体１１４は、プロセッサ１１２が実行する各種のプログラムを記録している。画像処理装置１００が各種の処理を実行する際には、記録媒体１１４に記録されているプログラムがメモリ１１３にロードされ、プロセッサ１１２により実行される。

【0018】

ＤＢ１１５には、例えば、ＩＦ１１１において受信した顔画像、及び、プロセッサ１１２の処理により得られた属性変換後の顔画像等が格納される。

【0019】

表示装置１１６は、例えば、液晶ディスプレイ等を有している。また、表示装置１１６は、必要に応じ、プロセッサ１１２の処理により得られた属性変換後の顔画像等を表示する。

【0020】

入力装置１１７は、例えば、キーボード、マウス及びタッチパネル等のうちの少なくともいずれか１つを有している。また、入力装置１１７は、ユーザの操作に応じた指示をプロセッサ１１２に対して行う。具体的には、入力装置１１７は、ユーザの操作に応じ、対象人物の顔画像の属性変換に係る指示を行う。

【0021】

［機能構成］
図２は、第１実施形態に係る画像処理装置の機能構成を示すブロック図である。画像処理装置１００は、図２に示すように、データ格納部１１と、属性関連データ取得部１２と、本人性データ取得部１３と、属性変換画像生成部１４と、を有している。

【0022】

データ格納部１１には、ｎ（ｎ≧２）個の顔画像と、当該ｎ個の顔画像各々の特徴を表す情報である特徴情報と、を紐付けたデータが格納されている。なお、前述の特徴情報には、例えば、ｎ個の顔画像各々に対応する特徴量及び潜在空間ベクトルのうちの少なくとも一方が含まれていればよい。また、潜在空間ベクトルは、例えば、Ｄｉｅｄｅｒｉｋ Ｐ． Ｋｉｎｇｍａ， ｅｔ．ａｌ， 「Ｇｌｏｗ： Ｇｅｎｅｒａｔｉｖｅ Ｆｌｏｗ ｗｉｔｈ Ｉｎｖｅｒｔｉｂｌｅ １×１ Ｃｏｎｖｏｌｕｔｉｏｎｓ」等に開示された潜在空間の特徴量を含むベクトルとして生成することができる。

【0023】

属性関連データ取得部１２は、画像処理装置１００の外部から入力される対象人物の顔画像（以降、元画像とも称する）と、データ格納部１１に格納されているデータと、に基づいて属性関連データを取得し、当該取得した属性関連データを本人性データ取得部１３へ出力する。

【0024】

ここで、属性関連データの取得方法に係る第１の具体例について説明する。

【0025】

属性関連データ取得部１２は、元画像から算出した特徴量を、当該元画像の特徴を表す特徴情報として抽出する。また、属性関連データ取得部１２は、データ格納部１１に格納されているデータの中から、第１の属性を有する複数の顔画像と、第２の属性を有する複数の顔画像と、を抽出する。本具体例においては、属性関連データ取得部１２は、第１の属性または第２の属性のいずれかが元画像に含まれる属性と同じ属性になるように顔画像を抽出することが望ましい。また、属性関連データ取得部１２は、第１の属性を有する複数の顔画像と、当該複数の顔画像各々に紐付けられた複数の特徴量と、に基づき、当該第１の属性の平均的な状態を表す第１の平均顔画像を生成する。また、属性関連データ取得部１２は、第２の属性を有する複数の顔画像と、当該複数の顔画像各々に紐付けられた複数の特徴量と、に基づき、当該第２の属性の平均的な状態を表す第２の平均顔画像を生成する。また、属性関連データ取得部１２は、第１の平均顔画像と、第２の平均顔画像と、の間の差を示すベクトルに相当する差分ベクトルを算出する。また、属性関連データ取得部１２は、データ格納部１１に格納されているデータの中から抽出する顔画像または属性を変更しつつ、以上に述べた処理をｍ（ｍ≧２）回繰り返し行うことにより、ｍ個の差分ベクトルを算出する。そして、属性関連データ取得部１２は、元画像の特徴を表す特徴情報（特徴量）と、前述のように算出したｍ個の差分ベクトルと、を含むデータを属性関連データとして取得する。なお、属性関連データ取得部１２は、例えば、顔画像の属性変換に係る指示が行われたタイミングにおいて、ｍ個の差分ベクトルの算出に係る処理を開始するようにしてもよい。また、属性関連データ取得部１２は、例えば、顔画像の属性変換に係る指示が行われる前に、ｍ個の差分ベクトルの算出に係る処理を完了しておいてもよい。

【0026】

次に、属性関連データの取得方法に係る第２の具体例について説明する。

【0027】

属性関連データ取得部１２は、元画像から算出した潜在空間ベクトルを、当該元画像の特徴を表す特徴情報として抽出する。また、属性関連データ取得部１２は、データ格納部１１に格納されているデータの中から、第１の属性を有する複数の顔画像と、第２の属性を有する複数の顔画像と、を抽出する。本具体例においては、属性関連データ取得部１２は、第１の属性または第２の属性のいずれかが元画像に含まれる属性と同じ属性になるように顔画像を抽出することが望ましい。また、属性関連データ取得部１２は、元画像から算出した潜在空間ベクトルと、第１の属性を有する複数の顔画像と、当該複数の顔画像各々に紐付けられた複数の潜在空間ベクトルと、に基づき、当該第１の属性の平均的な状態を表す第１の平均潜在空間ベクトルを生成する。また、属性関連データ取得部１２は、元画像から算出した潜在空間ベクトルと、第２の属性を有する複数の顔画像と、当該複数の顔画像各々に紐付けられた複数の潜在空間ベクトルと、に基づき、当該第２の属性の平均的な状態を表す第２の平均潜在空間ベクトルを生成する。また、属性関連データ取得部１２は、第１の平均潜在空間ベクトルと、第２の平均潜在空間ベクトルと、の間の差を示すベクトルに相当する差分ベクトルを算出する。また、属性関連データ取得部１２は、データ格納部１１に格納されているデータの中から抽出する顔画像または属性を変更しつつ、以上に述べた処理をｍ回繰り返し行うことにより、ｍ個の差分ベクトルを算出する。そして、属性関連データ取得部１２は、元画像の特徴を表す特徴情報（潜在空間ベクトル）と、前述のように算出したｍ個の差分ベクトルと、を含むデータを属性関連データとして取得する。なお、属性関連データ取得部１２は、例えば、顔画像の属性変換に係る指示が行われたタイミングにおいて、ｍ個の差分ベクトルの算出に係る処理を開始するようにしてもよい。また、属性関連データ取得部１２は、例えば、顔画像の属性変換に係る指示が行われるよりも前に、ｍ個の差分ベクトルの算出に係る処理を完了しておいてもよい。

【0028】

すなわち、以上に述べた具体例によれば、属性関連データ取得部１２は、元画像の特徴を表す特徴情報としての特徴量または潜在空間ベクトルと、ｍ個の差分ベクトルと、を含む属性関連データを取得し、当該取得した属性関連データを本人性データ取得部１３へ出力する。

【0029】

本人性データ取得部１３は、データ格納部１１に格納されているデータと、属性関連データ取得部１２により得られた属性関連データと、に基づき、元画像の本人性を維持しつつ当該元画像の属性変換を行うことが可能な少なくとも１つの変換パラメータを取得する。また、本人性データ取得部１３は、前述の変換パラメータと、属性関連データ取得部１２により得られた属性関連データに含まれる特徴情報と、を含む本人性データを取得し、当該取得した本人性データを属性変換画像生成部１４へ出力する。また、本人性データ取得部１３は、図３に示すように、類似スコア算出部１３Ａと、スコア分布取得部１３Ｂと、距離算出部１３Ｃと、変換パラメータ取得部１３Ｄと、を有している。図３は、第１実施形態に係る画像処理装置に含まれる本人性データ取得部の構成の一例を示す図である。

【0030】

類似スコア算出部１３Ａは、スコア算出手段としての機能を有している。また、類似スコア算出部１３Ａは、データ格納部１１に格納されているデータに含まれる特徴情報と、属性関連データに含まれる特徴情報と、に基づき、元画像がｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコア（以降、元画像に対応する類似スコア群とも称する）を算出する。また、類似スコア算出部１３Ａは、属性関連データに含まれるｍ個の差分ベクトルを個別に用い、当該属性関連データに含まれる特徴情報を変換することにより、ｍ個の変換後の特徴情報を取得する。換言すると、類似スコア算出部１３Ａは、属性関連データに含まれる特徴情報に対し、当該属性関連データに含まれるｍ個の差分ベクトル各々に対応するｍ個の変換方法を個別に適用することにより、ｍ個の変換後の特徴情報を取得する。また、類似スコア算出部１３Ａは、データ格納部１１に格納されているデータに含まれる特徴情報と、ｍ個の変換後の特徴情報と、に基づき、属性変換後の顔画像がｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコア（以降、属性変換後の顔画像に対応する類似スコア群とも称する）をｍ組算出する。

【0031】

スコア分布取得部１３Ｂは、スコア分布取得手段としての機能を有している。また、スコア分布取得部１３Ｂは、元画像に対応する類似スコア群について、ｐ（２≦ｐ≦ｎ）個の類似スコアを抽出し、当該抽出したｐ個の類似スコアの分布状態を示すスコア分布を取得する。すなわち、元画像に対応するスコア分布は、当該元画像に対応する類似スコア群における少なくとも一部の類似スコアの分布状態を示していればよい。また、スコア分布取得部１３Ｂは、属性変換後の顔画像に対応するｍ組の類似スコア群各々について、ｐ個の類似スコアを抽出し、当該抽出したｐ個の類似スコアの分布状態を示すスコア分布を取得する。このような処理によれば、スコア分布取得部１３Ｂは、属性変換後の顔画像に対応するｍ個のスコア分布を取得することができる。なお、スコア分布取得部１３Ｂは、元画像に対応するスコア分布と、属性変換後の顔画像に対応するｍ個のスコア分布と、を取得する際に、データ格納部１１に格納されているｎ個の顔画像のうちの共通のｐ個の顔画像から算出されたｐ個の類似スコアを用いることが望ましい。

【0032】

スコア分布取得部１３Ｂは、元画像に対応するスコア分布と、属性変換後の顔画像に対応するｍ個のスコア分布と、を取得する際に、前述のｐ個の類似スコアのうちの上位ｋ（２≦ｋ≦ｐ）個の類似スコアの分布状態を示すスコア分布を取得するようにしてもよい。このような処理によれば、スコア分布取得部１３Ｂは、ｐ個の類似スコアのうち、相対的に重要度の低い（ｐ－ｋ）個の類似スコアが除外され、かつ、相対的に重要度の高いｋ個の類似スコアが含まれるスコア分布を取得することができる。そのため、前述の処理によれば、例えば、本人性データの取得に係る処理速度を向上させることができる。また、前述の処理によれば、例えば、本人性データの取得に係る処理に用いられるメモリ量を削減することができる。

【0033】

スコア分布取得部１３Ｂは、例えば、属性変換後の顔画像に対応する類似スコアとして、元画像に対応する類似スコアからのスコアの増加量が大きなｑ（１≦ｑ）個の類似スコアが算出された場合に、属性変換後の顔画像に対応するスコア分布として、（ｐ＋ｑ）個の類似スコアの分布状態を示すスコア分布を取得するようにしてもよい。このような場合においては、スコア分布取得部１３Ｂは、元画像に対応するスコア分布を、ｎ個の顔画像のうちの共通の（ｐ＋ｑ）個の顔画像から算出された（ｐ＋ｑ）個の類似スコアの分布状態を示すスコア分布に置き換えるようにすればよい。このような処理によれば、スコア分布取得部１３Ｂは、ｐ個の類似スコアと、当該ｐ個の類似スコアよりも重要度の高いｑ個の類似スコアと、を含むスコア分布を取得することができる。そのため、前述の処理によれば、例えば、本人性データの取得に係る処理効率を向上させることができる。

【0034】

すなわち、属性変換後の顔画像に対応するスコア分布は、当該属性変換後の顔画像に対応する類似スコア群における少なくとも一部の類似スコアの分布状態を示していればよい。また、スコア分布取得部１３Ｂは、共通の顔画像から算出された類似スコアを用い、元画像に対応するスコア分布と、属性変換後の顔画像に対応するｍ個のスコア分布と、を取得するようにしてもよい。

【0035】

距離算出部１３Ｃは、距離算出手段としての機能を有している。また、距離算出部１３Ｃは、元画像に対応するスコア分布と、属性変換後の顔画像に対応するｍ個のスコア分布各々と、の間における距離としてｍ個の距離を算出する。具体的には、距離算出部１３Ｃは、例えば、元画像に対応するスコア分布の面積を１に正規化し、属性変換後の顔画像に対応するｍ個のスコア分布各々の面積を１に正規化した状態において、ＫＬ（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ）ダイバージェンスを用いた演算を行うことにより、スコア分布間の距離を算出する。

【0036】

変換パラメータ取得部１３Ｄは、変換パラメータ取得手段としての機能を有している。また、変換パラメータ取得部１３Ｄは、ｍ個の距離の算出結果に基づき、属性変換後の顔画像に対応するｍ個のスコア分布の中から、元画像に対応するスコア分布との距離が最小となる一のスコア分布を抽出する。また、変換パラメータ取得部１３Ｄは、属性関連データに含まれるｍ個の差分ベクトルの中から、前述のように抽出した一のスコア分布に含まれる一組の類似スコア群の算出の根拠となる一の差分ベクトルを特定する。また、変換パラメータ取得部１３Ｄは、前述のように特定した一の差分ベクトルを、元画像の本人性を維持しつつ当該元画像の属性変換を行うことが可能な一の変換パラメータとして取得する。また、変換パラメータ取得部１３Ｄは、前述の一の変換パラメータと、属性関連データ取得部１２により得られた属性関連データの特徴情報と、を含む本人性データを取得し、当該取得した本人性データを属性変換画像生成部１４へ出力する。

【0037】

変換パラメータ取得部１３Ｄは、属性変換後の顔画像に対応するｍ個のスコア分布の中から、元画像に対応するスコア分布との距離が小さい順に複数のスコア分布を抽出し、属性関連データに含まれるｍ個の差分ベクトルの中から、当該複数のスコア分布に含まれる類似スコア群各々の算出の根拠となる複数の差分ベクトルを特定するものであってもよい。このような場合には、変換パラメータ取得部１３Ｄは、前述のように特定した複数の差分ベクトルを、元画像の本人性を維持しつつ当該元画像の属性変換を行うことが可能な複数の変換パラメータとして取得すればよい。

【0038】

変換パラメータ取得部１３Ｄは、属性変換後の顔画像に対応するｍ個のスコア分布の中から、元画像に対応するスコア分布との距離が閾値以下となる複数のスコア分布を抽出し、属性関連データに含まれるｍ個の差分ベクトルの中から、当該複数のスコア分布に含まれる類似スコア群各々の算出の根拠となる複数の差分ベクトルを特定するものであってもよい。このような場合には、変換パラメータ取得部１３Ｄは、前述のように特定した複数の差分ベクトルを、元画像の本人性を一定の範囲内で維持しつつ当該元画像の属性変換を行うことが可能な複数の変換パラメータとして取得すればよい。

【0039】

すなわち、変換パラメータ取得部１３Ｄは、元画像に対応するスコア分布と属性変換後の顔画像に対応するｍ個のスコア分布との比較結果に基づき、類似スコア算出部１３Ａにおいて適用されたｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得する。また、変換パラメータ取得部１３Ｄは、距離算出部１３Ｃにより得られたｍ個の距離の算出結果を比較することにより、変換パラメータを取得する。また、変換パラメータ取得部１３Ｄは、ｍ個の距離の算出結果に基づき、ｍ個の属性変換後の顔画像に対応するスコア分布の中から、元画像に対応するスコア分布との距離が最小となる一のスコア分布を抽出し、当該一のスコア分布を取得するために当該元画像に対して適用された一の変換方法に対応する一の変換パラメータを取得する。また、変換パラメータ取得部１３Ｄは、ｍ個の距離の算出結果に基づき、ｍ個の属性変換後の顔画像に対応するスコア分布の中から、元画像のスコア分布との距離が小さい順に複数のスコア分布を抽出し、当該複数のスコア分布を取得するために当該元画像に対して適用された複数の変換方法各々に対応する複数の変換パラメータを取得する。

【0040】

属性変換画像生成部１４は、画像生成手段としての機能を有している。また、属性変換画像生成部１４は、本人性データ取得部１３から出力される本人性データに含まれる変換パラメータ及び特徴情報に基づき、元画像の属性を変換した顔画像を生成する。具体的には、属性変換画像生成部１４は、例えば、学習済の画像生成モデルに対し、本人性データに含まれる一の変換パラメータに相当する一の差分ベクトルと、当該本人性データの特徴情報に含まれる特徴量または潜在空間ベクトルと、を入力することにより、元画像の属性を変換した顔画像を生成する。

【0041】

属性変換画像生成部１４は、例えば、複数の変換パラメータに相当する複数の差分ベクトルが本人性データに含まれている場合には、当該複数の差分ベクトル各々と、当該本人性データに含まれる特徴情報と、に基づいて元画像の属性を変換した複数の顔画像を生成するようにすればよい。このような処理によれば、例えば、属性変換後の複数の顔画像をユーザに提示することができるとともに、当該複数の顔画像の中で最も好適な属性変換が行われた一の画像の選択を当該ユーザに促すことができる。

【0042】

以上に述べたような画像処理装置１００の各部の機能によれば、平均顔画像または平均潜在空間ベクトルを生成可能な限りにおいては、元画像の本人性を維持しつつ、当該元画像の属性を様々な属性に変換した顔画像を生成することができる。具体的には、以上に述べたような画像処理装置１００の各部の機能によれば、例えば、元画像の本人性を維持しつつ、当該元画像の年齢を増加または減少させた顔画像を生成することができる。また、以上に述べたような画像処理装置１００の各部の機能によれば、例えば、元画像の本人性を維持しつつ、当該元画像のＢＭＩ（Ｂｏｄｙ Ｍａｓｓ Ｉｎｄｅｘ）を増加または減少させた顔画像を生成することができる。また、以上に述べたような画像処理装置１００の各部の機能によれば、例えば、元画像の本人性を維持しつつ、当該元画像の病状を良化または悪化させた顔画像を生成することができる。なお、本実施形態に係る画像処理装置１００により変換可能な属性としては、例えば、年齢、体重、ＢＭＩ、性別、人種、及び、化粧等が挙げられる。

【0043】

［処理フロー］
続いて、第１実施形態に係る画像処理装置において行われる処理の流れについて説明する。図４は、第１実施形態に係る画像処理装置において行われる処理の一例を示すフローチャートである。

【0044】

まず、属性関連データ取得部１２は、前述の第１の具体例または第２の具体例のいずれかの処理を行うことにより、元画像の特徴を表す特徴情報と、ｍ個の差分ベクトルと、を含む属性関連データを取得する（ステップＳ１１）。

【0045】

次に、本人性データ取得部１３は、ステップＳ１１により得られた属性関連データに基づく処理により、元画像の特徴を表す特徴情報と、当該元画像の本人性を維持しつつ当該元画像の属性変換を行うことが可能な少なくとも１つの変換パラメータと、を含む本人性データを取得する（ステップＳ１２）。

【0046】

続いて、属性変換画像生成部１４は、ステップＳ１２により得られた本人性データに基づき、元画像の属性を変換した顔画像を生成する（ステップＳ１３）。

【0047】

以上に述べたように、本実施形態によれば、類似スコア群を含む複数のスコア分布の比較結果に基づいて得られた差分ベクトルを変換パラメータとして用い、元画像の属性を変換した顔画像を生成することができる。そのため、本実施形態によれば、元画像の本人性が維持されるように当該元画像の属性を変換した画像を生成することができる。

【0048】

＜第２実施形態＞
図５は、第２実施形態に係る画像処理装置の機能構成を示すブロック図である。

【0049】

本実施形態に係る画像処理装置５００は、画像処理装置１００と同様のハードウェア構成を有している。また、画像処理装置５００は、スコア算出手段５０１と、スコア分布取得手段５０２と、変換パラメータ取得手段５０３と、画像生成手段５０４と、を有している。

【0050】

図６は、第２実施形態に係る画像処理装置において行われる処理を説明するためのフローチャートである。

【0051】

スコア算出手段５０１は、対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出する（ステップＳ５１）。

【0052】

スコア分布取得手段５０２は、第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得する（ステップＳ５２）。

【0053】

変換パラメータ取得手段５０３は、第１のスコア分布とｍ個の第２のスコア分布との比較結果に基づき、ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得する（ステップＳ５３）。

【0054】

画像生成手段５０４は、変換パラメータに基づき、第１の顔画像の属性を変換した顔画像を生成する（ステップＳ５４）。

【0055】

本実施形態によれば、元画像の本人性が維持されるように当該元画像の属性を変換した画像を生成することができる。

【0056】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0057】

（付記１）
対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出するスコア算出手段と、
前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得するスコア分布取得手段と、
前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得する変換パラメータ取得手段と、
前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する画像生成手段と、
を有する画像処理装置。

【0058】

（付記２）
前記第１のスコア分布と、前記ｍ個の第２のスコア分布各々と、の間における距離としてｍ個の距離を算出する距離算出手段をさらに有し、
前記変換パラメータ取得手段は、前記ｍ個の距離の算出結果を比較することにより、前記変換パラメータを取得する付記１の画像処理装置。

【0059】

（付記３）
前記変換パラメータ取得手段は、前記ｍ個の距離の算出結果に基づき、前記ｍ個の第２のスコア分布の中から、前記第１のスコア分布との距離が最小となる一のスコア分布を抽出し、当該一のスコア分布を取得するために前記第１の顔画像に対して適用された一の変換方法に対応する一の変換パラメータを取得する付記２の画像処理装置。

【0060】

（付記４）
前記変換パラメータ取得手段は、前記ｍ個の距離の算出結果に基づき、前記ｍ個の第２のスコア分布の中から、前記第１のスコア分布との距離が小さい順に複数のスコア分布を抽出し、当該複数のスコア分布を取得するために前記第１の顔画像に対して適用された複数の変換方法各々に対応する複数の変換パラメータを取得する付記２の画像処理装置。

【0061】

（付記５）
前記スコア分布取得手段は、前記ｎ個の顔画像のうちの共通のｐ（２≦ｐ≦ｎ）個の顔画像から算出されたｐ個の類似スコアを用い、前記第１のスコア分布と、前記ｍ個の第２のスコア分布と、を取得する付記１の画像処理装置。

【0062】

（付記６）
前記スコア分布取得手段は、前記ｐ個の類似スコアのうちの上位ｋ（２≦ｋ≦ｐ）個の類似スコアの分布状態を示す前記第１のスコア分布を取得するとともに、前記ｐ個の類似スコアのうちの上位ｋ個の類似スコアの分布状態を示す前記ｍ個の第２のスコア分布を取得する付記５の画像処理装置。

【0063】

（付記７）
対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出し、
前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得し、
前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得し、
前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する画像処理方法。

【0064】

（付記８）
対象人物の顔画像に相当する第１の顔画像がｎ（ｎ≧２）個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含む第１の類似スコア群と、当該第１の顔画像に対してｍ（ｍ≧２）個の変換方法を個別に適用することにより当該第１の顔画像の属性を変換したｍ個の第２の顔画像が当該ｎ個の顔画像各々に対してどの程度類似しているかを示すｎ個の類似スコアを含むｍ組の第２の類似スコア群と、を算出し、
前記第１の類似スコア群における少なくとも一部の類似スコアの分布状態を示す第１のスコア分布と、前記ｍ組の第２の類似スコア群各々における少なくとも一部の類似スコアの分布状態を示すｍ個の第２のスコア分布と、を取得し、
前記第１のスコア分布と前記ｍ個の第２のスコア分布との比較結果に基づき、前記ｍ個の変換方法のうちの少なくとも１つの変換方法に対応する少なくとも１つの変換パラメータを取得し、
前記変換パラメータに基づき、前記第１の顔画像の属性を変換した顔画像を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。

【0065】

以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0066】

１１ データ格納部
１２ 属性関連データ取得部
１３ 本人性データ取得部
１４ 属性変換画像生成部
１００ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】