特開 2024-7790 コンピュータプログラム、および、画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024007790

(43)【公開日】2024-01-19

(54)【発明の名称】コンピュータプログラム、および、画像処理装置

(51)【国際特許分類】

   G06T 11/80 20060101AFI20240112BHJP

【ＦＩ】

G06T11/80 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022109117

(22)【出願日】2022-07-06

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】澤野 賢太郎

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA09

5B050BA06

5B050BA11

5B050BA12

5B050CA01

5B050DA01

5B050EA04

5B050EA09

5B050EA12

5B050EA13

5B050EA19

5B050FA02

5B050FA05

(57)【要約】

【課題】画像によって表される生物を考慮して画像の少なくとも一部を変更する
【解決手段】
顔と顔以外の部分とを含む生物を表す対象画像を使用して、生物の姿勢を推定する。推定された姿勢に応じて対象画像の少なくとも一部の画像を変更する推定対応処理を含む画像処理を実行することによって、出力画像を生成する。また、顔を含む生物を表す対象画像を使用して、顔の表情を推定する。推定された表情に応じて対象画像の少なくとも一部の画像を変更する推定対応処理を含む画像処理を実行することによって、出力画像を生成する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

コンピュータプログラムであって、
顔と顔以外の部分とを含む生物を表す対象画像を使用して、前記生物の姿勢を推定する推定機能と、
推定された姿勢に応じて前記対象画像の少なくとも一部の画像を変更する推定対応処理を含む画像処理を実行することによって、出力画像を生成する出力生成機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項2】

請求項１に記載のコンピュータプログラムであって、
前記推定される姿勢が所定の種類の姿勢である場合に実行される特定の推定対応処理は、前記顔の表情を含む前記生物の外観を変更する外観変更処理と、前記対象画像のスタイルを変更する処理と、前記対象画像の背景を変更する処理とのうちの、少なくとも１以上の処理を含む、
コンピュータプログラム。

【請求項3】

コンピュータプログラムであって、
顔を含む生物を表す対象画像を使用して、前記顔の表情を推定する推定機能と、
推定された表情に応じて前記対象画像の少なくとも一部の画像を変更する推定対応処理を含む画像処理を実行することによって、出力画像を生成する出力生成機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項4】

請求項３に記載のコンピュータプログラムであって、
前記推定される表情が所定の種類の表情である場合に実行される特定の推定対応処理は、前記生物の姿勢を含む前記生物の外観を変更する外観変更処理と、前記対象画像のスタイルを変更する処理と、前記対象画像の背景を変更する処理とのうちの、少なくとも１以上の処理を含む、
コンピュータプログラム。

【請求項5】

請求項１から４のいずれかに記載のコンピュータプログラムであって、
前記画像処理は、スタイルを変更するスタイル変更処理を含み、
前記スタイル変更処理は、
前記スタイル変更処理の対象の画像であるスタイル変更対象画像のうちの前記顔の画像である第１画像のスタイルを変更することによって第１変更済画像を生成する第１生成処理と、
前記スタイル変更対象画像のうちの前記顔以外の部分を含む特定領域に対応付けられる第２画像のスタイルを変更することによって第２変更済画像を生成する第２生成処理と、
前記第１変更済画像の少なくとも一部である注目画像と前記第２変更済画像との合成処理を実行することによって、スタイル変更済の画像である変更済合成画像を生成する第３生成処理と、
を含む、コンピュータプログラム。

【請求項6】

請求項５に記載のコンピュータプログラムであって、
前記合成処理は、前記第２変更済画像によって表される前記生物の複数の部分の位置を使用して、前記第２変更済画像上の前記注目画像の合成位置を決定する決定処理を含み、
前記生物の前記複数の部分は、前記顔に含まれる部分を含む、
コンピュータプログラム。

【請求項7】

請求項２、４のいずれかに記載のコンピュータプログラムであって、
前記特定の推定対応処理は、前記外観変更処理を含み、
前記画像処理は、スタイルを変更するスタイル変更処理を含み、
前記スタイル変更処理は、前記外観変更処理による変更済の画像のスタイルを変更する、
コンピュータプログラム。

【請求項8】

画像処理装置であって、
顔と顔以外の部分とを含む生物を表す対象画像を使用して、前記生物の姿勢を推定する推定部と、
推定された姿勢に応じて前記対象画像の少なくとも一部の画像を変更する推定対応処理を含む画像処理を実行することによって、出力画像を生成する出力生成部と、
を備える、画像処理装置。

【請求項9】

画像処理装置であって、
顔を含む生物を表す対象画像を使用して、前記顔の表情を推定する推定部と、
推定された表情に応じて前記対象画像の少なくとも一部の画像を変更する推定対応処理を含む画像処理を実行することによって、出力画像を生成する出力生成部と、
を備える、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像の少なくとも一部を変更する技術に関する。

【背景技術】

【0002】

画像の少なくとも一部を変更する種々の処理が提案されている。例えば、以下の論文は、画像のスタイルを他の画像に転送することによって他の画像のスタイルを変更するニューラルネットワークを開示している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Leon A. Gatys, Alexander S. Ecker and Matthias Bethge. "Image Style Transfer Using Convolutional Neural Networks." 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016), DOI:10.1109/CVPR.2016.265

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像は、種々の被写体を表し得る。例えば、画像は、人やペット（例えば、犬、猫）など、種々の生物を表し得る。画像によって表される生物を考慮して画像の少なくとも一部を変更する点については、工夫の余地があった。

【0005】

本明細書は、画像によって表される生物を考慮して画像の少なくとも一部を変更する技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］コンピュータプログラムであって、顔と顔以外の部分とを含む生物を表す対象画像を使用して、前記生物の姿勢を推定する推定機能と、推定された姿勢に応じて前記対象画像の少なくとも一部の画像を変更する推定対応処理を含む画像処理を実行することによって、出力画像を生成する出力生成機能と、をコンピュータに実現させる、コンピュータプログラム。

【0008】

この構成によれば、推定された姿勢に応じて対象画像の少なくとも一部の画像が変更されるので、生物の姿勢を考慮して画像を変更できる。

【0009】

［適用例２］コンピュータプログラムであって、顔を含む生物を表す対象画像を使用して、前記顔の表情を推定する推定機能と、推定された表情に応じて前記対象画像の少なくとも一部の画像を変更する推定対応処理を含む画像処理を実行することによって、出力画像を生成する出力生成機能と、をコンピュータに実現させる、コンピュータプログラム。

【0010】

この構成によれば、推定された表情に応じて対象画像の少なくとも一部の画像が変更されるので、表情を考慮して画像を変更できる。

【0011】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0012】

【図1】一実施例としての画像処理装置を示す図である。

【図2】画像処理の例を示すフローチャートである。

【図3】画像処理の例を示すフローチャートである。

【図4】（Ａ）－（Ｆ）は、画像処理で処理される画像の例を示す図である。

【図5】（Ａ）、（Ｂ）は、キーポイントの例を示す図である。

【図6】姿勢処理テーブルＴ１の例を示す図である。

【図7】（Ａ）－（Ｅ）は、画像処理で処理される顔領域画像の例を示す図である。

【図8】表情処理テーブルＴ２の例を示す図である。

【図9】（Ａ）－（Ｃ）は、画像処理で処理される画像の例を示す図である。

【図10】ランドマークセットの例を示す図である。

【発明を実施するための形態】

【0013】

Ａ．第１実施例：
Ａ１．装置構成：
図１は、一実施例としての画像処理装置を示す図である。本実施例では、画像処理装置２００は、例えば、パーソナルコンピュータである。画像処理装置２００は、生物を表す画像の少なくとも一部の画像を変更する画像処理装置の例である。

【0014】

画像処理装置２００は、プロセッサ２１０と、記憶装置２１５と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。

【0015】

プロセッサ２１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。不揮発性記憶装置２３０は、プログラム２３１と、姿勢推定モデルＭ１と、姿勢分類モデルＭ２と、顔表情変更モデルＭ３と、スタイル変換モデルＭ４と、分割モデルＭ５と、顔検出モデルＭ６と、ランドマーク検出モデルＭ７と、超解像モデルＭ８と、表情分類モデルＭ９と、姿勢処理テーブルＴ１と、表情処理テーブルＴ２と、のそれぞれのデータを格納している。本実施例では、モデルＭ１－Ｍ９は、それぞれ、プログラムモジュールである。モデルＭ１－Ｍ９は、それぞれ、いわゆる機械学習モデルである。本実施例では、モデルＭ１－Ｍ９は、それぞれ、訓練済である。プログラム２３１とモデルＭ１－Ｍ９とテーブルＴ１、Ｔ２との詳細については、後述する。

【0016】

表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部２５０は、ボタン、レバー、表示部２４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部２５０を操作することによって、種々の指示を画像処理装置２００に入力可能である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである。通信インタフェース２７０は、例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェースのうちの１種以上を含む。

【0017】

Ａ２．画像処理：
図２、図３は、画像処理の例を示すフローチャートである。図３は、図２の続きを示している。プログラム２３１（図１）は、画像処理のためのプログラムである。ユーザは、画像処理の開始指示を、操作部２５０を操作することによって、画像処理装置２００に入力する。プロセッサ２１０は、開始指示に従って、画像処理を開始する。この画像処理は、入力画像とスタイル画像とを使用して、スタイル画像のスタイルで表現される出力画像を生成する。本実施例では、入力画像は、人物を表す撮影画像である。スタイル画像は、油絵の画像など、入力画像のスタイルとは異なるスタイルを有する種々の画像であってよい。スタイルは、筆跡、明るさの分布、色相の分布など、画像の表現に関する種々の観点から識別されてよい。以下、入力画像を、第１対象画像とも呼ぶ。

【0018】

Ｓ１１０では、第１対象画像と入力スタイル画像とのペアのデータを取得する。例えば、プロセッサ２１０は、ユーザによって指定されるデータを、記憶装置（例えば、不揮発性記憶装置２３０、通信インタフェース２７０に接続される図示しない記憶装置、など）から、取得する。

【0019】

図４（Ａ）－図４（Ｆ）は、画像処理で処理される画像の例を示す図である。図４（Ａ）は、第１対象画像の例を示している。第１対象画像ＩＭａ１は、第１方向Ｄｘ（ここでは、横方向）に平行な２辺と、第１方向Ｄｘに垂直な第２方向Ｄｙ（ここでは、縦方向）に平行な２辺と、を有する矩形状の画像である。第１対象画像ＩＭ１は、第１方向Ｄｘと第２方向Ｄｙとに沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値によって、表されている。本実施例では、色値は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３個の成分値で表されている。各成分値は、例えば、０から２５５までの２５６段階で表されている。本実施例では、後述する他の画像も、第１方向Ｄｘに平行な２辺と第２方向Ｄｙに平行な２辺とを有する矩形状を有している。

【0020】

第１対象画像ＩＭａ１は、背景Ｂａ１と人物ＰＲとを表す撮影画像である。第１対象画像ＩＭａ１は、人物ＰＲの顔Ｆａ１と、胴Ｔａ１と、右腕ＡＲａ１と、左腕ＡＬａ１とを表している。人物ＰＲは、左腕ＡＬａ１を曲げて、左手ＬＨを顔Ｆａ１の横に持ち上げている（左手ＬＨが顔Ｆａ１の横に配置されている）。以下、人物ＰＲのうちの顔Ｆａ１以外の部分を、残余部分Ｒａ１と呼ぶ。

【0021】

Ｓ１２０（図２）では、プロセッサ２１０は、第１対象画像ＩＭａ１中の人物ＰＲの姿勢を推定する。姿勢の推定方法は、種々の方法であってよい。本実施例では、プロセッサ２１０は、姿勢推定モデルＭ１（図１）を使用して、人物ＰＲの姿勢を推定する。姿勢推定モデルＭ１は、人物の姿勢を推定する種々のモデルであってよい。本実施例では、姿勢推定モデルＭ１は、「OpenPose」と呼ばれる姿勢推定モデルである。OpenPoseは、カーネギーメロン大学のCenter for Technology Transfer and Enterprise Creation (CTTEC)で開発されたソフトウェアである。OpenPoseのライブラリは、以下のURLで公開されている。
https://github.com/CMU-Perceptual-Computing-Lab/openpose
また、OpenPoseは、以下の論文に開示されている。
Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei and Yaser Sheikh, "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv, 30 May 2019, http://arxiv.org/abs/1812.08008

【0022】

図５（Ａ）、図５（Ｂ）は、姿勢推定モデルＭ１によって推定されるキーポイントの例を示す図である。OpenPoseのモデルは、人物の複数の部分を示す複数のキーポイントの画像内の位置を推定する。本実施例では、姿勢推定モデルＭ１は、OpenPoseの「BODY_25」と呼ばれるモデルである。このモデルは、２５個のキーポイントＫＰ０－ＫＰ２４を検出する。図５（Ａ）は、キーポイントＫＰ０－ＫＰ２４によって表される骨格ＳＫの例を示している。図中では、予め決められたキーポイントの複数のペアが、線Ｌで接続されている（以下、線Ｌを接続線Ｌとも呼ぶ）。キーポイントＫＰ０－ＫＰ２４と複数の接続線Ｌとは、人物の骨格ＳＫを表している。接続線Ｌによって接続すべきキーポイントペアは、接続線Ｌが人物の骨格の一部を示すように、予め決められている。なお、図中では、いくつかの接続線の符号が省略されている）。

【0023】

図５（Ｂ）は、キーポイントＫＰ０－ＫＰ２４と体の部分との対応関係ＫＲを示している。対応関係ＫＲにおいて、「Ｒ」は右を示し、「Ｌ」は左を示している。例えば、第１５キーポイントＫＰ１５の「Ｒ－Ｅｙｅ」は右目を示している。

【0024】

姿勢推定モデルＭ１は、人物の画像から適切なキーポイントを検出するように、予め訓練される。訓練方法は、例えば、OpenPoseの論文に記載の訓練方法であってよい。姿勢推定モデルＭ１の訓練には、OpenPoseの上記のURLで公開されている訓練用のライブラリが使用されてよい。

【0025】

Ｓ１２０（図２）では、プロセッサ２１０は、訓練済の姿勢推定モデルＭ１の演算を、第１対象画像ＩＭａ１（図４（Ａ））を使用して実行することによって、第１対象画像ＩＭａ１の人物の姿勢を表すキーポイントを検出する。図４（Ｂ）は、第１対象画像ＩＭａ１から検出されるキーポイントの例を示している。図４（Ｂ）の例では、人物ＰＲを示す１３個のキーポイントＫＰ０－ＫＰ８、ＫＰ１５－ＫＰ１８が、検出されている。以下、Ｓ１２０で推定される姿勢（本実施例では、キーポイントによって示される姿勢）を、第１推定姿勢とも呼ぶ。

【0026】

なお、プロセッサ２１０は、姿勢推定モデルＭ１の演算を実行するために、姿勢推定モデルＭ１に入力される画像のデータ形式を、姿勢推定モデルＭ１によって受付可能な入力データ形式に変換する形式変換処理を行う。例えば、画像の幅と高さとが入力データ形式の幅と高さと異なる場合、形式変換処理は、解像度変換処理（リサイズ処理とも呼ばれる）を含んでよい（例えば、バイキュービック法やバイリニア法など）。また、画像のアスペクト比が入力データ形式のアスペクト比と異なる場合、形式変換処理は、アスペクト比を調整する処理を含んでよい。プロセッサ２１０は、例えば、適切なアスペクト比に対して足りない領域に、所定の色（例えば、白、黒など）を有する画素を補足するパディング処理を実行してよい。これに代えて、プロセッサ２１０は、第１方向Ｄｘの解像度変換と第２方向Ｄｙの解像度変換とを、互いに異なる変換比率で実行してよい（変換比率は、変換前の解像度に対する変化済の解像度の比率）。また、画像のチャンネル（例えば、赤、緑、青の３チャンネル）が入力データ形式のチャンネルと異なる場合、形式変換処理は、チャンネル変換処理（例えば、色変換処理）を含んでよい。プロセッサ２１０は、このような形式変換処理を、他のモデルＭ２－Ｍ９の演算を実行する場合にも、実行する。形式変換処理は、モデルに適合するように、モデル毎に予め決められる。モデルによって画像が生成される場合、生成される画像のサイズが元の画像のサイズと異なり得る。この場合、プロセッサ２１０は、モデルによって生成される画像のリサイズ処理（例えば、形式変換処理の逆変換処理）を実行することによって、元の画像のサイズと同じサイズを有する画像を生成する。なお、超解像モデルＭ８によって生成される画像については、リサイズ処理は省略される。

【0027】

Ｓ１３０（図２）では、プロセッサ２１０は、第１推定姿勢が、姿勢処理テーブルＴ１（図１）によって定められる特定の姿勢であるか否かを判断する。図６は、姿勢処理テーブルＴ１の例を示す図である。姿勢処理テーブルＴ１は、姿勢Ｐと、推定対応処理ＩＰ１と、の対応関係を示している。図６の例では、姿勢処理テーブルＴ１は、特定姿勢ＰＰ１－ＰＰ３を含むｋ種類の特定姿勢ＰＰｉ（ｉは１以上、ｋ以下の整数。ｋは、特定姿勢の総数（１以上の整数））のそれぞれの対応関係を定めている。

【0028】

第１種特定姿勢ＰＰ１では、人物は、片方の腕を曲げて、その手を顔の横に配置している。第１種特定姿勢ＰＰ１は、左手を持ち上げる姿勢ＰＰ１ａと、右手を持ち上げる姿勢ＰＰ１ｂと、を含んでいる。第１種特定姿勢ＰＰ１は、喜びの感情を示し得る。第１種特定姿勢ＰＰ１には、表情変更処理ＩＰ１ａが、対応付けられている。本実施例では、表情変更処理ＩＰ１ａは、顔の表情を笑顔に変更する。

【0029】

第２種特定姿勢ＰＰ２では、人物は、両腕を曲げて、両手を顔の横に配置している。第２種特定姿勢ＰＰ２には、スタイル変換処理ＩＰ１ｂが対応付けられている。本実施例では、スタイル変換処理ＩＰ１ｂは、第１スタイル画像を使用して、スタイル変換を行う（すなわち、スタイルが変更される）。

【0030】

第３種特定姿勢ＰＰ３では、人物は、両腕を曲げて、両手を肩の横に配置している。第３種特定姿勢ＰＰ３は、肩をすくめる姿勢である。第３種特定姿勢ＰＰ３には、背景変更処理ＩＰ１ｃが対応付けられている。本実施例では、背景変更処理ＩＰ１ｃは、背景画像を、特定の背景画像に変更する。

【0031】

最後の姿勢ＰＰｚは、特定姿勢ＰＰｉには分類されない姿勢である（残余姿勢ＰＰｚと呼ぶ）。残余姿勢ＰＰｚには、推定対応処理ＩＰ１は、対応付けられない。

【0032】

Ｓ１３０（図２）では、プロセッサ２１０は、第１推定姿勢が特定姿勢ＰＰｉのいずれかであるか否かを判断する。この判断方法は、種々の方法であってよい。本実施例では、プロセッサ２１０は、姿勢分類モデルＭ２（図１）を使用して、第１推定姿勢が特定姿勢ＰＰｉであるか否かを判断する。まず、プロセッサ２１０は、Ｓ１２０で検出されるキーポイントのセットと、キーポイントのセットによって形成される複数の接続線と、を表す骨格画像のデータを生成する。骨格画像は、図５（Ａ）の骨格ＳＫのように、複数のキーポイントと複数の接続線とによって形成される骨格を表している。

【0033】

次に、プロセッサ２１０は、訓練済の姿勢分類モデルＭ２の演算を、骨格画像のデータを使用して実行することによって、第１推定姿勢をｋ種類の特定姿勢ＰＰｉのいずれかに分類する。姿勢分類モデルＭ２は、骨格画像によって表される姿勢を分類する種々のモデルであってよい。本実施例では、姿勢分類モデルＭ２は、畳込ニューラルネットワーク画像分類器と呼ばれる機械学習モデルである。図示を省略するが、本実施例では、姿勢分類モデルＭ２は、交互に並ぶ複数の畳込層と複数のプーリング層とを有する第１ネットワークと、１以上の全結合層を有する第２ネットワークと、を有している。第１ネットワークは、姿勢分類モデルＭ２に入力される画像の特徴を示す特徴マップを生成する。第２ネットワークは、特徴マップを使用して、ｋ種類の特定姿勢ＰＰｉに対応するｋ個の確信度を示すｋ個の出力値を生成する。例えば、第２ネットワークは、Softmaxと呼ばれる活性化関数を使用して、ｋ個の出力値の合計値が１になるように、ｋ個の出力値を正規化する。

【0034】

姿勢分類モデルＭ２の訓練方法は、畳込ニューラルネットワーク画像分類器を適切に訓練可能な種々の方法であってよい。例えば、訓練用の骨格画像が姿勢分類モデルＭ２に入力される。そして、ｋ個の出力値のうち、骨格画像の姿勢に対応する出力値が最も大きくなるように、姿勢分類モデルＭ２の複数の演算パラメータが調整される。複数の演算パラメータの調整は、互いに異なる姿勢を示す複数の骨格画像を使用して、行われる。複数の演算パラメータを調整するためのアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを使用したアルゴリズムが採用されてよい。ここで、いわゆるＡｄａｍの最適化が行われてよい。

【0035】

訓練済の姿勢分類モデルＭ２に入力される骨格画像の姿勢は、ｋ個の出力値のうちの最大の出力値に対応する特定姿勢ＰＰｉに分類される。なお、最大の出力値が所定の姿勢閾値以下である場合、プロセッサ２１０は、骨格画像の姿勢がｋ種類の特定姿勢ＰＰｉのいずれとも異なると判断してよい。姿勢閾値は、姿勢が適切に分類されるように、予め実験的に決定される。例えば、姿勢閾値は、骨格画像の姿勢がｋ種類の特定姿勢ＰＰｉのいずれかである場合に、最大の出力値が姿勢閾値よりも大きくなり、骨格画像の姿勢がｋ種類の特定姿勢ＰＰｉのいずれとも異なる場合に、最大の出力値が姿勢閾値よりも小さくなるように、決定される。

【0036】

第１推定姿勢がｋ種類の特定姿勢ＰＰｉのいずれかであると判断される場合（図２：Ｓ１３０：Ｙｅｓ）、Ｓ１４０で、プロセッサ２１０は、第１推定姿勢の特定姿勢ＰＰｉに対応付けられる推定対応処理ＩＰ１を実行する（図６）。プロセッサ２１０は、推定対応処理ＩＰ１を、第１対象画像ＩＭａ１（図４（Ｂ））に対して実行する。

【0037】

第１対象画像ＩＭａ１（図４（Ｂ））の第１推定姿勢が、第１種特定姿勢ＰＰ１（図６）に分類されると仮定する。この場合、プロセッサ２１０は、表情変更処理ＩＰ１ａを実行する。表情変更処理ＩＰ１ａは、顔の表情を変更する種々の処理であってよい。本実施例では、プロセッサ２１０は、訓練済の顔表情変更モデルＭ３（図１）を使用して、第１対象画像によって表される顔の表情を変更する。顔表情変更モデルＭ３は、顔の表情を変更する種々のモデルであってよい。本実施例では、顔表情変更モデルＭ３は、以下の論文に開示される「FaR-GAN」と呼ばれるモデルである。
Hanxiang Hao, Sriram Baireddy, Amy R. Reibman and Edward J. Delp, "FaR-GAN for One-Shot Face Reenactment", arXiv, 13 May 2020, http://arxiv.org/abs/2005.06402

【0038】

FaR-GANは、顔ランドマークのセットから元画像へ顔の表情を転送することによって、元画像の人物と同じ人物の、顔ランドマークのセットによって表される表情と同じ表情を有する、新しい顔の画像を生成する。顔ランドマークは、顎、鼻、目、眉、口など、顔の部分を示す点である。顔ランドマークのセットは、顔の複数の部分を示す複数の点を有している。本実施例では、笑顔を表す顔ランドマークのセットが使用される。図４（Ｃ）は、第１対象画像ＩＭａ１（図４（Ａ））から生成される処理済画像の例を示している。この処理済画像ＩＭａ２は、第１対象画像ＩＭａ１の人物ＰＲと同じ人物ＰＲの顔を表している。顔Ｆａ２は、笑顔に変更されている。

【0039】

プロセッサ２１０は、第１対象画像ＩＭａ１から顔を表す顔部分を抽出し、抽出された画像を使用して、姿勢分類モデルＭ２の演算を実行してよい。そして、プロセッサ２１０は、姿勢分類モデルＭ２によって生成される顔画像を第１対象画像ＩＭａ１に合成することによって、処理済画像ＩＭａ２を生成してよい。顔部分の抽出方法は、任意の方法であってよい。例えば、プロセッサ２１０は、YOLO（You only look once）と呼ばれる物体検出モデルを使用して、第１対象画像ＩＭａ１から顔部分を検出してよい。

【0040】

他の推定対応処理ＩＰ１（例えば、処理ＩＰ１ｂ、ＩＰ１ｃ（図６））も、種々の処理であってよい。例えば、スタイル変換処理ＩＰ１ｂでは、プロセッサ２１０は、スタイル変換モデルＭ４を使用して、第１対象画像のスタイル変換を行う。スタイル変換モデルＭ４は、画像の物体の形状（例えば、エッジの形状）の変化を抑制しつつ、画像のスタイル変換を行う種々のモデルであってよい。本実施例では、スタイル変換モデルＭ４は、以下の論文に開示されるスタイル変換モデルである。この論文の技術は、adaptive instance normalization（AdaIN）と呼ばれる正規化を使用する。
Xun Huang and Serge Belongie, "Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization", arXiv:1703.06868, 30 Jul. 2017, http://arxiv.org/abs/1703.06868
スタイル変換モデルＭ４は、スタイル画像のスタイルで元画像をレンダリングすることによって、スタイル画像のスタイルで表現される変換済画像を生成する。スタイル変換モデルＭ４は、変換済画像を適切に生成できるように、予め訓練される。訓練方法は、例えば、AdaINの上記の論文に記載の訓練方法であってよい。

【0041】

プロセッサ２１０は、訓練済のスタイル変換モデルＭ４の演算を、第１対象画像と第１スタイル画像とを使用して実行することによって、スタイル変換済の画像を生成する。本実施例では、第２種特定姿勢ＰＰ２（図６）は、不安の感情を示し得る。第１スタイル画像としては、例えば、不安を表現する所定の画像（例えば、油絵の画像）が使用される。

【0042】

背景変更処理ＩＰ１ｃ（図６）では、プロセッサ２１０は、第１対象画像のうちの背景部分を選択し、背景部分の画像を特定の背景画像に変更する。背景部分の選択方法は、種々の方法であってよい。例えば、プロセッサ２１０は、分割モデルＭ５を使用して、第１対象画像を背景部分と他の部分とに分割する。分割モデルＭ５は、種々のモデルであってよい。本実施例では、分割モデルＭ５は、以下の論文に開示される「Mask R-CNN」と呼ばれるモデルである。
Kaiming He, Georgia Gkioxari, Piotr Dollar（「a」は、アキュートアクセントを有する） and Ross Girshick, "Mask R-CNN", arXiv:1703.06870, 24 Jan. 2018, http://arxiv.org/abs/1703.06870
Mask R-CNNは、「instance segmentation」と呼ばれる領域分割を行うモデルである。この領域分割は、物体毎に、物体の領域と物体の種類（クラス）とを検出する。この領域分割は、画素がどの物体領域に含まれるのかを、画素毎に決定する（このような処理は、セグメンテーションとも呼ばれる）。分割モデルＭ５は、人物を含む複数種類の物体の領域を適切に分割できるように、予め訓練される。訓練方法は、例えば、Mask R-CNNの上記の論文に記載の訓練方法であってよい。

【0043】

プロセッサ２１０は、訓練済の分割モデルＭ５の演算を、第１対象画像を使用して実行することによって、第１対象画像のうちの物体を表していない部分（すなわち、背景部分）を検出する。プロセッサ２１０は、背景部分の画像を、特定の背景画像に変更する。特定の背景画像は、第３種特定姿勢ＰＰ３（図６）に適する種々の画像であってよい。本実施例では、第３種特定姿勢ＰＰ３は、諦めの感情を示し得る。特定の背景画像としては、例えば、暗い風景画像が使用される。

【0044】

Ｓ１４０（図２）の処理の後、プロセッサ２１０は、Ｓ１５０へ移行する。プロセッサ２１０は、Ｓ１４０で処理された画像を使用して、Ｓ１５０以降の処理を実行する。第１推定姿勢がｋ種類の特定姿勢ＰＰｉのいずれとも異なると判断される場合（Ｓ１３０：Ｎｏ）、プロセッサ２１０は、Ｓ１４０をスキップして、Ｓ１５０へ移行する。この場合、プロセッサ２１０は、第１対象画像を使用して、Ｓ１５０以降の処理を進行する。以下、Ｓ１５０以降の処理の対象の画像を、第２対象画像と呼ぶ。第２対象画像は、第１対象画像、または、Ｓ１４０で処理された画像である。図４（Ｃ）の処理済画像ＩＭａ２は、第２対象画像の例である（処理済画像ＩＭａ２を、第２対象画像ＩＭａ２とも呼ぶ）。

【0045】

Ｓ１５０では、プロセッサ２１０は、第２対象画像（例えば、第２対象画像ＩＭａ２（図４（Ｃ）））から顔領域を検出する。顔領域の検出処理は、種々の処理であってよい。本実施例では、プロセッサ２１０は、訓練済の顔検出モデルＭ６を使用して、第２対象画像から顔領域を検出する。顔検出モデルＭ６は、顔の領域を検出する種々のモデルであってよい。本実施例では、顔検出モデルＭ６は、以下の論文に開示される「BlazeFace」と呼ばれる物体検出モデルである。
Valentin Bazarevsky, Yury Kartynnik, Andrey Vakunov, Karthik Raveendran and Matthias Grundmann, "BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs", arXiv:1907.05047, 14 Jul. 2019, http://arxiv.org/abs/1907.05047

【0046】

図４（Ｄ）は、第２対象画像ＩＭａ２から検出される顔領域の例を示している。顔検出モデルＭ６は、顔を囲む矩形の枠（バウンディングボックスと呼ばれる）を検出する。顔検出モデルＭ６は、顔の画像から顔を示す適切なバウンディングボックスを検出するように、BlazeFaceの論文に記載の訓練方法によって、予め訓練される。プロセッサ２１０は、第２対象画像ＩＭａ２を使用して顔検出モデルＭ６の演算を実行することによって、顔Ｆａ２に対応するバウンディングボックスＢＢを検出し得る。

【0047】

Ｓ１６０（図２）では、プロセッサ２１０は、第２対象画像（例えば、第２対象画像ＩＭａ２（図４（Ｄ）））から、顔領域の画像である顔領域画像を抽出する。図７（Ａ）－図７（Ｅ）は、画像処理で処理される顔領域画像の例を示す図である。図７（Ａ）は、図４（Ｄ）の第２対象画像ＩＭａ２から抽出される顔領域画像を示している。顔領域画像ＩＭｂ２は、バウンディングボックスＢＢに囲まれる領域の画像である。顔領域画像ＩＭｂ２は、顔Ｆａ２と、人物ＰＲのうちの顔Ｆａ２以外の部分である残余部分Ｒｂ２と、背景Ｂｂ２と、を表している。

【0048】

Ｓ１７０（図２）では、プロセッサ２１０は、顔領域画像の高解像度化処理を実行する。高解像度化処理は、画像の解像度（すなわち、画素密度）を大きくする種々の処理であってよい。本実施例では、プロセッサ２１０は、訓練済の超解像モデルＭ８（図１）を使用して、高解像度の画像を生成する。超解像モデルＭ８は、高解像度の画像を生成する種々のモデルであってよい。本実施例では、超解像モデルＭ８は、以下の論文に開示される画像生成モデルである。この論文は、「PULSE」と呼ばれる技術を開示する。
Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi and Cynthia Rudin, "PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models", arXiv:2003.03808, 20 Jul. 2020, http://arxiv.org/abs/2003.03808

【0049】

この論文に記載の技術では、顔の自然な高解像度画像を生成するように訓練済の画像生成モデル（論文では、StyleGAN）を使用して、高解像度画像が生成される。生成された高解像度画像のダウンスケール（論文では、バイキュービック）によって得られる低解像度画像と、元の低解像度画像と、の間の差が小さくなるように、画像生成モデルに入力すべき潜在変数が探索される。探索された潜在変数を使用して画像生成モデルによって生成される高解像度画像が、低解像度画像に対応する高解像度画像として採用される。潜在変数の探索は、ロスが小さくなるように、行われる。ここで、ダウンスケールによって得られる低解像度画像と元の低解像度画像との間の差を示すダウンスケーリングロスと、自然な画像を生成する潜在変数を探索するためのクロスロス（geodesic cross lossとも呼ばれる）と、が使用される。

【0050】

本実施例では、超解像モデルＭ８は、顔の自然な高解像度画像を生成するように訓練済のStyleGANである。StyleGANの構成としては、例えば、以下の論文に開示の構成が採用される。
Tero Karras, Samuli Laine and Timo Aila, "A Style-Based Generator Architecture for Generative Adversarial Networks", arXiv:1812.04948, 29 Mar. 2019, http://arxiv.org/abs/1812.04948
超解像モデルＭ８は、この論文に記載の訓練方法によって、予め訓練される。

【0051】

プロセッサ２１０は、訓練済の超解像モデルＭ８を使用して、顔領域画像（例えば、顔領域画像ＩＭｂ２（図７（Ａ）））に対応する高解像度画像を生成する。図７（Ｂ）の画像ＩＭｂ３は、顔領域画像ＩＭｂ２から生成される高解像度画像の例である。高解像度画像の生成方法としては、PULSEの上記の論文に記載の方法が採用される。高解像度化処理による倍率は、１よりも大きい任意の値であってよい。例えば、幅と高さとのそれぞれが、４倍に増大されてよい。

【0052】

Ｓ１８０（図２）では、プロセッサ２１０は、高解像度の顔領域画像（例えば、顔領域画像ＩＭｂ３（図７（Ｂ））を使用して、顔の表情を推定する。本実施例では、プロセッサ２１０は、表情分類モデルＭ９（図１）を使用して、顔の表情を分類する。表情分類モデルＭ９は、画像に含まれる顔の表情を分類する種々のモデルであってよい。本実施例では、表情分類モデルＭ９は、畳込ニューラルネットワーク画像分類器と呼ばれる機械学習モデルである。表情分類モデルＭ９のアーキテクチャは、姿勢分類モデルＭ２のアーキテクチャと同じである。表情分類モデルＭ９は、表情分類モデルＭ９に入力される画像を、表情処理テーブルＴ２によって定められるｍ種類（ｍは、１以上の整数）の表情のいずれかに分類する。

【0053】

図８は、表情処理テーブルＴ２の例を示す図である。表情処理テーブルＴ２は、顔の表情Ｅと、推定対応処理ＩＰ２と、の対応関係を示している。図８の例では、表情処理テーブルＴ２は、特定表情ＥＰ１－ＥＰ４を含むｍ種類の特定表情ＥＰｊのそれぞれの対応関係を定めている（ｍは、特定表情ＥＰｊの総数（１以上の整数）、ｊは、１以上、ｍ以下の整数。）。

【0054】

第１種特定表情ＥＰ１は、笑顔である。第１種特定表情ＥＰ１には、第１種背景調整処理ＩＰ２ａが、対応付けられている。本実施例では、第１種背景調整処理ＩＰ２ａは、背景の明るさを明るくする。

【0055】

第２種特定表情ＥＰ２は、泣き顔である。第２種特定表情ＥＰ２には、第２種背景調整処理ＩＰ２ｂが、対応付けられている。本実施例では、第２種背景調整処理ＩＰ２ｂは、背景の明るさを暗くする。

【0056】

第３種特定表情ＥＰ３は、片目を閉じた表情である（ウィンクとも呼ばれる）。第３種特定表情ＥＰ３は、左目を閉じる表情ＥＰ３ａと、右目を閉じる表情ＥＰ３ｂと、を含んでいる。本実施例では、第３種特定表情ＥＰ３は、友好的なジェスチャーとして使用されることとする。第３種特定表情ＥＰ３には、姿勢変更処理ＩＰ２ｃが対応付けられている。姿勢変更処理ＩＰ２ｃは、人物の姿勢を、特定の姿勢に変更する。

【0057】

第４種特定表情ＥＰ４は、驚き顔である。第４種特定表情ＥＰ４では、両目と口とが大きく開いている。第４種特定表情ＥＰ４には、スタイル変換処理ＩＰ２ｄが対応付けられている。スタイル変換処理ＩＰ２ｄは、第２スタイル画像を使用して、スタイル変換を行う。

【0058】

最後の表情ＥＰｚは、特定表情ＥＰｊには分類されない表情である（残余表情ＥＰｚとも呼ぶ）。残余表情ＥＰｚには、推定対応処理ＩＰ２は、対応付けられない。

【0059】

表情分類モデルＭ９は、表情分類モデルＭ９に入力される画像を使用して、ｍ種類の特定表情ＥＰｊに対応するｍ個の確信度を示すｍ個の出力値を生成する。表情分類モデルＭ９の訓練方法は、姿勢分類モデルＭ２の訓練方法と同じであってよい。例えば、訓練用の顔画像が表情分類モデルＭ９に入力される。そして、ｍ個の出力値のうち、顔画像の表情に対応する出力値が最も大きくなるように、表情分類モデルＭ９の複数の演算パラメータが調整される。複数の演算パラメータの調整は、互いに異なる表情を示す複数の顔画像を使用して、行われる。複数の演算パラメータを調整するためのアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを使用したアルゴリズムが採用されてよい。ここで、いわゆるＡｄａｍの最適化が行われてよい。

【0060】

Ｓ１８０（図２）では、プロセッサ２１０は、訓練済の表情分類モデルＭ９の演算を、高解像度の顔領域画像（例えば、顔領域画像ＩＭｂ３（図７（Ｂ）））を使用して実行することによって、ｍ種類の特定表情ＥＰｊのそれぞれの確信度を算出する。プロセッサ２１０は、顔領域画像の表情を、ｍ個の出力値のうちの最大の出力値に対応する特定表情ＥＰｊに分類する。なお、最大の出力値が所定の表情閾値以下である場合、プロセッサ２１０は、顔領域画像の表情がｍ種類の特定表情ＥＰｊのいずれとも異なると判断してよい。表情閾値は、表情が適切に分類されるように、予め実験的に決定される。例えば、表情閾値は、顔領域画像の表情がｍ種類の特定表情ＥＰｊのいずれかである場合に、最大の出力値が表情閾値よりも大きくなり、顔領域画像の表情がｍ種類の特定表情ＥＰｊのいずれとも異なる場合に、最大の出力値が表情閾値よりも小さくなるように、決定される。以下、Ｓ１８０で分類される顔領域画像の表情を、推定表情と呼ぶ。

【0061】

Ｓ１９０（図２）では、プロセッサ２１０は、推定表情が特定表情ＥＰｊであるか否かを判断する。推定表情がｍ種類の特定表情ＥＰｊのいずれかである場合（Ｓ１９０：Ｙｅｓ）、Ｓ２００で、プロセッサ２１０は、推定表情の特定表情ＥＰｊに対応付けられる推定対応処理ＩＰ２を実行する（図８）。プロセッサ２１０は、推定対応処理ＩＰ２を、第２対象画像（例えば、第２対象画像ＩＭａ２（図４（Ｄ）））に対して実行する。

【0062】

高解像度の顔領域画像ＩＭｂ３（図７（Ｂ））の推定表情が、第１種特定表情ＥＰ１（図８）に分類されると仮定する。この場合、プロセッサ２１０は、第１種背景調整処理ＩＰ２ａを実行する。プロセッサ２１０は、第２対象画像（例えば、第２対象画像ＩＭａ２（図４（Ｄ））のうちの背景部分を選択し、背景部分の明るさを明るくする。背景部分の選択方法は、Ｓ１４０の背景変更処理ＩＰ１ｃ（図６）で説明した方法（ここでは、分割モデルＭ５を使用する方法）と同じである。プロセッサ２１０は、背景部分の輝度値のトーンカーブを調整することによって、背景部分の輝度値を増大する。図４（Ｅ）の画像ＩＭａ３は、第２対象画像ＩＭａ２（図４（Ｄ））から第１種背景調整処理ＩＰ２ａによって生成される画像の例である。第２対象画像ＩＭａ２の背景Ｂａ１が、明るい背景Ｂａ３に変更されている。なお、背景の明るさを明るくする処理は、輝度値を増大する処理に代えて、他の種々の処理であってよい。例えば、プロセッサ２１０は、背景部分の画像を、予め準備された明るい背景画像に変更してよい。

【0063】

他の推定対応処理ＩＰ２（例えば、処理ＩＰ２ｂ－ＩＰ２ｄ（図８））も、種々の処理であってよい。例えば、第２種背景調整処理ＩＰ２ｂでは、プロセッサ２１０は、第２対象画像のうちの背景部分を選択し、背景部分の明るさを暗くする。背景部分の選択方法と明るさの調整方法とは、第１種背景調整処理ＩＰ２ａのものと同じであってよい。プロセッサ２１０は、背景部分の輝度値を低減してよい。これに代えて、プロセッサ２１０は、背景部分の画像を、予め準備された暗い背景画像に変更してよい。

【0064】

姿勢変更処理ＩＰ２ｃでは、プロセッサ２１０は、第２対象画像の人物の姿勢を、特定の姿勢に変更する。姿勢を変更する処理は、種々の処理であってよい。本実施例では、プロセッサ２１０は、第２対象画像（例えば、第２対象画像ＩＭａ２（図４（Ｄ）））から人物を形成する複数の部分（例えば、上腕、下腕、上肢、下肢など）を抽出する。プロセッサ２１０は、特定の姿勢を有する骨格ＳＫｘ（図８）に合せて、抽出した複数の部分を配置する。これにより、処理済の画像中では、人物は、骨格ＳＫｘの姿勢と同じ姿勢を有する。人物を形成する複数の部分を抽出する処理は、種々の処理であってよい。例えば、プロセッサ２１０は、分割モデルＭ５（図１）を使用して、第２対象画像から人物を表す部分を検出する。プロセッサ２１０は、人物を表す部分を、Ｓ１２０で検出される複数のキーポイントのそれぞれの位置で、更に分割する。これにより、プロセッサ２１０は、上腕、下腕、上肢、下肢などの複数の部分を抽出できる。なお、姿勢変更処理ＩＰ２ｃでは、プロセッサ２１０は、腕と足とのみの配置を変更してよい。

【0065】

スタイル変換処理ＩＰ２ｄでは、プロセッサ２１０は、第２対象画像のスタイル変換を行う。Ｓ１４０（図２）のスタイル変換処理ＩＰ１ｂ（図６）とは異なり、第２スタイル画像が使用される。プロセッサ２１０は、訓練済のスタイル変換モデルＭ４の演算を、第２対象画像と第２スタイル画像とを使用して実行することによって、スタイル変換済の画像を生成する。本実施例では、第４種特定表情ＥＰ４は、驚きの感情を示し得る。第２スタイル画像としては、例えば、驚きを表現する所定の画像（例えば、油絵の画像）が使用される。

【0066】

Ｓ２００（図２）の処理の後、プロセッサ２１０は、Ｓ２１０へ移行する。プロセッサ２１０は、Ｓ２００で処理された画像を使用して、Ｓ２１０以降の処理を実行する。推定表情がｍ種類の特定表情ＥＰｊのいずれとも異なると判断される場合（Ｓ１９０：Ｎｏ）、プロセッサ２１０は、Ｓ２００をスキップして、Ｓ２１０へ移行する。この場合、プロセッサ２１０は、第２対象画像を使用して、Ｓ２１０以降の処理を進行する。以下、Ｓ２１０以降の処理の対象の画像を、第３対象画像と呼ぶ。第３対象画像は、第２対象画像、または、Ｓ２００で処理された画像である。図４（Ｅ）の画像ＩＭａ３は、第３対象画像の例である（画像ＩＭａ３を、第３対象画像ＩＭａ３とも呼ぶ）。

【0067】

Ｓ２１０では、プロセッサ２１０は、第３対象画像（例えば、第３対象画像ＩＭａ３（図４（Ｅ）））の全体のスタイル変換を行う。プロセッサ２１０は、訓練済のスタイル変換モデルＭ４の演算を、第３対象画像とＳ１１０で取得される入力スタイル画像とを使用して実行することによって、スタイル変換済の画像を生成する（以下、変換済全体画像と呼ぶ）。

【0068】

図４（Ｆ）の画像ＩＭａ４は、第３対象画像ＩＭａ３（図４（Ｅ））から生成される変換済全体画像の例を示している。この変換済全体画像ＩＭａ４は、第３対象画像ＩＭａ３の人物ＰＲと同じ人物ＰＲを表している。顔Ｆａ４と残余部分Ｒａ４とを含む人物ＰＲと、背景Ｂａ４とは、入力スタイル画像のスタイルで表されている。なお、スタイル変換処理は、物体の形状を変化させ得る。図４（Ｆ）の例では、人物ＰＲの顔Ｆａ４の口の形状が、元の第３対象画像ＩＭａ３における形状から、大幅に変化している。このような形状の変化は、種々の原因によって、引き起こされ得る。例えば、第３対象画像ＩＭａ３中で顔Ｆａ２の大きさが小さい場合に、顔Ｆａ２に含まれる部分の形状がスタイル変換によって大きく変化し得る。

【0069】

Ｓ２２０（図２）では、プロセッサ２１０は、変換済全体画像（例えば変換済全体画像ＩＭａ４（図４（Ｆ）））中の人物の姿勢を推定する。姿勢推定の方法は、Ｓ１２０での姿勢推定の方法と同じである。プロセッサ２１０は、訓練済の姿勢推定モデルＭ１（図１）の演算を、変換済全体画像を使用して実行することによって、変換済全体画像の人物の姿勢を表すキーポイントを検出する。

【0070】

図９（Ａ）－図９（Ｃ）は、画像処理で処理される画像の例を示す図である。図９（Ａ）は、変換済全体画像ＩＭａ４（図４（Ｆ））から検出されるキーポイントの例を示している。図９（Ａ）の例では、人物ＰＲを示す１３個のキーポイントＫＰ０－ＫＰ８、ＫＰ１５－ＫＰ１８が、検出されている。以下、Ｓ２２０で推定される姿勢（本実施例では、キーポイントによって示される姿勢）を、第２推定姿勢とも呼ぶ。Ｓ２００（図２）では、姿勢変更処理ＩＰ２ｃ（図８）が実行され得る。従って、第２推定姿勢は、第１推定姿勢（図２：Ｓ１２０）とは異なり得る。

【0071】

Ｓ２３０（図３）では、プロセッサ２１０は、高解像度の顔領域画像（図２：Ｓ１７０）のスタイル変換を実行する。プロセッサ２１０は、訓練済のスタイル変換モデルＭ４の演算を、高解像度の顔領域画像とＳ１１０で取得される入力スタイル画像とを使用して実行することによって、スタイル変換済の画像を生成する（以下、変換済顔領域画像と呼ぶ）。

【0072】

図７（Ｃ）の画像ＩＭｂ４は、高解像度の顔領域画像ＩＭｂ３（図７（Ｂ））から生成される変換済顔領域画像の例を示している。この変換済顔領域画像ＩＭｂ４は、顔領域画像ＩＭｂ３の人物ＰＲと同じ人物ＰＲを表している。顔Ｆｂ３と残余部分Ｒｂ３を含む人物ＰＲと、背景Ｂｂ３とは、入力スタイル画像のスタイルで表されている。

【0073】

なお、Ｓ２３０（図３）でスタイル変換モデルＭ４に入力される顔領域画像ＩＭｂ３（図７（Ｂ））中では、Ｓ２１０（図２）でスタイル変換モデルＭ４に入力される第３対象画像ＩＭａ３（図４（Ｅ））中と比べて、顔が大きい（すなわち、顔を表す領域の画素数が多い）。従って、Ｓ２３０では、Ｓ２１０と比べて、顔に含まれる部分（例えば、口など）の変形の可能性は、小さい。

【0074】

Ｓ２４０（図３）では、プロセッサ２１０は、変換済顔領域画像（例えば、変換済顔領域画像ＩＭｂ４（図７（Ｃ）））から顔のランドマークを検出する。顔のランドマークは、顎、鼻、目、眉、口など、顔の部分を示す点である。顔のランドマークの検出方法は、種々の方法であってよい。本実施例では、プロセッサ２１０は、ランドマーク検出モデルＭ７（図１）を使用して、ランドマークを検出する。ランドマーク検出モデルＭ７は、顔のランドマークを検出する種々のモデルであってよい。本実施例では、ランドマーク検出モデルＭ７は、以下の論文に開示される「Attention Mesh」と呼ばれる検出モデルである。
Ivan Grishchenko, Artsiom Ablavatski, Yury Kartynnik, Karthik Raveendra and Matthias Grundmann, "Attention Mesh: High-fidelity Face Mesh Prediction in Real-time", arXiv:2006.10962, 19 Jun. 2020, http://arxiv.org/abs/2006.10962

【0075】

Attention Meshモデルは、顔の複数の部分を示す複数の点のそれぞれの三次元座標を、二次元の画像から推定する。複数の点は、顔の三次元の形状を示す顔メッシュを形成する。ランドマーク検出モデルＭ７は、顔の画像から適切な顔メッシュを推定するように、Attention Meshの論文に記載の訓練方法によって、予め訓練される。本実施例では、プロセッサ２１０は、顔メッシュを形成する複数の点のうち、顔の予め決められた複数の部分を示す複数の点のセットを、ランドマークセットとして採用する。

【0076】

図１０は、ランドマークセットの例を示す図である。図中には、人物の顔Ｆｈの画像ＩＭｈが示されている。本実施例では、６８個の点Ｐ１－Ｐ６８が、ランドマークセットＬＭとして使用される。点Ｐ１－Ｐ１７の第１点セットＰＳ１は、顎を示している。点Ｐ１８－Ｐ２２の第２点セットＰＳ２は、右の眉を示している。点Ｐ２３－Ｐ２７の第３点セットＰＳ３は、左の眉を示している。点Ｐ２８－Ｐ３６の第４点セットＰＳ４は、鼻を示している。点Ｐ３７－Ｐ４２の第５点セットＰＳ５は、右の目を示している。点Ｐ４３－Ｐ４８の第６点セットＰＳ６は、左の目を示している。点Ｐ４９－Ｐ６８の第７点セットＰＳ７は、口を示している。

【0077】

図７（Ｄ）は、変換済顔領域画像ＩＭｂ４（図７（Ｃ））から検出される顔のランドマークの例を示している。プロセッサ２１０は、変換済顔領域画像ＩＭｂ４を使用してランドマーク検出モデルＭ７の演算を実行することによって、顔Ｆｂ３のランドマークセットＬＭｂ３を検出する。ランドマークセットＬＭｂ３は、６８個の点Ｐ１－Ｐ６８（図１０）を示している。

【0078】

なお、顔検出モデルＭ６のBlazeFaceと、ランドマーク検出モデルＭ７のAttention Meshとは、Google社の「MediaPipe」と呼ばれるライブラリによって、実装されている。顔検出モデルＭ６とランドマーク検出モデルＭ７とを有する顔処理モデルＭｘは、「MediaPipe」のライブラリを使用して構成されてよい。

【0079】

Ｓ２５０（図３）では、プロセッサ２１０は、Ｓ２４０で検出されたランドマークセットを使用して、変換済顔領域画像から顔を表す部分領域の画像である顔部分画像を取得する。図７（Ｅ）は、変換済顔領域画像ＩＭｂ４（図７（Ｄ））から取得される顔部分画像の例を示している。顔を表す部分領域を決定する方法は、種々の方法であってよい。本実施例では、第１点セットＰＳ１（図７（Ｄ））は、顎、すなわち、顔の下半分の輪郭を示している。プロセッサ２１０は、第１点セットＰＳ１を、顔の上側（ここでは、第２方向Ｄｙの反対方向側）に向かって反転させることによって、上部点セットＰＳ１ｒ（図７（Ｅ））を形成する。反転の軸としては、第１点セットＰＳ１の左側の端の点Ｐ１と右側の端の点Ｐ１７とを結ぶ直線Ｌｒが採用される。第１点セットＰＳ１と上部点セットＰＳ１ｒとに囲まれる領域は、顔の主要な部分（例えば、目と鼻と口）を含み得る。プロセッサ２１０は、第１点セットＰＳ１と上部点セットＰＳ１ｒとに囲まれる領域の画像ＩＭｃを、顔部分画像として取得する。なお、変換済顔領域画像ＩＭｂ４のサイズは、元のバウンディングボックスＢＢ（図７（Ａ））のサイズと異なり得る。プロセッサ２１０は、変換済顔領域画像ＩＭｂ４のリサイズ（例えば、解像度変換）によって、変換済顔領域画像ＩＭｂ４のサイズをバウンディングボックスＢＢのサイズに戻す。そして、リサイズ済の画像から顔部分画像ＩＭｃを抽出する。

【0080】

Ｓ２６０（図３）では、プロセッサ２１０は、変換済全体画像中の人物の第２姿勢（図２：Ｓ２２０）と、顔部分画像（すなわち、変換済顔領域画像）の顔のランドマーク（図３：Ｓ２４０）と、を使用して、変換済全体画像上の顔部分画像の合成位置を決定する。図９（Ｂ）は、合成位置の例を示している。図中には、変換済全体画像ＩＭａ４と、顔部分画像ＩＭｃと、が示されている。本実施例では、プロセッサ２１０は、顔の同じ部分を示すランドマークとキーポイントとの組み合わせを使用して、合成位置を決定する。なお、Ｓ２５０で、変換済顔領域画像ＩＭｂ４のリサイズによって生成される画像から、顔部分画像ＩＭｃが取得され得る。この場合、プロセッサ２１０は、変換済顔領域画像ＩＭｂ４のリサイズに適合するようにランドマークセットＬＭｂ３（図７（Ｄ））をリサイズすることによって、顔部分画像ＩＭｃ上のランドマークを取得する。

【0081】

変換済全体画像ＩＭａ４には、第２姿勢の３個のキーポイントＫＰ０（鼻）、ＫＰ１５（右目）、ＫＰ１６（左目）が示されている。顔部分画像ＩＭｃ４には、ランドマークの３個の点Ｐ３４（鼻）、Ｐ４１（右目）、Ｐ４８（左目）が示されている。本実施例では、プロセッサ２１０は、これらの３個の点Ｐ３４、Ｐ４１、Ｐ４８が、３個のキーポイントＫＰ０、ＫＰ１５、ＫＰ１６の近くにそれぞれ配置されるように、合成位置を決定する。例えば、プロセッサ２１０は、３個の点Ｐ３４、Ｐ４１、Ｐ４８を示す画像と、３個のキーポイントＫＰ０、ＫＰ１５、ＫＰ１６を示す画像と、のテンプレートマッチングによって、合成位置ＩＭＰＳを決定する。テンプレートマッチングとしては、例えば、OpenCV（Open Source Computer Vision）によって提供されているテンプレートマッチングが使用されてよい。

【0082】

Ｓ２７０（図３）では、プロセッサ２１０は、変換済全体画像上の合成位置に、顔部分画像を合成することによって、合成画像を生成する。図９（Ｃ）は、合成画像の例を示している。図中には、変換済全体画像ＩＭａ４と、顔部分画像ＩＭｃと、合成画像ＩＭｄと、が示されている。プロセッサ２１０は、変換済全体画像ＩＭａ４上の合成位置ＩＭＰＳに、顔部分画像ＩＭｃを重畳する。これにより、合成画像ＩＭｄが生成される。

【0083】

Ｓ２１０（図２）、Ｓ２３０（図３）で説明したように、変換済全体画像ＩＭａ４と、変換済顔領域画像ＩＭｂ４（図９（Ｂ））から取得される顔部分画像ＩＭｃとは、入力スタイル画像のスタイルで表現されている。従って、プロセッサ２１０は、入力スタイル画像のスタイルで表現される合成画像ＩＭｄを生成できる。

【0084】

また、合成画像ＩＭｄ中では、顔部分画像ＩＭｃが、人物ＰＲの顔を表している。Ｓ２３０（図３）で説明したように、顔部分画像ＩＭｃでは、変換済全体画像ＩＭａ４と比べて、顔に含まれる部分（例えば、口など）の変形の可能性は、小さい。従って、変換済全体画像ＩＭａ４内の顔Ｆａ４に含まれる部分が大きく変形している場合であっても、プロセッサ２１０は、顔部分画像ＩＭｃを変換済全体画像ＩＭａ４の顔を表す領域に重畳することによって、顔の変形が小さい合成画像ＩＭｄを生成できる。

【0085】

Ｓ２８０（図３）では、プロセッサ２１０は、合成画像のデータを、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図２、図３の画像処理を終了する。本実施例では、合成画像（Ｓ２７０）は、画像処理によって生成される出力画像の例である。

【0086】

以上のように、本実施例では、画像処理装置２００のプロセッサ２１０は、以下の処理を実行する。Ｓ１２０（図２）では、プロセッサ２１０は、顔と顔以外の部分とを含む人物を表す対象画像を使用して、人物の姿勢を推定する。図４（Ｂ）の画像ＩＭａ１は、対象画像の例であり、顔Ｆａ１と顔Ｆａ１以外の部分Ｒａ１とを含む人物ＰＲを表している。プロセッサ２１０は、第１対象画像ＩＭａ１から、キーポイントＫＰ０－ＫＰ８、ＫＰ１５－ＫＰ１８を検出する。キーポイントＫＰ０－ＫＰ８、ＫＰ１５－ＫＰ１８は、人物ＰＲの第１推定姿勢を示している。

【0087】

図２、図３の画像処理（Ｓ１２０－Ｓ２７０）は、Ｓ１４０を含んでいる。Ｓ１４０では、プロセッサ２１０は、第１推定姿勢に応じて推定対応処理を実行する。本実施例では、プロセッサ２１０は、第１推定姿勢に対応付けられる推定対応処理ＩＰ１（図６）を実行する。推定対応処理ＩＰ１では、対象画像（例えば、第１対象画像ＩＭａ１）の少なくとも一部の画像が変更される。

【0088】

このように、プロセッサ２１０は、第１推定姿勢に応じて実行される推定対応処理ＩＰ１（Ｓ１４０）を含む画像処理（Ｓ１２０－Ｓ２７０）を実行することによって、出力画像（例えば、合成画像ＩＭｄ（図９（Ｃ）））を生成する。従って、プロセッサ２１０は、人物の姿勢を考慮して、画像の少なくとも一部を変更できる。

【0089】

また、図６に示すように、Ｓ１４０で実行される推定対応処理ＩＰ１は、表情変更処理ＩＰ１ａと、スタイル変換処理ＩＰ１ｂと、背景変更処理ＩＰ１ｃと、を含む複数の処理からなる群から選択される。表情変更処理ＩＰ１ａは、顔の表情、すなわち、人物の外観を変更する。表情変更処理ＩＰ１ａは、顔の表情を含む人物の外観を変更する外観変更処理の例である。スタイル変換処理ＩＰ１ｂは、対象画像のスタイルを変更する処理の例である。背景変更処理ＩＰ１ｃは、対象画像の背景を変更する処理の例である。この構成によれば、プロセッサ２１０は、外観変更処理と、スタイルを変更する処理と、背景を変更する処理と、を含む複数の処理からなる群から選択される処理を実行できる。

【0090】

Ｓ１４０では、プロセッサ２１０は、第１推定姿勢に応じて、実行すべき処理を選択する。このように、プロセッサ２１０は、人物の姿勢を考慮して、画像の少なくとも一部を変更できる。特に、第１推定姿勢が所定の種類の姿勢（本実施例では、特定姿勢ＰＰ１、ＰＰ２、ＰＰ３のいずれか）である場合には、プロセッサ２１０は、表情変更処理ＩＰ１ａとスタイル変換処理ＩＰ１ｂと背景変更処理ＩＰ１ｃとのうちの第１推定姿勢に対応する処理を実行する。このように、第１推定姿勢が所定の種類の姿勢である場合に、プロセッサ２１０は、画像の少なくとも一部を適切に変更できる。

【0091】

また、本実施例では、プロセッサ２１０は、以下の処理を実行する。Ｓ１５０－Ｓ１８０（図２）では、プロセッサ２１０は、顔を含む人物を表す対象画像を使用して、顔の表情を推定する。図４（Ｃ）の画像ＩＭａ２は、対象画像の例であり、人物ＰＲの顔Ｆａ２を表している。プロセッサ２１０は、第２対象画像ＩＭａ２を使用して（具体的には、第２対象画像ＩＭａ２から得られる高解像度の顔領域画像ＩＭｂ３（図７（Ｂ）を使用して）、顔Ｆａ２の表情を推定する。

【0092】

図２、図３の画像処理（Ｓ１２０－Ｓ２７０）は、Ｓ２００を含んでいる。Ｓ２００では、プロセッサ２１０は、推定表情に応じて推定対応処理を実行する。本実施例では、プロセッサ２１０は、推定表情に対応付けられる推定対応処理ＩＰ２（図８）を実行する。推定対応処理ＩＰ２では、対象画像（例えば、第２対象画像ＩＭａ２）の少なくとも一部の画像が変更される。

【0093】

このように、プロセッサ２１０は、推定表情に応じて実行される推定対応処理ＩＰ２（Ｓ２００）を含む画像処理を実行することによって、出力画像を生成する。従って、プロセッサ２１０は、人物の顔の表情を考慮して、画像の少なくとも一部を変更できる。

【0094】

また、図８に示すように、Ｓ２００で実行される推定対応処理ＩＰ２は、姿勢変更処理ＩＰ２ｃと、スタイル変換処理ＩＰ２ｄと、背景調整処理ＩＰ２ａ、ＩＰ２ｂと、を含む複数の処理からなる群から選択される。姿勢変更処理ＩＰ２ｃは、人物の姿勢、すなわち、人物の外観を変更する。姿勢変更処理ＩＰ２ｃは、生物の姿勢を含む生物の外観を変更する外観変更処理の例である。スタイル変換処理ＩＰ２ｄは、対象画像のスタイルを変更する処理の例である。背景調整処理ＩＰ２ａ、ＩＰ２ｂは、対象画像の背景の画像を、元の明るさとは異なる明るさを有する画像に変更する。背景調整処理ＩＰ２ａ、ＩＰ２ｂは、対象画像の背景を変更する処理の例である。この構成によれば、プロセッサ２１０は、外観変更処理と、スタイルを変更する処理と、背景を変更する処理と、を含む複数の処理からなる群から選択される処理を実行できる。

【0095】

Ｓ２００では、プロセッサ２１０は、推定表情に応じて、実行すべき処理を選択する。このように、プロセッサ２１０は、人物の顔の表情を考慮して、画像の少なくとも一部を変更できる。特に、推定表情が所定の種類の表情（本実施例では、特定表情ＥＰ１－ＥＰ４のいずれか）である場合には、プロセッサ２１０は、姿勢変更処理ＩＰ２ｃとスタイル変換処理ＩＰ２ｄと背景調整処理ＩＰ２ａ、ＩＰ２ｂとのうちの推定表情に対応する処理を実行する。このように、推定表情が所定の種類の表情である場合に、プロセッサ２１０は、画像の少なくとも一部を適切に変更できる。

【0096】

また、図２、図３の画像処理は、スタイル変換を行うためのＳ２１０、Ｓ２３０、Ｓ２６０－Ｓ２７０を含んでいる。Ｓ２３０では、プロセッサ２１０は、顔領域画像ＩＭｂ３（図７（Ｂ））のスタイル変換を行うことによって、変換済顔領域画像ＩＭｂ４（図７（Ｃ））を生成する。顔領域画像ＩＭｂ３は、第２対象画像ＩＭａ２（図４（Ｄ））のうちの顔Ｆａ２の画像である。第２対象画像ＩＭａ２は、スタイル変更処理の対象の画像であるスタイル変更対象画像の例である。顔領域画像ＩＭｂ３は、スタイル変更対象画像（ここでは、第２対象画像ＩＭａ２）のうちの顔の画像である第１画像の例である。変換済顔領域画像ＩＭｂ４は、第１画像のスタイルを変更することによって生成される第１変更済画像の例である。

【0097】

Ｓ２１０では、プロセッサ２１０は、第３対象画像（例えば、第３対象画像ＩＭａ３（図４（Ｅ）））のスタイル変換を行うことによって、変換済全体画像（例えば、変換済全体画像ＩＭａ４（図４（Ｆ）））を生成する。第３対象画像は、第２対象画像（すなわち、スタイル変更対象画像）、または、Ｓ２００で第２対象画像に対する処理によって生成される画像である。このように、第３対象画像は、スタイル変更対象画像のうちの顔以外の部分を含む特定領域（本実施例では、全領域）に対応付けられる第２画像の例である。変換済全体画像は、第２画像のスタイルを変更することによって生成される第２変更済画像の例である。

【0098】

Ｓ２６０－Ｓ２７０では、プロセッサ２１０は、顔部分画像ＩＭｃ（図９（Ｃ））と変換済全体画像ＩＭａ４との合成処理を実行することによって、スタイル変更済の画像である合成画像ＩＭｄを生成する。顔部分画像ＩＭｃは、変換済顔領域画像ＩＭｂ４（第１変更済画像の例）の少なくとも一部である注目画像の例である。変換済全体画像ＩＭａ４は、第２変更済画像の例である。

【0099】

この構成によれば、プロセッサ２１０は、人物の顔を考慮して画像のスタイルを変更できる。なお、変換済顔領域画像ＩＭｂ４の一部である画像ＩＭｃに代えて、変換済顔領域画像ＩＭｂ４の全体が、変換済全体画像ＩＭａ４に合成されてもよい。ここで、変換済顔領域画像ＩＭｂ４のサイズは、変換済全体画像ＩＭａ４に適するサイズ（例えば、バウンディングボックスＢＢ（図７（Ａ））のサイズ）に、調整されてよい。

【0100】

また、Ｓ２６０では、プロセッサ２１０は、第２変更済画像（例えば、変換済全体画像ＩＭａ４（図９（Ｂ）））によって表される人物の複数の部分（例えば、キーポイントＫＰ０、ＫＰ１５、ＫＰ１６）の位置を使用して、第２変更済画像上の注目画像（例えば、顔部分画像ＩＭｃ）の合成位置ＩＭＰＳを決定する。ここで、人物の複数の部分（ここでは、キーポイントＫＰ０、ＫＰ１５、ＫＰ１６）は、顔に含まれる部分を含んでいる。この構成によれば、プロセッサ２１０は、顔に含まれる部分の位置を考慮して、適切な合成位置を決定できる。

【0101】

また、Ｓ１４０（図２）で外観変更処理（例えば、表情変更処理ＩＰ１ａ）が実行される場合、Ｓ２３０のスタイル変換処理は、外観変更処理による変更済の画像のスタイルを変更する。また、Ｓ２００で外観変更処理（例えば、姿勢変更処理ＩＰ２ｃ）が実行される場合、Ｓ２１０のスタイル変換処理は、外観変更処理による変更済の画像のスタイルを変更する。外観変更処理は、スタイルを、意図せずに、変化させ得る。本実施例では、スタイル変換処理によって変更されたスタイルが、外観変更処理によって更に変更される可能性は、低減する。

【0102】

Ｂ．変形例：
（１）Ｓ１２０（図２）で使用される姿勢推定モデルＭ１（図１）は、OpenPoseのモデルに代えて、姿勢を推定する種々のモデルであってよい。

【0103】

また、姿勢推定処理は、図２のＳ１２０で説明した処理に限らず、種々の処理であってよい。例えば、プロセッサ２１０は、複数の姿勢のそれぞれのテンプレート画像を使用するテンプレートマッチングによって、姿勢を推定してよい。テンプレートマッチングには、姿勢推定モデルＭ１によって推定される姿勢（例えば、骨格）を表す画像が使用されてよい。テンプレートマッチングとしては、例えば、OpenCV（Open Source Computer Vision）によって提供されているテンプレートマッチングが使用されてよい。また、姿勢推定モデルＭ１は、人物の画像から直接に姿勢を分類する畳込ニューラルネットワーク画像分類器であってよい。

【0104】

（２）推定姿勢に応じて実行される推定対応処理（図２：Ｓ１４０）は、図６で説明した処理に限らず、処理対象の画像の少なくとも一部の画像を変更する種々の処理であってよい。画像の少なくとも一部の画像の変更は、種々の観点から、行われてよい。例えば、明るさ、色相などの色が、変更されてよい。また、画像の物体（例えば、人物）の形状（例えば、エッジの形状）が変更されてよい。例えば、第１種特定姿勢ＰＰ１に、図８の推定対応処理ＩＰ２のいずれか（例えば、第１種背景調整処理ＩＰ２ａ）が対応付けられてよい。

【0105】

推定姿勢と推定対応処理ＩＰ１との対応関係は、図６の対応関係に限らず、他の種々の対応関係であってよい。１種類の推定姿勢に応じて、複数の処理が実行されてよい。例えば、第１種特定姿勢ＰＰ１には、表情変更処理ＩＰ１ａとスタイル変換処理ＩＰ１ｂとが対応付けられてよい。また、第２種特定姿勢ＰＰ２には、３つの処理ＩＰ１ａ、ＩＰ１ｂ、ＩＰ１ｃが対応付けられてよい。また、推定対応処理に対応付けられる特定姿勢ＰＰｉは、図６の特定姿勢ＰＰ１－ＰＰ３に限らず、任意の姿勢を含んでよい。例えば、特定姿勢ＰＰｉは、足の形を含む姿勢を含んでよい。また、特定姿勢ＰＰｉの種類の総数ｋは、１以上の任意の整数であってよい。

【0106】

（３）表情変更処理ＩＰ１ａ（図６）で使用される顔表情変更モデルＭ３は、「FaR-GAN」と呼ばれるモデルに代えて、他の種々のモデルであってよい。例えば、顔表情変更モデルＭ３は、顔の画像から所定の表情の顔の画像を生成するオートエンコーダであってよい。

【0107】

（４）背景変更処理ＩＰ１ｃ（図６）は、図８の背景調整処理ＩＰ２ａ、ＩＰ２ｂと同様に、背景部分の画像の色（例えば、明るさ）を変更する処理であってよい。

【0108】

（５）表情推定処理は、図２のＳ１８０で説明した処理に限らず、種々の処理であってよい。例えば、プロセッサ２１０は、ランドマーク検出モデルＭ７（図１）を使用して、顔の画像から複数のランドマークを検出する。そして、プロセッサ２１０は、複数のランドマークを表す画像を表情分類モデルＭ９（図１）に入力することによって、表情を分類する。この場合、表情分類モデルＭ９は、複数のランドマークを表す画像を使用して表情を適切に分類するように、予め訓練される。なお、ランドマーク検出モデルＭ７は、「Attention Mesh」と呼ばれるモデルに代えて、顔のランドマークを検出する種々のモデルであってよい。

【0109】

（６）推定表情に応じて実行される推定対応処理（図２：Ｓ２００）は、図８で説明した処理に限らず、処理対象の画像の少なくとも一部の画像を変更する種々の処理であってよい。Ｓ１４０の推定対応処理と同様に、画像の少なくとも一部の画像の変更は、種々の観点から、行われてよい。例えば、第１種特定表情ＥＰ１に、図６の推定対応処理ＩＰ１のいずれか（例えば、背景変更処理ＩＰ１ｃ）が対応付けられてよい。

【0110】

推定表情と推定対応処理ＩＰ２との対応関係は、図８の対応関係に限らず、他の種々の対応関係であってよい。１種類の推定表情に応じて、複数の処理が実行されてよい。例えば、第１種特定表情ＥＰ１には、第１種背景調整処理ＩＰ２ａと姿勢変更処理ＩＰ２ｃとが対応付けられてよい。第２種特定表情ＥＰ２には、３つの処理ＩＰ２ｂ、ＩＰ２ｃ、ＩＰ２ｄが対応付けられてよい。また、推定対応処理に対応付けられる特定表情ＥＰｊは、図８の特定表情ＥＰ１－ＥＰ４に限らず、任意の表情を含んでよい。例えば、特定表情ＥＰｊは、口から舌を出した表情を含んでよい。また、特定表情ＥＰｊの種類の総数ｍは、１以上の任意の整数であってよい。

【0111】

（７）姿勢変更処理ＩＰ２ｃ（図８）は、人物を形成する複数の部分を抽出して再配置する処理に代えて、姿勢を変更する種々の処理であってよい。例えば、人物の画像から所定の姿勢の人物の画像を生成するオートエンコーダが、使用されてよい。

【0112】

（８）背景調整処理ＩＰ２ａ、ＩＰ２ｂ（図８）は、図６の背景変更処理ＩＰ１ｃと同様に、背景部分の画像を別の画像に変更する処理であってよい。

【0113】

（９）Ｓ２４０（図３）の顔のランドマークを検出する処理は、「Attention Mesh」と呼ばれる検出モデルを使用する処理に代えて、他の種々の処理であってよい。プロセッサ２１０は、例えば、ＯｐｅｎＣＶ（Open Source Computer Vision）のFacemark APIを使用することによって、顔のランドマークを検出してよい。また、プロセッサ２１０は、顔の部分（口、目など）のテンプレート画像を使用するテンプレートマッチングによって、ランドマークを検出してよい。

【0114】

（１０）Ｓ１７０（図２）で使用される超解像モデルＭ８（図１）は、「PULSE」と呼ばれる技術のモデルに代えて、解像度（すなわち、画素密度）を増大する種々のモデルであってよい。また、Ｓ１７０の高解像度化処理は、機械学習モデルを使用する処理に代えて、種々の解像度変換処理（例えば、バイキュービック法やバイリニア法など）であってよい。

【0115】

（１１）Ｓ１５０（図２）で使用される顔検出モデルＭ６は、「BlazeFace」と呼ばれるモデルに代えて、顔を検出する種々のモデルであってよい。顔検出モデルＭ６は、例えば、YOLO（You only look once）と呼ばれる物体検出モデルであってよい。また、プロセッサ２１０は、機械学習モデルを使用せずに、顔のテンプレート画像を使用するテンプレートマッチングによって、顔を検出してよい。

【0116】

（１２）背景変更処理ＩＰ１ｃ（図６）で使用される分割モデルＭ５（図１）は、「Mask R-CNN」と呼ばれるモデルに代えて、画像中の物体を示す領域を分離する種々のモデルであってよい。分割モデルＭ５は、例えば、セマンティックセグメンテーションを行うモデルであってよい（Ｕ－ｎｅｔ、ＳｅｇＮｅｔなど）。

【0117】

（１３）顔を含む画像から顔部分画像を取得する処理は、Ｓ２５０（図３）で説明した処理に代えて、他の種々の処理であってよい。例えば、プロセッサ２１０は、顔を表す部分と他の部分とに画像を分割する分割モデルを使用してよい。分割モデルは、分割モデルＭ５と同じアーキテクチャを有してよい。また、分割モデルは、以下の論文に開示される「FCN(fully convolutional network)」と呼ばれるモデルであってよい。
Yuval Nirkin, Iacopo Masi, Anh Tuan Tran, Tal Hassner and Gerard Medioni, "On Face Segmentation, Face Swapping, and Face Perception", arXiv:1704.06729, 22 Apr. 2017, http://arxiv.org/abs/1704.06729
このモデルは、顔の見える部分を示す領域を、分割する。

【0118】

（１４）Ｓ２１０（図２）のスタイル変換で処理される画像は、スタイル変更対象画像（例えば、第２対象画像ＩＭａ２（図４（Ｄ）））の全領域に対応付けられる第３対象画像（例えば、第３対象画像ＩＭａ３（図４（Ｅ）））の全体である。Ｓ２１０で処理される画像は、スタイル変更対象画像のうちの顔以外の部分を含む特定領域に対応付けられる画像、すなわち、第３対象画像のうちの特定領域の画像であってよい。特定領域は、上記の実施例のように、スタイル変更対象画像の全領域であってよい。これに代えて、特定領域は、スタイル変更対象画像から顔を表す領域（例えば、Ｓ１６０で抽出される領域）を除いた残りの領域であってよい。この場合、Ｓ２１０では、プロセッサ２１０は、第３対象画像のうちの顔を表す領域をマスクして得られる画像のスタイル変換を行ってよい。マスクされる部分の色値は、所定の色値（例えば、白、黒、フレーなど）に設定されてよい。

【0119】

（１５）スタイル変換モデルＭ４（図１）は、AdaINの論文のモデルに代えて、画像のスタイル変換を行う種々のモデルであってよい。例えば、「Fast Patch-based Style Transfer of Arbitrary Style」と呼ばれる技術のアーキテクチャ、または、「Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration」と呼ばれる技術のアーキテクチャが、採用されてよい。また、図２、図３のＳ１４０（スタイル変換処理ＩＰ１ｂ）と、Ｓ２００（スタイル変換処理ＩＰ２ｄ）と、Ｓ２１０と、Ｓ２３０とでは、プロセッサ２１０は、互いに異なるスタイル変換モデルを使用してよい。

【0120】

（１６）Ｓ２６０（図３）では、プロセッサ２１０は、変換済全体画像によって表される人物の複数の部分（複数の参照部分とも呼ぶ）のそれぞれの位置を使用して、合成位置を決定してよい。複数の参照部分は、顔に含まれる部分である複数の顔参照部分（例えば、口、鼻、目、眉からなる群から選択される２以上の部分）を含んでよい。また、複数の参照部分は、顔に含まれる１以上の顔参照部分（例えば、口、鼻、目、眉からなる群から選択される１以上の部分）と、人物の顔以外の部分である１以上の非顔参照部分（例えば、首、肩、肘、手首、腰からなる群から選択される１以上の部分）と、を含んでよい。いずれの場合も、プロセッサ２１０は、複数の参照部分のそれぞれの位置を使用することによって、顔部分画像の全体の変換済全体画像上の合成位置を決定できる。例えば、プロセッサ２１０は、顔部分画像のうちの複数の顔参照部分に対応する複数の顔対応部分（例えば、両目）が、それぞれ、変換済全体画像上の対応する顔参照部分の近くに配置されるように、顔部分画像の全体の変換済全体画像上の合成位置を決定してよい。また、プロセッサ２１０は、顔部分画像の顔対応部分（例えば、鼻）が、変換済全体画像の対応する顔参照部分の近くに配置されるように、顔部分画像の変換済全体画像上の位置を決定してよい。そして、プロセッサ２１０は、複数の参照部分のうちの顔参照部分と非顔参照部分とを使用して、顔部分画像の変換済全体画像上の向きを決定してよい。例えば、プロセッサ２１０は、顔部分画像によって示される顔の上方向（例えば、口から鼻に向かう方向）が、変換済全体画像によって示される顔の上方向（例えば、首から鼻に向かう方向）に一致するように、顔部分画像を回転させてよい。このように、顔部分画像の全体の合成位置は、顔部分画像の顔対応部分（例えば、鼻）の変換済全体画像上の位置と顔部分画像の変換済全体画像上の向きとの組み合わせによって、定められてよい。また、合成位置の決定には、合成すべき顔を表す画像（例えば、顔部分画像）のうちの１以上の参照部分に対応する１以上の部分（例えば、１以上の顔対応部分）が使用されてよい。いずれの場合も、プロセッサ２１０は、顔部分画像によって表される顔のサイズ（例えば、変換済顔領域画像ＩＭｂ４（図７（Ｅ））の幅と高さ）が、変換済全体画像によって表される顔のサイズ（例えば、バウンディングボックスＢＢ（図７（Ａ））の幅と高さ）に近くなるように、顔部分画像をリサイズ（例えば、解像度変換）してよい。

【0121】

（１７）画像処理は、図２、図３の処理に代えて、他の種々の処理であってよい。例えば、プロセッサ２１０は、姿勢の推定と推定姿勢に対応する推定対応処理（Ｓ１２０－Ｓ１４０）を、「Ｓ１５０－Ｓ２００」による処理済の画像を使用して、実行してよい。プロセッサ２１０は、姿勢の推定と推定姿勢に対応する推定対応処理（Ｓ１２０－Ｓ１４０）を、Ｓ２７０による処理済の画像（すなわち、合成画像）を使用して、実行してよい。プロセッサ２１０は、表情の推定と推定表情に対応する推定対応処理（Ｓ１８０－Ｓ２００）を、Ｓ２７０による処理済の画像（すなわち、合成画像）を使用して、実行してよい。また、Ｓ１７０は省略されてよい。この場合、Ｓ１８０では、プロセッサ２１０は、Ｓ１６０で抽出された画像を使用してよい。また、「Ｓ１２０－Ｓ１４０」の処理と「Ｓ１５０－Ｓ２００」の処理との一方、または、両方が、省略されてよい。また、上記の実施例では、機械学習モデル（例えば、スタイル変換モデルＭ４）を使用する処理のために画像のサイズ（例えば、幅と高さ）が変化する場合に、プロセッサ２１０は、画像のリサイズを行う。これにより、第１－第３の対象画像と合成画像と出力画像とのそれぞれのサイズは、入力画像のサイズと同じである。これに代えて、画像のリサイズは、省略されてよい。例えば、プロセッサ２１０は、Ｓ２１０（図２）で、スタイル変換モデルＭ４によって生成される画像を、リサイズ無しで、変換済全体画像として使用してよい。この場合、Ｓ２７０（図３）で生成される合成画像のサイズ（ひいては、出力画像のサイズ）は、スタイル変換モデルＭ４によって生成される画像のサイズと同じであり、入力画像のサイズと異なり得る。

【0122】

（１８）対象画像によって表される生物は、人物に限らず、顔を有する種々の生物であってよい。例えば、犬、猫などのペットを表す画像が、対象画像として使用されてよい。また、犬、猫に限らず、種々の哺乳類を表す画像が、対象画像として使用されてよい。

【0123】

（１９）図１の画像処理装置は、パーソナルコンピュータとは異なる種類の装置（例えば、デジタルカメラ、スキャナ、スマートフォン）であってもよい。また、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、画像処理装置による画像処理の機能を一部ずつ分担して、全体として、画像処理の機能を提供してもよい（これらの装置を備えるシステムが画像処理装置に対応する）。

【0124】

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、機械学習モデル（例えば、スタイル変換モデルＭ４（図１））は、専用のハードウェア回路によって実現されてよい。

【0125】

また、本開示の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0126】

上記した実施の形態は、本開示の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0127】

２００…画像処理装置、２１０…プロセッサ、２１５…記憶装置、２２０…揮発性記憶装置、２３０…不揮発性記憶装置、２３１…プログラム、２４０…表示部、２５０…操作部、２７０…通信インタフェース、Ｍ１…姿勢推定モデル、Ｍ２…姿勢分類モデル、Ｍ３…顔表情変更モデル、Ｍ４…スタイル変換モデル、Ｍ５…分割モデル、Ｍ６…顔検出モデル、Ｍ７…ランドマーク検出モデル、Ｍ８…超解像モデル、Ｍ９…表情分類モデル、Ｄｘ…第１方向、Ｄｙ…第２方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】