特許 7498534 コンピュータプログラム、画像処理方法及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-04

(45)【発行日】2024-06-12

(54)【発明の名称】コンピュータプログラム、画像処理方法及び画像処理装置

(51)【国際特許分類】

   H04N 5/262 20060101AFI20240605BHJP

   H04N 7/18 20060101ALI20240605BHJP

   G06T 11/80 20060101ALI20240605BHJP

   G06T 7/00 20170101ALI20240605BHJP

   G06V 40/16 20220101ALI20240605BHJP

   G06T 1/40 20060101ALI20240605BHJP

【ＦＩ】

H04N5/262

H04N7/18 G

H04N7/18 K

G06T11/80 A

G06T7/00 660A

G06V40/16 B

G06T1/40

【請求項の数】 16

(21)【出願番号】P 2023199394

(22)【出願日】2023-11-24

【審査請求日】2023-11-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】520299625

【氏名又は名称】ハイパーダイン株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】五十嵐 一浩

(72)【発明者】

【氏名】山下 真吾

(72)【発明者】

【氏名】宮島 靖

(72)【発明者】

【氏名】アブドスサブル ムハマッド

(72)【発明者】

【氏名】ホッサイン シャカウト

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１４－０８５７９６（ＪＰ，Ａ）

【文献】特開２０２０－０９１７７０（ＪＰ，Ａ）

【文献】特開２０１４－０６７１３１（ＪＰ，Ａ）

【文献】特開２００８－２５７４２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２６２－５／２７８

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １１／８０

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｔ １／４０

(57)【特許請求の範囲】

【請求項1】

人物を含む動画の実写画像を取得し、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する
処理をコンピュータに実行させるコンピュータプログラムであって、
前記動画に含まれる前記人物の顔画像を継続的に同じ生成顔画像に置換するために必要なデータとして、前記動画に含まれる人物の全身又は顔の特徴量及び移動情報を含む追跡情報と、該人物の属性に応じた生成顔画像とを紐付けて記録することにより、前記動画に含まれる前記人物を追跡し、
追跡中の前記人物の顔画像を継続的に同じ前記生成顔画像に置換する
処理を前記コンピュータに実行させるコンピュータプログラム。

【請求項2】

人物を含む実写画像を取得し、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する
処理をコンピュータに実行させるコンピュータプログラムであって、
前記実写画像には複数の人物が含まれており、
前記属性毎に設けられた前記生成顔画像の生成上限枚数の範囲内で前記生成顔画像を生成し、一部の前記人物の顔画像を同一の前記生成顔画像に置換する
処理を前記コンピュータに実行させるコンピュータプログラム。

【請求項3】

前記属性は、
前記人物の年齢、性別、人種のうち少なくとも１つを含む
請求項１又は請求項２に記載のコンピュータプログラム。

【請求項4】

前記属性は、
前記人物の顔の特徴量、前記人物に対する環境属性、又は前記人物の人体の特徴量を含む
請求項１又は請求項２に記載のコンピュータプログラム。

【請求項5】

属性を含む情報が入力された場合に該属性に応じた写実的な生成顔画像を出力する学習済モデルに、特定した前記属性を含む情報を入力することによって、前記属性に応じた写実的な前記生成顔画像を生成する
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。

【請求項6】

前記実写画像には複数の人物が含まれており、
前記複数の人物の顔画像それぞれを、前記複数の人物毎に特定した前記属性に応じて生成された前記生成顔画像に置換する
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。

【請求項7】

前記実写画像には複数の人物が含まれており、
特定の対象人物を除く前記複数の人物の顔画像を前記生成顔画像に置換し、
前記対象人物の顔画像は置換しない
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。

【請求項8】

前記人物の顔の向き又は表情に応じた前記生成顔画像に置換する
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。

【請求項9】

置換後の前記生成顔画像を、顔認識学習済モデルにより顔画像として検出できるか否かを判定し、
置換後の前記生成顔画像が顔画像として検出されなかった場合、前記人物の顔画像に対してマスキング処理を実行する
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。

【請求項10】

前記人物の顔画像を前記生成顔画像に置換する処理の失敗可能性の有無を判定し、
失敗可能性がある場合、前記人物の顔画像に対してマスキング処理を実行する
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。

【請求項11】

前記人物の顔画像を置換した後、
前記実写画像の縁側を切り取り又はマスキングする
処理を前記コンピュータに実行させる請求項１又は請求項２に記載のコンピュータプログラム。

【請求項12】

前記動画に含まれる前記人物を追跡する際、前記動画を順方向再生して前記人物を追跡すると共に、前記動画を逆方向再生して該人物を追跡する
処理を前記コンピュータに実行させる請求項１に記載のコンピュータプログラム。

【請求項13】

人物を含む動画の実写画像を取得し、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する
画像処理方法であって、
前記動画に含まれる前記人物の顔画像を継続的に同じ生成顔画像に置換するために必要なデータとして、前記動画に含まれる人物の全身又は顔の特徴量及び移動情報を含む追跡情報と、該人物の属性に応じた生成顔画像とを紐付けて記録することにより、前記動画に含まれる前記人物を追跡し、
追跡中の前記人物の顔画像を継続的に同じ前記生成顔画像に置換する
画像処理方法。

【請求項14】

人物を含む実写画像を取得し、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する
画像処理方法であって、
前記実写画像には複数の人物が含まれており、
前記属性毎に設けられた前記生成顔画像の生成上限枚数の範囲内で前記生成顔画像を生成し、一部の前記人物の顔画像を同一の前記生成顔画像に置換する
画像処理方法。

【請求項15】

人物を含む動画の実写画像を取得して画像処理を実行する処理部を備えた画像処理装置であって、
前記処理部は、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換し、
前記動画に含まれる前記人物の顔画像を継続的に同じ生成顔画像に置換するために必要なデータとして、前記動画に含まれる人物の全身又は顔の特徴量及び移動情報を含む追跡情報と、該人物の属性に応じた生成顔画像とを紐付けて記録することにより、前記動画に含まれる前記人物を追跡し、
追跡中の前記人物の顔画像を継続的に同じ前記生成顔画像に置換する
画像処理装置。

【請求項16】

人物を含む実写画像を取得して画像処理を実行する処理部を備えた画像処理装置であって、
前記処理部は、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する
画像処理装置であって、
前記実写画像には複数の人物が含まれており、
前記属性毎に設けられた前記生成顔画像の生成上限枚数の範囲内で前記生成顔画像を生成し、一部の前記人物の顔画像を同一の前記生成顔画像に置換する
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータプログラム、画像処理方法及び画像処理装置に関する。

【背景技術】

【0002】

特許文献１には、顔画像を取得して顔認識を行い、顔認証の正確性が確保されるように本人の特徴を維持しつつ、年齢を変化させた年齢隠し画像を出力する技術が開示されている。顔認識精度を確保するとともに、ユーザの年齢プライバシー情報を保護することができ、それにより顔認識技術の信頼性を向上させることができる。

【0003】

特許文献２には、入力画像に含まれる人物の顔認識を行い、感情推定に用いられる特徴点が含まれる線を用いて描画し、入力画像に含まれる人物の顔画像を描画された顔画像に置き換える技術が開示されている。このような顔画像の置き換えにより、プライバシー保護と感情推定を行うことができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６６５１０３８号公報

【文献】特開２０２０－０８６９２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１及び２には、実写画像の光景を維持しつつ、実写画像に写った人物のプライバシーを保護する技術は開示されていない。

【0006】

本開示の目的は、実写画像の光景を維持しつつ、実写画像に含まれる人物のプライバシーを保護することができるコンピュータプログラム、画像処理方法及び画像処理装置を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一態様に係るコンピュータプログラムは、人物を含む実写画像を取得し、取得した前記実写画像に含まれる前記人物の属性を特定し、前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する処理をコンピュータに実行させる。

【0008】

本開示の一態様に係る画像処理方法は、人物を含む実写画像を取得し、取得した前記実写画像に含まれる前記人物の属性を特定し、前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する。

【0009】

本開示の一態様に係る画像処理装置は、人物を含む実写画像を取得して画像処理を実行する処理部を備えた画像処理装置であって、前記処理部は、取得した前記実写画像に含まれる前記人物の属性を特定し、前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する。

【発明の効果】

【0010】

本開示によれば、実写画像の光景を維持しつつ、実写画像に含まれる人物のプライバシーを保護することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態１に係る画像処理装置の構成例を示すブロック図である。

【図2】実施形態１に係る画像処理方法のデータフロー図である。

【図3】実施形態１に係る画像処理方法の処理手順を示すフローチャートである。

【図4】プライバシー保護に係る顔画像の置換方法を示す概念図である。

【図5】追跡テーブルを示す概念図である。

【図6】プライバシー保護に係る画像処理前後の動画像を示す模式図である。

【図7】動画に写る置換対象人物の追跡及び顔画像の置換方法を示す概念図である。

【図8】実施形態２に係る画像処理方法の処理手順を示すフローチャートである。

【図9】生成顔画像による置換処理と、マスキング処理とを併用したプライバシー保護に係る画像処理方法を示す概念図である。

【図10】実施形態３に係る画像処理方法の処理手順を示すフローチャートである。

【図11】実施形態４に係る画像処理方法の処理手順を示すフローチャートである。

【図12】実施形態４に係る画像処理方法によって顔画像が置換された動画像のフレーム画像を示す模式図である。

【図13】生成顔画像の重複利用が行われたときの追跡テーブルを示す概念図である。

【発明を実施するための形態】

【0012】

本開示の実施形態に係る画像処理装置１を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。

【0013】

図１は、実施形態１に係る画像処理装置１の構成例を示すブロック図である。画像処理装置１は、コンピュータであり、処理部１１、表示部１２、操作部１３、通信部１４及び記憶部１５を備える。各部は、バスにより接続されている。

【0014】

本実施形態に係る画像処理装置１は、実写の動画に含まれる一又は複数の人物を同定及び追跡し、当該人物の顔画像を、その人物の属性情報に基づいて生成される写実的な生成顔画像Ｐに置換することによってプライバシー保護を実現するものである。特に、実施形態１に係る画像処理装置１は、プライバシー保護を要しない特定の人物（以下、非置換対象人物と呼ぶ）の顔画像に対してはプライバシー保護の画像処理を行わず、その他の人物（以下、置換対象人物と呼ぶ）の顔画像を生成顔画像Ｐ（図４参照）に置換するものである。例えば、非置換対象人物は動画に写るタレント、置換対象人物は一般聴衆である。

【0015】

より具体的には、画像処理装置１は、動画に映っている各人物の属性情報（年齢、性別、人種等）を推定し、その結果に基づいて同一人物を追跡した上で、当人の顔を別の顔画像に置き換える。それら置換用の顔画像は、当人の属性に応じてＡＩが生成したものであり、見た目は人間であるが、当人のオリジナルの画像とは異なっている。これにより、キャラクタやモザイクに差し替えるよりも自然な光景を維持したまま、プライバシーを保護し、肖像権の問題を気にすることなく動画を利用することができる。

【0016】

なお、画像処理装置１は、スタンドアロンのコンピュータであってもよいし、ネットワークに接続されたサーバ装置であっても良い。また、画像処理装置１は、オンプレミス環境にあるコンピュータであってもよいし、クラウド環境にあるサーバ等のコンピュータであってもよい。画像処理装置１は、複数台のコンピュータで構成し分散処理する構成でもよいし、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。

【0017】

処理部１１は、ＣＰＵ（Central Processing Unit）、マルチコアＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＮＰＵ（Neural Processing Unit）等の演算回路、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の内部記憶装置、Ｉ／Ｏ端子、計時部等を有するプロセッサである。処理部１１は、後述の記憶部１５が記憶するコンピュータプログラム（プログラム製品）１５ａを実行することにより、本実施形態１に係る画像処理方法を実施する。

【0018】

他の観点によれば、処理部１１は、コンピュータプログラム１５ａを実行することにより、人体・顔検出部１１ａ、属性抽出部１１ｂ、人物同定部１１ｃ、置換対象人物選択部１１ｄ、顔画像生成部１１ｅ、顔画像置換部１１ｆ等の機能部として動作する（図２参照）。なお、画像処理装置１の各機能部は、ソフトウェア的に実現してもよいし、一部又は全部をハードウェア的に実現してもよい。

【0019】

表示部１２は、例えば、液晶パネル又は有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置である。

【0020】

操作部１３は、例えば、ハードウェアキーボード、マウス、タッチパネル等の入力装置である。ユーザは、操作部１３を用いて画像処理装置１を操作し、動画データの取り込み、再生等の処理を実行させることができる。

【0021】

通信部１４は、外部装置との間で通信処理を行うための通信回路を含む。本実施形態１の通信部１４は、図示しないビデオカメラ、外部サーバストレージ等にアクセスして動画データを取得する。動画は、時系列の複数のフレーム画像によって構成される。実写の動画を構成するフレーム画像は、本実施形態１に係る画像処理対象である実写画像の一例である。

【0022】

記憶部１５は、例えば主記憶部及び補助記憶部を有する。主記憶部は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、処理部１１が演算処理を実行するために必要なデータを一時的に記憶する。補助記憶部は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の記憶装置である。記憶部１５は、処理部１１が実行するコンピュータプログラム１５ａ、顔認識学習済モデル１５ｂ、顔画像生成学習済モデル１５ｃ及び顔画像置換学習済モデル１５ｄを記憶する。コンピュータプログラム１５ａに基づく処理の詳細は後述する。

【0023】

顔認識学習済モデル１５ｂは、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）、ビジョントランスフォーマ（Vision Transformer）などのモデルを含む。それらを組み合わせた構成にしてもよい。顔認識学習済モデル１５ｂは、動画のフレーム画像が入力される入力層と、フレーム画像の特徴量を抽出する中間層と、検出されたオブジェクトに係る推論結果を出力する出力層とを有する。

【0024】

推論結果は、顔画像を囲むバウンディングボックスの中心座標位置及び縦横サイズ、顔の画像的特徴量（ランドマーク、キーポイント、等）、「属性」等の情報を含む。
「属性」は、少なくとも当該人物の顔属性を含む。顔属性は、例えば、当該人物の年齢、性別、人種、顔の向き、眼鏡の有無、マスクの有無、感情等の情報が含まれる。
また、「属性」は、顔画像及びフレーム画像の光景に影響を及ぼす環境属性を含むようにしてもよい。環境属性には、例えば、人物の顔に対する照明状態、日照状態等の情報が含まれる。照明状態は、顔を照らす照明光源の有無、照明箇所、光源の色を示す情報である。日照状態は、顔に表れる陰影（日陰及び日なたの影響）を示す情報である。また、環境属性には、顔の濡れ具合（天候の影響）、汗ばみ具合（気温の影響）等を示す情報が含まれてもよい。

【0025】

また、顔認識学習済モデル１５ｂは、動画のフレーム画像に含まれる人物の顔に加え、人体を推論するように構成するとよい。この場合、推論結果は、人体の画像を囲むバウンディングボックス（中心座標位置及び縦横サイズ）、人体の画像的特徴量等の情報を含む。

【0026】

顔画像生成学習済モデル１５ｃ、顔画像置換学習済モデル１５ｄは、例えば深層学習による学習済みの敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Networks）、Ｄｉｆｆｕｓｉｏｎ、オートエンコーダー（Auto Encoder）などのモデルを含む。それらを組み合わせた構成にしてもよい。もちろん、深層学習モデル以外の手法により同等の機能を実現してもよい。

【0027】

顔画像生成学習済モデル１５ｃは、生成したい画像の特徴を入力、及び／又は、特徴をテキストで表現したプロンプトを入力することにより、当該プロンプトで表現された特徴を有する画像を出力する学習済モデルである。本実施形態１で用いる顔画像生成学習済モデル１５ｃは、顔画像生成学習済モデル１５ｃに、生成したい画像の特徴を直接入力、及び／又は、特徴をテキストで表現したプロンプト入力を与えることによって、当該属性に応じた写実的な生成顔画像Ｐを出力する機能を有する。具体的には、顔画像生成学習済モデル１５ｃは、プロンプトで年齢、性別、人種が指定された場合、指定された年齢、性別及び人種に応じた生成顔画像Ｐを出力する機能を有する。

【0028】

また、顔画像生成学習済モデル１５ｃは、顔の向き又は表情が指定された場合、指定された向き又は表情に応じた生成顔画像Ｐを出力する機能を有するように構成してもよい。もちろん、顔画像生成学習済モデル１５ｃは、顔の向き及び表情が指定された場合、指定された向き及び表情に応じた生成顔画像Ｐを出力する機能を有するように構成してもよい。眼鏡の有無、マスクの有無、環境属性が指定された場合、指定に従って、眼鏡を装着した生成顔画像Ｐ、マスクを装着した生成顔画像Ｐ、環境属性に応じた照明具合が反映された生成顔画像Ｐ等を出力する機能を有するように構成してもよい。

【0029】

顔画像置換学習済モデル１５ｄが、顔画像生成学習済モデル１５ｃで生成した顔画像中の顔の画像的特徴量（ランドマーク、キーポイント、等）を部分的に調整し、新たな顔画像を再生成するように構成してもよい。顔画像置換学習済モデル１５ｄは、置換対象人物の顔の画像的特徴量（ランドマーク、キーポイント、等）の情報と生成顔画像の顔の画像的特徴量（ランドマーク、キーポイント、等）の情報を顔置換学習済モデルに入力することによって、置換対象人物の顔画像中の顔の画像的特徴量（ランドマーク、キーポイント、等）の位置や向きに合わせて、入力された生成顔画像中の顔の画像的特徴量（ランドマーク、キーポイント、等）の位置や向きを調整することにより、置換対象人物の顔の向き又は表情に応じた生成顔画像Ｐを再生成するように構成してもよい。
また、いうまでもなく、顔画像置換学習済モデル１５ｄは、置換対象人物の顔の向き及び表情に応じた生成顔画像Ｐを再生成するように構成してもよい。

【0030】

なお、本実施形態１では、画像処理装置１の記憶部１５が、顔認識学習済モデル１５ｂ、顔画像生成学習済モデル１５ｃ及び顔画像置換学習済モデル１５ｄを記憶する例を説明したが、顔画像の認識及び顔画像の生成を行う外部ＡＰＩ（Application Programming Interface）を利用するように構成してもよい。

【0031】

また、記憶部１５は、プライバシー保護を要しない特定の人物を識別するための非置換対象人物特徴量を記憶する。例えば、ユーザは、プライバシー保護を要しない特定の人物の顔画像を選択し、処理部１１は、選択された顔画像から、当該人物を識別するための特徴量を抽出し、抽出された特徴量を非置換対象人物特徴量として記憶すればよい。

【0032】

なお、補助記憶部は、画像処理装置１に接続された外部記憶装置であってもよい。コンピュータプログラム１５ａ、顔認識学習済モデル１５ｂ及び顔画像生成学習済モデル１５ｃは、画像処理装置１の製造段階において記憶部１５に書き込まれてもよいし、外部の画像処理装置１が配信するものを画像処理装置１が通信にて取得して記憶部１５に記憶させてもよい。コンピュータプログラム１５ａ、顔認識学習済モデル１５ｂ及び顔画像生成学習済モデル１５ｃは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体１ａに読み出し可能に記録された態様であってもよく、読取装置が記録媒体１ａから読み出して記憶部１５に記憶させてもよい。

【0033】

図２は、実施形態１に係る画像処理方法のデータフロー図、図３は、実施形態１に係る画像処理方法の処理手順を示すフローチャート、図４は、プライバシー保護に係る顔画像の置換方法を示す概念図である。

【0034】

画像処理装置１の処理部１１は、実写画像（動画又は静止画）を取得する（ステップＳ１１１）。例えば、処理部１１は動画データを取得する。処理部１１は、通信部１４を介して外部から動画データを取得してもよいし、記憶部１５が記憶する動画データを読み出して取得してもよい。ここでは動画に複数の人物が含まれており、複数の人物には一人の非置換対象人物が含まれているものとする。

【0035】

次いで、人体・顔検出部１１ａ及び属性抽出部１１ｂとして機能する処理部１１は、顔認識学習済モデル１５ｂを用いて動画のフレーム画像に含まれる複数の人物の人体及び顔部分の領域を検出すると共に当該人物の属性を抽出する（ステップＳ１１２）。処理部１１は、フレーム画像を顔認識学習済モデル１５ｂに入力することによって、当該フレーム画像に含まれる複数の人物それぞれの人体及び顔画像の位置及びサイズ、人体及び顔の特徴を示した属性情報が得られる。なお、機械学習された学習済モデルを用いて、フレーム画像に含まれる人物の人体及び顔画像の領域を検出し、属性を抽出する例を説明したが、パターンマッチング等のルールベースの処理で、かかる検出及び属性抽出処理を実行してもよい。

【0036】

そして、人物同定部１１ｃとして機能する処理部１１は、当該複数の人物それぞれを同定及び追跡する（ステップＳ１１３）。ここで、処理部１１は、同定された複数の人物それぞれを追跡し、同定された各人物の顔画像を継続的に同じ生成顔画像Ｐに置換するために必要なデータを追跡テーブルに記録する。追跡テーブルは記憶部１５が記憶している。なお、追跡テーブルは同定された人物の追跡管理に必要なデータの保持方法の一例であり、特にテーブル形式に限定されるものではない。
なお、言うまでも無く、ステップＳ１１３の処理は実写画像が動画である場合に実行される処理である。実写画像が静止画である場合、ステップＳ１１２に次いでステップＳ１１４の処理が実行される。他の実施形態でも同様である。

【0037】

図５は、追跡テーブルを示す概念図である。追跡テーブルは、例えば、フレーム画像から検出された複数の顔画像それぞれを識別するための人物番号（Ｎｏ．）と、当該顔画像を追跡するための追跡情報と、当該顔画像が置換画像であるか否かを示すための情報と、当該顔画像を置換する生成顔画像Ｐを示す情報とを対応付けて格納している。

【0038】

追跡情報としては、例えば、当該人物の全身の特徴量と、顔の特徴量、全身の移動量、顔の移動量等が含まれる。顔画像を追跡するための全身の特徴量は、例えば、全身の画像的特徴量（ランドマーク、キーポイント、等）を含む。顔画像を追跡するための顔の特徴量は、例えば、顔の画像的特徴量（ランドマーク、キーポイント、等）を含む。追跡情報は、顔画像の位置及び範囲を示す情報を含んでもよい。

【0039】

動画入力の場合、オフライン処理として、動画を逆方向再生した上で人物の追跡情報を同様に収集し、順方向再生（通常の再生）の追跡情報を補完してもよい。この補完により、順方向再生におけるフレームイン／フェードイン／シーン切替後の追跡情報の精度は、逆方向再生におけるフレームアウト／フェードアウト／シーン切替前の追跡情報の精度と同等になる。

【0040】

置換画像であるか否かを示すための情報は後述のステップＳ１１４で特定される情報であり、生成顔画像Ｐを示す情報は、後述のステップＳ１１５で生成された生成顔画像Ｐを識別して、継続的に特定の人物の顔画像と、生成顔画像Ｐとを紐付けるための情報である。

【0041】

図３に戻り、ステップＳ１１３の処理に次いで、置換対象人物選択部１１ｄとして機能する処理部１１は、検出された複数の人物それぞれの顔画像の特徴量と、記憶部１５が記憶している非置換対象人物特徴量とに基づいて、顔画像の置換を行う置換対象人物の顔画像と、顔画像の置換を行わない非置換対象人物の顔画像とを特定し、置換対象人物を選択する（ステップＳ１１４）。ここで、処理部１１は、特定結果を追跡テーブルに記憶する。非置換対象人物特徴量と同一又は類似の特徴量を有する人物は、非置換対象人物として特定される。非置換対象物として特定されなったその他の人物は、置換対象人物として特定される。図４に示す例では、フレーム画像に６人の人物が含まれており、中央の人物が非置換対象人物であり、他の５人の人物が置換対象人物である。

【0042】

なお、非置換対象人物が指定又は設定されていない場合、フレーム画像に含まれる全ての人物の顔画像が置換対象顔画像として特定される。

【0043】

次いで、顔画像生成部１１ｅとして機能する処理部１１は、フレーム画像に含まれる複数の置換対象人物の属性情報に基づいて、それぞれ顔画像を生成する（ステップＳ１１５）。具体的には、処理部１１は、図４に示すように、置換対象人物の属性を含む入力（直接入力及び／又はプロンプト入力）を作成し、作成したプロンプトを顔画像生成学習済モデル１５ｃに入力することによって、当該置換対象人物のプライバシー保護のための写実的な顔画像を生成する。プロンプトは、例えば「２０代男性、日本人、顔の全部、リアルな画像、１名」のようなテキストである。処理部１１は、同定及び追跡している人物の顔画像と、生成顔画像Ｐとを関連付けるため、人物番号に当該生成顔画像Ｐを示す情報を対応付けて追跡テーブルに記憶する。

【0044】

次いで、処理部１１は、顔画像生成学習済モデル１５ｃが生成した顔画像に対し、下記に例示する方法により修正を施し、生成顔画像を再生成してもよい（ステップＳ１１６）。例えば、（１）各置換対象人物の顔の向き又は表情に応じて、生成顔画像Ｐの向き又は表情を変換する。ステップＳ１１５で正面を向いた生成顔画像Ｐを生成している場合、生成顔画像Ｐの向きを変換する加工を行えばよい。その際、ステップＳ１１５で、予め正面、右向き、左向きの生成顔画像Ｐを生成しておき、置換対象人物の顔の向きに応じて、顔画像の置換に使用する生成顔画像Ｐを選択するように構成してもよい。
表情についても同様であり、ステップＳ１１５で無表情な生成顔画像Ｐを生成している場合、生成顔画像Ｐの目元、口元等、表情に関わる部分を変化させる加工を行えばよい。その際、ステップＳ１１５で、予め複数種類の表情の生成顔画像Ｐを生成しておき、置換対象人物の顔の表情に応じて、顔画像の置換に使用する生成顔画像Ｐを選択するように構成してもよい。
また、いうまでもなく、処理部１１は、各置換対象人物の顔の向き及び表情の双方に応じて、生成顔画像Ｐの向き及び表情を変換するように構成してもよい。
（２）置換対象人物の顔画像中の顔の画像的特徴量（ランドマーク、キーポイント、等）の情報と生成顔画像中の顔の画像的特徴量（ランドマーク、キーポイント、等）の情報を顔置換学習済モデルに入力することによって、置換対象人物の顔の向き又は表情、あるいは顔の向き及び表情の双方に応じた顔画像を再生成する。その際、置換対象人物の顔の画像的特徴量（ランドマーク、キーポイント、等）の位置や向きに合わせて、入力された生成顔画像の顔の画像的特徴量（ランドマーク、キーポイント、等）の位置や向きを調整する。

【0045】

そして、顔画像置換部１１ｆとして機能する処理部１１は、フレーム画像に含まれる複数の置換対象人物の顔画像それぞれを、ステップＳ１１５及びステップＳ１１６で生成した生成顔画像Ｐに置換し（ステップＳ１１７）、顔画像が生成顔画像Ｐに置換されたフレーム画像を出力する（ステップＳ１１８）。例えば、処理部１１は、顔画像を置換したフレーム画像を表示部１２に表示する。また、処理部１１は、通信部１４を介して、顔画像を置換したフレーム画像を外部へ送信してもよい。画像処理装置１が動画配信サーバである場合、記憶部１５が記憶する動画を構成する複数のフレーム画像に対してプライバシー保護の画像処理を順次実行し、外部へ送信する。

【0046】

また、フレーム画像に含まれる人物の顔画像を顔認識技術により同定及び追跡しているため、他のオブジェクトによる顔画像の遮蔽又はフレームアウトが生じても、顔画像のどの部分が遮蔽又はフレームアウトしたかを推定することができる。例えば、顔画像が左側へ移動しており、顔画像の中心位置が左端付近となって、顔画像の横寸法が短くなれば、処理部１１は、顔画像の左側が短くなった寸法分、フレームアウトしたと認識することができる。顔画像の遮蔽又はフレームアウトが発生しても、処理部１１は、人物の属性情報に基づいて、生成顔画像Ｐを生成することができる。処理部１１は、遮蔽又はフレームアウトによって置換前の顔画像の欠けに合わせて、生成顔画像Ｐを切り取り、当該顔画像に置換すればよい。

【0047】

置換対象人物の顔画像を置換した後、フレームの縁側（上下左右の四辺）の一定幅を切り取る又は黒色等で覆い隠す処理を施してもよい。

【0048】

図６は、プライバシー保護に係る画像処理前後の動画像を示す模式図である。図６上図は、元の動画データを構成する一のフレーム画像を示している。フレーム画像には、６人の人物が含まれている。６人の人物のうち、中央の人物は非置換対象人物、他の人物は置換対象人物である。この場合、図６下図に示すように、中央の人物を除く他の人物の顔画像は、当該人物の性別、年齢、人種等の属性を加味して作成された生成顔画像Ｐ１，Ｐ２，Ｐ３，Ｐ４に置換される。プライバシー保護を要する置換対象人物の顔画像を置換し、プライバシー保護を要しない非置換対象人物の顔画像を元画像のままとしたフレーム画像を生成することができる。

【0049】

ステップＳ１１１～ステップＳ１１８の処理により１枚のフレーム画像について、顔画像を生成顔画像Ｐに置換するプライバシー保護の画像処理を説明したが、上記処理を繰り返し実行し、動画を構成する各フレーム画像に対して同様にして画像処理を施すことによって、動画に写る置換対象人物の顔画像を常時、生成顔画像Ｐに置換することができる。

【0050】

図７は、動画に写る置換対象人物の追跡及び顔画像の置換方法を示す概念図である。動画に含まれる人物は継続的に同定及び追跡され、各人物に生成顔画像Ｐが紐付けられているため、図７に示すように動画において置換対象人物の位置が変化した場合であっても、各人物の顔画像は継続的に同じ生成顔画像Ｐによって置換される。つまり、同一人物であるにも関わらず、人物が移動している途中で異なる生成顔画像Ｐに置換されるといった不自然な状態が発生することを防ぐことができる。

【0051】

図７上図及び図７下図は、異なるフレーム画像を示しているが、各フレーム画像に含まれる人物は同定及び追跡されているため、継続的に同じ生成顔画像Ｐに置換されていることが分かる。具体的には、図７の上図において生成顔画像Ｐ２に置換されている人物が、下図に示すように右上から左下へ移動しているが、当該人物の顔画像は同一の生成顔画像Ｐ２によって置換されている。

【0052】

上記のように構成された実施形態１に係る画像処理装置１によれば、動画のフレーム画像に含まれる人物の顔画像を、当該人物の属性に応じた生成顔画像Ｐに置換することによって、実写動画の光景を維持しつつ、当該人物のプライバシーを保護することができる。

【0053】

また、プライバシー保護を要する置換対象人物の顔画像を生成顔画像Ｐで置換し、プライバシー保護を要しない非置換対象人物をそのままとして動画を生成することができる。

【0054】

更に、動画に含まれる人物を継続的に同定及び追跡し、同じ生成顔画像Ｐに置換することによって、動画の途中で顔が変化するといった不自然な状態を避け、プライバシー保護された自然な動画を得ることができる。
例えば、動画内でシーンが切り替わっても、同一人物を特定できるので、同一人物の顔画像を、常に同じ生成顔画像Ｐで置換する。従って、プライバシー保護された自然な動画を得ることができる。

【0055】

更に、人物の顔画像を、当該人物の年齢、性別、人種等の属性に応じた生成顔画像Ｐに置換する構成であるため、元の動画に含まれる人物と、画像処理後の動画に含まれる人物の雰囲気（年齢層、性別、人種）を変化させることなく、つまり実写動画の光景を維持しつつ、当該人物のプライバシーを保護することができる。

【0056】

更にまた、人物の顔画像を、当該人物の顔画像に影響を与える環境属性に応じた生成顔画像Ｐに置換する構成であるため、元の動画の雰囲気（照明の具合）と、画像処理後の動画の雰囲気（照明の具合）を変化させることなく、当該人物のプライバシーを保護することができる。

【0057】

更にまた、顔画像生成学習済モデル１５ｃを用いた写実的な顔画像を生成して置換する構成であるため、実写動画が光景を維持しつつ、動画に含まれる人物のプライバシーを保護することができる。

【0058】

更にまた、動画に含まれる人物の顔の向き又は表情と同じ向き又は表情を向いた生成顔画像Ｐに置換することによって、人物の顔の向き又は表情を変化させることなく当該人物のプライバシーを保護することができる。
生成ＡＩ技術により、一人の人物に対して数枚の生成顔画像Ｐを生成するだけで、動画に映っている顔の向き又は表情が変化しようとも、スムーズに置換できる。

【0059】

生成ＡＩ技術により、顔の遮蔽又はフレームアウトが生じても、可視部分のみをシームレスに置換できる。人物同定技術の要素技術である人物追跡技術により、遮蔽又はフレームアウトが生じても顔の位置を予測できるので、精度よく置換できる。

【0060】

なお、本実施形態１では動画に含まれる人物の顔画像を生成顔画像Ｐに置換してプライバシー保護を実現する例を説明したが、静止画についても本実施形態に係る技術を適用することができる。他の実施形態でも同様である。

【0061】

また、動画のフレーム画像を処理する際に、処理部１１が人物の属性に基づいて顔画像を生成する例を説明したが、典型的な属性の組み合わせについて、予め生成顔画像Ｐを作成して記憶部１５に記憶しておいてもよい。処理部１１は、フレーム画像に含まれる人物の属性に対応する作成済みの生成顔画像Ｐがある場合、人物の顔画像を記憶部１５が記憶する生成顔画像Ｐに置換し、当該属性に対応する作成済みの生成顔画像Ｐがない場合、顔画像生成学習済モデル１５ｃを用いて顔画像を生成し、置換するように構成してもよい。

【0062】

（実施形態２）
実施形態２に係る画像処理装置１は、顔画像の置換に失敗した場合に、当該顔画像に従来のマスキング処理を施すことによってプライバシーを保護する点が実施形態１と異なる。画像処理装置１のその他の構成は、実施形態１に係る画像処理装置１と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0063】

図８は、実施形態２に係る画像処理方法の処理手順を示すフローチャートである。画像処理装置１の処理部１１は、実施形態１のステップＳ１１１～ステップＳ１１７と同様の処理を実行する（ステップＳ２１１～ステップＳ２１７）。

【0064】

ところで、重度の遮蔽又はフレームアウトによって欠けた顔画像、急峻な顔の向きの変化、遠方のため低画質の顔画像、俊敏な動作による低画質の顔画像、低照度の顔画像がある場合、人物の顔画像が不自然に置換されることがある。そこで、置換後の画像を顔認識学習済モデル１５ｂで検証し、顔画像を検出できなかった場合、置換に失敗したと自動的に判断する。そのとき、従来技術のモザイク処理で元の顔画像を置換してプライバシーを保護する。具体的には、画像処理装置１は、以下の処理を実行する。

【0065】

処理部１１は、顔画像が置換された画像処理後のフレーム画像に対し、顔認識学習済モデル１５ｂを用いた顔認識処理を実行し、置換対象人物の置換された顔画像が、顔画像として認識されるか否かを検証し（ステップＳ２１８）、顔認識に失敗した顔画像があるか否かを判定する（ステップＳ２１９）。

【0066】

顔認識に失敗した顔画像があると判定した場合（ステップＳ２１９：ＹＥＳ）、処理部１１は、認識に失敗した人物の顔画像を元の顔画像に戻し、モザイク処理、ぼかし加工処理、所定画像を重畳させる等のマスキング処理を実行する（ステップＳ２２０）。なお、処理部１１は、顔画像を元の顔画像に戻さずにマスキング処理を実行するように構成してもよい。

【0067】

次いで、顔画像として認識されなかった置換顔画像がないと判定した場合（ステップＳ２１９：ＮＯ）、又はステップＳ２２０の処理を終えた場合、処理部１１は、顔画像が生成顔画像Ｐに置換され、又はマスキング処理されたフレーム画像を出力する（ステップＳ２２１）。

【0068】

図９は、生成顔画像Ｐによる置換処理と、マスキング処理とを併用したプライバシー保護に係る画像処理方法を示す概念図である。図９上図は、顔画像が生成顔画像Ｐに置換されたフレーム画像であるが、左端に写っている人物はフレームアウトしており、顔画像の置換処理に失敗している。この場合、図９下図に示すように、置換処理に失敗した人物の顔画像は、モザイク処理、ぼかし加工等のマスキング処理が実行される。他の置換対象人物の顔画像は、生成顔画像Ｐ３，Ｐ４に置換され、プライバシー保護がなされている。

【0069】

上記のように構成された実施形態２に係る画像処理装置１によれば、各種事情により人物の顔画像が不自然に置換された場合、置換に失敗した顔画像に対して従来のマスキング処理を実行することによってプライバシー保護を実現する。よって、重度の遮蔽又はフレームアウト等が生じても、可能な限り光景を維持したまま、プライバシーを保護することができる。

【0070】

（実施形態３）
実施形態３に係る画像処理装置１は、顔画像の置換の失敗可能性がある場合に、顔画像の置換を行わずに従来のマスキング処理によってプライバシーを保護する点が実施形態１と異なる。画像処理装置１のその他の構成は、実施形態１に係る画像処理装置１と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0071】

図１０は、実施形態３に係る画像処理方法の処理手順を示すフローチャートである。画像処理装置１の処理部１１は、実施形態１のステップＳ１１１～ステップＳ１１４と同様の処理を実行する（ステップＳ３１１～ステップＳ３１４）。

【0072】

次いで、処理部１１は、ステップＳ３１２で検出された人物の顔画像を生成顔画像Ｐに置換する処理の失敗可能性の有無を判定する（ステップＳ３１５）。例えば、処理部１１は、重度の遮蔽又はフレームアウトによる顔画像が欠けている場合、置換処理に失敗する可能性があると判定する。また、処理部１１は、急峻な顔の向きの変化がある場合、置換処理に失敗する可能性があると判定する。更に、処理部１１は、遠方のため顔画像が所定画質以下の低画質である場合、俊敏な動作によって顔画像が低画質である場合、置換処理に失敗する可能性があると判定する。更にまた、処理部１１は、低照度の顔画像がある場合、置換処理に失敗する可能性があると判定する。

【0073】

失敗可能性があると判定した場合（ステップＳ３１５：ＹＥＳ）、顔画像の置換に失敗する可能性がある当該顔画像に対して、モザイク処理、ぼかし加工処理、所定画像を重畳させる等のマスキング処理を実行する（ステップＳ３１６）。失敗可能性がないと判定した場合（ステップＳ３１５：ＮＯ）、その他の人物の顔画像については、実施形態１と同様、フレーム画像に含まれる一又は複数の置換対象人物の属性情報に基づいて、それぞれ顔画像を生成する（ステップＳ３１７）。

【0074】

以下、実施形態１のステップＳ１１６～ステップＳ１１８と同様の処理を実行して、顔画像を生成顔画像Ｐに置換し、プライバシー保護されたフレーム画像を出力する（ステップＳ３１８～ステップＳ３２０）。

【0075】

上記のように構成された実施形態３に係る画像処理装置１によれば、各種事情により人物の顔画像の置換に失敗する可能性がある場合、置換失敗の可能性がある顔画像に対して従来のマスキング処理を実行することによってプライバシー保護を実現する。よって、重度の遮蔽又はフレームアウト等が生じても、可能な限り光景を維持したまま、プライバシーを保護することができる。

【0076】

（実施形態４）
実施形態４に係る画像処理装置１は、画像に多数の人物が含まれている場合に生成顔画像Ｐの作成枚数を制限し、同一の生成顔画像Ｐを用いて同じ属性の複数の人物の顔画像を置換する点が実施形態１と異なる。画像処理装置１のその他の構成は、実施形態１に係る画像処理装置１と同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。

【0077】

図１１は、実施形態４に係る画像処理方法の処理手順を示すフローチャートである。画像処理装置１の処理部１１は、実施形態１のステップＳ１１１～ステップＳ１１４と同様の処理を実行する（ステップＳ４１１～ステップＳ４１４）。次いで、処理部１１は、属性毎に設けられた生成顔画像Ｐの生成上限枚数の範囲内で、フレーム画像に含まれる複数の置換対象人物の属性情報に基づいて、それぞれ顔画像を生成する（ステップＳ４１５）。

【0078】

生成上限枚数は、例えば、男性の生成顔画像Ｐの上限枚数が１０枚、女性の生成顔画像Ｐの上限が１０枚である。なお、１０枚は一例であり、上限枚数は画像処理能力によって適宜決定すればよい。
また、人物の年齢毎に生成顔画像Ｐの上限枚数を設けてもよい。例えば、２０代男性の生成顔画像Ｐの上限枚数を５枚、３０代男性の上限枚数を５枚、４０代男性の上限枚数を５枚、５０代以上の男性の上限枚数を５枚としてもよい。女性についても同様に上限枚数を設定すればよい。
もちろん、性別、年齢及び人種の組合せ毎に生成顔画像Ｐの上限枚数を設けてもよい。
また、人物の属性にかかわらず、生成顔画像Ｐの総数に上限を設けてもよい。

【0079】

次いで、処理部１１は、生成上限枚数の上限に達し、顔画像が生成されなかった置換対象人物に対して、生成済みの生成顔画像Ｐを割り当てる（ステップＳ４１６）。つまり、同一の生成顔画像Ｐを重複して複数の人物に割り当てる。

【0080】

以下、実施形態１のステップＳ１１６～ステップＳ１１８と同様の処理を実行して、顔画像を生成顔画像Ｐに置換し、プライバシー保護されたフレーム画像を出力する（ステップＳ４１７～ステップＳ４１９）。

【0081】

図１２は、実施形態４に係る画像処理方法によって顔画像が置換された動画像のフレーム画像を示す模式図、図１３は、生成顔画像Ｐの重複利用が行われたときの追跡テーブルを示す概念図である。図１２に示すフレーム画像には１４人の置換対象人物が含まれている。全て女性であり、生成上限枚数である１０枚を超えている。このため、図１３に示すように、人物番号１～１０までは、それぞれ個別に生成顔画像Ｐ１～Ｐ１０が割り当てられるが、人物番号１１～１４までの置換対象人物に対して、作成済みの生成顔画像Ｐ７～Ｐ１０が重複して割り当てられる。このようにすると、図１２に示すように、生成上限枚数である１０枚の範囲内で生成された生成顔画像Ｐを重複して用いて、１４人の置換対象人物の顔画像が置換される。図１２では、重複して置換された生成顔画像Ｐ７～Ｐ１０のみに符号が付され、他の生成顔画像Ｐの符号は省略されている。

【0082】

上記のように構成された実施形態４に係る画像処理装置１によれば、画像処理の負荷を抑えつつ、動画に含まれる多数の人物を生成顔画像Ｐに置換してプライバシーを保護することができる。よって、動画に多数の人物が含まれる場合であっても、可能な限り光景を維持したまま、プライバシーを保護することができる。

【0083】

本開示の課題を解決するための手段を付記する。
（付記１）
人物を含む実写画像を取得し、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する
処理をコンピュータに実行させるコンピュータプログラム。
なお、実写画像には動画又は静止画が含まれる。
（付記２）
前記実写画像は静止画を含む
付記１に記載のコンピュータプログラム。
（付記３）
前記実写画像は動画であり、
前記動画に含まれる前記人物を追跡し、
追跡中の前記人物の顔画像を継続して前記生成顔画像に置換する
処理を前記コンピュータに実行させる付記１又は付記２に記載のコンピュータプログラム。
なお、前記動画に含まれる前記人物を追跡する際、前記動画を順方向再生して前記人物を追跡すると共に、前記動画を逆方向再生して該人物を追跡するようにするとよい。
（付記４）
前記属性は、
前記人物の年齢、性別、人種のうち少なくとも１つを含む
付記１から付記３のいずれか一つに記載のコンピュータプログラム。
（付記５）
前記属性は、
前記人物の顔の特徴量、前記人物に対する環境属性、又は前記人物の人体の特徴量を含む
付記１から付記４のいずれか１つに記載のコンピュータプログラム。
なお、人物の顔の特徴量は、前記人物の顔の画像的特徴量、例えば、ランドマーク、キーポイントを含む。また、人物の顔の特徴量は、前記人物の眼鏡の有無、前記人物のマスクの有無を含む。
前記人物に対する環境属性は、照明条件等を含む。
前記人物の人体の特徴量は、前記人物の人体の画像を囲むバウンディングボックス（中心座標位置及び縦横サイズ）、前記人物の人体の画像的特徴量等を含む。
（付記６）
属性を含む情報が入力された場合に該属性に応じた写実的な生成顔画像を出力する学習済モデルに、特定した前記属性を含む情報を入力することによって、前記属性に応じた写実的な前記生成顔画像を生成する
処理を前記コンピュータに実行させる付記１から付記５のいずれか１つに記載のコンピュータプログラム。
なお、学習済モデルには、属性が直接入力された場合に該属性に応じた写実的な生成顔画像を出力するモデルが含まれる。また、学習済モデルには、属性を含み、生成したい画像の特徴をテキストで記載したプロンプトが入力された場合に該属性に応じた写実的な生成顔画像を出力するモデルが含まれる。
（付記７）
前記実写画像には複数の人物が含まれており、
前記複数の人物の顔画像それぞれを、前記複数の人物毎に特定した前記属性に応じて生成された前記生成顔画像に置換する
処理を前記コンピュータに実行させる付記１から付記６のいずれか１つに記載のコンピュータプログラム。
（付記８）
前記実写画像には複数の人物が含まれており、
特定の対象人物を除く前記複数の人物の顔画像を前記生成顔画像に置換し、
前記対象人物の顔画像は置換しない
処理を前記コンピュータに実行させる付記１から付記７のいずれか１つに記載のコンピュータプログラム。
（付記９）
前記人物の顔の向き又は表情に応じた前記生成顔画像に置換する
処理を前記コンピュータに実行させる付記１から付記８のいずれか１つに記載のコンピュータプログラム。
前記人物の顔の向き及び表情に応じた前記生成顔画像に置換する
処理を前記コンピュータに実行させる付記１から付記８のいずれか１つに記載のコンピュータプログラム。
前記人物の顔の向き又は表情に応じた前記生成顔画像の生成方法には主に２つの方法がある。
第１の方法は、特定した前記人物の属性に基づいて、複数の向き又は表情に応じた生成顔画像を予め生成しておき、処理対象の実写画像に含まれる前記人物の顔の向き又は表情に応じた前記生成顔画像を選択して置換する方法である。
第２の方法は、所定方向を向いた生成顔画像の特徴量を、処理対象の実写画像に含まれる前記人物の特徴量に合わせて修正又は再生成し、修正又は再生成された生成顔画像に置換する方法である。より具体的には、置換対象人物の顔の画像的特徴量（ランドマーク、キーポイント、等）の情報と、生成顔画像中の顔の画像的特徴量（ランドマーク、キーポイント、等）の情報に基づき、置換対象人物の顔の画像的特徴量（ランドマーク、キーポイント、等）の位置や向きに合わせて、生成顔画像中の顔の画像的特徴量（ランドマーク、キーポイント、等）の位置や向きを調整することにより、置換対象人物の顔の向き又は表情に応じた生成顔画像を再生成する。
（付記１０）
置換後の前記生成顔画像を、顔認識学習済モデルにより顔画像として検出できるか否かを判定し、
置換後の前記生成顔画像が顔画像として検出されなかった場合、前記人物の顔画像に対してマスキング処理を実行する
処理を前記コンピュータに実行させる付記１から付記９のいずれか１つに記載のコンピュータプログラム。
（付記１１）
前記人物の顔画像を前記生成顔画像に置換する処理の失敗可能性の有無を判定し、
失敗可能性がある場合、前記人物の顔画像に対してマスキング処理を実行する
処理を前記コンピュータに実行させる付記１から付記１０のいずれか１つに記載のコンピュータプログラム。
（付記１２）
前記実写画像には複数の人物が含まれており、
前記属性毎に設けられた前記生成顔画像の生成上限枚数の範囲内で前記生成顔画像を生成し、一部の前記人物の顔画像を同一の前記生成顔画像に置換する
処理を前記コンピュータに実行させる付記１から付記１１のいずれか１つに記載のコンピュータプログラム。
（付記１３）
前記人物の顔画像を置換した後、
前記実写画像の縁側を切り取り又はマスキングする
処理を前記コンピュータに実行させる付記１から付記１２のいずれか１つに記載のコンピュータプログラム。
具体的には、上記処理は、前記実写画像の縁側、例えば動画のフレームの縁側、上下左右の四辺の一定幅を切り取り、又は黒色等で覆い隠す処理である。
（付記１４）
人物を含む実写画像を取得し、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する
画像処理方法。
（付記１５）
人物を含む実写画像を取得して画像処理を実行する処理部を備えた画像処理装置であって、
前記処理部は、
取得した前記実写画像に含まれる前記人物の属性を特定し、
前記人物の顔画像を、特定した前記属性に応じて生成された写実的な生成顔画像に置換する
画像処理装置。

【符号の説明】

【0084】

１ ：画像処理装置
１ａ ：記録媒体
１１ ：処理部
１１ａ ：人体・顔検出部
１１ｂ ：属性抽出部
１１ｃ ：人物同定部
１１ｄ ：置換対象人物選択部
１１ｅ ：顔画像生成部
１１ｆ ：顔画像置換部
１２ ：表示部
１３ ：操作部
１４ ：通信部
１５ ：記憶部
１５ａ ：コンピュータプログラム
１５ｂ ：顔認識学習済モデル
１５ｃ ：顔画像生成学習済モデル
１５ｄ ：顔画像置換学習済モデル
Ｐ ：生成顔画像

【要約】      （修正有）

【課題】実写画像の光景を維持しつつ、実写画像に含まれる人物のプライバシーを保護するコンピュータプログラム、画像処理方法及び画像処理装置を提供する。
【解決手段】方法は、人物を含む実写画像を取得することと、取得した実写画像に含まれる人物の属性を特定することと、人物の顔画像を、特定した属性に応じて生成された写実的な生成顔画像に置換することと、を含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】