特許 7208940 画像処理装置、サーバ、画像処理方法、姿勢推定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-11

(45)【発行日】2023-01-19

(54)【発明の名称】画像処理装置、サーバ、画像処理方法、姿勢推定方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230112BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 350C

【請求項の数】 10

(21)【出願番号】P 2020026606

(22)【出願日】2020-02-19

(65)【公開番号】P2021131725

(43)【公開日】2021-09-09

【審査請求日】2021-12-20

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】酒澤 茂之

(72)【発明者】

【氏名】明堂 絵美

(72)【発明者】

【氏名】田坂 和之

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１９－１５８６２８（ＪＰ，Ａ）

【文献】特開２０１９－７１０５０（ＪＰ，Ａ）

【文献】特開２０１９－６２３０８（ＪＰ，Ａ）

【文献】特開２０１１－３５６５８（ＪＰ，Ａ）

【文献】特開平９－１３８４７０（ＪＰ，Ａ）

【文献】国際公開第２０１８／２２５０６１（ＷＯ，Ａ１）

【文献】谷村朋樹, 外3名，“ＧＡＮｏｎｙｍｉｚｅｒ：物体検出と敵対的生成を用いた映像匿名化手法”，情報処理学会論文誌，第60巻, 第10号，日本，情報処理学会，2019年10月15日，p.1829-1844

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

秘匿対象の被写体を含む処理対象画像を取得する画像取得部と、
前記被写体に適用する秘匿化処理のパターンの選択を受け付ける選択受付部と、
画像に対してそれぞれが異なる秘匿化処理を実行するように学習された複数の異なる秘匿化モデルであって、複数の前記秘匿化処理のパターン毎に定められた秘匿化モデルを格納する秘匿化モデル記憶部から、前記選択受付部が受け付けた秘匿化処理のパターンに対応する秘匿化モデルを読み出す秘匿化モデル取得部と、
前記処理対象画像に対して前記秘匿化モデル取得部が読み出した秘匿化モデルを適用することにより、秘匿化画像を生成するモデル適用部と、
を備える画像処理装置。

【請求項2】

前記異なる秘匿化モデルそれぞれは、画像に対して異なる種類の秘匿化処理を実行する複数の異なる秘匿化サブモデルを共有しており、
前記モデル適用部は、複数の異なる秘匿化サブモデルの出力画像を、前記秘匿化処理のパターンに応じて定まる重み付け係数に基づいて重ね合わせた画像を前記秘匿化画像として出力する、
請求項１に記載の画像処理装置。

【請求項3】

前記複数の秘匿化サブモデルのそれぞれは、あらかじめ前記被写体に設定されたいずれかの部分領域か、又は前記被写体以外の領域として設定される背景領域か、の少なくとも一つの領域を秘匿化対象領域として学習されている、
請求項２に記載の画像処理装置。

【請求項4】

前記被写体は人物であり、
前記複数の秘匿化サブモデルのそれぞれは、（１）入力画像と当該入力画像に対して秘匿化サブモデルを適用して生成される出力画像との前記秘匿化対象領域における乖離度の大小を示す乖離度評価関数と、（２）前記複数の秘匿化サブモデルそれぞれを重ね合わせた前記秘匿化画像に含まれる人物の姿勢を推定するように学習された姿勢推定モデルの推定精度の高低を示す姿勢評価関数と、の２つの評価関数に基づいて、前記乖離度が大きくなり、かつ前記推定精度が高くなるように学習されている、
請求項３に記載の画像処理装置。

【請求項5】

前記乖離度評価関数は、入力画像と当該入力画像に対して秘匿化サブモデルを適用して生成される出力画像との前記秘匿化対象領域における乖離度である秘匿化対象領域乖離度の大小と、前記出力画像のうち前記秘匿化対象領域以外の領域における前記入力画像との乖離度である秘匿化対象外領域乖離度の大小と、を示すように構成されており、
前記複数の秘匿化サブモデルのそれぞれは、前記乖離度評価関数と前記姿勢評価関数とに基づいて、前記秘匿化対象領域乖離度が大きくなり、前記秘匿化対象外領域乖離度が小さくなり、かつ前記推定精度が高くなるように学習されており、
前記モデル適用部は、複数の異なる秘匿化サブモデルそれぞれの出力画像の画素値から各秘匿化サブモデルの秘匿化対象領域以外の領域の画素値を減じた画像を重ね合わせた画像を前記秘匿化画像として出力する、
請求項４に記載の画像処理装置。

【請求項6】

請求項４又は５に記載の画像処理装置が生成した秘匿化画像と、当該秘匿化画像に適用された秘匿化処理のパターンを示すパターン情報とを、通信ネットワークを介して取得する秘匿化画像取得部と、
画像に対してそれぞれが異なる鮮鋭化処理を実行するように学習された複数の異なる鮮鋭化モデルであって、複数の前記鮮鋭化処理のパターン毎に定められた鮮鋭化モデルを格納する鮮鋭化モデル記憶部から、前記パターン情報に対応する鮮鋭化モデルを読み出す鮮鋭化モデル取得部と、
前記秘匿化画像に対して前記鮮鋭化モデル取得部が読み出した鮮鋭化モデルを適用することにより、鮮鋭化画像を生成する鮮鋭化部と、
前記鮮鋭化画像に対して前記姿勢推定モデルを適用することにより、前記鮮鋭化画像に含まれる人物の姿勢を推定する姿勢推定部と、
を備えるサーバ。

【請求項7】

プロセッサが、
秘匿対象の被写体を含む処理対象画像を取得するステップと、
前記被写体に適用する秘匿化処理のパターンの選択を受け付けるステップと、
画像に対してそれぞれが異なる秘匿化処理を実行するように学習された複数の異なる秘匿化モデルであって、複数の前記秘匿化処理のパターン毎に定められた秘匿化モデルを格納する秘匿化モデル記憶部から、前記受け付けた秘匿化処理のパターンに対応する秘匿化モデルを読み出すステップと、
前記処理対象画像に対して前記読み出した秘匿化モデルを適用することにより、秘匿化画像を生成するステップと、
を実行する画像処理方法。

【請求項8】

コンピュータに、
秘匿対象の被写体を含む処理対象画像を取得する機能と、
前記被写体に適用する秘匿化処理のパターンの選択を受け付ける機能と、
画像に対してそれぞれが異なる秘匿化処理を実行するように学習された複数の異なる秘匿化モデルであって、複数の前記秘匿化処理のパターン毎に定められた秘匿化モデルを格納する秘匿化モデル記憶部から、前記受け付けた秘匿化処理のパターンに対応する秘匿化モデルを読み出す機能と、
前記処理対象画像に対して前記読み出した秘匿化モデルを適用することにより、秘匿化画像を生成する機能と、
を実現させるプログラム。

【請求項9】

請求項４又は５に記載の画像処理装置と通信ネットワークを介して接続するサーバのプロセッサが、
前記画像処理装置が生成した秘匿化画像と、当該秘匿化画像に適用された秘匿化処理のパターンを示すパターン情報とを、前記通信ネットワークを介して取得するステップと、
画像に対してそれぞれが異なる鮮鋭化処理を実行するように学習された複数の異なる鮮鋭化モデルであって、複数の前記鮮鋭化処理のパターン毎に定められた鮮鋭化モデルを格納する鮮鋭化モデル記憶部から、前記パターン情報に対応する鮮鋭化モデルを読み出すステップと、
前記秘匿化画像に対して前記読み出した鮮鋭化モデルを適用することにより、鮮鋭化画像を生成するステップと、
前記鮮鋭化画像に対して前記姿勢推定モデルを適用することにより、前記鮮鋭化画像に含まれる人物の姿勢を推定するステップと、
を実行する姿勢推定方法。

【請求項10】

請求項４又は５に記載の画像処理装置と通信ネットワークを介して接続するコンピュータに、
前記画像処理装置が生成した秘匿化画像と、当該秘匿化画像に適用された秘匿化処理のパターンを示すパターン情報とを、前記通信ネットワークを介して取得する機能と、
画像に対してそれぞれが異なる鮮鋭化処理を実行するように学習された複数の異なる鮮鋭化モデルであって、複数の前記鮮鋭化処理のパターン毎に定められた鮮鋭化モデルを格納する鮮鋭化モデル記憶部から、前記パターン情報に対応する鮮鋭化モデルを読み出す機能と、
前記秘匿化画像に対して前記読み出した鮮鋭化モデルを適用することにより、鮮鋭化画像を生成する機能と、
前記鮮鋭化画像に対して前記姿勢推定モデルを適用することにより、前記鮮鋭化画像に含まれる人物の姿勢を推定する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、サーバ、画像処理方法、姿勢推定方法、及びプログラムに関する。

【背景技術】

【0002】

近年、ユーザが自身を被写体に含む画像をサーバに送信し、サーバにて画像認識処理を実行するサービスも実用化されつつある。例えば、ユーザが宅内でのヨガのポーズ指導を受けるために、スマートフォンで撮影した自身の映像をサーバに送信し、サーバがポーズ推定を行ったうえで結果をユーザに送信するサービスも検討されている。

【0003】

このようなサービスを実施するためには、ユーザがサーバに送信する画像からユーザの個人情報が漏洩することを防ぐことが求められる。例えば、非特許文献１には、ターゲットとなる姿勢推定と、プライバシー侵害推定とを両立させるような画像変換を学習によって求めるための技術が提案されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Haotao Wang, Zhenyu Wu, Zhangyang Wang, Zhaowen Wang, and Hailin Jin, “Privacy-Preserving Deep Visual Recognition: An Adversarial Learning Framework and A New Dataset” ２０１９年７月２９日、[２０２０年１月３０日検索]、インターネット＜ＵＲＬ：https://arxiv.org/pdf/1906.05675.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の技術における画像変換は一義的であり、どのような入力画像に対しても同じ処理が実行される。しかしながら、人のプライバシー上の懸念への感じ方には様々な要素があり、それらは人によって異なり、さらには同じ人でも時と場合によって変化しうる。このため、一律なプライバシーの秘匿化処理を施すだけでは必ずしもいつも画像の秘匿化を望むユーザの要望に応えられるとは限らない。

【0006】

本発明はこれらの点に鑑みてなされたものであり、画像の秘匿化のパターンをユーザの選択に応じて変更する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様は、画像処理装置である。この装置は、秘匿対象の被写体を含む処理対象画像を取得する画像取得部と、前記被写体に適用する秘匿化処理のパターンの選択を受け付ける選択受付部と、画像に対してそれぞれが異なる秘匿化処理を実行するように学習された複数の異なる秘匿化モデルであって、複数の前記秘匿化処理のパターン毎に定められた秘匿化モデルを格納する秘匿化モデル記憶部から、前記選択受付部が受け付けた秘匿化処理のパターンに対応する秘匿化モデルを読み出す秘匿化モデル取得部と、前記処理対象画像に対して前記秘匿化モデル取得部が読み出した秘匿化モデルを適用することにより、秘匿化画像を生成するモデル適用部と、を備える。

【0008】

前記異なる秘匿化モデルそれぞれは、画像に対して異なる種類の秘匿化処理を実行する複数の異なる秘匿化サブモデルを共有してもよく、前記モデル適用部は、複数の異なる秘匿化サブモデルの出力画像を、前記秘匿化処理のパターンに応じて定まる重み付け係数に基づいて重ね合わせた画像を前記秘匿化画像として出力してもよい。

【0009】

前記複数の秘匿化サブモデルのそれぞれは、あらかじめ前記被写体に設定されたいずれかの部分領域か、又は前記被写体以外の領域として設定される背景領域か、の少なくとも一つの領域を秘匿化対象領域として学習されていてもよい。

【0010】

前記被写体は人物であってもよく、前記複数の秘匿化サブモデルのそれぞれは、（１）入力画像と当該入力画像に対して秘匿化サブモデルを適用して生成される出力画像との前記秘匿化対象領域における乖離度の大小を示す乖離度評価関数と、（２）前記複数の秘匿化サブモデルそれぞれを重ね合わせた前記秘匿化画像に含まれる人物の姿勢を推定するように学習された姿勢推定モデルの推定精度の高低を示す姿勢評価関数と、の２つの評価関数に基づいて、前記乖離度が大きくなり、かつ前記推定精度が高くなるように学習されていてもよい。

【0011】

前記乖離度評価関数は、入力画像と当該入力画像に対して秘匿化サブモデルを適用して生成される出力画像との前記秘匿化対象領域における乖離度である秘匿化対象領域乖離度の大小と、前記出力画像のうち前記秘匿化対象領域以外の領域における前記入力画像との乖離度である秘匿化対象外領域乖離度の大小と、を示すように構成されていてもよく、前記複数の秘匿化サブモデルのそれぞれは、前記乖離度評価関数と前記姿勢評価関数とに基づいて、前記秘匿化対象領域乖離度が大きくなり、前記秘匿化対象外領域乖離度が小さくなり、かつ前記推定精度が高くなるように学習されていてもよく、前記モデル適用部は、複数の異なる秘匿化サブモデルそれぞれの出力画像の画素値から各秘匿化サブモデルの秘匿化対象領域以外の領域の画素値を減じた画像を重ね合わせた画像を前記秘匿化画像として出力してもよい。

【0012】

本発明の第２の態様は、サーバである。このサーバは、上述の画像処理装置が生成した秘匿化画像と、当該秘匿化画像に適用された秘匿化処理のパターンを示すパターン情報とを、通信ネットワークを介して取得する秘匿化画像取得部と、画像に対してそれぞれが異なる鮮鋭化処理を実行するように学習された複数の異なる鮮鋭化モデルであって、複数の前記鮮鋭化処理のパターン毎に定められた鮮鋭化モデルを格納する鮮鋭化モデル記憶部から、前記パターン情報に対応する鮮鋭化モデルを読み出す鮮鋭化モデル取得部と、前記秘匿化画像に対して前記鮮鋭化モデル取得部が読み出した鮮鋭化モデルを適用することにより、鮮鋭化画像を生成する鮮鋭化部と、前記鮮鋭化画像に対して前記姿勢推定モデルを適用することにより、前記鮮鋭化画像に含まれる人物の姿勢を推定する姿勢推定部と、を備える。

【0013】

本発明の第３の態様は、画像処理方法である。この方法において、プロセッサが、秘匿対象の被写体を含む処理対象画像を取得するステップと、前記被写体に適用する秘匿化処理のパターンの選択を受け付けるステップと、画像に対してそれぞれが異なる秘匿化処理を実行するように学習された複数の異なる秘匿化モデルであって、複数の前記秘匿化処理のパターン毎に定められた秘匿化モデルを格納する秘匿化モデル記憶部から、前記受け付けた秘匿化処理のパターンに対応する秘匿化モデルを読み出すステップと、前記処理対象画像に対して前記読み出した秘匿化モデルを適用することにより、秘匿化画像を生成するステップと、を実行する。

【0014】

本発明の第４の態様は、プログラムである。このプログラムは、コンピュータに、秘匿対象の被写体を含む処理対象画像を取得する機能と、前記被写体に適用する秘匿化処理のパターンの選択を受け付ける機能と、画像に対してそれぞれが異なる秘匿化処理を実行するように学習された複数の異なる秘匿化モデルであって、複数の前記秘匿化処理のパターン毎に定められた秘匿化モデルを格納する秘匿化モデル記憶部から、前記受け付けた秘匿化処理のパターンに対応する秘匿化モデルを読み出す機能と、前記処理対象画像に対して前記読み出した秘匿化モデルを適用することにより、秘匿化画像を生成する機能と、を実現させる。

【0015】

本発明の第５の態様は、姿勢推定方法である。この方法において、上述の画像処理装置と通信ネットワークを介して接続するサーバのプロセッサが、前記画像処理装置が生成した秘匿化画像と、当該秘匿化画像に適用された秘匿化処理のパターンを示すパターン情報とを、前記通信ネットワークを介して取得するステップと、画像に対してそれぞれが異なる鮮鋭化処理を実行するように学習された複数の異なる鮮鋭化モデルであって、複数の前記鮮鋭化処理のパターン毎に定められた鮮鋭化モデルを格納する鮮鋭化モデル記憶部から、前記パターン情報に対応する鮮鋭化モデルを読み出すステップと、前記秘匿化画像に対して前記読み出した鮮鋭化モデルを適用することにより、鮮鋭化画像を生成するステップと、前記鮮鋭化画像に対して前記姿勢推定モデルを適用することにより、前記鮮鋭化画像に含まれる人物の姿勢を推定するステップと、を実行する。

【0016】

本発明の第６の態様は、プログラムである。このプログラムは、上述の画像処理装置と通信ネットワークを介して接続するコンピュータに、前記画像処理装置が生成した秘匿化画像と、当該秘匿化画像に適用された秘匿化処理のパターンを示すパターン情報とを、前記通信ネットワークを介して取得する機能と、画像に対してそれぞれが異なる鮮鋭化処理を実行するように学習された複数の異なる鮮鋭化モデルであって、複数の前記鮮鋭化処理のパターン毎に定められた鮮鋭化モデルを格納する鮮鋭化モデル記憶部から、前記パターン情報に対応する鮮鋭化モデルを読み出す機能と、前記秘匿化画像に対して前記読み出した鮮鋭化モデルを適用することにより、鮮鋭化画像を生成する機能と、前記鮮鋭化画像に対して前記姿勢推定モデルを適用することにより、前記鮮鋭化画像に含まれる人物の姿勢を推定する機能と、を実現させる。

【0017】

本発明の第４の態様のプログラムと第６の態様のプログラムとを提供するため、あるいはこれらのプログラムの一部をアップデートするために、これらのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、これらのプログラムが通信回線で伝送されてもよい。

【0018】

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0019】

本発明によれば、画像の秘匿化のパターンをユーザの選択に応じて変更する技術を提供することができる。

【図面の簡単な説明】

【0020】

【図1】実施の形態に係る画像処理装置が実行する画像処理の概要を説明するための模式図である。

【図2】実施の形態に係る画像処理装置及びサーバの機能構成を模式的に示す図である。

【図3】秘匿化処理のパターンを格納するパターンデータベースの内部構造を模式的に示す図である。

【図4】秘匿化サブモデルの学習に用いるマスク画像を説明するための図である。

【図5】秘匿化サブモデルを学習するための学習ネットワークの構造を模式的に示す図である。

【図6】実施の形態に係る被写体に関する情報の一例を説明するための図である。

【図7】姿勢推定損失を説明するための模式図である。

【図8】実施の形態に係る画像処理装置が実行する画像処理の流れを説明するためのフローチャートである。

【図9】実施の形態に係るサーバによる姿勢推定処理時の画像の変化を模式的に示す図である。

【図10】実施の形態の第１の変形例に係る画像処理器の内部構成を説明するための模式図である。

【発明を実施するための形態】

【0021】

（実施の形態の概要）
実施の形態に係る画像処理装置は、処理対象画像に対して複数の異なる画像処理を実行し、各画像処理の処理結果を合成して一つの出力画像を生成する。ここで、複数の異なる画像処理は、それぞれ処理対象画像に対して異なる種類の秘匿化処理を実行する。したがって、各画像処理の処理結果を合成して生成される出力画像は、処理対象画像に対して複数の異なる秘匿化処理が施された画像となる。ここで、実施の形態に係る画像処理装置は、各画像処理の秘匿化処理の強度を変更可能であり、各画像処理の強度のパターンに関するユーザの選択を受け付けることができる。これにより、実施の形態に係る画像処理装置は、画像の秘匿化のパターンをユーザの選択に応じて変更することができる。

【0022】

図１は、実施の形態に係る画像処理装置が実行する画像処理の概要を説明するための模式図である。図１は、処理対象画像Ｉに部屋の中でヨガのポーズを取る女性が写っている場合の例を示している。

【0023】

図１に示す例では、画像処理装置は、入力画像に対して第１画像処理器Ｆ１、第２画像処理器Ｆ２、及び第３画像処理器Ｆ３を含む画像処理器Ｆによる処理を実行し、それぞれ第１中間画像Ｂ１、第２中間画像Ｂ２、及び第３中間画像Ｂ３を出力する。その後、画像処理装置は、第１中間画像Ｂ１、第２中間画像Ｂ２、及び第３中間画像Ｂ３それぞれに対して重み付けをして重ね合わせることにより、秘匿化画像Ｈを出力する。

【0024】

図１に示す例では、第１画像処理器Ｆ１は、処理対象画像Ｉに撮像されている人物の顔領域を秘匿化するための画像処理器である。第２画像処理器Ｆ２は、処理対象画像Ｉに撮像されている人物の輪郭を秘匿化するための画像処理器である。さらに、第３画像処理器Ｆ３は、処理対象画像Ｉのうち人物以外の領域である背景領域を秘匿化するための画像処理器である。

【0025】

ここで、画像処理装置は、第１中間画像Ｂ１、第２中間画像Ｂ２、及び第３中間画像Ｂ３それぞれを重ね合わせる際に利用する重み付けとして複数の異なるパターンＰを用意しており、あらかじめいずれのパターンＰを採用するかの選択をユーザから受け付けている。図１では、第２中間画像Ｂ２の重みが相対的に大きく、第３中間画像Ｂ３の重みが相対的に小さく、第１中間画像Ｂ１の重みは中間の大きさである場合の例を示している。

【0026】

ユーザは、中間画像Ｂの重み付けのパターンＰを変更することにより、顔の秘匿化を重視したり、背景の秘匿化を重視したりする等、好みに応じて秘匿化処理のパターンＰを変更することができる。

【0027】

（実施の形態に係る画像処理装置１の機能構成）
図２は、実施の形態に係る画像処理装置１及びサーバ２の機能構成を模式的に示す図である。画像処理装置１は、記憶部１０、撮像部１１、及び制御部１２を備える。またサーバ２は、記憶部２０と制御部２１とを備える。画像処理装置１とサーバ２とは、インターネット等の通信ネットワークＮを介して通信可能な態様で接続されている。

【0028】

図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってもよい。図２において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。

【0029】

記憶部１０は、画像処理装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や画像処理装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

【0030】

撮像部１１は、処理対象画像Ｉを生成するための撮像機器であり、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現される。制御部１２は、画像処理装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１０に記憶されたプログラムを実行することによって画像取得部１２０、選択受付部１２１、秘匿化モデル取得部１２２、及びモデル適用部１２３として機能する。

【0031】

記憶部２０は、サーバ２を実現するコンピュータのＢＩＯＳ等を格納するＲＯＭやサーバ２の作業領域となるＲＡＭ、ＯＳやアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤやＳＳＤ等の大容量記憶装置である。制御部２１は、サーバ２のＣＰＵやＧＰＵ等のプロセッサであり、記憶部２０に記憶されたプログラムを実行することによって秘匿化画像取得部２１０、鮮鋭化モデル取得部２１１、鮮鋭化部２１２、及び姿勢推定部２１３として機能する。

【0032】

なお、図２は、画像処理装置１及びサーバ２がそれぞれ単一の装置で構成されている場合の例を示している。しかしながら、画像処理装置１とサーバ２との少なくともいずれか一方は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部１２又は制御部２１を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。

【0033】

画像取得部１２０は、秘匿対象の被写体を含む処理対象画像Ｉを取得する。画像取得部１２０は、撮像部１１が撮像した画像を処理対象画像Ｉとして取得してもよいし、図示しないメモリーカードから読み出して取得したり、他のＰＣから有線又は無線で取得したりしてもよい。

【0034】

選択受付部１２１は、被写体に適用する秘匿化処理のパターンＰの選択を受け付ける。具体的には、選択受付部１２１は、マウスやキーボード、あるいはタッチパネル等の画像処理装置１の入力インタフェース（不図示）を介してユーザからの選択を受け付ける。

【0035】

秘匿化モデル取得部１２２は、複数の異なる秘匿化モデルを格納する秘匿化モデル記憶部から、選択受付部１２１が受け付けた秘匿化処理のパターンＰに対応する秘匿化モデルを読み出す。ここで、各秘匿化モデルは、複数の秘匿化処理のパターンＰ毎に定められており、画像に対してそれぞれが異なる秘匿化処理を実行するように学習されている。なお、図２に示す例では、記憶部１０が秘匿化モデル記憶部を兼ねている。

【0036】

モデル適用部１２３は、処理対象画像Ｉに対して秘匿化モデル取得部１２２が読み出した秘匿化モデルを適用することにより、秘匿化画像Ｈを生成する。これにより、画像処理装置１は、ユーザの選択に応じたパターンＰの秘匿化処理を用いて、処理対象画像Ｉの秘匿化を実行することができる。なお、サーバ２の詳細は後述する。

【0037】

（秘匿化モデルの詳細）
図１を参照して説明したように、各秘匿化モデルは、画像に対して異なる種類の秘匿化処理を実行する複数の異なる秘匿化サブモデル（図１における画像処理器Ｆ）を有している。具体的には、各秘匿化モデルが有する秘匿化モデルは互いに異なるモデルではなく、各秘匿化モデルは秘匿化サブモデルを共有している。

【0038】

以下、本明細書において、処理対象画像Ｉに撮像されている人物の顔領域を秘匿化するためモデルを「第１秘匿化サブモデルＦ１」、処理対象画像Ｉに撮像されている人物の輪郭を秘匿化するためのモデルを「第２秘匿化サブモデルＦ２」、処理対象画像Ｉのうち人物以外の領域である背景領域を秘匿化するためのモデルを「第３秘匿化サブモデルＦ３」、各秘匿化サブモデルを特に区別しない場合には「秘匿化サブモデルＦ」と記載する。この意味で、秘匿化サブモデルＦ及び第１～３秘匿化サブモデルＦ１～Ｆ３は、それぞれ、図１における画像処理器Ｆ及び第１～３画像処理器Ｆ１～Ｆ３に対応する。なお、各秘匿化サブモデルの処理内容は一例であり、この他の処理があってもよい。

【0039】

モデル適用部１２３は、複数の異なる秘匿化サブモデルＦの出力画像である中間画像Ｂを、秘匿化処理のパターンＰに応じて定まる重み付け係数に基づいて重ね合わせることで生成される画像を秘匿化画像Ｈとして出力する。これにより、各秘匿化モデルが有する秘匿化サブモデルＦが同じであっても、画像処理装置１は、重み付けのパターンＰを変えることによって異なる秘匿化画像Ｈを生成することができる。

【0040】

図３は、秘匿化処理のパターンＰを格納するパターンデータベースの内部構造を模式的に示す図である。パターンデータベースはモデル適用部１２３によって管理されており、記憶部１０に格納されている。図３では、秘匿化処理のパターンＰとして、「顔重視型」、「輪郭重視型」、「背景重視型」、及び「バランス型」の４つのパターンＰそれぞれにおける重みが例示されている。

【0041】

例えば、「顔重視型」パターンＰでは、第１中間画像Ｂ１の重みは０．７であり、第２中間画像Ｂ２の重み（０．１５）及び第３中間画像Ｂ３の重み（０．１５）よりも大きい。上述したように第１中間画像Ｂ１は、処理対象画像Ｉに撮像されている人物の顔領域を秘匿化するための画像処理が施された画像である。したがって、第１中間画像Ｂ１の重みが他の重みよりも大きいことは、秘匿化画像Ｈにおいて人物の顔領域の秘匿化が重視されていることを意味する。他のパターンＰについても同様である。このように、パターンデータベースにあらかじめ複数の秘匿化処理のパターンＰを記憶しておくことで、ユーザは選択操作をするだけで処理対象画像Ｉに対して施す秘匿化処理のパターンＰを変更することができる。

【0042】

（秘匿化サブモデルＦの学習）
実施の形態に係る秘匿化処理に用いられる各秘匿化サブモデルＦは、ニューラルネットワークの一種である既知の敵対的生成ネットワーク（Generative Adversarial Networks；ＧＡＮ）を用いた機械学習手法によって作成されている。以下、秘匿化サブモデルＦの学習手法について説明する。なお、ＧＡＮは既知であるためＧＡＮ自体の詳細な説明は省略し、以下では主に学習に用いるデータ及び評価関数について説明する。

【0043】

図４（ａ）－（ｄ）は、秘匿化サブモデルの学習に用いるマスク画像Ｍを説明するための図である。具体的に、図４（ａ）は、秘匿化サブモデルを生成するための教師データＴの一例を示す図である。図４（ｂ）－（ｄ）は、それぞれ第１秘匿化サブモデルＦ１、第２秘匿化サブモデルＦ２、及び第３秘匿化サブモデルＦ３を学習するために用いられるマスク画像Ｍである。

【0044】

図４（ｂ）に示すように、第１マスク画像Ｍ１は、教師データＴに写っている人物の顔領域以外の領域をマスクした画像である。また、図４（ｃ）に示すように、第２マスク画像Ｍ２は、教師データＴに写っている人物以外の領域である背景領域をマスクした画像である。さらに、図４（ｄ）に示すように、第３マスク画像Ｍ３は、教師データＴに写っている人物の領域をマスクした画像である。これらのマスク画像は、学習に用いる教師データＴ毎に、学習の実施者があらかじめ用意しておく。あるいは、従来技術を用いて、秘匿化サブモデルＦの前処理としてマスク処理を実現してもよい。

【0045】

図５は、秘匿化サブモデルＦを学習するための学習ネットワークＮｔの構造を模式的に示す図である。学習ネットワークＮｔは、画像処理器Ｆ、姿勢推定器Ｅ、及び乖離度算出器Ｄを備える。秘匿化サブモデルＦの学習に用いられる教師データＴは、画像データＴ１と、画像データＴ１に写っている人物の姿勢に関する情報Ｔ２とを含んでいる。ここで画像データＴ１には、図４に例示されているマスク画像Ｍも含まれる。また、「人物の姿勢に関する情報Ｔ２」とは、各Ｔ１に撮像されている人物の体のパーツを示す情報である。

【0046】

図６（ａ）－（ｂ）は、実施の形態に係る被写体に関する情報の一例を説明するための図である。具体的には、図６（ａ）は画像データＴ１に撮像されている女性の被写体に設定された部位位置を模式的に示す図であり、図６（ｂ）は図６（ａ）に示された各部位位置の位置座標を表形式で示す図である。

【0047】

図６（ａ）に示すように、人物の姿勢に関する情報Ｔ２には、被写体の頭頂、手首、肘、肩、首、腰、足の付け根、膝、足先等を含む１５カ所の部位位置が設定されている。また、被写体の各部位位置を示す座標として、人物の姿勢に関する情報Ｔ２の左上を原点Ｏとし、人物の姿勢に関する情報Ｔ２の横方向をＸ軸、縦方向をＹ軸とする２次元座標系における座標が設定されている。図６（ｂ）に示すように、１５カ所の部位位置にはそれぞれ１から１５までの番号が部位番号として割り当てられており、各部位番号に対応する部位の座標が画像データＴ１に対応づけて設定されている。

【0048】

図５の説明に戻る。学習ネットワークにおいて、画像データＴ１はまず画像処理器Ｆに入力される。画像処理器Ｆは、第１秘匿化サブモデルＦ１、第２秘匿化サブモデルＦ２、及び第３秘匿化サブモデルＦ３を備えており、画像データＴ１は第１秘匿化サブモデルＦ１、第２秘匿化サブモデルＦ２、及び第３秘匿化サブモデルＦ３のそれぞれに入力される。

【0049】

ここで、各秘匿化サブモデルＦは、対応するマスク画像Ｍでマスクされる領域を除いた領域について処理する。例えば、第１秘匿化サブモデルＦ１に対応する第１マスク画像Ｍ１は、教師データＴに写っている人物の顔領域以外の領域をマスクした画像である。したがって、第１秘匿化サブモデルＦ１は、第１マスク画像Ｍ１でマスクされる領域を除いた領域、すなわち人物の顔領域について処理を実行することになる。同様に、第２秘匿化サブモデルＦ２は人物領域について処理を実行し、第３秘匿化サブモデルＦ３は背景領域について処理を実行する。

【0050】

第１秘匿化サブモデルＦ１、第２秘匿化サブモデルＦ２、及び第３秘匿化サブモデルＦ３それぞれの出力である第１中間画像Ｂ１、第２中間画像Ｂ２、及び第３中間画像Ｂ３は合成して出力される。各画像処理器Ｆの合成された出力は、姿勢推定器Ｅ及び乖離度算出器Ｄの入力となる。なお、各画像処理器Ｆの出力である中間画像Ｂ１～Ｂ３は、上述した秘匿化処理のパターンＰ毎に異なる重み付けで合成され秘匿化画像Ｈとなる。すなわち、秘匿化サブモデルＦは、秘匿化処理のパターンＰ毎に異なる学習によって生成される。

【0051】

乖離度算出器Ｄは、第１乖離度算出器Ｄ１、第２乖離度算出器Ｄ２、及び第３乖離度算出器Ｄ３を備えている。乖離度算出器Ｄは、画像処理器Ｆに入力された画像と、画像処理器Ｆが出力した画像との乖離度を算出する。

【0052】

具体的には、第１乖離度算出器Ｄ１は、第１マスク画像Ｍ１でマスクされる領域を除いた領域における画像処理器Ｆの入力画像と出力画像との乖離度を算出する。すなわち、第１乖離度算出器Ｄ１は、人物の顔領域における乖離度を算出する。同様に、第２乖離度算出器Ｄ２は人物領域における乖離度を算出し、第３乖離度算出器Ｄ３は背景領域における乖離度を算出する。

【0053】

ここで、乖離度算出器Ｄが算出する乖離度は、画像処理器Ｆに入力された画像と画像処理器Ｆが出力した画像との乖離度を計ることができればどのような計測手法を用いてもよいが、一例としては平均二乗誤差（Mean Squared Error；ＭＳＥ）を用いて計測される。以下、第１乖離度算出器Ｄ１が人物の顔領域について算出したＭＳＥを第１原画乖離損失Ｌ_ｄ１、第２乖離度算出器Ｄ２が人物領域について算出したＭＳＥを第２原画乖離損失Ｌ_ｄ２、第３乖離度算出器Ｄ３が背景領域について算出したＭＳＥを第３原画乖離損失Ｌ_ｄ３と記載する。実施の形態に係る画像処理装置１は、処理対象画像Ｉの秘匿化を一つの目的としているため、この目的のためには、各原画乖離損失Ｌが大きいほど好ましい。原画乖離損失Ｌが大きいほど、画像処理器Ｆの入力と出力とが乖離していることを示すからである。

【0054】

姿勢推定器Ｅは、複数の秘匿化サブモデルＦそれぞれを重ね合わせた秘匿化画像Ｈに含まれる人物の姿勢を推定するように学習された既知の姿勢推定モデルで実現されている。より具体的には、姿勢推定器Ｅは、画像処理器Ｆが出力した画像に含まれる人物の頭頂、手首、肘、肩、首、腰、足の付け根、膝、足先等を含む１５カ所の部位位置を推定する。ここで、姿勢推定器Ｅが推定の対象とする各部位位置は、人物の姿勢に関する情報Ｔ２として正解が定められている。そこで、姿勢推定器Ｅは、画像処理器Ｆが出力した画像から推定した各部位位置と、人物の姿勢に関する情報Ｔ２として定められた各部位位置の正解位置との誤差を姿勢推定損失Ｌ_ｐとして算出する。

【0055】

図７は、姿勢推定損失Ｌ_ｐを説明するための模式図である。図７において、白抜きの丸は姿勢推定器Ｅが推定した部位位置を示している。また、白抜きの四角は、各部位位置の正解位置としてあらかじめ人物の姿勢に関する情報Ｔ２に設定されている人物の左肘の位置を示している。

【0056】

なお、煩雑となることを避けるために図７では正解位置として左肘の位置のみを図示している。また、図７において、破線の円Ｃは被写体の左肘部分の拡大図である。図７に示すように、姿勢推定器Ｅが推定した左肘の位置と、左肘の正解位置とは、距離Ｑだけずれている。姿勢推定器Ｅは、各部位位置におけるずれ量の二乗平均を姿勢推定損失Ｌ_ｐとして算出する。

【0057】

この場合、姿勢推定損失Ｌ_ｐの値が小さいほど、姿勢推定器Ｅの認識精度が高いことを示す。実施の形態に係る画像処理装置１は、秘匿化画像Ｈから姿勢を推定することを一つの目的としているため、この目的のためには、姿勢推定損失Ｌ_ｐが小さいほど好ましい。

【0058】

そこで、各秘匿化サブモデルＦは、以下に示す乖離度評価関数Ｇ１（第１乖離度評価関数Ｇ１１、第２乖離度評価関数Ｇ１２、及び第３乖離度評価関数Ｇ１３）と姿勢評価関数Ｇ２とが小さくなるようにＧＡＮのフレームワークにおいて学習される。具体的には、
Ｇ１１＝１／λ_１Ｌ_ｄ１
Ｇ１２＝１／λ_２Ｌ_ｄ２
Ｇ１３＝１／λ_３Ｌ_ｄ３
Ｇ２＝姿勢推定損失Ｌ_ｐ
ここでλ_１、λ_２及びλ_３は、それぞれ正の実数である。

【0059】

乖離度評価関数Ｇ１に基づく学習は、処理対象画像Ｉの秘匿化処理に関する学習である。マスク画像Ｍを用いることで、複数の秘匿化サブモデルＦのそれぞれは、あらかじめ被写体に設定されたいずれかの部分領域か、又は被写体以外の領域として設定される背景領域か、の少なくとも一つの領域を秘匿化対象領域として学習されることになる。より具体的には、まず、第１乖離度評価関数Ｇ１１を用いて第１画像処理器Ｆ１が学習され、続いて第２乖離度評価関数Ｇ１２を用いて第２画像処理器Ｆ２が学習され、続いて第３乖離度評価関数Ｇ１３を用いて第３画像処理器Ｆ３が学習され、続いて姿勢評価関数Ｇ２を用いて各画像処理器Ｆ（第１画像処理器Ｆ１、第２画像処理器Ｆ２、及び第３画像処理器Ｆ３）が学習される。これを繰り返すことにより、各画像処理器Ｆが学習される。なお、姿勢損失Ｌｐを用いた学習の際には、各画像処理器Ｆに対して、対応するパターンＰで重み付けられた誤差を用いて誤差逆伝搬（バックプロパゲーション）される。

【0060】

乖離度評価関数Ｇ１が小さくなることは、画像処理器Ｆの入力画像とその入力画像に対して秘匿化サブモデルＦを適用して生成される出力画像との乖離度が大きくなることを示している。これにより、画像処理器Ｆは、処理対象画像Ｉと秘匿化画像Ｈとの乖離度が大きくなるように学習される。

【0061】

一方、姿勢評価関数Ｇ２が小さくなることは、姿勢推定モデルの推定精度が高くなることを示している。これにより、画像処理器Ｆは、処理対象画像Ｉと秘匿化画像Ｈとの姿勢推定損失が小さくなるように学習される。ここで、秘匿化処理に関する学習により、処理対象画像Ｉと秘匿化画像Ｈとの乖離度が大きくなることは、処理対象画像Ｉと秘匿化画像Ｈとの人物を含む領域の乖離度も大きくなることを意味する。この場合、秘匿化画像Ｈを入力とする人物推定の精度が悪くなりかねない。各秘匿化サブモデルＦが乖離度評価関数Ｇ１のみならず姿勢評価関数Ｇ２にも基づいて学習されることによって処理対象画像Ｉの秘匿化と姿勢推定の精度との両立を図ることができる。

【0062】

（画像処理装置１が実行する画像処理方法の処理フロー）
図８は、実施の形態に係る画像処理装置１が実行する画像処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置１が起動したときに開始する。

【0063】

画像取得部１２０は、秘匿対象の被写体を含む処理対象画像Ｉを取得する（Ｓ２）。選択受付部１２１は、被写体に適用する秘匿化処理のパターンＰの選択をユーザから受け付ける（Ｓ４）。

【0064】

秘匿化モデル取得部１２２は、秘匿化モデル記憶部から、選択受付部１２１が受け付けた秘匿化処理のパターンＰに対応する秘匿化モデルを読み出して取得する（Ｓ６）。モデル適用部１２３は、処理対象画像Ｉに対して秘匿化モデル取得部１２２が読み出した秘匿化モデルを適用することにより、秘匿化画像Ｈを生成する（Ｓ８）。モデル適用部１２３が秘匿化画像Ｈを生成すると、本フローチャートにおける処理は終了する。

【0065】

（姿勢推定サーバ）
再び図２の説明に戻る。サーバ２の秘匿化画像取得部２１０は、画像処理装置１が生成した秘匿化画像Ｈと、秘匿化画像Ｈに適用された秘匿化処理のパターンＰを示すパターン情報とを、通信ネットワークＮを介して取得する。

【0066】

鮮鋭化モデル取得部２１１は、複数の鮮鋭化処理のパターンＰ毎に定められた鮮鋭化モデルを格納する鮮鋭化モデル記憶部から、パターン情報に対応する鮮鋭化モデルを読み出す。ここで、「鮮鋭化モデル」は、画像に対してそれぞれが異なる鮮鋭化処理を実行するように学習された複数の異なるモデルである。

【0067】

例えば、人物の姿勢推定には人物の輪郭が重要となる。秘匿化処理のパターンＰとして輪郭重視型が選択されている場合には人物領域の輪郭が他のパターンＰと比較してより不鮮明となっているため、輪郭重視型のパターンＰにおける鮮鋭化モデルは、強めの鮮鋭化処理が実行されるように学習されている。なお、図２に示す例では、記憶部２０が鮮鋭化モデル記憶部を兼ねている。

【0068】

鮮鋭化部２１２は、秘匿化画像Ｈに対して鮮鋭化モデル取得部２１１が読み出した鮮鋭化モデルを適用することにより、鮮鋭化画像を生成する。姿勢推定部２１３は、鮮鋭化画像に対して姿勢推定モデルを適用することにより、鮮鋭化画像に含まれる人物の姿勢を推定する。

【0069】

図９は、実施の形態に係るサーバ２による姿勢推定処理時の画像の変化を模式的に示す図である。図９に示すように、秘匿化画像Ｈは、人物の顔領域と背景領域、及び人物の輪郭が不鮮明となった画像となっている。鮮鋭化部２１２が秘匿化画像Ｈに対して鮮鋭化モデルを適用すると、人物領域のエッジが強調された鮮鋭化画像Ｓが出力される。

【0070】

姿勢推定部２１３が鮮鋭化画像Ｓに対して姿勢推定モデルを適用すると鮮鋭化画像Ｓに写っている人物の姿勢が推定される。具体的には、図９に示すように、鮮鋭化画像Ｓに写っている人物の各部位が推定された処理結果Ｏが出力される。このように、サーバ２は、姿勢推定処理を実行する前に秘匿化画像Ｈに対して鮮鋭化処理を施すことにより、秘匿化画像Ｈに写っている人物の姿勢推定の精度を向上させることができる。

【0071】

（実施の形態に係る画像処理装置１及びサーバ２が奏する効果）
以上説明したように、実施の形態に係る画像処理装置１によれば、画像の秘匿化のパターンＰをユーザの選択に応じて変更する技術を提供することができる。また、実施の形態に係るサーバ２によれば、画像処理装置１が生成した秘匿化画像Ｈに写っている人物の姿勢を推定することができる。

【0072】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。以下そのような変形例について説明する。

【0073】

（第１の変形例）
上記では、乖離度評価関数Ｇ１が、入力画像とその入力画像に対して秘匿化サブモデルＦを適用して生成される出力画像との秘匿化対象領域における乖離度の大小を示す場合について説明した。これに代えて、第１の変形例に係る乖離度評価関数Ｇ１は、入力画像とその入力画像に対して秘匿化サブモデルＦを適用して生成される出力画像との秘匿化対象領域における乖離度である秘匿化対象領域乖離度の大小と、出力画像のうち秘匿化対象領域以外の領域における入力画像との乖離度である秘匿化対象外領域乖離度の大小と、を示すように構成されている。
Ｇ１＝処理対象領域以外のＭＳＥ／処理対象領域のＭＳＥ

【0074】

例えば、第１画像処理器Ｆ１の学習に用いる評価関数である第１乖離度評価関数Ｇ１１は、Ｇ１１＝（λ_２Ｌ_ｄ２＋λ_３Ｌ_ｄ３）／（λ_１Ｌ_ｄ１）となる。同様に、第２画像処理器Ｆ２の学習に用いる評価関数である第２乖離度評価関数Ｇ１２は、Ｇ１２＝（λ_１Ｌ_ｄ１＋λ_３Ｌ_ｄ３）／（λ_２Ｌ_ｄ２）となり、第３画像処理器Ｆ３の学習に用いる評価関数である第３乖離度評価関数Ｇ１３は、Ｇ１３＝（λ_１Ｌ_ｄ１＋λ_２Ｌ_ｄ２）／（λ_３Ｌ_ｄ３）となる。第１の変形例に係る各秘匿化サブモデルＦは、対応する乖離度評価関数Ｇ１を用いて独立に学習される。

【0075】

複数の秘匿化サブモデルＦのそれぞれは、乖離度評価関数Ｇ１と姿勢評価関数Ｇ２とに基づいて、秘匿化対象領域乖離度が大きくなり、秘匿化対象外領域乖離度が小さくなり、かつ推定精度が高くなるように学習される。この結果、第１の変形例に係る秘匿化サブモデルＦが出力する中間画像Ｂは、対応するマスク画像Ｍでマスクされる領域（すなわち、秘匿化対象領域以外の領域）が原画像と近くなるように学習される。

【0076】

具体的には、第１の変形例に係る学習ネットワークにおいて、複数の異なる秘匿化サブモデルＦは、それぞれ出力画像の画素値から各秘匿化サブモデルの秘匿化対象領域以外の領域（すなわち、マスク画像Ｍがマスクする領域）の画素値を減じた画像を中間画像Ｂとして出力し、その中間画像Ｂを重ね合わせた画像を秘匿化画像Ｈとして出力する。

【0077】

図１０は、実施の形態の第１の変形例に係る画像処理器Ｆを説明するための模式図である。具体的は、図１０は、実施の形態の第１の変形例に係る第３画像処理器Ｆ３の動作を説明するための図である。図１０に示すように、第１の変形例に係る第３画像処理器Ｆ３は、教師用の画像データＴ１のうち、第３マスク画像Ｍ３がマスクしていない背景領域を秘匿化し、第３マスク画像Ｍ３がマスクしている人物領域の画素の画素値は画像データＴ１の画素値を維持する。

【0078】

図１０に示すように、第３画像処理器Ｆ３の出力画像は、画像データＴ１から減じられる。この結果、第３中間画像Ｂ３には、第３マスク画像Ｍ３がマスクしている人物領域の画素値が０となる。言い換えると、第１の変形例に係る第３中間画像Ｂ３は、秘匿化対象領域である背景画像のみが写っている画像となる。

【0079】

第１の変形例に係る第１画像処理器Ｆ１が出力する第１中間画像Ｂ１も同様であり、第１画像処理器Ｆ１の秘匿化対象領域（すなわち、第１マスク画像Ｍ１がマスクしていない領域）である顔領域のみを含む画像となる。また、第２画像処理器Ｆ２が出力する第２中間画像Ｂ２は、人物領域のみを含む画像となる。この結果、第１の変形例に係るモデル適用部１２３が出力する秘匿化画像Ｈは、各秘匿化サブモデルＦの秘匿化対象領域がパッチワークのように重ね合わされた画像となり、秘匿化画像Ｈを構成する画素はいずれかの秘匿化サブモデルＦが出力した画素のみで構成することができる。

【0080】

（第２の変形例）
上記では、秘匿化処理のパターンＰ毎に秘匿化サブモデルＦを学習する場合について説明した。これに代えて、学習時には固定の重みパターンＰ（例えば、全ての秘匿化サブモデルの重みが等しいパターン）で学習し、秘匿化処理時には秘匿化処理のパターンＰ毎に重みを変更するようにしてもよい。これにより、画像処理器Ｆの生成に係る計算コストを削減することができる。

【0081】

（第３の変形例）
上記では、処理対象画像Ｉと秘匿化画像Ｈとのアスペクト比が同一である場合について主に説明した。しかしながら、秘匿化画像Ｈのアスペクト比は、処理対象画像Ｉのアスペクト比と異なっていてもよい。これは、制御部１２中のアスペクト比変更部が、秘匿化画像Ｈのアスペクトを変更して新たに秘匿化画像Ｈとすればよい。秘匿化画像Ｈのアスペクト比が変更されれば秘匿化画像Ｈ中の人物の体形も変更されるため、見た目の秘匿化を促進できる点で有利である。

【符号の説明】

【0082】

1・・・画像処理装置
１０・・・記憶部
１１・・・撮像部
１２・・・制御部
１２０・・・画像取得部
１２１・・・選択受付部
１２２・・・秘匿化モデル取得部
１２３・・・モデル適用部
２・・・サーバ
２０・・・記憶部
２１・・・制御部
２１０・・・秘匿化画像取得部
２１１・・・鮮鋭化モデル取得部
２１２・・・鮮鋭化部
２１３・・・姿勢推定部
Ｄ・・・乖離度算出器
Ｅ・・・姿勢推定器
Ｆ・・・画像処理器
Ｎ・・・通信ネットワーク
Ｎｔ・・・学習ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】