特許 7187122 画像処理装置、情報処理端末、サーバ、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-02

(45)【発行日】2022-12-12

(54)【発明の名称】画像処理装置、情報処理端末、サーバ、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20221205BHJP

【ＦＩ】

G06T1/00 340Z

【請求項の数】 9

(21)【出願番号】P 2019202947

(22)【出願日】2019-11-08

(65)【公開番号】P2021077065

(43)【公開日】2021-05-20

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】酒澤 茂之

(72)【発明者】

【氏名】明堂 絵美

(72)【発明者】

【氏名】田坂 和之

【審査官】山口 大志

(56)【参考文献】

【文献】米国特許出願公開第２００９／００６０３４３（ＵＳ，Ａ１）

【文献】特開２０１６－０７１６３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

処理対象画像を取得する画像取得部と、
前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成するターゲット画像生成部と、
前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成する画像縮小部と、
平滑化の度合いを示す平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成する平滑化部と、
前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出する位置座標算出部と、
前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成する置換画像生成部と、
前記ターゲット画像と前記置換画像との統計的な類似度を数値化する類似度評価関数の評価値に基づいて、前記平滑化パラメータを更新するパラメータ更新部と、
を備える画像処理装置。

【請求項2】

前記画像縮小部は、前記処理対象画像を等方的にサンプリングして取得した画素を並べることによって前記縮小画像を生成する、
請求項１に記載の画像処理装置。

【請求項3】

前記画像取得部は、前記処理対象画像に撮像されている被写体に関する情報をさらに取得し、
前記画像処理装置は、
鮮鋭化の度合いを示す鮮鋭化パラメータにしたがって前記平滑化画像に鮮鋭化処理を適用して鮮鋭化画像を生成する鮮鋭化部と、
前記鮮鋭化画像に基づいて当該鮮鋭化画像に撮像されている被写体に関する情報を推定する画像推定部と、
をさらに備え、
前記パラメータ更新部はさらに、前記画像推定部の推定結果と前記画像取得部が取得した前記被写体に関する情報との差異を数値化する推定評価関数の評価値に基づいて、前記鮮鋭化パラメータを更新する、
請求項２に記載の画像処理装置。

【請求項4】

前記パラメータ更新部は、前記類似度評価関数と前記推定評価関数との線形和である統合評価関数の評価値に基づいて、前記平滑化パラメータと前記鮮鋭化パラメータとを更新する、
請求項３に記載の画像処理装置。

【請求項5】

請求項１から４のいずれか１項に記載の画像処理装置が生成した平滑化パラメータを記憶する記憶部と、
処理対象画像を取得する画像取得部と、
前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成するターゲット画像生成部と、
前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成する画像縮小部と、
前記記憶部が記憶している平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成する平滑化部と、
前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出する位置座標算出部と、
前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成する置換画像生成部と、
前記置換画像に撮像されている被写体を解析するための解析装置に、通信ネットワークを介して前記置換画像を送信する通信部と、
を備える情報処理端末。

【請求項6】

請求項１から４のいずれか１項に記載の画像処理装置が生成した鮮鋭化パラメータを記憶する記憶部と、
通信ネットワークを介して前記置換画像を取得する画像受信部と、
前記置換画像を構成する画素のうち、設定された位置座標に該当する画素を取り出して縮小画像を生成する縮小画像生成部と、
前記記憶部が記憶している鮮鋭化パラメータにしたがって前記縮小画像に鮮鋭化処理を適用して鮮鋭化画像を生成する鮮鋭化部と、
前記鮮鋭化画像に基づいて当該鮮鋭化画像に撮像されている被写体に関する情報を推定する画像推定部と、
を備えるサーバ。

【請求項7】

プロセッサが、
処理対象画像を取得するステップと、
前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成するステップと、
前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成するステップと、
平滑化の度合いを示す平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成するステップと、
前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出するステップと、
前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成するステップと、
前記ターゲット画像と前記置換画像との統計的な類似度を数値化する類似度評価関数の評価値に基づいて、前記平滑化パラメータを更新するステップと、
を実行する画像処理方法。

【請求項8】

コンピュータに、
処理対象画像を取得する機能と、
前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成する機能と、
前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成する機能と、
平滑化の度合いを示す平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成する機能と、
前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出する機能と、
前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成する機能と、
前記ターゲット画像と前記置換画像との統計的な類似度を数値化する類似度評価関数の評価値に基づいて、前記平滑化パラメータを更新する機能と、
を実現させるプログラム。

【請求項9】

コンピュータに、
請求項１から４のいずれか１項に記載の画像処理装置が生成した平滑化パラメータを記憶する記憶部から前記平滑化パラメータを読み出す機能と、
処理対象画像を取得する機能と、
前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成する機能と、
前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成する機能と、
前記平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成する機能と、
前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出する機能と、
前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成する機能と、
前記置換画像に撮像されている被写体を解析するための解析装置に、通信ネットワークを介して前記置換画像を送信する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、情報処理端末、サーバ、画像処理方法、及びプログラムに関し、特に画像に撮像された個人情報の漏洩を抑制する技術に関する。

【背景技術】

【0002】

近年、ユーザが自身を被写体に含む画像をサーバに送信し、サーバにて画像認識処理を実行するサービスも実用化されつつある。例えば、ユーザが宅内でのヨガのポーズ指導を受けるために、スマートフォンで撮影した自身の映像をサーバに送信し、サーバがポーズ推定を行ったうえで結果をユーザに送信するサービスも検討されている。

【0003】

このようなサービスを実施するためには、ユーザがサーバに送信する画像からユーザの個人情報が漏洩することを防ぐことが求められる。このため、例えば非特許文献１には、ＧＡＮ（Generative Adversarial Networks）のフレームワークにより、入力画像に対して実行される認識処理の認識精度を保ちつつ、かつ入力画像を難読化する技術が提案されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Tae-hoon Kim他3名、“Training with the Invisibles: Obfuscating Images to Share Safely for Learning Visual Recognition Models” [online]、２０１９年１月１日、[２０１９年１０月２１日検索]、インターネット＜ＵＲＬ：https://www.researchgate.net/publication/330102105_Training_with_the_Invisibles_Obfuscating_Images_to_Share_Safely_for_Learning_Visual_Recognition_Models＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の技術は、ＣＮＮ（Convolutional Neural Network）を利用しており、処理対象画像に対して局所的な単位での畳み込みフィルタリングを画面全体に対して走査しながら適用するので、一律的な処理が実施されることになる。このため、処理対象画像の難読化と認識精度の保持とはトレードオフの関係となり、処理対象画像を個人情報の漏洩を抑制できるレベルまで難読化すると、認識処理の認識精度の保持が困難となりかねない。

【0006】

本発明はこれらの点に鑑みてなされたものであり、画像認識処理を前提とした処理対象画像の難読化技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様は、画像処理装置である。この装置は、処理対象画像を取得する画像取得部と、前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成するターゲット画像生成部と、前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成する画像縮小部と、平滑化の度合いを示す平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成する平滑化部と、前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出する位置座標算出部と、前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成する置換画像生成部と、前記ターゲット画像と前記置換画像との統計的な類似度を数値化する類似度評価関数の評価値に基づいて、前記平滑化パラメータを更新するパラメータ更新部と、を備える。

【0008】

前記画像縮小部は、前記処理対象画像を等方的にサンプリングして取得した画素を並べることによって前記縮小画像を生成してもよい。

【0009】

前記画像取得部は、前記処理対象画像に撮像されている被写体に関する情報をさらに取得してもよく、前記画像処理装置は、鮮鋭化の度合いを示す鮮鋭化パラメータにしたがって前記平滑化画像に鮮鋭化処理を適用して鮮鋭化画像を生成する鮮鋭化部と、前記鮮鋭化画像に基づいて当該鮮鋭化画像に撮像されている被写体に関する情報を推定する画像推定部と、をさらに備えてもよく、前記パラメータ更新部はさらに、前記画像推定部の推定結果と前記画像取得部が取得した前記被写体に関する情報との差異を数値化する推定評価関数の評価値に基づいて、前記鮮鋭化パラメータを更新してもよい。

【0010】

前記パラメータ更新部は、前記類似度評価関数と前記推定評価関数との線形和である統合評価関数の評価値に基づいて、前記平滑化パラメータと前記鮮鋭化パラメータとを更新してもよい。

【0011】

本発明の第２の態様は、情報処理端末である。この端末は、上述の画像処理装置が生成した平滑化パラメータを記憶する記憶部と、処理対象画像を取得する画像取得部と、前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成するターゲット画像生成部と、前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成する画像縮小部と、前記記憶部が記憶している平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成する平滑化部と、前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出する位置座標算出部と、前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成する置換画像生成部と、前記置換画像に撮像されている被写体を解析するための解析装置に、通信ネットワークを介して前記置換画像を送信する通信部と、を備える。

【0012】

本発明の第３の態様は、サーバである。このサーバは、上述の画像処理装置が生成した鮮鋭化パラメータを記憶する記憶部と、通信ネットワークを介して前記置換画像を取得する画像受信部と、前記置換画像を構成する画素のうち、設定された位置座標に該当する画素を取り出して縮小画像を生成する縮小画像生成部と、前記記憶部が記憶している鮮鋭化パラメータにしたがって前記縮小画像に鮮鋭化処理を適用して鮮鋭化画像を生成する鮮鋭化部と、前記鮮鋭化画像に基づいて当該鮮鋭化画像に撮像されている被写体に関する情報を推定する画像推定部と、を備える。

【0013】

本発明の第４の態様は、画像処理方法である。この方法において、プロセッサが、処理対象画像を取得するステップと、前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成するステップと、前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成するステップと、平滑化の度合いを示す平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成するステップと、前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出するステップと、前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成するステップと、前記ターゲット画像と前記置換画像との統計的な類似度を数値化する類似度評価関数の評価値に基づいて、前記平滑化パラメータを更新するステップと、を実行する。

【0014】

本発明の第５の態様は、プログラムである。このプログラムは、コンピュータに、処理対象画像を取得する機能と、前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成する機能と、前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成する機能と、平滑化の度合いを示す平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成する機能と、前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出する機能と、前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成する機能と、前記ターゲット画像と前記置換画像との統計的な類似度を数値化する類似度評価関数の評価値に基づいて、前記平滑化パラメータを更新する機能と、を実現させる。

【0015】

本発明の第６の態様も、プログラムである。このプログラムは、コンピュータに、上述の画像処理装置が生成した平滑化パラメータを記憶する記憶部から前記平滑化パラメータを読み出す機能と、処理対象画像を取得する機能と、前記処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像を生成する機能と、前記処理対象画像を構成する画素からサンプリングした一部の画素に基づいて縮小画像を生成する機能と、前記平滑化パラメータにしたがって前記縮小画像に平滑化処理を適用して平滑化画像を生成する機能と、前記平滑化画像を構成する各画素の位置座標に対応する前記ターゲット画像の位置座標である拡大位置座標を算出する機能と、前記ターゲット画像の前記拡大位置座標における画素の画素値を、前記拡大位置座標に対応する前記平滑化画像の画素値に置換した置換画像を生成する機能と、前記置換画像に撮像されている被写体を解析するための解析装置に、通信ネットワークを介して前記置換画像を送信する機能と、を実現させる。

【0016】

このプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

【0017】

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0018】

本発明によれば、画像認識処理を前提とした処理対象画像の難読化技術を提供できる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施の形態に係る画像処理装置が実行する処理の概要を説明するための図である。

【図2】実施の形態に係る画像処理装置の機能構成を模式的に示す図である。

【図3】実施の形態に係る置換画像生成部が実行する置換画像の生成処理を説明するための模式図である。

【図4】実施の形態に係るパラメータ更新部が実行する平滑化パラメータの更新処理を説明するための図である。

【図5】実施の形態に係る被写体に関する情報の一例を説明するための図である。

【図6】実施の形態に係るパラメータ更新部が実行する鮮鋭化パラメータの更新処理を説明するための図である。

【図7】実施の形態に係る画像処理装置が実行する画像処理の流れを説明するためのフローチャートである。

【図8】実施の形態に係る平滑化パラメータと鮮鋭化パラメータの利用シーンを説明するための模式図である。

【図9】実施の形態に係る情報処理端末の機能構成及びサーバの機能構成を模式的に示す図である。

【図10】実施の形態の変形例に係る鮮鋭化部が実行する鮮鋭化処理を説明するための模式図である。

【発明を実施するための形態】

【0020】

＜実施の形態の概要＞
図１は、本発明の実施の形態に係る画像処理装置が実行する処理の概要を説明するための図である。以下、図１を参照して、本発明の実施の形態の概要を（１）から（７）の順に説明するが、その番号は図１における（１）から（７）と対応する。

【0021】

実施の形態に係る画像処理装置は、処理対象画像に対して画像処理を施すことにより、その後に画像認識処理が施されることを前提とした難読化画像を生成する。実施の形態に係る画像処理装置は、処理対象画像に対して施す画像処理に用いられるパラメータを学習によって最適化する。

【0022】

（１）画像処理装置は、学習に用いる処理対象画像Ｉを取得する。図１はヨガのポーズをしている女性が被写体として含まれる処理対象画像Ｉが例示されているが、画像処理装置は複数の異なる画像を処理対象画像Ｉとして取得する。

【0023】

（２）画像処理装置は、処理対象画像Ｉに対してあらかじめ定められた平滑化処理及びノイズ付加処理を実行し、難読化の目標とするターゲット画像Ｔを生成する。平滑化処理及びノイズ付加処理それぞれのパラメータは、画像から人物が判読できなくなるようにあらかじめ実験によって決定され、固定されている。なお、処理対象画像Ｉの画像のサイズと、ターゲット画像Ｔの画像のサイズとは、同一のサイズである。

【0024】

（３）画像処理装置は、処理対象画像Ｉを構成する画素に基づいて、処理対象画像Ｉよりも小さなサイズの画像である縮小画像Ｓを生成する。具体的には、画像処理装置は、処理対象画像Ｉを構成する画素の一部をサンプリングして並べた画像を縮小画像Ｓとして生成する。あるいは、画像処理装置は、処理対象画像Ｉを構成する画素の一部を用いてスプライン補間や線形補間をすることにより、縮小画像Ｓを生成してもよい。なお、図１に示す置換画像Ｒは、処理対象画像Ｉを構成する画素を等方的にサンプリングして取得した画素を並べることによって生成された画像を示している。

【0025】

（４）画像処理装置は、平滑化の度合いを示す平滑化パラメータにしたがって縮小画像Ｓに平滑化処理を施すことにより、平滑化画像Ｂを生成する。平滑化パラメータは平滑化処理の種類に依存するが、例えばガウシアンフィルタを用いた平滑化処理の場合、標準偏差が平滑化パラメータの一例となる。あるいは、ＣＮＮ（Convolutional Neural Network）等の畳み込みフィルタ群による平滑化処理の場合、平滑化パラメータは、パラメータ更新処理において学習を通して定められたパラメータとなる。

【0026】

（５）画像処理装置は、平滑化画像Ｂを構成する各画素に対応する処理対象画像Ｉの画素の位置座標である拡大位置座標を特定する。例えば、縮小画像Ｓが処理対象画像Ｉを構成する画素からサンプリングされた画素を並べた画像である場合、画像処理装置は、サンプリングの元となった処理対象画像Ｉにおける位置座標を、拡大位置座標とする。あるいは、縮小画像Ｓが処理対象画像Ｉを等方サンプリングすることによって得られた画像である場合、画像処理装置は、平滑化画像Ｂを処理対象画像Ｉと同一のサイズに拡大する場合の拡大率を算出し、その拡大率に基づいて拡大位置座標を算出する。

【0027】

図１に示すように、例えば、処理対象画像Ｉは矩形である。拡大位置座標は、処理対象画像Ｉの４つの頂点のうちのいずれかの頂点を原点とする２次元座標系の座標として定義することができるが、これに限定されるものではない。拡大位置座標は、この他、処理対象画像Ｉの中心を原点とする座標系を用いて定義されてもよい。

【0028】

煩雑となることを避けるため全てについては図示していないが、図１において符号Ｐで示す白抜きの矩形は、拡大位置座標が示す位置を示している。図１に示すように、平滑化画像Ｂは処理対象画像Ｉよりも小さな画像であるため、拡大位置座標は離散的な値となる。

【0029】

（６）画像処理装置は、ターゲット画像Ｔの拡大位置座標における画素値を、対応する平滑化画像Ｂの画素値で置換した置換画像Ｒを生成する。図１に示す置換画像Ｒにおいて、白抜きの矩形は平滑化画像Ｂに由来する画素を示し、黒色部分はターゲット画像Ｔに由来する画素を示している。図１に示すように、置換画像Ｒは、ターゲット画像Ｔを背景として平滑化画像Ｂに由来する画素がちりばめられた画像となる。

【0030】

（７）画像処理装置は、ターゲット画像Ｔと置換画像Ｒとを判別するためにあらかじめ用意した判別器が、ターゲット画像Ｔと置換画像Ｒとを判別できなくなるように、平滑化パラメータを更新する。具体的には、ターゲット画像Ｔと置換画像Ｒとを判別するためにあらかじめ用意した判別器は、ターゲット画像Ｔと置換画像Ｒとのそれぞれの局所的な領域における画素の統計量の相違を算出し、その差によってターゲット画像Ｔと置換画像Ｒとの異同を判定するように定められている。画像処理装置は、画素の統計量の相違を含む評価関数を用いて平滑化パラメータを更新する。

【0031】

これにより、画像処理装置は、あらかじめ用意した判別器ではターゲット画像Ｔと置換画像Ｒとの判別が難しくなるように、置換画像Ｒを生成することができる。置換画像Ｒは、ノイズ等が付加されていない平滑化画像Ｂの画素を含むため、この画素を利用することにより、後工程の画像認識処理における認識精度を保持することが期待できる。

【0032】

このように、実施の形態に係る画像処理装置は、画像認識処理を前提として処理対象画像を難読化することができる。

【0033】

＜実施の形態に係る画像処理装置１の機能構成＞
図２は、実施の形態に係る画像処理装置１の機能構成を模式的に示す図である。画像処理装置１は、記憶部１０と制御部１１とを備える。図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってもよい。図２において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。

【0034】

記憶部１０は、制御部１１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や画像処理装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

【0035】

制御部１１は、画像処理装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１０に記憶されたプログラムを実行することによって、画像取得部１１０、ターゲット画像生成部１１１、画像縮小部１１２、平滑化部１１３、位置座標算出部１１４、置換画像生成部１１５、パラメータ更新部１１６、鮮鋭化部１１７、及び画像推定部１１８として機能する。

【0036】

なお、図２は、画像処理装置１が単一の装置で構成されている場合の例を示している。しかしながら、画像処理装置１は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。この場合、制御部１１を構成する各部は、複数の異なるプロセッサの中の少なくともいずれかのプロセッサがプログラムを実行することによって実現される。

【0037】

画像取得部１１０は、処理対象画像Ｉを取得する。処理対象画像Ｉは平滑化パラメータの学習に用いるための教師用画像データ群であり、記憶部１０に格納されている。画像取得部１１０は、複数の処理対象画像Ｉを記憶部１０から読み出して取得する。

【0038】

ターゲット画像生成部１１１は、処理対象画像Ｉに対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用し、ターゲット画像Ｔを生成する。画像縮小部１１２は、処理対象画像Ｉを構成する画素からサンプリングした一部の画素に基づいて、縮小画像Ｓを生成する。平滑化部１１３は、平滑化の度合いを示す平滑化パラメータにしたがって縮小画像Ｓに平滑化処理を適用して平滑化画像Ｂを生成する。

【0039】

画像縮小部１１２が実行する縮小処理に用いられる縮小パラメータは記憶部１０に格納されている。画像縮小部１１２は、記憶部１０から縮小パラメータを読み出して取得し、処理対象画像Ｉに対して縮小処理を実施する。平滑化部１１３が実行する平滑化処理に用いられる平滑化パラメータの初期値も記憶部１０に格納されている。平滑化部１１３は、記憶部１０から平滑化パラメータを読み出して取得し、縮小画像Ｓに対して平滑化処理を実施する。

【0040】

位置座標算出部１１４は、平滑化画像Ｂを構成する各画素の位置座標に対応するターゲット画像Ｔの位置座標である拡大位置座標を算出する。置換画像生成部１１５は、ターゲット画像Ｔの拡大位置座標における画素の画素値を、拡大位置座標に対応する平滑化画像Ｂの画素値に置換した置換画像Ｒを生成する。

【0041】

図３は、実施の形態に係る置換画像生成部１１５が実行する置換画像Ｒの生成処理を説明するための模式図である。図３は、画像縮小部１１２が等方サンプリングをした画素を並べて縮小画像Ｓを作成し、更に平滑化部１１３が縮小画像Ｓに対して平滑化処理を施して平滑化画像Ｂを作成した場合の例を示している。図３において、黒丸はターゲット画像Ｔの画素を示し、白抜きの丸は平滑化画像Ｂの画素を示している。

【0042】

上述したように、平滑化画像Ｂは処理対象画像Ｉを縮小して得られた縮小画像Ｓに平滑化処理を施された画像であるため、処理対象画像Ｉと同一サイズのターゲット画像Ｔよりも小さなサイズの画像である。そこで、位置座標算出部１１４は、平滑化画像Ｂを構成する各画素に対応するターゲット画像Ｔ上の位置座標である拡大位置座標を算出して取得する。図３に示す平滑化画像Ｂは処理対象画像Ｉの等方サンプリングによって生成された縮小画像Ｓに由来しているため、位置座標算出部１１４は、処理対象画像Ｉにおけるサンプリングの座標を拡大位置座標として取得することになる。

【0043】

図３において符号Ｂ’で示す画像は、平滑化画像Ｂを構成する各画素を拡大位置座標が示す位置に並べた平滑化画像Ｂ’である。置換画像生成部１１５は、ターゲット画像Ｔを平滑化画像Ｂ’で上書きする。具体的には、置換画像生成部１１５は、ターゲット画像Ｔを構成する画素のうち、位置座標算出部１１４が算出した拡大位置座標に存在する画素の画素値を、平滑化画像Ｂ’の画素値で置換する。これにより、ターゲット画像Ｔを構成する画素の一部が平滑化画像Ｂを構成する画素で置換された置換画像Ｒが生成される。

【0044】

パラメータ更新部１１６は、ターゲット画像Ｔと置換画像Ｒとの統計的な類似度を数値化する類似度評価関数の評価値に基づいて、平滑化パラメータを更新する。
図４は、実施の形態に係るパラメータ更新部１１６が実行する平滑化パラメータの更新処理を説明するための図であり、より具体的には、統計的な類似度の算出手法を説明するための図である。

【0045】

パラメータ更新部１１６は、置換画像Ｒ上及びターゲット画像Ｔ上の局所的な領域に所定のサイズの作業ウインドウＷを設定する。図４では、パラメータ更新部１１６は、縦方向に８個、横方向に８個、全部で６４個の画素が入る作業ウインドウＷを設置している例を示している。

【0046】

パラメータ更新部１１６は、作業ウインドウＷを置換画像Ｒ上及びターゲット画像Ｔ上で走査させながら、作業ウインドウＷ内の画素値の統計量を算出する。統計量としては、例えば、作業ウインドウＷ内の画素値の平均値、分散値、標準偏差、空間周波数スペクトラム分布、ＤＣＴ（Discrete Cosine Transform）係数値等のうちの少なくとも一つである。

【0047】

類似度評価関数は、置換画像Ｒ上に設置された作業ウインドウＷ内の画素の画素値から算出された統計量と、ターゲット画像Ｔ上において置換画像Ｒ上に設置された作業ウインドウＷと同じ位置に設置された作業ウインドウＷ内の画素の画素値から算出された統計量との差分に関する関数である。

【0048】

具体的には、パラメータ更新部１１６は、作業ウインドウＷを置換画像Ｒ上及びターゲット画像Ｔ上で走査させながら各位置において差分の２乗を計算し、全ての走査領域において積算した値を類似度評価関数の評価値として算出する。この場合、類似度評価関数の評価値が小さいほど、置換画像Ｒとターゲット画像Ｔとが類似していることを示し、類似度評価関数の評価値が０のとき、置換画像Ｒとターゲット画像Ｔとが同一の画像であることを示す。なお、類似度評価関数は、作業ウインドウＷと同じ位置の置換画像Ｒとターゲット画像Ｔとの画素の画素値の差の統計量に関する関数としてもよい。

【0049】

パラメータ更新部１１６は、類似度評価関数の評価値が所定の値よりも小さくなるように、平滑化パラメータを更新する。これにより、パラメータ更新部１１６は、置換画像Ｒとターゲット画像Ｔとを、類似度評価関数の評価値が小さいという意味において類似させることができる。なお、作業ウインドウＷのサイズは図４に示す例に限られず、統計量の種類や性質等を考慮して実験により定めればよい。

【0050】

［鮮鋭化フィルタの学習］
続いて鮮鋭化フィルタの学習について説明する。
上述したように、実施の形態に係る画像処理装置１は、画像認識処理を前提とした処理対象画像の難読化技術を提供することを目的としている。したがって、置換画像Ｒは、画像認識処理の入力画像となる。この画像認識処理の前処理として、ターゲット画像Ｔから平滑化画像Ｂに由来する画素を取得して平滑化画像Ｂを再構成するとともに、再構成した平滑化画像Ｂを鮮鋭化する。鮮鋭化フィルタは、再構成した平滑化画像Ｂの鮮鋭化処理に用いられる画像処理フィルタである。画像処理装置１は、平滑化パラメータと同様に、鮮鋭化フィルタにおいて鮮鋭化の度合いを示す鮮鋭化パラメータを学習によって更新する。

【0051】

まず、画像取得部１１０は、教師用画像データである処理対象画像Ｉに撮像されている被写体に関する情報を取得する。ここで「被写体に関する情報」とは、画像認識処理における認識対象を示す情報である。例えば、教師用画像データ群がヨガのポーズを被写体に含む画像である場合、被写体に関する情報は各処理対象画像Ｉに撮像されている人物の体のパーツを示す情報となる。教師用画像データ群に含まれる各処理対象画像Ｉの被写体に関する情報は、例えば目視等の手段によってあらかじめ設定されている。

【0052】

図５（ａ）－（ｂ）は、実施の形態に係る被写体に関する情報の一例を説明するための図である。具体的には、図５（ａ）は図１に示す処理対象画像Ｉに撮像されている女性の被写体に設定された部位位置を模式的に示す図であり、図５（ｂ）は図５（ａ）に示された各部位位置の位置座標を表形式で示す図である。

【0053】

図５（ａ）に示すように、実施の形態に係る画像処理装置１が学習に用いる処理対象画像Ｉは、被写体の頭頂、手首、肘、肩、首、腰、足の付け根、膝、足先等を含む１５カ所の部位位置が設定されている。また、各処理対象画像Ｉの部位位置を示す座標として、処理対象画像Ｉの左上を原点Ｏとし、処理対象画像Ｉの横方向をＸ軸、縦方向をＹ軸とする２次元座標系における座標が設定されている。図５（ｂ）に示すように、１５カ所の部位位置にはそれぞれ１から１５までの番号が部位番号として割り当てられており、各部位番号に対応する部位の座標が処理対象画像Ｉに対応づけて設定されている。

【0054】

鮮鋭化部１１７は、鮮鋭化の度合いを示す鮮鋭化パラメータにしたがって平滑化画像Ｂに鮮鋭化処理を適用して鮮鋭化画像を生成する。なお、鮮鋭化パラメータの初期値は記憶部１０に格納されている。鮮鋭化部１１７は、鮮鋭化パラメータの初期値を記憶部１０から読み出して初回の鮮鋭化処理を実行する。

【0055】

画像推定部１１８は、鮮鋭化画像に基づいて、鮮鋭化画像に撮像されている被写体に関する情報を推定する。具体的には、画像推定部１１８は、あらかじめ既知の機械学習手法を用いて生成された被写体認識エンジンを用いることにより、鮮鋭化画像から図５（ａ）に示す各部位の位置の座標を推定する。

【0056】

パラメータ更新部１１６は、画像推定部１１８の推定結果と画像取得部１１０が取得した被写体に関する情報との差異を数値化する推定評価関数の評価値に基づいて、鮮鋭化パラメータを更新する。

【0057】

図６は、実施の形態に係るパラメータ更新部１１６が実行する鮮鋭化パラメータの更新処理を説明するための図であり、より具体的には、推定評価関数の評価値の算出手法を説明するための図である。図６において、白抜きの丸は画像推定部１１８が推定した被写体の部位位置を示している。また、白抜きの四角は、被写体に関する情報としてあらかじめ処理対象画像Ｉに設定されている被写体の左肘の位置を示している。

【0058】

なお、煩雑となることを避けるために図６では被写体に関する情報として左肘の位置しか図示していないが、被写体に関する情報は他の部位にも設定されている。また、図６において、破線の円Ｃは被写体の左肘部分の拡大図である。図６に示すように、画像推定部１１８が推定した左肘の位置と、被写体に関する情報における左肘の位置とは、距離Ｅだけずれている。推定評価関数は、各部位位置におけるずれ量によって定義される。

【0059】

具体的には、パラメータ更新部１１６は、被写体に設置された全ての部位位置における画像推定部１１８が推定した位置と被写体に関する情報における位置との距離Ｅを算出し、それらを積算した値を推定評価関数の評価値として算出する。この場合、推定評価関数の評価値が小さいほど、画像推定部１１８の認識精度が高いことを示す。パラメータ更新部１１６は、推定評価関数の評価値が所定の値よりも小さくなるように、鮮鋭化パラメータを更新する。これにより、パラメータ更新部１１６は、推定評価関数の評価値が小さいという意味において画像推定部１１８の認識精度を向上させることができる。

【0060】

なお、パラメータ更新部１１６は、類似度評価関数と推定評価関数とを統合した統合評価関数を用いて、平滑化パラメータと鮮鋭化パラメータとを更新してもよい。具体的には、パラメータ更新部１１６は、類似度評価関数の評価値Ｌ１と推定評価関数の評価値Ｌ２との線形和である統合評価関数の評価値Ｌ３（Ｌ３＝Ｌ１＋λＬ２）に基づいて、平滑化パラメータと鮮鋭化パラメータとを更新する。ここで、λは類似度評価関数と推定評価関数との重要度を示すパラメータであり、０以上の実数である。λが大きいほど各パラメータの更新における推定評価関数の重要度が大きくなる。λの値は、処理対象画像Ｉに要求される難読化の程度と認識性能とを考慮して実験により定めればよい。

【0061】

＜画像処理装置１が実行する画像処理方法の処理フロー＞
図７は、実施の形態に係る画像処理装置１が実行する画像処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置１が起動したときに開始する。

【0062】

画像取得部１１０は、画像処理パラメータの学習に用いるための処理対象画像Ｉを取得する（Ｓ２）。ターゲット画像生成部１１１は、処理対象画像に対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像Ｔを生成する（Ｓ４）。

【0063】

画像縮小部１１２は、処理対象画像Ｉを構成する画素からサンプリングした一部の画素に基づいて縮小画像Ｓを生成する（Ｓ６）。平滑化部１１３は、平滑化の度合いを示す平滑化パラメータにしたがって縮小画像Ｓに平滑化処理を適用して平滑化画像Ｂを生成する（Ｓ８）。

【0064】

位置座標算出部１１４は、平滑化画像Ｂを構成する各画素の位置座標に対応するターゲット画像Ｔ（すなわち、処理対象画像Ｉ）の位置座標である拡大位置座標を算出する（Ｓ１０）。置換画像生成部１１５は、ターゲット画像Ｔの拡大位置座標における画素の画素値を、拡大位置座標に対応する平滑化画像Ｂの画素値に置換した置換画像Ｒを生成する（Ｓ１２）。

【0065】

パラメータ更新部１１６は、ターゲット画像Ｔと置換画像Ｒとの統計的な類似度を数値化する類似度評価関数の評価値に基づいて、平滑化パラメータを更新する（Ｓ１４）。以上ステップＳ４からステップＳ１４の処理を繰り返すことにより、画像処理装置１は、平滑化パラメータを更新し、平滑化パラメータを生成する。

【0066】

＜情報処理端末及びサーバ＞
以上、画像処理装置１を用いて処理対象画像Ｉの難読化に利用する平滑化パラメータと、画像認識処理の前処理として用いられる鮮鋭化処理の鮮鋭化パラメータとの更新手法について説明した。画像処理装置１が更新により決定した平滑化パラメータは、画像の難読化を実行する情報処理端末に格納され、画像の難読化（すなわち、置換画像Ｒの生成）に用いられる。また、画像処理装置１が更新により決定した鮮鋭化パラメータは、ユーザ端末から取得した置換画像Ｒを入力として画像認識処理を実行するサーバに格納され、画像認識処理の前処理として実行される鮮鋭化処理に用いられる。

【0067】

以下、平滑化パラメータと鮮鋭化パラメータの利用シーンとして、画像認識処理の処理対象画像を生成する情報処理端末と、画像認識処理を実行するサーバについて説明する。

【0068】

図８は、実施の形態に係る平滑化パラメータと鮮鋭化パラメータの利用シーンを説明するための模式図である。図８において、ユーザＵが所持する情報処理端末２と、画像認識処理を実行するサーバ３とが、例えばインターネット等の通信ネットワークＮを介して通信可能な態様で接続している。図８は、ユーザＵが情報処理端末２を用いて自身を撮像した画像をサーバ３に送信し、サーバ３にてユーザＵのポーズを判定する場合の例を示している。ユーザＵは、サーバ３に送信する画像には自身の姿が撮像されているため、その画像からプライバシーが漏洩することを抑制したいという要望がある。一方で、サーバ３に送信する画像を用いて何らかの認識処理（例えば、ヨガのポース等の認識処理）の結果を知りたいという要望もある。

【0069】

図９は、実施の形態に係る情報処理端末２の機能構成及びサーバ３の機能構成を模式的に示す図である。情報処理端末２は、記憶部２０、制御部２１、通信部２２、及び撮像部２３を備える。また、サーバ３は、記憶部３０、制御部３１、及び通信部３２を備える。

【0070】

図９において、矢印は主なデータの流れを示しており、図９に示していないデータの流れがあってもよい。図９において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図９に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。

【0071】

記憶部２０は、制御部２１を実現するコンピュータのＢＩＯＳ等を格納するや情報処理端末２の作業領域となるＲＡＭ、ＯＳやアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される平滑化パラメータ等の種々の情報を格納するＨＤＤやＳＳＤ等の大容量記憶装置である。同様に、記憶部３０は、制御部３１を実現するコンピュータのＢＩＯＳ等を格納するやサーバ３の作業領域となるＲＡＭ、ＯＳやアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される鮮鋭化パラメータ等の種々の情報を格納するＨＤＤやＳＳＤ等の大容量記憶装置である。

【0072】

制御部２１は、情報処理端末２のＣＰＵやＧＰＵ等のプロセッサであり、記憶部２０に記憶されたプログラムを実行することによって、画像取得部２１０、ターゲット画像生成部２１１、画像縮小部２１２、平滑化部２１３、位置座標算出部２１４、及び置換画像生成部２１５として機能する。また、制御部３１は、サーバ３のＣＰＵやＧＰＵ等のプロセッサであり、記憶部３０に記憶されたプログラムを実行することによって、画像受信部３１０、縮小画像生成部３１１、鮮鋭化部３１２、及び画像推定部３１３として機能する。

【0073】

記憶部２０は、画像処理装置１が生成した平滑化パラメータを記憶している。画像取得部２１０は、処理対象画像Ｉを取得する。具体的には、画像取得部２１０は、撮像部２３が撮像によって生成した画像を処理対象画像Ｉとして取得する。ターゲット画像生成部２１１は、処理対象画像Ｉに対し、あらかじめ定められた平滑化処理及びノイズ付加処理を適用しターゲット画像Ｔを生成する。なお、ターゲット画像Ｔを生成するための平滑化処理及びノイズ付加処理に用いられるパラメータは固定されており、あらかじめ記憶部２０に格納されている。

【0074】

画像縮小部２１２は、処理対象画像Ｉの値を構成する画素からサンプリングした一部の画素に基づいて縮小画像Ｓを生成する。平滑化部２１３は、記憶部２０が記憶している平滑化パラメータにしたがって縮小画像Ｓに平滑化処理を適用して平滑化画像Ｂを生成する。

【0075】

位置座標算出部２１４は、平滑化画像Ｂを構成する各画素の位置座標に対応するターゲット画像Ｔ（すなわち、処理対象画像Ｉ）の位置座標である拡大位置座標を算出する。置換画像生成部２１５は、ターゲット画像Ｔの拡大位置座標における画素の画素値を、拡大位置座標に対応する平滑化画像Ｂの画素値に置換した置換画像Ｒを生成する。これにより、情報処理端末２は、処理対象画像Ｉを難読化することができる。通信部２２は、置換画像Ｒに撮像されている被写体を解析するための解析装置であるサーバ３に、通信ネットワークＮを介して置換画像Ｒを送信する。また、情報処理端末２の位置座標算出部２１４が算出する拡大位置座標が固定されていない場合には、通信部２２は、置換画像Ｒに撮像されている被写体を解析するための解析装置であるサーバ３に、通信ネットワークＮを介して置換画像Ｒと一緒に、拡大位置座標を送信するようにしてもよい（特に、後述する非等方サンプリングの変形例においては有用である）。

【0076】

記憶部３０は、画像処理装置１が生成した鮮鋭化パラメータを記憶している。画像受信部３１０は、通信ネットワークＮを介して情報処理端末２から置換画像Ｒを取得する。縮小画像生成部３１１は、画像受信部３１０が取得した置換画像Ｒを構成する画素のうち、設定された位置座標に該当する画素を取り出して縮小画像Ｓを生成する。

【0077】

例えば、情報処理端末２の位置座標算出部２１４が算出する拡大位置座標が固定されている場合、その拡大位置座標はあらかじめ記憶部３０に格納されている。この場合、縮小画像生成部３１１は、記憶部３０から拡大位置座標を読み出し、置換画像Ｒから拡大位置座標に対応する画素を取り出して縮小画像Ｓを生成する。

【0078】

また、画像受信部３１０が情報処理端末２から拡大位置座標を取得する場合には、縮小画像生成部３１１は、画像受信部３１０が取得した拡大位置座標に対応する置換画像Ｒの画素を取り出して縮小画像Ｓを生成する。画像受信部３１０が情報処理端末２から拡大位置座標を取得する場合、情報処理端末２は、あらかじめ定められた暗号鍵によって暗号化した拡大位置座標を送信するようにしてもよい（特に、後述する非等方サンプリングの変形例においては有用である）。記憶部３０は、暗号化された拡大位置座標を復号するための暗号鍵をあらかじめ記憶している。いずれにしても、縮小画像生成部３１１は、既に設定されている位置座標における置換画像Ｒの画素を取り出して縮小画像Ｓを生成することになる。

【0079】

鮮鋭化部３１２は、記憶部３０が記憶している鮮鋭化パラメータにしたがって縮小画像Ｓに鮮鋭化処理を適用して鮮鋭化画像を生成する。画像推定部３１３は、鮮鋭化画像に基づいて鮮鋭化画像に撮像されている被写体に関する情報を推定する。通信部３２は、画像推定部３１３が推定した被写体に関する情報を通信ネットワークＮを介して情報処理端末２に送信する。これにより、情報処理端末２のユーザＵは、サーバ３が推定した結果を確認することができる。

【0080】

＜実施の形態に係る画像処理装置１が奏する効果＞
以上説明したように、実施の形態に係る画像処理装置１によれば、画像認識処理を前提とした処理対象画像の難読化技術を提供することができる。

【0081】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。

【0082】

＜第１の変形例＞
上記では、画像縮小部１１２が、処理対象画像Ｉを構成する画素の一部を等方的にサンプリングして並べた画像を縮小画像Ｓとして生成したり、処理対象画像Ｉを構成する画素の一部を用いてスプライン補間や線形補間をすることにより、縮小画像Ｓを生成したりする場合について説明した。これに代えて、画像縮小部１１２は、処理対象画像Ｉを構成する画素の一部を非等方的にサンプリングして並べた画像を縮小画像Ｓとして生成してもよい。

【0083】

この場合、置換画像生成部１１５、鮮鋭化部１１７、及び画像推定部１１８の動作が、処理対象画像Ｉを構成する画素の一部を等方的にサンプリングして並べて縮小画像Ｓを生成する場合と異なる。そこで、以下、実施の形態の変形例に係る置換画像生成部、鮮鋭化部１１７、及び画像推定部１１８について主に説明する。

【0084】

図１０（ａ）－（ｅ）は、実施の形態の変形例に係る鮮鋭化部１１７が実行する鮮鋭化処理を説明するための模式図である。具体的に、図１０（ａ）は、処理対象画像Ｉを構成する画素の一部を非等方的にサンプリングして並べて縮小画像Ｓが生成された場合の置換画像Ｒの画素を示す模式図である。図１０（ａ）において、白抜きの丸はターゲット画像Ｔに由来する画素を示し、白抜きの星は非等方サンプリングされた平滑化画像Ｂに由来する画素を示している。すなわち、第１の変形例に係る置換画像生成部１１５は、ターゲット画像Ｔを構成する画素のうち、縮小画像Ｓにおいて非等方的にサンプリングされたサンプリング点に対応する画素を選択し、選択した画素の画素値を対応する縮小画像Ｓの画素の画素値で置換することによって置換画像Ｒを生成する。

【0085】

鮮鋭化部１１７は、置換画像Ｒから平滑化画像Ｂに由来する画素を分離し、図１０（ｂ）に示すように、ターゲット画像Ｔに由来する画素のみの画像を生成する。続いて、鮮鋭化部１１７は、平滑化画像Ｂに由来する画素の位置に対応する画素の画素値を、その近傍の画素値に基づいて算出する。例えば、鮮鋭化部１１７は、平滑化画像Ｂに由来する画素の位置に対応する画素の画素値を、その近傍の画素値の平均値として算出する。図１０（ｃ）において、黒丸で示す画素は、近傍の画素値に基づいて画素値が算出された画素であることを示している。

【0086】

鮮鋭化部１１７は、平滑化画像Ｂに由来する画素の位置に対応する画素の画素値をその近傍の画素値の平均値で置換した画像に対し、雑音除去平滑化処理を実行する。平滑化画像Ｂに由来する画素の位置に対応する画素の画素値をその近傍の画素値の平均値で置換した画像は、ターゲット画像Ｔに由来する画素を多く含む画像である。この画像に対して鮮鋭化部１１７が平滑化処理を実行することにより、ノイズが低減された画像が生成される。図１０（ｄ）は、鮮鋭化部１１７が雑音除去平滑化処理を実行することで得られた画像を示している。

【0087】

鮮鋭化部１１７は、雑音除去平滑化処理を実行して得られた画像を構成する画素のうち、平滑化画像Ｂに由来する画素の位置に対応する画素の画素値を、平滑化画像Ｂに由来する画素値で置換する。図１０（ｅ）において、斜線が付された丸は平滑化処理によって生成された画素を示し、白抜きの星は非等方サンプリングされた平滑化画像Ｂに由来する画素を示している。最後に、鮮鋭化部１１７は、図１０（ｅ）に示す画像に対して鮮鋭化処理を実行し、鮮鋭化画像Ｄを生成する。

【0088】

実施の形態の変形例に係る画像推定部１１８は、変形例に係る鮮鋭化部１１７が生成した鮮鋭化画像Ｄを入力として認識処理を実行する。パラメータ更新部１１６は、画像推定部１１８による認識処理の認識結果と、あらかじめ処理対象画像Ｉに設定されている被写体に関する情報との差異に基づいて、鮮鋭化パラメータを更新する。

【0089】

このように、変形例に係る鮮鋭化部１１７は、画像縮小部１１２が非等方サンプリングによって縮小画像Ｓを生成する場合であっても鮮鋭化画像Ｄを生成することができる。画像縮小部１１２が非等方サンプリングによって縮小画像Ｓを生成する場合、縮小画像Ｓ自体が画像としての構造を持っていないため、万が一縮小画像Ｓが第三者に漏洩したとしても、縮小画像Ｓから被写体のプライバシーが漏洩しにくい点で有利な手法である。

【0090】

なお、画像縮小部１１２が非等方サンプリングによって縮小画像Ｓを生成する場合、処理対象画像Ｉ毎にサンプリングする画素の位置座標が異なることも起こりうる。したがって、画像縮小部１１２が非等方サンプリングによって縮小画像Ｓを生成する場合、置換画像生成部２１５は、サンプリングした画素の位置座標を示した情報を暗号化した上で、例えば置換画像Ｒのヘッダー領域に格納する。これにより、サーバ３は、サンプリングされた画素の位置を特定することができる。

【0091】

＜第２の変形例＞
上記では、パラメータ更新部１１６が類似度評価関数に基づいて平滑化パラメータを更新するとともに推定評価関数に基づいて鮮鋭化パラメータを更新する場合、及び類似度評価関数と推定評価関数とを統合した統合評価関数を用いて、平滑化パラメータと鮮鋭化パラメータとを更新する場合について説明した。しかしながら、パラメータ更新部１１６による各パラメータの更新手法は上記に限られない。

【0092】

例えば、パラメータ更新部１１６は、類似度評価関数を単独で用いて平滑化パラメータを更新する（第１段階更新）。続いて、パラメータ更新部１１６は、推定評価関数を単独で用いて鮮鋭化パラメータと平滑化パラメータとを同時に更新する（第２段階更新）。その後、パラメータ更新部１１６は、第１段階更新に戻り、以後第１段階更新と第２段階更新とを交互に繰り返す。このように、パラメータ更新部１１６は、評価関数を交互に入れ替えながら各パラメータを更新してもよい。

【0093】

＜第３の変形例＞
上記では、ターゲット画像生成部１１１及びターゲット画像生成部２１１が、処理対象画像Ｉに対して平滑化処理及びノイズ付加処理を提供してターゲット画像Ｔを生成する場合について説明した。これに代えて、あるいはこれに加えて、ターゲット画像生成部１１１及びターゲット画像生成部２１１は、処理対象画像Ｉをグレースケール化したり、処理対象画像Ｉのアスペクト比を変更したりすることにより、あるいは両者を併用したりすることにより、ターゲット画像Ｔを生成してもよい。グレースケール化を利用する場合、画像縮小部１１２及び画像縮小部２１２は、サンプリングした画素の画素値もグレースケール化する。また、アスペクト比の変更を利用する場合、位置座標算出部１１４及び位置座標算出部２１４は、変更後のアスペクト比に応じて拡大位置座標を算出する。これにより、画像処理装置１及び情報処理端末２は、処理対象画像Ｉをより効果的に難読化することができる。

【符号の説明】

【0094】

１・・・画像処理装置
１０・・・記憶部
１１・・・制御部
１１０・・・画像取得部
１１１・・・ターゲット画像生成部
１１２・・・画像縮小部
１１３・・・平滑化部
１１４・・・位置座標算出部
１１５・・・置換画像生成部
１１６・・・パラメータ更新部
１１７・・・鮮鋭化部
１１８・・・画像推定部
２・・・情報処理端末
２０・・・記憶部
２１・・・制御部
２１０・・・画像取得部
２１１・・・ターゲット画像生成部
２１２・・・画像縮小部
２１３・・・平滑化部
２１４・・・位置座標算出部
２１５・・・置換画像生成部
２２・・・通信部
２３・・・撮像部
３・・・サーバ
３０・・・記憶部
３１・・・制御部
３１０・・・画像受信部
３１１・・・縮小画像生成部
３１２・・・鮮鋭化部
３１３・・・画像推定部
３２・・・通信部
Ｎ・・・通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】