特開 2024-21771 画像処理プログラム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024021771

(43)【公開日】2024-02-16

(54)【発明の名称】画像処理プログラム、装置、及び方法

(51)【国際特許分類】

   G06F 21/62 20130101AFI20240208BHJP

   G06T 7/00 20170101ALI20240208BHJP

   G06T 1/00 20060101ALI20240208BHJP

【ＦＩ】

G06F21/62 354

G06T7/00 660Z

G06T1/00 340Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022124845

(22)【出願日】2022-08-04

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】高橋 潤

(72)【発明者】

【氏名】鄭 明燮

(72)【発明者】

【氏名】吉武 敏幸

(72)【発明者】

【氏名】清水 雅芳

(72)【発明者】

【氏名】越前 功

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE04

5B057DA08

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5L096AA02

5L096AA06

5L096CA21

5L096DA01

5L096EA02

5L096FA16

5L096GA30

5L096GA51

5L096HA11

5L096JA03

5L096JA05

5L096KA04

(57)【要約】

【課題】画像に含まれる対象物を個別に特定できない程度に十分な匿名化を行う。
【解決手段】画像処理装置は、入力画像に含まれる情報を匿名化するための第１の加工処理を入力画像に実行して加工画像を生成し、加工画像に対し情報を復元する復元処理を行って復元画像を生成し、入力画像と復元画像との比較に基づいて、入力画像又は加工画像に対して、第１の加工処理とは異なる、情報を匿名化するための第２の加工処理を実行するか否かを判定する。
【選択図】図５

【特許請求の範囲】

【請求項1】

入力画像に含まれる情報を匿名化するための第１の加工処理を前記入力画像に実行して加工画像を生成し、
前記加工画像に対し前記情報を復元する復元処理を行って復元画像を生成し、
前記入力画像と前記復元画像との比較に基づいて、前記入力画像又は前記加工画像に対して、前記第１の加工処理とは異なる、前記情報を匿名化するための第２の加工処理を実行するか否かを判定する
ことを含む処理をコンピュータに実行させるための画像処理プログラム。

【請求項2】

前記第２の加工処理を実行するか否かを判定する処理は、前記入力画像と前記復元画像との第１の類似度が第１の閾値より高い類似度を示す場合に、前記第２の加工処理を実行すると判定することを含む請求項１に記載の画像処理プログラム。

【請求項3】

前記入力画像が示す対象物の属性情報を抽出し、
複数の画像から、複数の対象物の各々の属性情報を抽出し、前記複数の画像における前記属性情報の属性値の分布を算出し、
前記第２の加工処理を実行するか否かを判定する処理は、前記属性情報の属性値の分布において、前記入力画像が示す対象物のいずれかの属性情報の属性値の出現頻度が第２の閾値以下の場合に、前記第２の加工処理を実行すると判定することを含む、
請求項１又は請求項２に記載の画像処理プログラム。

【請求項4】

前記第２の加工処理は、前記入力画像が示す対象物の属性情報のうち、属性値の出現頻度が前記第２の閾値以下である属性情報の属性値を、前記属性情報の分布において、属性値の出現頻度が前記第２の閾値より大きい属性値に変更する処理を含む請求項３に記載の画像処理プログラム。

【請求項5】

前記第２の加工処理を実行するか否かを判定する処理は、前記第１の類似度が前記第１の閾値以下で、前記第１の類似度が、前記入力画像が示す対象物とは異なる対象物を撮影した参照画像と前記復元画像との第２の類似度より低く、前記第２の類似度が、前記入力画像と前記参照画像との第３の類似度よりも低い場合に、前記第２の加工処理を実行しないと判定することを含む請求項２に記載の画像処理プログラム。

【請求項6】

前記第２の加工処理を実行するか否かを判定する処理は、前記第３の類似度が、前記参照画像に対して前記第１の加工処理を実行した参照加工画像と前記加工画像との第４の類似度よりも低い場合に、前記第２の加工処理を実行しないと判定することを含む請求項５に記載の画像処理プログラム。

【請求項7】

前記第１の加工処理は、前記入力画像の特定領域に対するぼかし処理、モザイク処理、及び前記入力画像が示す対象物の少なくとも１つの属性情報の属性値を変更する処理の少なくとも１つである請求項１又は請求項２に記載の画像処理プログラム。

【請求項8】

前記第２の加工処理は、前記第１の加工処理よりも、前記ぼかし処理又は前記モザイク処理の強度を強くした処理、及び属性値を変更する前記属性情報を増やした処理の少なくとも一方である請求項７に記載の画像処理プログラム。

【請求項9】

前記第２の加工処理を実行すると判定された場合、前記入力画像又は前記加工画像に対して、前記第２の加工処理を実行し、
前記第２の加工処理を実行しないと判定された場合、直近で生成された前記加工画像を出力する
請求項１又は請求項２に記載の画像処理プログラム。

【請求項10】

入力画像に含まれる情報を匿名化するための第１の加工処理を前記入力画像に実行して加工画像を生成する加工部と、
前記加工画像に対し前記情報を復元する復元処理を行って復元画像を生成する復元部と、
前記入力画像と前記復元画像との比較に基づいて、前記入力画像又は前記加工画像に対して、前記第１の加工処理とは異なる、前記情報を匿名化するための第２の加工処理を実行するか否かを判定する判定部と、
を含む画像処理装置。

【請求項11】

入力画像に含まれる情報を匿名化するための第１の加工処理を前記入力画像に実行して加工画像を生成し、
前記加工画像に対し前記情報を復元する復元処理を行って復元画像を生成し、
前記入力画像と前記復元画像との比較に基づいて、前記入力画像又は前記加工画像に対して、前記第１の加工処理とは異なる、前記情報を匿名化するための第２の加工処理を実行するか否かを判定する
ことを含む処理をコンピュータが実行する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

近年の信号処理技術の発達に伴い、画像、映像等から目的に応じて必要な情報を取得し、活用することが可能となった。例えば、顔画像データを用いた顔照合、音声からのテキスト情報の抽出、人間の移動の様子を撮影した映像に基づく人流分析、車両の移動の様子を撮影した映像に基づく道路の混雑状況の可視化等の活用方法が挙げられる。

【0003】

一方、画像、映像等のコンテンツには、様々な情報が含まれている。そのため、目的以外の情報は極力排除しつつ、目的に応じて利用可能な状態にコンテンツを加工することが望ましい。特に、個人情報保護の観点から、コンテンツから特定の個人情報が取得できないように、身体的特徴や顔などの情報を除去する技術、すなわち、コンテンツに含まれる個人情報に関する部分を匿名化する技術が必要になる。

【0004】

例えば、個人情報を含む情報や、各個人に関わる個人情報に対応付けられた当該個人情報に準ずる生体情報や購買情報などの情報を、個人情報を保護しつつ、各種目的で他人に有効に利用させる情報共有支援装置が提案されている。この装置は、個人情報を含む第１の情報から個人情報を抽出し、抽出した個人情報に対応する部分を削除、モザイク化、又は個人情報に対応する部分を他の情報に置き換えることにより、匿名化情報を生成する。

【0005】

また、例えば、人物画像に含まれている人物の属性情報を維持しつつ、人物を匿名化し、これによって、個人情報の保護を図りながら、属性情報に基づく分析を可能にする情報処理装置が提案されている。この装置は、店舗内で人物を撮影した人物画像に基づいて、人物を検出すると共に、人物の属性に関する属性情報を推定する。そして、この装置は、人物画像から、検出した人物とは異なる別人の画像であって、検出した人物と同じ属性情報を有する別人画像を生成して、検出した人物を匿名化する。

【0006】

また、例えば、任意のユーザが使用することができ、プライバシ保護画像の表示抽象化レベルを動的に変更することが可能な画像情報を生成する装置が提案されている。この装置は、画像中の被処理対象オブジェクトの領域を検出し、オブジェクトの領域に対して、複数の表示抽象化レベルを提示し、複数の表示抽象化レベルから１つの表示抽象化レベルを設定する。そして、この装置は、設定された１つの表示抽象化レベルに基づいて、オブジェクトの領域の実画像に対応する抽象化画像を生成し、生成された抽象化画像を画像に合成する。

【0007】

また、個人情報を特定できない程度にコンテンツが十分に匿名化されているかを評価する技術も必要である。例えば、特定の個人を識別し得る個人情報を秘匿する個人情報管理装置が提案されている。この装置は、対象情報の出力要求を取得し、出力要求により要求される対象情報を読み出し、対象情報による、個人の識別容易性を示す識別度数を取得する。また、この装置は、個人の識別容易性を尺度として、個人を識別し得る情報の集合と個人を識別し得ない情報の集合とを区切る閾値と、識別度数とを比較し、識別度数が閾値より大きい場合、対象情報内の個人の識別を容易化する容易化部分を加工する。そして、この装置は、対象情報に代えて、加工後の容易化部分を含む対象情報を、加工情報として出力する。

【0008】

また、例えば、匿名化の比較に用いるための値を算出する情報処理装置が提案されている。この装置は、確信度を算出するモデルを用いて匿名化前データにおける確信度である匿名化前確信度を算出し、匿名化前データに匿名化手法を適用して匿名化後データを作成し、匿名化手法の匿名化強度を算出する。また、この装置は、モデルを用いて、匿名化後データにおける確信度である匿名化後確信度を算出し、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基に匿名化手法の評価値を算出する。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００４－１４５４８３号公報

【特許文献2】特開２０２０－０９１７７０号公報

【特許文献3】特開２０１７－０４６１９６号公報

【特許文献4】国際公開第２００７／１２２９１４号

【特許文献5】国際公開第２０１９／１６８１４４号

【発明の概要】

【発明が解決しようとする課題】

【0010】

コンテンツによって必要な匿名化の強度は異なり、所定の条件で匿名化したとしても、全てのコンテンツに対して十分な匿名化を行うことは困難である。そこで、匿名化が十分になるまで繰り返し匿名化を行うことが考えられる。例えば、所定の条件で匿名化された顔画像に対して、顔照合技術を適用して個人が特定された場合に、再度条件を変えて匿名化することが考えられる。

【0011】

しかしながら、従来技術のように、個人の識別容易性を示す識別度数や、匿名化前確信度と匿名化後確信度との差と、匿名化強度とを基にした匿名化手法の評価値のような指標では、匿名化が十分であるか否かを判断することが困難な場合がある。具体的には、従来技術では、近年発達している画像復元、画像超解像技術等により、匿名化された画像が復元される場合を考慮していないため、十分な匿名化がされていないのにも関わらず、匿名化が十分であると判断されてしまう場合がある。

【0012】

一つの側面として、開示の技術は、画像に含まれる対象物を個別に特定できない程度に十分な匿名化を行うことを目的とする。

【課題を解決するための手段】

【0013】

一つの態様として、開示の技術は、入力画像に含まれる情報を匿名化するための第１の加工処理を前記入力画像に実行して加工画像を生成し、前記加工画像に対し前記情報を復元する復元処理を行って復元画像を生成する。そして、開示の技術は、前記入力画像と前記復元画像との比較に基づいて、前記入力画像又は前記加工画像に対して、前記第１の加工処理とは異なる、前記情報を匿名化するための第２の加工処理を実行するか否かを判定する。

【発明の効果】

【0014】

一つの側面として、画像に含まれる対象物を個別に特定できない程度に十分な匿名化を行うことができる、という効果を有する。

【図面の簡単な説明】

【0015】

【図1】第１実施形態に係る画像処理装置の機能ブロック図である。

【図2】人物の領域の情報の一例を示す図である。

【図3】加工条件ＤＢの一例を示す図である。

【図4】加工条件指定画面の一例を示す図である。

【図5】第１実施形態における判定部の処理を説明するための図である。

【図6】加工処理の強度の変更を説明するための図である。

【図7】画像処理装置として機能するコンピュータの概略構成を示すブロック図である。

【図8】第１実施形態に係る画像処理の一例を示すフローチャートである。

【図9】属性情報に偏りがある場合の匿名化の問題点を説明するための図である。

【図10】第２実施形態に係る画像処理装置の機能ブロック図である。

【図11】属性ＤＢの一例を示す図である。

【図12】属性値を変更する場合の画像の変換を説明するための図である。

【図13】第２実施形態に係る算出処理の一例を示すフローチャートである。

【図14】第２実施形態に係る画像処理の一例を示すフローチャートである。

【図15】第３及び第４実施形態に係る画像処理装置の機能ブロック図である。

【図16】第３実施形態における判定部の処理を説明するための図である。

【図17】第３実施形態に係る画像処理の一例を示すフローチャートである。

【図18】第４実施形態における判定部の処理を説明するための図である。

【図19】第４実施形態に係る画像処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。なお、以下の各実施形態では、人物の顔を対象として匿名化の処理を実行する場合について説明する。

【0017】

＜第１実施形態＞
図１に、第１実施形態に係る画像処理装置１０の機能ブロック図を示す。図１に示すように、画像処理装置１０には、入力画像が入力される。本実施形態では、人物が撮影された画像を入力画像とする。画像処理装置１０は、入力画像に対して、人物を個別に特定可能な個人情報が特定されない程度に十分な匿名化を行うための加工処理を施した匿名化画像を生成して出力する。また、画像処理装置１０は、機能的には、抽出部１１と、加工部１２と、復元部１３と、判定部１４と、変更部１５と、出力部１６とを含む。また、画像処理装置１０の所定の記憶領域には、加工条件ＤＢ（Database）２１が記憶される。

【0018】

抽出部１１は、入力画像から人物の顔を含む領域（例えば、胸部より上の部分、以下、「人物の領域」という）を抽出する。人物の領域の抽出には、一般的な人物検出アルゴリズムを適用してよい。具体的には、抽出部１１は、人物の領域を抽出するために予め機械学習により生成された機械学習モデルを用いるなどして、入力画像から人物の領域を抽出し、例えば図２に示すように、抽出した人物の領域の情報を記憶する。図２の例では、入力画像の識別情報である「画像ＩＤ」と、その入力画像から抽出された人物の識別情報である「人物ＩＤ」と、入力画像上での人物の領域の位置を特定する「領域情報」とを記憶する例を示している。図２では、人物の対象部分を包含する矩形領域を人物の領域として抽出し、入力画像における矩形領域の左上及び右上の座標を領域情報として記憶する例を示している。

【0019】

加工部１２は、入力画像に匿名化のための加工処理を実行して加工画像を生成する。具体的には、加工部１２は、入力画像において、抽出部１１により抽出された人物の領域に対して、加工条件ＤＢ２１に記憶された加工条件で指定された加工処理を実行する。加工条件ＤＢ２１には、例えば、図３に示すように、予め指定された、適用する「加工の種類」、及びその加工処理の「強度」が記憶されている。加工条件の指定は、例えば、図４に示すような加工条件指定画面３１を用いて、ユーザにより指定される。図４の加工条件指定画面３１には、モザイク処理、ぼかし処理等の加工の種類毎に、その加工処理を適用するか否かを選択するためのチェックボックス、及び、その加工処理を適用する際の強度を指定するためのスライドバーが含まれる。加工処理の強度は、例えば、各加工処理を適用する際に使用するフィルタのサイズに応じた値である。

【0020】

より具体的には、加工部１２は、抽出部１１から入力画像及び人物の領域の情報を取得すると共に、加工条件ＤＢ２１から加工条件を取得する。そして、加工部１２は、取得した入力画像における人物の領域に対して、取得した加工条件に基づいて、モザイク処理、ぼかし処理等の加工処理を実行し、加工画像を生成する。

【0021】

また、加工部１２は、後述する判定部１４により、さらなる加工処理を実行すると判定された場合、後述する変更部１５により変更された加工条件に基づいて、入力画像又は加工画像に対して、さらなる加工処理を実行する。詳細は後述するが、さらなる加工処理は、直近に実行した加工処理とは異なる、匿名化のための加工処理であり、直近に実行した加工処理よりも、ぼかし処理、モザイク処理等の強度を強くした処理である。なお、直近に実行した加工処理は、開示の技術の「第１の加工処理」の一例であり、さらなる加工処理は、開示の技術の「第２の加工処理」の一例である。

【0022】

復元部１３は、加工部１２により生成された加工画像に対する復元処理を実行して、復元画像を生成する。具体的には、復元部１３は、加工部１２から人物の領域の情報及び加工画像を取得し、取得した加工画像における人物の領域に対して、所定の復元処理を実行し、復元画像を生成する。復元処理は、例えば、ＴｅｃｏＧＡＮ（TEmporally COherent Generative Adversarial Network、参考文献１）、ＰＵＬＳＥ（Photo Upsampling via Latent Space Exploration、参考文献２）等の、高解像度化処理、モザイク解除処理等としてよい。
参考文献１：M. Chu, et al. “Learning temporal coherence via self-supervision for GAN-based video generation”, ACM Transactions on Graphics, Volume 39, Issue 4, August 2020.
参考文献２：S. Menon, et, al “PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models”, Computer Vision and Pattern Recognition (CVPR) 2020.

【0023】

判定部１４は、入力画像と復元画像との比較に基づいて、入力画像又は加工画像に対して、さらなる加工処理を実行するか否かを判定する。具体的には、判定部１４は、入力画像における人物の領域、及び復元画像における人物の領域の各々から特徴量を抽出する。特徴量は、領域内の画素の画素値を結合したものや、顔照合等で利用する特徴量としてよい。判定部１４は、例えば、抽出した特徴量を表すベクトル間のコサイン類似度を、入力画像と復元画像との類似度Ｓ１として算出する。そして、判定部１４は、入力画像と復元画像との類似度Ｓ１が、予め定めた閾値ＴＨ１より高い類似度を示す場合に、さらなる加工処理を実行すると判定する。例えば、上述したように、類似度Ｓ１がコサイン類似度（－１～１の値）の場合、閾値ＴＨ１＝０．８等としてよい。図５に示すように、類似度Ｓ１＜ＴＨ１の場合、加工画像から復元される人物が、入力画像が示す人物に類似していないことを表す。すなわち、入力画像が示す人物を復元画像から特定することが困難であり、十分な匿名化が実行されていると判定するものである。判定部１４は、さらなる加工処理を実行すると判定した場合、後述する変更部１５により変更された加工条件ＤＢ２１に基づいて、再度加工処理を実行するように加工部１２へ指示する。

【0024】

変更部１５は、判定部１４により、さらなる加工処理を実行すると判定された場合、加工条件ＤＢ２１に記憶された加工条件を、現在記憶されている加工条件より、匿名化の程度が強くなるように変更する。例えば、図６に示すように、加工処理の強度が段階的な値で設定されている場合、変更部１５は、加工処理の強度を１段階上げる。また、加工処理の強度が、強度が強いほど大きくなる連続的な数値で設定されている場合、変更部１５は、現在記憶されている強度に所定値を加算した値や、所定倍（例えば、１．１倍）した値等を新たな強度としてもよい。これにより、加工部１２により、さらに匿名化が進んだ加工画像が生成される。

【0025】

出力部１６は、判定部１４により、さらなる加工処理を実行しないと判定された場合に、加工部１２により直近に生成された加工画像を、入力画像を匿名化した匿名化画像として出力する。

【0026】

画像処理装置１０は、例えば図７に示すコンピュータ４０で実現されてよい。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶装置４３とを備える。また、コンピュータ４０は、入力装置、表示装置等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）装置４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶装置４３、入出力装置４４、Ｒ／Ｗ装置４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

【0027】

記憶装置４３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等である。記憶媒体としての記憶装置４３には、コンピュータ４０を、画像処理装置１０として機能させるための画像処理プログラム５０が記憶される。画像処理プログラム５０は、抽出プロセス制御命令５１と、加工プロセス制御命令５２と、復元プロセス制御命令５３と、判定プロセス制御命令５４と、変更プロセス制御命令５５と、出力プロセス制御命令５６とを有する。また、記憶装置４３は、加工条件ＤＢ２１を構成する情報が記憶される情報記憶領域６０を有する。

【0028】

ＣＰＵ４１は、画像処理プログラム５０を記憶装置４３から読み出してメモリ４２に展開し、画像処理プログラム５０が有する制御命令を順次実行する。ＣＰＵ４１は、抽出プロセス制御命令５１を実行することで、図１に示す抽出部１１として動作する。また、ＣＰＵ４１は、加工プロセス制御命令５２を実行することで、図１に示す加工部１２として動作する。また、ＣＰＵ４１は、復元プロセス制御命令５３を実行することで、図１に示す復元部１３として動作する。また、ＣＰＵ４１は、判定プロセス制御命令５４を実行することで、図１に示す判定部１４として動作する。また、ＣＰＵ４１は、変更プロセス制御命令５５を実行することで、図１に示す変更部１５として動作する。また、ＣＰＵ４１は、出力プロセス制御命令５６を実行することで、図１に示す出力部１６として動作する。また、ＣＰＵ４１は、情報記憶領域６０から情報を読み出して、加工条件ＤＢ２１をメモリ４２に展開する。これにより、画像処理プログラム５０を実行したコンピュータ４０が、画像処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

【0029】

なお、画像処理プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等で実現されてもよい。

【0030】

次に、第１実施形態に係る画像処理装置１０の動作について説明する。画像処理装置１０に入力画像が入力され、匿名化画像の出力が指示されると、画像処理装置１０において、図８に示す画像処理が実行される。なお、画像処理は、開示の技術の画像処理方法の一例である。

【0031】

ステップＳ１０で、抽出部１１が、画像処理装置１０に入力された入力画像を取得し、入力画像から人物の領域を抽出する。次に、ステップＳ１２で、加工部１２が、加工条件ＤＢ２１から加工条件を取得する。次に、ステップＳ１４で、加工部１２が、入力画像における人物の領域に対して、取得した加工条件に基づいて、モザイク処理、ぼかし処理等の加工処理を実行し、加工画像を生成する。

【0032】

次に、ステップＳ１６で、復元部１３が、上記ステップＳ１４で生成された加工画像に対する復元処理を実行して、復元画像を生成する。次に、ステップＳ１８で、判定部１４が、入力画像と復元画像との類似度Ｓ１を算出する。次に、ステップＳ２０で、判定部１４が、類似度Ｓ１が予め設定された閾値ＴＨ１より小さいか否かを判定する。Ｓ１＜ＴＨ１の場合には、ステップＳ２４へ移行し、Ｓ１≧ＴＨ１の場合には、ステップＳ２２へ移行する。

【0033】

ステップＳ２２では、変更部１５は、加工条件ＤＢ２１に記憶された加工条件の強度を上げて、ステップＳ１２に戻る。これにより、次に実行されるステップＳ１４において、前回のステップＳ１４で生成された加工画像よりも匿名化の程度が強い加工画像が生成される。一方、ステップＳ２４では、出力部１６が、直近のステップＳ１４で生成された加工画像を、入力画像を匿名化した匿名化画像として出力し、画像処理は終了する。

【0034】

以上説明したように、第１実施形態に係る画像処理装置は、入力画像に匿名化のための加工処理を実行して加工画像を生成し、加工画像に対する復元処理を行って復元画像を生成する。そして、画像処理装置は、入力画像と復元画像との比較に基づいて、入力画像又は加工画像に対して、直近の加工処理とは異なる、匿名化のためのさらなる加工処理を実行するか否かを判定する。これにより、画像に含まれる人物の個人情報を特定できない程度に十分な匿名化を行うことができる。

【0035】

また、第１実施形態に係る画像処理装置によれば、事前に決定しておいた匿名化の処理ではなく、映像、画像等のコンテンツの内容に応じたスケーラブルな匿名化の処理が可能となる。

【0036】

また、第１実施形態に係る画像処理装置は、入力画像と復元画像との類似度が閾値より高い類似度を示す場合に、さらなる加工処理を実行すると判定する。これにより、加工画像から復元される人物が、入力画像の人物と類似しないように匿名化を行うことができる。

【0037】

また、第１実施形態に係る画像処理装置は、さらなる加工処理として、直近の加工処理よりも、ぼかし処理、モザイク処理等の加工処理の強度を強くした処理を実行する。これにより、加工処理を繰り返すことにより、画像に含まれる人物の個人情報を特定できない程度に十分な匿名化を進めることができる。

【0038】

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る画像処理装置において、第１実施形態に係る画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。

【0039】

第２実施形態では、加工画像と復元画像との類似度に加え、人物の属性情報も用いて、さらなる加工処理を実行するか否かを判定する。ここで、図９に示すように、複数の人物が属するあるグループ内に、ヘアカラーが異なる人物が１人だけ存在する状況を撮影した画像を匿名化する場合を考える。図９の例では、４人中３人の髪色が黒で、１人がブラウンである。この場合、匿名化画像から、ブラウンのヘアカラーの人物を特定可能であるため、匿名化が十分とは言えない。また、匿名化の処理として、同じ属性情報を持つ別人の画像に入れ替える処理を行う技術も存在するが、図９の例のように、属性情報の分布に偏りがある場合には、特定の属性情報の人物を匿名化画像から特定可能であるという問題を解消できない。

【0040】

そこで、第２実施形態に係る画像処理装置は、複数の画像を含むコンテンツ内における人物の属性情報の分布に基づいて、さらなる加工処理を実行するか否かの判定、及び匿名化のための加工処理を実行する。以下、第２実施形態に係る画像処理装置について詳述する。

【0041】

図１０に、第２実施形態に係る画像処理装置２１０の機能ブロック図を示す。画像処理装置２１０は、機能的には、抽出部２１１と、算出部２１７と、加工部２１２と、復元部１３と、判定部２１４と、変更部２１５と、出力部１６とを含む。また、画像処理装置２１０の所定の記憶領域には、加工条件ＤＢ２１と、属性ＤＢ２２２とが記憶される。

【0042】

抽出部２１１は、第１実施形態の抽出部１１と同様に、入力画像から人物の領域を抽出する。さらに、抽出部２１１は、人物の領域から、その人物の属性情報を抽出する。属性情報は、性別、年齢、髪色、眼鏡の有無等としてよい。属性情報の抽出には、年齢推定、髪型推定等、一般的な属性情報抽出アルゴリズムを適用してよい。抽出部２１１は、人物毎に抽出した属性情報を、その人物の人物ＩＤに対応付けて、例えば図１１に示すような、属性ＤＢ２２２の属性情報テーブル２２２Ａに記憶する。

【0043】

算出部２１７は、抽出部２１１により抽出された属性情報の分布を算出する。具体的には、算出部２１７は、属性ＤＢ２２２の属性情報テーブル２２２Ａを参照して、各属性情報について、属性値毎の件数（該当数）をカウントする。そして、算出部２１７は、コンテンツに含まれる人物の人数（全体数）に対する、その属性値の該当数を、その属性値の確率（出現頻度）として算出する。算出部２１７は、各属性情報の属性値毎に算出した確率を、例えば図１１に示すような、属性ＤＢ２２２の属性分布テーブル２２２Ｂに記憶する。

【0044】

判定部２１４は、第１実施形態の判定部１４と同様に、入力画像と復元画像との類似度Ｓ１に基づいて、さらなる加工処理を実行するか否かを判定する。さらに、判定部２１４は、属性情報の分布に基づいて、さらなる加工処理を実行するか否かを判定する。例えば、コンテンツに含まれる複数の人物の属性情報の分布を参照すると、１つの属性値の出現頻度が極端に低い等、属性値の分布に偏りがある属性情報を把握可能である。属性値の分布に偏りがある場合、上述したように、匿名化画像において、個人を特定可能になるという問題がある。そこで、判定部２１４は、処理対象の人物のいずれかの属性情報の確率（出現頻度）が閾値ＴＨ２以下の場合に、さらなる加工処理を実行すると判定する。

【0045】

判定部２１４は、入力画像と復元画像との類似度Ｓ１に基づいて、さらなる加工処理を実行すると判定した場合、変更部２１５により変更された加工条件ＤＢ２１に基づいて、再度加工処理を実行するように加工部２１２へ指示する。また、判定部２１４は、属性情報の分布に基づいて、さらなる加工処理を実行すると判定した場合、変更部２１５により変更された属性情報テーブル２２２Ａ（詳細は後述）に基づいて、属性情報を変更する加工処理を実行するように加工部２１２へ指示する。

【0046】

変更部２１５は、第１実施形態の変更部１５と同様に、判定部２１４により、入力画像と復元画像との類似度Ｓ１に基づいて、さらなる加工処理を実行すると判定された場合、加工条件ＤＢ２１において、加工処理の強度を強くするように変更する。

【0047】

さらに、変更部２１５は、判定部２１４により、属性情報の分布に基づいて、さらなる加工処理を実行すると判定された場合、属性情報テーブル２２２Ａにおいて、該当の人物の属性情報を変更する。具体的には、変更部２１５は、各人物の属性情報のうち、属性値の確率（出現頻度）がＴＨ２以下である属性情報の属性値を、属性分布テーブル２２２Ｂにおいて、確率がＴＨ２より大きい属性値に変更する。例えば、図１１の属性分布テーブル２２２Ｂの例で、属性情報「髪色」の属性値「黒」の確率は９０％、「ブラウン」の確率は８％である。ＴＨ２＝１０％とすると、変更部２１５は、図１２の上図に示すように、属性情報テーブル２２２Ａにおいて、属性情報「髪色」の属性値が「ブラウン」の人物を抽出し、その人物の属性情報「髪色」の属性値を「黒」に変更する。

【0048】

加工部２１２は、加工条件ＤＢ２１が変更された場合、第１実施形態の加工部１２と同様に、変更後の強度に基づいて、ぼかし処理、モザイク処理等の加工処理を実行する。さらに、加工部２１２は、属性情報テーブル２２２Ａが変更された場合、属性情報の属性値の変更を画像に反映する加工処理を実行する。具体的には、加工部２１２は、図１２の例の場合、入力画像における、人物ＩＤ＝ＹＹＹの人物の領域において、例えば、ＳｔｙｌｅＧＡＮ等の手法を適用して、髪色をブラウンから黒に変換する。

【0049】

画像処理装置２１０は、例えば図７に示すコンピュータ４０で実現されてよい。コンピュータ４０の記憶装置４３には、コンピュータ４０を、画像処理装置２１０として機能させるための画像処理プログラム２５０が記憶される。画像処理プログラム２５０は、抽出プロセス制御命令２５１と、加工プロセス制御命令２５２と、復元プロセス制御命令５３と、判定プロセス制御命令２５４と、変更プロセス制御命令２５５と、出力プロセス制御命令５６とを有する。また、画像処理プログラム２５０は、算出プロセス制御命令２５７を有する。また、記憶装置４３は、加工条件ＤＢ２１及び属性ＤＢ２２２の各々を構成する情報が記憶される情報記憶領域２６０を有する。

【0050】

ＣＰＵ４１は、画像処理プログラム２５０を記憶装置４３から読み出してメモリ４２に展開し、画像処理プログラム２５０が有する制御命令を順次実行する。ＣＰＵ４１は、抽出プロセス制御命令２５１を実行することで、図１０に示す抽出部２１１として動作する。また、ＣＰＵ４１は、加工プロセス制御命令２５２を実行することで、図１０に示す加工部２１２として動作する。また、ＣＰＵ４１は、判定プロセス制御命令２５４を実行することで、図１０に示す判定部２１４として動作する。また、ＣＰＵ４１は、変更プロセス制御命令２５５を実行することで、図１０に示す変更部２１５として動作する。また、ＣＰＵ４１は、算出プロセス制御命令２５７を実行することで、図１０に示す算出部２１７として動作する。また、ＣＰＵ４１は、情報記憶領域２６０から情報を読み出して、加工条件ＤＢ２１及び属性ＤＢ２２２の各々をメモリ４２に展開する。他の制御命令については、第１実施形態に係る画像処理プログラム５０と同様である。これにより、画像処理プログラム２５０を実行したコンピュータ４０が、画像処理装置２１０として機能することになる。

【0051】

なお、画像処理プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ、ＦＰＧＡ等で実現されてもよい。

【0052】

次に、第２実施形態に係る画像処理装置２１０の動作について説明する。まず、事前処理として、複数の画像を含むコンテンツが画像処理装置２１０に入力されると、画像処理装置２１０において、図１３に示す算出処理が実行される。そして、画像処理装置２１０に入力画像が入力され、匿名化画像の出力が指示されると、画像処理装置２１０において、図１４に示す画像処理が実行される。

【0053】

まず、図１３を参照して、算出処理について説明する。

【0054】

ステップＳ３０で、抽出部２１１が、コンテンツに含まれる各画像から人物の領域を抽出すると共に、各人物の領域から、その人物の属性情報を抽出し、属性ＤＢ２２２の属性情報テーブル２２２Ａに記憶する。

【0055】

次に、ステップＳ３２で、算出部２１７が、属性ＤＢ２２２の属性情報テーブル２２２Ａを参照して、各属性情報について、属性値毎の該当数をカウントする。次に、ステップＳ３４で、算出部２１７が、コンテンツに含まれる人物の人数（全体数）に対する、その属性値の該当数を、その属性値の確率（出現頻度）として算出する。次に、ステップＳ３６で、算出部２１７が、各属性情報の属性値毎に算出した確率を、属性ＤＢ２２２の属性分布テーブル２２２Ｂに記憶し、算出処理は終了する。

【0056】

次に、図１４を参照して、第２実施形態に係る画像処理について説明する。なお、第２実施形態に係る画像処理において、第１実施形態に係る画像処理と同一の処理については、同一のステップ番号を付して、詳細な説明を省略する。

【0057】

ステップＳ２１０で、抽出部２１１が、入力画像から人物の領域を抽出すると共に、人物の領域から、その人物の属性情報を抽出する。なお、算出処理において既に人物の領域及び属性情報が抽出されている場合には、その情報を流用してよい。

【0058】

次に、ステップＳ２１２で、加工部２１２が、加工条件ＤＢ２１から加工条件を取得する。また、いずれかの属性情報の属性値が変更されている場合には、加工部２１２が、属性ＤＢ２２２の属性情報テーブル２２２Ａから、属性値が変更された属性情報を取得する。次に、ステップＳ２１４で、加工部２１２が、入力画像の人物の領域に対して、変更後の属性値を反映する加工処理を実行すると共に、取得した加工条件に基づいて、ぼかし処理、モザイク処理等の加工処理を実行して加工画像を生成する。なお、属性値が変更されていない場合には、入力画像に対して、取得した加工条件に基づいて、ぼかし処理、モザイク処理等の加工処理を実行すればよい。また、加工処理の強度が変更されていない場合には、前回と同じ強度のぼかし処理、モザイク処理等の加工処理が実行される。

【0059】

次に、ステップＳ１６～Ｓ２２を経て、ステップＳ２０で、Ｓ１＜ＴＨ１と判定されると、ステップＳ２２０へ移行する。ステップＳ２２０では、判定部２１４が、入力画像に含まれる人物の各属性情報の属性値についての確率を、属性分布テーブル２２２Ｂから取得する。そして、判定部２１４が、取得した全ての属性値の確率が閾値ＴＨ２より大きいか否かを判定する。全ての属性値の確率が閾値ＴＨ２より大きい場合には、ステップＳ２４へ移行し、いずれかの属性値の確率がＴＨ２以下の場合には、判定部２１４は、さらなる加工処理を実行すると判定し、ステップＳ２２２へ移行する。

【0060】

ステップＳ２２２では、変更部２１５が、人物の各属性情報のうち、属性値の確率がＴＨ２以下である属性情報の属性値を、属性分布テーブル２２２Ｂにおいて、確率がＴＨ２より大きい属性値に変更し、ステップＳ２１２に戻る。なお、該当の属性情報において、確率がＴＨ２より大きい属性値が複数存在する場合には、その複数の属性値の中からランダムに選択した属性値を変更後の属性値とすればよい。そして、ステップＳ２４で、出力部１６が、匿名化画像を出力し、画像処理は終了する。

【0061】

以上説明したように、第２実施形態に係る画像処理装置は、コンテンツに含まれる複数の人物の属性情報の分布を算出する。そして、画像処理装置は、属性情報の分布に基づいて、入力画像が示す人物のいずれかの属性情報の属性値の確率が所定値以下の場合に、さらなる加工処理を実行すると判定する。また、画像処理装置は、さらなる加工処理として、人物の属性情報のうち、各属性情報について、確率が閾値ＴＨ２以下の属性値を、属性情報の分布において、確率が閾値ＴＨ２より大きい属性値に変更する。これにより、コンテンツに含まれる人物の属性情報の属性値に偏りがある場合でも、画像に含まれる人物の個人情報を特定できない程度に十分な匿名化を行うことができる。

【0062】

＜第３実施形態＞
次に、第３実施形態について説明する。なお、第３実施形態に係る画像処理装置において、第１実施形態に係る画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。

【0063】

図１５に、第３実施形態に係る画像処理装置３１０の機能ブロック図を示す。画像処理装置３１０は、機能的には、抽出部３１１と、加工部１２と、復元部１３と、判定部３１４と、変更部１５と、出力部１６とを含む。また、画像処理装置３１０の所定の記憶領域には、加工条件ＤＢ２１と、人物情報ＤＢ３２３とが記憶される。

【0064】

抽出部３１１は、入力画像を取得すると、人物情報ＤＢ３２３から、入力画像が示す人物とは異なる人物を撮影した参照画像を取得する。入力画像が示す人物と、その異なる人物とは類似していることが望ましい。人物情報ＤＢ３２３には、人物を撮影した画像と、その画像から抽出される特徴量とが対応付けて記憶されている。抽出部３１１は、一般的な類似画像検索の技術を適用し、人物情報ＤＢ３２３から、入力画像に類似する画像を参照画像として取得する。抽出部３１１は、入力画像及び参照画像の各々から人物の領域を抽出する。

【0065】

判定部３１４は、入力画像と復元画像との類似度Ｓ１と、復元画像と参照画像との類似度Ｓ２と、入力画像と参照画像との類似度Ｓ３とを算出する。各類似度の算出方法は、第１実施形態における判定部１４による類似度Ｓ１の算出方法と同様としてよい。判定部３１４は、図１６に示すように、類似度Ｓ１が閾値ＴＨ１（例えば、０．５）未満、かつ、Ｓ１＜Ｓ２＜Ｓ３の場合に、さらなる加工処理を実行しないと判定する。これは、加工画像から復元される人物が、入力画像が示す人物に類似していないことに加え、復元された人物が、入力画像が示す人物よりも別人に類似していることを表す。すなわち、入力画像が示す人物を復元画像から特定することが困難であり、十分な匿名化が実行されていると判定するものである。

【0066】

画像処理装置３１０は、例えば図７に示すコンピュータ４０で実現されてよい。コンピュータ４０の記憶装置４３には、コンピュータ４０を、画像処理装置３１０として機能させるための画像処理プログラム３５０が記憶される。画像処理プログラム３５０は、抽出プロセス制御命令３５１と、加工プロセス制御命令５２と、復元プロセス制御命令５３と、判定プロセス制御命令３５４と、変更プロセス制御命令５５と、出力プロセス制御命令５６とを有する。また、記憶装置４３は、加工条件ＤＢ２１及び人物情報ＤＢ３２３の各々を構成する情報が記憶される情報記憶領域３６０を有する。

【0067】

ＣＰＵ４１は、画像処理プログラム３５０を記憶装置４３から読み出してメモリ４２に展開し、画像処理プログラム３５０が有する制御命令を順次実行する。ＣＰＵ４１は、抽出プロセス制御命令３５１を実行することで、図１５に示す抽出部３１１として動作する。また、ＣＰＵ４１は、判定プロセス制御命令３５４を実行することで、図１５に示す判定部３１４として動作する。また、ＣＰＵ４１は、情報記憶領域３６０から情報を読み出して、加工条件ＤＢ２１及び人物情報ＤＢ３２３の各々をメモリ４２に展開する。他の制御命令については、第１実施形態に係る画像処理プログラム５０と同様である。これにより、画像処理プログラム３５０を実行したコンピュータ４０が、画像処理装置３１０として機能することになる。

【0068】

なお、画像処理プログラム３５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ、ＦＰＧＡ等で実現されてもよい。

【0069】

次に、第３実施形態に係る画像処理装置３１０の動作について説明する。画像処理装置３１０に入力画像が入力され、匿名化画像の出力が指示されると、画像処理装置３１０において、図１７に示す画像処理が実行される。なお、第３実施形態に係る画像処理において、第１実施形態に係る画像処理と同一の処理については、同一のステップ番号を付して、詳細な説明を省略する。

【0070】

ステップＳ３１０で、抽出部３１１が、画像処理装置３１０に入力された入力画像を取得し、人物情報ＤＢ３２３から、入力画像に類似する参照画像を取得し、入力画像及び参照画像の各々から人物の領域を抽出する。次に、ステップＳ１２～Ｓ１６を経て、次のステップＳ３１８で、判定部３１４が、入力画像と復元画像との類似度Ｓ１と、復元画像と参照画像との類似度Ｓ２と、入力画像と参照画像との類似度Ｓ３とを算出する。

【0071】

次に、ステップＳ３２０で、判定部３１４が、Ｓ１＜ＴＨ１、かつ、Ｓ１＜Ｓ２＜Ｓ３か否かを判定する。肯定判定の場合には、ステップＳ２４へ移行し、否定判定の場合には、ステップＳ２２へ移行する。

【0072】

以上説明したように、第３実施形態に係る画像処理装置は、入力画像と復元画像との類似度に加え、復元画像及び入力画像の各々と参照画像との類似度も用いて、さらなる加工処理を実行するか否かを判定する。これにより、復元画像からの個人の特定の困難性をより厳格に判定し、より十分な匿名化を実行することができる。

【0073】

＜第４実施形態＞
次に、第４実施形態について説明する。なお、第４実施形態に係る画像処理装置において、第３実施形態に係る画像処理装置３１０と同様の構成については、同一符号を付して詳細な説明を省略する。

【0074】

図１５に、第４実施形態に係る画像処理装置４１０の機能ブロック図を示す。画像処理装置４１０は、機能的には、抽出部３１１と、加工部４１２と、復元部１３と、判定部４１４と、変更部１５と、出力部１６とを含む。また、画像処理装置４１０の所定の記憶領域には、加工条件ＤＢ２１と、人物情報ＤＢ３２３とが記憶される。

【0075】

加工部４１２は、入力画像に加工処理を実行して加工画像を生成すると共に、参照画像に対しても同様の加工処理を実行して参照加工画像を生成する。

【0076】

判定部４１４は、入力画像と復元画像との類似度Ｓ１と、復元画像と参照画像との類似度Ｓ２と、入力画像と参照画像との類似度Ｓ３と、加工画像と参照加工画像との類似度Ｓ４とを算出する。各類似度の算出方法は、第１実施形態における判定部１４による類似度Ｓ１の算出方法と同様としてよい。判定部４１４は、図１８に示すように、類似度Ｓ１が閾値ＴＨ１（例えば、０．５）未満、Ｓ１＜Ｓ２＜Ｓ３、かつ、Ｓ３＜Ｓ４の場合に、さらなる加工処理を実行しないと判定する。これは、第３実施形態の判定部３１４での判定の条件に加え、加工画像が別人の加工画像に類似しており、加工画像において別人との区別が困難であり、十分な匿名化が実行されていると判定するものである。

【0077】

画像処理装置４１０は、例えば図７に示すコンピュータ４０で実現されてよい。コンピュータ４０の記憶装置４３には、コンピュータ４０を、画像処理装置４１０として機能させるための画像処理プログラム４５０が記憶される。画像処理プログラム４５０は、抽出プロセス制御命令３５１と、加工プロセス制御命令４５２と、復元プロセス制御命令５３と、判定プロセス制御命令４５４と、変更プロセス制御命令５５と、出力プロセス制御命令５６とを有する。また、記憶装置４３は、加工条件ＤＢ２１及び人物情報ＤＢ３２３を構成する情報が記憶される情報記憶領域３６０を有する。

【0078】

ＣＰＵ４１は、画像処理プログラム４５０を記憶装置４３から読み出してメモリ４２に展開し、画像処理プログラム４５０が有する制御命令を順次実行する。ＣＰＵ４１は、加工プロセス制御命令４５２を実行することで、図１５に示す加工部４１２として動作する。また、ＣＰＵ４１は、判定プロセス制御命令４５４を実行することで、図１５に示す判定部４１４として動作する。他の制御命令については、第３実施形態に係る画像処理プログラム３５０と同様である。これにより、画像処理プログラム４５０を実行したコンピュータ４０が、画像処理装置４１０として機能することになる。

【0079】

なお、画像処理プログラム４５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ、ＦＰＧＡ等で実現されてもよい。

【0080】

次に、第４実施形態に係る画像処理装置４１０の動作について説明する。画像処理装置４１０に入力画像が入力され、匿名化画像の出力が指示されると、画像処理装置４１０において、図１９に示す画像処理が実行される。なお、第４実施形態に係る画像処理において、第３実施形態に係る画像処理と同一の処理については、同一のステップ番号を付して、詳細な説明を省略する。

【0081】

ステップＳ３１０及びステップＳ１２を経て、次のステップＳ４１４で、加工部４１２が、入力画像及び参照画像の各々に対して、取得した加工条件に基づいて加工処理を実行し、加工画像及び参照加工画像の各々を生成する。

【0082】

次に、ステップＳ１６を経て、次のステップＳ４１８で、判定部４１４が、入力画像と復元画像との類似度Ｓ１と、復元画像と参照画像との類似度Ｓ２と、入力画像と参照画像との類似度Ｓ３と、加工画像と参照加工画像との類似度Ｓ４を算出する。

【0083】

次に、ステップＳ４２０で、判定部４１４が、Ｓ１＜ＴＨ１、Ｓ１＜Ｓ２＜Ｓ３、かつ、Ｓ３＜Ｓ４か否かを判定する。肯定判定の場合には、ステップＳ２４へ移行し、否定判定の場合には、ステップＳ２２へ移行する。

【0084】

以上説明したように、第４実施形態に係る画像処理装置は、入力画像と復元画像との類似度、及び復元画像及び入力画像の各々と参照画像との類似度に加え、加工画像と参照加工画像との類似度も用いて、さらなる加工処理を実行するか否かを判定する。これにより、加工画像における別人との識別の困難性をより厳格に判定し、より十分な匿名化を実行することができる。

【0085】

なお、第３実施形態及び第４実施形態においても、第２実施形態と同様に、属性情報の分布に基づいて、さらなる加工処理を実行するか否かを判定する処理を合わせて実行してもよい。

【0086】

また、第２実施形態では、入力画像と復元画像との類似度に基づく判定と、属性情報の分布に基づく判定とを組み合わせる場合について説明したが、属性情報の分布に基づく判定のみを単独で実行するようにしてもよい。この場合、画像処理装置は、入力画像が示す人物の属性情報を取得し、複数の画像の各々から取得された複数の人物について、各属性情報の属性値の分布を算出する。画像処理装置は、属性情報の属性値の分布において、入力画像が示す人物のいずれかの属性情報の属性値の確率が閾値以下か否かを判定する。そして、画像処理装置は、いずれかの属性値の確率が閾値以下の場合に、その属性値を、属性情報の属性値の分布において、確率が閾値より大きい属性値に変更する処理を含む加工処理を実行するようにすればよい。

【0087】

また、属性情報の分布によらず、属性情報の属性値を変更する処理を加工処理の１つとして実行するようにしてもよい。この場合の加工処理は、例えば、人物の属性情報からランダムに属性情報を選択し、選択した属性情報の属性値を他の属性値に変更する処理としてよい。また、この場合、さらなる加工処理を実行すると判定された場合、属性値を変更する属性情報の数を増やすことで、加工処理の強度を上げるようにしてもよい。

【0088】

また、上記各実施形態では、モザイク処理、ぼかし処理等の強度を上げることで、匿名化を進める場合について説明したがこれに限定されない。例えば、当初の加工処理としてぼかし処理のみを指定していた場合において、さらなる加工処理を実行すると判定された場合には、ぼかし処理に替えて、又は、ぼかし処理に加えて、モザイク処理を実行することで、さらなる加工処理を実行するようにしてもよい。

【0089】

上記各実施形態は、以下のようなユースケースに利用可能である。
例えば、タクシー等の車両に搭載しているドライブレコーダの映像を匿名化し、自動運転のための機械学習モデルを訓練するための訓練データとして利用する場合である。上記各実施形態のように十分な匿名化を実行することで、ドライブレコーダの映像に含まれる歩行者等の人物について、人物であることは分かるが、顔などの個人を特定可能な情報を取り除いた映像を生成することができる。すなわち、自動運転のための機械学習モデルを訓練するための訓練データとして利用するという目的を果たしつつ、個人を特定することができない映像を生成することができる。

【0090】

また、例えば、インタビュー映像から、個人の見た目、特徴等、個人を推測可能な情報を取り除き、個人を特定することができない映像に変換する場合にも、上記各実施形態は適用可能である。

【0091】

また、上記各実施形態では、対象物が人物の顔である場合について説明したが、これに限定されない。例えば、人物の全身を対象物としてもよい。この場合、人物の服装、体格等を人物の属性情報として用いればよい。また、対象物は人物に限定されず、車両等にも適用可能である。この場合、車両の属性情報として、車種、ナンバー、色等を抽出し、これらの属性情報から、車両が個別に特定されないように、十分な匿名化を実行するようにすればよい。

【0092】

また、上記各実施形態では、画像処理プログラムが記憶装置に予め記憶（インストール）されているが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供されてもよい。

【0093】

以上の各実施形態に関し、さらに以下の付記を開示する。

【0094】

（付記１）
入力画像に含まれる情報を匿名化するための第１の加工処理を前記入力画像に実行して加工画像を生成し、
前記加工画像に対し前記情報を復元する復元処理を行って復元画像を生成し、
前記入力画像と前記復元画像との比較に基づいて、前記入力画像又は前記加工画像に対して、前記第１の加工処理とは異なる、前記情報を匿名化するための第２の加工処理を実行するか否かを判定する
ことを含む処理をコンピュータに実行させるための画像処理プログラム。

【0095】

（付記２）
前記第２の加工処理を実行するか否かを判定する処理は、前記入力画像と前記復元画像との第１の類似度が第１の閾値より高い類似度を示す場合に、前記第２の加工処理を実行すると判定することを含む付記１に記載の画像処理プログラム。

【0096】

（付記３）
前記入力画像が示す対象物の属性情報を抽出し、
複数の画像から、複数の対象物の各々の属性情報を抽出し、前記複数の画像における前記属性情報の属性値の分布を算出し、
前記第２の加工処理を実行するか否かを判定する処理は、前記属性情報の属性値の分布において、前記入力画像が示す対象物のいずれかの属性情報の属性値の出現頻度が第２の閾値以下の場合に、前記第２の加工処理を実行すると判定することを含む、
付記１又は付記２に記載の画像処理プログラム。

【0097】

（付記４）
前記第２の加工処理は、前記入力画像が示す対象物の属性情報のうち、属性値の出現頻度が前記第２の閾値以下である属性情報の属性値を、前記属性情報の分布において、属性値の出現頻度が前記第２の閾値より大きい属性値に変更する処理を含む付記３に記載の画像処理プログラム。

【0098】

（付記５）
前記第２の加工処理を実行するか否かを判定する処理は、前記第１の類似度が前記第１の閾値以下で、前記第１の類似度が、前記入力画像が示す対象物とは異なる対象物を撮影した参照画像と前記復元画像との第２の類似度より低く、前記第２の類似度が、前記入力画像と前記参照画像との第３の類似度よりも低い場合に、前記第２の加工処理を実行しないと判定することを含む付記２に記載の画像処理プログラム。

【0099】

（付記６）
前記第２の加工処理を実行するか否かを判定する処理は、前記第３の類似度が、前記参照画像に対して前記第１の加工処理を実行した参照加工画像と前記加工画像との第４の類似度よりも低い場合に、前記第２の加工処理を実行しないと判定することを含む付記５に記載の画像処理プログラム。

【0100】

（付記７）
前記第１の加工処理は、前記入力画像の特定領域に対するぼかし処理、モザイク処理、及び前記入力画像が示す対象物の少なくとも１つの属性情報の属性値を変更する処理の少なくとも１つである付記１～付記６のいずれか１項に記載の画像処理プログラム。

【0101】

（付記８）
前記第２の加工処理は、前記第１の加工処理よりも、前記ぼかし処理又は前記モザイク処理の強度を強くした処理、及び属性値を変更する前記属性情報を増やした処理の少なくとも一方である付記７に記載の画像処理プログラム。

【0102】

（付記９）
前記復元処理は、前記加工画像に対する高解像度化処理、又はモザイク解除処理である付記１～付記８のいずれか１項に記載の画像処理プログラム。

【0103】

（付記１０）
前記第２の加工処理を実行すると判定された場合、前記入力画像又は前記加工画像に対して、前記第２の加工処理を実行し、
前記第２の加工処理を実行しないと判定された場合、直近で生成された前記加工画像を出力する
付記１～付記９のいずれか１項に記載の画像処理プログラム。

【0104】

（付記１１）
入力画像が示す対象物の属性情報を抽出し、
複数の画像から、複数の対象物の各々の属性情報を抽出し、前記複数の画像における前記属性情報の属性値の分布を算出し、
前記属性情報の属性値の分布において、前記入力画像が示す対象物のいずれかの属性情報の属性値の出現頻度が閾値以下の場合に、前記入力画像が示す対象物の属性情報のうち、属性値の出現頻度が前記閾値以下である属性情報の属性値を、前記属性情報の分布において、属性値の出現頻度が前記閾値より大きい属性値に変更する処理を含む加工処理を実行する
ことを含む処理をコンピュータに実行させるための画像処理プログラム。

【0105】

（付記１２）
入力画像に含まれる情報を匿名化するための第１の加工処理を前記入力画像に実行して加工画像を生成する加工部と、
前記加工画像に対し前記情報を復元する復元処理を行って復元画像を生成する復元部と、
前記入力画像と前記復元画像との比較に基づいて、前記入力画像又は前記加工画像に対して、前記第１の加工処理とは異なる、前記情報を匿名化するための第２の加工処理を実行するか否かを判定する判定部と、
を含む画像処理装置。

【0106】

（付記１３）
前記判定部は、前記入力画像と前記復元画像との第１の類似度が第１の閾値より高い類似度を示す場合に、前記第２の加工処理を実行すると判定することを含む付記１２に記載の画像処理装置。

【0107】

（付記１４）
前記入力画像が示す対象物の属性情報を抽出する抽出部と、
複数の画像から、複数の対象物の各々の属性情報を抽出し、前記複数の画像における前記属性情報の属性値の分布を算出する算出部と、を含み、
前記判定部による前記第２の加工処理を実行するか否かを判定する処理は、前記属性情報の属性値の分布において、前記入力画像が示す対象物のいずれかの属性情報の属性値の出現頻度が第２の閾値以下の場合に、前記第２の加工処理を実行すると判定することを含む、
付記１２又は付記１３に記載の画像処理装置。

【0108】

（付記１５）
前記第２の加工処理は、前記入力画像が示す対象物の属性情報のうち、属性値の出現頻度が前記第２の閾値以下である属性情報の属性値を、前記属性情報の分布において、属性値の出現頻度が前記第２の閾値より大きい属性値に変更する処理を含む付記１４に記載の画像処理装置。

【0109】

（付記１６）
前記判定部による前記第２の加工処理を実行するか否かを判定する処理は、前記第１の類似度が前記第１の閾値以下で、前記第１の類似度が、前記入力画像が示す対象物とは異なる対象物を撮影した参照画像と前記復元画像との第２の類似度より低く、前記第２の類似度が、前記入力画像と前記参照画像との第３の類似度よりも低い場合に、前記第２の加工処理を実行しないと判定することを含む付記１３に記載の画像処理装置。

【0110】

（付記１７）
前記判定部による前記第２の加工処理を実行するか否かを判定する処理は、前記第３の類似度が、前記参照画像に対して前記第１の加工処理を実行した参照加工画像と前記加工画像との第４の類似度よりも低い場合に、前記第２の加工処理を実行しないと判定することを含む付記１６に記載の画像処理装置。

【0111】

（付記１８）
入力画像が示す対象物の属性情報を抽出する抽出部と、
複数の画像から、複数の対象物の各々の属性情報を抽出し、前記複数の画像における前記属性情報の属性値の分布を算出する算出部と、
前記属性情報の属性値の分布において、前記入力画像が示す対象物のいずれかの属性情報の属性値の出現頻度が閾値以下の場合に、前記入力画像が示す対象物の属性情報のうち、属性値の出現頻度が前記閾値以下である属性情報の属性値を、前記属性情報の分布において、属性値の出現頻度が前記閾値より大きい属性値に変更する処理を含む加工処理を実行する加工部と、
を含む画像処理装置。

【0112】

（付記１９）
入力画像に含まれる情報を匿名化するための第１の加工処理を前記入力画像に実行して加工画像を生成し、
前記加工画像に対し前記情報を復元する復元処理を行って復元画像を生成し、
前記入力画像と前記復元画像との比較に基づいて、前記入力画像又は前記加工画像に対して、前記第１の加工処理とは異なる、前記情報を匿名化するための第２の加工処理を実行するか否かを判定する
ことを含む処理をコンピュータが実行する画像処理方法。

【0113】

（付記２０）
入力画像が示す対象物の属性情報を抽出し、
複数の画像から、複数の対象物の各々の属性情報を抽出し、前記複数の画像における前記属性情報の属性値の分布を算出し、
前記属性情報の属性値の分布において、前記入力画像が示す対象物のいずれかの属性情報の属性値の出現頻度が閾値以下の場合に、前記入力画像が示す対象物の属性情報のうち、属性値の出現頻度が前記閾値以下である属性情報の属性値を、前記属性情報の属性値の分布において、属性値の出現頻度が前記閾値より大きい属性値に変更する処理を含む加工処理を実行する
ことを含む処理をコンピュータが実行する画像処理方法。

【符号の説明】

【0114】

１０、２１０、３１０、４１０ 画像処理装置
１１、２１１、３１１ 抽出部
１２、２１２、４１２ 加工部
１３ 復元部
１４、２１４、３１４、４１４ 判定部
１５、２１５ 変更部
１６ 出力部
２１７ 算出部
２１ 加工条件ＤＢ
２２２ 属性ＤＢ
２２２Ａ 属性情報テーブル
２２２Ｂ 属性分布テーブル
３２３ 人物情報ＤＢ
３１ 加工条件指定画面
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶装置
４４ 入出力装置
４５ Ｒ／Ｗ装置
４６ 通信Ｉ／Ｆ
４７ バス
４９ 記憶媒体
５０、２５０、３５０、４５０ 画像処理プログラム
５１、２５１、３５１ 抽出プロセス制御命令
５２、２５２、４５２ 加工プロセス制御命令
５３ 復元プロセス制御命令
５４、２５４、３５４、４５４ 判定プロセス制御命令
５５、２５５ 変更プロセス制御命令
５６ 出力プロセス制御命令
２５７ 算出プロセス制御命令
６０、２６０、３６０ 情報記憶領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】