特許 7520713 画像の非識別化のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】画像の非識別化のためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240716BHJP

   G06N 20/00 20190101ALI20240716BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 660A

G06N20/00

【請求項の数】 11

(21)【出願番号】P 2020516974

(86)(22)【出願日】2018-06-04

(65)【公表番号】

(43)【公表日】2020-07-30

(86)【国際出願番号】 IL2018050607

(87)【国際公開番号】W WO2018225061

(87)【国際公開日】2018-12-13

【審査請求日】2021-05-11

【審判番号】

【審判請求日】2023-03-01

(31)【優先権主張番号】252657

(32)【優先日】2017-06-04

(33)【優先権主張国・地域又は機関】IL

(31)【優先権主張番号】62/621,723

(32)【優先日】2018-01-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519432705

【氏名又は名称】デ－アイデンティフィケーション リミテッド

(74)【代理人】

【識別番号】100206335

【弁理士】

【氏名又は名称】太田 和宏

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】ペリー ギル

(72)【発明者】

【氏名】ブロンデイム セラ

(72)【発明者】

【氏名】クタ エリラン

(72)【発明者】

【氏名】ハコヘン ヨアフ

【合議体】

【審判長】千葉 輝久

【審判官】樫本 剛

【審判官】高橋 宣博

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０１７７２４８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０３２８５４７（ＵＳ，Ａ１）

【文献】村木 友哉、外４名，“安全性と有用性のトレードオフが制御可能な顔画像の匿名化方式”，日本セキュリティ・マネジメント学会誌，２０１５年１月２５日，Ｖｏｌ．２８，Ｎｏ．３，ｐｐ．３－１６

【文献】Ｈｅｈｕａ Ｃｈｉ ｅｔ ａｌ．，“Ｆａｃｅ Ｄｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ Ｆａｃｉａｌ Ｉｄｅｎｔｉｔｙ Ｐｒｅｓｅｒｖｉｎｇ Ｆｅａｔｕｒｅｓ”，２０１５ ＩＥＥＥ Ｇｌｏｂａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ（ＧｌｏｂａｌＳＩＰ），２０１５年１２月１４日，ｐｐ．５８６－５９０

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 1/00

G06T 7/00 - 7/90

G06N 3/02

G06N 3/08

G06N 20/00

(57)【特許請求の範囲】

【請求項1】

プロセッサにより実行される、オリジナルの画像ファイルと変更された画像ファイルとの間の類似度のレベルを維持しながら画像ファイルの非識別化処理を行うための方法において、
少なくとも１つの画像ファイルを受信するステップと、
前記少なくとも１つの画像ファイルに対して、非識別化処理に関する少なくとも１つの顔を決定するステップと、
少なくとも１つの変更された画像ファイルを作成するために、前記少なくとも１つの顔に、少なくとも１つの変換を適用し、それによって、コンピュータ化アルゴリズムによる識別を制限するステップであって、前記少なくとも１つの顔のうちの１つの顔に前記少なくとも１つの変換を適用することは、前記識別領域を特徴ベクトルに変換すること、発生モデルを用いて前記特徴ベクトルに少なくとも１つの変換を適用すること、及び前記変換された特徴ベクトルを再構成することを含むステップと、
前記少なくとも１つの変更された画像ファイルを認証するステップであって、
前記少なくとも１つの変更された画像ファイルと、対応する受信された画像ファイルとの間の人間の知覚類似度の値を、画像ファイル間類似性を認識するようにトレーニングされ、実際の人間の知覚に類似した、コンピュータ化された人間の知覚予測器から受信するステップ、
前記少なくとも１つの変更された画像ファイル内の前記少なくとも１つの顔を識別するように構成された既存のコンピュータ化された顔認識アルゴリズムから認識スコアを受信するステップ、
前記人間の知覚類似度の値が知覚類似度閾値を超えるか否か、及び認識スコアが認識非識別化閾値を下回るか否かを判断するステップ、
及び前記認識スコアが前記認識非識別化閾値を下回らない場合又は前記人間の知覚類似度の値が前記知覚類似度閾値を超えない場合、前記認識スコアを低下させながら前記人間の知覚類似度の値を最大化する目的関数を用いる最適化プロセスにおいて、反復的に、少なくとも１つの適用された変換を更新し、受信された前記少なくとも１つの画像ファイルに更新された変換を適用し、前記認識スコアが前記認識非識別化閾値を下回り且つ前記人間の知覚類似度の値が前記知覚類似度閾値を超える場合、前記変更された画像ファイルを出力するステップ
によって、前記少なくとも１つの変更された画像ファイルを認証するステップと、
を備えた、方法。

【請求項2】

前記画像ファイルは、複数のピクセルを有した画像を備え、前記顔の有効性は、各ピクセルの変更を、前記画像ファイル内の隣接ピクセルに対する、前記対応する変更とバランスを取りながら維持される、請求項１に記載の方法。

【請求項3】

画像ファイル間の類似度は、
ジオメトリ類似度に従って、決定される、請求項１に記載の方法。

【請求項4】

画像ファイルを合成する、プロセッサによって実行される方法において、
画像ファイルを受信するステップと、
前記受信されたメディアファイルの、少なくとも１つの顔を決定するステップと、
前記少なくとも１つの顔を、特徴ベクトルに変換するステップと、
発生モデルを用いて前記特徴ベクトルに少なくとも１つの変換を、適用するステップと、
前記変換された特徴ベクトルの再構成により合成画像ファイルを生成するステップと、
前記適用された変換は、閾値を下回る信頼値の低減を生じさせるまで、少なくとも1つの分類器により前記対応する受信された画像ファイルに対する信頼値を減少させながら人間知覚のシミュレータの前記人間の知覚類似度の値を最大化する目的関数を用いる最適化プロセスにおいて適用と生成を繰り返し、前記生成された合成画像ファイルと前記受信された画像ファイルは、前記人間知覚のシミュレータによって類似の顔を含むと認識される、ステップと、
を備えた、メディアファイルを合成する方法。

【請求項5】

前記合成画像ファイルは、信頼値低減の少なくとも１つのパラメータと、前記対応する受信された画像ファイルに対する類似度の少なくとも１つのパラメータとに従って、生成される、請求項４の方法。

【請求項6】

パラメータのセットを与えられると、画像ファイルを合成するために、顔のデータセットに、パラメータモデルをトレーニングするステップと、
前記受信された少なくとも１つの画像ファイルに描画された、前記選択された顔を表す前記パラメータを取得するステップと、
事前定義したしきい値を下回る、前記少なくとも１つの分類器のスコアを維持するように、前記顔の変更されたバージョンを表すように、前記パラメータを変更するステップと、
をさらに備えた、請求項４に記載の方法。

【請求項7】

パラメータのセットを与えられると、画像ファイルを合成するために、顔のデータセットについて、パラメータモデルを最適化するステップと、
前記受信した、少なくとも１つの画像ファイルに描画された、前記選択された顔を表す前記パラメータを取得するステップと、
事前定義されたしきい値を下回る、前記少なくとも１つの分類器の前記認識スコアを低減しながら、前記受信された、少なくとも１つの、画像ファイルの前記顔に対する類似度を、維持するように、前記顔の変更されたバージョンを表すように、前記パラメータを変更するステップと、
をさらに備えた、請求項４に記載の方法。

【請求項8】

前記人間知覚のコンピュータ化された前記シミュレータは、
少なくとも１つの画像ファイルを受信し、
各画像ファイルに関する、少なくとも１つの顔を決定し、
少なくとも１つの変更された画像ファイルが作成されるまで、各画像ファイルの各顔について、少なくとも１つの変換を適用し、
各変更された画像ファイルと、前記対応する画像ファイルとの間の類似度に関する入力を受信し、
類似度に関する入力を使用して、画像ファイル間の類似度を予想するように構成された目的関数を用いて、マシンラーニングモデルをトレーニングすることにより、トレーニングされたマシンラーニングモデルを備える、請求項４に記載の方法。

【請求項9】

データサンプル間の類似度のレベルを決定するように、人間知覚予測器をトレーニングするシステムにおいて、
顔のデータセットと、
前記顔のデータセットと結合された少なくも１つのプロセッサであって、
少なくとも１つの画像ファイルを受信し、
前記少なくとも１つの画像ファイルに対して、非識別化処理に関する少なくとも１つの顔を決定し、
少なくとも１つの変更された画像ファイルを作成するために、前記少なくとも１つの各顔に、少なくとも１つの変換を適用し、それによって、前記顔を特徴ベクトルに変換すること、発生モデルを用いて前記特徴ベクトルに少なくとも１つの変換を適用すること、及び前記変換された特徴ベクトルを再構成することによるコンピュータ化アルゴリズムにより識別を制限し、
前記少なくとも１つの変更された画像ファイルと、前記対応する受信された画像ファイルとの間の人間の知覚類似度の値を、画像ファイル間類似性を認識するようにトレーニングされ、実際の人間の知覚に類似した、コンピュータ化された人間の知覚予測器から受信し、
前記少なくとも１つの変更された画像ファイル内の前記少なくとも１つの顔を識別するように構成された既存のコンピュータ化されたアルゴリズムから認識スコアを受信し、
前記人間の知覚類似度の値が知覚類似度閾値を超えるか否か、及び認識スコアが認識非識別化閾値を下回るか否かを判断し、
及び前記認識スコアが前記認識非識別化閾値を下回らない場合又は前記人間の知覚類似度の値が前記知覚類似度閾値を超えない場合、前記認識スコアを低下させながら前記人間の知覚類似度の値を最大化する目的関数を用いる最適化プロセスにおいて、反復的に、少なくとも１つの適用された変換を更新し、受信された前記少なくとも１つの画像ファイルに更新された変換を適用し、前記認識スコアが前記認識非識別化閾値を下回り且つ前記人間の知覚類似度の値が前記知覚類似度閾値を超える場合、前記変更された画像ファイルを出力する
ことによって、前記少なくとも１つの変更された画像ファイルを認証する、システム。

【請求項10】

前記顔の有効性は、前記画像内の各ピクセルの変更を、前記画像内の隣接ピクセルに対する前記対応する変更とバランスを取りながら、維持される、請求項９に記載のシステム。

【請求項11】

画像の類似度は、
ジオメトリ類似度に従って、決定される、請求項９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、一般にコンピュータビジョンおよび画像処理の分野に関する。特に、この発明は、分類アルゴリズムによる認識を制限するために、画像の特徴を合成、および／または修正するためのシステムおよび方法に関する。

【背景技術】

【0002】

近年、インターネット通信と、ソーシャルメディアの使用が増加している。複数の画像とビデオが、公開サーバにアップロードされており、意図的に公開されているかどうかにかかわらず、公開アクセスが可能になっている。同時に、画像の処理および解析技術は、簡単な顔認証および識別を提供し、一般に任意の所望の個人を識別し、場合によっては追跡するための公共メディア（例えば、写真やビデオ）の使用を可能にする。

【0003】

さらに、年齢、健康状態、性的嗜好のような個人属性は、保護すべき個人情報として広く考えられており、最近の機械学習アルゴリズムの最近の進歩により、機械によってポートレート画像から、そのような個人情報を推測することが可能であることが証明されている。ソーシャルネットワーク、およびインターネット通信における顔画像の急増により、そのような個人の詳細は、人々が共有する意図なしに、利用可能になった。

【0004】

公開された画像内の個人を識別する能力を制限しながら、画像の公開を可能にする種々の技術が知られている。これらの技術は、企業が、フレームに、誤って表示される人々のプライバシーを保護しながら、画像を公開し、または、個人が自分の写真をプライバシーで公開することを可能にする。

【0005】

ＵＳ２０１１／０１２３１１８は、画像内の顔を交換するための方法、システムおよび方法を記載する。入力画像に対応する検出された顔、および顔データが受信される。検出された顔に関連するポーズビン(pose bin）は、次に顔データに基づいて識別される。次に、検出された顔は、ポーズビンに関連する一般的な顔に位置合わせされる（align）。少なくともポーズビンに関連する候補顔の、少なくとも一部が選択される。候補顔の少なくとも一部が次に、交換された顔画像を形成するために、一般的な画像と位置合わせされた入力画像のコピーにコピーされる。交換顔画像は、次に入力画像に位置合わせされ、出力画像を形成し、次に出力画像がディスプレイに出力される。

【0006】

ＷＯ２０１６／１０７６５１は、スマートグラスのカメラにより検出された、個人のプライバシーを保護する方法とシステムに関連する。システムは、スマートグラスのカメラにより、顔の少なくとも１つの画像を撮るカメラモジュールと、カメラにより撮られた、画像内の顔を検出する検出モジュールを備える。顔が画像内に検出された場合、状態信号を生成するための状態モジュールが、設けられる。トラッキングモジュールは、状態信号が生成される場合に、検出された顔の特徴を追跡する追跡モジュールが設けられる。

【0007】

ＵＳ２００７／０２３６５１３は、画像融合の方法とシステムを開示する。宛先画像（destination image）が受信される。宛先画像は、交換される画像部分を含み、識別された画像部分に関連する特徴を有する。ソース画像も受信される。宛先画像に挿入される、ソース画像の画像部分が、識別される。必要な場合、挿入される画像部のパラメータは、交換される画像部分のパラメータと、一致するように変換される。挿入される画像部分は、次に交換される画像部分、および関連する特徴に依存して、宛先画像に融合される。

【0008】

ＵＳ８，２７０，７１８は、画像を操作する方法を記載する。この方法は、テキスト文字の画像を含む、画像を表す画像情報を撮像するステップと、光学文字認識を適用してテキスト文字を認識するステップと、画像のレイアウトを識別するステップと、非識別化処理結果を提供するために、関心のあるテキスト文字に、少なくとも１つの非識別化プロセスを適用するステップを含む。

【0009】

ＵＳ９，１０５，１１９は、顔画像の分散匿名化（distributed anonymization）を介して自動表情認識システムのトレーニングを容易にし、それにより、人々が自分のアイデンティティを明かすことなく、自分の顔画像を提出できるようにする方法を記載する。オリジナル顔画像は、アクセスされ、摂動（perturb）されて、合成された顔画像を生成する。オリジナル顔画像に含まれる、個人のアイデンティティは、合成された顔画像からは、もはや識別できない。同時に、各合成された顔画像は、対応するオリジナル顔画像に含まれる、感情表現の少なくとも一部を保存する。

【0010】

これらの刊行物のいずれも、人間のユーザにより画像の類似性、および／または認識を維持しながら、処理された画像内の、個人のアイデンティティを決定するためのアルゴリズムを識別する、および／または顔認識の能力を消去する、または少なくとも大幅に低減する画像（またはビデオデータ）における、顔の非識別化をすることは、できない。

【発明の概要】

【0011】

この発明の実施形態は、コンピュータ化アルゴリズムによる識別を防止、および／または大幅に制限しながら、対応する個人に対する、画像の類似性を維持し、および／または最大化するように構成された選択的画像処理技術を利用する。

【0012】

いくつかの実施形態は、１つまたは複数のデジタル画像の、１つまたは複数の選択された顔の非識別化処理に使用する、複数の顔モデルについて、事前に用意されたデータを利用する。この目的のために、顔モデルは、１つまたは複数の選択された顔モデルに従って、１つまたは複数の選択された顔の特徴、および／または、ジオメトリ外観を変更するために、選択された顔に関連する画像データに、選択された修正のセットを適用するのに利用することができる。限定された変更を、選択された顔に適用することにより、いくつかの実施形態は、処理された画像と、オリジナルの個人の顔との間のある類似性を最大化する、および／または維持するように構成することができる。これは、処理された画像を見た、友達および他の人々に、少なくとも部分的に認識可能でありながら、画像をアップロードしたときには、自分のアイデンティティを保護することを、ユーザに可能にさせる。いくつかの実施形態において、企業と組織は、自分たちの使用可能性を維持しながら、（例えば、顔）データベースを保護識別することができる。一般的に、自身で非識別化された出力画像を見たとき、画像内の個人を認識する人が、違いが分からず、出力画像内の個人を認識でき、出力画像が修正されていると気が付かない（例えば、画像が自然に見える）ように、結果として得られる画像が、入力画像データに似ているように形状、色、および／またはテクスチャ（texture）、ジオメトリ（geometry）、および顔の特徴を変更するための画像データに、影響を与えることに向けることができる。

【0013】

この発明の実施形態は、通信ネットワークを介して選択された、画像または画像ストリームを含む画像データを受信し、受信した画像データを処理して、画像データ内に現れる、１つまたは複数の顔を非識別化し、結果として得られた画像データを、送信者、または、さらなる使用のために、任意の他の選択された通信ポートに送信するように構成された、１つまたは複数の専用サーバシステム上で動作することができる。さらに、または代替的に、いくつかの実施形態は、受信された、および／または撮像された画像データにおいて、選択的または自動的に、顔を非識別化することを可能にする、ローカルコンピューティングシステム、または電子デバイス上で部分的に、または完全に動作することができる。

【0014】

したがって、広範囲な態様によれば、この発明は、画像データを処理するのに使用する方法を提供する。この方法は、１つまたは複数の顔領域を含む、１つまたは複数の画像に関連した入力画像データを受信するステップと、選択された顔に関連した画像領域を選択するステップと、前記選択された領域に、非識別化処理を提供するステップを含み、前記非識別化処理は、１）ジオメトリ非識別化処理であって、事前に記憶されたデータを含む記憶ユニットから、１つまたは複数のジオメトリ顔モデルに関連した、データを取得するステップと、選択された顔に関して選択された、ジオメトリしきい値を超える、ジオメトリ類似度測定値を有する、１つまたは複数のジオメトリ顔モデルを決定するステップと、選択された顔の１つまたは複数の、ジオメトリ特徴を選択するステップと、所定のジオメトリ変位レベルに対する、１つまたは複数の、取得されたジオメトリ顔モデルの、対応する特徴に従って、前記選択された１つまたは複数のジオメトリ特徴に、変化を印加するための、前記画像領域を処理するステップを含むジオメトリ非識別化処理と、（２）選択された顔の、１つまたは複数の顔の特徴を選択し、特徴顔モデルの、事前に記憶されたセットを含む、記憶ユニットから、選択された顔類似度しきい値を超える、選択された顔類似度値を有する、１つまたは複数の特徴顔モデルを選択するステップと、所定の特徴変化レベルに対して、１つまたは複数の、前記選択された特徴モデルの、対応する顔の特徴を用いて、前記１つまたは複数の、選択された顔の特徴に、変化を印加するための、画像領域を処理することを含む特徴非識別化処理と、（３）顔画像のデータセットから（オートエンコーダー、ＰＣＡまたは他のリニアまたはノンリニア低次元ベースのような）低次元パラメータモデルを事前トレーニングして、パラメータが与えられると、顔画像を再構成し、入力画像において描画された選択された画像を表すパラメータを取得し、（傾斜降下のような）最適化プロセスにおいて、前記パラメータを変更し、１つまたは複数の顔認識システムの認識スコアを、あるしきい値未満に低減しながら、オリジナルの顔に対する類似度を最適化、および／または保持する目的で、最適化された顔画像の変化されたバージョンを表すステップと、出力画像データを生成するステップであって、前記選択された画像領域は、前記選択された顔の変化されたバージョンを表す、ステップを含む、最適化非識別化処理、の少なくとも１つを含む。

【0015】

いくつかの実施形態において、前記方法はさらに、前記１つまたは複数の画像に関連した、入力画像データを受信し、前記１つまたは複数の画像を処理して、前記１つまたは複数の画像内の人間の顔に関連した、１つまたは複数の領域を決定する、前記１つまたは複数の画像を処理するステップを含む。

【0016】

いくつかの実施形態において、１つまたは複数のジオメトリ顔モデルに関連したデータは、選択された顔のジオメトリ測度に従って、１つまたは複数のジオメトリ顔モデルを生成するコード化された命令を含むことができる。

【0017】

いくつかの実施形態に従って、１つまたは複数のジオメトリ顔モデルに関連した、前記データは、１つまたは複数の事前記憶された、ジオメトリ顔モデルの、ジオメトリ構造を示す座標データを含むことができる。代替的にまたは付加的に、顔モデルは、画像および／または、座標データを含むことができる。

【0018】

いくつかの実施形態に従って、前記非識別化処理は、さらに、選択された顔の１ペア、または複数ペアの顔特徴を選択し、前記選択された顔特徴ペアの、適切な距離変動を決定し、前記選択された顔の、１つまたは複数の選択比を変化させる、選択された距離変動を適用することを含む、距離変動をさらに含むことができる。

【0019】

前記適切な距離を決定することは、黄金比φ≒１．６１８の所定のレンジを有するように選択された比に、作用することを含むことができ、さらに、前記距離変動を、２以上の選択された特徴、およびそれら特徴間の距離比に、提供することを含むことができる。いくつかの実施形態によれば、前記非識別化処理は、さらに、前記選択された顔の右および左の眼を検出し、前記左眼と右眼の間の距離に、選択された値だけ変化を印加するために、前記画像領域を処理するステップをさらに含むことができる。

【0020】

前記左眼と右眼との間の距離に、変化を印加することは、前記左眼と右眼の間の距離測度を決定することと、美的感覚パラメータに従って、変位距離を選択し、前記左眼と右眼との間の前記距離を、変換させる画像処理技術を提供することを含むことができる。

【0021】

いくつかの実施形態によれば、前記非識別化処理は、ラベル付けされたペア（および／またはスーパーバイズされたプロセスにおいて、人間のオペレータにより選択された）を含むデータセットに基づいて、事前にトレーニングされた類似度機能を用いて、類似推定を決定することを含むことができる。いくつかの実施形態において、前記非識別化処理は、絶対的解（absolute answer）（同一または非同一）を提供することができ、および／または、各ペアが、低次元パラメータモデルを用いて生成されたオリジナル、および変更バージョンを含むスコア（例えば、スケール１－１０についての類似度スコア）を提供し、類似であるペアの知覚を反映するように、人間により、ラベルを割り当てることができる。

【0022】

いくつかの実施形態によれば、前記非識別化処理は、さらに選択された顔の右眼および左眼を検出することと、前記左眼および右眼を選択したレベルにまで、強化または回転するために、前記画像領域を処理することをさらに含むことができる。前記強化または回転は、１つまたは複数の選択されたフィルタを、前記左眼および右眼に適用することを含み、前記１つまたは複数のフィルタは、眼の領域を白色化、瞳孔輝度強調、瞳孔輝き（shining）強調、対称性の強化、シャドーレベルの変更、および、しわの低減から選択される。いくつかの実施形態によれば、前記非識別化処理は、さらに、（例えば、敵対的機械学習（adversarial machine learning)を用いて、不可視ノイズレイヤ（noise layer）を選択された画像領域に適用することをさらに含み、前記不可視ノイズレイヤは、１つまたは複数の選択された構造を有する、色のバリエーションの１つ、または複数のパターンを含む。

【0023】

いくつかの実施形態によれば、前記方法はさらに、前記生成された出力イメージデータに顔識別処理を適用することを含み、前記顔識別が、所定のしきい値を超えて成功したと決定すると、調整されたジオメトリ変更レベルと、特徴変化レベルを選択し、前記選択された変更レベルで、前記非識別化処理を反復することを、さらに含むことができる。いくつかの実施形態によれば、前記１つまたは複数の、顔特徴を選択することは、鼻、耳、眼、口、顎、頬、および額、眉毛、髪、皮膚、質感、傷跡、傷（marks）を含む、１つまたは複数の顔の特徴に関連した、１つまたは複数の画像領域を選択することを含むことができる。前記１つまたは複数の顔特徴を選択することは、さらに、前記顔特徴の少なくとも２つを選択し、特徴顔モデルの、事前記憶されたセットを含む、前記ストレージユニットから、取得することをさらに含むことができ、少なくとも２つの異なる特徴顔モデルは、前記少なくとも２つの選択された顔特徴に対応することをさらに含むことができる。

【0024】

いくつかの実施形態によれば、前記１つまたは複数の選択された顔特徴に変更を印加するために前記画像領域を処理することは、２以上の特徴顔モデルを用いること、および前記２以上の特徴顔モデルの特徴に従って、前記変更を適用することを、さらに含むことができる。いくつかの実施形態によれば、前記ジオメトリ類似度速度は、前記選択された顔と、ジオメトリ顔モデルとの間で、ポイント間距離比（point-to-point distance ratios）の類似度についての、データを含むことができる。

【0025】

いくつかの実施形態によれば、前記選択された、１つまたは複数のジオメトリ特徴に、変化を適用するために、前記画像領域を処理することは、前記選択された顔の位置に従って、１つまたは複数の、選択された候補ジオメトリ顔モデルの位置を、位置合わせすることと、前記選択された、１つまたは複数の、選択された候補ジオメトリ顔モデルに従って、選択された顔特徴間の距離を変化させるための、画像処理を適用することを含む。

【0026】

いくつかの実施形態によれば、方法はさらに、前記出力画像データと前記入力データ内の、前記選択された顔との間の、１つまたは複数の一般的類似性測度を決定するために、前記出力画像データを処理することと、前記１つまたは複数の類似性測度が、所定の視覚類似度しきい値を超えると決定すると、低減されたジオメトリ変更レベルと、特徴変化レベルを用いて、非識別化処理を動作させるステップをさらに含むことができる。

【0027】

１つまたは複数の一般的な類似性測度は、ピーク信号対ノイズ比（ＰＳＮＲ）類似性測度、ヒストグラム比較、および距離ベクトルセット測度、類似度スコア、および関連する機械学習モデル、および／または、リグレッサ（regressors）を予測する人間の視覚ランキングでトレーニングされた、ディープニューラルネットワーク（deep neural network）の１つまたは複数を含むことができる。

【0028】

この発明の１つの他の広範囲な態様によれば、この発明は、コンピュータ可読媒体に埋め込まれ、プロセッサにより実行されると、前記プロセッサに顔非識別化処理を実行させるコンピュータ実行可能な命令群を含むソフトウエアプロダクトを提供し、前記方法は、１つまたは複数の画像に関連した入力画像データを受信し、前記１つまたは複数の画像内で、人間の顔に関連した１つまたは複数の領域を決定するために、前記１つまたは複数の画像を処理し、選択された顔に関連した画像領域を選択し、前記選択された領域を非識別化処理し、前記非識別化処理は、１）事前記憶されたデータを含む記憶ユニットから、１つまたは複数の顔モデルに関連したデータを取得することと、前記選択された顔に対して選択されたジオメトリしきい値を超えるジオメトリ類似性測度を有する、１つまたは複数のジオメトリ顔モデルを決定することと、選択された顔の１つまたは複数のジオメトリ特徴を決定し、前記選択された顔の、１つまたは複数のジオメトリ特徴を選択し、所定のジオメトリ変化レベルに対して、１つまたは複数のジオメトリ特徴に、変化を適用するための前記画像領域を処理することを含むジオメトリ非識別化処理と、２）前記選択された顔の１つまたは複数の顔特徴を選択し、事前記憶された特徴顔モデルのセットを含む記憶ユニットから、選択された特徴類似性測度を超える、選択された顔を有する顔類似性測度を有する、１つまたは複数の特徴顔モデルを取得し、所定の特徴変化レベルに対する、選択された１つまたは複数の、特徴顔モデルの対応する顔特徴を用いて、前記１つまたは複数の選択された顔特徴に、変化を印加するための画像領域を処理することを含む特徴非識別化処理と、３）パラメータセットが与えられると、顔画像を再構成するために（オートエンコーダー、ＰＣＡ、または他のリニアまたは非リニア低次元ベースのような）低次元パラメータモデルを、顔画像のデータセットから事前トレーニング（または事前計算）し、入力画像に描画される、選択された顔を表すパラメータを取得し、前記パラメータを（傾斜降下のような）最適化プロセスにおいて変更し、あるしきい値を下回る、１つまたは複数の顔認識システムの認識スコアを低減しながら、オリジナルの顔に対する類似度を最大化、および／または保持する目的のために、最適化された顔画像の変更されたバージョンを表し、前記選択された画像領域が、前記選択された顔の変更されたバージョンを表す、出力画像データを生成することを含む、最適化された非識別化別処理、の少なくとも１つを含む。

【0029】

いくつかの実施形態において、オリジナル画像に対する類似度を最大化する、および／または保持するための動作は、監視プロセスで、人間のユーザによって行うことができる。さらに別の広い態様によれば、この発明は、画像処理に使用するためのシステムを提供し、システムは、少なくとも１つの処理ユーティリティを含み、入力画像データを受信し、前記１つまたは複数の顔のアイデンティティを認識することを制限するために、１つ以上の選択された顔に対応する１つ以上の領域を変更するために、前記入力画像データを処理することを含み、前記処理ユーティリティは、顔モデルの１つまたは複数の、ジオメトリ顔モデルに関連し、前記１つまたは複数の、顔モデルのジオメトリに従って、前記選択された顔の１つまたは複数の、ジオメトリ特徴を、選択されたレベルに変化させる、事前記憶されたデータを取得するジオメトリ非識別化器と、１つまたは複数の事前記憶された特徴顔モデルを取得し、前記１つまたは複数の顔モデルの対応する特徴に従って、前記選択された顔の１つまたは複数の、選択された顔特徴を変更するように構成され、および動作可能な特徴非識別化器と、２以上の顔特徴と、それらの間の対応する距離比を選択し、選択された美的感覚パラメータに従って、適切な距離変動を決定し、選択された距離変動を、眼、眼の方向、眼の色付け、及び眼の回りの陰影間の１つまたは複数の、距離に対する選択された変化を、選択されたレベルに適用するように構成され、および動作可能な距離変更モジュールと、ノイズレイヤ（noise layer）を生成し、ノイズレイヤを選択された顔に関連した、画像領域上のノイズレイヤを、選択されたレベルに適用するように、構成され、および動作可能なノイズ付加モジュールの、１つまたは複数を含む識別化モジュールを含む。

【0030】

システムは、サーバシステムとして構成することができ、前記事前に提供されたジオメトリと、特徴顔モデルを示すデータを記憶する、ストレージユーティリティに関連することができる。付加的に、または代替的に、システムは、非識別化処理を、入力画像データに適用するように構成された、ポータブル、またはハンドヘルドコンピューティングユニットとして構成することができる。例えば、システムは、非識別化処理を、選択された獲得画像に適用するように構成された、カメラユニット（例えば、スマートフォン、またはスタンドアローンの「スマート」カメラ）に関連させることができる。

【0031】

いくつかの実施形態によれば、非識別化方法は、所定の顔画像を、主体の真の個人属性に関連づける能力を、著しく低減することによって、個人の属性が推定されることから、防止することを含むことができる。そのような属性は、物理的、および／または精神的、永久的、および／または一時的であり得る。これは、年齢、健康および精神状態、性別、性的指向、民族性、重量、高さ、妊娠の状態、気分／感情、ＩＱ、および社会経済的変数を含む。発明としてみなされる主題は、特に明細書の結論部分で指摘され、明瞭に請求される。しかしながら、この発明は、動作の組織化、および方法の両方に関して、それらの目的、特徴および利点とともに、添付図面を用いて読むとき、以下の詳細な説明を参照することにより、最も良く理解することができる。

【図面の簡単な説明】

【0032】

【図1A】図１Ａは、この発明のいくつかの実施形態に従う、例示コンピューティングデバイスの概略ブロック図を示す。

【図1B】図１Ｂは、この発明のいくつかの実施形態に従う、画像データの非識別化のための技術を概略的に説明する。

【図2】図２は、この発明のいくつかの実施形態に従う、ジオメトリ非識別化技術を概略的に説明する。

【図3】図３は、この発明のいくつかの実施形態に従う、特徴非識別化技術を概略的に説明する。

【図4】図４は、この発明のいくつかの実施形態に従う、距離変更技術を概略的に説明する。

【図5】図５は、この発明のいくつかの実施形態に従う、眼強調技術を概略的に説明する。

【図6】図６は、この発明のいくつかの実施形態に従う、非識別化入力画像データのためのシステムを概略的に説明する。

【図7】図７は、この発明のいくつかの実施形態に従う、非識別化モジュールを概略的に例示する。

【図8】図８は、この発明のいくつかの実施形態に従う、データサンプル間の知覚された、類似度のレベルを決定するための人間の知覚予測器をトレーニングする方法のためのフローチャートを示す。

【図9】図９は、この発明のいくつかの実施形態に従う、メディアファイルを合成する方法に関するフローチャートを示す。

【発明を実施するための形態】

【0033】

図の簡便および明瞭さのために、図に示されるエレメントは、必ずしも縮尺通りではないことが理解されよう。たとえば、エレメントのいくつかの寸法は、明瞭さのために他のエレメントに比べて拡張されている可能性がある。さらに、適切に考慮すると、参照符号は、図面中で、対応するまたは類似のエレメントを示すために、反復することが可能である。

【0034】

以下の詳細な記述において、この発明の完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、当業者には、この発明が、これらの特定の詳細無しに、実施できることは、理解されるであろう。他のインスタンスにおいて、良く知られた方法、手続、およびコンポーネント、モジュール、ユニット、および／または回路は、この発明を不明瞭にしないように、詳細に記載していない。１つの実施形態に関して記載した、いくつかの特徴またはエレメントは、他の実施形態に対して記載した、特徴またはエレメントと組み合わせることができる。明瞭さのために、いくつかの、または類似の特徴、またはエレメントの説明は、反復しない可能性がある。

【0035】

この発明の実施形態は、この点に関して制限されないけれども、例えば、「処理する」、「計算する（computing）」、「計算する（calculating）」、「決定する」、「確立する」、「解析する」、「チェックする」、等のような用語を利用する議論は、コンピュータの動作（複数の場合もある）、および／または処理（複数の場合もある）、計算プラットフォーム、計算システム、またはコンピュータのレジスタ、および／またはメモリ内の物理量（例えば電子量）として表されたデータを操作、および／またはコンピュータのレジスタ、および／またはメモリまたは動作、および／またはプロセスを実行するための命令を記憶することができる、他の情報非一時的記憶媒体内の物理量として同様に表される、他のデータに操作、および／または変換する他の電子計算デバイスを指すことができる。この発明の実施形態は、この点に制限されないけれども、例えば、ここで使用される「複数（plurality）」および「複数（a plurality）」は、「複数の（multiple）」または「２以上の」を含むことができる。用語「複数（plurality）」または「複数（a plurality）」は、２以上のコンポーネント、デバイス、エレメント、ユニット、パラメータ等を記載するために、明細書全体にわたって使用することができる。ここで使用される用語セットは、１つまたは複数のアイテムを含むことができる。明示的に述べない限り、ここに記載された方法の実施形態は、特定の順番、またはシーケンスに制限されない。さらに、記載した方法の実施形態、またはそれらのエレメントのいくつかは、時間的に同じ点で、すなわち同時に生じる、または実行することができる。

【0036】

この発明のいくつかの実施形態に従う、例示計算デバイスの概略ブロック図である、図１Ａを参照する。コンピューティングデバイス１００は、コントローラ、またはプロセッサ１０５（例えば、中央演算処理装置プロセッサ（ＣＰＵ）、チップ、または任意の適切なコンピューティングまたはコンピューテショナルデバイス）、オペレーティングシステム１１５、メモリ１２０、実行可能なコード１２５、ストレージ１３０、入力デバイス１３５（例えば、キーボード、またはタッチスクリーン）、および出力デバイス１４０（例えば、ディスプレイ）、例えば、インターネットのような通信ネットワークを介して、リモートデバイスと通信するための通信ユニット１４５（例えば、セルラ送信機、またはモデム、Ｗｉ－Ｆｉ通信ユニット等）を含むことができる。コントローラ１０５は、ここに記載された動作を実行するためのプログラムコードを実行するように構成することができる。ここに記載されたシステムは、１つまたは複数の計算デバイス（複数の場合もある）１００を含むことができる。

【0037】

オペレーティングシステム１１５は、調整（coordinating）、スケジューリング、調停（arbitrating）、監視（supervising）、制御または計算デバイス１００の管理動作、例えば、スケジューリング、ソフトウエアプログラムの実行のスケジューリング、ソフトウエアプログラムのイネーブル化（enabling）、または通信するための他のモジュール、またはユニットを含むタスクを実行するように設計、および／または実行するように構成された、任意のコードセグメント（例えば、ここに記載された実行可能コード１２５に類似するもの）であり得るか、または含むことができる。

【0038】

メモリ１２０は、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤ－ＲＡＭ）、ダブルデータレート（ＤＤＲ）メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、ショートタームメモリユニット、ロングタームメモリユニット、または他の適切なメモリユニット、またはストレージユニットであり得るか、または含むことができる。メモリ１２０は、複数の、恐らく異なるメモリユニットであり得るか、または含むことができる。メモリ１２０は、コンピュータ、またはプロセッサ非一時的可読媒体、またはコンピュータ非一時的ストレージ媒体であり得るか、または含むことができる。実行可能なコードは、任意の実行可能コード、例えば、アプリケーション、プログラム、プロセス、タスクまたはスクリプトであり得る。

【0039】

実行可能コード１２５は、コントローラ１０５によって、恐らく、オペレーティングシステム１１５の制御下で実行することができる。たとえば、実行可能コード１２５は、ここに、さらに記載されるように、方法を実行するソフトウエアアプリケーションであり得る。明瞭さのために、単一アイテムの実行可能コード１２５が、図１Ａに図示されているけれども、この発明の実施形態に従うシステムは、メモリ１２０に記憶することができ、コントローラ１０５に、ここに記載された方法を実行させることができる、実行可能コード１２５に類似した、複数の実行可能コードセグメントを含むことができる。

【0040】

ストレージ１３０は、例えば、ハードディスクドライブ、ユニバーサルシリアルバス（ＵＳＢ）デバイス、または他の適切な取外し可能、および／または固定ストレージユニットであり得るか、または含むことができる。いくつかの実施形態に従って、図１Ａに示すコンポーネントのいくつかは、省略することができる。たとえば、メモリ１２０は、ストレージ１３０の記憶容量を有する不揮発性メモリであり得る。したがって、別個のコンポーネントとして示されているけれども、ストレージ１３０は、メモリ１２０に埋め込むか、または含むことができる。

【0041】

入力デバイス１３５は、キーボード、タッチスクリーンまたはパッド、１つまたは複数のセンサ、または任意の他の、またはさらなる、適切な入力デバイスを含むことができる。任意の適切な数の入力デバイス１３５は、コンピューティングデバイス１００に、動作可能に接続することができる。出力デバイス１４０は、１つまたは複数のディスプレイ、またはモニタ、および／または任意の他の適切な出力デバイスを、含むことができる。任意の適切な数の出力デバイス１４０は、コンピューティングデバイス１００に動作可能に接続することができる。任意の適用可能な入力／出力（Ｉ／Ｏ）デバイスは、ブロック１３５および１４０で示される、コンピューティングデバイス１００に接続することができる。例えば、有線または無線ネットワークインターフェースカード（ＮＩＣ）、ユニバーサルシリアルバス（ＵＳＢ）デバイス、または外部ハードドライブは、入力デバイス１３５、および／または出力デバイス１４０に含めることができる。

【0042】

この発明の実施形態は、例えば、プロセッサ、またはコントローラにより実行されると、ここに開示された方法を実行する命令、たとえば、コンピュータ実行可能命令を含む、または記憶する、メモリ、ディスクドライブ、またはＵＳＢフラッシュメモリ、エンコーディングのような、コンピュータ、またはプロセッサ非一時的可読媒体、またはコンピュータ、またはプロセッサ非一時的ストレージ媒体のようなアーティクル（article）を含むことができる。たとえば、アーティクルは、メモリ１２０のような記憶媒体、実行可能コード１２５のようなコンピュータ実行可能命令、およびコントローラ１０５のようなコントローラを含むことができる。そのような非一時的コンピュータ可読媒体は、命令、例えば、プロセッサ、またはコントローラにより実行されると、ここに開示された方法を実行するコンピュータ実行可能命令を含む、または記憶する、例えば、メモリ、ディスクドライブ、またはＵＳＢフラッシュメモリ、エンコーディングであり得る。記憶媒体は、これに限定されないが、リードオンリメモリ（ＲＯＭｓ）、および／またはランダムアクセスメモリ（ＲＡＭｓ）、フラッシュメモリ、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭｓ）のような半導体デバイス、またはプログラマブルストレージデバイスを含む、電子命令を記憶するのに適した、任意のタイプの媒体を含む、任意のタイプのディスクを、含むことができる。たとえば、いくつかの実施形態において、メモリ１２０は、非一時的機械可読媒体である。

【0043】

この発明の実施形態に従うシステムは、これに限定されないが、複数の中央処理装置（ＣＰＵ）、または任意の他の適切な、多目的または、特定のプロセッサ、またはコントローラ（例えば、コントローラ１０５に類似したコントローラ）、複数の入力ユニット、複数の出力ユニット、複数のメモリユニット、および複数のストレージユニットのようなコンポーネントを含むことができる。システムは、さらに、他の適切なハードウエアコンポーネント、および／またはソフトウエアコンポーネントを含むことができる。いくつかの実施形態において、システムは、例えば、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ワークステーション、サーバーコンピュータ、ネットワークデバイス、または任意の他の適切なコンピューティングデバイスであり得るか、または含むことができる。例えば、ここに記載したシステムは、１つまたは複数の施設コンピューティングデバイス１００と、コンピューティングデバイス１００のような１つまたは複数の施設コンピューティングデバイス１００とアクティブに通信しており、かつスマートフォン、タブレット等のような１つまたは複数のデバイスとアクティブに通信している、１つまたは複数のリモートサーバコンピュータを含むことができる。図１Ｂを参照すると、この発明のいくつかの実施形態に従う、非識別化画像データのための、方法または技術を概略的に説明する。上で示したように、いくつかの実施形態は、画像データを処理するのに使用し、処理された画像データから、顔パラメータ識別する、顔認識アルゴリズムの能力を消去する、または少なくとも著しく低減するように構成された方法を、提供することができる。ジオメトリ非識別化（図２）、特徴非識別化（図３）および眼強調（図４）を含む、この方法または技術に従う、異なる非識別化エレメントを例示する、図２～４、およびフローチャートの形態でこの技術を例示する図１Ｂを参照する。

【0044】

図１Ｂに示すように、この方法または技術は、画像データ内の、１つまたは複数の領域１０２０を検出することにより、画像データを処理し、１つまたは複数の（一般的に２以上）非識別化バリエーションを用いて、非特別化処理（１０３０）を適用するために、一般的に任意のソースから受信した（１０１０）画像データの処理を可能にする。いくつかの実施形態において、１つまたは複数の顔領域は、ニュートラルな顔の表情のために、位置合わせ、および／または処理することができる。ジオメトリ（および／または形態学）非識別化（１０４０）、および／または特徴非識別化（１０５０）、および／または距離変動（１０６０）（例えば、顔の特徴に関する）、および／または眼の強調として例示さる非識別化変動は、防止すべき画像データの選択された顔領域を変動させるために、選択されたある処理を含むか、または、コンピュータ化された画像処理、および特に顔認識技術を用いて、画像データ内の人のアイデンティティを認識する能力を、少なくとも制限する。いくつかの実施形態は、また、処理の効率を検証するために、非識別化検証（１０８０）を実行することができ、非識別化処理の後で、変更した出力画像を生成することができ（１０９０）、使用のために提供することができる。いくつかの実施形態において、非識別化変動は、認識されたデータに基づいて、将来の悪意のある攻撃を防止するために、また生成的敵対的ネットワーク（generative adversarial network）（ＧＡＮ）を含むこともできる。いくつかの実施形態によれば、少なくとも１つの顔認識パラメータは、非識別化処理（１０２０）のための入力として、提供することができる。いくつかの実施形態において、少なくとも１つの視覚類似性パラメータ（例えば、機械学習モデルにより取得した）は、非識別化処理（１０３０）のための入力として、提供することができる。

【0045】

出力画像データは、一般的に、画像データ内の、１つまたは複数の、修正された顔に関連するアイデンティティを決定する際の、コンピュータ化された方法、または技術の能力を防止する、または少なくとも制限することができる、１つまたは複数の選択された顔領域以外の、入力画像データに同一であり得る。したがって、ここで使用される用語「非識別化」は、適切に処理された画像データにおいて、顔を識別するために、および画像データ内の人のアイデンティティを決定するために、コンピュータ化された顔認識、および／または識別化技術ための構成された画像処理に関連する、一般的な用語である。いくつかの実施形態は、少なくとも人間の眼に、部分的に認識可能であり、望ましくは、類似しているように見えるようにするように、画像データの外観、および１つまたは複数の選択された顔を維持するために、できるだけ多くの類似性を維持しながら、非識別化処理を適用することができる。

【0046】

いくつかの実施形態は、１つまたは複数の処理ユーティリティ、およびメモリ／ストレージユーティリティを利用する、コンピュータ化されたシステムにより動作することができる。一般的に、そのようなシステムは、種々のパラメータを有する複数の事前提供された顔モデルを含む、顔モデルストレージユーティリティに、アクセスすることができ、顔モデルストレージユーティリティは、部分的に記憶することができ、または、通信ネットワークを介してアクセス可能である。たとえば、いくつかの実施形態は、有線または無線通信ネットワークを介して、またはユーザ嗜好に従って、画像に非識別化処理を適用するように構成された、例えば、カメラユニットに相関した、ローカル処理ユニットによって、入力画像データを受信するように構成された、１つまたは複数のサーバシステムにより適用されることができる。

【0047】

受信した入力画像は、単一画像、ロケーション、画像内に現れる人々のアイデンティティ、および／または獲得の時間のような、１つまたは複数のパラメータにより、それらの間に関連することができる、画像の集まり、または、ビデオを形成するような画像ストリームであり得る。いくつかの実施形態は、異なる画像の類似顔が、画像グループの連続性を維持するために同様に処理することができるように、（あるパラメータにより接続されたまたはビデオを形成する）複数の画像上に、ユーザ嗜好に従って、非識別化処理を適用するように構成することができる。あるいは、各画像は、別個に処理することができ、それにより、さらに、画像間のつながりを低減することを犠牲にした、アイデンティティの識別能力をさらに制限することができる。

【0048】

いくつかの実施形態は、顔（１０２０）に関連した、１つまたは複数の画像領域を検出するための、任意の周知の顔検出技術を利用することができる。いくつかの実施形態は、人間の顔に関連した物体を検出するために、事前トレーニングした、１つまたは複数のオブジェクトクラス検出を利用することができる。そのような顔検出技術は、典型的に人間の眼を識別し、顔領域をマッチングし、顔に関連した画像領域を決定するように、顔の特徴にフォーカスするように構成することができる。いくつかの実施形態は、以下のさらに記載するように、１つまたは複数の顔特徴を決定するために、使用することができる。

【0049】

いくつかの実施形態は、ユーザまたはオペレータが、非識別化のための１つまたは複数の顔を選択することを可能にする、ユーザインタフェースを提供することができる。たとえば、入力画像データが受信されると（１０１０）、１つまたは複数の顔領域が、決定された（１０２０）、画像データは、ユーザに顔領域上のマーキングを用いて提示するために、事前処理することができる。したがって、ユーザは、非識別化のための１つまたは複数の顔、または処理する必要がない顔を選択することができる。

【0050】

人間の顔に相関した、１つまたは複数の画像領域を選択すると、いくつかの実施形態は、選択された画像領域の非識別化処理（１０２０）に関して動作することができる。非識別化処理は、顔識別技術に関連した１つまたは複数、一般的には、２以上のフィールドに変化を与え、それにより、コンピュータ化された認識技術を用いて、人を識別することを防止する、少なくとも大幅に制限する、選択された画像処理技術を利用する。非識別化処理は、１つまたは複数のタイプの画像変化を含むことができ、望ましくは、ジオメトリ、顔の特徴、および／または、選択された顔の眼の変化を提供する、２以上の画像変化を含むことができる。図２乃至５は、いくつかの実施形態に従う、ジオメトリ非識別化（図２）、特徴非識別化（図３）、顔特徴距離変動（図４）および眼の強調（図５）に関連した技術を例示する。

【0051】

さらに、いくつかの実施形態によれば、非識別化は、また、ノイズレイヤを画像領域１０３５に適用することを含むことができる。ノイズレイヤは、数パーセントの画像領域色強調を用いて適用することができ、ランダムノイズまたは敵対的ノイズ（adversarial noise）、または敵対的ノイズパターンまたは顔（例えば、選択された顔モデル）、または任意の他のオブジェクトである選択された形状／構造に関連したパターンを含むことができる。

【0052】

非識別化処理の後で、いくつかの実施形態は、一般的に非識別化を認証する（validate）ことができ（１０８０）、人の外観との、ある類似度を最大化する、および／または維持するが、顔認識技術により認識できないように、選択された顔を変化させることができる、出力画像データを生成する（１０９０）。非識別化認証（de-identification validation）（１０８０）が不十分である場合、処理した画像は、画像内に現れる人のアイデンティティを決定するように、識別することができるか、または例えば、人間の視覚／心理学の観点から、画像が過剰処理され、人の顔に対する十分な類似度を保てない場合、画像領域は、以下の詳細に述べるように所定のしきい値に対応する変化を用いて再度処理することができる。

【0053】

ジオメトリおよび特徴非識別化処理（（１０４０）および（１０５０）、および図２および図３により詳細に例示される）は、典型的に、１つまたは複数のストレージユーティリティ／データベースに記憶された、事前に用意されたデータを利用し、データベースは、この方法または技術を動作させる処理ユーティリティに、直接接続可能であり、適切な通信ネットワークを介してアクセス可能である。事前に用意されたデータは、異なるパラメータを有する複数の顔モデルに関するデータを含むことができ、いくつかの実施形態では、幾何学パラメータのセットおよび色調データを利用する、顔モデルを生成するのに適したデータ（例えば、コード化命令）を含むことができる。事前に記憶されたデータは、ジオメトリ変化に使用するジオメトリ顔モデル、および特徴変化に使用する特徴顔モデルを含むことができる。画像フォームに提供される顔モデルは、非識別化のために選択された顔のパラメータに従って、ジオメトリ変化、または特徴変化に使用することができる。しかしながら、いくつかの実施形態において、ジオメトリ顔モデルは、例えば、実際の画像データを含まないけれども、特定のマーキングポイントのベクトルロケーションを、マークする／示す座標のリストにおける顔座標についてのデータ、を含むことができる。

【0054】

顔モデル、特に、特徴顔モデルは、一般的に、異なる性（男性モデルおよび女性モデル）に関連した顔モデルを、肌色変化、年齢変化（年齢近似技術に基づいて）、異なる民族性、および顔の形状、および構造に関連した顔モデルを含むことができる。顔モデルは、画像から提供することができ、および／またはコンピュータ生成された顔モデルである合成モデルから描画することができる。さらに、いくつかの実施形態において、種々の位置および方向における選択された顔に対して、顔モデルの位置合わせを可能にする、ある３次元表示を含むことができる。

【0055】

ジオメトリ非識別化処理を例示する図２を参照する。図示するように、ジオメトリ非識別化技術は、識別される顔に関連した、選択された画像領域の処理に関連する。いくつかの実施形態は、選択された顔のジオメトリ的測度（geometrical measure）を決定し（２０２０）、１つまたは複数の顔モデルを取得し（２０３０）、取得した１つまたは複数のジオメトリ顔モデルに従って、選択された顔の幾何学に変化を適用する（２０４０）、ジオメトリ非識別化に対する画像領域を供給する（２０１０）（それは、さらに以下に記載するように、オリジナル画像領域、または特徴非識別化、または眼の強調であり得る）。

【0056】

選択された顔のジオメトリ測度（２０２０）は、一般的に、顔構造に関連した、１つまたは複数のパラメータを含むことができる。そのようなパラメータは、たとえば、顔幅、眼の間の距離、顔の高さ等の絶対測定（absolute measurement）として決定することができ、または望ましくは、顔の幅－高さ比、眼の距離と眼の幅との間の比、顔の高さに対する額の比等のような関連する測定値間の比として決定することができる。

【0057】

決定されたジオメトリ測度にしたがって、１つまたは複数のジオメトリ顔モデルは、事前に記憶されたジオメトリ顔モデルから選択し、取得することができる（２０３０）。選択されたジオメトリ顔モデル（複数の場合もある）は、望ましくは、非識別化される顔にできるだけ近いジオメトリ測定値を有するように選択することができる。したがって、顔モデルの（色、年齢、性、等のような）他のパラメータは、無視することができる。

【0058】

さらに、または代替的に、いくつかの実施形態は、（ジオメトリおよび／または顔の変化に関して）適切な顔モデルを生成する、事前記憶されたデータ／命令を利用することができる。適切な顔モデルは、顔サイズ、選択された距離（例えば、眼と眼の間、耳と耳の間、口と鼻の間等）、特徴のサイズおよび形状、および色の変化およびトーンのような１つまたは複数のジオメトリパラメータ、および色調パラメータを用いて生成することができ、および１つまたは複数の周知技術（例えば、「FaceGen.com」）、および／または種々のマシン／ディープラーニング技術を用いて生成することができる。これらの構成において、いくつかの実施形態は、事前に記憶されたコード化命令へのアクセスを取得し、ジオメトリ非識別化、および／または選択された顔の、特徴非識別化に適した顔、モデルを生成するコード化命令と共に選択された顔の、一般的（例えば、色調）な測定値と、ジオメトリ測定値の決定された値を用いることを利用することができる。そのように生成された顔モデルが、ジオメトリ変化に用いることができるいくつかの実施形態において、顔モデルは、皮膚の色等の生成を省略しながら、座標のみを提供するために、生成することができることに留意する必要がある。

【0059】

いくつかの実施形態は、さらに、１つまたは複数の取得したジオメトリ顔モデル（２０４０）に従って、例えば、アフィン変換技術を用いて選択された顔の変更、またはワーピング（warping）の画像処理技術を利用する。典型的にコンピュータ化処理であるけれども、これは、簡単のために以下では、画像エレメントを有するアクションとして、説明することができる。この目的のために、取得した顔モデルは、選択された顔画像領域の上部の層として載置することができ、できるだけ選択された顔にフィットするように、位置合わせ、またはサイズ変更することができる。選択された顔のライン／エッジは、ある選択されたジオメトリしきい値まで、顔モデルの選択された画像に、適合するように変化／ワープすることができる。たとえば、鼻の幅、眼の距離、眼の幅または高さ、顔の幅、額の高さ、ヘアーライン、顎ライン、または、顔のジオメトリを決定する任意の他のラインは、選択された顔モデルに従って、選択されたしきい値に変更／ワープすることができる。異なる顔モデルは、選択された顔のジオメトリのわずかに異なる変化を与えるように、さらなるジオメトリ顔モデルを用いて適用することができる。簡単なジオメトリ変化よりも、むしろ選択された顔モデルを用いて、非識別化された顔の自然な外観を、維持することができ、一方顔モデルのジオメトリ類似度の変更と選択のための、選択されたしきい値は、処理された顔の、ある類似度をオリジナル画像データの、それに維持することを提供する。ジオメトリ変更しきい値は、所定のイニシャルしきい値（例えば、１０％、１５％、２０％または２５％）として選択することができ、人のアイデンティティが依然として検出できる場合には、増大する非識別化検証に従って、または類似度が十分維持されない場合には、減少する非識別化検証に従って、検証することができる。

【0060】

非識別化に関連したさらなる変化は、特徴非識別化に関連し、これは、図３に例示される。処理に関する提供された画像領域（３０１０）は、非識別化のために選択された領域か、または、ジオメトリ非識別化、および／または眼の強調のために処理された画像領域であり得る。特徴非識別化（および／または画像モーフィング（morphing）技術）は、眼、耳、鼻、顎、口、ヘアーライン、眉毛、頬、または任意の他の選択された顔の特徴のような顔の１つまたは複数の選択された特徴（３０２０）に適用することができる。一般的に、特徴非識別化は、ここでは、単一の選択された特徴に適用されるとして記載され、いくつかの特徴に対して独立して１つずつ適用することができる。変更できる特徴の数は、所定のイニシャルパラメータに基づいて選択することができ、人が依然として識別することができる場合には、増大する非識別化検証に基づいて、あるいは、類似度が十分維持できない場合には、減少する非識別化検証に基づいて変化させることができる。

【0061】

各選択された特徴に関して、１つまたは複数の特徴顔モデルは、事前に用意された顔特徴モデルから選択することができ（３０３０）、あるいは、上述したように（マシン／ディープラーニング技術を用いて事前記憶されたコード化命令に基づいて、および選択された顔のパラメータ値および測定値に従って）生成されることができる。特徴顔モデルは、処理のために選択した特徴に高い類似度を有する対応する特徴を含むように選択することができる。したがって、特徴顔モデルは、１つまたは複数の以下のパラメータに従って、選択することができる：年齢類似度、皮膚の色の類似度、特徴掲示用の類似度、並びに、顔と顔モデルの推定された性。各選択された特徴は、類似の、または異なるバリエーションレベル（しきい値）を有して、１つまたは複数の顔モデル（上述したように事前に記憶され、および取得され、および／または生成される）を用いて処理し、変更することができる。さらに、選択された顔の異なる特徴は、同じまたは異なる、１つまたは複数の、特徴顔モデルを用いて変更することができる。

【0062】

選択された特徴顔モデル、またはそれの顔特徴は、処理するために、顔領域の選択された特徴に適用することができ、および選択された特徴しきい値に適切な変化モーフィング（morphing）を適用するために、使用することができる（３０４０）。したがって、選択された画像領域の「オリジナル」の特徴は、１つまたは複数の画像処理／変更技術により選択された、特徴顔モデルの対応する特徴に従って、モーフィングすることができる。たとえば、これは、選択された顔モデル特徴の、ポアソン画像合成（Poisson blending）、シームレスクローニング（seamless cloning）、および／またはアルファ合成（alpha-blending）を用いて選択された「オリジナル」特徴に適用することができる。特に、特徴ジオメトリは、伸張（stretching）または狭小（narrowing）により変更することができ、色調は、変化することができ、画像レイヤ（オリジナル特徴レイヤ対顔モデル特徴レイヤ）間のフェージングのあるレベルは、選択されたしきい値（例えば、２０％、５０％、または６０％）まで適用することができ、それは、非識別化変動に従って変更することができる。

【0063】

ジオメトリおよび特徴非識別化に加えて、非識別化処理は、いくつかの実施形態に従って、顔特徴のさらなる変化も含むことができる。これは、図４に例示される一般的な距離変動を含み、および／または図５に例示される眼強調処理を含む。図５は、フローチャートの方法で、画像データ内の顔の非識別化技術を例示する。いくつかの実施形態は、処理（４０１０）のための画像領域に関連したデータを、受信または供給することを含むことができ、画像領域は、典型的に少なくとも１つの顔画像を含み、非識別化処理を受ける。いくつかの実施形態は、さらに、顔特徴の選択（４０２０）、典型的には、特徴またはそれらの間の距離のペアを含み、選択された特徴および距離は、適切な変化比についてのデータを決定するために処理することができ、例えば、決定された変化比（４０３０）に従って、距離変動（および／またはスケール、および／または回転比）を決定することができ（４０４０）、画像領域に適用することができる（４０５０）。

【0064】

距離変動技術は、一般的に距離を変化させることに向けられており、または種々の民族的および心理的観点、例えば、美学に関連すると考えられている黄金比「１．６１８」に従って、顔特徴間の距離比を変更することに向けることができる。距離変更技術は、選択された嗜好の技術に従って選択された顔に、一度または複数回動作させることができる。各実行において、技術は、顔特徴または特徴間の距離の選択に基づいて（４０２０）、選択された距離間の比と、適切な変化オプションを決定するように動作することができる（４０３０）。示したように、適切な変化オプションは、増大された対称性等を提供するために、黄金比φにより近くなるように、いくつかの距離比を変化させるような、結果として得られる画像に増大した美的キャラクタを、提供するように決定することができる。たとえば、選択された特徴／距離は、口の幅、唇の厚み、鼻の長さ、鼻の幅、耳の長さ／高さ、眉毛の長さおよび厚み、眼と眼の間の、ひよこ骨の高さ（chick bones height）、眼の幅等を含むことができる。適切な変動オプションに基づいて、いくつかの実施形態は、適用される変化を決定することを含むことができる（４０４０）。そのような変動は、一般に選択したレベルの比識別化に従って、一般に選択することができ、あるランダム変動を含むことができる。例えば、選択された変動は、口から鼻等のように選択された顔特徴間の距離に対して、５％乃至１０％の増分に関連することができ、選択された変化は、適切なレンジ内の選択された数であり得る。決定された顔ジオメトリに従って、いくつかの実施形態は、適切な変動のレンジ内で、ランダムに選択される、距離変動を選択することができ、またはいくつかのジオメトリに関して、適切な選択は、適切な変動の境界、例えば、最大化された距離、または全く変動無しであり得る。さらに、画像データ領域は、例えば、アフィン変換技術を利用して、選択された変動レベルに従って、選択された距離比を変化させることができる。

【0065】

距離変動技術は、典型的に、他の顔特徴と一緒に、眼に関連した距離の変化を含む。しかしながら、眼は、典型的に顔認識技術において、より大きなウエイトを占めるので（receive greater weight）、専用眼変換は、画像データ内の顔の非識別化を増大させることができる。この目的のために、図５は、フローチャートの形で、この技術に使用するのに適した、眼強調技術を例示する。一般に、種々の顔認識技術は、画像内の人々のアイデンティティを決定するための、他の顔特徴に対して、より大きくなり得るレベルまで利用することができる。この目的のために、いくつかの実施形態は、さらなる防止のために、さらなる眼の変化／強調を提供することができ、または少なくとも識別能力を大幅に制限することができる。眼の強調処理は、一般に、処理のための画像領域を提供すること（５０１０）、顔の眼の領域を決定すること（５０２０）、眼の距離変動を決定すること（５０３０）、眼の回転を印加すること（５０４０）、選択された眼の色付け変化を印加すること（５０５０）と、眼の陰影変化を印加すること（５０６０）を含む。

【0066】

一般に、眼の強調技術は、選択された画像領域内の、右眼と左眼の位置と、パラメータを決定する（５０２０）ための画像処理技術を利用することができる。そのようなパラメータは、一般に、物理サイズ（ピクセル単位）、眼の間の距離、眼の方向、瞳孔（pupil）と強膜（sclera)領域、眼の領域の下部、または眼の領域の上部の陰影等を含む。眼の強調は、顔認識技術が、人のアイデンティティを決定するために、他の顔の特徴よりも、眼に関連する画像データをより大きな度合いで利用するという仮定に基づくことができる。さらに、いくつかの実施形態は、画像データの非識別化に加えて、結果として得られる、出力画像の美的感覚（aesthetics）を考慮することに向けることができる。この目的のために、眼の強調技術は、望ましくは、１つまたは複数の美的感覚パラメータを考慮しながら、眼のパラメータを変化させることに向けることができる。たとえば、眼の距離変動を決定する（５０３０）際に、いくつかの実施形態は、眼の間の距離の、受け入れ可能な変化を決定するために動作することができる。受け入れ可能な変化は、処理される顔に相関する、画像領域内の他の距離測度に関連して、眼の間の現在の（またはオリジナルの）距離に従って、決定することができる。そのようなさらなる測度は、耳、鼻の幅、眼の幅、口の幅、および他の幅に関連する特徴との間の距離を含むことができる。一般的に、いくつかの実施形態は、ポジティブな距離変動を決定することができる。すなわち、オリジナルの眼の距離に対して、より大きい新しい眼の距離を決定することができる。典型的に、眼の距離変動は、所定の眼の距離の数パーセントの、選択されたしきい値内で決定することができる。選択されたしきい値は、また処理される顔の幅の特徴に従って、決定することができる。

【0067】

さらに、眼の間の距離を変化させることに加えて、眼の強調技術は、選択的に眼の領域を回転させるように、動作することができる（５０４０）。一般的に、いくつかの実施形態は、推定された水平面に対して、右眼と左眼の角度方向を決定する、画像処理および解析技術を利用することができる。いくつかの実施形態は、眼の方向を、推定された水平面（処理された画像データに基づいて）と位置合わせすることができ、および／または眼の方向を、眼の間の対称性を増加するように変化させることができる。

【0068】

眼の強調技術は、さらに、眼の色付けバリエーション（５０５０）、および眼の陰影バリエーション（５０６０）を含むことができる。眼の色付けバリエーション（５０５０）は、右眼および左眼の胸膜領域の色を決定することに関し、一般的に、色に影響を及ぼす選択された眼の色付けに白色を適用する。眼の色付け（５０５０）は、瞳孔領域の色に影響を及ぼすが、選択された色変化を含むこともできる。眼の陰影変化（５０６０）は、陰影領域の上側および下側、および眼の色分布を決定することと、決定された対応する陰影色調変化（shade tone variation）を含む。典型的に、美的感覚の観点から、いくつかの実施形態は、女性の顔画像には、より暗い陰影を、男性の顔画像には、より明るい陰影を選択することができる。眼の回りの顔領域の色調、および処理される画像データ内の照明に従って決定されるけれども、選択された印影トーン、または色は、典型的に小さな色変化であるように選択することができる。

【0069】

一般的に、上で示したように、非識別化処理は、ジオメトリ非識別化（１０４０）、特徴非識別化（１０５０）および眼の強調（１０６０）を含む、上述した実施形態の１つ、２つ、または３つすべてを含むことができる。画像変化／処理技術は、非識別化処理（例えば、選択された顔領域）に関して選択された画像領域に関連する、選択された特徴の変化に関連することができる。いくつかの実施形態は、また、そのように処理された画像領域（顔領域）の上部に、ノイズレイヤ（１０３５）の追加を含むことができる。そのようなノイズレイヤは、顔に関連し得るまたは、関連し得ない、選択された形状／構造に対応する、ピクセル色変更のあるパターンを含むことができる。たとえば、ノイズレイヤは、約１％～８０％の不透明度を有し、（ランダムに）選択された顔モデル、選択された、動物または任意の他の構造の形状に関連したパターンを含むことができる。いくつかの実施形態において、ノイズレイヤは、一般的なランダムノイズ、および／または敵対的ノイズ（adversarial noise）に関連することができる。そのようなノイズレイヤは、顔認識アルゴリズムを指示して、選択された処理画像領域を、顔以外の何かであると誤認識させ、および／または選択された顔のアイデンティティを誤って識別させる。

【0070】

いくつかの実施形態は、図１Ｂの非識別化検証プロセスを含むことができる。検証処理は、非識別化処理の後で、各画像データピースに適用することができ、選択された処理画像に、周期的に、またはランダムに適用されて選択された、しきい値を決定する、および／または更新することができ、あるいは、キャリブレーションステータス（calibration status）として動作されるとき適用し、それにより非識別化処理能力を、モニタすることができる。非識別化検証処理（１０７０）は、１つまたは複数の既存の顔認識プログラムによる顔認識処理のために、オリジナルの、および処理された画像データピースを提供することと、顔認識処理の出力を受信することと、結果として得られた信頼度値を、所定の成功しきい値と比較することを、含むことができる。さらに、非識別化検証処理は、オリジナルの選択された顔と、非識別化処理の後の結果として得られた、顔との間の類似度値を決定することを含むことができる。類似度値は、顔識別／認識に使用することができる、パラメータを考慮せずに、一般的な類似度に従って決定することができる。これは、オリジナル画像データと、処理された画像データとの間にある、類似度を維持しながら、顔の非識別化を可能にするために、実行することができる。たとえば、類似度値は、ピーク信号対ノイズ比（ＰＳＮＲ）、ヒストグラム比較、構造的類似度（ＳＳＥＶＩ）、距離ベクトルセット（例えば、アクティブ外観モデル（ＡＡＭ）、またはアクティブ形状モデル（ＡＳＭ）特徴抽出技術）、ディープラーニング分類器、姿勢推定器、およびマシンラーニングおよびディープラーニング技術を用いた、人間の視覚に関する他の類似度予測を含む、以下のパラメータの、１つまたは複数を決定することにより、決定することができる。類似度値は、処理された画像が、どの程度オリジナル画像と異なるかを、測定することに向けることができる。類似測度は、顔のアイデンティティに関連する、顔の特徴に限定されずに、全体の画像領域を観察して、非識別化画像に対する審美眼的類似度を提供するのに使用することができる。

【0071】

非識別化検証処理は、画像データに現れる顔に基づいて、人を識別する際の顔認識プログラム／技術の能力についての、データおよびオリジナル画像データと、処理画像データ（または画像データ内の選択された１つまたは複数の顔）との間の、一般的／美的感覚的、および／または人間の視覚類似度についてのデータを提供することができる。この検証処理は、選択されたしきい値を、決定、および／または更新するために、並びに、異なる非識別化技術を選択し、およびジオメトリ非識別化、特徴非識別化、眼の強調、それらの２つまたは３つの処理技術を動作させて、処理された画像データの顔認識の効率的な制限を、提供することができる。

【0072】

上述したように、いくつかの実施形態は、少なくとも１つの処理ユーティリティを有し、上述した顔モデルが、事前記憶されたストレージユーティリティに接続可能な、非識別化システムにより、インプリメントすることができる。そのようなシステムは、入力画像データストリームを受信し、１つまたは複数の選択された、非識別化顔領域を含む、対応する出力画像データを、通信ネットワークを介して送信するために、１つまたは複数のユーザと通信するように構成された、１つまたは複数のサーバシステムと、関連づけることができる。さらにまたは代替的に、システムは、通信ポート、および／またはそれに関連する、カメラユニットから直接に、入力画像データストリームを受信するように構成された、ローカルシステムであり得る。この発明に従う、システム１００（図６）および入力画像データストリームについての、上述した実施形態をインプリメントするように構成された、非識別化モジュール（図７）を概略的に説明する、図６および図７を参照する。

【0073】

図６は、処理ユーティリティ５００、入出力通信ポート１２０、およびストレージユーティリティを含み、入力画像ストリームを受信し、入力画像ストリームの、１つまたは複数の画像内の選択された顔を、非識別化するための入力画像ストリームを処理するように、構成することができるシステム１００を、概略的に説明する。処理ユーティリティ５００は、入力画像ストリームを受信し、選択された顔を非識別化処理するための、１つまたは複数のソフトウエア、および／またはハードウエアを用いて、選択された処理を提供するように構成することができる。

【0074】

処理ユーティリティ５００は、顔認識モジュール５１０、非識別化モジュール５２０、検証モジュール５８０、および画像生成器５９０を含むことができる。処理ユーティリティに直接接続することができ、または通信ネットワークを介して接続可能な、ストレージユーティリティ６００は、一般的にジオメトリ顔モデル６２０および特徴顔モデル６４０のような顔モデルデータベースを含み、さらに、典型的な処理データ、しきい値関数データ等の一般的／一時的ストレージを含むことができる。処理ユーティリティ５００は、処理するための画像ストリームを受信するように構成することができ、画像ストリームは、それらの間で関連づけることができる、１つまたは複数の画像を含むことができ、あるいは、各画像が異なるシーンに関連することができ、および／または、異なる人々の顔を含むという意味において、別個であり得る。顔認識モジュール５１０は、入力画像データを解析して、非識別化処理に適した顔に関連した、画像領域を決定する。典型的に、そのような画像領域は、顔検出技術、例えば、カメラに向かっていて、（ピクセルの数において）十分に大きい顔を用いて識別することができる。非識別化のための、画像領域、または顔の選択は、非識別化する顔を示すユーザから、入力選択データを受信することを含むことができる。

【0075】

非識別化モジュール５２０は、非識別化プロセスのための、選択された画像領域を受信し、ストレージユーティリティ６００に事前記憶された、１つまたは複数の選択された顔モデルを用いて、上述した非識別化技術を適用するように、構成することができる。非識別化モジュール５１０は、上述した選択された画像内の顔を、非識別化処理し、ある場合には、そのように処理された画像データを、上述した非識別化検証するために、検証モデルに送信するように動作することができる。非識別化検証は、オプションとして設ける、選択的に適用する、および／またはしきい値パラメータのキャリブレーションのために、使用することができることに留意されたい。たとえば、システムが、非識別化処理ユーティリティ５００を含むカメラユニットとして構成することができ、検証モジュールは、処理ユーティリティの一部でなくてもよく、外部モジュールとして品質保証のために使用することができる。最後に、画像生成器５９０は、処理された画像領域（複数の場合もある）を受信し、処理した画像領域をつなぎ合わせて、ビデオデータ、１つ以上の画像または任意の他の選択されたフォーマットのような、選択されたフォーマットの画像データへ、ステッチ（stitch）することにより出力画像ストリームを生成することができる。

【0076】

図７は、非識別化モジュール５２０、およびその対応するソフトウエア、および／またはハードウエアモジュールを、概略的に説明する。非識別化モジュール５２０は、ジオメトリ非識別器（de-identificator）５３０、特徴非識別器５４０、距離変動モジュール５５０、眼強調、および／またはノイズ付加レイヤ５６０の、１つまたは複数を含むことができる。モジュール５３０－５６０の各々は、画像領域の選択されたエレメントを変化させるための、上記実施形態に従って、選択された画像領域を処理するように構成することができる。

【0077】

ジオメトリ非識別器５３０は、画像領域内の、選択された画像のジオメトリ測度を決定し、リクエストを、１つまたは複数の、適切なジオメトリ顔モデルのための、ストレージユーティリティ６００に送信し、ジオメトリ変化を、選択された顔に適用するように構成することができる。特徴非識別化器５４０は、例えば、ユーザ命令に従って、処理する１つまたは複数の、顔特徴を選択し、ストレージユーティリティ６００から、対応する特徴顔モデルを取得し、上述した顔モデルの特徴に従って、選択された特徴に適切な変化を適用するように、構成することができる。距離変動モジュール５５０は、顔特徴間の選択された距離に、一般的な変化を決定するために、画像領域に影響を及ぼし、典型的には、（例えば、φ≒１．６１８により近似値になるように選択された比に対して、または、さらに前記比に対して影響を及ぼすことにより）顔の対称性、および／または美的感覚を増大させるために、画像領域に影響を及ぼすように構成することができる。眼の強調は、上述したように、決定した、および眼の距離、方位、色付け、および／または陰影に変化を適用するように構成することができる。一般に、上で示したように、非識別化モジュール５２０は、また、上述したように、選択された領域（複数の場合もある）の、上部のノイズレイヤを生成し、適用するように構成された、ノイズ追加モジュール５６０を含むことができる。一般に、非識別化モジュール５２０は、選択された、１つまたは複数の、非識別化器を動作することができ、並びに入力画像ストリームを有するユーザにより、事前提供された、および／または提供された、入力動作嗜好に従って、動作の順番を決定することができる。

【0078】

上述したように、いくつかの実施形態は、コンピュータ画像認識技術を用いて、画像データを処理することにより、個人のアイデンティティを識別する能力を消去する、または少なくとも著しく低減することを、備えることができる。これは、出力処理された、画像データと入力画像データ内の外観との間の、少なくともいくつかの類似を維持しながら実行することができる。いくつかの実施形態は、いくつかのバリエーション技術が、選択された閾値で適用することができるように、種々の非識別化レベルおよび技術を、提供することができる。これは、増大した（および／または最適化された）非識別は、さらなる、またはオリジナル画像データから、より大きなバリエーションを犠牲にして、最適化された結果に関する、上記実施形態のすべてを実行することができる。

【0079】

一般的に、いくつかの実施形態は、適用される手続（配置（geometry）非識別、特徴非識別、距離の変化、眼の強調、ノイズレイヤ等）およびプライバシー（非識別レベル）の所望のレベルに従って、変化のレベル／しきい値を選択するように構成された、マスタプロトコル、またはディープラーニングモジュールにより、制御されることができる。上述したように、非識別が十分である、過度または不十分である、および従って処理プロトコルを更新することを決定するための、画像データピースの処理は、画像データ内の人のアイデンティティを識別する、顔認識技術の能力を決定し、および／または人間の視覚の観点から測定された類似性を、決定することにより検証することができる。更新された処理プロトコルは、すべての上記実施形態が使用することができない、および／または変化レベル、およびしきい値を更新することができない場合、さらなる非識別技術を含めることができる。

【0080】

したがって、いくつかの実施形態は、結果として得られる、出力画像と、オリジナル画像内の、個人の外観との間の、人間の視覚の観点からの、類似性を維持することにより、親しさの外観を維持しながら、公開された画像に基づいて、アイデンティティが決定されることを防止しながら、エンティティを用いて、画像を使用する能力を提供することができる。上述した実施形態は、顔認識に関連することができるけれども、非識別化の同様の実施形態は、また、例えば、顔画像の代わりに、指紋画像を変更する処理への、対応する変更を使って、識別（例えば、識別する画像、指紋、網膜スキャン、ビデオクリップからのゲートを識別するために画像をスキャンする等）するための、他の種類の画像処理に、適用することができることが理解されなければならない。さらに、画像の変更について上述したが、非識別化の類似の実施形態は、また、他のタイプのメディアデータ、例えば、テキスト、オーディオ等を変更することに適用することもできる。例えば、テキストファイルにおいて、識別する領域は、メディアテキストファイルの、特定の部分に関して定義することができ、非識別化プロセスの期間に、人間に依然として理解できる、および／または読取ることができながら、（上述した顔認識アルゴリズムに類似した）テキスト認識アルゴリズムでは、もはや認識できない類似のテキストファイルを生成することができるまで、その識別領域を変更することができる。

【0081】

図８を参照すると、いくつかの実施形態に従う、データサンプル間で、知覚された類似度のレベルを決定するために、人間の知覚予測器をトレーニングする方法のためのフローチャートを示す。上述したように、コンピュータ化されたデバイスは、実際の人間の知覚に類似した、メディアファイル間類似性を認識するように構成された「人間の視覚」を作るように（例えばマシンラーニングまたはディープラーニングを用いて）トレーニングすることができ、例えば、２つの画像表示された、類似の顔を認識したり、または類似の音楽を含む２つのオーディオファイルを、認識したりすることができる。

【0082】

いくつかの実施形態によれば、そのような人間の知覚予測器は、各メディアファイルに関して少なくとも１つのメディアファイル（例えば、画像、オーディオ等）を受信し、および少なくとも１つの識別領域（例えば、顔、またはオーディオトラック）において、決定する（８０２０）ことにより、トレーニングすることができる。いくつかの実施形態において、少なくとも１つの変換（例えば、画像ファイルに関するジオメトリ変換、またはオーディオファイルに関するピッチ変換）を、少なくとも１つの変更されたメディアファイルを受信することができるまで、各メディアファイルに関する各識別領域に、適用することができる（８０３０）。

【0083】

いくつかの実施形態において、各変更されたメディアファイルと、対応する受信されたメディアファイルとの間の、類似度に関する入力を、受信することができる（８０４０）。たとえば、入力は、専用データベースから、および／またはメディアファイル（例えば、画像、テキスト、オーディオ等）間の類似度について、ラベリングまたは応答するユーザのフォーカスグループから、受信することができる（８０４０）。メディアファイル間の類似度についての質問に答える、ユーザのフォーカスグループの場合、ユーザのフォーカスグループには、２つの（またはそれ以上の）メディアファイルと類似についての、いくつかの質問、例えば、１～１０のスケールに基づいて、どの画像（または例えば、オーディオファイル）がオリジナル画像（または、例えば、オーディオファイル）に最も類似しているか、を提示することができ、それにより、各メディアファイルに関して、人間の類似パラメータを作ることができる。いくつかの実施形態において、フォーカスグループのユーザに提示された、変更されたメディアファイルは、オリジナルのメディアファイルに最も適した類似度を受信するように、変換と組み合わせの、各タイプに関するメディアファイルであり得る。いくつかの実施形態において、適用された変換は、少なくとも１つの分類器により、対応する受信されたメディアファイルに関する自信度（および／または誤識別）の低減を生じさせることができ、フォーカスグループのユーザに提示された、変更されたメディアファイルは、分類器パラメータが、各メディアファイルに関して作成することができるように、特定のアルゴリズムにより決定されるスケール（例えば、１－１０）で、分類器アルゴリズム（例えば、顔認識アルゴリズムで誤識別した）を失敗した、変更されたメディアファイルであり得る。

【0084】

いくつかの実施形態において、マシンラーニングモデル（例えば、浅い／深いニューラルネットワーク）は、受信された入力に基づいて、人間の観察者により、メディアファイル間の類似度を予測するように構成された、オブジェクト関数を用いてトレーニングすることができる（８０５０）。いくつかの実施形態において、メディアファイルは、複数のピクセルを有する画像を含むことができ、識別領域の有効性は、メディアファイル内の隣接ピクセルへの対応する変更を用いて、各ピクセルの変更をバランスしながら、維持することができる。いくつかの、実施形態において、人間の視覚マシンをトレーニングすることができた後で、新しいメディアファイルが受信されると、新しいメディアファイルに関する、少なくとも１つの新しい識別領域（例えば、顔）を決定することができ、新しい識別領域は、変換された特徴ベクトルの再構成により、合成メディアファイルを生成するように、トレーニングされたマシンラーニングモデルに従って、特徴ベクトルに適用された、少なくとも１つの変換を用いて、特徴ベクトルに変換することができる。

【0085】

いくつかの実施形態によれば、パラメータのセットが与えられると、パラメータモデルは、識別領域のデータセットについて、トレーニングすることができ、選択された識別領域を表すパラメータは、上述したように、少なくとも１つのメディアファイル内に受信することができ、少なくとも１つの分類器を、あらかじめ定義した、しきい値未満に低減しながら、受信した、少なくとも１つのメディアファイルの識別領域に対する類似を、最大化、および／または維持するように、識別ファイルの変更されたバージョンを表すためのパ、ラメータの変更を用いて、少なくとも１つのメディアファイルに描画された、選択された識別領域を取得することができる。

【0086】

図９を参照すると、いくつかの実施形態に従う、メディアファイルを合成する方法のフローチャートが示されている。いくつかの実施形態において、少なくとも１つのメディアファイルを受信することができ（９０１０）、少なくとも１つの識別領域（例えば、顔）は、受信されたメディアファイル（例えば、画像、ビデオ、オーディオ、テキスト等）に関して決定することができる（９０２０）。いくつかの実施形態において、少なくとも１つの識別領域は、特徴ベクトルに適用された（９０４０）、例えば、隣接ピクセルに対する影響を考慮しながら、画像ファイル内の各ピクセルに適用された、少なくとも１つ変換（例えば、ジオメトリ変換）を用いて、特徴ベクトルに変更する（例えば、画像ファイル内の各ピクセルにおけるインスタンスに関して変換、および／または変更する）ことができる（９０３０）。いくつかの実施形態において、合成メディアファイルは、生成されたファイルが非識別化できるように、変換された特徴ベクトルの再構成により、生成することができる（９０５０）。いくつかの実施形態において、変換された特徴ベクトルの再構成は、少なくとも失った部分の、部分予測を含むことができる。いくつかの実施形態において、適用された変換は、少なくとも１つの分類器により受信した、対応するメディアファイルに関する信頼値の低減（および／または誤認（mis-identification））を生じさせることができ、生成された合成メディアファイルは、人間知覚のシミュレータにより、受信した画像ファイルに類似していると決定することができる。

【0087】

いくつかの実施形態によれば、人間知覚のシミュレータは、少なくとも１つのメディアファイルを受信し、各メディアファイルに関する少なくとも１つの識別領域を決定し、少なくとも１つの変更したメディアファイルが、作成されるまで各メディアファイルに関する、各識別領域について、少なくとも１つの変換を適用し、各変更したメディアファイルと、対応する受信したメディアファイルとの間の類似度に関する入力を受信し、および受信した入力に従って、人間観察者による、メディアファイル間の類似度を予測するように構成された、目的関数を用いて、マシンラーニングモデルをトレーニングすることにより、トレーニングされたマシンラーニングモデルを含むことができる。いくつかの実施形態において、目的関数は、類似度および／または誤認識（および／または信頼値低減）に関する入力表現（input terms）最適化スキームのためであり得、最適化処理は、（例えば、人間知覚のシミュレータの結果に基づいて）最も高い類似度を達成しながら惑わすために、あるいは、分類器（例えば、顔認識アルゴリズム）による誤認識による変更された、メディアファイルを生成するために利用することができる。

【0088】

いくつかの実施形態において、合成メディアファイルは、平均値が（例えば、１－１０のスケールで）特徴結果を除去する、非識別化閾値を決定することができるように、信頼値低減の少なくとも１つのパラメータ、および／または誤認識（例えば、１－１０のスケールで）、および少なくとも１つの、対応する受信したメディアファイルに対する類似度（例えば、１－１０のスケールで）の少なくとも１つのパラメータに従って、生成することができる。例えば、非識別化しきい値は、０．７に決定することができ、より低いスコアを有する任意の生成された合成メディアファイルは、非識別化しきい値を通過することはできない。

【0089】

いくつかの実施形態において、事前定義されたしきい値を下回る、少なくとも１つの分類器の認識スコアを低減しながら、受信した少なくとも１つのメディアファイルの、識別領域に対する類似度を、最大化、および／または維持するように識別領域の、変更されたバージョンを表すために、パラメータの変更と、受信した少なくとも１つのメディアファイル内の描画したものとして取得した、選択された識別領域を用いて、パラメータモデルは、識別化領域のデータセットについて、トレーニング、および／または最適化して、パラメータセットが与えられるとメディアファイルを合成することができる。

【0090】

いくつかの実施形態によれば、新しいメディアファイルが受信されると、そのメディアファイル（例えば、画像）は、例えば、エンコーダによって、特徴ベクトルに変換することができ、少なくとも１つの変換の後、損失関数が分類アルゴリズム（例えば、顔認識用の）およびオリジナル画像と、変更された画像用の人間シミュレータマシンとの間でバランスを取って、変更された画像上に、印加される。従って、損失関数は、合成された画像が生成されて、分類アルゴリズムを同時に「だまし（fool）」、人間シミュレータマシンにより認識することができるまで、エンコーダの更新により、反復的に最小化することができる。いくつかの実施形態によれば、上記人間知覚予測器を、データサンプル間の類似度のレベルを決定するように、トレーニングするためのシステムは、識別領域のデータセットと、識別領域のデータセットに結合された、少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、少なくとも１つのメディアファイルを受信し、各メディアファイルに関する少なくとも１つの、識別領域を決定し、各識別領域を特徴ベクトルに変換し、少なくとも１つの変換を、各特徴ベクトルに印加し、変換された特徴ベクトルを、再構成されたメディアファイルに再構成し、各再構成されたメディアファイルと、対応する受信されたメディアファイルとの間の類似度に関する入力を（例えば、フォーカスグループから）受信し、および受信された入力に従って、人間観察者により、メディアファイル間の類似度を予測するように構成された、目的関数により、マシンラーニングモデルをトレーニングするように、構成することができる。いくつかの実施形態において、印加された変換は、少なくとも１つの分類器により、対応する受信されたメディアファイルに関する信頼値（および／または誤識別）の低減を引き起こすことができ、トレーニングされたマシンラーニングモデルは、人間の観察者により、メディアファイル間の類似度を予測するように、構成することができる。

【0091】

いくつかの実施形態において、識別領域の有効性は、各ピクセルの変更を、画像内の隣接ピクセルに対する変更とバランスを取りながら、維持することができる。いくつかの実施形態において、プロセッサは、さらに新しいメディアファイルを受信し、新しいメディアファイルに関する少なくとも１つの新しい識別領域を決定し、新しい識別領域を特徴ベクトルに変換し、トレーニングされたマシンラーニングモデルに従って、特徴ベクトルに変換を印加し、変換された特徴ベクトルの再構築により、合成メディアファイルを生成するように構成することができる。

【0092】

いくつかの実施形態によれば、非識別化方法は、与えられた顔画像を、被写体の真の個人属性に関連する能力を、著しく低減することにより、個人属性が推定されるのを、保護することができる。そのような属性は、物理的であり、および／または精神的であり、永久的であり、および／または、一時的であり得る。これらは、年齢、健康および精神状態、性別、性向、民族性、体重、伸張、妊娠、気分／感情、ＩＱおよび社会経済的変数を含む。

【0093】

顔の入力画像が与えられると、入力顔画像のジオメトリ（geometry）、色およびテクスチャの少なくとも１つを変更することができる。変換は、描画された顔と、保護される真の属性との間の静的相関（static-correlation）を低減しながら、（できるだけ）入力画像に対する類似度を維持するように、最適化することができる。究極的には、相関は、真の属性を、描画された顔に相関づける可能性を消去するのに、極めて十分であり得る。従って、個人のプライバシーは、上で示した属性の１つまたは複数が、推定される可能性を低減することにより、保護することができる。

【0094】

いくつかの実施形態において、以下の変換の少なくとも１つは、（必要な調整を用いて他のメディアタイプの類似の方法を適用することができるけれども）顔画像の非識別化に使用することができる。顔特徴の制御された変形を印加すること、顔特徴間の距離を変更すること、顔特徴のテクスチャ、および／または色を埋め込むこと、および特定のパターンで生成されたノイズレイヤを追加すること。いくつかの実施形態において、１つまたは複数の顔を描画する入力画像を受信することができ、属性保護処理を、１つまたは複数の選択された顔に適用することができる。属性保護プロセスは、上述した変換の少なくとも１つを含むことができる。

【0095】

いくつかの実施形態において、顔特徴の制御された変形を印加することは、あらかじめ記憶されたデータから、１つまたは複数の顔を用い、モデルの配置の重みづけされた平均を用いることにより、新しいモデルを生成し、オリジナル画像を、新しいモデルのジオメトリにワーピング（warp）することを含むことができる。ワーピング（warping）は、１つまたは複数の顔特徴に行うことができ、および／またはそれらの間の距離に行うことができる。モデルの選択は、入力顔ジオメトリに対する知覚類似度、保護される真の属性に対する静的相関を、低減する可能性およびモデル、および／または結果の魅惑度（attractiveness）を考慮することができる。代替的にまたは追加的に、変形は、顔画像と、描画された顔の真の属性との間の、静的相関を低減しながら、知覚類似度を最大化することにより、最適化プロセスを用いて実行することができる。代替的にまたは追加的に、変形は、描画された顔の真の属性と顔画像との間の静的相関を低減しながら、人間の知覚類似度を最大にするようにトレーニングされた（例えばディープニューラルネットワーク）、事前トレーニングされた発生モデル（generative model）を低減しながら、人間に関する知覚類似度を最大するようにトレーニングされた、事前トレーニングされた発生モデル（例えば、ディープニューラルネットワーク）を用いて、実行することができる。

【0096】

いくつかの実施形態において、顔特徴間の距離を変更することは、選択された顔の顔特徴の、１つまたは複数のペアを選択し、選択されたペアの顔特徴に関する、適切な距離変動を決定し、選択された顔の、１つまたは複数の選択された比に関する、選択された距離変動を適用することを含むことができる。

【0097】

いくつかの実施形態において、顔特徴のテクスチャ、および／または色を埋め込むことは、選択された顔の、１つまたは複数の顔特徴を選択し、特徴顔モデルの、あらかじめ記憶されたセットを含むストレージユニットから、選択された顔との、顔類似性測度を有する、１つまたは複数の顔特徴モデルを取得し、選択された１つまたは複数の、特徴顔モデルの顔特徴を、所定の特徴変化レベルに対応づけることを用いて、１つまたは複数の顔特徴に変化を適用するために、画像領域を処理し、出力画像データを生成することであって、選択された画像領域は、選択された顔の変化されたバージョンである、生成すること、を含むことができる。顔特徴を選択することは、１つまたは複数の一般的類似性が、１つまたは複数のＬ２、ピーク信号対ノイズ比（ＰＳＮＲ）類似度値、ヒストグラム比較、距離ベクトルセット測度、およびディープニューラルネットワーク（サイアミーズ（Siamese）アーキテクチャを用いてトレーニングされた）を用いて抽出された、特徴ベクトルを備える。

【0098】

代替的に、または付加的に、代替特徴は、顔画像と、描画された顔の真の属性との間の静的相関を低減しながら、人間の知覚類似度を、最大化するように最適化された、合成プロセスを用いて達成することができる、（１）顔特徴（例えば、エッジ、コーナー（corner）、およびテクスチャの一般的なタイプ）の特徴的な「ビルディングブロック」を記述する、小さなパッチ（例えば、８×８ピクセルの）セットの事前計算、（２）事前計算されたパッチの１つに合成された、各小さなブロックと、オリジナル顔特徴に対する類似度を最大化する最適化プロセス。

【0099】

代替的に、または追加的に、テクスチャ合成方法は、（例えば、ダウンサンプリング、低次元のリニアベース（例えば、ＰＣＡまたはＩＣＡを用いて）への投影、および／またはエッジ検出のようなある劣化変換を用いて）入力データとしてオリジナルデータの一部のみを有しながら、オリジナル顔特徴に対する類似度を最大化するという意味の、良好な結果を生成するように、事前トレーニングすることができる、生成ニューラルネットワークを用いることができる。テクスチャ合成は、さらに、画像のオリジナルの部分と、ブレンドした部分との間の継ぎ目の可視性を低減する、ブレンドコンポーネント（blending component）を含むことができる。

【0100】

いくつかの実施形態において、特定のパターンを有して生成された、ノイズレイヤは、選択された、属性推定アルゴリズムが保護される属性については、偽の結果を生じるまで、ノイズレイヤを反復的に変更しながら、裸眼には見えない、または実質的に見えない、特定の構造内に、ノイズを生成する最適化処理を用いることを、含めることができる。代替的には、ノイズレイヤを生成することは、正しい結果を生じるために、属性推定アルゴリズムの可能性を低減しながら、人間の裸眼に対して、最小の可視性を有して、ノイズレイヤを生成するように訓練された、事前トレーニングされた生成モデル（例えば、ディープニューラルネットワーク）の、１つまたは複数のフォワードパス（複数の場合もある）を、実行することを含めることができる。目的関数のこれら２つの条件間のバランスは、手動で、または自動的に決定することができる。

【0101】

いくつかの実施形態によれば、上述した変換を実行する順番、並びにそれらのパラメータは、特定の入力画像（または他のメディアファイル）を与えられると、最適化することができ、および／または事前ラーニングしたモデルに従って、マシンラーニングアルゴリズムを用いて決定することができる。いずれの場合にも、最適化された目的関数（マシンラーニングアルゴリズムは、トレーニングフェーズ内の目的関数に向けて、最適化することができる）は、オリジナル顔に対する知覚類似度を最大化しながら、画像被写体（image subject）が、真の保護される属性に相関されやすい可能性を、最大化することができる。

【0102】

最適化プロセスは、反復することもできるし、反復しないこともできる。反復する場合、１つまたは複数の推定アルゴリズムに対して、検証ステップを含むことができ、より良い結果を提供するために、変換パラメータと、その順番を変更することを含むことができる。

【0103】

代替的にまたは付加的に、変換のパラメータと、その順番は、トレーニングされたマシンラーニングモデル（例えば、ディープニューラルネットワーク）により、事前決定して、正しい推定を提供するために、属性推定アルゴリズムの可能性を低減する類似度を、維持する意味において、良好な結果を達成することができる。

【0104】

顔特徴は、方法の柔軟性を最大するように決定された、自然な特徴（例えば、眼、鼻、唇等）に言及することができ、および／または人工的特徴（例えば、顔の中の任意のポイント）に言及することができることに留意する必要がある。

【0105】

明示的に述べない限り、ここに記載された方法の実施形態は、時間的に、特定の順番または年代順のシーケンス（chronological sequence）に制約されない。さらに、記載した方法エレメントのいくつかは、方法の動作シーケンスの期間に、スキップすることができ、もしくは、反復することができる。種々の実施形態を提示してきた。これらの実施形態の各々は、もちろん、提示した他の実施形態からの特徴を含むことができ、特に記載していない実施形態は、ここに記載した種々の特徴を含むことができる。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】