特許 7415202 判定方法、判定プログラム、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】判定方法、判定プログラム、および情報処理装置

(51)【国際特許分類】

   G06V 40/16 20220101AFI20240110BHJP

   G06T 7/00 20170101ALI20240110BHJP

   G06V 10/70 20220101ALI20240110BHJP

   G06V 10/30 20220101ALI20240110BHJP

   G06V 10/42 20220101ALI20240110BHJP

【ＦＩ】

G06V40/16 A

G06T7/00 510F

G06T7/00 350B

G06T7/00 660A

G06V10/70

G06V10/30

G06V10/42

【請求項の数】 9

(21)【出願番号】P 2022577856

(86)(22)【出願日】2021-01-27

(86)【国際出願番号】 JP2021002736

(87)【国際公開番号】W WO2022162760

(87)【国際公開日】2022-08-04

【審査請求日】2023-04-04

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】セプティアナ リナ

(72)【発明者】

【氏名】松濤 智明

(72)【発明者】

【氏名】安部 登樹

【審査官】武田 広太郎

(56)【参考文献】

【文献】特表２０２０－５２５９４７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２１８８８５（ＵＳ，Ａ１）

【文献】特開２０１９－９６１３０（ＪＰ，Ａ）

【文献】YU, Xinrui et al.，Face Morphing Detection using Generative Adversarial Networks，2019 IEEE International Conference on Electro Information Technology (EIT) [online]，2019年05月22日，pp. 288-291，[検索日 2023.11.20], インターネット: <URL:https://ieeexplore.ieee.org/document/8834162>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７０

Ｇ０６Ｖ １０／３０

Ｇ０６Ｖ １０／４２

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
顔画像データを取得した場合に、前記顔画像データから特定アルゴリズムによってノイズが除去された顔画像データを生成し、
取得した前記顔画像データと、生成した前記顔画像データとの差分画像データを生成し、
前記差分画像データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定し、
取得した前記顔画像データが合成画像であると判定されなかった場合に、前記差分画像データから生成された周波数データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する、
処理を実行することを特徴とする判定方法。

【請求項2】

前記差分画像データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する際に、ノイズ強度の不連続箇所を検知することによって判定することを特徴とする請求項１に記載の判定方法。

【請求項3】

前記コンピュータが、
複数枚の顔画像データの教師データを用いて機械学習された分類モデルによって、前記合成画像であるか否かを判定された前記顔画像データについて合成画像であるか否かをさらに判定する処理を実行することを特徴とする請求項１または請求項２に記載の判定方法。

【請求項4】

取得した前記顔画像データの色空間は、ＨＳＶ色空間であることを特徴とする請求項１から請求項３のいずれか一項に記載の判定方法。

【請求項5】

デジタルフーリエ変換によって前記差分画像データから前記周波数データを生成することを特徴とする請求項１から請求項４のいずれか一項に記載の判定方法。

【請求項6】

前記差分画像データに含まれる情報は、注目画素の画素値と、前記注目画素の周辺の画素の画素値との比較によって得られる統計量であることを特徴とする請求項１から請求項５のいずれか一項に記載の判定方法。

【請求項7】

前記差分画像データに含まれる情報として、数値表現によって表した特徴量を用いることを特徴とする請求項１から請求項６のいずれか一項に記載の判定方法。

【請求項8】

コンピュータに、
顔画像データを取得した場合に、前記顔画像データから特定アルゴリズムによってノイズが除去された顔画像データを生成する処理と、
取得した前記顔画像データと、生成した前記顔画像データとの差分画像データを生成する処理と、
前記差分画像データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する処理と、
取得した前記顔画像データが合成画像であると判定されなかった場合に、前記差分画像データから生成された周波数データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する処理と、
を実行させることを特徴とする判定プログラム。

【請求項9】

顔画像データを取得した場合に、前記顔画像データから特定アルゴリズムによってノイズが除去された顔画像データを生成する顔画像データ生成部と、
取得した前記顔画像データと、生成した前記顔画像データとの差分画像データを生成する差分画像データ生成部と、
前記差分画像データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する第１判定部と、
取得した前記顔画像データが合成画像であると判定されなかった場合に、前記差分画像データから生成された周波数データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する第２判定部と、を備えることを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本件は、判定方法、判定プログラム、および情報処理装置に関する。

【背景技術】

【0002】

顔認証において、モーフィングアタックと呼ばれる不正行為が行われることがある。そこで、顔画像データが、モーフィング画像であるか否かを判定するための技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０２０－５２５９４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、顔画像データがモーフィング画像であるか否かを判定する際に十分な判定精度が得られない場合がある。

【0005】

１つの側面では、本発明は、顔画像データがモーフィング画像であるか否かを判定する判定精度を向上させることができる判定方法、判定プログラム、および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

１つの態様では、判定方法は、コンピュータが、顔画像データを取得した場合に、前記顔画像データから特定アルゴリズムによってノイズが除去された顔画像データを生成し、取得した前記顔画像データと、生成した前記顔画像データとの差分画像データを生成し、前記差分画像データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定し、取得した前記顔画像データが合成画像であると判定されなかった場合に、前記差分画像データから生成された周波数データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する、処理を実行する。

【発明の効果】

【0007】

判定精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】モーフィング画像を例示する図である。

【図2】（ａ）から（ｉ）は実施例の原理について説明するための図である。

【図3】（ａ）は情報処理装置の全体構成を例示する機能ブロック図であり、（ｂ）はハードウェア構成を例示するブロック図である。

【図4】特徴抽出処理を例示するフローチャートである。

【図5】学習処理を例示するフローチャートである。

【図6】教師データを例示する図である。

【図7】判定処理を例示するフローチャートである。

【発明を実施するための形態】

【0009】

顔認証は、顔特徴を用いて本人確認を行なう技術である。顔認証では、確認が必要な場面においてセンサによって取得した照合用顔特徴データと、予め登録しておいた登録顔特徴データとを比較（照合）し、類似度が本人判定閾値以上になるか否かを判定することで、本人確認を行なっている。顔認証は、パスポート登録所、ＩＤカード登録所、入退室管理などで利用されている。

【0010】

顔認証において、モーフィングアタックと呼ばれる不正行為が行われることがある、モーフィングアタックでは、図１で例示するように、第１人物のソース画像（Ｓｏｕｒｃｅ ｉｍａｇｅ）と、第２人物のターゲット画像（Ｔａｒｇｅｔ ｉｍａｇｅ）とをモーフィング技術によって合成することで、合成画像が生成される。この合成画像は、モーフィング画像（Ｍｏｒｐｈｉｎｇ ｉｍａｇｅ）と称されている。第１人物のソース画像は、修正などが加えられた顔画像ではなく、第１人物の実際の顔画像である。第２人物のターゲット画像は、修正などが加えられた顔画像ではなく、第２人物の実際の顔画像である。

【0011】

モーフィング画像には、２枚の顔画像を部分的に組み合わせることによって得られるＦｕｓｉｏｎ画像（いわゆる切り貼り画像）が含まれる。切り貼り画像は、例えば、目のところや口のところを切り抜いて他人のものと入れ替えることによって得られる画像のことである。

【0012】

モーフィング画像には、２枚の顔画像を補間することによって得られるＩｎｔｅｒｐｏｌａｔｉｏｎ画像（補間画像）が含まれる。補間画像は、２枚の顔画像に対して補間することによって得られる画像のことである。例えば、補間画像は、２枚の顔画像を平均化することによって得られる。

【0013】

モーフィング画像は、第１人物の顔特徴と第２人物の顔特徴とを併せ持つことになる。したがって、モーフィング画像を登録顔特徴データとして登録しておくと、第１人物および第２人物の両方とも、本人確認に成功する可能性がある。例えば、パスポート作成時に、第１人物の顔画像データ（ソース画像）と第２人物の顔画像データ（ターゲット画像）とを合成したモーフィング画像が登録されてしまうと、発行された１つのパスポートを第１人物も第２人物も利用できることになってしまう。

【0014】

ここで、モーフィングアタックを検出するための手法について検討する。例えば、イメージセンサのパターンノイズ（PRNU: Photo Response Non-Uniformity）を用いる技術が考えられる。具体的には、画像セルをまたぐＰＲＮＵパターンから抽出された空間特徴およびスペクトル特徴のエネルギー特性を用いることが考えられる。しかしながら、この手法では、特別なセンサを要するため、コストがかかり処理が複雑になる。

【0015】

次に、ディープラーニングに基づく残留ノイズを用いる技術が考えられる。具体的には、顔画像データとノイズ除去後の顔画像データとの差分を得ることで得られる残留ノイズを用いて、対象とする顔画像データがモーフィング画像であるか否かを判定する技術である。しかしながら、残留ノイズを用いる技術では、空間領域情報のみを用いるため、特定種類のモーフィング画像についてしか判定できないおそれがある。

【0016】

そこで、以下の実施例では、コストを抑えつつモーフィング画像の判定精度を向上させることができる情報処理装置、判定方法、および判定プログラムについて説明する。

【実施例1】

【0017】

まず、本実施例の原理について説明する。

【0018】

上述したように、モーフィング画像には、補間画像、切り貼り画像などが含まれる。これらは、複数枚の異なる人物の顔画像データから合成される。各顔画像データは、例えば、異なるカメラによって取得されている。この場合、各顔画像データには、異なる強度のノイズが残留することになる。各顔画像データが同一のカメラによって取得されていたとしても、顔画像データを取得するタイミングや環境などが異なるため、やはり各顔画像データには異なる強度のノイズが残留することになる。

【0019】

そこで、モーフィング画像と、ノイズ除去処理したモーフィング画像との差分画像データを取得する。この差分画像データには、除去されたノイズ成分が残留している。したがって、差分画像データは、残留ノイズを表している。この残留ノイズには、異なる強度のノイズが残留しているため、不連続のノイズ強度が現れるようになる。したがって、モーフィング処理に起因する信号異常を検出することができる。

【0020】

例えば、切り貼り画像においては、画像平面内において、画素の直接的な操作の痕跡が残ることになる。したがって、残留ノイズを所定の空間領域で表した場合の空間領域情報を分析することによって、切り貼り画像において切り貼りされている各部分のエッジを検出することができる。

【0021】

しかしながら、切り貼り画像のエッジが無い補間画像に対しては、空間領域情報を分析してもモーフィング画像であるか否かを判定することは困難になる。

【0022】

この補間画像については、空間領域情報には表れにくいパターンが、周波数領域に現れることがある。例えば、空間領域情報には表れないピーク、線などの他の細工痕跡が、対数振幅目盛で表した周波数領域に現れることがある。したがって、この周波数領域情報を分析し、モーフィング処理に起因する信号異常を検出することによって、対象とする顔画像データがモーフィング画像であるか否かを判定する判定精度が向上する。

【0023】

図２（ａ）は、第１人物の実際の顔画像データを例示する図である。図２（ｂ）は、第２人物の実際の顔画像データを例示する図である。これらの顔画像データの残留ノイズには、モーフィング処理の痕跡が残らない。したがって、図２（ｃ）で例示するように、残留ノイズを周波数空間に変換しても、モーフィング処理に起因する信号異常が特徴として現れない。

【0024】

図２（ｄ）は、第１人物の顔画像データと、第２人物の顔画像データとを部分的に組み合わせた切り貼り画像を例示する図である。図２（ｅ）は、この切り貼り画像の残留ノイズを所定の空間領域で表した場合の空間領域情報である。この空間領域情報では、切り貼りされた各部分のエッジを、信号異常として容易に検出することができる。図２（ｆ）は、切り貼り画像の残留ノイズを周波数空間に変換した場合の周波数領域情報を例示する図である。図２（ｆ）で例示するように、図２（ｃ）の場合よりは、信号異常として、中心を通る縦線のような特徴が表れやすくなっている。

【0025】

図２（ｇ）は、第１人物の顔画像データと、第２人物の顔画像データとを平均化して得られた補間画像を例示する図である。図２（ｈ）は、この補間画像の残留ノイズを所定の空間領域で表した場合の空間領域情報である。補間画像にはエッジが含まれないため、この空間領域情報では信号異常の特徴が表れにくくなっている。図２（ｉ）は、補間画像の残留ノイズを周波数空間に変換した場合の周波数領域情報を例示する図である。図２（ｉ）内の矢印で例示するように、空間領域情報には表れないピーク、線などが信号異常の特徴として現れている。

【0026】

以上のことから、対象とする顔画像データについて、空間領域情報でモーフィング画像であると判定されなかったとしても、周波数領域情報で再判定することによって、モーフィング画像の判定精度が向上する。また、特別な機器などを追加しなくてもよいため、コストを抑制することができる。

【0027】

以下、本実施例について具体的に説明する。

【0028】

図３（ａ）は、情報処理装置１００の全体構成を例示する機能ブロック図である。図３（ａ）で例示するように、情報処理装置１００は、特徴抽出処理部１０、学習処理部２０、判定処理部３０、および出力処理部４０を備える。特徴抽出処理部１０は、顔画像取得部１１、色空間変換部１２、ノイズフィルタ部１３、差分画像生成部１４、第１特徴抽出部１５、第２特徴抽出部１６、特徴スコア算出部１７、判定部１８、および出力部１９を備える。学習処理部２０は、教師データ格納部２１、教師データ取得部２２、教師データ分類部２３、およびモデル作成部２４を備える。判定処理部３０は、顔画像取得部３１、および判定部３２を備える。

【0029】

図３（ｂ）は、特徴抽出処理部１０、学習処理部２０、判定処理部３０、および出力処理部４０のハードウェア構成を例示するブロック図である。図３（ｂ）で例示するように、情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４、インタフェース１０５等を備える。

【0030】

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置１０３は、本実施例に係る判定プログラムを記憶している。表示装置１０４は、液晶ディスプレイなどの表示装置である。インタフェース１０５は、外部機器とのインタフェース装置である。例えば、インタフェース１０５を介して外部機器から顔画像データを取得することができる。ＣＰＵ１０１が判定プログラムを実行することで、情報処理装置１００の特徴抽出処理部１０、学習処理部２０、判定処理部３０、および出力処理部４０が実現される。なお、特徴抽出処理部１０、学習処理部２０、判定処理部３０、および出力処理部４０として、専用の回路などのハードウェアを用いてもよい。

【0031】

（特徴抽出処理）
図４は、特徴抽出処理部１０が実行する特徴抽出処理を例示するフローチャートである。図４で例示するように、顔画像取得部１１は、顔画像データを取得する（ステップＳ１）。

【0032】

次に、色空間変換部１２は、ステップＳ１で取得した顔画像データの色空間を所定の色空間に変換する（ステップＳ２）。例えば、色空間変換部１２は、顔画像データを、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ Ｃｈｒｏｍａ）、明度（Ｖａｌｕｅ Ｂｒｉｇｈｔｎｅｓｓ）の３成分からなるＨＳＶ色空間に変換する。ＨＳＶ色空間では、輝度または画像強度を、彩度または色情報から分離することができる。

【0033】

次に、ノイズフィルタ部１３は、ステップＳ２で得られた顔画像データに対してノイズ除去処理を行なうことによって、ノイズが除去された顔画像データを生成する（ステップＳ３）。ステップＳ３において、ノイズフィルタ部１３は、特定アルゴリズムによるノイズ除去処理を行なう。ノイズ除去処理には、画像ノイズを除去するための公知の技術などを用いることができる。

【0034】

次に、差分画像生成部１４は、ステップＳ２で得られた顔画像データと、ステップＳ３で得られた顔画像との差分画像データを生成する（ステップＳ４）。差分画像データを生成することで、ステップＳ１で取得された顔画像に残留する残留ノイズを得ることができる。なお、ステップＳ２の処理を行なわない場合には、ステップＳ１で取得された顔画像データと、ノイズ除去処理後の顔画像データとの差分画像データを生成すればよい。

【0035】

次に、第１特徴抽出部１５は、差分画像データの空間領域情報から、モーフィング処理に起因する信号異常の特徴を第１特徴として抽出する（ステップＳ５）。例えば、第１特徴抽出部１５は、ＬＢＰ（Local Binary Pattern）、ＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients）などの空間領域情報のベクトル値を、信号異常の特徴として抽出する。例えば、第１特徴抽出部１５は、注目画素の画素値と、注目画素の周辺の画素の画素値との比較によって得られる統計量を用いることによって、空間領域のベクトル値を抽出することができる。さらに、第１特徴抽出部１５は、ディープラーニングを用いることによって、空間領域のベクトル値を抽出してもよい。第１特徴抽出部１５は、数値表現によって表した特徴量を用いてもよい。

【0036】

次に、特徴スコア算出部１７は、ステップＳ５で抽出された第１特徴から、ステップＳ１で取得した顔画像データがモーフィング画像データである確度を特徴スコアとして算出する（ステップＳ６）。例えば、ステップＳ５で得られたベクトル値の統計量などを特徴スコアとして用いることができる。

【0037】

次に、判定部１８は、ステップＳ５で算出された特徴スコアが閾値を上回っているか否かを判定する（ステップＳ７）。この閾値は、例えば、予め、複数枚の顔画像データに対して空間領域から特徴スコアを算出した場合の変動値などから定めておくことができる。

【0038】

ステップＳ７で「Ｙｅｓ」と判定された場合、出力部１９は、ステップＳ６で算出された特徴スコアを出力する（ステップＳ８）。

【0039】

ステップＳ７で「Ｎｏ」と判定された場合、第２特徴抽出部１６は、差分画像データから周波数領域の周波数情報を生成する（ステップＳ９）。例えば、第２特徴抽出部１６は、差分画像データをデジタルフーリエ変換することで、周波数領域の周波数情報を生成することができる。

【0040】

次に、第２特徴抽出部１６は、ステップＳ９で生成された周波数情報から、モーフィング処理に起因する信号異常の特徴を第２特徴として抽出する（ステップＳ１０）。例えば、第２特徴抽出部１６は、グレーレベルの同時生起行列(GLCM: Gray-Level Co-occurrence Matrix)などの周波数領域のベクトル値を、信号異常の特徴として抽出する。例えば、第２特徴抽出部１６は、注目画素の画素値と、注目画素の周辺の画素の画素値との比較によって得られる統計量を用いることによって、周波数領域のベクトル値を抽出することができる。さらに、第２特徴抽出部１６は、ディープラーニングを用いることによって、周波数領域のベクトル値を抽出してもよい。第２特徴抽出部１６は、数値表現によって表した特徴量を用いてもよい。

【0041】

次に、特徴スコア算出部１７は、ステップＳ１０で抽出された周波数特徴から、ステップＳ１で取得した顔画像データがモーフィング画像データである確度を特徴スコアとして算出する（ステップＳ１１）。例えば、ステップＳ１０で得られたベクトル値の統計量などを特徴スコアとして用いることができる。

【0042】

次に、判定部１８は、ステップＳ１１で算出された特徴スコアが閾値を上回っているか否かを判定する（ステップＳ１２）。ステップＳ１２の閾値は、例えば、予め、複数枚の顔画像データに対して周波数領域から特徴スコアを算出した場合の変動値などから定めておくことができる。

【0043】

ステップＳ１２で「Ｙｅｓ」と判定された場合、出力処理部４０は、ステップＳ１１で算出された特徴スコアを出力する（ステップＳ８）。

【0044】

ステップＳ１２で「Ｎｏ」と判定された場合、特徴スコア算出部１７は、ステップＳ５で抽出された第１特徴とステップＳ１０で抽出された第２特徴とから、ステップＳ１で取得した顔画像データがモーフィング画像データである確度を特徴スコアとして算出する（ステップＳ１３）。その後、出力処理部４０は、ステップＳ１３で算出された特徴スコアを出力する（ステップＳ８）。

【0045】

（学習処理）
図５は、学習処理部２０が実行する学習処理を例示するフローチャートである。図５で例示するように、教師データ取得部２２は、教師データ格納部２１に格納されている各教師データを取得する（ステップＳ２１）。教師データは、顔画像の教師データであって、修正が加えられていない実際の顔画像データと、モーフィング画像データとを含む。図６で例示するように、各教師データには、実際の顔画像データであることを示す識別子（Ｂｏｎａｆｉｄｅ）、およびモーフィング画像であることを示す識別子（Ｍｏｒｐｈｉｎｇ）のいずれかが関連付けられている。これらの教師データは、ユーザなどによって予め作成され、教師データ格納部２１に格納されている。ステップＳ２１で取得された各教師データについて、図４の特徴抽出処理が実行される。

【0046】

次に、教師データ分類部２３は、各教師データについて出力部１９によって出力された特徴スコアを、教師データ格納部２１に格納されている識別子に従って、実際の顔画像データとモーフィング画像データとに分類する（ステップＳ２２）。

【0047】

次に、モデル作成部２４は、ステップＳ２２の分類結果に基づいて、評価用モデルを作成する（ステップＳ２３）。例えば、各教師データの特徴スコアを分布させた空間と、識別子との関係から、分離超平面（境界平面）を引くなどして、分類用モデルを作成する。以上の処理により、分類モデルを作成することができる。

【0048】

（判定処理）
図７は、判定処理部３０が実行する判定処理を例示するフローチャートである。図７で例示するように、顔画像取得部３１は、顔画像データを取得する（ステップＳ３１）。ステップＳ３１について取得された顔画像データについて、図４の特徴抽出処理が行われる。この顔画像データは、パスポート作成用の顔画像データなどであるため、インタフェース１０５を介して外部機器から入力される。

【0049】

次に、判定部３２は、出力部１９によって出力された特徴スコアについて、モデル作成部２４が作成した分類用モデルによって実際の画像であるかモーフィング画像であるかを判定する（ステップＳ３２）。ステップＳ３２の判定結果は、出力処理部４０によって出力される。出力処理部４０によって出力された判定結果は、表示装置１０４に表示される。

【0050】

本実施例によれば、まず、残留ノイズの空間領域情報を用いて、顔画像データがモーフィング画像であるか否かが判定される。残留ノイズの空間領域情報を用いることによって、ノイズ強度の不連続点などを容易に検出することができる。空間領域情報を用いた判定では顔画像データがモーフィング画像であると判定されなかった場合に、周波数領域情報を用いて、顔画像データがモーフィング画像であるか否かが再判定される。周波数領域情報を用いることによって、判定精度が向上する。また、特別なイメージセンサなどを用いなくてもよいため、コストを低減することができる。また、空間領域情報を用いた判定ではモーフィング画像であると判定されなかった場合に周波数領域情報を用いて再判定されるため、常に空間領域情報および周波数領域情報を用いて判定する場合と比較して、処理時間を短縮化することができる。

【0051】

上記例において、ノイズフィルタ部１３が、顔画像データを取得した場合に、前記顔画像データから特定アルゴリズムによってノイズが除去された顔画像データを生成する顔画像データ生成部の一例である。差分画像生成部１４が、取得した前記顔画像データと、生成した前記顔画像データとの差分画像データを生成する差分画像データ生成部の一例である。判定部１８が、前記差分画像データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する第１判定部の一例である。判定部１８は、前記周波数データに含まれる情報に基づいて、取得した前記顔画像データが合成画像であるか否かを判定する第２判定部の一例でもある。判定処理部３０が、複数枚の顔画像データの教師データを用いて機械学習された分類モデルによって、前記合成画像であるか否かを判定された前記顔画像データについて合成画像であるか否かをさらに判定する判定処理部の一例である。第２特徴抽出部１６が、デジタルフーリエ変換によって前記差分画像データから前記周波数データを生成する周波数データ生成部の一例である。

【0052】

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0053】

１０ 特徴抽出処理部
１１ 顔画像取得部
１２ 色空間変換部
１３ ノイズフィルタ部
１４ 差分画像生成部
１５ 第１特徴抽出部
１６ 第２特徴抽出部
１７ 特徴スコア算出部
１８ 判定部
１９ 出力部
２０ 学習処理部
２１ 教師データ格納部
２２ 教師データ取得部
２３ 教師データ分類部
２４ モデル作成部
３０ 判定処理部
３１ 顔画像取得部
３２ 判定部
４０ 出力処理部
１００ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】