特開 2024-2636 なりすまし検知プログラム、検知装置およびなりすまし検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002636

(43)【公開日】2024-01-11

(54)【発明の名称】なりすまし検知プログラム、検知装置およびなりすまし検知方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20231228BHJP

   G06Q 50/10 20120101ALI20231228BHJP

   G06F 21/32 20130101ALI20231228BHJP

【ＦＩ】

G06T7/20 300Z

G06Q50/10

G06F21/32

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022101961

(22)【出願日】2022-06-24

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】鈴木 敦也

(72)【発明者】

【氏名】高橋 潤

(72)【発明者】

【氏名】吉武 敏幸

(72)【発明者】

【氏名】清水 雅芳

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC12

5L096CA04

5L096FA35

5L096FA67

5L096HA11

5L096JA11

5L096JA22

5L096KA04

5L096KA15

(57)【要約】

【課題】ディープフェイクによるなりすましを検知する。
【解決手段】検知装置１は、対象者が写る画像データ群を記憶部１５から取得し、取得した画像データ群を用いて、出現頻度が第２挙動の頻度より低い対象者の第１挙動を特定し、画面上に表示される、対象者が写る画像データがなりすましの疑いがあると検知されると、画像データに写された対象者に、特定した第１挙動を行動するように促すメッセージを出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象者が写る画像データ群を画像情報記憶部から取得し、
取得した画像データ群を用いて、出現頻度が第２挙動の頻度より低い前記対象者の第１挙動を特定し、
画面上に表示される、前記対象者が写る画像データがなりすましの疑いがあると検知されると、前記画像データに写された前記対象者に、特定した第１挙動を行動するように促すメッセージを出力する
処理をコンピュータに実行させるなりすまし検知プログラム。

【請求項2】

前記第１挙動を特定する処理は、
前記画像データ群を用いて、人物を特定するために用いられる所定の特徴に対する特徴量を複数抽出し、
複数抽出した各特徴量における出現頻度の分布を生成し、
前記出現頻度の分布から、出現頻度が最も低い特徴量に対応する挙動を前記第１挙動として特定する
ことを特徴とする請求項１に記載のなりすまし検知プログラム。

【請求項3】

なりすましの疑いがある前記対象者によって前記第１挙動が行動されたことによる画像データの不自然な歪みの度合いに基づいて、前記対象者になりすますなりすましを検知する
ことを特徴とする請求項１または請求項２に記載のなりすまし検知プログラム。

【請求項4】

前記所定の特徴は、顔の向き、音声の韻律、発話された単語、発話された音素を含む
ことを特徴とする請求項２に記載のなりすまし検知プログラム。

【請求項5】

対象者が写る画像データ群を画像情報記憶部から取得する取得部と、
前記取得部によって取得された画像データ群を用いて、出現頻度が第２挙動の頻度より低い前記対象者の第１挙動を特定する特定部と、
画面上に表示される、前記対象者が写る画像データがなりすましの疑いがあると検知されると、前記画像データに写された前記対象者に、特定した第１挙動を行動するように促すメッセージを出力する出力部と、
を有することを特徴とする検知装置。

【請求項6】

対象者が写る画像データ群を画像情報記憶部から取得し、
取得した画像データ群を用いて、出現頻度が第２挙動の頻度より低い前記対象者の第１挙動を特定し、
画面上に表示される、前記対象者が写る画像データがなりすましの疑いがあると検知されると、前記画像データに写された前記対象者に、特定した第１挙動を行動するように促すメッセージを出力する
処理をコンピュータが実行するなりすまし検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、なりすまし検知プログラムなどに関する。

【背景技術】

【0002】

近年、人工知能の深層学習（deep learning）の手法を利用して生成された合成写真や動画（ディープフェイク）の悪用が問題となっている。かかる合成写真や動画を含む合成メディアは、深層学習によるメディアの合成技術により非常に高品質であり、一見しただけでは偽の画像と見抜くことが難しい。

【0003】

このような偽の画像を見抜くために、例えば、過去のデータから得られるある姿勢と現在のある姿勢とを比較した結果の一致度に基づいて、本人であるか否かを判定する技術が開示されている（例えば、特許文献１，２等）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－１４８７２４号公報

【特許文献2】特開２００１－３１８８９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ディープフェイクによるなりすましを検知することは難しいという問題がある。

【0006】

例えば、偽の画像の生成も、偽の画像を見抜くなりすまし検知技術もいずれも過去の写真データ等を利用するものである。過去の写真データ等は、近年ＳＮＳやインターネット等によって取得される。偽の画像の生成に利用された写真となりすまし検知技術に利用された写真とがほとんど同じこともあり得る。かかる場合、なりすまし検知技術は、偽の画像を本人であると判定してしまうこともある。したがって、なりすまし検知技術は、ディープフェイクによるなりすましを検知することは難しい。

【0007】

本発明は、１つの側面では、ディープフェイクによるなりすましを検知することを目的とする。

【課題を解決するための手段】

【0008】

１つの態様では、なりすまし検知プログラムは、対象者が写る画像データ群を画像情報媒体から取得し、取得した画像データ群を用いて、出現頻度が第２挙動の頻度より低い前記対象者の第１挙動を特定し、画面上に表示される、前記対象者が写る画像データがなりすましの疑いがあると検知されると、前記画像データに写された前記対象者に、特定した第１挙動を行動するように促すメッセージを出力する、処理をコンピュータに実行させる。

【発明の効果】

【0009】

１実施態様によれば、ディープフェイクによるなりすましを検知することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施例に係る検知装置を含むシステムの構成の一例を示す機能ブロック図である。

【図2】図２は、実施例に係る検知装置の機能構成の一例を示す図である。

【図3A】図３Ａは、実施例に係る特徴量特定の流れの一例を示す図（１）である。

【図3B】図３Ｂは、実施例に係る特徴量特定の流れの一例を示す図（２）である。

【図4A】図４Ａは、実施例に係る提示のイメージ図（１）である。

【図4B】図４Ｂは、実施例に係る提示のイメージ図（２）である。

【図4C】図４Ｃは、実施例に係る提示のイメージ図（３）である。

【図5】図５は、実施例に係るなりすまし検知の用途の一例を示す図である。

【図6】図６は、実施例に係るなりすまし検知の全体のフローチャートの一例を示す図である。

【図7】図７は、実施例に係るなりすまし検知処理のフローチャートの一例を示す図である。

【図8】図８は、なりすまし検知プログラムを実行するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0011】

以下に、本願の開示するなりすまし検知プログラム、検知装置およびなりすまし検知方法の実施例を図面に基づいて詳細に説明する。なお、本発明は、実施例により限定されるものではない。

【実施例0012】

図１は、実施例に係る検知装置を含むシステムの構成の一例を示す機能ブロック図である。実施例に係るシステム９は、人工知能の深層学習の手法を利用して生成された動画（ディープフェイク）によるなりすましに対して、品質劣化の画像を引き出し、なりすまし検知の精度を向上させる。

【0013】

システム９は、検知装置１と、情報処理装置２，３と、サーバ５とを有する。検知装置１と、情報処理装置２，３と、サーバ５とは、ネットワーク７で接続される。情報処理装置２と、情報処理装置３とは、検知装置１を介して、互いの動画データを見ながら遠隔会議を行う。情報処理装置３は、ディープフェイクによるなりすましを行う攻撃者側の装置である。情報処理装置２は、騙される側、すなわち標的者側の装置である。ここでは、標的者側の情報処理装置２は、１台であるが、複数台であっても良い。

【0014】

サーバ５は、公開データ５１を管理する。公開データ５１は、なりすまし対象の対象者が写る過去の画像データ群を含む画像データ群であって公開されている画像データ群である。画像データ群には、動画像データ、静止画像データが含まれる。動画像データには、音声データが含まれものもある。サーバ５は、複数存在する。サーバ５は、クラウド内で存在しても良いし、社内に存在しても良い。

【0015】

情報処理装置３は、公開データ５１に含まれる対象者が写る画像データ群や、攻撃者によって不正に記録された、対象者が写る画像データ群を学習データとして、人工知能の深層学習の手法を利用した、対象者になりすます動画を生成する。すなわち、情報処理装置３は、対象者の偽の動画であるディープフェイクを生成する。そして、情報処理装置３は、対象者になりすました対象者の動画データ（ディープフェイク）を標的者側の情報処理装置２に表示させる。

【0016】

検知装置１は、対象者になりすますなりすましの疑いを検知すると、公開データ５１に含まれる対象者が写る画像データ群や公開データ５１に含まれていないが記録され得る、対象者が写る画像データ群を用いて、過去の出現頻度が低い挙動を特定する。そして、検知装置１は、なりすましの疑いがあると判定された場合には、特定した挙動を促すメッセージを、対象者になりすましの疑いがある攻撃者側の情報処理装置３に出力する。これにより、検知装置１は、過去の出現頻度が低い挙動をとるように攻撃者に促すことで、機械学習の手法を利用したなりすましの場合に見破り易い品質劣化の状態に持っていくことができる。この結果、検知装置１は、なりすましを検知することが可能になる。

【0017】

以降では、かかる検知装置１について詳述する。

【0018】

図２は、実施例に係る検知装置の機能構成の一例を示す図である。図２に示すように、検知装置１は、通信部１１、制御部１４および記憶部１５を有する。

【0019】

通信部１１は、ネットワーク７（図１参照）を介して情報処理装置２，３やサーバ５などと通信を行う。通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。

【0020】

制御部１４は、データ取得部１４１、特徴量特定部１４２、第１の検知部１４３、提示部１４４および第２の検知部１４５を有する。なお、データ取得部１４１は、取得部の一例である。特徴量特定部１４２は、特定部の一例である。第１の検知部１４３および提示部１４４は、出力部の一例である。

【0021】

記憶部１５は、データ記憶部１５１を有する。データ記憶部１５１は、なりすまし対象の対象者が写る過去の画像データ群を記憶する。画像データ群には、動画像データ、静止画像データが含まれる。動画像データには、音声データが含まれものもある。なお、データ記憶部１５１は、データ取得部１４１によって格納される。

【0022】

データ取得部１４１は、なりすまし対象の対象者が写る画像データ群を公開データ５１から取得する。なお、データ取得部１４１は、例えば、後述する第１の検知部１４３によってなりすましの疑いが検知されたタイミングで動作すれば良い。

【0023】

特徴量特定部１４２は、画像データ群を用いて、出現頻度が最も低い特徴量を特定する。すなわち、特徴量特定部１４２は、画像データ群を用いて、出現頻度が第２挙動の頻度より低い第１挙動であって、なりすまし対象の対象者の第１挙動を特定する。ここでいう挙動は、特徴に対する特徴量によって表される。例えば、特徴量特定部１４２は、データ取得部１４１によって取得された画像データ群を用いて、人物を特定するために用いられる所定の特徴に対する特徴量を抽出する。特徴量特定部１４２は、抽出した各特徴量（挙動）における出現頻度の分布を生成する。そして、特徴量特定部１４２は、出現頻度の分布から、出現頻度が最も低い特徴量であってなりすまし対象の対象者の特徴量を第１挙動として特定する。人を特定するために用いられる所定の特徴には、例えば、顔の向き、音声の韻律、発話された単語、発話された音素が含まれるが、これに限定されない。どの特徴を使用するかは、例えば、予め記憶部２０に定義しておけば良い。

【0024】

ここで、特徴量特定部１４２は、所定の特徴に対する特徴量を、以下のように抽出すれば良い。所定の特徴が顔の向き（頭部姿勢）である場合には、特徴量特定部１４２は、画像データ群からなりすまし対象の対象者の顔を検出する。特徴量特定部１４２は、検出した顔のランドマーク（特徴点）を取得する。そして、特徴量特定部１４２は、取得した特徴点を用いて、Perspective-n-Pointアルゴリズムまたは教師あり学習を用いて顔の角度を算出する。Perspective-n-Pointアルゴリズムを用いる場合には、特徴量特定部１４２は、算出されるカメラの回転行列から顔の角度を特徴量として計算すれば良い。なお、顔の向き（頭部姿勢）の推定については、その他、Microsoft Asure Face API、Amazon Rekognition API Google Cloud Vision APIまたはHead-Pose-Estimationを用いることができる。

【0025】

また、所定の特徴が音声の韻律（発話において現れる音声学的性質）である場合には、特徴量特定部１４２は、音声を含む画像データ群から特徴量を抽出する。一例として、特徴量特定部１４２は、波形包絡法を用いて、音声波形に対し、波形予測符号化を行うことで抽出されたスペクトル包絡のピークを特徴量として検出する。別の一例として、特徴量特定部１４２は、自己相関法を用いて、音声波形の自己相関関数のピークを特徴量として検出する。さらに別の一例として、特徴量特定部１４２は、音声のケプストラム（振幅スペクトルに対してフーリエ変換を行ったもの）の高いケフレンシ成分を特徴量として検出する。

【0026】

また、所定の特徴が発話された単語である場合には、特徴量特定部１４２は、音声から音声認識を行い、音声をテキスト（発話内容）に変換する。そして、特徴量特定部１４２は、変換されたテキストに対し単語分割を行い、各単語を特徴量として抽出する。

【0027】

また、所定の特徴が発話された音素である場合には、特徴量特定部１４２は、音声から音声認識を行い、音声をテキスト（発話内容）に変換する。特徴量特定部１４２は、変換されたテキストを音素に分割する。そして、特徴量特定部１４２は、各音素を特徴量として抽出する。

【0028】

第１の検知部１４３は、なりすましの疑いを簡易的に検知する。すなわち、第１の検知部１４３は、情報処理装置２に表示される、なりすまし対象の対象者が写る画像データがなりすましの疑いがあることを簡易的に検知する。

【0029】

例えば、第１の検知部１４３は、対象者へのなりすましの疑いを、過去のいかなる技術を用いて検知しても良い。一例として、第１の検知部１４３は、データ取得部１４１によって取得された画像データ群を用いて、１つ以上の過去の挙動に対して、現在の同じ挙動が類似していなければなりすましと判定する技術を利用しても良い。なお、かかる技術は、例えば、特許第６９０１１９０号公報に記載される技術である。

【0030】

また、別の例では、第１の検知部１４３は、対象者へのなりすましの疑いを、情報処理装置２の画面を見ている標的者による通知によって検知しても良い。一例として、情報処理装置２の画面上にボタンが表示されており、情報処理装置２の画面を見ている標的者がなりすましの疑いがあると判断した際にボタンを押下すると、第１の検知部１４３が、対象者へのなりすましの疑いを検知するようにしても良い。

【0031】

提示部１４４は、なりすましの疑いを検知すると、なりすましの疑いがある攻撃者側の情報処理装置３に対して、特定した特徴量に対する第１挙動を行動するように促すメッセージを出力する。すなわち、提示部１４４は、なりすましの疑いを検知すると、情報処理装置２に表示される、画像データに写された対象者に、特徴量特定部１４２によって特定された特徴量に対する第１挙動を行動するように促すメッセージを提示する。つまり、提示部１４４は、遠隔対話中に、なりすましの疑いがある場合に、対象者になりすましの疑いがある人物に対して、出現頻度が最も低い特徴量に対する挙動を行動するように誘導する。

【0032】

第２の検知部１４５は、なりすましを検知する。例えば、第２の検知部１４５は、提示部１４４に応じて行動された挙動の画像データの歪みの度合いに基づいて、なりすましを検知する。つまり、ディープフェイクによるなりすましであれば、過去のデータの中で出現頻度が最も低い挙動を行動させることにより、得られる画像の合成品質が劣化し、画像の不自然な歪みが発生しやすくなる。この結果、第２の検知部１４５は、画像データの不自然な歪みの度合いに基づいて、なりすましを検知できる。一例として、第２の検知部１４５は、深層学習の手法に基づき、なりすましを検知する。別の例では、第２の検知部１４５は、人の判断に基づいて、なりすましを検知する。これにより、第２の検知部１４５は、ディープフェイクによるなりすましを正しく検知できる可能性を高めることができる。

【0033】

ここで、実施例に係る特徴量特定の流れについて、図３Ａおよび図３Ｂを参照して説明する。図３Ａおよび図３Ｂは、実施例に係る特徴量特定の流れの一例を示す図である。なお、図３Ａおよび図３Ｂでは、顔の向きを特徴として定義するものとする。

【0034】

図３Ａに示すように、特徴量特定部１４２は、過去の画像データ群から顔の向きについての特徴量を抽出する。そして、特徴量特定部１４２は、抽出した各特徴量（挙動）における出現頻度の分布を生成する。出現頻度の分布として、確率密度関数や度数分布が使用される。例えば、特徴量が連続値の場合には、確率密度関数が使用されると良い。特徴量が質的変数の場合には、度数分布が使用されると良い。ここでは、顔の向きの特徴量は連続値になるので、確率密度関数が使用されるものとする。図３Ａ最下段に、顔の向きの各特徴量における出現頻度の分布が生成されている。そして、特徴量特定部１４２は、生成された出現頻度の分布から、最小探索等を用いて、出現頻度が最も低い特徴量を特定する。

【0035】

図３Ｂ左図に示すように、特徴量特定部１４２は、顔の向きの各特徴量を挙動のカテゴリに対応付ける。ここでは、特徴量特定部１４２は、顔の向き０～１８０°に対して連続値の特徴量を３６°ごとに分割し、３６°ごとの各特徴量を挙動のカテゴリに対応付ける。ここでは、特徴量「０°～３６°」は、挙動のカテゴリとして「右」に対応付けられる。特徴量「３６°～７２°」は、挙動のカテゴリとして「右斜め前」に対応付けられる。特徴量「７２°～１０８°」は、挙動のカテゴリとして「前」に対応付けられる。特徴量「１０８°～１４４°」は、挙動のカテゴリとして「左斜め前」に対応付けられる。特徴量「１４４°～１８０°」は、挙動のカテゴリとして「左」に対応付けられる。

【0036】

そして、図３Ｂ右図に示すように、特徴量特定部１４２は、特徴量と挙動のカテゴリとの対応付けに基づき、特定した、出現頻度の最も低い特徴量に対する挙動のカテゴリを特定する。ここでは、顔の向き「０°～３６°」の出現頻度が最も低いので、顔の向き「０°～３６°」に対する「右」が第１挙動として特定される。この後、提示部１４４は、なりすましの疑いを検知すると、情報処理装置２に表示される、画像データに写された対象者に、例えば顔の向き「右」を向くように促すメッセージを提示する。

【0037】

ここで、実施例に係る提示のイメージを、図４Ａ～図４Ｃを参照して説明する。図４Ａ～図４Ｃは、実施例に係る提示のイメージ図である。図４Ａ～図４Ｃでは、攻撃者側と標的者側とが遠隔会議を行っているとする。図４Ａには、攻撃者側の情報処理装置３の画面には、標的者の画像データが表示され、標的者側の情報処理装置２の画面には、なりすましされる対象者の画像データが表示されている。なりすましされる対象者の画像データは、人工知能の深層学習の手法を利用して生成されるディープフェイクである。ここで、第１の検知部１４３は、なりすましの疑いを簡易的に検知したとする。

【0038】

すると、提示部１４４は、情報処理装置２に表示される、画像データに写された対象者に、第１挙動を行動するように促すメッセージを提示する。すなわち、提示部１４４は、なりすましの疑いがある攻撃者側の情報処理装置３に対して、第１挙動を行動するように促すメッセージを出力する。

【0039】

図４Ｂでは、特徴量特定部１４２によって定義された特徴は、「言葉」（発話された単語）であるとする。特徴量特定部１４２によって特定された第１挙動は、「本日は晴天なり」であるとする。すなわち、「本日は晴天なり」という言葉が、過去の発話された言葉の中で出現頻度が最も低い言葉として特定されたとする。

【0040】

図４Ｂに示すように、情報処理装置３の攻撃者側の画面には、「ＸＸさん 本人確認のために、以下の文を読み上げてください。」「本日は晴天なり」が表示されている。すなわち、提示部１４４は、遠隔対話中に、相手になりすましの疑いが検知されると、過去のデータの言葉の中で出現頻度が最も低い言葉（発話された単語）を読み上げるように誘導する。なお、情報処理装置２の標的者側の画面には、「この映像は合成されたメディアである可能性があります。本人確認のため、ＸＸさんは次の文を読み上げます」「本日は晴天なり」が表示されている。

【0041】

図４Ｃでは、特徴量特定部１４２によって定義された特徴は、「姿勢」であるとする。特徴量特定部１４２によって特定された第１挙動は、「ｎｎｎ」であるとする。すなわち、「ｎｎｎ」という姿勢が、過去の姿勢の中で出現頻度が最も低い姿勢として特定されたとする。

【0042】

図４Ｃに示すように、情報処理装置３の攻撃者側の画面には、「本人確認実施中そのままお話しください」「現在、姿勢誘導を実施しています。本ウィンドウ内に注目しながらそのままお話しください」が表示されている。すなわち、提示部１４４は、遠隔対話中に、相手になりすましの疑いが検知されると、過去のデータの姿勢の中で出現頻度が最も低い姿勢に変更するように誘導する。なお、情報処理装置２の標的者側の画面には、「この映像は合成されたメディアである可能性があります。本人確認のため、ＸＸさんは姿勢誘導のための画面表示が行われています。そのままお話しください」が表示されている。

【0043】

そして、第２の検知部１４５は、提示部１４４に応じて行動された挙動の画像データの不自然な歪みの度合いに基づいて、なりすましを検知する。一例として、第２の検知部１４５は、深層学習の手法に基づき、なりすましを検知する。別の例では、第２の検知部１４５は、標的者の判断に基づいて、なりすましを検知する。これにより、第２の検知部１４５は、ディープフェイクによるなりすましを正しく検知できる可能性を高めることができる。

【0044】

図５は、実施例に係るなりすまし検知の用途の一例を示す図である。図５では、なりすましされる人（対象者）は、白抜きの人マークで表す。攻撃者は、黒色の人マークで表す。騙される人（標的者）は、点々が入った灰色の人マークで表す。図５に示すように、過去（ｔ０）に、なりすましされる人（対象者）は、攻撃者を含め遠隔会議を行っていた。攻撃者は、遠隔会議で対象者が写る画像データ群を不正に記録していた（ｄ１）。対象者は、自身に関するメディア情報を記録して（ｄ２）、例えば社内共用録画データｄ３に記録していた。なお、公開データｄ４は、対象者が写る過去の画像データ群であって公開されている画像データ群である。

【0045】

このような状況の下、攻撃者は、対象者へのなりすましを行う（ｔ１）。攻撃者は、公開データｄ４、社内共用録画データｄ３や不正に記録した記録データｄ１を用い、メディア合成技術を使って、対象者になりすます画像データを生成する（ｆ０）。すなわち、攻撃者は、対象者のディープフェイクを生成する。そして、攻撃者は、対象者になりすました画像データ（ｆ１）を用いて、情報処理装置２の標的者と遠隔会議を行う。

【0046】

なりすまし検知（ｔ２）では、なりすまし検知処理が、情報処理装置２に写っている画像データについて、対象者になりすますなりすましの疑いを検知すると、公開データｄ４、社内共用録画データｄ３や記録され得る対象者の記録データを用いて、出現頻度が最も低い特徴量に対応する挙動を特定する。そして、なりすまし検知処理は、なりすましの疑いがある攻撃者側の情報処理装置３に対して、特定した挙動を行動するように促すメッセージを出力する。ここでは、手を振るという特徴量が出現頻度が最も低い特徴量であったとする。したがって、なりすまし検知処理は、“手を振ってください”というメッセージを出力する。

【0047】

攻撃者側では、出力されたメッセージの指示に従って、メディア合成技術を使って、対象者になりすました画像データを動作させる。すると、なりすまし検知処理は、メッセージに応じて動作した画像データの不自然な歪みの度合いに基づいて、なりすましを検知する。つまり、ディープフェイクによるなりすましであれば、過去のデータの中で出現頻度が最も低い挙動を行動させることにより、得られる画像の合成品質が低下し、画像の不自然な歪みが発生しやすくなる。この結果、なりすまし検知処理は、ディープフェイクによるなりすましを正しく検知できる可能性を高めることができる。

【0048】

［全体のフローチャート］
図６は、実施例に係るなりすまし検知の全体のフローチャートの一例を示す図である。図６に示すように、検知装置１の制御部１４は、遠隔対話の開始を受け付けると、遠隔対話を開始する（ステップＳ１１）。例えば、制御部１４は、情報処理装置２と情報処理装置３との遠隔対話を開始する。

【0049】

対話中に、第１の検知部１４３は、なりすましの疑いを検知する（ステップＳ１２）。すなわち、第１の検知部１４３は、情報処理装置２に表示される、なりすましされる対象者が写る画像データがなりすましの疑いがあることを簡易的に検知する。例えば、第１の検知部１４３は、情報処理装置２からなりすましの疑いがあることを示す通知を受け付けることで、なりすましの疑いがあることを簡易的に検知する。

【0050】

そして、第１の検知部１４３は、なりすましの疑いがあるか否かを判定する（ステップＳ１３）。なりすましの疑いがないと判定した場合には（ステップＳ１３；Ｎｏ）、制御部１４は、ステップＳ１５に移行する。

【0051】

一方、なりすましの疑いがあると判定した場合には（ステップＳ１３；Ｙｅｓ）、制御部１４は、なりすまし検知処理を実行する（ステップＳ１４）。なお、なりすまし検知処理のフローチャートは、後述する。そして、制御部１４は、ステップＳ１５に移行する。

【0052】

ステップＳ１５において、制御部１４は、遠隔対話の終了を受け付けると、遠隔対話を終了する（ステップＳ１５）。例えば、制御部１４は、情報処理装置２と情報処理装置３との遠隔対話を終了する。

【0053】

［なりすまし検知処理のフローチャート］
図７は、実施例に係るなりすまし検知処理のフローチャートの一例を示す図である。

【0054】

図７に示すように、特徴量特定部１４２は、挙動に関係する特徴を決定する（ステップＳ２１）。かかる特徴は、予め記憶部１５に記憶されていれば良い。

【0055】

そして、特徴量特定部１４２は、なりすましの疑いがある対象者の、決定された特徴に対する特徴量を抽出する（ステップＳ２２）。例えば、データ取得部１４１は、なりすましの疑いがある対象者が写る画像データ群を公開データ５１から取得する。そして、特徴量特定部１４２は、データ取得部１４１によって取得された画像データ群から、決定された特徴に対する特徴量を抽出する。

【0056】

そして、特徴量特定部１４２は、抽出した特徴量の頻度分布を生成する（ステップＳ２３）。そして、特徴量特定部１４２は、出現頻度が最も低い特徴量を特定する（ステップＳ２４）。そして、特徴量特定部１４２は、特定した特徴量を挙動のカテゴリに分類する（ステップＳ２５）。

【0057】

そして、提示部１４４は、分類した挙動を促す情報を、対象者になりすましの疑いがある人物に提示する（ステップＳ２６）。すなわち、提示部１４４は、対象者になりすました疑いのある攻撃者側の情報処理装置３に対して、分類した挙動を行動するように促すメッセージを提示する。

【0058】

そして、第２の検知部１４５は、なりすましを判定する（ステップＳ２７）。例えば、第２の検知部１４５は、提示に応じて行動された挙動の画像データの不自然な歪みの度合いに基づいて、なりすましを検知する。そして、第２の検知部１４５は、なりすまし検知処理を終了する。

【0059】

［実施例の効果］
上記実施例によれば、検知装置１は、対象者が写る画像データ群を画像情報記憶部から取得する。検知装置１は、取得した画像データ群を用いて、出現頻度が第２挙動の頻度より低い対象者の第１挙動を特定する。検知装置１は、画面上に表示される、対象者が写る画像データがなりすましの疑いがあると検知されると、画像データに写された対象者に、特定した第１挙動を行動するように促すメッセージを出力する。かかる構成によれば、検知装置１は、対象者が写る画像データがディープフェイクである場合には、ディープフェイクによるなりすましを検知することができる。すなわち、検知装置１は、偽の画像データの挙動が不自然になる行動をとるように促すことができ、人が目視で偽物であることを判定させることができる。

【0060】

また、上記実施例によれば、検知装置１は、画像データ群を用いて、人物を特定するために用いられる所定の特徴に対する特徴量を複数抽出する。検知装置１は、複数抽出した各特徴量における出現頻度の分布を生成する。そして、検知装置１は、出現頻度の分布から、出現頻度が最も低い特徴量に対応する挙動を第１挙動として特定する。かかる構成によれば、検知装置１は、挙動に対応する特徴量の出現頻度を用いることで、ディープフェイクの生成精度が低くなるような挙動を特定することができる。

【0061】

また、上記実施例によれば、検知装置１は、なりすましの疑いがある対象者によって第１挙動が行動されたことによる画像データの不自然な歪みの度合いに基づいて、対象者になりすますなりすましを検知する。かかる構成によれば、検知装置１は、画像データの不自然な歪みの度合いを用いることで、画像データが偽物であることを判定させることができる。また、検知装置１は、人が目視で偽物であることを判定させることができる。

【0062】

［その他］
なお、実施例では、検知装置１が、対象者になりすました疑いを検知すると、対象者が写る過去の画像データ群を用いて、出現頻度が低い挙動を特定し、特定した挙動を促すメッセージを出力するなりすまし検知処理を行うと説明した。しかしながら、なりすまし検知処理は、これに限定されず、遠隔会議を行う情報処理装置２，３にインストールされ、情報処理装置２，３が、なりすまし検知処理を行っても良い。

【0063】

また、実施例では、特徴量特定部１４２は、人物を特定するために用いられる所定の特徴に対する特徴量における出現頻度が最も低い特徴量であってなりすましされる対象者の特徴量を第１挙動として特定すると説明した。そして、提示部１４４は、なりすましの疑いがある攻撃者側の情報処理装置３に対して、特定された特徴量に対する第１挙動を行動するように促すメッセージを提示する。しかしながら、特徴量特定部１４２は、所定の特徴は１つでなく複数であっても良く、複数の特徴に対するそれぞれの特徴量を第１挙動として特定しても良い。そして、提示部１４４は、なりすましの疑いがある攻撃者側の情報処理装置３に対して、特定されたそれぞれの特徴量に対する第１挙動を行動するように促すメッセージを提示する。これにより、提示部１４４は、複数の特徴に対する挙動を行動するように促すことで、ディープフェイクによるなりすましをさらに精度良く検知することが可能になる。

【0064】

また、上記実施例では、図示した検知装置１の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、検知装置１の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、データ取得部１４１と、特徴量特定部１４２とを統合しても良い。また、データ記憶部１５１などを記憶する記憶部を検知装置１の外部装置としてネットワーク経由で接続するようにしても良い。

【0065】

また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図２に示した検知装置１と同様の機能を実現するなりすまし検知プログラムを実行するコンピュータの一例を説明する。図８は、なりすまし検知プログラムを実行するコンピュータの一例を示す図である。

【0066】

図８に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）２０３と、ユーザからのデータの入力を受け付ける入力装置２１５と、表示装置２０９とを有する。また、コンピュータ２００は、記憶媒体からプログラムなどを読取るドライブ装置２１３と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信Ｉ／Ｆ（Interface）２１７とを有する。また、コンピュータ２００は、各種情報を一時記憶するメモリ２０１と、ＨＤＤ（Hard Disk Drive）２０５を有する。そして、メモリ２０１、ＣＰＵ２０３、ＨＤＤ２０５、表示制御部２０７、表示装置２０９、ドライブ装置２１３、入力装置２１５、通信Ｉ／Ｆ２１７は、バス２１９で接続されている。

【0067】

ドライブ装置２１３は、例えばリムーバブルディスク２１１用の装置である。ＨＤＤ２０５は、なりすまし検知プログラム２０５ａおよびなりすまし検知処理関連情報２０５ｂを記憶する。通信Ｉ／Ｆ２１７は、ネットワークと装置内部とのインターフェースを司り、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ２１７には、例えば、モデムやＬＡＮアダプタなどを採用することができる。

【0068】

表示装置２０９は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する表示装置である。表示装置２０９は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどを採用することができる。

【0069】

ＣＰＵ２０３は、なりすまし検知プログラム２０５ａを読み出して、メモリ２０１に展開し、プロセスとして実行する。かかるプロセスは検知装置１の各機能部に対応する。なりすまし検知処理関連情報２０５ｂには、例えば、データ記憶部１５１が含まれる。そして、例えばリムーバブルディスク２１１が、なりすまし検知プログラム２０５ａなどの各情報を記憶する。

【0070】

なお、なりすまし検知プログラム２０５ａについては、必ずしも最初からＨＤＤ２０５に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ２００がこれらからなりすまし検知プログラム２０５ａを読み出して実行するようにしても良い。

【符号の説明】

【0071】

１ 検知装置
１１ 通信部
１４ 制御部
１４１ データ取得部
１４２ 特徴量特定部
１４３ 第１の検知部
１４４ 提示部
１４５ 第２の検知部
１５ 記憶部
１５１ データ記憶部
２，３ 情報処理装置
５ サーバ
５１ 公開データ
９ システム

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】