特許 7473078 情報処理装置、情報処理方法及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】情報処理装置、情報処理方法及び記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240416BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 6

(21)【出願番号】P 2023509982

(86)(22)【出願日】2021-03-30

(86)【国際出願番号】 JP2021013635

(87)【国際公開番号】W WO2022208681

(87)【国際公開日】2022-10-06

【審査請求日】2023-08-25

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】櫻井 和之

【審査官】堀井 啓明

(56)【参考文献】

【文献】特開２０１９－１３９４３３（ＪＰ，Ａ）

【文献】特開２０２０－１８１３０５（ＪＰ，Ａ）

【文献】国際公開第２０１６／１４７２７２（ＷＯ，Ａ１）

【文献】特開２０１８－３２３９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

対象者の目領域を含む人物画像を取得する取得手段と、
前記人物画像中において、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在する場合に、前記対象者が別の人物になりすましていると判定する判定手段と
を備える情報処理装置。

【請求項2】

前記取得手段は、目を閉じた前記対象者の前記目領域を含む前記人物画像を取得する
請求項１に記載の情報処理装置。

【請求項3】

前記判定手段は、（ｉ）前記人物画像のうちの少なくとも一部に対してエッジ抽出処理を行い、（ｉｉ）前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲むエッジが抽出された場合に、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在すると判定する
請求項１又は２に記載の情報処理装置。

【請求項4】

前記取得手段は、目を閉じた前記対象者の前記目領域を含む前記人物画像である第１画像と、目を開けた前記対象者の前記目領域を含む前記人物画像である第２画像とを取得し、
前記判定手段は、前記第１画像と前記第２画像との差分に基づいて、前記対象者が別の人物になりすましているか否かを判定する
請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

対象者の目領域を含む人物画像を取得し、
前記人物画像中において、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在する場合に、前記対象者が別の人物になりすましていると判定する
情報処理方法。

【請求項6】

コンピュータに、
対象者が写り込んだ人物画像を取得しと、
前記人物画像中において、前記対象者の目の少なくとも一部が露出している開口が形成された物体が存在する場合に、前記目領域に含まれる前記対象者が別の人物になりすましていると判定する
情報処理方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、例えば、人物画像に写り込んでいる対象者が別の人物になりすましているか否かを判定可能な情報処理装置、情報処理方法及び記録媒体の技術分野に関する。

【背景技術】

【0002】

人物画像に写り込んでいる対象者が別の人物になりすましているか否かを判定可能な情報処理装置の一例が、特許文献１に記載されている。特許文献１には、カメラを用いて撮像された画像に写り込んだ顔が人の本物の顔であるか又はフェイクの顔であるかを判定可能な情報処理装置が記載されている。
その他、この開示に関連する先行技術文献として、特許文献２から特許文献５があげられる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１８４３３１号公報

【文献】特開平０６－３０９４５７８号公報

【文献】特開２００４－１７８４０２号公報

【文献】特開２００６－３３０９３６号公報

【文献】特開２０１０－２８６９５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この開示は、先行技術文献に記載された技術の改良を目的とする情報処理装置、情報処理方法及び記録媒体を提供することを課題とする。

【課題を解決するための手段】

【0005】

情報処理装置の一の態様は、対象者が写り込んだ人物画像を取得する取得手段と、前記人物画像中において、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在する場合に、前記対象者が別の人物になりすましていると判定する判定手段とを備える。

【0006】

情報処理方法の一の態様は、対象者が写り込んだ人物画像を取得しと、前記人物画像中において、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在する場合に、前記対象者が別の人物になりすましていると判定する。
記録媒体の一の態様は、コンピュータに、対象者が写り込んだ人物画像を取得し、前記人物画像中において、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在する場合に、前記対象者が別の人物になりすましていると判定する情報処理方法を実行させるコンピュータプログラムが記録された記録媒体である。

【図面の簡単な説明】

【0007】

【図1】図１は、本実施形態の情報処理システムの全体構成を示すブロック図である。

【図2】図２は、別の人物になりすますために対象者が装着するマスクの一例を示す。

【図3】図３は、本実施形態の情報処理装置の構成を示すブロック図である。

【図4】図４は、本実施形態の情報処理装置が行うなりすまし判定動作の流れを示すフローチャートである。

【図5】図５は、開口が形成されたマスクを装着している対象者が写り込んだ人物画像の一例を、人物画像のうちの対象者の目を含む一部の画像部分の拡大図と共に示す平面図である。

【図6】図６は、開口が形成されたマスクを装着していない対象者が写り込んだ人物画像の一例を、人物画像のうちの対象者の目を含む一部の画像部分の拡大図と共に示す平面図である。

【図7】図７は、開口が形成されたマスクを装着しており且つ目を閉じた対象者が写り込んだ人物画像の一例を、人物画像のうちの対象者の目を含む一部の画像部分の拡大図と共に示す平面図である。

【発明を実施するための形態】

【0008】

以下、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。以下では、情報処理装置、情報処理方法及び記録媒体の実施形態が適用された情報処理システムＳＹＳを用いて、情報処理装置、情報処理方法及び記録媒体の実施形態について説明する。
（１）情報処理システムＳＹＳの構成
初めに、本実施形態の情報処理システムＳＹＳの構成について説明する。
（１－１）情報処理システムＳＹＳの全体構成

【0009】

初めに、図１を参照しながら、本実施形態の情報処理システムＳＹＳの全体構成について説明する。図１は、本実施形態の情報処理システムＳＹＳの全体構成を示すブロック図である。

【0010】

図１に示すように、情報処理システムＳＹＳは、カメラ１と、情報処理装置２とを備えている。情報処理システムＳＹＳは、単一のカメラ１を備えていてもよいし、複数のカメラ１を備えていてもよい。カメラ１と情報処理装置２とは、通信ネットワーク３を介して互いに通信可能である。通信ネットワーク３は、有線の通信ネットワークを含んでいてもよい。通信ネットワーク３は、無線の通信ネットワークを含んでいてもよい。

【0011】

カメラ１は、カメラ１の撮像対象範囲に位置する対象者（つまり、人物）を撮像可能な撮像装置である。カメラ１は、対象者を撮像することで、カメラ１が撮像した対象者が写り込んだ人物画像ＩＭＧを生成する。特に、カメラ１は、対象者の顔（特に、目を含む顔の少なくとも一部）を撮像することで、人物の顔（特に、目を含む顔の少なくとも一部）が写り込んだ人物画像ＩＭＧを生成する。つまり、カメラ１は、対象者の目領域ＥＡを含む人物画像ＩＭＧを生成する。対象者の目領域ＥＡは、例えば、対象者の目を含む所定形状（例えば、矩形形状）の領域を意味していてもよい。対象者の目領域ＥＡは、例えば、対象者の目から一定の距離の範囲内に位置する所定形状の領域を意味していてもよい。一例として、後に生ずる図５及び図６に示すように、対象者の目領域ＥＡは、目画像ＩＭＧ＿ＥＹＥに含まれる領域を意味していてもよい。尚、人物画像ＩＭＧは、対象者の目領域を含んでいる限りは、対象者の目領域以外の領域を含んでいてもよいし、含んでいなくてもよい。このため、本実施形態における「対象者が写り込んだ人物画像ＩＭＧ」は、対象者の目領域が少なくとも写り込んだ人物画像ＩＭＧを意味していてもよいし、目領域を含む対象者の一部（例えば、顔）が写り込んだ人物画像ＩＭＧを意味していてもよいし、対象者の全身が写り込んだ人物画像ＩＭＧを意味していてもよい。いずれにせよ、少なくとも対象者の目領域を含む画像は、人物画像ＩＭＧとして用いられてもよい。カメラ１は、生成した人物画像ＩＭＧを、情報処理装置２に出力する。具体的には、カメラ１は、生成した人物画像ＩＭＧを、通信ネットワーク３を介して、情報処理装置２に送信する。

【0012】

情報処理装置２は、なりすまし判定動作を行うことが可能である。具体的には、情報処理装置２は、通信ネットワーク３を介してカメラ１から送信された人物画像ＩＭＧを受信可能である。更に、情報処理装置２は、受信した人物画像ＩＭＧに基づいて、人物画像ＩＭＧに写り込んだ対象者（つまり、カメラ１の前にいる対象者）が、対象者とは異なる別の人物になりすまそうとしているか否かを判定可能である。

【0013】

本実施形態では、情報処理装置２は、対象者が、別の人物を模したマスクＭを装着する（例えば、かぶる）ことで別の人物になりすまそうとしているか否かを判定可能である。なりすまし判定動作の対象となるマスクＭの一例が図２に示されている。図２に示すように、本実施形態では、情報処理装置２は、対象者が、別の人物の目に相当する部分に開口ＡＰが形成されているマスクＭを装着することで別の人物になりすましているか否かを判定可能である。尚、図２は、開口ＡＰが横長の円形形状を有する開口である例を示している。しかしながら、開口ＡＰの形状が図２に示す形状に限定されることはない。例えば、開口ＡＰの形状は、任意の円形形状であってもよいし、任意の楕円形形状であってもよいし、任意の多角形形状であってもよいし、任意の閉曲線に相当する形状であってもよい。

【0014】

尚、本実施形態における「マスク」は、対象者が装着可能であって且つ対象者が装着した状態において対象者の顔の少なくとも一部を覆う（言い換えれば、隠す）ことが可能な物体（部材）装身具を意味していてもよい。例えば、対象者の頭部をすっぽりと覆うマスクが、マスクＭとして用いられてもよい。例えば、対象者の頭部を部分的に覆う（例えば、対象者の顔の前面を覆う）マスク（いわゆる、面）が、マスクＭとして用いられてもよい。

【0015】

ここで、カメラ１の前にいる対象者が別の人物になりすましているか否かを判定するための方法の一例として、人物画像ＩＭＧに写り込んでいる被撮像人物が所定の指示に従って瞬きをしているか否かを判定することで、対象者が別の人物になりすましているか否かを判定する方法があげられる。この方法を用いる比較例の情報処理装置は、主として、対象者が別の人物になりすますために別の人物が写り込んだ写真又は別の人物を表示するディスプレイを対象者がカメラ１に撮像させている場合に、対象者が別の人物になりすましているか否かを適切に判定することができる。なぜならば、写真に写り込んだ又はディスプレイに表示された別の人物は、所定の指示に従って瞬きをすることが困難であるからである。このため、比較例の情報処理装置は、典型的には、人物画像ＩＭＧに写り込んだ被撮像者が所定の指示に従って瞬きをしていない場合に、人物画像ＩＭＧに写り込んでいる被撮像者は、カメラ１の前にいる対象者とは異なる人物である（その結果、対象者が別の人物になりすましている）と判定する。しかしながら、別の人物の目に相当する部分に開口ＡＰが形成されているマスクＭを対象者が装着している場合には、マスクＭを装着している対象者の目が開口ＡＰから露出することになる。このため、マスクＭを装着している対象者が瞬きをすれば、比較例の情報処理装置は、人物画像ＩＭＧに写り込んだ対象者が所定の指示に従って瞬きをしていると判定することになる。その結果、比較例の情報処理装置は、対象者が別の人物になりすましているにも関わらず、対象者が別の人物になりすましていないと誤判定してしまうという技術的問題点を有している。

【0016】

そこで、本実施形態では、上述した技術的問題点を解決可能な情報処理装置２について説明する。つまり、本実施形態では、別の人物の目に相当する部分に開口ＡＰが形成されているマスクＭを装着することで対象者が別の人物になりすましている状況下において、対象者が別の人物になりすましていると適切に判定することが可能な情報処理装置２について説明する。
（１－２）情報処理装置２の構成

【0017】

続いて、図３を参照しながら、本実施形態の情報処理装置２の構成について説明する。図３は、本実施形態の情報処理装置２の構成を示すブロック図である。

【0018】

図３に示すように、情報処理装置２は、演算装置２１と、記憶装置２２と、通信装置２３とを備えている。更に、情報処理装置２は、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置２は、入力装置２４及び出力装置２５のうちの少なくとも一つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。

【0019】

演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｅｃｓｓｉｎｇ Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも一つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、情報処理装置２が備える図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、情報処理装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、情報処理装置２が行うべき動作（例えば、上述したなりすまし判定動作）を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、情報処理装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

【0020】

図３には、なりすまし判定動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図３に示すように、演算装置２１内には、「取得手段」の一具体例である画像取得部２１１と、「判定手段」の一具体例であるなりすまし判定部２１２とが実現される。画像取得部２１１は、カメラ１から人物画像ＩＭＧを取得可能である。なりすまし判定部２１２は、画像取得部２１１が取得した人物画像ＩＭＧに基づいて、人物画像ＩＭＧに写り込んだ対象者（つまり、カメラ１の前にいる対象者）が、対象者とは異なる別の人物になりすまそうとしているか否かを判定可能である。

【0021】

記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している場合に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、情報処理装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。

【0022】

通信装置２３は、通信ネットワーク３を介して、カメラ１と通信可能である。本実施形態では、通信装置２３は、通信ネットワーク３を介して、カメラ１から人物画像ＩＭＧを受信（つまり、取得）する。

【0023】

入力装置２４は、情報処理装置２の外部からの情報処理装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、情報処理装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置２４は、情報処理装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。

【0024】

出力装置２５は、情報処理装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
（２）情報処理装置２が行うなりすまし判定動作

【0025】

続いて、図４を参照しながら、情報処理装置２が行うなりすまし判定動作について説明する。図４は、情報処理装置２が行うなりすまし判定動作の流れを示すフローチャートである。
図４に示すように、画像取得部２１１は、通信装置２３を用いて、カメラ１から人物画像ＩＭＧを取得する（ステップＳ１１）。

【0026】

その後、なりすまし判定部２１２は、ステップＳ１１において取得された人物画像ＩＭＧに基づいて、人物画像ＩＭＧに写り込んだ対象者（つまり、カメラ１の前にいる対象者）が、対象者とは異なる別の人物になりすまそうとしているか否かを判定する（ステップＳ１２からステップＳ１４）。

【0027】

ここで、図５は、開口ＡＰが形成されたマスクＭを装着している対象者が写り込んだ人物画像ＩＭＧの一例を、当該人物画像ＩＭＧのうちの対象者の目領域ＥＡを含む一部の画像部分（以降、“目画像ＩＭＧ＿ＥＹＥ”と称する）の拡大図と共に示している。図５に示すように、開口ＡＰが形成されたマスクＭを対象者が装着している場合には、人物画像ＩＭＧには、対象者とは別の人物を模したマスクＭと共に、開口ＡＰから少なくとも一部が露出した対象者の目が写り込む。つまり、人物画像ＩＭＧ中において、対象者の目の少なくとも一部は、開口ＡＰから露出する。

【0028】

言い換えれば、開口ＡＰが形成されたマスクＭを対象者が装着している場合には、人物画像ＩＭＧには、開口ＡＰによって少なくとも一部が取り囲まれる対象者の目が写り込んでいる。つまり、人物画像ＩＭＧ中において、対象者の目の少なくとも一部は、開口ＡＰによって取り囲まれている。尚、ここで言う「対象者の目の少なくとも一部が開口ＡＰによって取り囲まれている」状態は、例えば、「対象者の目の少なくとも一部が、開口ＡＰの外縁ＡＰ＿ｅｄｇｅ（つまり、開口ＡＰを形成するマスクＭの外縁）によって取り囲まれている」状態を意味していてもよい。

【0029】

尚、図５は、対象者の目の全体が開口ＡＰから露出している（つまり、対象者の目の全体が開口ＡＰによって取り囲まれている）例を示している。「対象者の目の全体が開口ＡＰから露出している」状態は、例えば、「対象者の上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅの夫々の全体が開口ＡＰから露出している」状態を意味していてもよい。「対象者の目の全体が開口ＡＰによって取り囲まれている」状態は、例えば、「対象者の上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅの夫々の全体が開口ＡＰによって取り囲まれている」状態を意味していてもよい。

【0030】

但し、対象者の目の一部が開口ＡＰから露出していなくてもよい。つまり、対象者の目の一部が開口ＡＰによって取り囲まれていなくてもよい。例えば、対象者の目の横方向のサイズ（例えば、目尻から目頭までの長さ）が、開口ＡＰの横方向のサイズよりも大きい場合には、対象者の目の一部は、開口ＡＰから露出することなく、マスクＭによって覆われる。同様に、対象者の目の縦方向のサイズ（例えば、上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅとの間の距離）が、開口ＡＰの縦方向のサイズよりも大きい場合には、対象者の目の一部は、開口ＡＰから露出することなく、マスクＭによって覆われる。従って、これらの場合には、対象者の目の一部が開口ＡＰから露出している一方で、対象者の目の他の一部が開口ＡＰから露出していなくてもよい。つまり、対象者の目の一部が開口ＡＰから露出している一方で、対象者の目の他の一部がマスクＭによって覆われていてもよい。言い換えれば、対象者の目の一部が開口ＡＰによって取り囲まれている一方で、対象者の目の他の一部が開口ＡＰによって取り囲まれていなくてもよい。いずれにせよ、開口ＡＰが形成されたマスクＭを対象者が装着している場合には、対象者の目の少なくとも一部（つまり、全体又は一部）が開口ＡＰから露出している（つまり、開口ＡＰによって取り囲まれている）ことに変わりはない。
このような対象者の目が開口ＡＰに取り囲まれている状態を考慮すると、本実施形態における「目」は、眼球のみならず、眼球に付随する付属器（特に、外部から視認可能な付属器であり、一例として、上述した上瞼及び下瞼を含む眼瞼）をも含む対象者の部位を意味していてもよい。従って、本実施形態における「対象者の目の少なくとも一部が開口ＡＰによって取り囲まれている」状態は、対象者の眼球の少なくとも一部が開口ＡＰによって取り囲まれている状態を含んでいてもよいし、対象者の眼球に付随する付属器の少なくとも一部が開口ＡＰによって取り囲まれている状態を含んでいてもよい。但し、本実施形態における「目」は、眼球を含む一方で眼球に付随する付属器を含まない対象者の部位を意味していてもよい。

【0031】

一方で、図６は、開口ＡＰが形成されたマスクＭを装着していない対象者が写り込んだ人物画像ＩＭＧの一例を、当該人物画像ＩＭＧのうちの対象者の目領域ＥＡを含む目画像ＩＭＧ＿ＥＹＥの拡大図と共に示している。図６に示すように、開口ＡＰが形成されたマスクＭを対象者が装着していない場合には、人物画像ＩＭＧ中において、対象者の目の少なくとも一部が開口ＡＰから露出するように写り込むことはない。つまり、人物画像ＩＭＧ中において、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれることはない（例えば、開口ＡＰの外縁ＡＰ＿ｅｄｇｅによって取り囲まれることはない）。

【0032】

本実施形態では、なりすまし判定部２１２は、このようなマスクＭをかぶった対象者が写り込んだ人物画像ＩＭＧとマスクＭを装着していない対象者が写り込んだ人物画像ＩＭＧとの間の違いに基づいて、対象者が別の人物になりすまそうとしているか否かを判定する。具体的には、なりすまし判定部２１２は、ステップＳ１１において取得された人物画像ＩＭＧ中において、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否か（例えば、開口ＡＰの外縁ＡＰ＿ｅｄｇｅによって取り囲まれているか否か）を判定する（ステップＳ１２）。つまり、なりすまし判定部２１２は、ステップＳ１１において取得された人物画像ＩＭＧ中において、対象者の目の少なくとも一部を取り囲む開口ＡＰが存在するか否か（例えば、対象者の目の少なくとも一部を取り囲む開口ＡＰの外縁ＡＰ＿ｅｄｇｅが存在するか否か）を判定する（ステップＳ１２）。言い換えれば、なりすまし判定部２１２は、ステップＳ１１において取得された人物画像ＩＭＧ中において、対象者の目の少なくとも一部を取り囲む開口ＡＰが形成された物体（本実施形態では、マスクＭ）が存在するか否かを判定する（ステップＳ１２）。

【0033】

尚、上述したように、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれている場合には、対象者の目の少なくとも一部が開口ＡＰから露出することになる。このため、ステップＳ１２において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定する動作は、実質的には、対象者の目の少なくとも一部が開口ＡＰから露出しているか否かを判定する動作と等価であるとみなしてもよい。ステップＳ１２において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定する動作は、実質的には、対象者の目の少なくとも一部が露出する開口ＡＰが存在するか否かを判定する動作と等価であるとみなしてもよい。ステップＳ１２において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定する動作は、実質的には、対象者の目の少なくとも一部が露出する開口ＡＰが形成された物体（本実施形態では、マスクＭ）が存在するか否かを判定する動作と等価であるとみなしてもよい。

【0034】

なりすまし判定部２１２は、人物画像ＩＭＧの少なくとも一部（例えば、上述した目画像ＩＭＧ＿ＥＹＥ）を解析するための画像解析処理を行うことで、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。例えば、なりすまし判定部２１２は、人物画像ＩＭＧから対象者の目を検出し、対象者の目の周辺において対象者の目を取り囲む開口ＡＰが存在するか否かを判定してもよい。この場合、なりすまし判定部２１２は、開口ＡＰに対応するテンプレートを用いたテンプレートマッチングを行うことで、人物画像ＩＭＧ中において開口ＡＰが存在するか否かを判定してもよい。

【0035】

なりすまし判定部２１２は、人物画像ＩＭＧの少なくとも一部に対してエッジ抽出処理を行い、且つ、対象者の目を取り囲むエッジ（つまり、対象者の目を取り囲む任意の物体の輪郭であり、ここでは、開口ＡＰの外縁ＡＰ＿ｅｄｇｅを形成するマスクＭの輪郭）が存在するか否かを判定することで、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。具体的には、なりすまし判定部２１２は、人物画像ＩＭＧの少なくとも一部（例えば、上述した目画像ＩＭＧ＿ＥＹＥ）に対してエッジ抽出処理を行うことで、人物画像ＩＭＧの少なくとも一部内のエッジを表すエッジ画像を生成してもよい。例えば、なりすまし判定部２１２は、一次微分フィルタを用いたフィルタリング処理を人物画像ＩＭＧに対して行うことで、エッジ画像を生成してもよい。なりすまし判定部２１２は、縦方向の一次微分フィルタ及び横方向の一次微分フィルタの少なくとも一つを用いたフィルタリング処理を行ってもよい。エッジ画像内には、通常、対象者の目に対応するエッジが現れる。対象者の目に対応するエッジは、上瞼の下側の縁ｕｌ＿ｅｄｇｅに対応するエッジ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅに対応するエッジの少なくとも一方を含んでいてもよい。更に、対象者がマスクＭを装着している場合には、エッジ画像内には、開口ＡＰに対応するエッジが現れる。開口ＡＰに対応するエッジは、開口ＡＰの外縁ＡＰ＿ｅｄｇｅに対応するエッジ（つまり、マスクＭのうちの開口ＡＰの外縁ＡＰ＿ｅｄｇｅを形成する一部分のエッジであり、典型的には、閉ループを形成するエッジ）を含んでいてもよい。このため、なりすまし判定部２１２は、エッジ画像内において、対象者の目に対応するエッジを取り囲む開口ＡＰに対応するエッジが存在するか否かを判定してもよい。対象者の目に対応するエッジを取り囲む開口ＡＰに対応するエッジが存在する場合には、なりすまし判定部２１２は、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれていると判定してもよい。

【0036】

なりすまし判定部２１２は、学習可能な演算モデルを用いて、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。例えば、なりすまし判定部２１２は、人物画像ＩＭＧの少なくとも一部が入力された場合に対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かの判定結果を出力する演算モデルを用いて、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。例えば、なりすまし判定部２１２は、人物画像ＩＭＧの少なくとも一部に対してエッジ抽出処理を行うことで生成されるエッジ画像が入力された場合に対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かの判定結果を出力する演算モデルを用いて、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。

【0037】

学習可能な演算モデルの一例として、ニューラルネットワークを用いた演算モデルがあげられる。なりすまし判定部２１２は、教師あり学習及び教師無し学習の少なくとも一方に基づく機械学習によって学習済みの演算モデルを用いて、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。

【0038】

ステップＳ１２における判定の結果、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれていると判定された場合には（ステップＳ１２：Ｙｅｓ）、人物画像ＩＭＧに写り込んだ対象者は、開口ＡＰが形成されたマスクＭを装着している可能性が高いと想定される。そこで、この場合には、なりすまし判定部２１２は、対象者が別の人物になりすましていると判定する（ステップＳ１３）。

【0039】

他方で、ステップＳ１２における判定の結果、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれていないと判定された場合には（ステップＳ１２：Ｎｏ）、人物画像ＩＭＧに写り込んだ対象者は、開口ＡＰが形成されたマスクＭを装着している可能性は低いと想定される。そこで、この場合には、なりすまし判定部２１２は、対象者が別の人物になりすましていないと判定する（ステップＳ１４）。
対象者が別の人物になりすましていなとなりすまし判定部２１２が判定した場合には、情報処理装置２は、人物画像ＩＭＧを用いて、対象者を認証してもよい。例えば、人物画像ＩＭＧに対象者の顔が写り込んでいる場合には、情報処理装置２は、人物画像ＩＭＧに写り込んだ対象者の顔を利用した顔認証を行うことで、対象者を認証してもよい。また、人物画像ＩＭＧに対象者の目領域ＥＡが含まれているため、情報処理装置２は、人物画像ＩＭＧに写り込んだ対象者の虹彩を利用した虹彩認証を行うことで、対象者を認証してもよい。また、情報処理装置２は、顔認証及び虹彩認証とは異なる任意の認証を行うことで、対象者を認証してもよい。また、情報処理装置２は、人物画像ＩＭＧを用いる認証とは異なる任意の認証を行うことで、対象者を認証してもよい。
（３）情報処理装置２の技術的効果

【0040】

以上説明したように、情報処理装置２は、人物画像ＩＭＧ中において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれている（つまり、対象者の目の少なくとも一部を取り囲む開口ＡＰが存在する）場合に、対象者が別の人物になりすましていると判定する。このため、情報処理装置２は、別の人物の目に相当する部分に開口ＡＰが形成されているマスクＭを装着することで対象者が別の人物になりすましている状況下において、対象者が別の人物になりすましていると適切に判定することができる。

【0041】

上述したように、情報処理装置２は、人物画像ＩＭＧ中において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定するために、人物画像ＩＭＧの少なくとも一部に対してエッジ抽出処理を行うことで生成されるエッジ画像を用いてもよい。つまり、情報処理装置２は、人物画像ＩＭＧ中に存在する物体（例えば、対象者の目及び開口ＡＰが形成されたマスクＭ）の輪郭が強調されたエッジ画像を用いて、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。この場合には、エッジ画像が用いられない場合と比較して、情報処理装置２は、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かをより精度よく判定することができる。その結果、情報処理装置２は、対象者が別の人物になりすましているか否かをより精度よく判定することができる。
（４）変形例
（４－１）第１変形例

【0042】

対象者がマスクＭを装着している場合には、図５に示すように、人物画像ＩＭＧ中において、対象者の上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅの少なくとも一部が、開口ＡＰの外縁ＡＰ＿ｅｄｇｅから離れた位置に位置している。なぜならば、通常、マスクＭに形成された開口ＡＰのサイズとマスクＭを装着する対象者の目のサイズとが一致する可能性は低いからである。このように人物画像ＩＭＧ中において、対象者の上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅの少なくとも一部が、開口ＡＰの外縁ＡＰ＿ｅｄｇｅから離れた位置に位置している場合には、なりすまし判定部２１２は、人物画像ＩＭＧ中において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれていると判定しやすい。
一方で、マスクＭに形成された開口ＡＰのサイズとマスクＭを装着する対象者の目のサイズとが一致する可能性はゼロとは言い切れない。マスクＭに形成された開口ＡＰのサイズとマスクＭを装着する対象者の目のサイズとが一致する場合には、人物画像ＩＭＧ中において、対象者の上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅの夫々が、開口ＡＰの外縁ＡＰ＿ｅｄｇｅと重なる可能性がある。この場合、なりすまし判定部２１２は、人物画像ＩＭＧ中において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれていないと判定する可能性がある。なぜならば、上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅの夫々が重なっている開口ＡＰの外縁ＡＰ＿ｅｄｇｅが、目の輪郭である（つまり、上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅである）と誤認識される可能性があるからである。その結果、対象者が別の人物になりすましているか否かの判定精度が低下する可能性がある。

【0043】

そこで、対象者の目のサイズと一致するサイズを有する開口ＡＰが形成されたマスクＭを対象者が装着している状況下においても対象者が別の人物になりすましているか否かを精度よく判定するために、画像取得部２１１は、図４のステップＳ１１において、目を閉じた対象者が写り込んでいる人物画像ＩＭＧを取得してもよい。開口ＡＰが形成されたマスクＭを装着しており且つ目を閉じた対象者が写り込んだ人物画像ＩＭＧの一例が、図７に示されている。図７に示すように、対象者が目を閉じている場合には、マスクＭに形成された開口ＡＰのサイズとマスクＭを装着する対象者の目のサイズとが一致する場合であっても、人物画像ＩＭＧ中において、対象者の上瞼の下側の縁ｕｌ＿ｅｄｇｅ及び下瞼の上側の縁ｕｌ＿ｅｄｇｅの夫々が、開口ＡＰの外縁ＡＰ＿ｅｄｇｅと重なる可能性は低い。このため、なりすまし判定部２１２は、対象者の目のサイズと一致するサイズを有する開口ＡＰが形成されたマスクＭを対象者が装着している状況下において、人物画像ＩＭＧ中において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれていると判定することができる。その結果、なりすまし判定部２１２は、対象者の目のサイズと一致するサイズを有する開口ＡＰが形成されたマスクＭを対象者が装着している状況下においても対象者が別の人物になりすましているか否かを精度よく判定することができる。

【0044】

尚、対象者の目のサイズと一致するサイズを有する開口ＡＰが形成されたマスクＭを対象者が装着している状況下に限らず、画像取得部２１１は、図４のステップＳ１１において、目を閉じた対象者が写り込んでいる人物画像ＩＭＧを取得してもよい。

【0045】

目が閉じた対象者が写り込んでいる人物画像ＩＭＧを取得するために、情報処理装置２は、対象者に目を閉じることを指示してもよい。例えば、情報処理装置２がカメラ１の近傍にディスプレイを備えている場合には、情報処理装置２は、対象者に目を閉じることを指示するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示してもよい。

【0046】

或いは、カメラ１は、対象者を時間的に連続して撮影してもよい。つまり、カメラ１は、時系列データとしての複数の人物画像ＩＭＧを生成してもよい。この場合、なりすまし判定部２１２は、複数の人物画像ＩＭＧの中から、目を閉じた対象者が写り込んでいる少なくとも一つの人物画像ＩＭＧを抽出し、抽出した少なくとも一つの人物画像ＩＭＧ中において、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。

【0047】

尚、情報処理装置２は、図４に示すなりすまし判定動作と並行して、上述した比較例の情報処理装置と同様に、人物画像ＩＭＧに写り込んでいる対象者が瞬きをしているか否かを判定することで、対象者が別の人物になりすましているか否かを判定するなりすまし判定動作を行ってもよい。この場合、対象者が瞬きをしているか否かを判定するために、カメラ１は、通常、対象者を時間的に連続して撮影する。つまり、カメラ１は、時系列データとしての複数の人物画像ＩＭＧを生成する。この場合においても、なりすまし判定部２１２は、複数の人物画像ＩＭＧの中から、目を閉じた対象者が写り込んでいる少なくとも一つの人物画像ＩＭＧを抽出し、抽出した少なくとも一つの人物画像ＩＭＧ中において、対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定してもよい。その結果、情報処理装置２は、図４に示すなりすまし判定動作と、瞬きを利用したなりすまし判定動作とを並行して行うことができる。
（４－２）第２変形例

【0048】

画像取得部２１１は、図４のステップＳ１１において、目を閉じた対象者が写り込んでいる人物画像ＩＭＧと、目を開けた対象者が写り込んだ人物画像ＩＭＧとの双方を取得してもよい。この場合、なりすまし判定部２１２は、目を閉じた対象者が写り込んでいる人物画像ＩＭＧと、目を開けた対象者が写り込んだ人物画像ＩＭＧとを用いて、対象者が別の人物になりすましているか否かを判定してもよい。

【0049】

一例として、なりすまし判定部２１２は、目を閉じた対象者が写り込んでいる人物画像ＩＭＧと、目を開けた対象者が写り込んだ人物画像ＩＭＧとの差分に基づいて、対象者が別の人物になりすましているか否かを判定してもよい。具体的には、対象者がマスクＭを装着している場合には、対象者が目を閉じている状況下では人物画像ＩＭＧに写り込んでいた対象者の一部が、対象者が目を開けている状況下では人物画像ＩＭＧに写り込まなくなる可能性がある。例えば、対象者が目を閉じている状況下では、対象者の上瞼が人物画像ＩＭＧに写り込んでいる一方で、対象者が目を開けている状況下では、対象者の上瞼がマスクＭに隠れる可能性がある。その結果、対象者が目を開けている状況下では、対象者の上瞼が人物画像ＩＭＧに写り込まなくなる可能性がある。この場合、目を閉じた対象者が写り込んでいる人物画像ＩＭＧと、目を開けた対象者が写り込んだ人物画像ＩＭＧとの間には、上瞼の写り込みの有無に関する差分が存在する。従って、なりすまし判定部２１２は、目を閉じた対象者が写り込んでいる人物画像ＩＭＧと、目を開けた対象者が写り込んだ人物画像ＩＭＧとの差分に基づいて、対象者が別の人物になりすましているか否かを判定することができる。具体的には、例えば、なりすまし判定部２１２は、対象者が目を閉じている状況下では人物画像ＩＭＧに写り込んでいた対象者の一部が、対象者が目を開けている状況下では人物画像ＩＭＧに写り込まなくなるか否かを判定してもよい。対象者が目を閉じている状況下では人物画像ＩＭＧに写り込んでいた対象者の一部が、対象者が目を開けている状況下では人物画像ＩＭＧに写り込まなくなる場合には、なりすまし判定部２１２は、対象者が別の人物になりすましていると判定してもよい。

【0050】

この場合においても、目を閉じた対象者が写り込んでいる人物画像ＩＭＧと目を開けた対象者が写り込んだ人物画像ＩＭＧとの間の差異が生ずる原因が、対象者の目を取り囲む開口ＡＰ（具体的には、開口ＡＰが形成されたマスクＭ）にあることに変わりはない。つまり、対象者が目を閉じている状況下では人物画像ＩＭＧに写り込んでいた対象者の一部が、対象者が目を開けている状況下では人物画像ＩＭＧに写り込まなくなる原因が、対象者の目を取り囲む開口ＡＰ（具体的には、開口ＡＰが形成されたマスクＭ）にあることに変わりはない。このため、対象者が目を閉じている状況下では人物画像ＩＭＧに写り込んでいた対象者の一部が、対象者が目を開けている状況下では人物画像ＩＭＧに写り込まなくなるか否かを判定する動作は、実質的に、人物画像ＩＭＧ中において対象者の目の少なくとも一部が開口ＡＰによって取り囲まれているか否かを判定する動作と等価であるとみなしてもよい。

【0051】

（５）付記
以上説明した実施形態に関して、更に以下の付記を開示する。
［付記１］
対象者の目領域を含む人物画像を取得する取得手段と、
前記人物画像中において、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在する場合に、前記対象者が別の人物になりすましていると判定する判定手段と
を備える情報処理装置。
［付記２］
前記取得手段は、目を閉じた前記対象者の前記目領域を含む前記人物画像を取得する
付記１に記載の情報処理装置。
［付記３］
前記判定手段は、（ｉ）前記人物画像のうちの少なくとも一部に対してエッジ抽出処理を行い、（ｉｉ）前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲むエッジが抽出された場合に、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在すると判定する
付記１又は２に記載の情報処理装置。
［付記４］
前記取得手段は、目を閉じた前記対象者の前記目領域を含む前記人物画像である第１画像と、目を開けた前記対象者の前記目領域を含む前記人物画像である第２画像とを取得し、
前記判定手段は、前記第１画像と前記第２画像との差分に基づいて、前記対象者が別の人物になりすましているか否かを判定する
付記１から３のいずれか一項に記載の情報処理装置。
［付記５］
対象者の目領域を含む人物画像を取得し、
前記人物画像中において、前記目領域に含まれる前記対象者の目の少なくとも一部を取り囲む開口が存在する場合に、前記対象者が別の人物になりすましていると判定する
情報処理方法。
［付記６］
コンピュータに、
対象者の目領域を含む人物画像を取得しと、
前記人物画像中において、前記目領域に含まれる前記対象者の目の少なくとも一部が露出している開口が形成された物体が存在する場合に、前記対象者が別の人物になりすましていると判定する
情報処理方法を実行させるコンピュータプログラムが記録された記録媒体。

【0052】

上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。

【0053】

この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う情報処理装置、情報処理方法、コンピュータプログラム及び記録媒体もまた、この開示の技術的思想に含まれる。

【符号の説明】

【0054】

１ カメラ
２ 情報処理装置
２１ 演算装置
２１１ 画像取得部
２１２ なりすまし判定部
３ 通信ネットワーク
ＳＹＳ なりすまし判定システム
Ｍ マスク
ＡＰ 開口
ＩＭＧ 人物画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】