特許 7524980 判定方法、判定プログラム、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】判定方法、判定プログラム、及び情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240723BHJP

   G06V 10/62 20220101ALI20240723BHJP

   G06V 40/16 20220101ALI20240723BHJP

   G06V 40/40 20220101ALI20240723BHJP

【ＦＩ】

G06T7/00 510F

G06V10/62

G06V40/16 A

G06V40/40

【請求項の数】 7

(21)【出願番号】P 2022581139

(86)(22)【出願日】2021-02-15

(86)【国際出願番号】 JP2021005432

(87)【国際公開番号】W WO2022172430

(87)【国際公開日】2022-08-18

【審査請求日】2023-05-31

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】▲浜▼ 壮一

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１０－２２５１１８（ＪＰ，Ａ）

【文献】特開２００６－０９９６１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ４０／００ － ４０／７０

(57)【特許請求の範囲】

【請求項1】

カメラにより撮影された、人物の画像領域を含む撮影画像を取得し、
取得した前記撮影画像から前記人物の画像領域以外の画像領域として、前記撮影画像の縁を外周とする環状の領域である周辺領域と、前記周辺領域の内周に囲まれた領域のうちの前記人物の画像領域以外の領域である背景領域とを含む画像領域を特定し、
前記背景領域に含まれる第１の位置と前記人物の画像領域に含まれる第３の位置との動きの分布状況に応じて前記撮影画像が前記人物の実物を撮影したものか否かを判定する第１の判定を行い、
前記第１の判定において前記撮影画像が前記人物の実物を撮影したものではないと判定された場合に、第２の判定として、前記第１の位置と前記周辺領域に含まれる第２の位置との動きの分布状況に応じて前記撮影画像が前記人物の表示物を撮影したものか否かの判定を行う、
ことをコンピュータが実行することを特徴とする判定方法。

【請求項2】

前記第２の判定は、前記第１の位置の動きと前記第２の位置の動きとの差異に基づいて行われることを特徴とする請求項１に記載の判定方法。

【請求項3】

前記背景領域に含まれる前記撮影画像の各画素の動きベクトルについての平均を、第１の動きベクトルとして算出し、
前記周辺領域に含まれる前記撮影画像の各画素の動きベクトルについての平均を、第２の動きベクトルとして算出する、
ことを前記コンピュータが更に行い、
前記第２の判定は、前記第１の動きベクトルと前記第２の動きベクトルとの差分ベクトルの大きさに基づいて行われる、
ことを特徴とする請求項２に記載の判定方法。

【請求項4】

前記第１の判定は、前記第１の位置の動きと前記第３の位置の動きとの差異に基づいて行われることを特徴とする請求項１に記載の判定方法。

【請求項5】

前記背景領域に含まれる前記撮影画像の各画素の動きベクトルについての平均を、第１の動きベクトルとして算出し、
前記人物の画像領域に含まれる前記撮影画像の各画素の動きベクトルについての平均を、第３の動きベクトルとして算出する、
ことを前記コンピュータが更に行い、
前記第１の判定は、前記第１の動きベクトルと前記第３の動きベクトルとの差分ベクトルの大きさに基づいて行われる、
ことを特徴とする請求項４に記載の判定方法。

【請求項6】

カメラにより撮影された、人物の画像領域を含む撮影画像を取得し、
取得した前記撮影画像から、前記人物の画像領域以外の画像領域として、前記撮影画像の縁を外周とする環状の領域である周辺領域と、前記周辺領域の内周に囲まれた領域のうちの前記人物の画像領域以外の領域である背景領域とを含む画像領域を特定し、
前記背景領域に含まれる第１の位置と前記人物の画像領域に含まれる第３の位置との動きの分布状況に応じて前記撮影画像が前記人物の実物を撮影したものか否かを判定する第１の判定を行い、
前記第１の判定において前記撮影画像が前記人物の実物を撮影したものではないと判定された場合に、第２の判定として、前記第１の位置と前記周辺領域に含まれる第２の位置との動きの分布状況に応じて前記撮影画像が前記人物の表示物を撮影したものか否かの判定を行う、
処理をコンピュータに実行させるための判定プログラム。

【請求項7】

カメラにより撮影された、人物の画像領域を含む撮影画像を取得する画像取得部と、
取得した前記撮影画像から、前記人物の画像領域以外の画像領域として、前記撮影画像の縁を外周とする環状の領域である周辺領域と、前記周辺領域の内周に囲まれた領域のうちの前記人物の画像領域以外の領域である背景領域とを含む画像領域を特定する領域特定部と、
前記背景領域に含まれる第１の位置と前記人物の画像領域に含まれる第３の位置との動きの分布状況に応じて前記撮影画像が前記人物の実物を撮影したものか否かを判定する第１の判定を行うと共に、前記第１の判定において前記撮影画像が前記人物の実物を撮影したものではないと判定された場合に、第２の判定として、前記第１の位置と前記周辺領域に含まれる第２の位置との動きの分布状況に応じて前記撮影画像が前記人物の表示物を撮影したものか否かの判定を行う判定部と、
を備えることを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の判定の技術に関する。

【背景技術】

【0002】

生体認証技術は、指紋、顔、静脈などの生体特徴を用いて本人確認を行う技術である。生体認証技術では、確認が必要な場面において取得した生体特徴を、予め登録しておいた生体特徴と比較（照合）し、両者が一致するか否かを判定することによって本人確認を行う。

【0003】

生体認証技術のうちのひとつである顔認証技術は、非接触で本人確認できる手段として注目されている。顔認証技術は、パーソナル・コンピュータ（ＰＣ）やスマートフォンなどの個人利用の端末のアクセス管理、入退室の管理、空港での搭乗ゲートでの本人確認など、様々な用途で利用されている。

【0004】

この顔認証技術において生体特徴として利用する顔画像の情報は、指紋認証や手のひら静脈認証などの他の生体認証技術において生体特徴として利用する情報とは異なり、特殊なセンサを用いずに、一般的なカメラでの撮影によっても取得できてしまう。また、顔画像は、ソーシャル・ネットワーキング・サービス（ＳＮＳ）などでインターネット上に公開されている場合も多い。このため、公開されている顔画像を印刷した写真や、当該顔画像が表示されているスマートフォンなどの画面をカメラに提示することによって他人が本人になりすます不正行為が行われる懸念がある。そこで、カメラにより撮影された撮影画像が、人物の実物（撮影場所に実際にいる人物）を撮影したものか、あるいは、人物の写真や人物を映している表示画面などといった人物の表示物を撮影したものかを判定するための技術が幾つか提案されている。

【0005】

本人の顔が写っている写真や本人の顔を映している表示画面を撮影した画像と、認証情報として予め登録されている本人の顔画像とは一見して見分けがつきにくい。そこで、赤外線カメラを用いて取得される赤外線画像や、深度カメラなどを用いて取得される三次元情報を利用して、撮影対象物の特性を捉える手法が提案されている（例えば、特許文献１～特許文献３参照）。

【0006】

また、撮影画像が人物の表示物を撮影したものであった場合、そのような表示物が要求に対する応答をその場で行うことは不可能である。このことを利用し、所定の動きを認証対象者に入力させる技術や、装置の表示に対する認証対象者の応答を見る技術、更には、自然な人の動作（瞬きなど）の検出によって人物が生体か否かを判定する技術が提案されている（例えば、特許文献４～特許文献９参照）。

【0007】

更には、撮影画像における、人物の画像領域の特徴や人物の画像領域以外の画像領域（背景の画像領域）の特徴を利用して、撮影画像が人物の実物を撮影したものか否かの判定を行う技術が幾つか提案されている。より詳細には、例えば、撮影画像における人物領域以外の領域である背景領域についての特徴量に所定値以上の変動がある場合に対象物を非生体と判別するという技術が提案されている。また、例えば、撮影画像における顔領域と背景領域とのそれぞれの動き特徴量の類似度を用いて撮影対象が写真と人間とのどちらであるかを判定するという技術も提案されている（例えば、特許文献１０～特許文献１２参照）。

【0008】

この他、画像の判定において利用される技術が幾つか提案されている。

【0009】

例えば、撮影画像から、物体の画像領域や人の顔の画像領域を検出する技術が提案されている（例えば、非特許文献１～非特許文献４参照）。

【0010】

また、例えば、時系列の画像を構成する各画素の輝度勾配の変化から得られるオプティカルフローを利用して、画像の動きを抽出する技術が提案されている（例えば、非特許文献５参照）。

【先行技術文献】

【特許文献】

【0011】

【文献】国際公開第２００９／１０７２３７号

【文献】特開２００５－２５９０４９号公報

【文献】国際公開第２００９／１１０３２３号

【文献】特開２０１６－１５２０２９号公報

【文献】国際公開第２０１９／１５１３６８号

【文献】特開２００８－０００４６４号公報

【文献】特開２００１－１２６０９１号公報

【文献】特開２００８－０９０４５２号公報

【文献】特開２００６－３３０９３６号公報

【文献】特開２０１０－２２５１１８号公報

【文献】特開２００６－０９９６１４号公報

【文献】特開２０１６－１７３８１３号公報

【非特許文献】

【0012】

【文献】Hengshuang Zhao et al., “Pyramid Scene Parsing Network”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, p. 2881-2890

【文献】Wei Liu et al., “SSD: Single Shot MultiBox Detector”, European Conference on Computer Vision (ECCV) 2016, Springer International Publishing, 2016, p. 21-37

【文献】Joseph Redmon et al., "You Only Look Once: Unified, Real-Time Object Detection", 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, p. 779-788

【文献】Kaipeng Zhang et al., "Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks", IEEE Signal Processing Letters (SPL), Volume 23, Issue 10, Oct. 2016, p. 1499-1503

【文献】Gunnar Farneback, “Two-Frame Motion Estimation Based on Polynomial Expansion” In Proceedings of the 13th Scandinavian Conference on Image Analysis (SCIA 2003), 2003, p. 363 - 370

【発明の概要】

【発明が解決しようとする課題】

【0013】

顔認証の実施時に撮影された画像がブレていることがある。このようなブレは、例えば、電車などの車内でノートＰＣを膝の上に乗せて使用する場合や、カメラの固定が堅牢でないために周囲の振動でカメラが揺れてしまう場合などに発生する。このような、撮影時のカメラブレに起因して生じるブレが撮影画像に存在すると、当該撮影画像が人物の表示物を撮影したものか否かの判定の精度を低下させてしまうことがある。

【0014】

前述したように、撮影画像における人物領域以外の領域である背景領域についての特徴量に所定値以上の変動がある場合に対象物を非生体と判別するという技術が提案されている。この技術は、撮影画像が人物の実物を撮影したものである場合には背景領域の特徴量は殆ど変動しないことに着目し、このような変動の検出によって上述した判別を行うというものである。しかしながら、この技術は、前述したようなブレが存在する撮影画像からも背景領域の特徴量の変動を検出してしまう。このため、撮影画像にブレが存在する場合には、この技術は、対象物が生体であっても非生体と誤判別してしまう可能性がある。

【0015】

また、前述したように、撮影画像における顔領域と背景領域とのそれぞれの動き特徴量の類似度を用いて撮影対象が写真と人間とのどちらであるかを判定するという技術も提案されている。この技術は、人物が写っている写真を撮影して得た撮影画像では顔領域と背景領域との動きが連動することに着目し、この連動の検出によって上述した判定を行うというものである。ところが、前述したようなブレが存在する撮影画像では顔領域と背景領域との動きが連動する。このため、撮影画像にブレが存在する場合には、この技術は、撮影画像が人物の実物を撮影したものであっても写真を撮影したものと誤判定してしまう可能性がある。

【0016】

１つの側面において、本発明は、撮影画像が人物の表示物を撮影したものか否かの判定の精度を向上させることを目的とする。

【課題を解決するための手段】

【0017】

１つの案では、コンピュータは、カメラにより撮影された、人物の画像領域を含む撮影画像を取得する。コンピュータは、取得した撮影画像から人物の画像領域以外の画像領域として、撮影画像の縁を外周とする環状の領域である周辺領域と、周辺領域の内周に囲まれた領域のうちの人物の画像領域以外の領域である背景領域とを含む画像領域を特定する。コンピュータは、背景領域に含まれる第１の位置と人物の画像領域に含まれる第３の位置との動きの分布状況に応じて撮影画像が人物の実物を撮影したものか否かを判定する第１の判定を行う。コンピュータは、第１の判定において撮影画像が人物の実物を撮影したものではないと判定された場合に、第２の判定として、第１の位置と周辺領域に含まれる第２の位置との動きの分布状況に応じて撮影画像が人物の表示物を撮影したものか否かの判定を行う。

【発明の効果】

【0018】

１つの側面によれば、撮影画像が人物の表示物を撮影したものか否かの判定の精度が向上する。

【図面の簡単な説明】

【0019】

【図1】撮影画像の各画像領域を説明する図である。

【図2A】撮影時にカメラブレが発生している場合における撮影画像の各画像領域の動きの同期・非同期の様子を説明する図（その１）である。

【図2B】撮影時にカメラブレが発生している場合における撮影画像の各画像領域の動きの同期・非同期の様子を説明する図（その２）である。

【図3】例示的な情報処理装置の構成を示す図である。

【図4】コンピュータのハードウェア構成例を示す図である。

【図5】撮影画像判定処理の処理内容を示したフローチャートである。

【図6】画像領域特定処理の処理内容を示したフローチャートである。

【図7A】人物領域の特定の手法の例を説明する図（その１）である。

【図7B】人物領域の特定の手法の例を説明する図（その２）である。

【図8】背景領域の特定の手法の例を説明する図である。

【図9】動き抽出処理の処理内容を示したフローチャートである。

【図10】判定処理の処理内容を示したフローチャートである。

【図11】撮影画像のペアを複数組用いて画像の動きベクトルを取得する例を説明する図である。

【発明を実施するための形態】

【0020】

以下、図面を参照しながら、実施形態を詳細に説明する。

【0021】

本実施形態では、カメラにより撮影された撮影画像における人物の画像領域以外の画像領域に含まれる複数の位置の動きの分布状況に応じて、撮影画像が人物の表示物を撮影したものか否かの判定を行う。この手法について説明する。

【0022】

本実施形態では、まず、カメラにより撮影された撮影画像から各画像領域を検出する。

【0023】

図１は撮影画像１０の各画像領域を説明する図である。本実施形態では、この撮影画像１０から、周辺領域１１、人物領域１２、及び背景領域１３の各画像領域を検出する。

【0024】

周辺領域１１は、撮影画像１０の外周部の領域であって、撮影画像１０の縁を外周とする環状の領域である。また、人物領域１２及び背景領域１３は、どちらも、周辺領域１１の内周に囲まれている領域である。このうちの人物領域１２は、人物が表されている画像領域である。一方、背景領域１３は、人物領域１２以外の領域であって、人物以外のものが表されている領域である。

【0025】

撮影画像１０が人物の実物を撮影したものである場合には、当該人物が人物領域１２に表示され、撮影画像１０の撮影時における当該人物の実際の背景が背景領域１３と周辺領域１１との両方に表示される。但し、周辺領域１１には、背景領域１３に表示される背景についての周辺の光景が表示される。

【0026】

一方、撮影画像１０が人物の表示物を撮影したものである場合には、撮影画像１０の撮影時に表示物に表示されている影像が人物領域１２と背景領域１３との両方に表示され、撮影画像１０の撮影時における表示物の周辺の光景が周辺領域１１に表示される。但し、人物領域１２には、表示物に表されている人物の影像が表示され、背景領域１３には、当該表示物で人物と共に表されている背景の影像が表示される。

【0027】

人物の実物の撮影時にカメラブレが発生した場合、当該人物の実際の背景がどちらにも表示されている周辺領域１１と背景領域１３とでは画像の動きが同期する。一方、当該人物が表示されている人物領域１２は背景領域１３とは画像の動きが同期しない。これに対し、人物の表示物の撮影時にカメラブレが発生した場合には、当該表示物の表示内容がどちらにも表示されている人物領域１２と背景領域１３とで画像の動きが同期する。一方、表示物の周辺の光景が表示されている周辺領域１１は背景領域１３とは画像の動きが同期しない。このような、カメラブレが発生した場合の撮影画像１０の各画像領域の動きの同期・非同期の様子について、図２Ａ及び図２Ｂを用いて説明する。

【0028】

図２Ａ及び図２Ｂにおいて、実線のグラフは人物の実物を撮影して得た撮影画像１０についての差分ベクトルの大きさの挙動を表しており、破線のグラフは表示物を撮影して得た撮影画像１０についての差分ベクトルの大きさの挙動を表している。

【0029】

図２Ａ及び図２Ｂのグラフのそれぞれにおける横軸は、撮影画像１０の撮影時刻を表している。図２Ａのグラフでは、人物領域１２の動きを表す動きベクトルと背景領域１３の動きを表す動きベクトルとの差分ベクトルの大きさが縦軸方向で表されている。一方、図２Ｂのグラフでは、周辺領域１１の動きを表す動きベクトルと背景領域１３の動きを表す動きベクトルとの差分ベクトルの大きさが縦軸方向で表されている。

【0030】

撮影画像１０における２つの領域の動きが同期している場合には、当該２つの領域の動きについての差分ベクトルの大きさは小さくなり、２つの領域の動きが同期していない場合には、当該２つの領域の動きについての差分ベクトルの大きさは大きくなる。

【0031】

図２Ａのグラフでは、表示物を撮影した撮影画像１０についての差分ベクトルの大きさは小さく、人物の実物を撮影した撮影画像１０についての差分ベクトルの大きさは大きい。従って、表示物を撮影した撮影画像１０についての人物領域１２と背景領域１３との動きはほぼ同期しており、その一方で、人物の実物を撮影した撮影画像１０についての人物領域１２と背景領域１３との動きは同期していないことが分かる。

【0032】

これに対し、図２Ｂのグラフでは、人物の実物を撮影した撮影画像１０についての差分ベクトルの大きさは小さく、表示物を撮影した撮影画像１０についての差分ベクトルの大きさは大きい。従って、人物の実物を撮影した撮影画像１０についての周辺領域１１と背景領域１３との動きはほぼ同期しており、その一方で、表示物を撮影した撮影画像１０についての周辺領域１１と背景領域１３との動きは同期していないことが分かる。

【0033】

本実施形態では、このような、ブレのある撮影画像１０における各画像領域の動きの同期・非同期の関係に着目し、各画像領域に含まれるそれぞれの位置の動きの分布状況に応じて、撮影画像１０が表示物を撮影したものか否かの判定を行うようにする。

【0034】

次に、撮影画像１０が人物の表示物を撮影したものか否かの判定を行う装置の構成について説明する。図３は、例示的な情報処理装置２０の構成を示している。

【0035】

情報処理装置２０にはカメラ３０が接続される。カメラ３０は撮影対象を撮影して撮影画像１０を出力する。カメラ３０の本来の撮影対象は人物であり、例えば顔認証を行う場合には、カメラ３０は認証対象者の顔を撮影する。なお、カメラ３０は、撮影対象の撮影を繰り返し行って時系列の撮影画像１０を出力する。時系列の撮影画像１０は、撮影画像１０の各領域の動きの抽出を行うために用いられる。

【0036】

情報処理装置２０は、構成要素として、画像取得部２１、領域特定部２２、動き抽出部２３、及び判定部２４を備えている。

【0037】

画像取得部２１は、カメラ３０により撮影された撮影画像１０を取得して蓄えておく。

【0038】

領域特定部２２は、画像取得部２１により取得された撮影画像１０から、図１を用いて説明した各画像領域、より具体的には、人物領域１２と人物領域１２以外の領域（周辺領域１１及び背景領域１３）とを特定する。

【0039】

動き抽出部２３は、領域特定部２２により特定された各画像領域の動きを撮影画像１０から抽出して、各画像領域に含まれるそれぞれの位置の動きの分布状況を取得する。

【0040】

判定部２４は、動き抽出部２３が取得した、各画像領域に含まれるそれぞれの位置の動きの分布状況に応じて、撮影画像１０が人物の表示物を撮影したものか否かの判定を行う。

【0041】

なお、図３の情報処理装置２０を、コンピュータとソフトウェアとの組合せにより構成するようにしてもよい。

【0042】

図４はコンピュータ４０のハードウェア構成例を示している。

【0043】

コンピュータ４０は、構成要素として、例えば、プロセッサ４１、メモリ４２、記憶装置４３、読取装置４４、通信インタフェース４６、及び入出力インタフェース４７の各ハードウェアを備えている。これらの構成要素はバス４８を介して接続されており、構成要素間で相互にデータの授受を行える。

【0044】

プロセッサ４１は、例えば、シングルプロセッサであっても、マルチプロセッサ及びマルチコアであってもよい。プロセッサ４１は、メモリ４２を利用して、例えば、後述する撮影画像判定処理の手順を記述した撮影画像判定処理プログラムを実行する。

【0045】

メモリ４２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでよい。記憶装置４３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。また、ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

【0046】

読取装置４４は、プロセッサ４１の指示に従って着脱可能記憶媒体４５にアクセスする。着脱可能記憶媒体４５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ－ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。ＣＤは、Ｃｏｍｐａｃｔ Ｄｉｓｃの略称である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略称である。

【0047】

通信インタフェース４６は、例えば、プロセッサ４１の指示に従って通信ネットワーク（不図示）を介してデータを送受信する。

【0048】

入出力インタフェース４７は、カメラ３０から送られてくる撮影画像１０の画像データ等の各種のデータを取得する。また、入出力インタフェース４７は、プロセッサ４１から出力される、後述の撮影画像判定処理の結果を出力する。

【0049】

このコンピュータ４０のプロセッサ４１により実行されるプログラムは、例えば、下記の形態で提供される。
（１）記憶装置４３に予めインストールされている。
（２）着脱可能記憶媒体４５により提供される。
（３）プログラムサーバなどのサーバから通信ネットワークを介して通信インタフェース４６へ提供される。

【0050】

なお、コンピュータ４０のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の機能部の一部または全部の機能がＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。ＳｏＣは、Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐの略称である。

【0051】

次に、撮影画像判定処理について説明する。図５は、この撮影画像判定処理の処理内容を示したフローチャートである。図４のコンピュータ４０とソフトウェアとの組合せにより図３の情報処理装置２０を構成する場合には、この撮影画像判定処理を記述した撮影画像判定プログラムをプロセッサ４１に実行させるようにする。

【0052】

図５において、まず、Ｓ１０１では、撮影画像取得処理が行われる。この処理では、カメラ３０から送られてくる、カメラ３０により撮影された時系列の撮影画像１０を、入出力インタフェース４７を介して取得してメモリ４２に蓄える処理が行われる。なお、本実施形態では、撮影画像１０の外周は横長の矩形であるとする。以降の説明では、この矩形の長辺の方向を撮影画像１０の横方向とする。また、この矩形の短辺の方向（撮影画像１０の横方向に直交する方向）を撮影画像１０の上下方向として、撮影画像１０に表されている人物の頭部の方向を撮影画像１０の上方向とし、当該人物の胴体の方向を撮影画像１０の下方向とする。

【0053】

プロセッサ４１は、このＳ１０１の処理を実行することで、図３の画像取得部２１の機能を提供する。

【0054】

次に、Ｓ１０２において画像領域特定処理が行われる。この処理は、Ｓ１０１の処理により取得された撮影画像１０から、人物領域１２と人物領域１２以外の領域（周辺領域１１及び背景領域１３）とを特定する処理である。この処理の詳細は後述する。

【0055】

次に、Ｓ１０３において動き抽出処理が行われる。この処理は、Ｓ１０２の処理により特定された各画像領域の動きを撮影画像１０から抽出して、各画像領域に含まれるそれぞれの位置の動きの分布状況を取得する処理である。この処理の詳細は後述する。

【0056】

次に、Ｓ１０４において判定処理が行われる。この処理は、Ｓ１０２の処理により特定された各画像領域の動きを撮影画像１０から抽出して、各画像領域に含まれるそれぞれの位置の動きの分布状況を取得する処理である。この処理の詳細は後述する。

【0057】

Ｓ１０４の処理を終えると、この撮影画像判定処理が終了する。

【0058】

次に、図５のＳ１０２の処理である画像領域特定処理の詳細を説明する。図６は画像領域特定処理の処理内容を示したフローチャートである。プロセッサ４１は、この画像領域特定処理を実行することによって、図３の領域特定部２２の機能を提供する。

【0059】

図６において、まず、Ｓ２０１では、メモリ４２に蓄えられている時系列の撮影画像１０の各々において周辺領域１１を特定する処理が行われる。この処理では、撮影画像１０における外周部の領域であって、矩形である撮影画像１０の縁を外周とし、矩形である内周を有する環状の領域を、周辺領域１１として特定する。

【0060】

なお、周辺領域１１である環の幅は、過度に広くすると他の領域が狭くなって撮影画像１０の判定の精度が却って低下してしまうことがある。このため、この幅を、必要とされる判定精度が十分に得られるような値を予め実験により求めるようにして設定することが好ましい。なお、本実施形態では、この幅の値を、撮影画像１０の横幅の長さの５パーセントに設定する。

【0061】

次に、Ｓ２０２において、メモリ４２に蓄えられている時系列の撮影画像１０の各々において人物領域１２を特定する処理が行われる。人物の領域を画像から特定する技術として多くの技術が周知であり、Ｓ２０２の処理として、これらの周知の技術のいずれを用いてもよい。

【0062】

例えば、画像内で人物に該当する画素を抽出するセマンテック・セグメンテーションという技術が知られている。セマンテック・セグメンテーションを実現する手法として、例えば、Convolutional Neural Network（ＣＮＮ、畳み込みニューラルネットワーク）を用いる手法が知られている。前掲した非特許文献１において提案されている“Pyramid Scene Parsing Network”（ＰＳＰＮｅｔ）は、ＣＮＮを用いてセマンテック・セグメンテーションを実現する手法の一例である。Ｓ２０２の処理として、このＰＳＰＮｅｔを用いて、撮影画像１０において周辺領域１１の内周に囲まれている領域から人物領域１２を特定するようにしてもよい。

【0063】

また、例えば、物体が表されている矩形領域（バウンディングボックス（Bounding Box）とも称されている）を画像から検出する技術が知られている。この矩形領域の検出を実現する手法としても、ＣＮＮを用いる手法が知られている。例えば、前掲した非特許文献２において提案されている”Single Shot MultiBox Detector”’（ＳＳＤ）や、前掲した非特許文献３において提案されている”You Only Look Once”（ＹＯＬＯ）は、ＣＮＮを用いて、このような矩形領域を検出する手法の一例である。また、前掲した非特許文献４において提案されている”Multi-task Cascaded Convolutional Networks"（ＭＴＣＮＮ）も、このような矩形領域を検出する手法の一例であるが、このＭＴＣＮＮは顔の領域の検出に特化した手法である。Ｓ２０２の処理として、これらの矩形領域を検出する技術のいずれかを用いて、撮影画像１０において周辺領域１１の内周に囲まれている領域から人物領域１２を特定するようにしてもよい。

【0064】

なお、ＰＳＰＮｅｔなどのセマンテック・セグメンテーションを用いて特定を行った場合には、周辺領域１１の内周に囲まれている領域のうちの、頭部と胴体とを含む人物の身体部分が表されている領域が、図７Ａに示すように人物領域１２として特定される。一方、ＳＳＤ、ＹＯＬＯ、ＭＴＣＮＮなどの手法により矩形領域の検出を行った場合には、周辺領域１１の内周に囲まれている領域のうちの、人物の頭部を含む矩形領域が、顔領域１４として検出される。この場合には、図７Ｂに示すように、顔領域１４の矩形を、撮影画像１０における下方向に、周辺領域１１の内周に接する位置まで伸長させた矩形に含まれる領域を、人物領域１２として特定して、人物の身体部分の一部も人物領域１２に含めるようにするとよい。

【0065】

図６のフローチャートの説明を続ける。Ｓ２０２の処理に続くＳ２０３では、メモリ４２に蓄えられている時系列の撮影画像１０の各々において背景領域１３を特定する処理が行われる。この処理では、撮影画像１０のうちの、Ｓ２０１の処理により特定された周辺領域１１と、Ｓ２０２の処理により特定された人物領域１２とを除いた残余の領域を、背景領域１３として特定する。

【0066】

なお、Ｓ２０２の処理において、顔領域１４の矩形を撮影画像１０の下方向に伸長させて人物領域１２を特定した場合、上記のように残余の領域全てを背景領域１３として特定すると、人物の身体の一部（肩部など）が背景領域１３に含まれてしまうことがある。そこで、この場合には、図８に示すように、撮影画像１０における横方向において周辺領域１１の内周と人物領域１２と矩形とに接する矩形の領域を、背景領域１３として特定するようにするとよい。そして、この背景領域１３における、撮影画像１０における下方向の端を、顔領域１４の矩形における当該下方向側の辺と、当該下方向の位置が等しくなるようにするとよい。このようにして背景領域１３を特定すると、背景領域１３に含まれてしまう人物の身体の領域が少なくなる。

【0067】

Ｓ２０３の処理を終えると、画像領域特定処理が終了し、プロセッサ４１は、図５の撮影画像判定処理へと処理を戻す。

【0068】

以上までの処理が画像領域特定処理である。

【0069】

次に、図５のＳ１０３の処理である動き抽出処理の詳細を説明する。図９は動き抽出処理の処理内容を示したフローチャートである。プロセッサ４１は、この動き抽出処理を実行することによって、図３の動き抽出部２３の機能を提供する。

【0070】

図９において、まず、Ｓ３０１では、撮影画像１０を構成する各画素における画像の動きベクトルを取得する処理が行われる。この処理では、図５のＳ１０１の処理によりメモリ４２に蓄えられている時系列の撮影画像１０のうちの２つでの輝度勾配の変化に基づいた動きベクトルの抽出が行われる。

【0071】

画像の動きベクトルを抽出する技術として多くの技術が周知であり、Ｓ３０１の処理として、これらの周知の技術のいずれを用いてもよい。例えば、このような技術のひとつとして、オプティカルフロー用いる技術が広く知られている。オプティカルフローの算出手法として、相関（ブロックマッチング法）による対応付け、勾配法による対応付け、特徴点追跡を利用した対応付けなど、様々な手法が知られている。前掲した非特許文献５において提案されている手法も、オプティカルフローの算出手法の一例である。Ｓ３０１の処理として、この非特許文献５において提案されている手法を用いて算出したオプティカルフローを用いて、撮影画像１０についての二次元の動きベクトルを画素ごとに取得するようにしてもよい。

【0072】

次に、Ｓ３０２において、周辺領域１１についての平均ベクトルを算出する処理が行われる。この処理では、周辺領域１１に含まれる撮影画像１０の各画素についてＳ３０１の処理により取得した動きベクトルの全画素についての平均を算出する処理が行われる。この処理により算出される平均ベクトルｖｐは、周辺領域１１に含まれる位置の動きを表す動きベクトルの一例である。

【0073】

撮影画像１０の周辺領域１１についての平均ベクトルｖｐは２次元のベクトルである。本実施形態において、撮影画像１０における横方向（ｘ方向）の平均ベクトルｖｐの成分ｖｐｘ及び上下方向（ｙ方向）の成分ｖｐｙは、下記の［数１］式の計算を行うことによってそれぞれ算出される。

【0074】

【数1】

【0075】

なお、［数１］式において、ｖｘ（ｉ，ｊ）及びｖ（ｉ，ｊ）は、それぞれ、撮影画像１０のｘ方向とｙ方向とで定義した２次元座標上の位置（ｉ，ｊ）で特定される画素（周辺領域１１に含まれる画素）についての動きベクトルのｘ成分及びｙ成分の値である。また、ｎｐは、周辺領域１１に含まれる画素の画素数である。つまり、［数１］式は、周辺領域１１に含まれる各画素についての動きベクトルのｘ成分及びｙ成分の成分毎の合計を、周辺領域１１の画素数でそれぞれ除算することで、平均ベクトルｖｐの成分ｖｐｘ及びｖｐｙをそれぞれ算出することを表している。

【0076】

次に、Ｓ３０３において、人物領域１２についての平均ベクトルを算出する処理が行われる。この処理では、人物領域１２に含まれる撮影画像１０の各画素についてＳ３０１の処理により取得した動きベクトルの全画素についての平均を算出する処理が行われる。この処理により算出される平均ベクトルｖｆは、人物領域１２に含まれる位置の動きを表す動きベクトルの一例である。なお、人物領域１２についての平均ベクトルｖｆの算出の手法は、Ｓ３０２の処理に関して説明した、周辺領域１１についての平均ベクトルｖｐの算出の手法と同様のものでよい。

【0077】

次に、Ｓ３０４において、背景領域１３についての平均ベクトルを算出する処理が行われる。この処理では、背景領域１３に含まれる撮影画像１０の各画素についてＳ３０１の処理により取得した動きベクトルの全画素についての平均を算出する処理が行われる。この処理により算出される平均ベクトルｖｂは、背景領域１３に含まれる位置の動きを表す動きベクトルの一例である。なお、背景領域１３についての平均ベクトルｖｂの算出の手法についても、Ｓ３０２の処理に関して説明した、周辺領域１１についての平均ベクトルｖｐの算出の手法と同様のものでよい。

【0078】

Ｓ３０４の処理を終えると、動き抽出処理が終了し、プロセッサ４１は、図５の撮影画像判定処理へと処理を戻す。

【0079】

以上までの処理が動き抽出処理である。

【0080】

なお、図９のＳ３０２、Ｓ３０３、及びＳ３０４の各処理における平均ベクトルの算出において、平均ベクトルの算出の対象とする領域に、わずかな動きしか検出されない（動きベクトルの大きさがゼロに近い）画素が含まれている場合がある。例えば、一様な輝度を有している領域内の画素は、自身の周辺の画素と輝度の差が少ないために輝度勾配に変化が見られないために、正しくは大きく動いているのにもかかわらず僅かな動きしか検出されない場合がある。このような画素についての動きベクトルを用いて算出した平均ベクトルは、算出対象の領域の動きを表すベクトルとしての精度が低下していることがある。そこで、Ｓ３０１の処理において取得された動きベクトルの大きさが所定値よりも小さい画素については、平均ベクトルの算出に用いる画素から除外するようにしてもよい。

【0081】

また、図９のフローチャートでは、Ｓ３０１の処理により撮影画像１０を構成する各画素における画像の動きベクトルを取得し、その後のＳ３０２、Ｓ３０３、Ｓ３０４の処理により各領域に含まれる画素についての平均ベクトルの算出を領域毎に行っている。この代わりに、撮影画像１０を各領域に分割し、その後に、分割された撮影画像１０に含まれる各画素における画像の動きベクトルを取得してから平均ベクトルを各領域について算出するようにしてもよい。

【0082】

次に、図５のＳ１０４の処理である判定処理の詳細を説明する。図１０は判定処理の処理内容を示したフローチャートである。プロセッサ４１は、この判定処理を実行することによって、図３の判定部２４の機能を提供する。

【0083】

図１０において、まず、Ｓ４０１では第１の差分ベクトルを算出する処理が行われる。第１の差分ベクトルｖｄｉｆｆ１は、人物領域１２に含まれる位置の動きを表す動きベクトルと背景領域１３に含まれる位置の動きを表す動きベクトルとの差であり、本実施形態では下記の［数２］式の計算を行うことによってそれぞれ算出される。

【0084】

【数2】

【0085】

なお、［数２］式において、ｖｆ及びｖｂは、人物領域１２及び背景領域１３のそれぞれについての平均ベクトルである。また、ｖｆｘ及びｖｆｙは、人物領域１２についての平均ベクトルｖｆのｘ成分及びｙ成分のそれぞれの値であり、ｖｂｘ及びｖｂｙは、背景領域１３についての平均ベクトルｖｂのｘ成分及びｙ成分のそれぞれの値である。

【0086】

このようにして算出される第１の差分ベクトルｖｄｉｆｆ１は、背景領域１３に含まれる位置の動きと人物領域１２に含まれる位置の動きとの差異を表す指標の一例であって、当該２つの位置の動きの分布状況を表すものの一例である。

【0087】

次に、Ｓ４０２において第２の差分ベクトルを算出する処理が行われる。第２の差分ベクトルｖｄｉｆｆ２は、背景領域１３に含まれる位置の動きを表す動きベクトルと周辺領域１１に含まれる位置の動きを表す動きベクトルとの差であり、本実施形態では下記の［数３］式の計算を行うことによってそれぞれ算出される。

【0088】

【数3】

【0089】

なお、［数３］式において、ｖｂ及びｖｐは、背景領域１３及周辺領域１１のそれぞれについての平均ベクトルである。また、ｖｂｘ及びｖｂｙは、背景領域１３についての平均ベクトルｖｂのｘ成分及びｙ成分のそれぞれの値であり、ｖｐｘ及びｖｐｙは、周辺領域１１についての平均ベクトルｖｐのｘ成分及びｙ成分のそれぞれの値である。

【0090】

このようにして算出される第２の差分ベクトルｖｄｉｆｆ２は、背景領域１３に含まれる位置の動きと周辺領域１１に含まれる位置の動きとの差異を表す指標の一例であって、当該２つの位置の動きの分布状況を表すものの一例である。

【0091】

次に、Ｓ４０３において、Ｓ４０１の処理により算出された第１の差分ベクトルｖｄｉｆｆ１の大きさが、第１の閾値以上であるか否かを判定する処理が行われる。

【0092】

第１の差分ベクトルｖｄｉｆｆ１の大きさは、第１の差分ベクトルｖｄｉｆｆ１についてのｘ成分の値とｙ成分の値との２乗和の平方根を計算することによって算出される。

【0093】

第１の閾値は予め設定しておく値である。例えば、カメラ３０を揺らしながら撮影した、人物の表示物についてのブレを含む撮影画像１０における背景領域１３についての平均ベクトルｖｂの大きさを複数回の実験により予め推定しておき、得られた推定値の１／２程度の値を第１の閾値として設定する。

【0094】

このＳ４０３の処理において、第１の差分ベクトルｖｄｉｆｆ１の大きさが第１の閾値以上であると判定されたとき（判定結果がＹＥＳのとき）には、背景領域１３の動きと人物領域１２の動きとは非同期であるとみなして、Ｓ４０４に処理が進む。

【0095】

Ｓ４０４では、図１０の判定処理の結果として、撮影画像１０は人物の実物を撮影したものであるとの判定を下す処理が行われる。

【0096】

一方、Ｓ４０３の処理において、第１の差分ベクトルｖｄｉｆｆ１の大きさが第１の閾値よりも小さいと判定されたとき（判定結果がＮＯのとき）にはＳ４０５に処理を進める。

【0097】

Ｓ４０５では、Ｓ４０２の処理により算出された第２の差分ベクトルｖｄｉｆｆ２の大きさが、第２の閾値以上であるか否かを判定する処理が行われる。

【0098】

第２の差分ベクトルｖｄｉｆｆ２の大きさは、第２の差分ベクトルｖｄｉｆｆ２についてのｘ成分の値とｙ成分の値との２乗和の平方根を計算することによって算出される。

【0099】

第２の閾値は予め設定しておく値である。例えば、カメラ３０を揺らしながら撮影した、人物の表示物についてのブレを含む撮影画像１０における背景領域１３についての平均ベクトルｖｂの大きさを複数回の実験により予め推定しておき、得られた推定値の１／２程度の値を第２の閾値として設定する。

【0100】

このＳ４０５の処理において、第２の差分ベクトルｖｄｉｆｆ２の大きさが第２の閾値以上であると判定されたとき（判定結果がＹＥＳのとき）には、背景領域１３の動きと周辺領域１１の動きとは非同期であるとみなして、Ｓ４０６に処理が進む。

【0101】

Ｓ４０６では、図１０の判定処理の結果として、撮影画像１０は人物の表示物を撮影したものであるとの判定を下す処理が行われる。

【0102】

一方、Ｓ４０５の処理において、第２の差分ベクトルｖｄｉｆｆ２の大きさが第２の閾値よりも小さいと判定されたとき（判定結果がＮＯのとき）には、背景領域１３の動きと周辺領域１１の動きとは同期しているとみなして、Ｓ４０４に処理が進む。従って、Ｓ４０４において、図１０の判定処理の結果として、撮影画像１０は人物の実物を撮影したものであるとの判定を下す処理が行われる。

【0103】

Ｓ４０４の処理若しくはＳ４０６の処理を終えるとＳ４０７に処理が進む。Ｓ４０７では、Ｓ４０４の処理若しくはＳ４０６の処理により下した判定の結果を、図５の撮影画像判定処理の処理結果として、入出力インタフェース４７から出力させる処理が行われる。

【0104】

Ｓ４０７の処理を終えると、判定処理が終了し、プロセッサ４１は、図５の撮影画像判定処理へと処理を戻す。

【0105】

以上までの処理が判定処理である。

【0106】

以上の撮影画像判定処理をプロセッサ４１が実行することによって、図４のコンピュータ４０が図３の情報処理装置２０として動作し、撮影画像１０が人物の表示物を撮影したものか否かの判定を精度良く行うことを可能にする。

【0107】

以上、開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

【0108】

例えば、図９の動き検出処理におけるＳ３０１の処理では、時系列の撮影画像１０のうちの２つを用いて撮影画像１０を構成する各画素における画像の動きベクトルを取得するようにしている。この代わりに、図１１に例示するように、時系列の撮影画像１０のうちの２つからなる撮影画像１０のペアを複数組用いてペア毎に各画素についての動きベクトルを取得し、得られた複数の動きベクトルの平均を、各画素についての動きベクトルとしてもよい。なお、図１１は、４組の撮影画像１０のペア毎に各画素の動きベクトルを取得し、得られた４つの動きベクトルの平均の動きベクトルを各画素について算出して、撮影画像１０を構成する各画素における画像の動きベクトルを取得する例を表している。このようにすることで、取得される画像の動きベクトルの精度が向上する。

【0109】

また、各画素についての画像の動きベクトルとして、上記のようにして、時系列の撮影画像１０のペア毎に求めた動きベクトルの平均を算出する場合に、移動平均を算出するようにしてもよい。

【0110】

更に、時系列の撮影画像１０のペア毎に求めた動きベクトルの平均を算出する場合には、撮影画像１０のフレーム毎に各領域の面積が異なるため、各領域の面積に応じた重み付き平均を算出するようにしてもよい。

【0111】

また、図１１の例では、時系列で連続した５枚のフレームの撮影画像１０のうちの隣接する２枚のクレームを１組のペアとして４組のペアを構成している。この代わりに、例えば、１組のペアを構成する２枚のフレームを、隣接する２枚のフレームとするのではなく、間に何枚かのフレームを挟んだ２枚のフレームとするようしてもよい。このようにすることで、１組のペアを構成する２枚のフレーム間での画像の違いが大きくなるので、例えば、カメラ３０が非常に高いフレームレートでの撮影を行うものであっても、検出される画像の動きが安定する場合がある。

【0112】

なお、上述した実施形態では、図３の情報処理装置２０に接続されるカメラ３０としては、一般的なものを用いることを想定している。但し、撮影画像１０がグレースケールの画像であっても画像の動きベクトルの取得は可能である。従って、グレースケールの画像を出力することが可能である、赤外線カメラや深度カメラをカメラ３０として使用してもよい。

【符号の説明】

【0113】

１０ 撮影画像
１１ 周辺領域
１２ 人物領域
１３ 背景領域
１４ 顔領域
２０ 情報処理装置
２１ 画像取得部
２２ 領域特定部
２３ 動き抽出部
２４ 判定部
３０ カメラ
４０ コンピュータ
４１ プロセッサ
４２ メモリ
４３ 記憶装置
４４ 読取装置
４５ 着脱可能記憶媒体
４６ 通信インタフェース
４７ 入出力インタフェース
４８ バス

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】