特開 2023-125420 画像判定装置、通行管理装置、および画像判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023125420

(43)【公開日】2023-09-07

(54)【発明の名称】画像判定装置、通行管理装置、および画像判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230831BHJP

【ＦＩ】

G06T7/00 C

G06T7/00 660Z

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022029491

(22)【出願日】2022-02-28

(11)【特許番号】

(45)【特許公報発行日】2023-06-27

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】藤田 寿典

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA05

5L096DA02

5L096FA06

5L096FA16

5L096FA69

5L096GA19

5L096MA05

(57)【要約】

【課題】本発明は最小限の数のカメラで成り済ましの有無を判定する。
【解決手段】検出対象領域の所定の地点を互いに異なる画角で撮影する複数のカメラ１Ａ、１Ｂと、これらのカメラ１Ａ、１Ｂが撮影した画像データに含まれる対象画像を取得する画像取得機能部２と、一のカメラ１Ａと他のカメラ１Ｂとが撮影した画像データから前記画像取得機能部２がそれぞれ取得した対象画像の前記検出対象領域における位置の相関を検出する相関検出機能部３と、該相関検出機能部３で検出した相関を有する対象画像から、前記一のカメラ１Ａと他のカメラ１Ｂとの画像データ中の対象画像が成り済まし画像であるか否かを判定する成り済まし判定機能部４とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

検出対象領域の予め定められた地点を互いに異なる画角で撮影する複数のカメラと、
これらのカメラが撮影した画像データに含まれる対象画像を画像取得機能部と、
一のカメラと他のカメラとが撮影した画像データから前記画像取得機能部がそれぞれ検知した対象画像の前記検出対象領域における位置の相関を検出する相関検出機能部と、
該相関検出機能部で検出した相関を有する対象画像から、前記一のカメラと他のカメラとの画像データ中の対象画像が成り済まし画像であるか否かを判定する成り済まし判定機能部と、
を有する画像判定装置。

【請求項2】

複数の前記カメラは、前記予め定められた地点を互いに反対方向から撮影する、
請求項１に記載の画像判定装置。

【請求項3】

前記相関検出機能部は、被写体についての複数の前記カメラが撮影した画像データをそれぞれ複数の部分の対象画像に分解し、
前記成り済まし判定機能部は、分解された各部分の前記地点における対象画像をそれぞれ比較することによって、前記被写体の実体があるか否かを判定する、
請求項１または２のいずれか１項に記載の画像判定装置。

【請求項4】

顔・人体検知機能部は、前記画像データを所定のサイズの矩形に分解して、前記対象画像がいずれの矩形に属するかを検出し、
前記相関検出機能部は、一のカメラの画像と他のカメラの画像との矩形を関連付けて記憶する、
請求項１～３のいずれか１項に記載の画像判定装置。

【請求項5】

請求項１～４のいずれか１項に記載の画像判定装置と、
前記カメラが撮影する領域における人の通行を規制するゲート装置と、
該ゲート装置による通行の規制を前記画像判定装置の判定結果によって解除する解錠判定部と、
を備える通行管理装置。

【請求項6】

検出対象領域の予め定められた地点を互いに画角の異なる複数のカメラにより撮影する工程と、
撮影した画像データに含まれる対象画像を取得する対象画像検出工程と、
一のカメラと他のカメラとが撮影した画像データからそれぞれ検知した対象画像の前記検出対象領域における位置の相関を検出する工程と、
検出した相関を有する対象画像から、前記一のカメラと他のカメラとの画像データ中の対象画像が成り済まし画像であるか否かを判定する工程と、
を有する画像判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像判定装置、通行管理装置、および画像判定方法に関する。

【背景技術】

【0002】

顔認証におけるなりすまし検知に関連する技術として、特許文献１がある。この特許文献１にあっては、第１のカメラから得られた画像と、該第１のカメラから得ることが難しい方向～撮影する第２のカメラから得られた画像との二種類の画像の解析を行っている。
また本発明に関連する特許文献２、３にあっては、複数のカメラの画像から特徴点を三次元空間上の画像に変換することによって、より高い精度の画像解析を行うことにより、主として共連れによるなりすましの防止を図っている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－１０８２４３号公報

【特許文献2】国際公開第２０２１／０６０２５６号

【特許文献3】特開２００４－１９２３７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１～３に記載された画像解析技術は、複数のカメラから得た画像から三次元画像を生成する処理を必要とするため、その画像の生成に時間を要し、例えば、建物のセキュリティ管理におけるドア開錠のような積極認証に好適に採用することができるが、ウォークスルー認証のような非積極認証であって、かつ人流を妨げない高速な処理が必要な事案では実用化が難しいという問題がある。
上記特許文献１～３以外の、表示装置等の画像をカメラに取り込ませることによるなりすましを防止する方式として、対象者から認識されやすい（対象者が偽画像をカメラに向けやすい）カメラと、認識されにくいカメラ（対象者が偽画像をカメラに向けることが難しい隠しカメラ）との対をなすカメラからの画像を用い、双方のカメラの画像による顔認証結果を用いて成りすまし判定を行う方式もあり得るが、それぞれ一方通行のウォークスルーゲートを２レーン設けた両方向通行設備の場合、それぞれのレーンに１対ずつ合計２対のカメラ必要となり、さらには、二対のカメラ画像に対して認証処理を行うことによる処理量の増加に伴う、処理時間の増加、およびより高い性能のハードウェアの準備が必要となるという課題があった。

【0005】

この発明は、限られた台数のカメラによって成り済ましを判定することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第１の態様にかかる画像判定装置は、下記の構成を特徴とする。
この画像判定装置は、検出対象領域の所定の地点を互いに異なる画角で撮影する複数のカメラと、これらのカメラが撮影した画像データに含まれる対象画像を検知する画像検知機能部と、一のカメラと他のカメラとが撮影した画像データから前記画像検知機能部がそれぞれ検知した対象画像の前記検出対象領域における位置の相関を検出する相関検出機能部と、該相関検出機能部で検出した相関を有する対象画像から、前記一のカメラと他のカメラとの画像データ中の対象画像が成り済まし画像であるか否かを判定する成り済まし判定機能部とを有する。

【0007】

本発明の第２の態様にかかる画像判定方法は、下記の構成を特徴とする。
この画像判定方法は、検出対象領域Ｌの所定の地点を互いに画角の異なる複数のカメラにより撮影する工程と、撮影した画像データに含まれる対象画像を検知する対象画像検出工程と、一のカメラと他のカメラとが撮影した画像データからそれぞれ検知した対象画像の前記検出対象領域における位置の相関を検出する工程と、検出した相関を有する対象画像から、前記一のカメラと他のカメラとの画像データ中の対象画像が成り済まし画像であるか否かを判定する工程とを有する。

【発明の効果】

【0008】

本発明によれば、少なくとも２台のカメラから得られた画像によって成り済ましを判定することができる。

【図面の簡単な説明】

【0009】

【図1】本発明にかかる画像判定装置の最小構成例のブロック図である。

【図2】本発明にかかる画像判定方法の最小構成例の流れ図である。

【図3】本発明の一実施形態の全体構成図である。

【図4】一実施形態のブロック図である。

【図5】一実施形態の判定準備時のブロック図である。

【図6】一実施形態の相関検出時のブロック図である。

【図7】一実施形態の待機時のブロック図である。

【図8】一実施形態の通行者検出時のブロック図である。

【図9】一実施形態のデータ対応付け時のブロック図である。

【図10】一実施形態の判定時のブロック図である。

【図11】一実施形態の矩形関連付けの説明図である。

【図12】一実施形態の相関判定の説明図である。

【発明を実施するための形態】

【0010】

本発明の最小構成に係る画像判定装置の構成について図１を参照して説明する。
この装置は、検出対象領域の所定の地点を互いに異なる画角で撮影する複数のカメラ１Ａ、１Ｂと、これらのカメラ１Ａ、１Ｂが撮影した画像データに含まれる対象画像を検知する画像検知機能部２と、一のカメラ１Ａと他のカメラ１Ｂとが撮影した画像データから前記画像検知機能部２がそれぞれ検知した対象画像の前記検出対象領域における位置の相関を検出する相関検出機能部３と、該相関検出機能部３で検出した相関を有する対象画像から、前記一のカメラ１Ａと他のカメラ１Ｂとの画像データ中の対象画像が成り済まし画像であるか否かを判定する成り済まし判定機能部４とを有する。

【0011】

そして、以上のように構成された本発明に係る判定装置によれば、一のカメラと他のカメラとで撮影した画像を共通の対象領域において、相関のある画像同士を比較し、その比較結果から成り済ましの有無を判定することができる。

【0012】

本発明の最小構成例にかかる画像判定方法について図２を参照して説明する。
この画像判定方法は、検出対象領域の所定の地点を互いに画角の異なる複数のカメラにより撮影する工程ＳＰ１と、撮影した画像データに含まれる対象画像を検知する対象画像検出工程ＳＰ２と、一のカメラと他のカメラとが撮影した画像データからそれぞれ検知した対象画像の前記検出対象領域における位置の相関を検出する工程ＳＰ３と、検出した相関を有する対象画像から、前記一のカメラと他のカメラとの画像データ中の対象画像が成り済まし画像であるか否かを判定する工程ＳＰ４とを有する。

【0013】

そして、以上のように構成された本発明に係る判定方法によれば、一のカメラと他のカメラとで撮影した画像を共通の対象領域において、相関のある画像同士を比較し、その比較結果から成り済ましの有無を判定することができる。

【0014】

図１、２を具体化した本発明の一実施形態に係る構成について図３～図１２を参照して説明する。
図３は、一実施形態の通過判定装置全体構成を示すものである。
顔認証装置１００は、互いに反対方向へ向けて撮影するカメラ２００、カメラ２０１から画像データの入力を受ける。また顔認証装置１００は、両側の側壁の間に形成された通行レーンを開閉する扉状のゲート３００と接続されて、該ゲート３００の開閉状態の情報が入力されるとともに、該ゲート３００の開閉操作、およびまたは該ゲート３００のロックおよびその解除（施錠と解錠）を操作する信号を出力する。
前記ウォークスルーゲートは、図中左右の両方向への通行を制御するもので、前記カメラ２００、２０１の一方は、常に、前記ゲート３００の地点を入場方向へ撮影し、他方は、退場方向へ撮影している。すなわち前記カメラ２００、２０１は、入場、退場の両方向への人物の認証を行うべく、前記ゲート３００と交差する方向へ向かう入場レーンと退場レーンとのそれぞれで利用者を撮影する。
前記認証装置１００は、前記ゲート３００を通過しようとする被写体の人体およびまたは顔を検出した段階で、双方のカメラ２００、２０１での検出結果と、事前に算出・対応付けしておいたゲート３００に相当する位置の座標情報とから、検出した人体および顔を有する対象の人物が、検出された場所に存在したか否かを判定する。なお判定の処理の詳細は後述する。

【0015】

図４は、前記顔認証装置１００の構成を示すブロック図である。
この顔認証装置１００に搭載された顔認証ソフトウェア１１０、１２０は、それぞれ、画像取得機能部１１１、１２１によって前記カメラ２００、２０１から画像データの供給を受けて、顔・人体検知機能部１１２、１２２、位置相関検出機能部１１３、１２３、検出情報合成機能部１１５、１２５へ供給する。
また前記顔認証ソフトウェア１１０、１２０は、前記位置相関検出機能部１１３、１２３が比較画像データベース１１４、１２４の基準となる相関についてのデータを参照して検出した、画像の位置についての基準データとの比較による相関値を算出し、前記検出情報合成機能部１１５、１２５へ供給して画像データの判定とともに総合的に評価し、その評価結果に基づき、成り済まし判定機能部１１６、１２６において、成り済ましの有無（ゲート通行の可否）を判定し、これらの判定結果により、通行の可否を総合判定機能部１１７、１２７が判定する。そして、これら二つの総合判定機能部１１７、１２７の判定結果に基づき、例えば両方の総合判定機能部１１７、１２７がいずれも成り済ましなし（通行可）との判定結果を出したことを条件として、解錠判定機能部１３０が解錠可と判定し、ゲート３００の施錠を解除し、さらには、アクチュエータ等を操作してゲートを開動作させる。

【0016】

上記構成の顔認証装置の動作を顔認証方法の工程とともに説明する。
図５に示すように、前記顔認証装置１００は、初期手順として、２つの顔認証ソフトウェア１１０、１２０の検出結果に対する位置の相関を取るための、基礎データを設定する処理を行う。
前記顔認証ソフトウェア１１０は、前記カメラ２００が撮影した画像データを前記画像取得機能部１１１によって取得する。また前記顔認証ソフトウェア１１０中の顔・人体検知機能部１１２は、参考となる被写体を検出した後、前記位置相関検出機能部１１３で入力した撮影画像を予め定められた所定のサイズの矩形（例えば、４ピクセル×４ピクセル）に分解し、検出した人物がどの矩形に属するかの情報を比較画像データベース１１４に保存する。同様に、前記顔認証ソフトウェア１２０は、前記カメラ２０１が撮影した、前記カメラ２００と反対方向から撮影された画像データを前記画像取得機能部１２１によって取得する。該顔・人体検知機能部１２２は、参考となる被写体を検出した後、前記位置相関検出機能部１２３で入力した現画像を所定のサイズの矩形（例えば、４ピクセル×４ピクセル）に分解し、検出した人物がどの矩形に属するかの情報を比較画像データベース１２４に保存する。

【0017】

このように、両方の顔認証ソフトウェア１１０、１２０において前記画像情報を矩形に分解していずれの矩形に存在するかを分析する処理を行なって、検出した人物がどの矩形に属するかの情報を保存した後、図６に示すように、位置相関検出機能部１１３から位置相関検出機能部１２３へ検出情報を送信する。該位置相関検出機能部１２３は、図１１に示すように、前記カメラ２００の画像ａとカメラ２０１の画像ｂとの間で各矩形の関連付けを行った後、関連付けをした結果を前記位置相関検出機能部１１３に返却し、同時に、前記比較画像データベース１２４に保存する。前記位置相関検出機能部１１３は、受け取った関連付けの結果を前記比較画像データベース１１４に保存する。すなわち、各矩形の関連付けの結果を両方の比較画像データベース１１４、１２４が保存する。

【0018】

前記位置相関検出機能部１２３が行う関連付けは、例えば、前記カメラ２００と２０１とが互いに反対方向（１８０度異なる方向）から撮影した画像データを取得したとすると、図１１（ａ）と（ｂ）とに示す様に左右対称の輪郭形状の（シルエットが左右対称をなす）画像となり、この左右対称の画像において対応する（同一の座標上に存在する）位置関係にある矩形相互の関連付けをいう。具体的には、図１１に示すように、一方の画像（ａ）のゲートの外側の縁が他方の画像（ｂ）の外側の縁に対応し、一方の画像（ａ）のゲートの内側側の縁が他方の画像（ｂ）の内側の縁に対応するとのひも付けにより行われる。ゲートとゲートとの間の通行者の体の各部（少なくとも、顔認証を前提として成り済ましが行われ易い頭部）の画像が取り込まれる領域（ゲート周辺の所定の座標で特定される領域）についても、同様に左右のカメラ２００、２０１で各々取り込まれた画像について、各矩形を対応付ける。

【0019】

以上の工程による初期手順が完了した後、前記顔認証装置１００は、図７に示すように、一旦、待機状態となって、通行者がゲートに接近してカメラ２００あるいは２０１が通行者の画像データを出力するのを待つ（通行者が撮影されることによる画像の変化を待つ）。
この待機状態で通行者がウォークスルーゲートに通りがかった段階で、通行者に向き合った側の前記カメラ２０１が撮影し、前記画像取得機能部１２１で取得した画像データから前記顔・人体検知機能部１２２が顔および人物を検出すると、図８に示すように、その結果を総合判定機能部１２７と位置相関検出機能部１２３に送信する。

【0020】

前記位置相関検出機能部１１３では、比較画像データベース１２４に保存されたデータを元に、検出された人の位置を取得する。一方で、通行者がウォークスルーゲートに入り、通行者の背後側となるカメラ２００に通行者が映り込んだ段階で、前記画像取得機能部１１１が取得した画像データから、前記顔・人体検知機能部１１２が人物を検出し、前記位置相関検出機能部１１３にその結果を送信する。

【0021】

図８に示すように、この位置相関検出機能部１１３は、前記比較画像データベース１１４のデータを元に、検出された人の位置を取得し、前記位置相関検出機能部１２３に送信する。図９に示すように、一方の位置相関検出機能部１１３からデータを受け取った他方の位置相関検出機能部１２３は、前記検出情報合成機能部１２５に一方の位置相関機能部１１３、他方の位置検出機能部１２３で検出した結果を送信する。前記検出情報合成機能部１２５では、図１２に示すように、例えば、画像（ａ）（ｂ）における通行者の外側ゲート側の側頭部同士を対応付け、通行者の内側ゲート側の側頭部同士を対応付けるように、受け取った双方のデータの対応付けを行い、成り済まし判定機能部１２６に送信する。

【0022】

図１０に示すように、成り済まし判定機能部１２６は、受け取ったデータを元に、対応付けられた通行者の部位についての矩形の画像の一致度から、実体のある人物か（例えば、ディスプレイ等に二次元的に表現された、一方向と反対方向とで（ａ）と（ｂ）との前記矩形毎に分析した判定結果が一致しない顔画像であるか）を判定し、前記解錠判定機能部１３０に成り済ましか否かの判定結果を通知する。同時に、前記総合判定機能部１２７からの照合結果を受け取り、それらの情報を元に、解錠判定機能部１３０において最終的な解錠可否を判断し、照合が成功しかつ実体の場合は、前記ゲート３００を制御してゲートの開放、施錠の解除等の操作を行い、それ以外の場合は、ゲートを開けず、あるいは解錠を行うことなく、警告表示などを行わせる。
なお実際のゲートの運用においては、上記成り済ましの判定に加えて、一方の（正面から撮影する）カメラが撮影した画像から顔の特徴、例えば、輪郭、目、耳、鼻、口等の相対関係について特徴の共通性を基準データと比較して同一性を判断する顔認証の判定結果に基づいて、ゲートの開閉や施錠解錠の制御を行う。

【0023】

このように、一実施形態にあっては、通行者を入場方向および退場方向へそれぞれ撮影し、その撮影画像に基づく認証を行う設備をそのまま利用し、一のカメラと他のカメラとの画像の対応する部分の画像の一致の判定によって、成り済まし判定用に格別な画像取得設備を増設することなく、成り済ましの有無を判定することができる。

【0024】

以上、本発明の一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【産業上の利用可能性】

【0025】

本発明は、入退場管理等における画像判定装置、通行管理装置および画像判定方法に利用することができる。

【符号の説明】

【0026】

１Ａ、１Ｂ カメラ
２ 画像取得機能部
３ 相関検出機能部と、
４ 成り済まし判定機能部
１００ 顔認証装置
１１０、１２０ 顔認証ソフトウェア
１１１、１２１ 画像取得機能部
１１２、１２２ 顔・人体検知機能部
１１３、１２３ 位置相関検出機能部
１１４、１２４ 比較画像データベース
１１５、１２５ 検出情報合成機能部
１１６、１２６ （成り済まし）判定機能部
１１７、１２７ 総合判機能定部
１３０ 解錠判定機能部
２００、２０１ カメラ
３００ ゲート

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-02-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

検出対象領域の予め定められた地点を互いに異なる画角で撮影する複数のカメラと、
これらのカメラが撮影した画像データに含まれる対象画像を取得する画像取得機能部と、
一のカメラと他のカメラとが撮影した画像データから前記画像取得機能部がそれぞれ検知した対象画像の前記検出対象領域における位置の相関を検出する相関検出機能部と、
該相関検出機能部で検出した相関を有する対象画像から、前記一のカメラと他のカメラとの画像データ中の対象画像が成り済まし画像であるか否かを判定する成り済まし判定機能部と、を有し、
前記相関検出機能部は、被写体についての複数の前記カメラが撮影した画像データをそれぞれ複数の部分の対象画像に分解し、
前記成り済まし判定機能部は、分解された各部分の前記地点における対象画像をそれぞれ比較することによって、前記被写体の実体があるか否かを判定する、
画像判定装置。

【請求項2】

複数の前記カメラは、前記予め定められた地点を互いに反対方向から撮影する、
請求項１に記載の画像判定装置。

【請求項3】

顔・人体検知機能部は、前記画像データを所定のサイズの矩形に分解して、前記対象画像がいずれの矩形に属するかを検出し、
前記相関検出機能部は、一のカメラの画像と他のカメラの画像との矩形を関連付けて記憶する、
請求項１または２のいずれか１項に記載の画像判定装置。

【請求項4】

請求項１～３のいずれか１項に記載の画像判定装置と、
前記カメラが撮影する領域における人の通行を規制するゲート装置と、
該ゲート装置による通行の規制を前記画像判定装置の判定結果によって解除する解錠判定部と、
を備える通行管理装置。

【請求項5】

検出対象領域の予め定められた地点を互いに画角の異なる複数のカメラにより撮影する工程と、
撮影した画像データに含まれる対象画像を取得する対象画像検出工程と、
一のカメラと他のカメラとが撮影した画像データからそれぞれ検知した対象画像の前記検出対象領域における位置の相関を検出する工程と、
検出した相関を有する対象画像から、前記一のカメラと他のカメラとの画像データ中の対象画像が成り済まし画像であるか否かを判定する工程と、
を有し、
前記位置の相関を検出する工程は、被写体についての複数の前記カメラが撮影した画像データをそれぞれ複数の部分の対象画像に分解し、
前記成り済まし画像であるか否かを判定する工程は、分解された各部分の前記地点における対象画像をそれぞれ比較することによって、前記被写体の実体があるか否かを判定する、
画像判定方法。