特開 2025-26315 顔とジェスチャーの複合認識を用いた認証強化及び状況伝達システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025026315

(43)【公開日】2025-02-21

(54)【発明の名称】顔とジェスチャーの複合認識を用いた認証強化及び状況伝達システム

(51)【国際特許分類】

   E05B 49/00 20060101AFI20250214BHJP

   G06T 7/00 20170101ALI20250214BHJP

   G06V 40/10 20220101ALI20250214BHJP

【ＦＩ】

E05B49/00 R

G06T7/00 510A

G06V40/10

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2024096415

(22)【出願日】2024-06-14

(31)【優先権主張番号】10-2023-0104702

(32)【優先日】2023-08-10

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】521327954

【氏名又は名称】株式会社セキュアコリア

【氏名又は名称原語表記】ＳＥＣＵＲＥ ＫＯＲＥＡ，ＩＮＣ．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】チャン ウォン ソク

【テーマコード（参考）】

2E250

5B043

【Ｆターム（参考）】

2E250AA03

2E250AA06

2E250DD08

2E250FF11

2E250FF18

5B043AA05

5B043BA04

(57)【要約】

【課題】本発明は、一般的にホテルやオフィスなどの空間を便利且つ安全に利用できるように技術的にサポートする技術に関する。
【解決手段】特に、本発明は、顔認識とジェスチャー認識を組み合わせて、セキュリティドアの顔認識装置を用いて出入要求者を認証する際に、特定のジェスチャーを取ることにより、正常出入者であることを複合認証するか、あるいは現状（正常、異常、脅威など）を外部に伝達する機能を実現した、顔とジェスチャーの複合認識を用いた認証強化及び状況伝達技術に関する。本発明によれば、顔認識とジェスチャー認識とを組み合わせることにより、出入認証を強化することができるという利点がある。また、本発明によれば、ジェスチャー登録により、ユーザ自身が現在危険な状況であることをセキュリティ管理システムに秘密に伝えることができるという利点がある。
【選択図】図３

【特許請求の範囲】

【請求項1】

特定の空間の内外を区画するように設置され、起立状態の人の顔に対応する高さで屋外に向けて顔認識装置（２００）が固定設置され、前記顔認識装置（２００）に連動した顔認識結果及びジェスチャー検証結果に応じてドアを開閉するためのセキュリティドア（１００）と、
出入管理コンピュータ（４００）を介して正常出入者（Ｂ）から顔写真を受信し、顔データベース（３１０Ａ）に格納し、前記セキュリティドア（１００）の前記顔認識装置（２００）で取得した出入要求者（Ａ）の顔画像を分析して顔属性を抽出し、その顔属性を前記顔データベース（３１０Ａ）に照会した結果に応じて、前記出入要求者（Ａ）が該当空間への出入りを許可された正常出入者であるか否かを判断し、前記セキュリティドア（１００）に提供する顔分析サーバ（３１０）と、
出入管理コンピュータ（４００）を介して正常出入者（Ｂ）から特定のジェスチャー動作及びそれに対応する正常出入者の検証または状況情報のマッチング関係が提供され、ジェスチャーデータベース（３２０Ａ）に格納し、前記セキュリティドア（１００）の前記顔認識装置（２００）によって取得された出入要求者（Ａ）の撮影画像を分析することにより、前記出入要求者（Ａ）のジェスチャーであるユーザジェスチャーを識別し、そのユーザジェスチャーを前記ジェスチャーデータベース（３２０Ａ）に照会した結果に応じて、前記ジェスチャーデータベース（３２０Ａ）に予め格納されているマッチング関係の情報に対応して、前記出入要求者（Ａ）が該当空間への出入りを許可された正常出入者であるか否かを検証し、前記セキュリティドア（１００）に提供するか、あるいは前記ユーザジェスチャーとマッチング設定された状況情報を管理者端末（５００）に送信する、ジェスチャー分析サーバ（３２０）と、
を含んでなる、顔とジェスチャーの複合認識を用いた認証強化及び状況伝達システム。

【請求項2】

前記ジェスチャー分析サーバ（３２０）が、前記ユーザジェスチャーによる正常出入者の検証に成功した場合には、検証成功結果をセキュリティドア（１００）に提供し、前記ユーザジェスチャーによる正常出入者の検証に失敗した場合には、検証失敗結果を前記セキュリティドア（１００）に提供し、かつ、前記ユーザジェスチャーとマッチング設定された状況情報を管理者端末（５００）に送信するように構成されていることを特徴とする、請求項１に記載の顔とジェスチャーの複合認識を用いた認証強化及び状況伝達システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般的にホテルやオフィスなどの空間を便利且つ安全に利用できるように技術的にサポートする技術に関する。
特に、本発明は、顔認識とジェスチャー認識を組み合わせて、セキュリティドアの顔認識装置を用いて出入要求者を認証する際に、特定のジェスチャーを取ることにより、正常出入者であることを複合認証するか、あるいは現状（正常、異常、脅威など）を外部に伝達する機能を実現した、顔とジェスチャーの複合認識を用いた認証強化及び状況伝達技術に関する。

【背景技術】

【0002】

従来、ホテルやオフィスなどの空間を安全に利用するための取り組みがなされてきた。出入りを管理する管理者（マネージャ）を配置する方式が一般的であるが、これは、利用者の利便性、管理コスト、ウイルス感染管理の観点から好ましくない。そこで、電子機器を用いて出入りを管理する方式が導入された。

【0003】

まず、正常出入者に出入カードを支給したり、ＱＲコード（登録商標）を発行してスマートゲートに出入カードやＱＲコードをタグ付けすることで、ドアを開ける方式が用いられた。

【0004】

また、正常出入者の指紋情報や顔情報を予め登録しておき、指紋認識装置や顔認識装置によって出入要求者の指紋または顔を確認し、登録ユーザの場合にのみドアを開ける方式も用いられた。

【0005】

このように、空間を安全に利用するための様々な技術が提示されており、これは一般的に、出入要求者が正常出入者であるか否かを確認することを意図している。
しかしながら、現実には様々な脅威が存在する。特に、正常出入者が、例えば誰かの脅威などにより、不本意な状況で出入を要求することがあるが、従来の技術的手段ではこれを区別したり、適切に対応したりすることができないという欠点があった。

【0006】

また、生体認識ベースの出入管理方式にも欠点がある。指紋認識の場合には、指で触れることに人々が不快感を訴える問題もあり、指が濡れていたり乾いていたりすると認識しにくいという欠点がある。また、顔認識の場合には、親戚や双子のように、顔が非常に似ている人を区別できず、間違った人に出入りを許可してしまうという欠点がある。

【0007】

このような課題を解決するための技術開発が望まれている。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、一般的にホテルやオフィスなどの空間を便利且つ安全に利用できるように技術的にサポートする技術を提供することを目的とする。
特に、本発明は、顔認識とジェスチャー認識を組み合わせて、セキュリティドアの顔認識装置を用いて出入要求者を認証する際に、特定のジェスチャーを取ることにより、正常出入者であることを複合認証するか、あるいは現状（正常、異常、脅威など）を外部に伝達する機能を実現した、顔とジェスチャーの複合認識を用いた認証強化及び状況伝達技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

前記目的を達成するために、本発明に係る顔とジェスチャーの複合認識を用いた認証強化及び状況伝達システムは、特定の空間の内外を区画するように設置され、起立状態の人の顔に対応する高さで屋外に向けて顔認識装置２００が固定設置され、顔認識装置２００に連動した顔認識結果及びジェスチャー検証結果に応じてドアを開閉するためのセキュリティドア１００と、出入管理コンピュータ４００を介して正常出入者Ｂから顔写真を受信し、顔データベース３１０Ａに格納し、セキュリティドア１００の顔認識装置２００で取得した出入要求者Ａの顔画像を分析して顔属性を抽出し、その顔属性を顔データベース３１０Ａに照会した結果に応じて、出入要求者Ａが該当空間への出入りを許可された正常出入者であるか否かを判断し、セキュリティドア１００に提供する顔分析サーバ３１０と、出入管理コンピュータ４００を介して正常出入者Ｂから特定のジェスチャー動作及びそれに対応する正常出入者の検証または状況情報のマッチング関係が提供され、ジェスチャーデータベース３２０Ａに格納し、セキュリティドア１００の顔認識装置２００によって取得された出入要求者Ａの撮影画像を分析することにより、出入要求者Ａのジェスチャー（以下、「ユーザジェスチャー」という）を識別し、そのユーザジェスチャーをジェスチャーデータベース３２０Ａに照会した結果に応じて、ジェスチャーデータベース３２０Ａに予め格納されているマッチング関係の情報に対応して、出入要求者Ａが該当空間への出入りを許可された正常出入者であるか否かを検証し、セキュリティドア１００に提供するか、あるいはユーザジェスチャーとマッチング設定された状況情報を管理者端末５００に送信するジェスチャー分析サーバ３２０と、を含んでなる。

【0010】

そのとき、ジェスチャー分析サーバ３２０は、ユーザジェスチャーによる正常出入者の検証に成功した場合には、検証成功結果をセキュリティドア１００に提供し、ユーザジェスチャーによる正常出入者の検証に失敗した場合には、検証失敗結果をセキュリティドア１００に提供し、ユーザジェスチャーとマッチング設定された状況情報を管理者端末５００に送信するように構成されてもよい。

【発明の効果】

【0011】

本発明によれば、顔認識とジェスチャー認識とを組み合わせることにより、出入認証を強化することができるという利点がある。
また、本発明によれば、ジェスチャー登録により、ユーザ自身が現在危険な状況であることをセキュリティ管理システムに秘密に伝えることができるという利点がある。

【図面の簡単な説明】

【0012】

【図1】一般的な顔認識に基づく出入管理システムの全体構成図である。

【図2】一般的な顔認識に基づく出入管理システムの動作フローチャートである。

【図3】本発明に係る顔とジェスチャーの複合認識を用いた認証強化及び状況伝達システムの全体構成図である。

【図4】本発明における顔認識に基づく正常出入者の認証の概念図である。

【図5】本発明におけるジェスチャー認識に基づく認証強化及び状況伝達の概念図である。

【図6】本発明におけるジェスチャーに基づく状況伝達の例示図である。

【発明を実施するための形態】

【0013】

以下、図面を参照し、本発明について詳細に説明する。
本発明の説明において、従来技術と重複する部分については詳細な説明を省略する。
図１は、一般的な顔認識に基づく出入管理システムの全体構成図であり、図２は、一般的な顔認識に基づく出入管理システムの動作フローチャートである。

【0014】

図１を参照すると、一般的な出入管理システムは、顔認識装置２０が設置されたセキュリティドア１０と、顔分析サーバ３０と、出入管理コンピュータ４０とから構成される。出入管理コンピュータ４０は、当該空間への出入が許可された人の顔を登録または削除するための装置であり、セキュリティドア１０は、顔認識装置２０による出入要求者Ａの登録有無確認結果に応じて開閉制御する。

【0015】

顔分析サーバ３０は、正常出入者の顔属性を予め抽出して顔データベース３０Ａに格納しておく。顔認識装置２０から出入要求者Ａの顔画像（映像）が送信されると、顔分析サーバ３０は、顔画像（映像）を分析して顔データベース３０Ａを照会することにより、出入要求者Ａが正常出入者であるか否かを判断する。

【0016】

セキュリティドア１０は、顔分析サーバ３０から正常出入者であるという判断結果を受け取ると、ドアを開く。
顔認識は、一般に以下のステップを経て行われる。まず、顔認識装置２０によってセキュリティドア１０の外部正面の画像を取得し、その画像内に顔があると、その顔部分（顔画像）を検出する。その後、顔画像から顔属性を抽出する。通常、ランドマーク（特定の位置の点）を検出した後に顔属性を取得する。次に、顔データベース３０Ａを照会し、顔マッチングによって出入要求者Ａが当該空間への出入りが許可された人物（正常出入者、登録ユーザ）であるか否かを判断する。

【0017】

顔分析サーバ３０と顔データベース３０Ａとが顔認識装置２０に一体的に実装される方法も可能である。そのときには、ネットワークが切れた場合でも顔認識によるセキュリティドア１０の開閉が可能である。顔分析サーバ３０と顔データベース３０Ａとをクラウドベースで実装することもできる。

【0018】

図２を参照すると、セキュリティドア１０の顔認識装置２０が出入要求者Ａの顔を検出し（Ｓ１００）、顔分析サーバ３０が出入要求者Ａの顔属性を抽出してから（Ｓ１１０）、顔データベース３０Ａと比較する顔マッチングを行う（Ｓ１２０）。顔マッチングの結果（Ｓ１３０）、出入要求者Ａが正常出入者（登録ユーザ）に該当すると、認証ログを格納し、顔マッチング結果（顔認識結果）をセキュリティドア１０に送信する（Ｓ１４０，Ｓ１５０）。顔認識結果に応じて、セキュリティドア１０が開かれる（Ｓ１６０）。逆に、顔マッチングの結果（Ｓ１３０）、出入要求者Ａが正常出入者でないと、セキュリティドア１０は開かない。

【0019】

図３は、本発明に係る顔とジェスチャーの複合認識を用いた認証強化及び状況伝達システムの全体構成図である。
本発明の説明において、従来技術と重複する部分については詳細な説明を省略する。

【0020】

本発明による認証強化及び状況伝達システムは、顔認識装置２００が設置されたセキュリティドア１００と、出入要求者Ａに対して顔認識を行う顔分析サーバ３１０と、出入要求者Ａに対してジェスチャー分析を行うジェスチャー分析サーバ３２０とを含んでなる。顔分析サーバ３１０は、顔データベース３１０Ａを運用し、ジェスチャー分析サーバ３２０は、ジェスチャーデータベース３２０Ａを運用する。

【0021】

一方、出入管理コンピュータ４００は、当該空間への出入りが許可された人物の顔を登録または削除するための装置であり、管理者端末５００は、当該空間に対する管理者（例えば、警備員）や警察署に備えられた装置である。

【0022】

このような構成により、本発明によれば、顔認識とジェスチャー認識を組み合わせることにより、出入認証を強化し、ユーザ自身が現在危険な状況であることをセキュリティ管理システムに秘密に伝えることができる。

【0023】

まず、セキュリティドア１００は、特定の空間の内外を区画するように設けられたドア構造物である。セキュリティドア１００には、起立状態の人の顔に対応する高さで屋外に向けて顔認識装置２００が固定設置され、顔認識装置２００に連動した顔分析サーバ３１０とジェスチャー分析サーバ３２０の顔認識結果及びジェスチャー検証結果に応じて、セキュリティドア１００がドアを開閉する。

【0024】

顔分析サーバ３１０は、出入要求者Ａに対して顔認識に基づいて出入り許可の可否を判断し、その判定結果をセキュリティドア１００に提供する構成要素である。
図４は、本発明において、顔分析サーバ３１０が行う顔認識に基づく正常出入者の認証の概念図である。

【0025】

まず、出入管理コンピュータ４００は、セキュリティドア１００が設置された該当空間の正常出入者Ｂから顔写真を受信する。例えば、スマートフォンの自撮り写真を受信してもよい。その顔写真は、顔分析サーバ３１０に送信され、顔分析サーバ３１０は、正常出入者Ｂの顔写真を顔データベース３１０Ａに格納する。

【0026】

その後、出入要求者Ａがセキュリティドア１００に到着すると、セキュリティドア１００は、ドアの開閉可否を判断しなければならない。そのとき、セキュリティドア１００の顔認識装置２００は、出入要求者Ａの顔を撮影し、それから顔認識のためのトライアルデータ（ｔｒｉａｌ ｄａｔａ）を取得する。一実施形態として、トライアルデータは、出入要求者Ａの顔画像である。

【0027】

顔分析サーバ３１０は、出入要求者Ａの顔画像（トライアルデータ）を分析して顔属性を抽出し、その顔属性を顔データベース３１０Ａに照会する。その照会の結果、該当顔属性が顔データベース３１０Ａに登録されている場合、顔分析サーバ３１０は、出入要求者Ａが当該空間への出入りを許可された正常出入者Ｂであると判断する。一方、顔データベース３１０Ａに登録されていない場合、顔分析サーバ３１０は、出入要求者Ａが正常出入者Ｂではないと判断する。

【0028】

ジェスチャー分析サーバ３２０は、出入要求者Ａに対してジェスチャー認識に基づいて出入認証を強化するか、あるいは状況伝達を行う構成要素である。
図５は、本発明におけるジェスチャー認識に基づく認証強化及び状況伝達の概念図である。

【0029】

まず、出入管理コンピュータ４００は、好ましくは、正常出入者Ｂから顔写真を受信し、それと同時に特定のジェスチャー動作を受信する。そして、例えば、メニュー操作によって、そのジェスチャー動作に対応して正常出入者であるか否かに関する追加検証を行うように設定するか、あるいはそのジェスチャー動作が特定の状況（例えば、正常、異常、脅威など）に対応するように設定するためのユーザ操作を受信する。

【0030】

そのような情報は、ジェスチャー分析サーバ３２０に送信され、ジェスチャー分析サーバ３２０は、ジェスチャー動作とそれに対応する正常出入者の検証または状況情報とのマッチング関係をジェスチャーデータベース３２０Ａに格納する。

【0031】

そのとき、正常出入者の検証に用いるためのジェスチャー動作が設定されている場合、顔分析サーバ３１０による顔認識に基づく正常出入者の認証と、ジェスチャー分析サーバ３２０によるジェスチャー認識に基づく正常出入者の検証との両方に成功した場合のみ、セキュリティドア１００が開かれる。正常出入者の検証に用いるジェスチャーは、本人のみが知っているものであるため、他人が偽の顔（例えば、写真、蝋マスクなど）によって出入りしようとする場合、セキュリティドア１００は開かれない。

【0032】

また、状況を伝えるためのジェスチャー動作が設定されている場合、出入要求者Ａがそのジェスチャーを取ると、そのマッチング設定された状況情報が管理者端末５００に送信される。

【0033】

前述のように、出入要求者Ａがセキュリティドア１００に到着してドアの開錠を要求すると、セキュリティドア１００の顔認識装置２００は、出入要求者Ａの顔を撮影し、顔分析サーバ３１０による顔認識に基づく正常出入者の認証を行う。好ましくは、顔認識装置２００は、それと同時に出入要求者Ａを撮影し、その撮影画像をジェスチャー分析サーバ３２０に送信する。

【0034】

ジェスチャー分析サーバ３２０は、その出入要求者Ａの撮影画像を分析して、出入要求者Ａのジェスチャー（以下、「ユーザジェスチャー」という）を識別し、そのユーザジェスチャーをジェスチャーデータベース３２０Ａに照会する。

【0035】

ジェスチャーデータベース３２０Ａに予め格納されているマッチング関係の情報に対応して、ジェスチャー分析サーバ３２０は、ユーザジェスチャーを、出入要求者Ａが該当空間への出入りを許可された正常出入者であるか否かを検証する目的で使用できる。その場合、正常出入者か否かの検証結果をセキュリティドア１００に提供する。

【0036】

また、ジェスチャーデータベース３２０Ａに予め格納されているマッチング関係の情報に対応して、ジェスチャー分析サーバ３２０は、ユーザジェスチャーとマッチング設定された状況情報をジェスチャーデータベース３２０Ａから取得して管理者端末５００に送信することもできる。

【0037】

図６は、本発明におけるジェスチャーに基づく状況伝達の例示図である。図６において、青色で示される（ｆ１）及び（ｆ２）は、顔分析サーバ３１０が顔認識に用いる領域であり、赤色で示される（ｇ１）及び（ｇ２）は、ジェスチャー分析サーバ３２０がジェスチャーに基づく状況伝達に用いる領域である。

【0038】

一例として、図６の（ａ）のようなＶ字型のジェスチャーを取る場合には、出入要求者Ａが現在正常状態であることを示すものであり、図６の（ｂ）のような手のひら全体を広げて振るジェスチャーを取る場合には、出入要求者Ａが現在脅迫状態であることを示す、とマッチング設定することができる。そのようなマッチング設定は、図５に示すように、正常出入者Ｂが出入管理コンピュータ４００を介して提供することができる。実施形態によっては、出入管理コンピュータ４００の代わりに顔認識装置２００が用いられてもよい。

【0039】

図５において、出入要求者Ａがセキュリティドア１００の前で図６の（ｂ）のジェスチャーを取る場合、ジェスチャー分析サーバ３２０は、そのジェスチャーに対するジェスチャーデータベース３２０Ａの照会結果から出入要求者Ａが現在脅迫状態であるという情報を取得し、その状態情報を管理者端末５００に送信して、セキュリティ管理システムによって適切な措置を講じることができる。

【0040】

以上では、ジェスチャーに基づいて正常出入者の検証を行う構成と、状況情報を送信する構成とがオプションであるように説明した。しかしながら、本発明は、正常出入者の検証と状況情報伝達とを組み合わせて構成することもできる。

【0041】

一例として、図５において、正常出入者Ｂが図６の（ａ）の正常通知ジェスチャーと図６の（ｂ）の危険通知ジェスチャーを登録したと仮定する。
ジェスチャー分析サーバ３２０は、出入要求者Ａが図６の（ａ）のような正常通知ジェスチャーを取る場合には、正常出入者の検証に成功したとみなし、検証成功結果をセキュリティドア１００に提供する。すなわち、正常通知ジェスチャーが正常出入者の検証用ジェスチャーとして活用される。

【0042】

逆に、出入要求者Ａが正常通知ジェスチャー以外のジェスチャーを取らずに正常出入者の検証に失敗した場合には、まずその検証失敗結果をセキュリティドア１００に提供すると共に、出入要求者Ａが取っているユーザジェスチャーとマッチング設定された状況情報をジェスチャーデータベース３２０Ａから取得し、管理者端末５００に送信するように構成してもよい。

【0043】

なお、顔分析サーバ３１０、顔データベース３１０Ａ、ジェスチャー分析サーバ３２０、ジェスチャーデータベース３２０Ａは、顔認識装置２００またはセキュリティドア１００に一体的に実装されてもよいし、クラウド上に実装されてもよい。本明細書では、図３に示すように、これらの構成３１０，３１０Ａ，３２０，３２０Ａがネットワークを介して接続されている形態に基づいて述べている。これは便宜のためのものであり、他の方法を排除するものではない。また、出入管理コンピュータ４００と管理者端末５００とは一体的に実装されてもよく、別々に実装されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】