特開 2023-8455 入退管理システム及び入退管理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023008455

(43)【公開日】2023-01-19

(54)【発明の名称】入退管理システム及び入退管理装置

(51)【国際特許分類】

   G07C 9/37 20200101AFI20230112BHJP

   G07C 9/38 20200101ALI20230112BHJP

   G07C 1/00 20060101ALI20230112BHJP

   G06T 7/00 20170101ALI20230112BHJP

【ＦＩ】

G07C9/37

G07C9/38

G07C1/00 C

G06T7/00 660Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021112028

(22)【出願日】2021-07-06

(71)【出願人】

【識別番号】514129844

【氏名又は名称】ニッポー株式会社

(74)【代理人】

【識別番号】110001612

【氏名又は名称】弁理士法人きさらぎ国際特許事務所

(72)【発明者】

【氏名】白石 政良

(72)【発明者】

【氏名】佐藤 幸一

(72)【発明者】

【氏名】金久保 陽彦

【テーマコード（参考）】

3E138

5L096

【Ｆターム（参考）】

3E138AA01

3E138BA02

3E138EA02

3E138JA03

3E138JB02

3E138JB16

3E138JC19

3E138JC22

3E138JD05

5L096BA02

5L096DA04

5L096FA67

5L096FA69

(57)【要約】

【課題】構成部品を増やすことなく非接触で入退場者の入退場を管理する。
【解決手段】入退管理システムは、入退場者を撮像して画像データを取得する撮像装置と、入退場者の顔画像データを記憶する記憶装置と、撮像装置により撮像された入退場者の画像データに基づき入退場者の入退場を管理する制御装置と、を備え、制御装置は、撮像装置により撮像された入退場者の画像データに含まれる顔画像データと、予め記憶装置に記憶された顔画像データとを比較して顔認証を行う認証手段と、認証手段により顔認証された入退場者の撮像装置からの画像データに含まれる入退場者又はそれに付随する物の位置、向き及び動きの少なくとも一つを検出し、その検出結果に基づいて、入退場者の入退場を判定する判定手段と、判定手段による判定結果を、時刻情報と共に入退場者に関連付けて入退履歴情報として記憶装置に記憶する管理手段と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

入退場者を撮像して画像データを取得する撮像装置と、
前記入退場者の顔画像データを記憶する記憶装置と、
前記撮像装置により撮像された前記入退場者の画像データに基づき前記入退場者の入退場を管理する制御装置と、を備え、
前記制御装置は、
前記撮像装置により撮像された前記入退場者の画像データに含まれる顔画像データと、予め前記記憶装置に記憶された顔画像データとを比較して顔認証を行う認証手段と、
前記認証手段により顔認証された前記入退場者の前記撮像装置からの画像データに含まれる前記入退場者又はそれに付随する物の位置、向き及び動きの少なくとも一つを検出し、その検出結果に基づいて、前記入退場者の入退場を判定する判定手段と、
前記判定手段による判定結果を、時刻情報と共に前記入退場者に関連付けて入退履歴情報として前記記憶装置に記憶する管理手段と、を有する
入退管理システム。

【請求項2】

前記制御装置の前記判定手段は、前記撮像装置からの画像データに含まれる前記入退場者の顔画像の向きを検出し、検出された前記顔画像の向きに基づき前記入退場者の入退場を判定する
請求項１記載の入退管理システム。

【請求項3】

前記撮像装置により撮像された前記入退場者の顔画像を表示する表示装置を備えた
請求項１又は２記載の入退管理システム。

【請求項4】

前記制御装置は、
前記入退場者の音声入力を受け付ける入力手段と、
前記入退場者の生体情報を検知する検知手段と、を有し、
前記判定手段は、前記入力手段による音声入力結果及び前記検知手段による検知結果の少なくとも一つに基づき前記入退場を判定する
請求項１～３のいずれか１項記載の入退管理システム。

【請求項5】

前記制御装置は、前記認証手段による顔認証結果及び前記判定結果の少なくとも一つに基づき外部装置を制御する制御信号を出力する出力手段を有し、
前記出力手段は、前記入退履歴情報を外部の入退管理装置に出力する
請求項１～４のいずれか１項記載の入退管理システム。

【請求項6】

前記制御装置は、前記撮像装置により撮像された前記入退場者の画像データが、前記認証手段による顔認証に利用可能な画像となるように、前記画像データに画像処理を行う画像処理手段を有する
請求項１～５のいずれか１項記載の入退管理システム。

【請求項7】

入退場者を撮像して画像データを取得する撮像手段と、
前記入退場者の顔画像データを記憶する記憶手段と、
前記撮像手段により撮像された前記入退場者の画像データに含まれる顔画像データと、予め前記記憶手段に記憶された顔画像データとを比較して顔認証を行う認証手段と、
前記認証手段により顔認証された前記入退場者の前記撮像手段からの画像データに含まれる前記入退場者又はそれに付随する物の位置、向き及び動きの少なくとも一つを検出し、その検知結果に基づいて、前記入退場者の入退場を判定する判定手段と、
前記判定手段による判定結果を、時刻情報と共に前記入退場者に関連付けて入退履歴情報として前記記憶手段に記憶する管理手段と、を備えた
入退管理装置。

【請求項8】

前記判定手段は、前記撮像手段からの画像データに含まれる前記入退場者の顔画像の向きを検出し、検出された前記顔画像の向きに基づき前記入退場者の入退場を判定する
請求項７記載の入退管理装置。

【請求項9】

前記撮像手段により撮像された前記入退場者の顔画像を表示する表示手段を備えた
請求項７又は８記載の入退管理装置。

【請求項10】

前記入退場者の音声入力を受け付ける入力手段と、
前記入退場者の生体情報を検知する検知手段と、を有し、
前記判定手段は、前記入力手段による音声入力結果及び前記検知手段による検知結果の少なくとも一つに基づき前記入退場を判定する
請求項７～９のいずれか１項記載の入退管理装置。

【請求項11】

前記認証手段による顔認証結果及び前記判定結果の少なくとも一つに基づき外部装置を制御する制御信号を出力する出力手段を備え、
前記出力手段は、前記入退履歴情報を外部の入退管理装置に出力する
請求項７～１０のいずれか１項記載の入退管理装置。

【請求項12】

前記撮像手段により撮像された前記入退場者の画像データが、前記認証手段による顔認証に利用可能な画像となるように、前記画像データに画像処理を行う画像処理手段を備えた
請求項７～１１のいずれか１項記載の入退管理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔認証技術を活用した、非接触方式の入退管理システム及び入退管理装置に関する。

【背景技術】

【0002】

デジタル技術の進歩により、デジタルカメラが読み取った人の顔画像から、個人を識別する顔認証技術は既に公知となっている。その顔認証技術を活用し、例えば最初の顔認証を入場、２回目の顔認証を退場と判断する入退管理装置も既に公知となっている。更に、このような顔認証をタイムカードの打刻時に行って出勤及び退出等の時刻を管理する出退勤管理システムも知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－４８３２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の顔認証のみで入退管理を行う入退管理装置や入退管理システムでは、最初の顔認証を入場とし、次の顔認証を退場とする入退場判断以外にも、複数回の途中入退場を識別したい場合は、顔認証する際に、途中退場・途中入場時の打刻操作等を含む指定操作を行う必要がある。

【0005】

このような指定操作を行う手法として、接触型のボタン又はタッチパネル等に触れて選択を行うことは、いわゆる接触感染を防止する仕組みとしては不十分となってしまう場合がある。

【0006】

また、既に公知の、人の目には空間上に擬似的な画像を結像する技術（例えば、三次元像空中表示技術）を用いると、前述の指定操作のためのボタンなどを空間上に用意し、非接触のまま操作することが可能となるが、擬似的な画像を結像するためのディスプレイや、空中での操作を検知するセンサ部など、構成部品が増えるため、機器のサイズを大きくしてしまうという欠点がある。

【0007】

本発明は、上記事情に鑑みてなされたものであり、構成部品を増やすことなく非接触で入退場者の入退場を管理することができる入退管理システム及び入退管理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る入退管理システムは、入退場者を撮像して画像データを取得する撮像装置と、前記入退場者の顔画像データを記憶する記憶装置と、前記撮像装置により撮像された前記入退場者の画像データに基づき前記入退場者の入退場を管理する制御装置と、を備え、前記制御装置は、前記撮像装置により撮像された前記入退場者の画像データに含まれる顔画像データと、予め前記記憶装置に記憶された顔画像データとを比較して顔認証を行う認証手段と、前記認証手段により顔認証された前記入退場者の前記撮像装置からの画像データに含まれる入退場者又はそれに付随する物の位置、向き及び動きの少なくとも一つを検出し、その検出結果に基づいて、前記入退場者の入退場を判定する判定手段と、前記判定手段による判定結果を、時刻情報と共に前記入退場者に関連付けて入退履歴情報として前記記憶装置に記憶する管理手段と、を有する。

【0009】

本発明に係る入退管理装置は、入退場者を撮像して画像データを取得する撮像手段と、前記入退場者の顔画像データを記憶する記憶手段と、前記撮像手段により撮像された前記入退場者の画像データに含まれる顔画像データと、予め前記記憶手段に記憶された顔画像データとを比較して顔認証を行う認証手段と、前記認証手段により顔認証された前記入退場者の前記撮像手段からの画像データに含まれる前記入退場者又はそれに付随する物の位置、向き及び動きの少なくとも一つを検出し、その検出結果に基づいて、前記入退場者の入退場を判定する判定手段と、前記判定手段による判定結果を、時刻情報と共に前記入退場者に関連付けて入退履歴情報として前記記憶手段に記憶する管理手段と、を備えた。

【発明の効果】

【0010】

本発明によれば、構成部品を増やすことなく非接触型で入退場者の入退場を管理することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る入退管理システムの構成を示す図である。

【図2】同入退管理システムの制御部の内部構成を示す図である。

【図3】同入退管理システムの端末装置の正面図である。

【図4】入退場者の入退履歴を説明するための図である。

【図5】入退履歴の管理データベースの構成の一例を示す図である。

【図6】入退管理処理を示すフローチャートである。

【図7】端末装置における表示画面の一例を示す図である。

【図8】端末装置における表示画面の一例を示す図である。

【図9】顔のジェスチャパターンの一例を示す図である。

【図10】顔のジェスチャパターンの一例を示す図である。

【図11】端末装置における表示画面の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、添付の図面を参照して、本発明の実施の形態に係る入退管理システム及び入退管理装置を詳細に説明する。ただし、以下の実施の形態は、各請求項に係る発明を限定するものではなく、また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。また、以下の実施の形態においては、各構成要素の縮尺、寸法等が誇張されて示されている場合、及び一部の構成要素が省略されている場合がある。

【0013】

図１は、本発明の一実施形態に係る入退管理システムの構成を示す図である。図２は、入退管理システムの制御部の内部構成を示す図である。図１に示すように、本実施形態の入退管理システム１は、例えば事業所等の室内への複数の従業員（入退場者）等の入退出に際し、入退場者の入退場に関する情報を時刻情報と共に記録管理するシステムである。入退管理システム１は、端末装置１０と、入力装置３０と、出力装置４０と、検知部５０と、外部装置６０と、を備える。本実施形態においては、入退管理システム１の端末装置１０は、例えば外部装置６０を入退管理装置等とした場合に、この外部装置６０と双方向通信可能に接続されている。

【0014】

入退管理システム１の端末装置１０は、例えば、管理端末として事業所等の所定場所（ドア前等）に設置され、複数の従業員（入退場者）などの入退場に関する各種情報を記録し管理する。なお、所定場所とは、入退場者が入退場時に一旦立ち止まる等の場所のことをいう。

【0015】

端末装置１０は、撮像部１１と、表示部１２と、制御部１３と、記憶部１４と、記録媒体１５と、を備える。端末装置１０の撮像部１１は、入退場者を撮像して画像データを取得する。撮像部１１は、例えば、デジタルカメラ等の撮影機器、及びＣＭＯＳ又はＣＣＤ等の撮像素子により構成され得る。撮像部１１は、入退場者の画像データから顔画像を自動的にキャプチャして静止画の顔画像データを取得するように構成されても良いし、画像をレコードして動画の画像データを取得するように構成されても良い。なお、撮像部１１は、それ単体で後述する入退場者の顔認証機能及び動作検知機能を備えて構成されていても良い。

【0016】

表示部１２は、上記のような所定場所に設置された端末装置１０において、入退場者の画像（特に、顔画像）を表示可能に構成された、ディスプレイ装置、モニタ装置、タッチパネル機構等の表示デバイスにより構成され得る。具体的には、表示部１２は、撮像部１１により撮像された入退場者の画像データに基づく顔画像を、少なくとも入退場者に対して視認可能に表示する。

【0017】

なお、入退管理システム１において入退管理のみを行うという観点からは、必ずしも入退場者の顔画像を表示する必要性は生じ得ない。このため、そのような場合には表示部（表示装置）１２は必須の構成ではないといえる。ただし、表示部１２が備えられていれば、入退場時に入退場者自身が表示部１２に表示された自分の顔画像を確認しながら入退場を行うことが可能となる。このため、入退場者の利便性が向上する。

【0018】

記憶部１４は、撮像部１１により取得された入退場者の画像データを記憶すると共に、入退場者の顔画像データ１７を記憶する。また、記憶部１４は、入退管理システム１の制御部１３等の基本処理等に用いられる各種プログラム及び後述する入退場者の入退履歴情報（入退履歴データ１９）等を記憶している。

【0019】

また、記憶部１４には、例えば予め撮像部１１により撮像された画像データや、外部の機器等から記録媒体１５や入出力Ｉ／Ｆ（インタフェース）１３ｄを介して取得した画像データから抽出した入退場者の顔画像データ１７及び上記入退履歴データ１９と共に、時刻に関する時刻データ１８等が、登録された各種データとして記憶されている。記憶部１４としては、例えばＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ等が挙げられる。

【0020】

記録媒体１５は、記憶部１４に記憶された各種データを外部出力するために書き込んだり、外部において書き込まれた各種データを入力するために読み込んだりすることができるように構成された、着脱可能な不揮発性メモリからなるメモリカードや光ディスク等の媒体からなる。

【0021】

制御部１３は、記憶部１４に記憶された各種プログラムに従って入退管理システム１の全体を制御すると共に、撮像部１１により撮像された入退場者の画像データに基づき入退場者の入退場（入退出）を管理する。制御部１３は、例えばＣＰＵ及びＧＰＵを備えたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）等の演算処理装置により構成され得る。

【0022】

図２に示すように、制御部１３は、本実施形態においては、例えば、認証部１３ａ、判定部１３ｂ、管理部１３ｃ、入出力Ｉ／Ｆ１３ｄ、及び画像処理部１３ｅを備えて構成されている。なお、制御部１３は、少なくとも認証部１３ａ、判定部１３ｂ及び管理部１３ｃのみの機能を備えた最小構成であっても良い。

【0023】

制御部１３の認証部（認証手段）１３ａは、撮像部１１により撮像された入退場者の画像データに含まれる顔画像データと、予め記憶部１４に記憶された顔画像データとを比較して顔認証を行う顔認証機能を有する。具体的には、認証部１３ａは、撮像部１１により取得された入退場者の画像データに基づいて、公知の顔画像抽出処理や顔の特徴量抽出処理等を行う。

【0024】

そして、認証部１３ａは、抽出された顔画像及びその特徴量等に基づき、この特徴量等が一致或いは近似する、予め記憶部１４に記憶（登録）されている顔認証対象の登録者（入退場者）の顔画像データ１７を画像検索により読み込んで、例えばテンプレートマッチング処理等に基づき顔画像同士を比較する。

【0025】

このようにして、認証部１３ａは、入退場者の顔認証処理を実行する。なお、認証部１３ａによる顔認証結果により、例えば認証ＯＫの場合は入退場の判定が行われるが、認証ＮＧの場合は入退場判定に代えて、公知の再認証処理や入退場禁止処理等の他の処理が実行されるように構成され得る。

【0026】

制御部１３の判定部（判定手段）１３ｂは、認証部１３ａにより顔認証された入退場者の撮像部１１からの画像データに含まれる入退場者又はそれに付随する物（装具等）の位置（入退場者の立ち位置、装具の装着位置等）、向き（入退場者の（顔の）向き、装具の向き等）及び動き（入退場者の顔、手、頭等の動作、装具の着脱の動作等）の少なくとも一つを検出し、その検出結果に基づいて、入退場者の入退場を判定する。具体的には、判定部１３ｂは、撮像部１１からの画像データに含まれる入退場者の顔の動作（ジェスチャ）を検出して、例えば入退場者の顔画像の向きを検出し、検出された顔画像の向きに基づき入退場を判定する。

【0027】

判定部１３ｂによる入退場の判定においては、例えば、顔認証後の入退場者の顔画像が、入退場者の正面に対する左右方向の一方を向いたことを示す状態であることが検出されたら「入場」と判定し、左右方向の他方を向いたことを示す状態であることが検出されたら「退出」を判定すること等が挙げられる。

【0028】

制御部１３の管理部（管理手段）１３ｃは、判定部１３ｂによる判定結果を、時刻情報と共に入退場者に関連付けて、例えば入退履歴情報として記憶部１４に記憶する。具体的には、管理部１３ｃは、判定結果が「入場」を示した場合はその入場記録を入場時刻と共に入場者の登録情報（登録番号、登録者名、登録顔画像等）に関連付ける。一方、判定結果が「退出」を示した場合はその退出記録を退出時刻と共に入退場者の登録情報に関連付ける。

【0029】

管理部１３ｃは、こうして関連付けられた入退場者毎の各種の情報を、入退場者毎の入退履歴情報として利用可能に記憶部１４に記憶し管理する。なお、管理部１３ｃは、例えば１日の切り替わり時刻（午前０時等）からカウント（計時）して、初回の入場を示す判定結果を入退場者の「出勤」と判断し、最後（最終回）の退出を示す判定結果を入退場者の「退勤」と判断して、入退記録を管理することも可能である。

【0030】

制御部１３の入出力Ｉ／Ｆ（入力手段、出力手段）１３ｄは、例えば入力装置３０を介して入力された入退場者の音声入力を受け付ける。入力装置３０は、例えば入出力Ｉ／Ｆ１３ｄに接続されたマイクロフォン、キーボード、マウス、タッチパネル等の各種の入力デバイスにより構成され得る。なお、音声入力の例としては、入退場者が発声する「入場」、「退出」、「保存」、「終了」等の音声による入力が挙げられる。制御部１３は、このような音声入力に基づき各部や外部装置６０等を制御し得る。

【0031】

出力装置４０は、入出力Ｉ／Ｆ１３ｄを介して接続されたスピーカ、ライト、プリンタ等の出力デバイスにより構成され得る。なお、制御部１３は、出力装置４０がスピーカやライトである場合は、判定部１３ｂによる判定結果を、入出力Ｉ／Ｆ１３ｄを介して音や光で示すように出力し、入退場者への更なる理解を促すように構成し得る。

【0032】

なお、制御部１３は、入出力Ｉ／Ｆ１３ｄを介して、例えば認証部１３ａによる顔認証結果及び判定部１３ｂによる判定結果の少なくとも一つに基づいて、例えば、外部装置６０を制御する制御信号を出力し得る。例えば、外部装置６０が自動開閉式の入室扉のドア開閉装置であって、顔認証結果が認証ＯＫであり、判定結果が「入場」を示す場合に、制御部１３は入室扉を開かせる制御信号をドア開閉装置に出力することができる。

【0033】

検知部（検知手段）５０は、例えばサーマルカメラや各種人感センサ等により構成され、入退場者の生体情報（体温、虹彩パターン等）を検知する。なお、判定部１３ｂは、上述した検出結果に基づく判定と共に、又は検出結果に基づく判定の他に、入出力Ｉ／Ｆ１３ｄを介して受け付けられた音声入力結果、及び検知部５０により検知された検知結果の少なくとも一つに基づき、入退場者の入退場等を判定するようにしても良い。このような場合は、制御部１３は、例えば、入退場者が「入場」と発音した場合であっても、検知部５０により検知された体温が所定値以上である場合には入場を許可せず、再検温を促す警告を表示部１２に提示する等の他の処理を実行することが可能となる。

【0034】

制御部１３の画像処理部（画像処理手段）１３ｅは、撮像部１１により撮像された入退場者の画像データ（特に、顔画像データにより表される顔画像）が、認証部１３ａによる顔認証に利用可能な水準を満たす画像となるように、画像データに各種の画像処理を行う。

【0035】

画像処理部１３ｅは、例えば、入退場者がマスクや帽子、メガネ等の装具を身に付けている場合に、認証部１３ａにてこれらの装具を加味した状態で顔認証が行えるように、これらの装具を外した状態の入退場者の顔画像データを生成したり、又は記憶部１４に記憶された顔画像データ１７を利用してこれらの装具を身に付けた状態の顔画像データを生成したりして、装具の有無に拘わらず画像データを顔認証に利用できるように画像処理する。

【0036】

外部装置６０は、例えば、上述したドア開閉装置の他に、警報報知装置、セキュリティ管理装置、入退管理装置等が挙げられる。制御部１３は、上述したように、顔認証結果や判定結果に基づき入出力Ｉ／Ｆ１３ｄを介して外部装置６０に各種データや制御信号を出力し、外部装置６０に各種データを利用可能に提供し、外部装置６０の動作を制御し得る。そして、外部装置６０が、例えば入退管理装置である場合は、この入退管理装置は、出力された入退履歴情報等を入力して利用することにより、事業所等における複数の入退場者を含む従業員等の入退管理を行うことができる。なお、入退管理は、例えば制御部１３が記憶部１４に記憶された入退管理プログラムに従った入退管理処理を実行することにより、行うことも可能である。

【0037】

このように構成された入退管理システム１によれば、撮像部１１により撮像された入退場者の画像データに含まれる顔画像データに基づき、顔認証を行うと共に入退場を判定して、更に入退履歴情報を生成することができるので、非接触な状態で入退場者の入退管理を行うことができる。また、端末装置１０単体で、撮像部１１、記憶部１４及び制御部１３を備えた最も少ない構成で入退管理処理を実行し、入退管理システム１を構成することも可能である。これにより、装置等の構成部品を増やすことなく非接触で入退場者の入退場を管理することが可能となる。

【0038】

図３は、端末装置の正面図である。なお、図３を含む以降の説明においては、同一又は相当する構成要素には同一の符号を付して重複する説明は省略する。上述したように、端末装置１０は、例えば、それ単体で上記の入退管理システム１の機能と同等の機能を実現することが可能に構成され得る。

【0039】

図３に示すように、端末装置１０においては、デジタルカメラ等の画像を撮像する撮像部（撮像手段）１１は、例えば端末装置１０の筐体における正面側の上部ベゼル部の右側部分に配置され、入退場者を撮像して画像データを取得可能に設けられている。また、撮像部１１で取得された画像データを表示出力するディスプレイ等の表示部（表示手段）１２の表示画面１２Ａは、例えば、撮像部１１により撮像された入退場者の画像データに含まれる顔画像データに基づいて、顔画像を表示する顔画像表示領域１２ａと、日付を表す文字情報等を表示する日付表示領域１２ｂと、時刻を表す文字情報等を表示する時刻表示領域１２ｃと、を備えて構成され得る。

【0040】

なお、表示部１２は、撮像部１１によって撮像した画像データを表示出力することができ、併せて日付や時間等の各種情報を表示可能な機能を備えていれば、上述したものに限定されない。また、記憶部１４は、入退場者の個人を識別する際に、撮像部１１によって撮像した顔画像データを比較する際に使用する顔画像データ１７と、入退記録の際に、その時刻と日付と登録者（入退場者）の各種情報とを関連付けたデータ（管理データベース２０、図５参照）の一部を構成する時刻データ１８及び入退履歴データ１９と、を記憶可能な機能を備えていれば、上述したものに限定されない。

【0041】

図４は、入退場者の入退履歴を説明するための図である。図５は、入退履歴の管理データベースの一例を示す図である。図４に示すように、入退場者の入退履歴は、例えば「出勤」、「退出１～ｎ（ｎは正の整数）」、「再入場１～ｎ（ｎは正の整数）」、及び「退勤」で表され得る。入退履歴データ１９は、これらの入退履歴を個々の入退場者に関連付けて構成され得る。

【0042】

この入退履歴においては、２４時間の時間軸において、例えば午前０時を境に端末装置１０において顔認証された所定の入退場者（出勤者）が、最初（初回）に入場したと判定されたものを判定結果に基づき「出勤」と判断して記録する。また、この所定の入退場者が最後（最終回）に退出したと判定されたものを判定結果に基づき「退勤」と判断して記録する。

【0043】

また、「出勤」と「退勤」の間の時間において、所定の入退場者が「出勤」の後に最初に退出したと判定されたものを判定結果に基づき「退出１」と判断して記録し、この「退出１」の後に入場したと判定されたものを判定結果に基づき「再入場１」と判断して記録する。このような入退記録処理を「出勤」と「退勤」の間の時間で入退場者毎に判定結果に基づき繰り返すことにより、所定の入退場者に関連付けられた入退履歴データ１９における入退履歴が入退記録として記録される。

【0044】

ここで、記憶部１４に記憶される顔画像データ１７、時刻データ１８及び入退履歴データ１９を含む入退履歴の管理データベース２０について、図５に基づいて説明する。図５に示すように、管理データベース２０には、例えば「登録番号」、「登録者名」、「登録顔画像」、「入退記録」の各カラムが形成され、上記顔画像データ１７、時刻データ１８及び入退履歴データ１９が、各レコード毎に管理・保存される。

【0045】

例えば、管理データベース２０における登録番号が「０００１」の登録者名「ＡＢＣＤ」の入退場者については、管理データベース２０のレコードにおいて、顔画像データ１７に基づく登録顔画像が図示のような画像であり、時刻データ１８及び入退履歴データ１９に基づく入退記録が「２０２０／１１／２；８：２７；出勤・・・２０２０／１１／２；１９：５３；退勤」のように記録され、管理・保存される。

【0046】

このように、管理データベース２０においては、顔画像データ１７に、登録者（入退場者）の顔画像と、入力された登録番号及び登録者名と、登録者に関する情報（時刻データ１８及び入退履歴データ１９）と、をそれぞれ関連付けて記録することができる。この管理データベース２０における登録者毎の各種情報は、例えば取り外し可能な記録媒体１５を介して、他の端末装置にて作成された登録者のデータを入力して、その顔画像データ１７に関連付けて追加記録することもできる。また、この管理データベース２０内の顔画像データ１７には、登録者の顔画像の他に、登録者名及び登録番号以外のその他の関連情報を付加して登録することも可能である。

【0047】

また、時刻データ１８は、個人の識別のための顔認証にて認証された入退場者の入退記録（入退履歴データ１９）と共に、各登録者のデータに関連付けて記録される。入退記録カラムにおける記録内容は、例えば日付、時刻、入場又は退出を示す内容（出勤、退出１～ｎ、再入場１～ｎ及び退勤を含む）であり、各レコード毎に日時順で記録されていく。なお、上記のように再入場と退出の回数に制限はないので、再入場と退出を繰り返す毎に、例えば、退出１、再入場１、退出２、再入場２、退出３、再入場３のようにレコードにおけるフィールドが増えていくように、時刻データ１８及び入退履歴データ１９が管理データベース２０に記録される。

【0048】

このように構成された端末装置１０では、制御部１３において入退管理処理が実行された場合、時刻データ１８に基づく出勤時刻と退勤時刻に関する情報から、１日単位の勤務時間の算出を行うことや、各退出時刻及び再入場時刻に関する情報を加味して詳細な１日単位の勤務時間を算出すること等ができる。そして、例えば、管理データベース２０或いは時刻データ１８及び入退履歴データ１９を、そのままの状態で外部装置（入退管理装置）６０に利用可能に記録媒体１５に出力することもできる。また、入出力Ｉ／Ｆ１３ｄを介して外部装置６０にインストールされた入退管理ソフトウェア間との勤務時間等の算出を含む入退管理を連携して行ったりすることもできる。

【0049】

上記端末装置１０は、撮像用のデジタルカメラ等の撮像部１１と、入退場者を表示するディスプレイ等の表示部１２と、を備えて構成されているが、カメラ機能及び表示機能を有するスマートフォン、タブレット端末等を含む各種電子機器で構成され得る。また、表示部１２は、撮像部１１にて撮像された画像データを映像として映し出すことができるものであれば、種々の構成を採用し得る。端末装置１０は、一例として撮像部１１にて入退場者が撮像されてから個人の識別（顔認証）を行い、入退判定による入退場の確認時（又は確認後）に時刻の記録を行う構成となっており、その際に表示部１２に併せて装置の各種動作状態表示を行うことができる。

【0050】

次に、入退管理システム１における入退場者の撮像から入退記録までの一連の入退管理処理を図６に基づいて説明する。図６は、入退管理処理を示すフローチャートである。
まず、入退管理処理が開始されると、例えば端末装置１０の撮像部１１の撮像領域に入退場者が入ったこと等が検知部５０により検知された場合、撮像された画像データが表示部１２に出力されて入退場者が表示される。そして、表示部１２の顔画像表示領域１２ａに、例えば所定の大きさで入退場者の正面を向いた顔が収まる状態となった時に、撮像部１１によって入退場者の顔画像をキャプチャにより撮像する（ステップＳ１）。

【0051】

次に、撮像された入退場者の顔画像データに基づき、記憶部１４に記録された顔画像データ１７から画像検索を行って、認証部１３ａにおける顔認証機能より、入退場者の顔画像データが登録されている顔画像データ１７であるか否かを判断する顔認証を行う（ステップＳ２）。

【0052】

この顔認証においては、例えば図７に示すように、表示部１２の表示画面１２Ａ上に認証画面が表示される。認証画面では、顔画像表示領域１２ａ内に入退場者の正面を向いた顔を表す顔画像１７ａが、例えば左右反転状態で表示される。また、顔認証による認証が成功した場合は、例えば顔画像表示領域１２ａと、日付表示領域１２ｂ及び時刻表示領域１２ｃとの間の可変表示領域１２ｄに、認証された登録者名１２ｅが表示される。このように表示画面１２Ａ上に登録者名１２ｅが表示されることにより、入退場者は入退場の手順が進み認証が済んだことを視認することが可能となる。なお、顔画像１７ａを左右反転表示することにより、後述するジェスチャと表示画像とが違和感なくリンクして視認可能に表示され得る。

【0053】

このように、認証部１３ａの顔認証機能による顔認証によって、撮像された入退場者が登録者か否かの判断が行われ（ステップＳ３）、顔認証結果に基づき登録者であると判断された場合（ステップＳ３のＹｅｓ）は、次のステップＳ４に進む。一方、登録者ではない（未登録者である）と判断された場合（ステップＳ３のＮｏ）は、撮像された顔画像を表す顔画像データ１７と、その時刻を表す時刻データ１８と、を記憶部１４に記憶して、入退管理処理を終了するか否かを判断する（ステップＳ１５）。処理を終了しないと判断した場合（ステップＳ１５のＮｏ）は、上記ステップＳ１に移行して以降の処理を繰り返すが、処理を終了すると判断した場合（ステップＳ１５のＹｅｓ）は、本フローチャートによる一連の入退管理処理を終了する。

【0054】

上記のように登録者であると判断された後のステップＳ４では、端末装置１０の表示部１２の表示画面１２Ａ上に、例えば図８に示すような入退記録画面表示が行われる（ステップＳ４）。この入退記録画面では、上記認証画面とは異なり、可変表示領域１２ｄに、入退場判定のための退出方向と入場方向を表す矢印アイコン２１，２２が表示される。なお、矢印アイコン２１，２２には、それぞれ「退出」及び「入場」をより明確に視認可能となるようにこれらを表す文字情報も重ねて表示されている。ここでの矢印アイコン２１，２２は退出方向及び入場方向を表す態様の一例であって、これらの方向を表すことが可能なものであれば、他の表示方法を採用しても良い。

【0055】

こうして入退記録画面が表示された状態で、入退場者は入場又は退出の意思を表す動き（ジェスチャ）を行う。具体的には、入退場者は、図８に示す入退記録画面表示の状態で、端末装置１０の正面に対して顔を左右に向けることによりジェスチャを行う。入退場者のジェスチャは、例えば撮像部１１に搭載された動作検知機能により検知される。入退場者が、例えば顔を右に向けた場合は、図９に示すように、顔画像表示領域１２ａに表示された顔画像１７ａも、図中白抜き矢印で示すように右方向を向くように左右反転表示される。また、入退場者が、例えば顔を左に向けた場合は、図１０に示すように、顔画像表示領域１２ａに表示された顔画像１７ａも、図中白抜き矢印で示すように左方向を向くように左右反転表示される。

【0056】

図８に示すような入退記録画面では、「入場」を表す矢印アイコン２２は向かって右方向を指しており、「退出」を表す矢印アイコン２１は向かって左方向を指しているので、入退場者の実際のジェスチャと表示された顔画像１７ａの動きはリンクするように表示される。このようなジェスチャによって、入退場者の入退場が判定される（ステップＳ５）。なお、顔画像表示領域１２ａに表示される顔画像１７ａが左右反転表示されることで、入退場者は左右どちらの方向を向くことで入場又は退出と判断されるかが視認し易くなる。ただし、顔画像表示領域１２ａに表示される顔画像１７ａが左右反転表示されない場合は、実際のジェスチャと表示される顔画像の動きは逆となるため直感的に視認し易くはないが、このような態様で入退場判定を行うことも可能である。

【0057】

入退場判定（ステップＳ５）の判定結果において、入退場者が入場のジェスチャを行って入場と判定された場合（ステップＳ５の入場）は、その入場が入退場者にとって判定日の１回目の入場であるか否かが判断される（ステップＳ６）。一方、入退場判定（ステップＳ５）の判定結果において、入退場者が退出のジェスチャを行って退出（退場）と判定された場合（ステップＳ５の退出）は、退出と判断して記憶部１４の管理データベース２０の入退場者のレコードにおける入退記録に、その時刻と日付を退出記録として一時保存し記録する（ステップＳ９）。なお、退出の記録は退出の回数によって、例えば上述したように番号が付されて記録される。ステップＳ５の入退場判定の判定結果は、出力装置４０により「入場」又は「退出」を表す音や光で入退場者に報知するようにしても良い。

【0058】

ステップＳ６における判定日の１回目の入場であるか否かの判断は、例えば記憶部１４に入退場者に関連付けられて記憶されている時刻データ１８の入場記録の履歴から、その日（判定日）の初めて（１回目）の入場記録となるか否かで、出勤なのか再入場なのかを判断する。その日の初めて（１回目）の入場であると判断された場合（ステップＳ６のＹｅｓ）は、出勤と判断して記憶部１４の管理データベース２０の入退場者のレコードにおける入退記録に、その時刻と日付を出勤記録として一時保存し記録する（ステップＳ７）。

【0059】

一方、その日初めてではない（２回目以降）の入場であると判断された場合（ステップＳ６のＮｏ）は、再入場と判断して記憶部１４の管理データベース２０の入退場者のレコードにおける入退記録に、その時刻と日付を再入場記録として一時保存し記録する（ステップＳ８）。なお、再入場の記録は再入場の回数によって、例えば上述したように番号が付けられて記録される。

【0060】

なお、ステップＳ９にて退出記録がされた後は、その退出が入退場者にとって判定日の最後（最終回）の退出であるか否かが判断される（ステップＳ１０）。最後の退出であるか否かの判断は、例えば記憶部１４に入退場者に関連付けられて記憶されている時刻データ１８の退出記録の履歴から、その日（判定日）の最後（最終回）の退出記録となるか否かで、退勤なのか退出なのかを判断する。その日の最後（最終回）の退出であると判断された場合（ステップＳ１０のＹｅｓ）は、退勤と判断して記憶部１４の管理データベース２０の入退場者のレコードにおける入退記録に、その時刻と日付を退出記録として一時保存し記憶する（ステップＳ１１）。

【0061】

一方、その日の最後（最終回）の退出ではないと判断された場合（ステップＳ１０のＮｏ）や、上記ステップＳ７及びステップＳ８の後には、端末装置１０の表示部１２の表示画面１２Ａ上に、図１１に示すような保存確認画面表示が行われる（ステップＳ１２）。この保存確認画面では、上記入退記録画面とは異なり、可変表示領域１２ｄに、保存終了判定のための終了方向と保存方向を表す矢印アイコン２３，２４が表示される。なお、矢印アイコン２３，２４には、それぞれ「終了」及び「保存」をより明確に視認可能となるようにこれらを表す文字情報も重ねて表示されている。入退場者は、表示された保存確認画面を視認することで、上述したように記憶部１４へ一時保存された入場又は退出の記録内容の確認を行うことができると共に、入退場に関する手順が更に進み入退記録が行われたことを確認できる。なお、矢印アイコン２３，２４は終了方向及び保存方向を表す態様の一例であって、これらの方向を表すことが可能なものであれば、他の表示方法を採用しても良い。

【0062】

こうして保存確認画面が表示された状態で、入退場者は保存又は終了の意思を表すジェスチャを行う。ここでのジェスチャは、上記ステップＳ５における入退場判定の際に入退記録画面を用いて説明した動作と同様のものとすることができる。すなわち、保存確認画面においては、終了方向と保存方向を示す矢印アイコン２３，２４が可変表示領域１２ｄに表示されているため、入退場者は、どちらかを向くことで保存又は終了のコマンドを端末装置１０に入力可能なことが把握できる。

【0063】

保存確認画面が表示されているなかでの入退場者のジェスチャによって、保存終了が判定される（ステップＳ１３）。例えば、撮像部１１に搭載された動作検知機能を用いて、入退場者が顔を右に向けて保存と判定された場合（ステップＳ１３の保存）は、入退場者に関連付けられて一時保存された入場又は退出の入退記録を、記憶部１４の管理データベース２０内に時刻データ１８と共に関連付けて保存し、入退記録を終了する。

【0064】

一方、入退場者が顔を左に向けて終了と判定された場合（ステップＳ１３の終了）は、入退場者に関連付けられて一時保存されたデータを、例えば一旦破棄し、入退記録を終了する。このように、入退記録画面の後に保存確認画面を表示して確認を行うことで、例えば、入退場者が「入場」又は「退出」のジェスチャを行った際に、誤って反対のジェスチャを行った場合等にも、「終了」のジェスチャを行うことで、誤った日付や時刻等の各種データを入退記録として管理データベース２０に記録してしまうことを防止することができる。なお、入退記録を終了したら、上述したように入退管理処理の終了が判断される（ステップＳ１５）。

【0065】

このように構成された入退管理システム１によれば、端末装置１０の撮像部１１により撮像された入退場者の顔画像データに基づき顔認証を行い、その顔画像の向き（ジェスチャに伴う向き）に基づき入退場等を判定して、入退記録を作成することができるので、上述した作用効果と同様に非接触で入退管理を行うことが可能である。また、端末装置１０単体での入退管理を行うこともできるので、構成部品を増やすことはない。

【0066】

なお、上述した入退管理処理では、入退場者の動き（ジェスチャ）によって入退場判定等を行うように構成したが、これに限定されず、ジェスチャと共に、又はジェスチャに代わって、上述したように入退場者又はそれに付随する物の位置、向き及び動き、或いは入退場者の音声入力や生体情報等を単独で又は複合的に用いて入退場判定等を行うようにしても良い。

【0067】

また、入退管理システム１や単独で入退管理処理を実行可能な端末装置１０の変形例としては、入退場者のジェスチャによって入退場判定等を行う際に、表示画面１２Ａ上の可変表示領域１２ｄに矢印アイコン２１，２２等のジェスチャを促す情報を表示せずに、あくまで入退場者の動線に沿った自然な動きをジェスチャと認識して各種判定等ができるように構成することも可能である。具体的には、上記のような入退管理処理が行われる端末装置１０が設置された場所の、例えば右方向に入室扉が配置され、左方向に退室門が配置された事業所等が該当する。このような事業所においては、端末装置１０において、認証画面を表示しての顔認証が成功した後に、入退場者が右方向に向かって移動を開始すれば右を向いたことを認識し、左方向に向かって移動を開始すれば左を向いたことを認識することができるので、顔認証後に矢印アイコン２１，２２等を備えた入退記録画面を表示することなく、入退場者の自然な動きをジェスチャによる入力と判断して各種判定や制御コマンドの入力等を実行することも可能である。

【0068】

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0069】

１ 入退管理システム
１０ 端末装置
１１ 撮像部
１２ 表示部
１３ 制御部
１３ａ 認証部
１３ｂ 判定部
１３ｃ 管理部
１３ｄ 入出力Ｉ／Ｆ
１３ｅ 画像処理部
１４ 記憶部
１５ 記録媒体
１７ 顔画像データ
１８ 時刻データ
１９ 入退履歴データ
２０ 管理データベース
３０ 入力装置
４０ 出力装置
５０ 検知部
６０ 外部装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】