IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社フジタの特許一覧

<>
  • 特許-顔認証システムおよび顔認証方法 図1
  • 特許-顔認証システムおよび顔認証方法 図2
  • 特許-顔認証システムおよび顔認証方法 図3
  • 特許-顔認証システムおよび顔認証方法 図4
  • 特許-顔認証システムおよび顔認証方法 図5
  • 特許-顔認証システムおよび顔認証方法 図6
  • 特許-顔認証システムおよび顔認証方法 図7
  • 特許-顔認証システムおよび顔認証方法 図8
  • 特許-顔認証システムおよび顔認証方法 図9
  • 特許-顔認証システムおよび顔認証方法 図10
  • 特許-顔認証システムおよび顔認証方法 図11
  • 特許-顔認証システムおよび顔認証方法 図12
  • 特許-顔認証システムおよび顔認証方法 図13
  • 特許-顔認証システムおよび顔認証方法 図14
  • 特許-顔認証システムおよび顔認証方法 図15
  • 特許-顔認証システムおよび顔認証方法 図16
  • 特許-顔認証システムおよび顔認証方法 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-05
(45)【発行日】2024-09-13
(54)【発明の名称】顔認証システムおよび顔認証方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240906BHJP
【FI】
G06T7/00 510F
【請求項の数】 12
(21)【出願番号】P 2021036432
(22)【出願日】2021-03-08
(65)【公開番号】P2022136702
(43)【公開日】2022-09-21
【審査請求日】2023-11-06
(73)【特許権者】
【識別番号】302060926
【氏名又は名称】株式会社フジタ
(74)【代理人】
【識別番号】110000408
【氏名又は名称】弁理士法人高橋・林アンドパートナーズ
(72)【発明者】
【氏名】青木 真路
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開2021-015627(JP,A)
【文献】特開2005-284973(JP,A)
【文献】木綱啓人 外2名,Deep-CNNを用いた人物判定による入退室管理システム,電子情報通信学会技術研究報告,一般社団法人電子情報通信学会,2016年10月13日,第116巻 第259号,pp.37~42
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/00 - 40/16
G06V 40/18 - 40/19
G06V 40/20
G06V 40/30 - 40/70
CSDB(日本国特許庁)
(57)【特許請求の範囲】
【請求項1】
画像データから複数の顔画像データを抽出する顔画像データ抽出部と、
前記複数の顔画像データの各々を複数の評価項目で評価することにより、前記複数の顔画像データの各々に対して複数の評価値を付与する顔画像データ評価部と、
前記複数の評価値から第1の合計値および第2の合計値を算出し、前記第1の合計値および第2の合計値に基づいて前記複数の顔画像データの各々に優先度を付与する優先度決定部と、
前記優先度に応じて前記顔画像データを登録顔画像データと照合する照合部と、を含む、顔認証システム。
【請求項2】
前記第1の合計値は、前記複数の評価項目のうち、時間経過によって変化しにくい第1の分類に属する評価項目の評価値の合計である、請求項1に記載の顔認証システム。
【請求項3】
前記第1の分類に属する評価項目は、前記顔画像データの中のマスクの検出またはコントラストを評価するものである、請求項2に記載の顔認証システム。
【請求項4】
前記第2の合計値は、前記複数の評価項目のうち、時間経過によって変化しやすい第2の分類に属する評価項目の評価値の合計である、請求項1乃至請求項3のいずれか一項に記載の顔認証システム。
【請求項5】
前記第2の分類に属する評価項目は、前記画像データの中の顔の向きまたは白飛びの検出を評価するものである、請求項4に記載の顔認証システム。
【請求項6】
前記優先度決定部は、前記第1の合計値をソートし、前記第1の合計値のソートを固定したまま前記第2の合計値をソートした前記複数の顔画像データに対して、順に優先度を付与する、請求項1乃至請求項5のいずれか一項に記載の顔認証システム。
【請求項7】
画像データから複数の顔画像データを抽出し、
前記複数の顔画像データの各々を複数の評価項目で評価することにより、前記複数の顔画像データの各々に対して複数の評価値を付与し、
前記複数の評価値から第1の合計値および第2の合計値を算出し、
前記第1の合計値および第2の合計値に基づいて前記複数の顔画像データの各々に優先度を付与し、
前記優先度に応じて前記顔画像データを登録顔画像データと照合する、顔認証方法。
【請求項8】
前記複数の評価項目のうち、時間経過によって変化しにくい第1の分類に属する評価項目の評価値を合計して前記第1の合計値を算出する、請求項7に記載の顔認証方法。
【請求項9】
前記第1の分類に属する評価項目は、前記顔画像データの中のマスクの検出またはコントラストを評価するものである、請求項8に記載の顔認証方法。
【請求項10】
前記複数の評価項目のうち、時間経過によって変化しやすい第2の分類に属する評価項目の評価値を合計して前記第2の合計値を算出する、請求項7乃至請求項9のいずれか一項に記載の顔認証方法。
【請求項11】
前記第2の分類に属する評価項目は、前記画像データの中の顔の向きまたは白飛びの検出を評価するものである、請求項10に記載の顔認証方法。
【請求項12】
前記優先度の付与において、
前記第1の合計値をソートし、前記第1の合計値のソートを固定したまま前記第2の合計値をソートし、
ソートした前記複数の顔画像データに対して、順に優先度を付与する、請求項7乃至請求項11のいずれか一項に記載の顔認証方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一実施形態は、顔認証システムおよび顔認証方法に関する。
【背景技術】
【0002】
従来より、歩行中の人物を撮影し、その人物の顔認証を行う、いわゆるウォークスルー型の顔認証システムを利用して、入場者に対して入場管理を行う方法が知られている(例えば、特許文献1参照。)。ウォークスルー型の顔認証システムは、歩行中の人物(入場者)が入場ゲートに到達するまでに認証処理を完了し、入場者に対して入場許可判定を行うことができる。そのため、ウォークスルー型の顔認証システムは、入場者への負担が少なく、利便性が高いと言える。
【0003】
また、近年、インフルエンザウイルスまたはコロナウイルスなどの感染症の拡大を防止するため、人物の温度測定(体温測定)を行い、入場を管理する機会が増えている。例えば、特許文献2には、入場者の個人認証および温度測定を行う認証装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2015-1790号公報
【文献】特開2012-219539号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ウォークスルー型の顔認証システムでは、入場時または退場時に複数の人物が撮影される。撮影された映像に含まれる複数の人物の顔を検出し、それぞれに対して顔認証を行うこともできるが、顔認証を行う人数が増えることで演算量が増え、演算コストが増大する。また、ウォークスルー型の顔認証システムにおいて、顔認証後に温度測定が行われることが増えている。ウォークスルー型の顔認証システムを歩行している期間に対象人物の顔認証処理が完了しない場合、人物が歩みを止めることとなり、ウォークスルー型の顔認証システムのメリットが活かしきれない。そのため、ウォークスルー型の顔認証システムにおいては、顔認証処理に要する時間が削減されるなど、効率の良い顔認証処理が求められている。
【0006】
また、顔認証において、顔の大きさで前後関係を判定し、優先順位を決定する方法がある。しかしながら、例えば、前に子供、後ろに大人の顔があった場合など、検出された人の顔の大きさが似たような場合においては、優先順位の判定が難しい場合がある。また、同じ作業着またはヘルメットなどを着用する人物の場合、抽出される特徴点が少なくなる。人物がマスクなどを装着していた場合はさらに抽出できる特徴が少ない。
【0007】
本発明の一実施形態は、上記問題に鑑み、優先度に基づき、効率良く顔認証処理を実行することができる顔認証システムを提供することを目的の一つとする。また、本発明の一実施形態は、優先度に基づき、効率良く顔認証処理を実行することができる顔認証処理方法を提供することを目的の一つとする。
【課題を解決するための手段】
【0008】
本発明の一実施形態に係る顔認証システムは、画像データから複数の顔画像データを抽出する顔画像データ抽出部と、複数の顔画像データの各々を複数の評価項目で評価することにより、複数の顔画像データの各々に対して複数の評価値を付与する顔画像データ評価部と、複数の評価値から第1の合計値および第2の合計値を算出し、第1の合計値および第2の合計値に基づいて複数の顔画像データの各々に優先度を付与する優先度決定部と、閾値以下の優先度を有する顔画像データを登録顔画像データと照合する照合部と、を含む。
【0009】
優先度決定部は、第1の合計値を昇順にソートし、第1の合計値のソートを固定したまま第2の合計値を昇順にソートした複数の顔画像データに対して、順に値が大きくなるように優先度を付与してもよい。
【0010】
本発明の一実施形態に係る顔認証方法は、画像データから複数の顔画像データを抽出し、複数の顔画像データの各々を複数の評価項目で評価することにより、複数の顔画像データの各々に対して複数の評価値を付与し、複数の評価値から第1の合計値および第2の合計値を算出し、第1の合計値および第2の合計値に基づいて複数の顔画像データの各々に優先度を付与し、閾値以下の優先度を有する顔画像データを登録顔画像データと照合する。
【0011】
優先度の付与において、第1の合計値を昇順にソートし、第1の合計値のソートを固定したまま第2の合計値を昇順にソートし、ソートした複数の顔画像データに対して、順に値が大きくなるように優先度を付与してもよい。
【0012】
第1の合計値は、複数の評価項目のうち、時間経過によって変化しにくい第1の分類に属する評価項目の評価値の合計であってもよい。第1の分類に属する評価項目は、顔画像データの中のマスクの検出またはコントラストを評価するものであってもよい。
【0013】
第2の合計値は、複数の評価項目のうち、時間経過によって変化しやすい第2の分類に属する評価項目の評価値の合計であってもよい。第2の分類に属する評価項目は、前記画像データの中の顔の向きまたは白飛びの検出を評価するものであってもよい。
【発明の効果】
【0014】
本発明の一実施形態に係る顔認証システムは、画像データから抽出された顔画像データに対し、顔認証精度を考慮した優先度を付与し、顔認証処理の優先順位を決定する。そのため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。
【図面の簡単な説明】
【0015】
図1】本発明の一実施形態に係る顔認証システムの構成を説明する模式図である。
図2】本発明の一実施形態に係る顔認証システムの撮像装置によって生成された画像データを説明する模式図である。
図3】本発明の一実施形態に係る顔認証システムの構成を示すブロック図である。
図4】本発明の一実施形態に係る顔認証システムで実行される顔認証処理のフローチャート図である。
図5】本発明の一実施形態に係る顔認証システムで実行される顔画像データ評価処理のフローチャート図である。
図6】本発明の一実施形態に係る顔認証システムで実行される優先度決定処理のフローチャート図である。
図7】本発明の一実施形態に係る顔認証システムで実行される照合処理のフローチャート図である。
図8】本発明の一実施形態に係る顔認証システムで実行される顔認証処理のフローチャート図である。
図9】本発明の一実施形態に係る入退場管理システムの配置図である。
図10】本発明の一実施形態に係る入退場管理システムの構成を示すブロック図である。
図11】本発明の一実施形態に係る入退場管理システムにおける入場処理のフローチャート図である。
図12】本発明の一実施形態に係る入退場管理システムにおける入場処理のフローチャート図である。
図13】本発明の一実施形態に係る入退場管理システムにおける退場処理のフローチャート図である。
図14】本発明の一実施形態に係るユニットパネルの模式的な斜視図である。
図15】本発明の一実施形態に係るユニットパネルの模式的な平面図である。
図16】本発明の一実施形態に係るユニットハウスの外観を示す模式的な斜視図である。
図17】本発明の一実施形態に係るユニットハウスの内部構成を示す模式的な平面図である。
【発明を実施するための形態】
【0016】
以下、本発明の各実施形態について、図面を参照しつつ説明する。なお、実施形態はあくまで一例にすぎず、当業者が、発明の主旨を保ちつつ適宜変更することによって容易に想到し得るものについても、当然に本発明の範囲に含まれる。また、図面は、説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、または形状などが模式的に表される場合がある。しかし、図示された形状などはあくまで一例であって、本発明の解釈を限定するものではない。
【0017】
本明細書において、説明の便宜上、「上」もしくは「上方」または「下」もしくは「下方」という語句を用いて説明するが、これらの語句は各構成の上下関係を説明しているに過ぎない。例えば、構造物が設置される場合、構造物が通常設置される設置面側を「下」または「下方」とする。
【0018】
本明細書において、各構成に付記される「第1」、「第2」、または「第3」などの文字は、各構成を区別するために用いられる便宜的な標識であり、特段の説明がない限り、それ以上の意味を有さない。
【0019】
本明細書および図面において、同一または類似する複数の構成を総じて表記する際には同一の符号を用い、これらの複数の構成のそれぞれを区別して表記する際には、小文字または大文字のアルファベットを添えて表記する場合がある。また、1つの構成のうちの複数の部分を区別して表記する際には、ハイフンと自然数を用いる場合がある。
【0020】
本明細書において、「映像」とは、静止画像だけでなく、動画像を含む場合がある。
【0021】
本明細書において、「対象者」とは、入場および退場が管理される者であって、例えば、建設現場の作業者またはイベント施設もしくはイベント会場の利用者などである。
【0022】
以下の各実施形態は、技術的な矛盾を生じない限り、互いに組み合わせることができる。
【0023】
<第1実施形態>
図1図7を参照して、本発明の一実施形態に係る顔認証システム10について説明する。
【0024】
[1.顔認証システム10の構成]
図1は、本発明の一実施形態に係る顔認証システム10の構成を説明する模式図である。
【0025】
図1に示すように、顔認証システム10は、情報処理装置11、撮像装置12、表示装置13、および黒体炉14を含む。情報処理装置11は、撮像装置12の近傍に配置されているが、情報処理装置11の配置はこれに限られない。情報処理装置11は、撮像装置12と有線または無線によって通信接続されていればよく、撮像装置12が配置されている場所とは異なる場所に配置することもできる。撮像装置12は、天井面に配置され、通行する人物を撮像することができる。但し、撮像装置12の配置はこれに限られない。撮像装置12は、壁面に配置されていてもよい。なお、以下では、撮像装置12が複数の人物A~Eを撮影しているとして説明する場合がある。人物A~Eは、この順に、撮像装置12から離れている。表示装置13は、撮像装置12の近傍に配置されているが、これに限られない。表示装置13は、人物A~Eの進行方向において、人物A~Eが顔認証結果を確認することができる場所に配置されていればよい。黒体炉14は、撮像装置12から一定の距離を有し、撮像装置12と対向する位置の天井面に配置されている。但し、黒体炉14の配置は、これに限られない。黒体炉14は、壁面または天井面などに配置されていてもよい。なお、黒体炉14は、撮像装置12によって、人物A~Eとともに撮影される。
【0026】
情報処理装置11は、プログラムに基づいて演算処理を実行することができる。情報処理装置11は、例えば、コンピュータである。コンピュータは、例えば、演算手段として中央演算処理装置(Central Proceessing Unit:CPU)および記憶手段として記憶装置を含む。記憶装置は、例えば、ランダムアクセスメモリ(Ramdom Access Memory:RAM)、リードオンリーメモリ(Read Only Memory:ROM)、またはハードディスクドライブ(Hard Disk Drive:HDD)などである。
【0027】
撮像装置12は、人物A~Eおよび黒体炉14を撮影し、可視光領域の画像データを生成することができる。撮像装置12は、例えば、CCD(Charge-Coupled Device)イメージセンサまたはCMOS(Complementary MOS)イメージセンサなどの固体撮像素子を含むカメラである。撮像装置12は、可視光領域の画像データだけでなく、赤外光領域の温度分布データを生成することができる。すなわち、撮像装置12は、可視光領域の画像データの映像に対応する温度分布データを取得することができる。撮像装置12は、1つのカメラで可視光領域の画像データおよび赤外光領域の温度分布データを生成してもよく、2つのカメラを備え、一方のカメラが可視光領域の画像データを生成し、他方のカメラが赤外光領域の温度分布データを生成してもよい。
【0028】
表示装置13は、情報を映像信号に変換し、情報に関する映像を画面に表示することができる。表示装置13は、例えば、液晶表示装置またはOLED(Organic Light-Emitting Diode)表示装置である。また、表示装置13は、入力装置を備えていることが好ましく、例えば、画面上の表示に触れて操作することができるタッチパネルを含んでいてもよい。表示装置13が入力装置を備える場合、表示装置13は、入力装置による入力操作が行われたことを示す操作情報を生成することができる。
【0029】
黒体炉14は、熱放射により設定された温度に応じた赤外波長域のスペクトルの電磁波を発している。すなわち、所定の温度(基準温度)に対応する赤外光を放射することができる。
【0030】
図2は、本発明の一実施形態に係る顔認証システム10の撮像装置12によって生成された画像データを説明する模式図である。
【0031】
図2に示す画像データには、人物A~Eが含まれている。詳細は後述するが、図2に示す点線の矩形は、画像データから抽出される顔画像データ(人物の顔部に対応する画像データ)を示している。すなわち、図2に示す画像データには、人物Bの顔画像データ15b、人物Cの顔画像データ15c、人物Dの顔画像データ15d、および人物Eの顔画像データ15eが含まれている。画像データには人物Aも含まれているが、人物Aの顔部は撮像装置12の画角から外れており、画像データには人物Aの顔部の一部しか含まれていない。この場合、人物Aの顔画像データは抽出されない。顔認証システム10では、抽出された顔画像データに対して優先度を割り当て、優先度に基づいて顔照合処理が行われる。すなわち、顔認証システム10では、顔画像データが抽出されても、優先度次第では抽出された顔画像データに対して顔認証が行われない場合がある。したがって、顔認証システム10では、顔認証処理を行う人物を絞り込み、顔認証処理に要する時間を削減することができる。
【0032】
図3は、本発明の一実施例に係る顔認証システム10の構成を示すブロック図である。
【0033】
図3に示すように、顔認証システム10の情報処理装置11は、顔画像データ抽出部11a、顔画像データ評価部11b、優先度決定部11c、照合部11d、温度情報取得部11e、および記憶部11fを含む。なお、顔画像データ抽出部11a、顔画像データ評価部11b、優先度決定部11c、照合部11d、および温度情報取得部11eは、プログラムに基づいて所定の処理を実行することができる。
【0034】
顔画像データ抽出部11aは、画像データから顔画像データを抽出することができる。顔画像データ抽出部11aは、画像データの中から顔を構成する部位である目、鼻、または口などの特徴点を検出し、これらの特徴点の相対的位置から人物の顔を含む顔画像データを抽出することができる。また、顔画像データ抽出部11aは、画像データに対してエッジ処理を実行し、人物の頭部の輪郭と近似した楕円形のエッジ分布を検出し、エッジ分布を顔画像データとして抽出することもできる。また、顔画像データ抽出部11aは、予め登録された顔形状モデルと照合させて類似度を算出し、所定の類似度以上の領域を顔画像データとして抽出することもできる。
【0035】
また、顔画像データ抽出部11aは、抽出した顔画像データの数をカウントし、顔画像データの数を判定することができる。
【0036】
顔画像データ評価部11bは、複数の評価項目に基づいて顔画像データを評価することができる。各評価項目において、顔画像データは、所定の評価基準に従って評価される。複数の評価項目は、第1の分類に属する評価項目と第2の分類に属する評価項目とに分類できることが好ましい。顔画像データに含まれる特徴点などは、時間経過によって変化する場合がある。特徴点の変化は、顔認証精度にばらつきを生じることを意味する。すなわち、時間経過によって特徴点が変化しやすいと、顔認証精度が低下する。そこで、顔認証システム10では、時間経過によって変化しにくい評価項目(第1の分類に属する評価項目)と、時間経過によって変化しやすい評価項目(第2の分類に属する評価項目)とに分けて顔画像データを評価する。第1の分類に属する評価項目を第2の分類に属する評価項目よりも優先させることで、顔認証精度の高い顔画像データを用いた顔認証処理が可能となる。
【0037】
第1の分類に属する評価項目は、例えば、マスクの検出またはコントラストである。マスクは、撮影中に(撮像装置12の画角内で)、人物が意図的に装着しているマスクを外さない(または人物が意図的にマスクを装着しない)限り、画像データの中で検出される(または検出されない)ものである。そのため、画像データの中のマスクが検出されるか否かは、時間経過の影響を受けにくい評価項目である。また、コントラストは、撮影される場所の影響は受けるものの、撮像装置12が設置され、撮影環境を一定に維持することで変化を小さくすることができる。そのため、コントラストも、時間経過の影響を受けにくい評価項目である。
【0038】
第2の分類に属する評価項目は、例えば、顔の向きまたは白飛びの検出である。顔の向きは、人物が撮像装置12に近づくにつれて変化する。そのため、顔の向きは、時間経過の影響を受けやすい評価項目である。また、白飛びは、主に、逆光の影響により生じるものである。撮影環境が一定に維持されている場合であっても、人物が撮像装置12に近づくにつれて顔への光のあたり具合が変化することがある。そのため、顔画像データの中の白飛びが検出されるか否かは、時間経過の影響を受けやすい評価項目である。
【0039】
顔画像データ評価部11bは、顔画像データを評価項目ごとに段階別に評価して、評価値を付与する。ここでは、上述したマスクの検出、コントラスト、顔の向き、および白飛びの検出の評価項目について説明する。なお、詳細は後述するが、評価値が大きくなると、顔認証処理の優先順位が低下するように優先度が算出される。
【0040】
マスクの検出の評価項目では、表1に示す評価基準に従って評価値が決定される。顔画像データの中にマスクが検出された場合、顔の部位がマスクによって隠されているため、顔認証処理で必要な特徴点が検出されにくく、顔認証精度が低下する。そのため、顔画像データの中にマスクが検出されなかったときは、顔画像データの当該評価項目の評価値を0とする。また、顔画像データの中にマスクが検出されたときは、顔画像データの当該評価項目の評価値を2とする。
【0041】
【表1】
【0042】
コントラストの評価項目では、表2に示す評価基準に従って評価値が決定される。顔画像データのコントラストが低い場合、背景と顔との区別がつきにくく、顔認証精度が低下する。そのため、評価基準としてコントラストの範囲を設定しておき、コントラストが高いとき、コントラストが中程度のとき、およびコントラストが低いときに、顔画像データの当該評価項目の評価値を、それぞれ、0、1、および2とする。
【表2】
【0043】
コントラストは、顔画像データをグレースケールに変換した後、C=(Imax-Imin)/(Imax+Imin)の式で算出される。ここで、Cはコントラスト、Imaxは濃淡レベルの最大値、およびIminは濃淡レベルの最小値である。例えば、コントラストCが第1の閾値未満であるとき、顔画像データ評価部11bは、コントラストが低いと評価することができる。また、コントラストCが第1の閾値以上第2の閾値未満であるとき、顔画像データ評価部11bは、コントラストが中程度と評価することができる。また、コントラストCが第2の閾値以上であるとき、顔画像データ評価部11bは、コントラストが高いと評価することができる。
【0044】
顔の向きの評価項目では、表3に示す評価基準に従って評価値が決定される。詳細は後述するが、顔認証処理においては、顔画像データと事前に登録されている登録顔画像データとの照合処理が行われる。登録顔画像データは、人物が正面を向いている画像であることが多く、顔画像データの人物の顔が正面を向いていない場合、顔認証精度が低下する。そのため、評価基準として顔の向きを数値化し、ロール、ピッチ、およびヨーが全て±10度以内であるとき、ロール、ピッチ、およびヨーの絶対値の少なくとも1つが10度より大きく20度以内であるとき、ならびに上記以外であるとき、顔画像データの当該評価項目の評価値を、それぞれ、0、1、および2とする。
【0045】
【表3】
【0046】
ここで、顔から後頭部に向かう方向をx軸方向、顔の左右方向をy軸方向、および顔の上下方向をz軸方向とすると、ロールはx軸の回転であり、ピッチはy軸の回転であり、およびヨーはz軸の回転を示す。なお、上記では、ロール、ピッチ、およびヨーを用いて顔の向きを数値化したが、これに限られない。
【0047】
白飛びの検出の評価項目では、表4に示す評価基準に従って評価値が決定される。顔画像データの中に白飛びが検出された場合、背景に対して人物の顔が暗くなるため、顔認証精度が低下する。そのため、顔画像データの中に白飛びが検出されなかったときは、顔画像データの当該評価項目の評価値を0とする。また、顔画像データの中に白飛びが検出されたときは、顔画像データの当該評価項目の評価値を1とする。
【0048】
【表4】
【0049】
なお、白飛びの検出として、例えば、白飛び率W/S(W:顔画像データに含まれる白飛びの画素数、S:画像データに含まれる肌を示す画素数)が所定の閾値を超える場合に白飛びが検出されているとすることができる。
【0050】
以上、評価項目として、マスクの検出、コントラスト、顔の向き、および白飛びの検出について説明したが、評価項目はこれらに限られない。
【0051】
優先度決定部11cは、各評価項目の評価値に基づいて、顔画像データの優先度を決定することができる。優先度決定部11cは、第1の分類に属する評価項目の評価値を合計した第1の合計値を算出する。例えば、マスクの検出の評価項目の評価値とコントラストの評価項目の評価値とが合計され、第1の合計値が算出される。また、優先度決定部11cは、第2の分類に属する評価項目の評価値を合計した第2の合計値を算出する。例えば、顔の向きの評価項目の評価値と白飛びの検出の評価項目の評価値とが合計され、第2の合計値が算出される。
【0052】
さらに、優先度決定部11cは、第1の合計値を昇順にソートし、第1の合計値のソートを固定したまま第2の合計値を昇順にソートする。これにより、第1の合計値が同じ値である場合、第2の合計値が考慮されてソートされる。優先度決定部11cは、第1の合計値および第2の合計値に基づいて昇順にソートされた顔画像データに対して、順に1、2、・・・、n(nは自然数)と値が大きくなるように優先度を付与する。顔画像データは、基本的には第1の合計値に対応する第1の分類に属する評価項目によってソートされているため、時間経過の影響を受けにくい顔画像データの順で優先度が付与されている。
【0053】
なお、優先度決定部11cは、顔画像データの大きさ(例えば、顔画像データに含まれる画素数の数)が閾値以上であるとき、その顔画像データの優先度を0とする。なお、0の優先度を有する顔画像データは、評価項目に基づく評価処理は行われない。
【0054】
照合部11dは、優先度の値の小さい方から順に(優先度の0、1、・・・の順に)、顔画像データと記憶部11fの登録顔画像データとを照合し、人物を特定することができる。照合部11dは、顔画像データの中から顔を構成する部位である目、鼻、または口などの大きさ、方向、または相対的位置などの特徴点を検出することができる。また、照合部11dは、顔の輪郭を特徴点として検出することもできる。照合部11dは、検出された特徴点を、記憶部11fに格納された登録情報の登録顔画像データの特徴点と比較し、類似度を算出する。照合部11dは、類似度の最も高い登録情報の登録者が人物であると特定することができる。
【0055】
なお、顔認証システム10が建設現場で利用されるとき、人物がヘルメット(または帽子)およびマスクを着用している場合がある。特に、人物がマスクを着用している場合には、鼻および口がマスクで覆われるため、検出される特徴点が少なくなる。そのため、照合部11dは、マスクが検出された場合には、特徴点として目の優先順位を高くするような重み付けを行い、類似度を算出することもできる。
【0056】
照合部11dは、優先度の値が大きい顔画像データの照合処理を行わない場合がある。照合部11dは、顔画像データの数をカウントし、または取得する。顔画像データの数が1つである(すなわち、顔画像データの数が複数でない)とき、照合部11dは、その1つの顔画像データを用いた照合処理を行う。顔画像データの数が複数であるとき、照合部11dは、所定の閾値以下の優先度を有する顔画像データの照合処理を行う。換言すると、所定の閾値を超えた優先度を有する顔画像データの照合処理は行われない。例えば、優先度が0、1、2、3、および4を有する5つの顔画像データがあり、閾値が2である場合、優先度が0、1、および2を有する3つの顔画像データの照合処理は行われるが、優先度が3および4を有する2つの顔画像データの照合処理は行われない。したがって、顔認証システム10では、照合処理を行う顔画像データの数が減少するため、結果として、顔認証処理に要する時間を削減することができる。
【0057】
なお、所定の閾値よりも0の優先度を有する顔画像データの数が多い場合には、0の優先度を有する顔画像データに対して評価項目に基づく評価処理を行ってもよい。この場合、優先度決定部11cは、0の優先度を有する顔画像データの中で優先度に代わり優先順位を決定する。また、この場合、0の優先度が付与されていない顔画像データは、評価項目に基づく評価処理が行われない。
【0058】
温度情報取得部11eは、温度分布データから顔画像データの位置に対応する温度を温度情報として取得することができる。取得された温度情報は、特定された人物の体温に相当する。
【0059】
記憶部11fは、照合処理において照合される登録者の登録情報を格納することができる。登録情報は、顔画像データと照合するための登録顔画像データを含み、データベースであってもよい。記憶部11fは、例えば、ソリッドステートドライブ(SSD)またはハードディスクドライブ(HDD)などのメモリまたはストレージである。
【0060】
本実施形態に係る顔認証システム10は、上述の構成に限られない。顔認証システム10は、上述した構成以外の構成を含んでいてもよい。例えば、情報処理装置11と撮像装置12とが無線で通信接続を行う場合には、情報処理装置11および撮像装置12の各々に、データまたは情報を送受信するための通信部が含まれていてもよい。
【0061】
[2.顔認証システム10の顔認証処理(ステップS100)]
図4は、本発明の一実施形態に係る顔認証システム10で実行される顔認証処理(ステップS100)のフローチャート図である。具体的には、図4は、1フレーム内における顔認証処理である。
【0062】
顔認証処理(ステップS100)は、ステップS110の実行により開始する。
【0063】
ステップS110では、撮像装置12が、画像データおよび温度分布データを生成する。生成された画像データおよび温度分布データは、撮像装置12から情報処理装置11に送信される。
【0064】
ステップS120では、顔画像データ抽出部11aが、画像データの中から人物の顔画像データを抽出する。また、顔画像データ抽出部11aは、抽出した顔画像データの数をカウントする。
【0065】
ステップS130では、顔画像データ抽出部11aが、顔画像データの数を判定する。顔画像データの数が0である場合(ステップS130:YES)、ステップS100は終了する。顔画像データの数が0以外である場合(ステップS130:NO)、ステップS140が実行される。
【0066】
ステップS140では、顔画像データ抽出部11aが、顔画像データの数を判定する。顔画像データの数が1である場合(ステップS140:YES)、ステップS180が実行される。顔画像データの数が1以外である場合(ステップS140:NO)、ステップS150が実行される。
【0067】
ステップS150では、優先度決定部11cが、顔画像データの大きさが閾値以上であるか否かを判定し、閾値以上の大きさを有する顔画像データに0の優先度を付与する。
【0068】
ステップS160では、顔画像データ評価処理が実行されるが、詳細は後述する。なお、ステップS160の後は、ステップS170が実行される。
【0069】
ステップS170では、優先度決定処理が実行されるが、詳細は後述する。なお、ステップS170の後は、ステップS180が実行される。
【0070】
ステップS180では、顔画像データ照合処理が実行されるが、詳細は後述する。なお、ステップS180の後は、ステップS190が実行される。
【0071】
ステップS190では、温度情報取得部11eが、温度分布データから照合された顔画像データの位置に対応する温度情報を取得する。これにより、特定された人物の体温を検出することができる。
【0072】
ステップS200では、表示装置13が、認証結果として、顔画像データ、照合された登録画像データ、および温度情報を画面に表示する。なお、複数の人物の顔認証処理が行われた場合には、複数の認証結果が表示される。これにより、人物は、認証結果を確認することができる。
【0073】
顔認証処理(ステップS100)は、ステップS200の実行により、終了する。
【0074】
[3.顔画像データ評価処理(ステップS160)]
図5を参照して顔画像データ評価処理(ステップS160)について詳細に説明する。顔画像データ評価処理は、ステップS161の実行により、開始する。
【0075】
ステップS161では、顔画像データ評価部11bが、優先度が付与されていない顔画像データに対して第1の評価項目を評価する。第1の評価項目は、例えば、顔画像データの中のマスクの検出である。
【0076】
ステップS162では、顔画像データ評価部11bが、優先度が付与されていない顔画像データに対して第2の評価項目を評価する。第2の評価項目は、例えば、顔画像データのコントラストである。
【0077】
ステップS163では、顔画像データ評価部11bが、優先度が付与されていない顔画像データに対して第3の評価項目を評価する。第3の評価項目は、例えば、顔画像データの中の顔の向きである。
【0078】
ステップS164では、顔画像データ評価部11bが、優先度が付与されていない顔画像データに対して第4の評価項目を評価する。第4の評価項目は、例えば、顔画像データの中の白飛びの検出である。
【0079】
顔画像データ評価処理(ステップS160)は、ステップS164の実行により、終了する。
【0080】
[4.優先度決定処理(ステップS170)]
図6を参照して優先度決定処理(ステップS170)について詳細に説明する。優先度決定処理は、ステップS171の実行により、開始する。
【0081】
ステップS171では、優先度決定部11cが、第1の分類に属する評価項目の評価値を合計した第1の合計値を算出する。第1の分類に属する評価項目は、例えば、第1の評価項目(マスクの検出)および第2の評価項目(コントラスト)である。
【0082】
ステップS172では、優先度決定部11cが、第2の分類に属する評価項目の評価値を合計した第2の合計値を算出する。第2の分類に属する評価項目は、例えば、第3の評価項目(顔の向き)および第4の評価項目(白飛びの検出)である。
【0083】
ステップS173では、優先度決定部11cが、第1の合計値および第2の合計値に基づいて顔画像データを昇順にソートする。
【0084】
ステップS174では、優先度決定部11cが、昇順にソートされた顔画像データに対して、順に1、2、・・・、n(nは自然数)の優先度を付与する。
【0085】
優先度決定処理(ステップS170)は、ステップS174の実行により、終了する。
【0086】
[5.顔画像データ照合処理(ステップS180)]
図7を参照して顔画像データ照合処理(ステップS180)について詳細に説明する。顔画像データ照合処理は、ステップS181の実行により、開始する。
【0087】
ステップS181では、照合部11dが、顔画像データの数を取得する。なお、照合部11dは、顔画像データの数をカウントして取得してもよく、ステップS120で顔画像データ抽出部11aがカウントした顔画像データの数を取得してもよい。
【0088】
ステップS182では、照合部11dが、顔画像データの数を判定する。顔画像データの数が複数でない場合、すなわち、顔画像データの数が1つである場合(ステップS182:NO)、ステップS183が実行される。顔画像データの数が複数である場合(ステップS182:YES)、ステップS184が実行される。
【0089】
ステップS183では、照合部11dが、1つの顔画像データを登録顔画像データと照合する。
【0090】
ステップS184では、照合部11dが、顔画像データの優先度を判定する。全ての顔画像データの優先度が閾値を超えない場合(ステップS184:NO)、ステップS185が実行される。閾値を超える優先度を有する顔画像データが含まれている場合(ステップS184:YES)、ステップS186が実行される。
【0091】
ステップS185では、照合部11dが、全ての優先度の顔画像データを登録画像データと照合する。
【0092】
ステップS186では、照合部11dが、閾値以下の優先度を有する顔画像データを登録画像データと照合する。
【0093】
顔画像データ照合処理(ステップS180)は、ステップS183、ステップS185、またはステップS186の実行により、終了する。
【0094】
以下では、図2に示した人物B~Eの顔画像データ15b~15eを例として、顔認証処理(ステップS100)について具体的に説明する。
【0095】
顔画像データ15bの大きさは閾値を超え、顔画像データ15c~15eの大きさは閾値を超えていないものとする。この場合、ステップS150において、顔画像データ15bには、優先度として0が付与される。
【0096】
顔画像データ15cおよび15dではマスクが検出され、顔画像データ15eではマスクが検出されないものとする。この場合、ステップS161において、顔画像データ15c~15eには、第1の評価項目(マスクの検出)の評価として、それぞれ、2、2、および0の評価値が付与される。
【0097】
顔画像データ15cのコントラストは第1の閾値から第2の閾値の間であり、顔画像データ15dのコントラストは第1の閾値未満であり、および顔画像データ15eのコントラストは第1の閾値以上であるものとする。この場合、ステップS162において、顔画像データ15c~15eには、第2の評価項目(コントラスト)の評価として、それぞれ、1、2、および0の評価値が付与される。
【0098】
顔画像データ15cおよび15eの顔の向きはロール、ピッチ、およびヨーの絶対値の少なくとも1つが10度より大きく20度以内であり、ならびに顔画像データ15dの顔の向きはロール、ピッチ、およびヨーが全て±10度以内であるものとする。この場合、ステップS163において、顔画像データ15c~15eには、第3の評価項目(顔の向き)の評価として、それぞれ、1、0、および1の評価値が付与される。
【0099】
顔画像データ15cおよび15dでは白飛びが検出され、顔画像データ15eでは白飛びが検出されないものとする。この場合、ステップS164において、顔画像データ15c~15eには、第4の評価項目(白飛びの検出)の評価として、それぞれ、1、1、および0の評価値が付与される。
【0100】
ステップS171において、第1の分類に属する第1の評価項目(マスクの検出)および第2の評価項目(コントラスト)の評価値を合計し、第1の合計値を算出する。上記の場合、顔画像データ15c~15eの第1の合計値は、それぞれ、3、4、および0である。また、ステップS171において、第2の分類に属する第3の評価項目(顔の向き)および第4の評価項目(白飛びの検出)の評価値を合計し、第2の合計値を算出する。上記の場合、顔画像データ15c~15eの第2の合計値は、それぞれ、2、1、および1である。
【0101】
ステップS173において、第1の合計値を昇順にソートし、第1の合計値のソートが固定されたまま第2の合計値を昇順にソートし、顔画像データ15c~15eに対して順に優先度を付与する。上記の場合、顔画像データ15c~15eの優先度は、それぞれ、2、3、および1である。
【0102】
以上をまとめると、表5のとおりとなる。
【0103】
【表5】
【0104】
ここで、優先度の閾値として、2が設定されているものとする。この場合、ステップS186において、優先度が2以下である顔画像データ15b、15e、および15cが、登録画像データと照合される。すなわち、閾値を超える3の優先度を有する顔画像データ15dに対しては、照合処理が行われない。
【0105】
以上、説明したように、顔認証システム10は、画像データから抽出された顔画像データに対し、顔認証精度を考慮した評価項目、例えば、マスクの検出、コントラスト、顔の向き、または白飛びの検出などを評価し、評価値を付与する。また、評価項目は、時間経過によって変化しにくい第1の分類に属する評価項目と、時間経過によって変化しやすい第2の分類に属する評価項目とに分類され、それぞれにおいて評価値が合計された第1の合計値および第2の合計値が算出される。また、顔認証システム10では、第1の合計値および第2の合計値に基づいて顔画像データのソートが行われ、顔認証精度が高い順に優先度が付与され、顔画像データの顔認証処理の優先順位が決定される。さらに、優先度の閾値が設定されている場合、閾値以下の優先度を有する顔画像データのみが登録顔画像データとの照合処理が行われる。したがって、顔認証システム10では、顔認証精度の高い顔画像データの顔認証処理が優先的に行われるため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。
【0106】
<第2実施形態>
図8を参照して、本発明の一実施形態に係る顔認証システム10Aについて説明する。顔認証システム10Aは、図3に示す顔認証システム10の情報処理装置11の構成として、さらに、追跡部を含む。
【0107】
追跡部は、各フレームにおいて、追跡データに基づいて顔画像データの追跡を行うことができる。追跡データは、顔画像データの特徴点および顔認証結果を含む。そのため、追跡部は、各フレームにおいて、顔認証結果で得られた人物の顔を顔画像データの特徴点を基に追跡することができる。
【0108】
図8は、本発明の一実施形態に係る顔認証システム10Aで実行される顔認証処理のフローチャートである。なお、以下では、図4に示した顔認証システム10で実行される顔認証処理のフローチャートと同様のステップについては、その説明を省略する。
【0109】
ステップS145Aでは、追跡部が、追跡データに基づいて、画像データ内における同一人物の顔画像データの移動軌跡を管理した追跡処理を行う。
【0110】
ステップS180Aでは、照合部11dが、顔画像データを登録画像データと照合するが、直前の所定の数のフレーム(例えば、直前の4つのフレーム)において追跡部が同一人物として追跡した顔画像データについては、過去の顔認証結果を参照するものとし、顔認証処理は行わない。なお、直前の所定の数のフレームの全てにおいて、同一人物の追跡データが存在していなくてもよい。閾値(例えば、2)を設定し、直前の所定の数のフレーム内に閾値以上の同一人物の追跡データが含まれている場合に、過去の顔認証結果を参照するようにしてもよい。
【0111】
ステップS185Aでは、追跡部が、顔画像データの特徴点と顔認証結果を対応付けた追跡データを生成する。これにより、追跡部は、顔画像データの特徴点から同一人物であると判定することができる。なお、追跡データは、記憶部11fに格納されてもよい。
【0112】
以上、顔認証システム10Aでは、画像データの中の顔画像データを追跡することで過去の顔認証結果を参照することができるため、顔認証処理を行わないことができる。そのため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。
【0113】
<第3実施形態>
図9図13を参照して、本発明の一実施形態に係る入退場管理システム20について説明する。以下では、一例として、入退場管理システム20が建設現場に設置されているものとし、入退場管理システム20を利用した建設現場の作業者(対象者)の入退場管理について説明する。
【0114】
[1.入退場管理システム20の構成]
図9は、本発明の一実施形態に係る入退場管理システム20の配置図である。入退場管理システム20は、第1のゲート100と第1のゲート100に対向する第2のゲート110とを接続する通路120内に設置されて利用される。建設現場は第2のゲート110の先にあり、対象者は、第2のゲート110を通り抜け、建設現場に入場することができる。すなわち、入退場管理システム20は、建設現場の出入口に設置することができる。図9(A)および図9(B)は、入退場管理システム20の配置は同一であるが、それぞれ、対象者の入場時および退場時を示している。対象者が建設現場に入場するとき、対象者は、第1のゲート100から進入し、入退場管理システム20を利用した入場処理が行われ、第2のゲート110から退出する。対象者が建設現場から退場するとき、対象者は、第2のゲート110から進入し、入退場管理システム20を利用した退場処理が行われ、第1のゲート100から退出する。したがって、対象者は、建設現場への入場だけでなく退場においても、入退場管理システム20を用いて入退場管理(入場処理および退場処理)が行われる。
【0115】
なお、図9では、第1のゲート100および第2のゲート110が示されているが、第1のゲート100および第2のゲート110は明確に設置されていなくてもよい。例えば、通路120の途中に入退場管理システム20が設置され、入退場管理システム20が設けられた通路120の一方の端が第1のゲート100となり、他方の端が第2のゲート110となる場合がある。この場合であっても、対象者が通路120を通る際に入退場管理システム20を利用するため、対象者の入退場管理を行うことができる。
【0116】
図9(A)および図9(B)に示すように、入退場管理システム20は、第1の情報処理装置200、第1の撮像装置210、第1の表示装置220、警告装置230、黒体炉240、第2の情報処理装置300、第2の撮像装置310、第2の表示装置320、および第3の情報処理装置400を含む。第1の情報処理装置200、第1の撮像装置210、第1の表示装置220、警告装置230、および黒体炉240は、対象者の入場処理において利用される。第2の情報処理装置300、第2の撮像装置310、および第2の表示装置320は、対象者の退場処理において利用される。第3の情報処理装置400は、対象者の入退場管理処理において利用される。
【0117】
詳細は図示しないが、第1の撮像装置210、第1の表示装置220、および警告装置230は、第1の情報処理装置200と接続されている。また、第2の撮像装置310および第2の表示装置320は、第2の情報処理装置300と接続されている。さらに、第1の情報処理装置200および第2の情報処理装置300は、第3の情報処理装置400と接続されている。なお、これらの接続は、有線による接続であってもよく、無線による接続であってもよい。
【0118】
第1の撮像装置210、第1の表示装置220、および警告装置230は、第2のゲート110の近傍に配置されている。第1の撮像装置210は、例えば、通路120の天井面または壁面に配置されている。第1の撮像装置210は、第1のゲート100から進入し、通路120を通過する対象者を撮影することができる。第1の撮像装置210は、歩行している対象者および黒体炉240を撮影することができ、対象者は、必ずしも第1の撮像装置210の前で停止する必要はない。黒体炉240は、第1の撮像装置210の画角内であって、第1の撮像装置210から適切な距離に設置されている。第1の情報処理装置200は、撮影した対象者を照合し、または対象者の体温を取得することができる。第1の情報処理装置200は、通路120内に設置されていてもよく、通路120外に配置されていてもよい。第1の表示装置220は、対象者の認証結果を表示することができる。対象者は、第1の表示装置220の画面に表示された認証結果を確認し、第2のゲート110から退出することができる。警告装置230は、対象者の体温が閾値を超える場合に作動し、体温の異常が認められることを対象者に通知する。
【0119】
同様に、第2の撮像装置310および第2の表示装置320は、第1のゲート100の近傍に配置されている。通路120の天井面または壁面に配置された第2の撮像装置310は、第2のゲート110から進入し、通路120を通過する対象者を撮影することができる。通路120内または通路120外に配置された第2の情報処理装置300は、撮影した対象者を照合することができる。対象者は、第2の表示装置320の画面に表示された照合結果を確認し、第1のゲート100から退出することができる。
【0120】
入退場管理システム20では、対象者が建設現場に入場するときには対象者の体温を検出するが、対象者が建設現場から退場するときには対象者の体温を検出していない。但し、入退場管理システム20は、対象者が退場するときに対象者の体温を検出してもよい。その場合、入退場管理システム20は、対象者の入場時と退場時の体温を比較し、所定の温度差であったときに、警告装置を作動させて体温の異常が認められることを対象者に通知することができる。
【0121】
なお、上述した装置の配置は一例であって、本実施形態に係る入退場管理システム20の装置の配置はこれに限られない。
【0122】
以下では、入退場管理システム20の各装置の構成について説明する。なお、以下では、入退場管理システム20の構成が顔認証システム10と同様の構成である場合、その構成の説明を省略する場合がある。
【0123】
第1の情報処理装置200、第2の情報処理装置300、および第3の情報処理装置400の各々は、プログラムに基づいて演算処理を実行することができる。第1の情報処理装置200、第2の情報処理装置300、および第3の情報処理装置400は、1つのコンピュータであってもよく、それぞれが処理可能な複数のコンピュータであってもよい。
【0124】
第1の撮像装置210は、顔認証システム10の撮像装置12と同様の構成である。第1の表示装置220および第2の表示装置320の各々は、顔認証システム10の表示装置13と同様の構成である。黒体炉240は、顔認証システム10の黒体炉14と同様の構成である。そのため、ここではこれらの説明を省略する。なお、第2の撮像装置310は、少なくとも可視光領域の映像を撮像することができればよく、第1の撮像装置210と同様のカメラであってもよい。
【0125】
警告装置230は、異常が発生したことを対象者に知らせることができる装置であり、例えば、警告灯または警告音を発するスピーカーなどである。また、警告装置230は、電光掲示板であってもよい。警告装置230は、第1の情報処理装置200からの制御信号を受信し、作動することができる。なお、警報装置は、退場側に設けられてもよい。
【0126】
以下では、図10を参照して、入退場管理システム20の各装置の構成について、さらに詳細に説明する。
【0127】
図10は、本発明の一実施形態に係る入退場管理システム20の構成を示すブロック図である。
【0128】
図10に示すように、入退場管理システム20の第1の情報処理装置200は、第1の顔画像データ抽出部1010、第1の顔画像データ評価部1020、第1の優先度決定部1030、第1の照合部1040、温度情報取得部1050、入場者情報処理部1060、および第1の記憶部1070を含む。また、第2の情報処理装置300は、第2の顔画像データ抽出部1110、第2の顔画像データ評価部1120、第2の優先度決定部1130、第2の照合部1140、退場者情報処理部1160、および第2の記憶部1170を含む。また、第3の情報処理装置400は、入退場管理情報処理部1210および入退場管理情報記憶部1220を含む。
【0129】
なお、各装置の構成は、図10に示すものに限られない。例えば、第1の撮像装置210が、第1の顔画像データ抽出部1010などを含んでいてもよい。
【0130】
第1の顔画像データ抽出部1010および第2の顔画像データ抽出部1110は、顔認証システム10の顔画像データ抽出部11aと同様の構成である。第1の顔画像データ評価部1020および第2の顔画像データ評価部1120は、顔認証システム10の顔画像データ評価部11bと同様の構成である。第1の優先度決定部1030および第2の優先度決定部1130は、顔認証システム10の優先度決定部11cと同様の構成である。第1の照合部1040および第2の照合部1140は、顔認証システム10の照合部11dと同様の構成である。第1の記憶部1070および第2の記憶部1170は、顔認証システム10の記憶部11fと同様の構成である。そのため、ここではこれらの説明を省略する。
【0131】
温度情報取得部1050は、顔認証システム10の温度情報取得部11eと同様の構成である。さらに、温度情報取得部1050は、温度情報に基づいて、対象者の体温の正常または異常を判定することができる。例えば、温度情報取得部1050は、温度情報の温度が閾値以上である場合、対象者の体温が異常であると判定することができる。
【0132】
入場者情報処理部1060は、特定された対象者の体温が異常と判定された場合に制御信号を生成することができる。生成された制御信号は、警告装置230に送信される。また、入場者情報処理部1060は、特定された登録者の登録者情報、顔画像データ、温度情報、および入場日時情報が紐付けられた入場者情報を生成することができる。
【0133】
また、入場者情報処理部1060は、第1の表示装置220からの操作情報を受信したか否かを判定することができる。操作情報が受信されなかった場合、入場者情報が第3の情報処理装置400に送信される。
【0134】
退場者情報処理部1160は、特定された登録者の登録者情報、顔画像データ、および退場日時情報が紐付けられた退場者情報を生成することができる。また、退場者情報処理部1160は、第2の表示装置320からの操作情報を受信したか否かを判定することができる。操作情報が受信されなかった場合、退場者情報が第3の情報処理装置400に送信される。
【0135】
入退場管理情報処理部1210は、入場者情報および退場者情報を受信し、これらが紐付けられた入退場管理情報を生成または更新することができる。入退場管理情報はデータベースであってもよい。例えば、入退場管理情報処理部1210は、入場者情報および退場者情報に含まれる情報を項目とたデータベースを生成または更新することができる。入退場管理情報は、例えば、入場日時、退場日時、入場時の顔画像データ、退場時の顔画像データ、温度情報、所属、または氏名などの情報を含む。
【0136】
入退場管理情報記憶部1220は、入退場管理情報処理部1210によって生成または更新された入退場管理情報を格納することができる。
【0137】
本実施形態に係る入退場管理システム20の構成は、上述の構成に限られない。入退場管理システム20は、上述した構成以外の構成を含んでいてもよい。例えば、第1の情報処理装置200、第2の情報処理装置300、および第3の情報処理装置400の各々が無線で通信接続を行う場合には、第1の情報処理装置200、第2の情報処理装置300、および第3の情報処理装置400の各々に、データまたは情報を送受信するための通信部が含まれていてもよい。
【0138】
また、入退場管理システム20の利用は、建設現場における入退場管理に限られない。例えば、イベント施設またはイベント会場の出入口に入退場管理システム20を設置し、利用者の入退場管理を行うこともできる。イベント施設への入退場管理システム20の設置の一例としては、利用者の顔画像データを登録させてチケットを販売する場合が挙げられる。この場合、利用者はウォークスルーでイベント施設へ入退場できるとともに、後に、利用者の中にインフルエンザウイルスまたはコロナウイルスの感染者がいたことが判明した場合であっても、入退場管理システム20を用いて利用者がイベント施設への入場の抑制することができる。もし、利用者が入退場していた場合であっても、入退場管理システム20を用いて後から入場者の状況を確認することができる。
【0139】
[2.入退場管理システム20の入場処理(ステップS1000)]
図11および図12は、本発明の一実施形態に係る入退場管理システム20の入場処理(ステップS1000)を示すフローチャート図である。具体的には、図11は、第1の情報処理装置200および第3の情報処理装置400で実行される処理を示し、図12(A)は、警告装置230において処理される例を示し、図12(B)は、第1の表示装置220において処理される例を示している。
【0140】
入場処理(ステップS1000)のステップS1010~ステップS1090の処理は、それぞれ、顔認証システム10の顔認証処理(ステップS100)のステップS110~ステップS190の処理と同様であるため、ここでは説明を省略する。
【0141】
ステップS1095では、入場者情報処理部1060が、入場者情報を生成する。生成された入場者情報は、第1の表示装置220に送信される。ステップS1095の後は、表示処理(ステップS1100)が実行される。
【0142】
表示処理(ステップS1100)の詳細は後述するが、ステップS1100では操作情報が生成される場合がある。なお、ステップS1100の後は、ステップS1110が実行される。
【0143】
ステップS1110では、入場者情報処理部1060が、操作情報を受信したかを判定する。操作情報を受信したと判定するには、例えば、第1の情報処理装置200が、一定の時間内に操作情報を受信することを条件とすることができる。第1の情報処理装置200が操作情報を受信した場合(ステップS1110:YES)、ステップS1010が実行される。第1の情報処理装置200が操作情報を受信しなかった場合(ステップS1110:NO)、入場者情報が第3の情報処理装置400に送信され、ステップS1120が実行される。
【0144】
ステップS1120では、温度情報取得部1050が、温度情報に基づいて、対象者の体温の正常または異常を判定する。体温が正常である場合(ステップS1120:YES)、ステップS1150が実行される。体温が異常である場合(ステップS1120:NO)、ステップS1130が実行される。
【0145】
ステップS1130では、入場者情報処理部1060が、制御信号を生成する。生成された制御信号は、警告装置230に送信される。ステップS1130の後は、警告処理(ステップS1140)が実行される。
【0146】
警告処理(ステップS1140)の詳細は後述するが、ステップS1140の後は、ステップS1150が実行される。
【0147】
ステップS1150では、入退場管理情報処理部1210が、入場者情報をデータベース化した入退場管理情報を生成し、または更新する。入退場管理情報は、入退場管理情報記憶部1220に格納される。
【0148】
生成または更新された入退場管理情報が入退場管理情報記憶部1220に格納されると、入場処理(ステップS1000)は終了する。
【0149】
ここで、図12(A)を参照して、警告処理(ステップS1140)について説明する。
【0150】
ステップS1141では、警告装置230が、制御信号を受信する。
【0151】
ステップS1142では、警告装置230が、制御信号に基づいて作動する。対象者は、警告装置230の作動により、自分自身の体温が高いことを認識することができる。警告装置230が作動すると、警告処理(ステップS1140)は終了する。
【0152】
また、図12(B)を参照して、表示処理(ステップS1100)について説明する。
【0153】
ステップS1101では、第1の表示装置220が、入場者情報を受信する。
【0154】
ステップS1102では、第1の表示装置220が、入場者情報を映像信号に変換し、第1の表示装置220の画面に入場者情報に関する映像を表示する。このとき、第1の表示装置220の画面には、対象者の顔認証結果が表示されている。そのため、対象者は、第1の表示装置220の画面を見て、顔認証結果が正しいか否かを確認することができる。
【0155】
ステップS1103では、第1の表示装置220が、画面に表示されている顔認証結果が正しいか否かを判定する。具体的には、第1の表示装置220は、対象者によって正しいか否かを判定し、誤検出の場合は対象者に誤検出であると操作ボタン等で入力してもらうことができる。もしくは、顔認証結果に対して閾値を設け顔認証結果を判定されてもよい。誤検出に対する入力操作が行われた場合(ステップS1103:YES)、ステップS1134が実行される。誤検出に対する入力操作が行われなかった場合(ステップS1103:NO)、表示処理(ステップS1100)は終了する。
【0156】
ステップS1104では、第1の表示装置220が、誤検出の入力操作が行われたことを示す操作情報を生成する。生成された操作情報は、第1の情報処理装置200に送信され、教師データとして再学習時に利用される。操作情報が生成されると、表示処理(ステップS1100)は終了する。
【0157】
なお、上記では、照合処理が行われた後で、表示処理(ステップS1100)および警告処理(ステップS1140)が順に行われる例を示したが、表示処理(ステップS1100)と警告処理(ステップS1140)との順序は逆であってもよい。
【0158】
[3.入退場管理システム20の退場処理(ステップS2000)]
図13は、本発明の一実施形態に係る入退場管理システム20の退場処理(ステップS2000)を示すフローチャート図である。具体的には、図13は、第2の情報処理装置300および第3の情報処理装置400で実行される処理を示している。
【0159】
退場処理(ステップS2000)は、対象者の体温に関する処理(例えば、温度分布データの取得処理、温度情報の取得処理、または警告処理など)が行われないが、入場処理(ステップS1000)とほぼ同様の処理が行われる。退場処理(ステップS2000)のステップS2010~ステップS2110の処理は、それぞれ、入場処理(ステップS1000)のステップS1010~ステップS1110の処理と同様であるため、ここでは説明を省略する。ステップS2110の後は、ステップS2150が実行される。
【0160】
ステップS2150では、入退場管理情報処理部1210が、退場者情報を入場者情報と紐付けた入退場管理情報を生成し、または更新する。入退場管理情報は、入退場管理情報記憶部1220に格納される。
【0161】
生成または更新された入退場管理情報が入退場管理情報記憶部1220に格納されると、退場処理(ステップS2000)は終了する。
【0162】
以上、説明したように、入退場管理システム20は、対象者の入場だけでなく、退場も管理することができる。そのため、入退場管理情報を利用することにより、対象者の滞在時間などを容易に把握することができる。また、入退場管理システム20では、撮像された画像内に複数の顔領域を検出した場合でも顔認証精度の高い顔画像データの顔認証処理が優先的に行われるため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。そのため、入退場管理システム20では、対象者が歩みを止めることなく、入場または退場することができる。
【0163】
<第4実施形態>
図14および図15を参照して、本発明の一実施形態に係る入退場管理システムを含むユニットパネル30について説明する。ユニットパネル30に含まれる入退場管理システムが、入退場管理システム20と同様の構成を含む場合、その構成の説明を省略する場合がある。
【0164】
図14および図15は、それぞれ、本発明の一実施形態に係るユニットパネル30の模式的な斜視図および模式的な平面図である。ユニットパネル30は、パネル材500Aを含み、パネル材500Aには、入退場管理システムの構成の全部または一部が設けられている。パネル材500Aに設けられる入退場管理システムは、例えば、第1の情報処理装置200A、第1の撮像装置210A、第1の表示装置220A、警告装置230A、第2の情報処理装置300A、第2の撮像装置310A、または第2の表示装置320Aなどである。したがって、建設現場の出入口にユニットパネル30を設置すれば、ユニットパネル30に備えられた入退場管理システムを利用し、建設現場の作業者の入退場管理を行うことができる。なお、黒体炉240Aは、第1の撮像装置210Aの画角内に入る位置に配置されている。
【0165】
パネル材500Aの材質は、特に限定されない。パネル材500Aとして、例えば、木材または樹脂材などを用いることができる。パネル材500Aの代わりに金属のフレームなどを用いることができる。また、パネル材500Aには、対象者が通り抜けるための開口部510Aが設けられている。
【0166】
パネル材500Aの第1の面501Aの一方の側に、第1の撮像装置210A、第1の表示装置220A、および警告装置230Aが設けられている。また、これらの装置が設けられたパネル材500Aの裏面である第2の面502Aの一方の側に、第1の情報処理装置200Aが設けられている。第1の撮像装置210A、第1の表示装置220A、および警告装置230Aは、第1の情報処理装置200Aと接続されている。なお、第1の情報処理装置200Aが無線で接続される場合、第1の情報処理装置200Aは、パネル材500Aの近傍に配置されていなくてもよい。
【0167】
パネル材500Aの第2の面502Aの他方の側に、第2の撮像装置310Aおよび第2の表示装置320Aが設けられている。また、これらの装置が設けられたパネル材500Aの裏面である第1の面501Aの他方の側に、第2の情報処理装置300Aが設けられている。第2の撮像装置310Aおよび第2の表示装置320Aは、第2の情報処理装置300Aと接続されている。なお、第2の情報処理装置300Aが無線で接続される場合、第2の情報処理装置300Aは、パネル材500Aの近傍に配置されていなくてもよい。
【0168】
図15(A)および図15(B)では、第3の情報処理装置400Aがパネル材500Aから離れて設置されているが、第3の情報処理装置400Aも、パネル材500Aに設けられていてもよい。第3の情報処理装置400Aは、第1の情報処理装置200Aおよび第2の情報処理装置300Aと接続されている。なお、第3の情報処理装置400Aが無線で接続される場合、第3の情報処理装置400Aは、パネル材500Aの近傍に配置されていなくてもよい。
【0169】
開口部510Aは、第1のゲートまたは第2のゲートに対応する。ユニットパネル30は、パネル材500Aの第2の面502Aが建設現場の出入口に接続されるように設置される。図11(A)に示すように、入場時には、対象者は、パネル材500Aの第1の面501A側において入退場管理システムを利用した入場処理が行われ、開口部510Aを通過して第2の面502A側へ向かう。図11(B)に示すように、退場時には、対象者は、パネル材500Aの第2の面502A側において入退場管理システムを利用した退場処理が行われ、開口部510Aを通過して第1の面501A側へ向かう。
【0170】
以上、説明したように、ユニットパネル30は、あらゆる場所に簡便に設置し、または撤去することが可能である。そのため、建設現場での工程期間中、またはイベント施設もしくはイベント会場の開催期間中などにおいて、ユニットパネル30を一時的に設置し、入退場管理システムを利用して、対象者の入退場管理を行うことができる。また、ユニットパネル30の入退場管理システムでは、顔認証精度の高い顔画像データの顔認証処理が優先的に行われるため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。そのため、ユニットパネル30の入退場管理システムでは、対象者が歩みを止めることなく、入場または退場することができる。
【0171】
<第5実施形態>
図16および図17を参照して、本発明の一実施形態に係る入退場管理システムを含むユニットハウス40について説明する。ユニットハウス40に含まれる入退場管理システムが、入退場管理システム20と同様の構成を含む場合、その構成の説明を省略する場合がある。
【0172】
図16および図17は、それぞれ、本発明の一実施形態に係るユニットハウス40の外観を示す模式的な斜視図および内部構成を示す模式的な平面図である。ユニットハウス40は、4つの側壁面、4つの側壁面で囲まれた空間の上方を覆う天井面、および4つの側壁面で囲まれた空間の下方を覆う床面からなる箱状体600Bを含み、箱状体600B内には、入退場管理システムの構成全部または一部が設けられている。箱状体600B内に設けられる入退場管理システムは、例えば、第1の情報処理装置200B、第1の撮像装置210B、第1の表示装置220B、警告装置230B、黒体炉240B、第2の情報処理装置300B、第2の撮像装置310B、第2の表示装置320B、または第3の情報処理装置400Bなどである。したがって、建設現場の出入口にユニットハウス40を設置すれば、ユニットハウス40に備えられた入退場管理システムを利用し、建設現場の作業者の入退場管理を行うことができる。
【0173】
箱状体600Bの側壁面、天井面、および床面の各々は、1つの部材で構成されていてもよく、複数の部材で構成されていてもよい。また、箱状体600Bは、柱材または梁材を用いて枠体を構成し、枠体にパネル材が固定されて構成されていてもよい。箱状体600Bは、いわゆるコンテナ、プレハブハウス、またはトランクルームであってもよく、住宅、事務所、倉庫、または店舗などに用いられる簡易的な建築物であってもよい。
【0174】
なお、ユニットハウス40は、そのまま移動して建設現場に設置することができてもよく、またはいくつかの構成部材に分割され、建設現場で組み立てることによって設置することができてもよい。
【0175】
箱状体600Bの4つの側壁面のうち、対向する2つの側壁面には第1の扉610Bおよび第2の扉620Bが設けられている。第1の扉610Bおよび第2の扉620Bは、それぞれ、第1のゲートおよび第2のゲートに対応し、ユニットハウス40は、第2の扉620Bが建設現場の出入口に接続するように設置される。対象者が建設現場に入場するとき、対象者は、第1の扉610Bから進入し、入退場管理システムを利用した入場処理が行われ、第2の扉620Bから退出する。対象者が建設現場から退場するとき、対象者は、第2の扉620Bから進入し、入退場管理システムを利用した退場処理が行われ、第1の扉610Bから退出する。
【0176】
箱状体600Bの側壁面、第1の扉610B、または第2の扉620Bに窓が設けられている場合、窓を通じてユニットハウス40内に入射する光を遮光するために、窓にカーテン、ブラインド、またはスモークフィルムなどの遮光部材が設けられていることが好ましい。窓からの光を遮光することによって、箱状体600B内の照度を一定に保つことができる。そのため、常に同じ照度条件で対象者を撮影することができ、対象者の照合処理の精度が向上する。
【0177】
箱状体600Bの側壁面には、室内機651B、室外機652B、および配管653Bを含む空調機650Bが設けられている。ユニットハウス40は、空調機650Bが設けられていることにより、箱状体600B内の温度を一定に保つことができる。そのため、常に同じ温度条件で対象者を撮影することができ、対象者の体温測定の精度が向上する。また、箱状体600B内の空気を循環させるため、側壁面に換気口または換気扇などが設けられていてもよい。なお、室内機651B、換気口、および換気扇は、側壁面だけでなく、天井面に設置してもよい。
【0178】
また、ユニットハウス40は、充電可能なバッテリー部660Bを備えていることが好ましい。ユニットハウス40がバッテリー部660Bを備えることで、建設現場において外部からの電源の供給が困難である場合であっても、バッテリー部660Bからユニットハウス40の各装置に電源を供給することができる。なお、ユニットハウス40は、発電装置(例えば、天井面または壁面に設けられた太陽光発電装置、風力発電装置、または床下などに設けられた自己発電装置など)を備えていてもよい。
【0179】
さらに、ユニットハウス40は、第1の扉610Bまたは第2の扉620Bの開閉を検出するセンサを備えていてもよい。ユニットハウス40がセンサを備えることで、第1の扉610Bまたは第2の扉620Bが開けられたときに、例えば、ユニットハウス40の入退場管理システムの電源をオンにすることができる。
【0180】
以上、説明したように、ユニットハウス40は、箱状体600Bを移動させ、いくつかの構成を取り付けることによって設置することができるため、あらゆる場所に簡便に設置し、または撤去することが可能である。そのため、建設現場での工程期間中、またはイベント施設もしくはイベント会場の開催期間中などにおいて、ユニットハウス40を一時的に設置し、入退場管理システムを利用して、対象者の入退場管理を行うことができる。また、ユニットハウス40の入退場管理システムでは、顔認証精度の高い顔画像データの顔認証処理が優先的に行われるため、顔認証処理に要する時間が削減され、効率良く顔認証処理を実行することができる。そのため、ユニットハウス40の入退場管理システムでは、対象者が歩みを止めることなく、入場または退場することができる。
【0181】
本発明の実施形態として上述した各実施形態は、相互に矛盾しない限りにおいて、適宜組み合わせて実施することができる。また、各実施形態を基にして、当業者が適宜構成要素の追加、削除、もしくは設計変更を行ったもの、または、工程の追加、省略、もしくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
【0182】
上述した各実施形態によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【0183】
10:顔認証システム、 11:情報処理装置、 11a:顔画像データ抽出部、 11b:顔画像データ評価部、 11c:優先度決定部、 11d:照合部、 11e:温度情報取得部、 11f:記憶部、 12:撮像装置、 13:表示装置、 14:黒体炉、 15b、15c、15d、15e:顔画像データ、 20:入退場管理システム、 30:ユニットパネル、 40:ユニットハウス、 100:第1のゲート、 110:第2のゲート、 120:通路、 200、200A、200B:第1の情報処理装置、 210、210A、210B:第1の撮像装置、 220、220A、220B:第1の表示装置、 230、230A、230B:警告装置、 240、240A、240B:黒体炉、 300、300A、300B:第2の情報処理装置、 310、310A、310B:第2の撮像装置、 320、320A、320B:第2の表示装置、 400、400A、400B:第3の情報処理装置、 500A:パネル材、 501A:第1の面、 502A:第2の面、 510A:開口部、 600B:箱状体、 610B:第1の扉、 620B:第2の扉、 650B:空調機、 651B:室内機、 652B:室外機、 653B:配管、 660B:バッテリー部、 1010:第1の顔画像データ抽出部、 1020:第1の顔画像データ評価部、 1030:第1の優先度決定部、 1040:第1の照合部、 1050:温度情報取得部、 1060:入場者情報処理部、 1070:第1の記憶部、 1110:第2の顔画像データ抽出部、 1120:第2の顔画像データ評価部、 1130:第2の優先度決定部、 1140:第2の照合部、 1160:退場者情報処理部、 1170:第2の記憶部、 1210:入退場管理情報処理部、 1220:入退場管理情報記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17