IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7533599生体判定システム、生体判定方法、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】生体判定システム、生体判定方法、及びコンピュータプログラム
(51)【国際特許分類】
   G06F 21/32 20130101AFI20240806BHJP
【FI】
G06F21/32
【請求項の数】 10
(21)【出願番号】P 2022553297
(86)(22)【出願日】2020-09-30
(86)【国際出願番号】 JP2020037128
(87)【国際公開番号】W WO2022070301
(87)【国際公開日】2022-04-07
【審査請求日】2023-02-16
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】加瀬 貴之
【審査官】金沢 史明
(56)【参考文献】
【文献】米国特許出願公開第2019/0114495(US,A1)
【文献】特開2011-067371(JP,A)
【文献】特開2019-126657(JP,A)
【文献】国際公開第2020/085303(WO,A1)
【文献】国際公開第2017/209089(WO,A1)
【文献】特開2004-314887(JP,A)
【文献】特開2020-62198(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/32
(57)【特許請求の範囲】
【請求項1】
顔を含む画像から前記顔の位置を検出する顔検出手段と、
前記顔における複数箇所の温度を取得する温度取得手段と、
前記複数箇所の温度が所定閾値を超えたか否かに応じて、前記複数箇所の各々で重みづけを行って所定スコアを算出し、前記所定スコアに基づいて、前記顔が生体のものであるか否かを判定する生体判定手段と
を備えることを特徴とする生体判定システム。
【請求項2】
前記所定スコアは、前記複数箇所の温度のうち前記所定閾値を超えたものが多くなるほど高い値として算出されることを特徴とする請求項1に記載の生体判定システム。
【請求項3】
前記顔の位置に基づいて、前記顔における複数の部位の位置を検出する部位検出手段を更に備え、
前記温度取得手段は、前記複数の部位の位置の各々に対応する複数の部位温度を、前記封数箇所の温度として取得する
ことを特徴とする請求項1又は2に記載の生体判定システム。
【請求項4】
前記複数箇所の温度に基づいて、前記顔における装着物の有無を判定する装着物判定部を更に備えることを特徴とする請求項1から3のいずれか一項に記載の生体判定システム。
【請求項5】
前記画像から前記装着物を検出する装着物検出手段を更に備え、
前記生体判定手段は、前記装着物検出手段で検出された前記装着物に関する情報と、前記装着物判定部で判定された前記装着物に関する情報とを比較して、前記顔が生体のものであるか否かを判定する
ことを特徴とする請求項4に記載の生体判定システム。
【請求項6】
前記生体判定手段は、前記複数箇所の温度を互いに比較して、前記顔が生体のものであるか否かを判定することを特徴とする請求項1から5のいずれか一項に記載の生体判定システム。
【請求項7】
前記複数箇所の温度を前記顔の画像上に重畳表示する表示手段を更に備えることを特徴とする請求項1から6のいずれか一項に記載の生体判定システム。
【請求項8】
前記複数箇所の温度に基づいて、前記顔における所定形状の熱源を検出する熱源検出手段を更に備え、
前記生体判定手段は、前記所定形状の熱源が検出された場合に、前記顔が生体のものであると判定され難くする
ことを特徴とする請求項1から7のいずれか一項に記載の生体判定システム。
【請求項9】
少なくとも1つのコンピュータによって、
顔を含む画像から前記顔の位置を検出し、
前記顔における複数箇所の温度を取得し、
前記複数箇所の温度が所定閾値を超えたか否かに応じて、前記複数箇所の各々で重みづけを行って所定スコアを算出し、前記所定スコアに基づいて、前記顔が生体のものであるか否かを判定する
ことを特徴とする生体判定方法。
【請求項10】
顔を含む画像から前記顔の位置を検出し、
前記顔における複数箇所の温度を取得し、
前記複数箇所の温度が所定閾値を超えたか否かに応じて、前記複数箇所の各々で重みづけを行って所定スコアを算出し、前記所定スコアに基づいて、前記顔が生体のものであるか否かを判定する
ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、生体を判定する生体判定システム、生体判定方法、及びコンピュータプログラムの技術分野に関する。
【背景技術】
【0002】
この種のシステムとして、体温を検出して生体判定(言い換えれば、なりすまし判定)を行うものが知られている。例えば特許文献1では、赤外線温度画像から顔における熱情報を判定し、顔から熱を検知できない場合に生体認証が失敗したと出力する技術が開示されている。
【0003】
その他の関連する技術として、例えば特許文献2では、近赤外画像からマスクや眼鏡を検出する技術が開示されている。特許文献3では、サーモグラフィー機能により取得した体温計測値に基づいて、マスク着用であることを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2019-083019号公報
【文献】特開2019-028516号公報
【文献】特開2016-184197号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
この開示は、上述した関連する技術を改善することを目的とする。
【課題を解決するための手段】
【0006】
この開示の生体判定システムの一の態様は、顔を含む画像から前記顔の位置を検出する顔検出手段と、前記顔における複数箇所の温度を取得する温度取得手段と、前記複数箇所の温度に基づいて、前記顔が生体のものであるか否かを判定する生体判定手段とを備える。
【0007】
この開示の生体判定方法の一の態様は、顔を含む画像から前記顔の位置を検出し、前記顔における複数箇所の温度を取得し、前記複数箇所の温度に基づいて、前記顔が生体のものであるか否かを判定する。
【0008】
この開示のコンピュータプログラムの一の態様は、顔を含む画像から前記顔の位置を検出し、前記顔における複数箇所の温度を取得し、前記複数箇所の温度に基づいて、前記顔が生体のものであるか否かを判定するようにコンピュータを動作させる。
【図面の簡単な説明】
【0009】
図1】第1実施形態に係る生体判定システムのハードウェア構成を示すブロック図である。
図2】第1実施形態に係る生体判定システムの機能的構成を示すブロック図である。
図3】第1実施形態に係る生体判定システムの動作の流れを示すフローチャートである。
図4】第2実施形態に係る生体判定システムの機能的構成を示すブロック図である。
図5】第2実施形態に係る生体判定システムの動作の流れを示すフローチャートである。
図6】第3実施形態に係る生体判定システムの機能的構成を示すブロック図である。
図7】第3実施形態に係る生体判定システムの動作の流れを示すフローチャートである。
図8】第3実施形態に係る生体判定システムによる部位温度の検出例を示す概念図である。
図9】第4実施形態に係る生体判定システムの機能的構成を示すブロック図である。
図10】第4実施形態に係る生体判定システムの動作の流れを示すフローチャートである。
図11】第4実施形態に係る生体判定システムの装着物判定動作の流れを示すフローチャートである。
図12】装着物の有無に応じた温度取得領域の変化の一例を示す概念図である。
図13】第5実施形態に係る生体判定システムの機能的構成を示すブロック図である。
図14】第5実施形態に係る生体判定システムの動作の流れを示すフローチャートである。
図15】第6実施形態に係る生体判定システムの機能的構成を示すブロック図である。
図16】第6実施形態に係る生体判定システムの動作の流れを示すフローチャートである。
図17】第7実施形態に係る生体判定システムの機能的構成を示すブロック図である。
図18】第7実施形態に係る生体判定システムによる表示例(その1)を示す図である。
図19】第7実施形態に係る生体判定システムによる表示例(その2)を示す図である。
図20】第8実施形態に係る生体判定システムの機能的構成を示すブロック図である。
図21】第8実施形態に係る生体判定システムの動作の流れを示すフローチャートである。
図22】第9実施形態の変形例に係る生体判定システムの機能的構成を示すブロック図である。
図23】第9実施形態の変形例に係る生体判定システムの動作の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、生体判定システム、生体判定方法、及びコンピュータプログラムの実施形態について説明する。
【0011】
<第1実施形態>
第1実施形態に係る生体判定システムについて、図1から図3を参照して説明する。
【0012】
(ハードウェア構成)
まず、図1を参照しながら、第1実施形態に係る生体判定システムのハードウェア構成について説明する。図1は、第1実施形態に係る生体判定システムのハードウェア構成を示すブロック図である。
【0013】
図1に示すように、第1実施形態に係る生体判定システム10は、プロセッサ11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、記憶装置14とを備えている。生体判定システム10は更に、入力装置15と、出力装置16とを備えていてもよい。プロセッサ11と、RAM12と、ROM13と、記憶装置14と、入力装置15と、出力装置16とは、データバス17を介して接続されている。
【0014】
プロセッサ11は、コンピュータプログラムを読み込むように構成されている。例えば、プロセッサ11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込む。或いは、プロセッサ11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ11は、ネットワークインタフェースを介して、生体判定システム10の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。プロセッサ11は、読み込んだコンピュータプログラムを実行することで、RAM12、記憶装置14、入力装置15及び出力装置16を制御する。本実施形態では特に、プロセッサ11が読み込んだコンピュータプログラムを実行すると、プロセッサ11内には、顔が生体のものであるか否かを判定するための機能ブロックが実現される。また、プロセッサ11として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)のうち一つを用いてもよいし、複数を並列で用いてもよい。
【0015】
RAM12は、プロセッサ11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、プロセッサ11がコンピュータプログラムを実行している際にプロセッサ11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic RAM)であってもよい。
【0016】
ROM13は、プロセッサ11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable ROM)であってもよい。
【0017】
記憶装置14は、生体判定システム10が長期的に保存するデータを記憶する。記憶装置14は、プロセッサ11の一時記憶装置として動作してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
【0018】
入力装置15は、生体判定システム10のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
【0019】
出力装置16は、生体判定システム10に関する情報を外部に対して出力する装置である。例えば、出力装置16は、生体判定システム10に関する情報を表示可能な表示装置(例えば、ディスプレイ)であってもよい。
【0020】
(機能的構成)
次に、図2を参照しながら、第1実施形態に係る生体判定システム10の機能的構成について説明する。図2は、第1実施形態に係る生体判定システムの機能的構成を示すブロック図である。
【0021】
図2に示すように、第1実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130とを備えている。なお、顔検出部110、温度取得部120、及び生体判定部130の各々は、例えば上述したプロセッサ11(図1参照)によって実現されてよい。
【0022】
顔検出部110は、例えば可視光カメラで撮像された可視光画像が入力されるように構成されている。そして、顔検出部110は、入力される可視光画像から顔の位置を検出可能に構成されている。なお、ここでの「顔」は、人の顔であってもよいし、犬や蛇等の人以外の動物の顔であってもよい。顔検出部110は、例えば画像において顔が占める領域の位置を検出する。顔検出部110による具体的な顔の検出手法については、既存の技術を適宜採用できるため、詳しい説明は省略するものとする。顔検出部110で検出された顔の位置に関する情報は、温度取得部120に出力される構成となっている。
【0023】
温度取得部120は、例えば遠赤外線カメラで撮像された赤外線画像が入力されるように構成されている。そして、温度取得部120は、入力される赤外線画像から、顔の複数箇所の温度を取得可能に構成されている。温度取得部120は、顔検出部110で検出された顔の位置に基づいて、顔の複数箇所の温度を取得するようにしてもよい。温度取得部120が温度を取得する箇所の具体例については、後述する他の実施形態において詳しく説明する。温度取得部120で取得された複数箇所の温度に関する情報は、生体判定部130に出力される構成となっている。
【0024】
なお、温度取得部120が、顔検出部110で検出された顔の位置に基づいて顔の温度を検出できるように、顔検出部110に入力される可視光画像と、温度取得部120に入力される赤外線画像とは、互いの位置関係が分かるもの(具体的には、互いに座標変換可能なもの)とされていてもよい。例えば、可視光画像と赤外線画像とは、同画角で撮像されていてもよい。或いは、可視光画像及び赤外線画像は、カメラのパン・チルト・ズーム機能や画像変換を利用して対応関係が調整されたものであってもよい。
【0025】
生体判定部130は、温度取得部120で取得された顔の複数箇所の温度に基づいて、顔が生体であるか否かを判定可能に構成されている。即ち、生体判定部130は、撮像された顔が生体の顔であるか、非生体の顔(例えば、画像、写真、3Dマスク等による“なりすまし”の顔)であるかを判定する。なお、生体判定部130による具体的な判定処理の内容については、後述する他の実施形態において詳しく説明する。
【0026】
(動作の流れ)
次に、図3を参照しながら、第1実施形態に係る生体判定システム10の動作の流れについて説明する。図3は、第1実施形態に係る生体判定システムの動作の流れを示すフローチャートである。
【0027】
図3に示すように、第1実施形態に係る生体判定システム10の動作が開始されると、まず顔検出部110が可視光画像を取得する(ステップS11)。そして、顔検出部110は、取得した可視光画像から顔の位置を検出する(ステップS12)。顔検出部110は、検出した顔の位置に関する情報を温度取得部120に出力する。
【0028】
一方、温度取得部120は赤外線画像を取得する(ステップS21)。そして、温度取得部120は、取得した赤外線画像から、顔の複数箇所の温度を取得する(ステップS22)。温度取得部120は、顔検出部110で検出された顔の位置を用いて、顔の複数箇所の温度を取得してもよい。
【0029】
続いて、生体判定部130が、温度取得部120で取得された複数箇所の温度に基づいて、顔が生体のものであるか否かを判定する(ステップS23)。生体判定部130は、判定結果をシステム外部に出力するようにしてもよい。
【0030】
(技術的効果)
次に、第1実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0031】
図1から図3で説明したように、第1実施形態に係る生体判定システム10では、複数箇所の温度に基づいて顔が生体のものであるか否かが判定される。このように複数箇所の温度を用いれば、顔の1箇所の温度に基づいて生体判定をする場合と比較して、より適切に顔が生体のものであるか否かを判定することができる。即ち、生体判定により多くの箇所の温度が考慮される(言い換えれば、より多くの情報を用いて判定が行われる)ため、生体判定の精度を上げることができる。例えば、生体でない顔の1箇所が生体と推定されるような温度であったとしても、他の箇所が生体と推定されない温度であれば、正しく生体でないと判定できる。
【0032】
<第2実施形態>
第2実施形態に係る生体判定システム10について、図4及び図5を参照して説明する。なお、第2実施形態は、上述した第1実施形態と一部の構成及び動作が異なるのみであり、その他の部分については、第1実施形態と同様であってよい。このため、以下では、既に説明した第1実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
【0033】
(機能的構成)
まず、図4を参照しながら、第2実施形態に係る生体判定システム10の機能的構成について説明する。図4は、第2実施形態に係る生体判定システムの機能的構成を示すブロック図である。なお、図4では、図2で示す構成要素と同様の要素に同一の符号を付している。
【0034】
図4に示すように、第2実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130とを備えている。そして特に、第2実施形態に係る生体判定部130は、閾値判定部131を備えて構成されている。
【0035】
閾値判定部131は、温度取得部120で取得された複数箇所の温度の各々について、所定閾値を超えているか否かを判定する。なお、ここでの「所定閾値」は、複数箇所の温度の各々が体温に相当する温度であるか否かを判定するための閾値であり、例えば36℃~37℃程度の値として予め設定されている。また、所定閾値は、画像の撮像環境(例えば、外気温や湿度等)に基づいて適宜調整されてもよい。所定閾値は、過去所定時間内(例えば、過去1時間以内)に取得してきた対象者の温度に基づいて適宜調整されてもよい。この場合、所定時間内に取得した温度の平均値等を用いて、所定閾値を調整するようにしてもよい。具体的には、外気温が高い場合や湿度が高い場合には、所定閾値を上げるようにしてもよい。逆に、外気温が低い場合や湿度が低い場合には、所定閾値を下げるようにしてもよい。
【0036】
閾値判定部131は更に、複数箇所の温度のうち、所定閾値を超えたものの数をカウント可能に構成されている。より具体的には、閾値判定部131は、所定閾値を超えた温度が所定数以上であるか否かを判定可能に構成されている。なお、ここでの「所定数」は、顔が生体のものであると判定できる程度に、多くの箇所で所定閾値を超えている状態を判定するための閾値であり、例えば温度を検出する箇所に応じた値(例えば、検出箇所の過半数等)に設定されている。また、閾値判定部131は、複数箇所の温度が所定閾値を超えたか否かに応じて所定スコアを算出して、所定スコアがスコア閾値を超えてるか否かを判定可能に構成されていてもよい。ここでの「所定スコア」は、複数箇所の温度のうち所定閾値を超えたものが多くなるほど高い値として算出されるスコアである。ただし、所定スコアの算出については、複数箇所の各々で重み付けを行ってもよい。例えば、額は2ポイント、鼻は1ポイント、頬は0.5ポイント等の重み付けを行ってもよい。ちなみに、右頬及び左頬のように顔の対象位置にある箇所については、生体であれば同じような温度となる可能性が高い。一方で、顔が生体ではない(即ち、なりすまし等である)場合、右頬と左頬との温度に差が生ずると考えられる。このような状況を想定して、例えば両頬の温度差が小さければスコアを高く算出し(例えば3ポイント)、温度差が大きければスコアを低く算出する(例えば、-3ポイント)とするようにしてもよい。
【0037】
(動作の流れ)
次に、図5を参照しながら、第2実施形態に係る生体判定システム10の動作の流れについて説明する。図5は、第2実施形態に係る生体判定システムの動作の流れを示すフローチャートである。なお、図5では、図3で示す処理と同様の処理に同一の符号を付している。
【0038】
図5に示すように、第2実施形態に係る生体判定システム10の動作が開始されると、まず顔検出部110が可視光画像を取得する(ステップS11)。そして、顔検出部110は、取得した可視光画像から顔の位置を検出する(ステップS12)。顔検出部110は、検出した顔の位置に関する情報を温度取得部120に出力する。
【0039】
一方、温度取得部120は赤外線画像を取得する(ステップS21)。そして、温度取得部120は、取得した赤外線画像と、顔検出部110で検出された顔の位置とから、顔の複数箇所の温度を取得する(ステップS22)。
【0040】
続いて、閾値判定部131は、複数の温度の各々が所定閾値を超えているか否かを判定する(ステップS231)。そして、閾値判定部131は、所定閾値を超えた温度が所定数以上であるか否かを判定する(ステップS232)。所定閾値を超えた温度が所定数以上である場合(ステップS232:YES)、生体判定部130は、顔が生体のものであると判定する(ステップS233)。一方、所定閾値を超えた温度が所定数未満である場合(ステップS232:NO)、生体判定部130は、顔が生体のものでないと判定するステップ(S234)。なお、閾値判定部131が上述した所定スコアを算出する場合、閾値判定部131は、所定スコアがスコア閾値を超えているか否かを判定すればよい。この場合、生体判定部130は、所定スコアがスコア閾値を超えている場合、顔が生体のものであると判定すればよい。また、生体判定部130は、所定スコアがスコア閾値を超えていない場合、顔が生体のものでないと判定すればよい。
【0041】
(技術的効果)
次に、第2実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0042】
図4及び図5で説明したように、第2実施形態に係る生体判定システム10では、複数箇所の温度を所定閾値と比較して生体判定が行われる。このようにすれば、複数箇所の温度に基づいて、容易かつ的確に顔が生体のものであるか否かを判定することができる。
<第3実施形態>
第3実施形態に係る生体判定システム10について、図6から図8を参照して説明する。なお、第3実施形態は、上述した第1及び第2実施形態と一部の構成及び動作が異なるのみであり、その他の部分については、第1及び第2実施形態と同様であってよい。このため、以下では、既に説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
【0043】
(機能的構成)
まず、図6を参照しながら、第3実施形態に係る生体判定システム10の機能的構成について説明する。図6は、第3実施形態に係る生体判定システムの機能的構成を示すブロック図である。なお、図6では、図2で示す構成要素と同様の要素に同一の符号を付している。
【0044】
図6に示すように、第3実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130とを備えている。そして特に、第3実施形態に係る顔検出部110は、部位検出部111を備えて構成されている。また、第3実施形態に係る温度取得部120は、部位温度取得部121を備えて構成されている。
【0045】
部位検出部111は、顔検出部110で検出された顔の位置に基づいて、顔の各部位(例えば、額、頬、鼻等)の位置を検出可能に構成されている。部位検出部111は、例えば画像中の顔領域から顔の特徴を示す特徴量を抽出し、その特徴量に基づいて顔の各部位を検出するようにしてもよい。部位検出部111で検出された各部位の位置に関する情報は、部位温度取得部121に出力される構成となっている。
【0046】
部位温度取得部121は、部位検出部111で検出された顔の各部位の温度を取得可能に構成されている。部位温度取得部121は、各部位が占める領域のある1点の温度を、その部位の温度として取得してもよいし、各部位が占める領域における複数箇所の温度を、その部位の温度として取得してもよい。部位温度取得部121で取得された各部位の温度は、生体判定部130に出力される構成となっている。
【0047】
(動作の流れ)
次に、図7を参照しながら、第3実施形態に係る生体判定システム10の動作の流れについて説明する。図7は、第3実施形態に係る生体判定システムの動作の流れを示すフローチャートである。なお、図7では、図3で示す処理と同様の処理に同一の符号を付している。
【0048】
図7に示すように、第3実施形態に係る生体判定システム10の動作が開始されると、まず顔検出部110が可視光画像を取得する(ステップS11)。そして、顔検出部110は、取得した可視光画像から顔の位置を検出する(ステップS12)。
【0049】
続いて、部位検出部111が顔の部位の位置を検出する(ステップS121)。部位検出部111は、検出した顔の部位の位置に関する情報を温度取得部120(より具体的には、部位温度取得部121)に出力する。
【0050】
一方、温度取得部120は赤外線画像を取得する(ステップS21)。そして、部位温度取得部121が、取得した赤外線画像と、部位検出部111で検出された顔の部位の位置とから、顔の部位の温度を取得する(ステップS221)。
【0051】
続いて、生体判定部130が、部位温度取得部121で取得された顔の部位の温度に基づいて、顔が生体のものであるか否かを判定する(ステップS23)。
【0052】
(部位温度の検出例)
次に、図8を参照しながら、第3実施形態に係る生体判定システム10による部位温度の検出例について具体的に説明する。図8は、第3実施形態に係る生体判定システムによる部位温度の検出例を示す概念図である。
【0053】
図8に示すように、部位検出部111は、可視光画像から検出された顔50aから、額部51a、右頬部52a、左頬部53a、及び鼻部54aをそれぞれ検出する。そして、部位温度取得部121は、赤外線画像における顔50bから、上述した額部51a、右頬部52a、左頬部53a、及び鼻部54aの各々に対応する、額部51b、右頬部52b、左頬部53b、及び鼻部54bを特定し、それらの温度を取得する。なお、上記の額部51a、右頬部52a、左頬部53a、及び鼻部54aは一例であり、顔の他の部位(例えば、涙点)から温度を取得するようにしてもよい。また、顔の1つの部位の複数箇所で温度が取得されてもよい。例えば、鼻部54bにおける、鼻の付け根、鼻の下、鼻の頭等で、それぞれ別々に温度が取得されてもよい。この場合、鼻部54bの複数箇所で取得された温度の平均値が、鼻部54bの温度として取得されてもよい。
【0054】
なお、生体判定部130が、上述した第2実施形態のように閾値判定部131を備える場合、閾値判定部131は、額部51b、右頬部52b、左頬部53b、及び鼻部54bの各領域について、所定閾値を超える領域の面積の割合が所定割合以上となった場合に、その部位の温度が所定閾値を超えていると判定するようにしてもよい。また、この場合の所定の閾値は、部位毎に異なる値とされてもよい。
【0055】
(技術的効果)
次に、第3実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0056】
図6から図8で説明したように、第3実施形態に係る生体判定システム10では、顔の各部位が検出され、部位毎に温度が取得される。このようにすれば、顔の複数箇所の温度を適切に取得することができる。また、各部位における体温の傾向(例えば、額が頬より高温になる、右頬と左頬がほぼ同じ温度になる等)を利用して、より具体的に生体であるか否かの判定を行うことも可能である。
<第4実施形態>
第4実施形態に係る生体判定システム10について、図9から図12を参照して説明する。なお、第4実施形態は、上述した第1から第3実施形態と一部の構成及び動作が異なるのみであり、その他の部分については、第1から第3実施形態と同様であってよい。このため、以下では、既に説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
【0057】
(機能的構成)
まず、図9を参照しながら、第4実施形態に係る生体判定システム10の機能的構成について説明する。図9は、第4実施形態に係る生体判定システムの機能的構成を示すブロック図である。なお、図9では、図6で示す構成要素と同様の要素に同一の符号を付している。
【0058】
図9に示すように、第4実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130と、装着物判定部140とを備えている。即ち、第4実施形態に係る生体判定システム10は、第3実施形態に係る生体判定システムの構成(図6参照)に加えて、装着物判定部140を更に備えて構成されている。なお、装着物判定部140は、例えば上述したプロセッサ11(図1参照)によって実現されてよい。
【0059】
装着物判定部140は、温度取得部120において検出される複数箇所の温度に基づいて、装着物(例えば、帽子、眼鏡、マスク等)の有無を判定可能に構成されている。装着物判定部140における具体的な判定動作については、後に詳しく説明する。装着物判定部140は、装着物の有無に関する情報を生体判定部130に出力するように構成されてもよい。この場合、生体判定部130は、装着物の有無を考慮して、顔が生体のものであるか否かの判定を行ってもよい。
【0060】
(動作の流れ)
次に、図10を参照しながら、第4実施形態に係る生体判定システム10の動作の流れについて説明する。図10は、第4実施形態に係る生体判定システムの動作の流れを示すフローチャートである。なお、図10では、図7で示す処理と同様の処理に同一の符号を付している。
【0061】
図10に示すように、第4実施形態に係る生体判定システム10の動作が開始されると、まず顔検出部110が可視光画像を取得する(ステップS11)。そして、顔検出部110は、取得した可視光画像から顔の位置を検出する(ステップS12)。
【0062】
続いて、部位検出部111が顔の部位の位置を検出する(ステップS121)。部位検出部111は、検出した顔の部位の位置に関する情報を温度取得部120に出力する。
【0063】
一方、温度取得部120は赤外線画像を取得する(ステップS21)。そして、部位温度取得部121が、取得した赤外線画像と、部位検出部111で検出された顔の部位の位置とから、顔の部位の温度を取得する(ステップS221)。
【0064】
続いて、装着物判定部140が、顔の部位の温度から装着物の有無を判定する(ステップS24)。なお、ステップS24の処理(即ち、装着物の判定処理)は、ステップS221の処理(即ち、顔の部位の温度を取得する処理)の結果に応じて実行されるものであってもよい。例えば、装着物判定部140は、顔の複数箇所の温度の中に閾値を超えないものがある場合に、ステップS24の処理を実行するようにしてもよい。そして、装着物判定部140は、顔の複数箇所の温度のすべてが閾値を超えている場合には、装着物を装着している可能性は低いと判断し、ステップS24の処理を省略するようにしてもよい。生体判定部130が、部位温度取得部121で取得された顔の部位の温度に基づいて、顔が生体のものであるか否かを判定する(ステップS23)。
【0065】
(装着物判定動作)
次に、図11を参照しながら、第4実施形態に係る生体判定システム10による装着物判定動作(即ち、図10のステップS24の処理)について詳しく説明する。図11は、第4実施形態に係る生体判定システムの装着物判定動作の流れを示すフローチャートである。
【0066】
図11に示すように、装着物判定処理が開始されると、装着物判定部140は、額の上半分に低温度領域(即ち、体温よりも低い領域)が存在しているかを判定する(ステップS101)。そして、額の上半分に低温度領域が存在している場合(ステップS101:YES)、装着物判定部140は帽子を検出する(ステップS102)。なお、額の上半分に低温度領域が存在していない場合(ステップS101:NO)、装着物判定部140は帽子を検出しない(即ち、ステップS102の処理は省略される)。
【0067】
続いて、装着物判定部140は、額の下半分に低温度領域が存在しているかを判定する(ステップS103)。そして、額の下半分に低温度領域が存在している場合(ステップS103:YES)、装着物判定部140は眼鏡を検出する(ステップS104)。なお、額の下半分に低温度領域が存在していない場合(ステップS103:NO)、装着物判定部140は眼鏡を検出しない(即ち、ステップS104の処理は省略される)。
【0068】
続いて、装着物判定部140は、鼻の下半分及び頬に低温度領域が存在しているかを判定する(ステップS105)。そして、鼻の下半分及び頬に低温度領域が存在している場合(ステップS105:YES)、装着物判定部140はマスクを検出する(ステップS106)。なお、鼻の下半分及び頬に低温度領域が存在していない場合(ステップS105:NO)、装着物判定部140はマスクを検出しない(即ち、ステップS106の処理は省略される)。
【0069】
なお、上述した例では、帽子、眼鏡、及びマスクを検出する動作について説明したが、その他の装着物を検出する場合には、上述した動作と同様に、その装着物に対応する領域が低温度領域であるか否かを判定すればよい。
【0070】
(装着物判定後の動作例)
次に、図12を参照しながら、上述した装着物判定処理を実行した後の動作例について具体的に説明する。図12は、装着物の有無に応じた温度取得領域の変化の一例を示す概念図である。
【0071】
図12に示すように、装着物判定部140の判定結果に応じて、温度を取得する顔の部位を変更するようにしてもよい。即ち、温度取得部120が、装着物判定部140の判定結果に基づいて、顔の部位の温度を再取得するようにしてもよい。例えば、装着物なしの顔601からは、額部、両頬部、鼻部、及び涙点の温度を取得すればよい(606参照)。マスク装着時の顔602からは、額部、両頬部、鼻部、及び涙点の温度を取得すればよい(607参照)。なお、マスクが検出されている場合、マスクを避けるように、両頬部及び鼻部の温度取得位置をずらしてもよい。帽子及びマスク装着時の顔603からは、両頬部、鼻部の温度を取得すればよい(608参照)。帽子及び眼鏡装着時の顔604からは、両頬部、鼻部の温度を取得すればよい(609参照)。帽子、眼鏡及びマスク装着時の顔605からは、両頬部、鼻部の温度を取得すればよい(610参照)。また、画像に含まれている顔が横顔の場合も同様である(701~705参照)。
【0072】
また、、装着物判定部140の判定結果に応じて、対象者に通知(例えば、ディスプレイや音声等による通知)を行ってもよい。例えば、対象者が帽子やサングラスを装着している場合、対象者に帽子やサングラスを外すように促す通知を行ってもよい。また、対象者がマスクを装着している場合は、マスクを着けたままカメラの方を向くように促す通知を行ってもよい。対象者がマスクを装着していない場合は、マスクを装着するように促す通知を行ってもよい。
【0073】
(技術的効果)
次に、第4実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0074】
図9から図12で説明したように、第4実施形態に係る生体判定システム10では、顔の複数箇所の温度から装着物の有無を判定することができる。また、装着物の位置に応じて温度の取得位置を変更する等、装着物の存在を考慮して適切に顔が生体のものであるか否かの判定を行うことができる。
【0075】
<第5実施形態>
第5実施形態に係る生体判定システム10について、図13及び図14を参照して説明する。なお、第5実施形態は、上述した第1から第4実施形態と一部の構成及び動作が異なるのみであり、その他の部分については、第1から第4実施形態と同様であってよい。このため、以下では、既に説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
【0076】
(機能的構成)
まず、図13を参照しながら、第5実施形態に係る生体判定システム10の機能的構成について説明する。図13は、第5実施形態に係る生体判定システムの機能的構成を示すブロック図である。なお、図13では、図9で示す構成要素と同様の要素に同一の符号を付している。
【0077】
図13に示すように、第5実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130と、装着物判定部140と、装着物検出部150とを備えている。即ち、第5実施形態に係る生体判定システム10は、第4実施形態に係る生体判定システムの構成(図9参照)に加えて、装着物検出部150を更に備えて構成されている。なお、装着物検出部150は、例えば上述したプロセッサ11(図1参照)によって実現されてよい。
【0078】
装着物検出部150は、可視光画像から装着物(即ち、第4実施形態で説明した装着物判定部140で判定可能な装着物)を検出可能に構成されている。なお、画像から装着物を検出する手法については、既存の技術を適宜採用することができるため、ここでの詳しい説明は省略する。装着物検出部150で検出した装着物に関する情報は、装着物判定部140に出力される構成となっている。
【0079】
(動作の流れ)
次に、図14を参照しながら、第5実施形態に係る生体判定システム10の動作の流れについて説明する。図14は、第5実施形態に係る生体判定システムの動作の流れを示すフローチャートである。なお、図14では、図10で示す処理と同様の処理に同一の符号を付している。
【0080】
図14に示すように、第5実施形態に係る生体判定システム10の動作が開始されると、まず顔検出部110が可視光画像を取得する(ステップS11)。そして、顔検出部110は、取得した可視光画像から顔の位置を検出する(ステップS12)。
【0081】
続いて、部位検出部111が顔の部位の位置を検出する(ステップS121)。部位検出部111は、検出した顔の部位の位置に関する情報を温度取得部120に出力する。また、装着物検出部150が、可視光画像から装着物を検出する(ステップS13)。装着物検出部150は、検出した装着物に関する情報を装着物判定部140に出力する。
【0082】
一方、温度取得部120は赤外線画像を取得する(ステップS21)。そして、部位温度取得部121が、取得した赤外線画像と、部位検出部111で検出された顔の部位の位置とから、顔の部位の温度を取得する(ステップS221)。
【0083】
続いて、装着物判定部140が、顔の部位の温度から装着物の有無を判定する(ステップS24)。そして、装着物判定部140は、判定結果として得られた装着物の有無に関する情報と、装着物検出部150の検出結果として得られた装着物に関する情報とを比較する(ステップS25)。より具体的には、装着物判定部140は、装着物の判定結果と、装着物の検出結果とを比較して、それらが互いに一致しているか否かを判定する。
【0084】
続いて、生体判定部130が、部位温度取得部121で取得された顔の部位の温度に基づいて、顔が生体のものであるか否かを判定する(ステップS23)。なお、生体判定部130は、装着物判定部140による装着物の有無に関する判定結果、装着物に関する情報の比較結果を考慮して、顔が生体のものであるか否かを判定するようにしてもよい。
【0085】
(技術的効果)
次に、第5実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0086】
図13及び図14で説明したように、第5実施形態に係る生体判定システム10では、装着物判定部140による装着物の判定結果(即ち、温度に基づく装着物の判定結果)と、装着物検出部150による装着物の検出結果(即ち、画像に基づく装着物の検出結果)とが互いに比較される。
【0087】
上述した装着物に関する情報の比較結果は、装着物の判定結果をより正確なものにするために利用されてよい。例えば、装着物判定部140で装着物が有ると判定されている場合であっても、装着物検出部150で装着物が検出されていない場合には、装着物判定部140は、装着物が無いと判定結果を変更する(或いは、再び装着物の有無を判定する)ようにしてもよい。同様に、装着物判定部140で装着物が無いと判定されている場合であっても、装着物検出部150で装着物が検出されている場合には、装着物判定部140は、装着物が有ると判定結果を変更する(或いは、再び装着物の有無を判定する)ようにしてもよい。このようにすれば、装着物判定部140による判定結果の精度を向上させることができる。
【0088】
上述した装着物に関する情報の比較結果は、生体判定部130の判定に利用されてもよい。例えば、装着物判定部140で装着物が有ると判定されている場合であっても、装着物検出部150で装着物が検出されていない場合には、装着物があるにもかかわらず装着物と誤認させるような低温度領域があると判断し、生体判定部130は、顔が生体のものでない(即ち、何らかの“なりすまし”が行われている)と判定するようにしてもよい。また、装着物判定部140で装着物が無いと判定されている場合であっても、装着物検出部150で装着物が検出されている場合には、装着物があるにもかかわらず高い温度が取得されていると判断し、生体判定部130は、顔が生体のものでない(即ち、何らかの“なりすまし”が行われている)と判定するようにしてもよい。このようにすれば、生体判定部130における判定結果の精度を向上させることができる。
【0089】
<第6実施形態>
第6実施形態に係る生体判定システム10について、図15及び図16を参照して説明する。なお、第6実施形態は、上述した第1から第5実施形態と一部の構成及び動作が異なるのみであり、その他の部分については、第1から第5実施形態と同様であってよい。このため、以下では、既に説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
【0090】
(機能的構成)
まず、図15を参照しながら、第6実施形態に係る生体判定システム10の機能的構成について説明する。図15は、第6実施形態に係る生体判定システムの機能的構成を示すブロック図である。なお、図15では、図6で示す構成要素と同様の要素に同一の符号を付している。
【0091】
図15に示すように、第6実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130とを備えている。そして特に、第6実施形態に係る生体判定部130は、温度比較部132を備えて構成されている。
【0092】
温度比較部132は、温度取得部120で取得された顔の複数箇所の温度を互いに比較することが可能に構成されている。温度比較部132は、例えば複数箇所の温度の高低だけでなく、複数箇所の温度の関係が所定ルールを満たしているか否かを判定可能に構成されてもよい。ここでの「所定ルール」は、顔の部位(位置)による温度の傾向に対応したものであり、例えば、額の温度が鼻の温度よりも高くなっているか、右頬の温度と左頬の温度との温度差が所定範囲内になっているか、或いは、各部位の温度を高い順番にした場合に適切な順番(例えば、各部位の温度の傾向を考慮した順番)になっているか等のルールが挙げられる。なお、所定ルールは、上で例示したものを含む複数のルールを組み合わせたものであってもよい。温度比較部132による比較結果は、生体判定部130における顔が生体のものであるか否かの判定に考慮される構成となっている。
【0093】
(動作の流れ)
次に、図16を参照しながら、第6実施形態に係る生体判定システム10の動作の流れについて説明する。図16は、第6実施形態に係る生体判定システムの動作の流れを示すフローチャートである。なお、図16では、図7で示す処理と同様の処理に同一の符号を付している。
【0094】
図16に示すように、第6実施形態に係る生体判定システム10の動作が開始されると、まず顔検出部110が可視光画像を取得する(ステップS11)。そして、顔検出部110は、取得した可視光画像から顔の位置を検出する(ステップS12)。
【0095】
続いて、部位検出部111が顔の部位の位置を検出する(ステップS121)。部位検出部111は、検出した顔の部位の位置に関する情報を温度取得部120に出力する。
【0096】
一方、温度取得部120は赤外線画像を取得する(ステップS21)。そして、部位温度取得部121が、取得した赤外線画像と、部位検出部111で検出された顔の部位の位置とから、顔の部位の温度を取得する(ステップS221)。
【0097】
続いて、温度比較部132が、各部位の温度を互いに比較する(ステップS235)。そして、温度比較部132は、比較した結果が所定ルールを満たしているか否かを判定する(ステップS236)。比較結果が所定ルールを満たしている場合(ステップS236:YES)、生体判定部130は、顔が生体のものであると判定する(ステップS237)。一方、比較結果が所定ルールを満たしていない場合(ステップS236:NO)、生体判定部130は、顔が生体のものでないと判定するステップ(S238)。
【0098】
(技術的効果)
次に、第6実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0099】
図15及び図16で説明したように、第5実施形態に係る生体判定システム10では、顔の複数箇所の温度が互いに比較される。このようにすれば、顔の複数箇所の温度の関係に基づいて、顔が生体のものであるか否かを適切に判定することが可能である。
【0100】
<第7実施形態>
第7実施形態に係る生体判定システム10について、図17から図19を参照して説明する。なお、第7実施形態は、上述した第1から第6実施形態と一部の構成及び動作が異なるのみであり、その他の部分については、第1から第6実施形態と同様であってよい。このため、以下では、既に説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
【0101】
(機能的構成)
まず、図17を参照しながら、第7実施形態に係る生体判定システム10の機能的構成について説明する。図17は、第7実施形態に係る生体判定システムの機能的構成を示すブロック図である。なお、図17では、図2で示す構成要素と同様の要素に同一の符号を付している。
【0102】
図17に示すように、第7実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130と、表示部160とを備えている。即ち、第5実施形態に係る生体判定システム10は、第1実施形態に係る生体判定システムの構成(図2参照)に加えて、表示部160を更に備えて構成されている。なお、表示部160は、例えば上述した出力装置16(図1参照)によって実現されてよい。
【0103】
表示部160は、温度取得部120で取得された顔の複数箇所の温度を表示可能に構成されている。表示部160は、システムのユーザ(例えば、システム利用者やシステム管理者等)の操作によって、その表示態様を変更可能に構成されてもよい。表示部160における表示態様の具体例については、以下で詳しく説明する。
【0104】
(表示部の表示例)
次に、図18及び図19を参照しながら、第7実施形態に係る生体判定システム10の表示部160による表示例について具体的に説明する。図18は、第7実施形態に係る生体判定システムによる表示例(その1)を示す図である。図19は、第7実施形態に係る生体判定システムによる表示例(その2)を示す図である。
【0105】
図18に示すように、第7実施形態に係る生体判定システム10の表示部160は、顔50の画像に取得した温度を重畳して表示するようにしてもよい。図18に示す例では、顔50の額部分に、額の温度“36.8℃”が重ねて表示されている。顔50の右頬部分には、右頬の温度“36.7℃”が重ねて表示されている。顔50の左頬部分には、左頬の温度“36.6℃”が重ねて表示されている。顔50の鼻部分には、鼻の温度“36.5℃”が重ねて表示されている。
【0106】
なお、図18に表示されている各部の温度は、システムユーザの操作によって、部位毎に表示/非表示が切替可能に構成されてもよい。また、各部の温度はその数値に応じて色が変更されたり、強調表示されたりしてもよい。例えば、所定閾値を超えた温度については、赤く表示されたり、太文字で表示されたりしてもよい。
【0107】
図19に示すように、第7実施形態に係る生体判定システム10の表示部160は、各部の温度と判定結果(例えば、閾値判定部131による判定結果)とを一覧表示するようにしてもよい。図19に示す例では、額の温度は“36.8”であり、判定結果は“OK(例えば、閾値を超えている)”と表示されている。右頬の温度は“36.7℃”であり、判定結果は“OK”と表示されている。鼻の温度は“30.5℃”であり、判定結果は“NG(例えば、閾値未満である)”と表示されている。左頬の温度は“22.8℃”であり、判定結果は“NG”と表示されている。
【0108】
なお、図19に示す各項目は、所定の条件に応じて適宜並び替えて表示されてよい。例えば、各項目は、温度の高い順に並び替えて表示されてもよいし、判定結果が“OK”のものが上位に来るように並び替えて表示されてもよい。各項目の表示順を決める所定の条件は、システムユーザの操作によって、変更可能に構成されてもよい。また、各項目は、その内容に応じて色が変更されたり、強調表示されたりしてもよい。例えば、判定結果がOKとなった項目については、赤く表示されたり、枠で囲って表示されたりしてもよい。
【0109】
(技術的効果)
次に、第7実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0110】
図17及び図19で説明したように、第7実施形態に係る生体判定システム10では、温度取得部120で取得された顔の複数箇所の温度が、表示部160によって表示される。よって、顔の各部の温度を視覚的にユーザに対して提示することが可能である。なお、表示部160による各種情報の提示対象は、顔を撮像された対象者であってもよいし、システムを利用する監視員や警備員等であってもよい。ただし、具体的に顔のどの部分の温度を測定しているのか対象者に知られたくない場合には、対象者に対しては表示せず、監視員や警備員等にのみ表示するようにしてもよい。また、単に対象者に対して表示しないだけでなく、対象者には簡単な情報のみが表示され、監視員等には詳細な情報を表示させるようにしてもよい。例えば、対象者に対しては各部位のうち最も高い温度のみを表示する一方で、監視員等にはすべての部位の温度を表示するようにしてもよい。
【0111】
<第8実施形態>
第8実施形態に係る生体判定システム10について、図20及び図21を参照して説明する。なお、第8実施形態は、上述した第1から第7実施形態と一部の構成及び動作が異なるのみであり、その他の部分については、第1から第7実施形態と同様であってよい。このため、以下では、既に説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
【0112】
(機能的構成)
まず、図20を参照しながら、第8実施形態に係る生体判定システム10の機能的構成について説明する。図20は、第8実施形態に係る生体判定システムの機能的構成を示すブロック図である。なお、図20では、図4で示す構成要素と同様の要素に同一の符号を付している。
【0113】
図20に示すように、第8実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130と、熱源検出部170とを備えている。即ち、第8実施形態に係る生体判定システム10は、第2実施形態に係る生体判定システムの構成(図4参照)に加えて、熱源検出部170を更に備えて構成されている。なお、熱源検出部170は、例えば上述したプロセッサ11(図1参照)によって実現されてよい。
【0114】
熱源検出部170は、赤外線画像から所定形状の熱源を検出可能に構成されている。ここでの「所定形状の熱源」とは、“なりすまし”に利用され得る熱源(例えば、写真等に体温と同じような温度を持たせるための熱源)であり、例えばカイロ、スマートフォン、タブレット等が挙げられる。これらの熱源は、赤外線画像において、例えば矩形状の不自然な高温領域として検出することができる。熱源検出部170は更に、所定形状の熱源を検出した場合に、顔が生体のものであると判定され難くする動作を実行可能に構成されている。熱源検出部170は、例えば閾値判定部131の閾値を上げることにより、顔が生体のものであると判定され難くしてもよい。
【0115】
(動作の流れ)
次に、図21を参照しながら、第7実施形態に係る生体判定システム10の動作の流れについて説明する。図21は、第7実施形態に係る生体判定システムの動作の流れを示すフローチャートである。なお、図21では、図5で示す処理と同様の処理に同一の符号を付している。
【0116】
図21に示すように、第8実施形態に係る生体判定システム10の動作が開始されると、まず顔検出部110が可視光画像を取得する(ステップS11)。そして、顔検出部110は、取得した可視光画像から顔の位置を検出する(ステップS12)。顔検出部110は、検出した顔の位置に関する情報を温度取得部120に出力する。
【0117】
一方、温度取得部120は赤外線画像を取得する(ステップS21)。そして、温度取得部120は、取得した赤外線画像と、顔検出部110で検出された顔の位置とから、顔の複数箇所の温度を取得する(ステップS22)。
【0118】
続いて、熱源検出部170が、顔の複数箇所の温度から所定形状の熱源を検出する(ステップS26)。熱源検出部170は、温度取得部120で取得された赤外線画像から所定形状の熱源を検出するようにしてもよい。所定形状の熱源が検出された場合(ステップS26:YES)、熱源検出部170は、閾値判定部131が用いる所定閾値を上げるように変更する(ステップS27)。一方、所定形状の熱源が検出されない場合(ステップS26:NO)、熱源検出部170は、閾値判定部131が用いる所定閾値を変更しない(即ち、ステップS27の処理は省略される)。
【0119】
続いて、閾値判定部131は、複数の温度の各々が所定閾値(ステップS27で変更した場合は変更後の閾値)を超えているか否かを判定する(ステップS231)。そして、閾値判定部131は、所定閾値を超えた温度が所定数以上であるか否かを判定する(ステップS232)。所定閾値を超えた温度が所定数以上である場合(ステップS232:YES)、生体判定部130は、顔が生体のものであると判定する(ステップS233)。一方、所定閾値を超えた温度が所定数未満である場合(ステップS232:NO)、生体判定部130は、顔が生体のものでないと判定するステップ(S234)。
【0120】
(技術的効果)
次に、第8実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0121】
図20及び図21で説明したように、第8実施形態に係る生体判定システム10では、所定形状の熱源が検出される。よって、熱源を利用した“なりすまし”を検出し、そのような場合に、顔が生体のものであると判定され難くすることができる。なお、生体判定システム10が後述する第9実施形態のように顔認証を実行可能な構成では、所定形状の熱源を検出した場合に、顔認証が成功し難くなるようにしてもよい(例えば、顔照合に用いる閾値を変更するようにしてもよい)。
【0122】
<第9実施形態>
第9実施形態に係る生体判定システム10について、図22及び図23を参照して説明する。なお、第9実施形態は、上述した第1から第8実施形態と一部の構成及び動作が異なるのみであり、その他の部分については、第1から第8実施形態と同様であってよい。このため、以下では、既に説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
【0123】
(機能的構成)
まず、図22を参照しながら、第9実施形態に係る生体判定システム10の機能的構成について説明する。図22は、第9実施形態に係る生体判定システムの機能的構成を示すブロック図である。なお、図22では、図2で示す構成要素と同様の要素に同一の符号を付している。
【0124】
図22に示すように、第9実施形態に係る生体判定システム10は、その機能を実現するための処理ブロック又は物理的な処理回路として、顔検出部110と、温度取得部120と、生体判定部130と、顔認証部180とを備えている。即ち、第8実施形態に係る生体判定システム10は、第1実施形態に係る生体判定システムの構成(図2参照)に加えて、顔認証部180を更に備えて構成されている。なお、顔認証部180は、例えば上述したプロセッサ11(図1参照)によって実現されてよい。
【0125】
顔認証部180は、画像から検出した顔と、事前に登録された顔とを照合し、顔認証(具体的には、顔を撮像された対象が登録済みの人物であるか否かを判定する処理)を実行可能に構成されている。顔認証部180は、例えば顔検出部110で検出された顔から、顔の特徴量を抽出し、その特徴量を用いて顔認証を行ってもよい。なお、顔認証のより具体的な手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。なお、顔認証部180は、上述した各実施形態に係る生体判定システム10による判定結果(即ち、顔が生体のものであるか否か)を考慮して、最終的な認証結果を出力可能に構成されている。
【0126】
(動作の流れ)
次に、図23を参照しながら、第9実施形態に係る生体判定システム10の動作の流れについて説明する。図23は、第9実施形態に係る生体判定システムの動作の流れを示すフローチャートである。なお、図23では、図3で示す処理と同様の処理に同一の符号を付している。
【0127】
図23に示すように、第9実施形態に係る生体判定システム10の動作が開始されると、まず顔検出部110が可視光画像を取得する(ステップS11)。そして、顔検出部110は、取得した可視光画像から顔の位置を検出する(ステップS12)。顔検出部110は、検出した顔の位置に関する情報を温度取得部120に出力する。その後、顔認証部180が、顔検出部110が検出した顔に関する情報を用いて顔照合を実行する(ステップS14)。
【0128】
一方、温度取得部120は赤外線画像を取得する(ステップS21)。そして、温度取得部120は、取得した赤外線画像と、顔検出部110で検出された顔の位置とから、顔の複数箇所の温度を取得する(ステップS22)。その後、生体判定部130が、温度取得部120で取得された複数箇所の温度に基づいて、顔が生体のものであるか否かを判定する(ステップS23)。生体判定部130は、判定結果を顔認証部180に出力する。
【0129】
最後に、顔認証部180は、ステップS14の顔照合の結果と、ステップS23の生体判定の結果とを考慮して、顔認証の認証結果を出力する(ステップS31)。顔認証部180は、例えば顔照合が成功し、且つ、顔が生体のものであると判定された場合に、顔認証が成功したという結果を出力してもよい。顔認証部180は、顔照合が失敗した場合、又は、顔が生体のものでないと判定された場合に、顔認証が失敗したという結果を出力してもよい。また、顔認証部180は、顔認証が失敗した場合、図23に示す一連の処理を再び繰り返す(即ち、認証処理をリトライする)ようにしてもよい。
【0130】
(技術的効果)
次に、第9実施形態に係る生体判定システム10によって得られる技術的効果について説明する。
【0131】
図22及び図23で説明したように、第9実施形態に係る生体判定システム10では、生体判定部130の判定結果(即ち、顔が生体のものであるか否かの判定結果)が顔認証に用いられる。よって、顔認証における“なりすまし”等を検出して、不正に顔認証を検出しようとするユーザを検知することが可能である。
【0132】
<付記>
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
【0133】
(付記1)
付記1に記載の生体判定システムは、顔を含む画像から前記顔の位置を検出する顔検出手段と、前記顔における複数箇所の温度を取得する温度取得手段と、前記複数箇所の温度に基づいて、前記顔が生体のものであるか否かを判定する生体判定手段とを備えることを特徴とする生体判定システムである。
【0134】
(付記2)
付記2に記載の生体判定システムは、前記生体判定手段は、前記複数箇所の温度のうち所定閾値を超えるものが所定数以上である場合に、前記顔が生体のものであると判定することを特徴とする付記1に記載の生体判定システムである。
【0135】
(付記3)
付記3に記載の生体判定システムは、前記顔の位置に基づいて、前記顔における複数の部位の位置を検出する部位検出手段を更に備え、前記温度取得手段は、前記複数の部位の位置の各々に対応する複数の部位温度を、前記封数箇所の温度として取得することを特徴とする付記1又は2に記載の生体判定システムである。
【0136】
(付記4)
付記4に記載の生体判定システムは、前記複数箇所の温度に基づいて、前記顔における装着物の有無を判定する装着物判定部を更に備えることを特徴とする付記1から3のいずれか一項に記載の生体判定システムである。
【0137】
(付記5)
付記5に記載の生体判定システムは、前記画像から前記装着物を検出する装着物検出手段を更に備え、前記生体判定手段は、前記装着物検出手段で検出された前記装着物に関する情報と、前記装着物判定部で判定された前記装着物に関する情報とを比較して、前記顔が生体のものであるか否かを判定することを特徴とする付記4に記載の生体判定システムである。
【0138】
(付記6)
付記6に記載の生体判定システムは、前記生体判定手段は、前記複数箇所の温度を互いに比較して、前記顔が生体のものであるか否かを判定することを特徴とする付記1から5のいずれか一項に記載の生体判定システムである。
【0139】
(付記7)
付記7に記載の生体判定システムは、前記複数箇所の温度を前記顔の画像上に重畳表示する表示手段を更に備えることを特徴とする付記1から6のいずれか一項に記載の生体判定システムである。
【0140】
(付記8)
付記8に記載の生体判定システムは、前記複数箇所の温度に基づいて、前記顔における所定形状の熱源を検出する熱源検出手段を更に備え、前記生体判定手段は、前記所定形状の熱源が検出された場合に、前記顔が生体のものであると判定され難くすることを特徴とする付記1から7のいずれか一項に記載の生体判定システムである。
【0141】
(付記9)
付記9に記載の生体判定方法は、顔を含む画像から前記顔の位置を検出し、前記顔における複数箇所の温度を取得し、前記複数箇所の温度に基づいて、前記顔が生体のものであるか否かを判定することを特徴とする生体判定方法である。
【0142】
(付記10)
付記10に記載のコンピュータプログラムは、顔を含む画像から前記顔の位置を検出し、前記顔における複数箇所の温度を取得し、前記複数箇所の温度に基づいて、前記顔が生体のものであるか否かを判定するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
【0143】
(付記11)
付記11に記載の記録媒体は、付記10に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体である。
【0144】
この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う生体判定システム、生体判定方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。
【符号の説明】
【0145】
10 生体判定システム
11 プロセッサ
110 顔検出部
111 部位検出部
120 温度取得部
121 部位温度取得部
130 生体判定部
131 閾値判定部
132 温度比較部
140 装着物判定部
150 装着物検出部
160 表示部
170 熱源検出部
180 顔認証部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23