(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-05
(45)【発行日】2022-09-13
(54)【発明の名称】情報処理装置および照合方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20220906BHJP
G08B 25/00 20060101ALI20220906BHJP
G08B 21/24 20060101ALI20220906BHJP
【FI】
H04N7/18 D
H04N7/18 N
G08B25/00 510M
G08B21/24
(21)【出願番号】P 2019011313
(22)【出願日】2019-01-25
【審査請求日】2021-02-18
(73)【特許権者】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】特許業務法人栄光特許事務所
(72)【発明者】
【氏名】神尾 崇
(72)【発明者】
【氏名】宮田 英作
(72)【発明者】
【氏名】喜多 剛
(72)【発明者】
【氏名】東 淳司
(72)【発明者】
【氏名】三井 洋希
(72)【発明者】
【氏名】大隈 英雄
(72)【発明者】
【氏名】大石 恵司
(72)【発明者】
【氏名】工藤 大輔
(72)【発明者】
【氏名】窪田 賢雄
(72)【発明者】
【氏名】國枝 賢徳
【審査官】益戸 宏
(56)【参考文献】
【文献】特開2017-054229(JP,A)
【文献】特開2004-219277(JP,A)
【文献】特開2007-158421(JP,A)
【文献】特許第5500303(JP,B1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 5/225
G08B 21/00 - 31/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
第1の場所を撮影するサーモカメラから第1の画像データを受信し、前記第1の場所を撮影する第1の監視カメラから第2の画像データを受信し、前記第1の場所を通過した人が通過する第2の場所を撮影する第2の監視カメラから第3の画像データを受信する通信部と、
前記第1の画像データから所定体温以上の人を検知し、検知した前記所定体温以上の人の画像データを前記第2の画像データから抽出し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとを照合する制御部と、を有
し、
前記制御部は、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとが一定時間経過しても一致しなかった場合、警報情報を生成する、
情報処理装置。
【請求項2】
前記サーモカメラおよび前記第1の監視カメラは、同じ画角で前記第1の場所を撮影する、
請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、前記所定体温以上の人の前記サーモカメラの画像上における座標を取得し、前記第1の監視カメラの画像上における前記座標の画像から、前記所定体温以上の人の画像データを抽出する、
請求項2に記載の情報処理装置。
【請求項4】
前記通信部は、前記第1の場所と前記第2の場所との間に設置された第3の監視カメラから第4の画像データを受信し、
前記制御部は、前記第4の画像データと、抽出した前記所定体温以上の人の画像データとを照合する、
請求項1から3のいずれか一項に記載の情報処理装置。
【請求項5】
前記通信部は、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとが一致したことを示す一致情報と、抽出した前記所定体温以上の人の画像データとを端末装置に送信する、
請求項1から
4のいずれか一項に記載の情報処理装置。
【請求項6】
第1の場所を撮影するサーモカメラから第1の画像データを受信し、
前記第1の場所を撮影する第1の監視カメラから第2の画像データを受信し、
前記第1の場所を通過した人が通過する第2の場所を撮影する第2の監視カメラから第3の画像データを受信し、
前記第1の画像データから所定体温以上の人を検知し、検知した前記所定体温以上の人の画像データを前記第2の画像データから抽出し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとを照合
し、
前記第3の画像データと、抽出した前記所定体温以上の人の画像データとが一定時間経過しても一致しなかった場合、警報情報を生成する、
照合方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置および照合方法に関する。
【背景技術】
【0002】
従来、空港の保安検査場前等に形成された自然発生型または誘導路型の行列が複数であっても、各行列の総延長または各行列を形成する人数を正確に測定する計測システムが提案されている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
空港等の施設では、インフルエンザ等の感染拡大を防止するため、サーモカメラが設置される場合がある。施設の利用者が大勢いる場合でも、サーモカメラを用いて、適切に発熱者を検知できることが望まれる。
【0005】
本開示の非限定的な実施例は、施設の利用者が大勢いる場合でも、サーモカメラを用いて、適切に発熱者を検知できる情報処理装置および照合方法の提供に資する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る情報処理装置は、第1の場所を撮影するサーモカメラから第1の画像データを受信し、前記第1の場所を撮影する第1の監視カメラから第2の画像データを受信し、前記第1の場所を通過した人が通過する第2の場所を撮影する第2の監視カメラから第3の画像データを受信する通信部と、前記第1の画像データから所定体温以上の人を検知し、検知した前記所定体温以上の人の画像データを前記第2の画像データから抽出し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとを照合する制御部と、を有し、前記制御部は、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとが一定時間経過しても一致しなかった場合、警報情報を生成する。
【0007】
本開示の一態様に係る照合方法は、第1の場所を撮影するサーモカメラから第1の画像データを受信し、前記第1の場所を撮影する第1の監視カメラから第2の画像データを受信し、前記第1の場所を通過した人が通過する第2の場所を撮影する第2の監視カメラから第3の画像データを受信し、前記第1の画像データから所定体温以上の人を検知し、検知した前記所定体温以上の人の画像データを前記第2の画像データから抽出し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとを照合し、前記第3の画像データと、抽出した前記所定体温以上の人の画像データとが一定時間経過しても一致しなかった場合、警報情報を生成する。
【0008】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0009】
本開示の一態様によれば、施設の利用者が大勢いる場合でも、サーモカメラを用いて、適切に発熱者を検知できる。
【0010】
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0011】
【
図1】第1の実施の形態に係る検疫システムの一例を示した図
【
図6A】サーバにおける乗客の顔データの切り出しを説明する図
【
図6B】サーバにおける乗客の顔データの切り出しを説明する図
【
図7A】端末装置の表示装置に表示される画像例を示した図
【
図7B】端末装置の表示装置に表示される画像例を示した図
【
図9】端末装置の表示装置に表示される画像例を示した図
【
図10】第2の実施の形態に係る検疫システムの構成例を示した図
【
図11】端末装置の表示装置に表示される画像例を示した図
【
図12】第3の実施の形態に係る検疫システムの動作例を示したシーケンス図
【発明を実施するための形態】
【0012】
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0013】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0014】
(第1の実施の形態)
図1は、第1の実施の形態に係る検疫システムの一例を示した図である。
図1には、検疫システムが適用される例として、空港が示してある。
図1に示すように、検疫システムは、サーモカメラ1a,1bと、監視カメラ2a,2b,3と、サーバ4,5と、端末装置6a,6bと、を有している。
【0015】
サーモカメラ1aおよび監視カメラ2aは、飛行機A1aが到着する付近の、空港ターミナル内の壁または天井等に設置される。サーモカメラ1aおよび監視カメラ2aは、空港ターミナル内の場所B1a(飛行機A1aの到着付近)を撮影し、飛行機A1aから降りてきた乗客を撮影する。飛行機A1aから降り、場所B1aを通過した乗客は、ゲートG1(検疫)を通過し、入国審査の手続を行う。
【0016】
サーモカメラ1bおよび監視カメラ2bも、サーモカメラ1aおよび監視カメラ2aと同様に、飛行機A1bが到着する付近の、空港ターミナル内の壁または天井等に設置される。サーモカメラ1bおよび監視カメラ2bは、空港ターミナル内の場所B1b(飛行機A1bの到着付近)を撮影し、飛行機A1bから降りてきた乗客を撮影する。飛行機A1bから降り、場所B1bを通過した乗客は、ゲートG1を通過し、入国審査の手続を行う。
【0017】
監視カメラ3は、例えば、空港ターミナル内のゲートG1周辺の壁または天井等に設置される。監視カメラ3は、ゲートG1周辺を撮影し、撮影した画像(動画像)の画像データをサーバ5に送信する。
【0018】
また、監視カメラ3は、撮影する画像から、ゲートG1を通過する乗客の顔画像を切り出す。監視カメラ3は、切り出した顔画像の画像データ(静止画像)を、サーバ5に送信する。以下では、顔画像の画像データを顔データと呼ぶことがある。
【0019】
サーバ4は、サーモカメラ1a,1b、監視カメラ2a,2b、およびサーバ5と通信する。サーバ4は、空港ターミナル内に設置されてもよいし、空港ターミナルとは別の場所に設置されてもよい。
【0020】
サーバ4は、サーモカメラ1a,1bの画像から、例えば、37度以上の体温の乗客を検知する。すなわち、サーバ4は、飛行機A1a,A1bから降りてきた乗客のうち、37度以上の体温の乗客を検知する。
【0021】
サーバ4は、サーモカメラ1a,1bの画像から、37度以上の体温の乗客を検知すると、監視カメラ2a,2bの画像内に映っている、検知した乗客の顔画像(静止画像)を切り出す。サーバ4は、顔画像を切り出すと、切り出した顔画像の顔データをサーバ5に送信する。すなわち、サーバ4は、飛行機A1a,A1bから降りてきた乗客のうち、37度以上の乗客の顔データをサーバ5に送信する。
【0022】
サーバ5は、監視カメラ3および端末装置6aと通信する。サーバ5は、空港ターミナル内に設置されてもよいし、空港ターミナルとは別の場所に設置されてもよい。
【0023】
上記したように、サーバ4は、飛行機A1a,A1bから降りてきた乗客のうち、37度以上の乗客の顔データをサーバ5に送信する。また、監視カメラ3は、ゲートG1を通過する乗客の顔データをサーバ5に送信する。サーバ5は、サーバ4から送信された顔データと、監視カメラ3から送信される顔データとを照合し、ゲートG1を通過する37度以上の乗客を検知する。
【0024】
サーバ5は、顔データの照合により、体温が37度以上の乗客を検知すると、37度以上の乗客を検知したことを示す一致情報と、37度以上の乗客の顔データとを端末装置6aに送信する。
【0025】
端末装置6aは、例えば、パーソナルコンピュータ等の端末装置である。端末装置6aは、例えば、ゲートG1周辺に設けられた検疫室に設置される。端末装置6aは、サーバ5から送信される監視カメラ3の動画像(ライブ画像)を表示装置に表示する。端末装置6aは、例えば、検疫室において、発熱者を監視する検疫官に使用される。
【0026】
端末装置6bは、端末装置6aと通信する。端末装置6bは、例えば、タブレット端末またはスマートフォン等の携帯端末である。端末装置6bは、端末装置6aを経由して送信される監視カメラ3の動画像を表示装置に表示する。端末装置6bは、例えば、ゲートG1周辺において、発熱者を監視する検疫官に使用される。
【0027】
【0028】
図2は、検疫システムの概略動作例を説明する図である。
図2において、
図1と同じものには同じ符号が付してある。
図2には、
図1に示した検疫システムの一部が示してある。
【0029】
図2には、飛行機A1aから降りた乗客A11が示してある。乗客A11の体温は、37度以上とする。
【0030】
乗客A11は、空港ターミナルの場所B1aを通過する。サーモカメラ1aおよび監視カメラ2aは、場所B1aを通過する乗客A11を撮影し、乗客A11の画像をサーバ4に送信する(ステップS1a,S1b)。
【0031】
サーバ4は、サーモカメラ1aの画像から、乗客A11の体温が37度以上であることを検知する。サーバ4は、乗客A11の体温が37度以上であることを検知すると、監視カメラ2aの画像から、乗客A11の顔画像を切り出す(抽出する)。サーバ4は、切り出した乗客A11の顔データをサーバ5に送信し、記憶する(ステップS2)。以下では、サーバ5に記憶された顔データを登録顔データと呼ぶことがある。
【0032】
監視カメラ3は、ゲートG1周辺を通過する乗客の顔画像を切り出し、切り出した顔画像の顔データをサーバ5に送信する。ここで、乗客A11は、
図2の矢印A12に示すように、空港ターミナルの場所B1aからゲートG1に向かって移動する。乗客A11がゲートG1を通過すると、監視カメラ3は、乗客A11の顔データをサーバ5に送信する(ステップS3)。
【0033】
サーバ5は、記憶した乗客の顔データと、監視カメラ3から送信される乗客の顔データとを照合する。ここでは、ステップS2にてサーバ5に記憶された乗客A11の顔データと、ステップS3にて送信された乗客A11の顔データとが一致する。サーバ5は、顔データの一致を判定すると、一致情報と、乗客A11の顔データとを端末装置6aに通知(送信)する(ステップS4)。なお、サーバ5は、記憶した登録顔データを端末装置6aに送信する。
【0034】
端末装置6aは、サーバ5から一致情報と、登録顔データとを受信すると、表示装置に表示しているゲートG1周辺のライブ画像上(監視カメラ3が撮影するライブ画像上)において、登録顔データの顔画像に一致する顔画像にマーカを付与する(ステップS5)。例えば、端末装置6aの表示装置には、ゲートG1を通過する乗客A11が表示されている。乗客A11の顔には、
図2に示すように、四角形状のマーカM1が付されている。
【0035】
端末装置6aは、表示装置に表示している画像データを端末装置6bに送信する(ステップS6)。
【0036】
端末装置6bは、端末装置6aから送信される画像データの画像を表示装置に表示する(ステップS7)。例えば、端末装置6bの表示装置には、端末装置6aの表示装置と同様に、ゲートG1を通過する乗客A11が表示されている。乗客A11の顔には、
図2に示すように、四角形状のマーカM1が付されている。
【0037】
飛行機A1a,A1bから降りた乗客は、ゲートG1に向かう。従って、ゲートG1には、大勢の乗客が集まる場合がある。サーバ4,5(情報処理装置)は、37度以上の体温の乗客がゲートG1を通過する前に、場所B1a,B1bにおいて、サーモカメラ1a,1bの画像から37度以上の体温の乗客を検知し、検知した乗客の顔データを登録する。そして、情報処理装置は、登録した登録顔データと、ゲートG1周辺を撮影する監視カメラ3の顔データとを照合して、37度以上の体温の乗客を検知し、端末装置6a,6bに通知する。これにより、情報処理装置は、大勢の乗客がゲートG1を通過する場合でも、適切に発熱者を検知できる。
【0038】
なお、飛行機A1a,A1bの到着付近に設けられるサーモカメラおよび監視カメラの台数は、
図1の例に限られない。サーモカメラおよび監視カメラの各々は、空港ターミナルに3台以上設置されてもよい。また、ゲートG1を撮影する監視カメラの台数は、
図1の例に限られない。ゲートG1を撮影する監視カメラの台数は、2台以上であってもよい。また、検疫官の使用する端末装置の台数は、
図1の例に限られない。検疫官の使用する端末装置の台数は、2台以上であってもよい。
【0039】
また、サーバ4,5の機能は、1台のサーバによって実現されてもよい。また、サーバ4の機能は、2台以上のサーバによって実現されてもよい。また、サーバ5の機能は、2台以上のサーバによって実現されてもよい。
【0040】
また、サーバ4,5は、1台の情報処理装置と捉えてもよい。すなわち、情報処理装置は、サーバ4,5で構成されると捉えてもよい。また、情報処理装置は、1台のサーバで構成されてもよいし、3台以上のサーバで構成されてもよい。
【0041】
また、上記では、サーバ4は、37度以上の乗客を検知するとしたが、これに限られない。検知する温度は、ユーザによって設定(変更)されてもよい。
【0042】
また、端末装置6bは、端末装置6aと通信するとしたが、これに限られない。端末装置6bは、端末装置6aを経由せず、サーバ5と通信してもよい。また、端末装置6aは、タブレット端末またはスマートフォン等の携帯端末であってもよい。
【0043】
また、
図1の検疫システムは、空港において適用されるとしたが、これに限られない。
図1の検疫システムは、港湾または病院等の施設において、適用されてもよい。
【0044】
図3は、サーモカメラ1aのブロック構成例を示した図である。
図3に示すように、サーモカメラ1aは、撮像部11と、制御部12と、通信部13と、記憶部14と、を有している。
【0045】
撮像部11は、赤外線撮像素子(図示せず)の受光面に受けたIR光を電気信号に変換する。撮像部11は、赤外線撮像素子の受光面において受けたIR光に応じた電気信号(アナログ信号)をデジタル信号に変換して、制御部12に出力する。
【0046】
制御部12は、サーモカメラ1a全体を制御する。制御部12は、例えば、CPU(Central Processing Unit)またはDSP(Digital signal Processer)によって構成されてもよい。
【0047】
通信部13は、サーバ4と通信する。通信部13は、例えば、イーサネット(登録商標)ケーブル等のネットワークケーブル(有線)を介して、サーバ4と通信してもよい。また、通信部13は、例えば、Wi-Fi等の近距離無線通信を介して、サーバ4と通信してもよい。
【0048】
記憶部14は、制御部12が動作するためのプログラムが記憶される。また、記憶部14には、制御部12が計算処理を行うためのデータ、または、制御部12が各部を制御するためのデータ等が記憶される。記憶部14は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、およびHDD(Hard Disk Drive)などの記憶装置によって構成されてもよい。
【0049】
なお、サーモカメラ1bは、サーモカメラ1aと同様のブロック構成を有している。
【0050】
また、監視カメラ2a,2bも、サーモカメラ1aと同様のブロック構成を有するが、撮像部の機能が異なる。監視カメラ2a,2bの撮像部は、撮像素子の受光面において受けた可視光を電気信号に変換する。
【0051】
また、監視カメラ3も、サーモカメラ1aと同様のブロック構成を有するが、撮像部および通信部の機能が異なる。監視カメラ3の撮像部は、撮像素子の受光面において受けた可視光を電気信号に変換する。また、監視カメラ3の通信部は、サーバ5と通信する。監視カメラ3の通信部は、例えば、イーサネットケーブル等のネットワークケーブルを介して、サーバ5と通信してもよい。また、監視カメラ3の通信部は、例えば、Wi-Fi等の近距離無線通信を介して、サーバ5と通信してもよい。
【0052】
図4は、サーバ4のブロック構成例を示した図である。
図4に示すように、サーバ4は、制御部21と、通信部22と、記憶部23と、を有している。
【0053】
制御部21は、サーバ4全体を制御する。制御部21は、例えば、CPUによって構成されてもよい。
【0054】
通信部22は、サーモカメラ1a,1b、監視カメラ2a,2b、およびサーバ5と通信する。通信部22は、例えば、イーサネットケーブル等のネットワークケーブルを介して、サーモカメラ1a,1b、監視カメラ2a,2b、およびサーバ5と通信してもよい。また、通信部22は、例えば、Wi-Fi等の近距離無線通信を介して、サーモカメラ1a,1b、監視カメラ2a,2b、およびサーバ5と通信してもよい。
【0055】
記憶部23は、制御部21が動作するためのプログラムが記憶される。また、記憶部23には、制御部21が計算処理を行うためのデータ、または、制御部21が各部を制御するためのデータ等が記憶される。記憶部23は、RAM、ROM、フラッシュメモリ、およびHDDなどの記憶装置によって構成されてもよい。
【0056】
なお、サーバ5は、サーバ4と同様のブロック構成を有するが、通信部の機能が異なる。サーバ5の通信部は、監視カメラ3、サーバ4、および端末装置6aと通信する。サーバ5の通信部は、例えば、イーサネットケーブル等のネットワークケーブルを介して、監視カメラ3、サーバ4、および端末装置6aと通信してもよい。また、サーバ5の通信部は、例えば、Wi-Fi等の近距離無線通信を介して、監視カメラ3、サーバ4、および端末装置6aと通信してもよい。
【0057】
図5は、端末装置6aのブロック構成例を示した図である。
図5に示すように、端末装置6aは、制御部31と、入力部32と、表示部33と、通信部34と、記憶部35と、を有している。
【0058】
制御部31は、端末装置6a全体を制御する。制御部31は、例えば、CPUによって構成されてもよい。
【0059】
入力部32は、例えば、キーボード、表示装置の画面上に重畳されたタッチパネル、またはマウス等の入力装置(図示せず)に接続されている。入力部32は、入力装置から出力された、ユーザの操作に応じた信号を受信し、制御部31に出力する。
【0060】
表示部33は、端末装置6aが備える表示装置(図示せず)に接続されている。表示部33は、制御部31から出力される画像データを表示装置に出力する。
【0061】
通信部34は、サーバ5および端末装置6bと通信する。通信部34は、例えば、イーサネットケーブル等のネットワークケーブルを介して、サーバ5および端末装置6aと通信してもよい。また、通信部34は、例えば、Wi-Fi等の近距離無線通信を介して、サーバ5および端末装置6aと通信してもよい。
【0062】
記憶部35は、制御部31が動作するためのプログラムが記憶される。また、記憶部35には、制御部31が計算処理を行うためのデータ、または、制御部31が各部を制御するためのデータ等が記憶される。記憶部35は、RAM、ROM、フラッシュメモリ、およびHDDなどの記憶装置によって構成されてもよい。
【0063】
なお、端末装置6bは、端末装置6aと同様のブロック構成を有しているが、通信部の機能が異なる。端末装置6bの通信部は、端末装置6aと通信する。端末装置6bの通信部は、例えば、Wi-Fi等の近距離無線通信を介して、端末装置6aと通信してもよい。
【0064】
図6Aおよび
図6Bは、サーバ4における乗客の顔データの切り出しを説明する図である。以下で記述する「同じ」には、「ほぼ同じ」が含まれてもよい。
【0065】
サーモカメラ1aと監視カメラ2aは、空港ターミナル内の同じ場所(同じ空間)を、同じ画角で撮影している。従って、サーモカメラ1aが撮影する画像上の撮影対象物の座標と、監視カメラ2aが撮影する画像上の撮影対象物の座標は同じとなる。
【0066】
例えば、
図6Aには、サーモカメラ1aが撮影する画像例が示してある。
図6Bには、監視カメラ2aが撮影する画像例が示してある。サーモカメラ1aと監視カメラ2aは、空港ターミナル内の同じ場所を、同じ画角で撮影しているので、
図6Aに示す乗客A21aと
図6Bに示す乗客A21bは、画像上において同じ位置(座標)で撮影される。また、
図6Aに示す乗客A22aと
図6Bに示す乗客A22bは、画像上において同じ位置(座標)で撮影される。
【0067】
なお、
図6Aに示す乗客A21a,A22aは、サーモカメラ1aで撮影されるため、温度に応じた色の濃淡で表示される。また、
図6Bに示す乗客A21b,22bは、監視カメラ2aで撮影されるため、可視光色で表示される。
【0068】
サーバ4の制御部21は、サーモカメラ1aから受信した画像データから、37度以上の体温の乗客を検知する。例えば、
図6Aに示す乗客A21aの体温は、37度以上であり、乗客A22aの体温は、37度未満である。この場合、サーバ4の制御部21は、乗客A21aを検知する。
【0069】
サーバ4の制御部21は、体温が37度以上の乗客A21aを検知すると、サーモカメラ1aの画像上における、乗客A21aの顔の中心座標を検出する。例えば、
図6Aに示すように、サーバ4の制御部21は、乗客A21aの顔の中心座標(x1,y1)を検出する。
【0070】
サーバ4の制御部21は、サーモカメラ1aの画像から、乗客A21aの顔の中心座標(x1,y1)を検出すると、検出した中心座標(x1,y1)に基づいて、監視カメラ2aの画像から、乗客A21aの顔画像を切り出す。
【0071】
ここで、上記したように、サーモカメラ1aと監視カメラ2aは、空港ターミナル内の同じ場所を、同じ画角で撮影している。従って、サーバ4の制御部21は、監視カメラ2aの画像上において、サーモカメラ1aから検出した中心座標(x1,y1)の顔画像を切り出せば、体温が37以上の乗客A21bの顔画像を切り出せる。例えば、サーバ4の制御部21は、
図6Bに示す監視カメラ2aの画像上において、座標(x1,y1)の顔画像を切り出せば、
図6Bに示す点線枠A23で囲む顔画像を切り出せる。
【0072】
なお、切り出された顔画像は、監視カメラ3で撮影された乗客の顔画像と照合される。そのため、サーバ4の制御部21は、監視カメラ2aの画像から、縦横数十画素以上において、顔画像を切り出すのが望ましい。
【0073】
また、上記では、サーバ4のサーモカメラ1aと監視カメラ2aとの画像からの切り出しについて説明したが、サーモカメラ1aと監視カメラ2aとの画像からの切り出しについても同様である。
【0074】
図7Aおよび
図7Bは、端末装置6aの表示装置に表示される画像例を示した図である。端末装置6aの表示装置には、
図7Aの画像41に示すように、ゲートG1周辺の画像(監視カメラ3のライブ画像)が表示される。
【0075】
図7Aの画像41には、37度以上の体温の乗客は含まれていない。そのため、
図7Aの画像41には、37度以上の体温の乗客を示すマーカが含まれていない。
【0076】
サーバ5の記憶部に記憶された登録顔データの顔の乗客がゲートG1周辺を通過する。この場合、監視カメラ3によって切り出された顔データと、サーバ5の記憶部に記憶された登録顔データとが一致する。サーバ5の制御部は、顔データが一致すると、一致情報と、登録顔データとを端末装置6aに送信する。
【0077】
端末装置6aの制御部は、サーバ5から、一致情報と、登録顔データとを受信すると、表示装置に表示している監視カメラ3のライブ画像上において、登録顔データの顔画像に一致する顔画像にマーカを付与する。また、端末装置6aの制御部は、マーカが付与された顔の顔画像と、サーバ5から受信した登録顔データの顔画像とを表示装置に表示する。
【0078】
図7Bの画像42は、顔データが一致した乗客(体温が37度以上の乗客)が、ゲートG1周辺を通過したときの画像例を示している。
図7Bの画像42に示すように、顔データが一致した乗客の顔には、マーカA31が付される。また、
図7Bの画像42の右下には、マーカA31が付与された顔の画像42a(拡大画像)と、サーバ5から受信した登録顔データの画像42bとが表示されている。
【0079】
このように、端末装置6aの表示装置では、37度以上の体温の乗客にマーカA31が付与される。また、端末装置6aの表示装置には、マーカA31が付与された乗客の顔の画像42aと、登録顔データの画像42bとが表示される。これにより、端末装置6aを使用する検疫官は、ゲートG1を通過する、体温が37度以上の乗客を、検疫室において監視できる。
【0080】
なお、
図7Aおよび
図7Bでは、端末装置6aの表示装置に表示される画像例について説明したが、端末装置6bの表示装置にも同様の画像が表示される。端末装置6bを使用する検疫官は、例えば、ゲートG1を通過する、体温が37度以上の乗客に声をかけ、検疫室に案内できる。
【0081】
また、
図2に示した端末装置6a,6bでは、画像42a,42bの表示を省略している。
【0082】
上記では、サーバ4が切り出した顔画像の顔データは、サーバ5の記憶部に記憶されるとしたが、これに限られない。顔データは、サーバ5とは別体のデータベース(DB)に記憶されてもよい。以下では、顔データは、登録DBに記憶されるとする。登録DBは、例えば、サーバ5の一部と捉えてもよい。
【0083】
図8は、検疫システムの動作例を示したシーケンス図である。
図8には、
図1に示したサーモカメラ1a、監視カメラ2a,3、サーバ4,5、端末装置6a,6bの動作例が示してある。
図8に示す乗客A41は、体温が37度以上とする。
【0084】
サーモカメラ1aの通信部13および監視カメラ2aの通信部は、撮影する画像(ライブ画像)の画像データをサーバ4に送信する(ステップS11a,S11b)。
【0085】
ここで、乗客A41が、サーモカメラ1aおよび監視カメラ2aの撮影範囲内を通過すると、サーモカメラ1aおよび監視カメラ2aが撮影する画像には、乗客A41の画像が含まれる。
【0086】
サーバ4の制御部21は、サーモカメラ1aの画像から、体温が37度以上の乗客A41を検知する。サーバ4は、乗客A41を検知すると、監視カメラ2aの画像から、乗客A41の顔画像を切り出す(ステップS12)。
【0087】
サーバ4の通信部22は、ステップS12にて切り出された顔画像の顔データをサーバ5に送信する(ステップS13)。なお、
図8に示す顔データ51は、サーバ4が切り出した乗客A41の顔データを示している。
【0088】
サーバ5の制御部は、ステップS13にて送信された顔データを登録DBに記憶(登録)する(ステップS14)。
【0089】
飛行機A1aを降りた乗客A41は、
図8の矢印A42に示すように、ゲートG1に向かう。監視カメラ3は、ゲートG1周辺に到達した乗客A41を撮影し、乗客A41の顔画像を切り出す。監視カメラ3は、切り出した顔画像の顔データをサーバ5に送信する(ステップS15)。なお、
図8に示す顔データ52は、監視カメラ3が切り出した乗客A41の顔データを示している。
【0090】
サーバ5の制御部は、監視カメラ3から送信された顔データと、登録DBに記憶されている登録顔データとを照合する(ステップS16)。監視カメラ3から送信された乗客A41の顔データ、すなわち、ゲートG1周辺を通過する乗客A41の顔データは、登録DBに記憶されているので、サーバ5の制御部は、乗客A41の顔データは登録DBに記憶されている登録顔データと一致すると判定する。
【0091】
サーバ5の制御部は、顔データの一致を判定すると、一致情報と乗客A41の登録顔データとを端末装置6aに送信する(ステップS17)。なお、端末装置6aの表示部33は、監視カメラ3から送信されるライブ画像を表示装置に表示している。端末装置6aの制御部31は、ステップS17にて受信した登録顔データに基づいて、表示装置に表示されているライブ画像に映し出されている乗客A41の顔画像にマーカを付与する。また、端末装置6aの制御部31は、マーカを付した乗客A41の顔画像と、ステップS17にて受信した登録顔データの顔画像とを表示装置に表示する。
【0092】
端末装置6aは、サーバ5から送信された一致情報と、表示装置に表示している画像データとを端末装置6bに送信する(ステップS18)。これにより、端末装置6bの表示装置には、端末装置6aと同様の画像が表示される。
【0093】
なお、端末装置6a,6bの制御部は、一致情報の受信に応じて、例えば、スピーカ等の音声出力装置からアラーム音を出力してもよい。
【0094】
以上説明したように、サーバ4,5(情報処理装置)は、場所B1a,B1bを撮影するサーモカメラ1a,1bおよび監視カメラ2a,2bから画像データを受信する。また、情報処理装置は、場所B1a,B1bを通過した乗客がその後通過するゲートG1を撮影する監視カメラ3から画像データを受信する。情報処理装置は、サーモカメラ1a,1bの画像データから所定体温以上の乗客を検知し、検知した所定体温以上の乗客の画像データを監視カメラ2a,2bの画像データから抽出し、監視カメラ3の画像データと、抽出した所定体温以上の乗客の画像データとを照合する。これにより、情報処理装置は、空港ターミナルを利用する乗客が大勢いる場合でも、適切に発熱者を検知できる。
【0095】
また、情報処理装置は、発熱者が飛行機A1a,A1bから大勢降りてきた場合でも、迅速かつ適切に検知できる。
【0096】
また、端末装置6a,6bは、37度以上の体温の乗客にマーカを付与する。これにより、検疫官の資質に左右されない均一な検疫が可能になる。
【0097】
(変形例1)
サーバ5の制御部は、サーバ4から顔データを受信すると(
図8のステップS13を参照)、受信した顔データと、37度以上の体温の乗客を検知したことを示す体温検知情報とを端末装置6a,6bに送信してもよい。例えば、サーバ5の制御部は、
図8のステップS14またはステップ15より前に、顔データと体温検知情報とを端末装置6a,6bに送信してもよい。
【0098】
端末装置6a,6bは、サーバ5から送信された顔データと体温検知情報とを受信すると、サーバ5から送信された顔データを表示装置に表示してもよい。
【0099】
図9は、端末装置6aの表示装置に表示される画像例を示した図である。
図9に示す画像61の領域A51には、監視カメラ3のライブ画像が表示される。
【0100】
図9に示す画像61の下側の領域A52には、サーバ5から送信される顔データ(
図8のステップS14またはステップS15より前に送信される顔データ)の画像62a~62cが表示される。すなわち、
図9の領域A52には、37度以上の体温の乗客が
図1の場所B1a,B1bを通過したときに、その乗客の顔の画像62a~62cが直ちに表示される。
【0101】
図9の領域A52における右方向は、時間の経過を示している。端末装置6aの制御部31は、サーバ5から顔データを受信した順に、顔データの画像62a~62cを領域A52の右側から表示する。
図9の例の場合、端末装置6aの制御部31は、画像62aの画像データを受信した後に、画像62bの画像データを受信している。端末装置6aの制御部31は、画像62bの画像データを受信した後に、画像62cの画像データを受信している。
【0102】
端末装置6aの制御部31は、画像62a~62cに対応付けて、画像62a~62cが撮影された撮影時刻を表示装置に表示する。撮影時刻は、画像62a~62cの顔データとともに、サーバ4から送信される。
【0103】
このように、サーバ4,5は、場所B1a,B1bにおいて、37度以上の体温の乗客を検知した場合、端末装置6aに37度以上の体温の乗客の顔データと、体温検知情報とを送信する。端末装置6aの制御部31は、空港ターミナルの場所B1a,B1bを通過した、37度以上の体温の乗客の画像62a~62cを、監視カメラ3のライブ画像より小さい画像で表示する。これにより、端末装置6aを使用する検疫官は、領域A52に表示される画像62a~62cから、所定時間経過後に、37度以上の体温の乗客がゲートG1に来ることを認識できる。
【0104】
また、端末装置6aの制御部31は、37度以上の体温の乗客の画像62a~62cを、時系列に並べて表示する。これにより、端末装置6aを使用する検疫官は、領域A52に表示される画像62a~62cの順番により、ゲートG1に訪れる乗客の順番を認識(推測)できる。
【0105】
また、端末装置6aの制御部31は、画像62a~62cの顔データが撮影された撮影時間を表示装置に表示する。これにより、端末装置6aを使用する検疫官は、画像62a~62cの顔の乗客の、ゲートG1に訪れる時間を推定できる。
【0106】
なお、画像61の領域A53には、
図8のステップS16の顔照合が一致した場合に、マーカが付与された乗客の顔画像と、登録顔データの顔画像とが表示される。例えば、領域A53には、
図7Bの画像42a,42bが表示される。
【0107】
また、端末装置6bの表示装置にも、端末装置6aと同様の画面が表示されてもよい。
【0108】
(変形例2)
上記では、端末装置6aがマーカを付与したが、サーバ5の制御部がマーカを付与してもよい。例えば、サーバ5の通信部は、監視カメラ3のライブ画像データを受信し、端末装置6aに送信する。サーバ5の制御部は、監視カメラ3が切り出した顔画像の顔データと、登録顔データとが一致した場合、監視カメラ3から受信したライブ画像上において、登録顔データの顔画像に一致する顔画像にマーカを付与してもよい。
【0109】
(変形例3)
上記では、サーバ4が乗客の顔画像を切り出すとしたがこれに限られない。監視カメラ2が乗客の顔画像を切り出し、顔データをサーバ4に送信してもよい。また、監視カメラ3が乗客の顔画像を切り出すとしたがこれに限られない。監視カメラ3は、ゲートG1周辺の画像データをサーバ5に送信し、サーバ5が乗客の顔画像を切り出してもよい。
【0110】
(第2の実施の形態)
図1に示した空港ターミナル内の飛行機の到着付近(場所B1a,B1b)と、ゲートG1との間には、1台以上の監視カメラが設置されてもよい。例えば、監視カメラ2aと、監視カメラ3との間には1台以上の監視カメラが設置されてもよい。また、監視カメラ2bと、監視カメラ3との間には1台以上の監視カメラが設置されてもよい。以下では、監視カメラ2aと、監視カメラ3との間に複数の監視カメラが設置される場合について説明する。
【0111】
図10は、第2の実施の形態に係る検疫システムの構成例を示した図である。
図10において、
図2と同じものには同じ符号が付してある。
図10に示す検疫システムは、
図2の検疫システムに対し、監視カメラ71,72を有している。
【0112】
監視カメラ71,72は、空港ターミナルの場所B1aとゲートG1とを結ぶ通路の間に設置される。監視カメラ71は、監視カメラ72より、ゲートG1に近い場所に設置されている。監視カメラ71は、場所B1aとゲートG1とを結ぶ通路のうち、第1の場所を撮影する。監視カメラ72は、場所B1aとゲートG1とを結ぶ通路のうち、第1の場所よりゲートG1に近い第2の場所を撮影する。
【0113】
監視カメラ71,72は、監視カメラ3と同様の機能を有している。監視カメラ71,72の制御部は、撮影する画像に乗客が含まれる場合、乗客の顔画像を切り出し、切り出した顔画像の顔データをサーバ5に送信する。
【0114】
サーバ5の制御部は、記憶部に記憶した登録顔データと、監視カメラ71から送信される顔データとを照合する。サーバ5の制御部は、記憶部に記憶した登録顔データと、監視カメラ71から送信される顔データとが一致した場合、一致情報と監視カメラ71から送信された顔データとを端末装置6aに送信する。
【0115】
すなわち、サーバ5の制御部は、場所B1aにおいて37度以上の体温と検知された乗客A11が、監視カメラ71の前(第1の場所)を通過すると、一致情報と監視カメラ71が撮影した顔データとを端末装置6aに送信する。
【0116】
サーバ5の制御部は、記憶部に記憶した登録顔データと、監視カメラ72から送信される顔データとを照合する。サーバ5の制御部は、記憶部に記憶した登録顔データと、監視カメラ72から送信される顔データとが一致した場合、一致情報と監視カメラ72から送信された顔データを端末装置6aに送信する。
【0117】
すなわち、サーバ5の制御部は、場所B1aにおいて37度以上の体温と検知された乗客A11が、監視カメラ72の前(第2の場所)を通過すると、一致情報と監視カメラ72が撮影した顔データとを端末装置6aに送信する。
【0118】
端末装置6aの制御部31は、サーバ5を経由して、監視カメラ71,72が切り出した顔画像の顔データを受信する。端末装置6aの制御部は、監視カメラ71,72が切り出した顔データの顔画像を表示装置に表示する。
【0119】
図11は、端末装置6aの表示装置に表示される画像例を示した図である。
図11において、
図9と同じものには同じ符号が付してある。
【0120】
図11に示す画像61の下側の領域A61には、サーバ5から送信される、監視カメラ71が切り出した顔データの画像81a,81bが表示される。すなわち、
図11の領域A61には、37度以上の体温の乗客が
図10の監視カメラ71の前を通過したときに、その乗客の顔画像である画像81a,81bが表示される。なお、領域A61に示す「A通過」の「A」は、監視カメラ71の設置位置を示し、画像81a,81bの顔画像の乗客が監視カメラ71の前を通過したことを示す。
【0121】
図11に示す画像61の下側の領域A62には、サーバ5から送信される、監視カメラ72が切り出した顔データの画像82a,82bが表示される。すなわち、
図11の領域A62には、37度以上の体温の乗客が
図10の監視カメラ72の前を通過したときに、その乗客の顔画像である画像82a,82bが表示される。なお、領域A62に示す「B通過」の「B」は、監視カメラ72の設置位置を示し、画像82a,82bの顔画像の乗客が監視カメラ72の前を通過したことを示す。
【0122】
図11に示す領域A61,A62の右方向は、
図9で説明した領域A52と同様に、時間の経過を示している。
【0123】
また、
図11に示す領域A61,A62の配置は、監視カメラ71,72の設置位置に対応している。例えば、
図11に示す右方向は、空港ターミナルの場所B1aからゲートG1に向かう方向に対応する。監視カメラ72は、監視カメラ71よりゲートG1の近くに設置されているので、監視カメラ72の切り出し画像を表示する領域A62は、監視カメラ71の切り出し画像を表示する領域A61より右側に表示されている。
【0124】
領域A61,A62に示す時刻は、画像81a,81b,82a,82bが撮影された撮影時刻を示している。
【0125】
監視カメラ71の前を通過した、37度以上の体温の乗客が、監視カメラ72の前を通過すると(監視カメラ72が送信する顔データを端末装置6aが受信すると)、端末装置6aの制御部31は、領域A61に表示している画像81a,81bを消去する。監視カメラ72の前を通過した、37度以上の体温の乗客が、監視カメラ3の前を通過すると(監視カメラ3が送信する顔データを端末装置6aが受信すると)、端末装置6aの制御部31は、領域A62に表示している画像82a,82bを消去する。
【0126】
このように、サーバ4,5(情報処理装置)は、場所B1aとゲートG1との間に設置された監視カメラ71,72から画像データを受信する。情報処理装置は、監視カメラ71,72の画像データと、サーモカメラ1aおよび監視カメラ2aを用いて抽出した37度以上の体温の乗客の画像データとを照合する。これにより、情報処理装置は、37度以上の体温の乗客が監視カメラ71,72を通過した時期を検知でき、検疫官は、ゲートG1を通過する37度以上の体温の乗客を適切に検知できる。
【0127】
(変形例1)
端末装置6aの制御部31は、監視カメラ71,72から一致情報を受信すると、スピーカ等の音声出力装置からアラーム音を出力してもよい。端末装置6aの制御部31は、監視カメラ71から一致情報を受信したときのアラーム音と、監視カメラ72から一致情報を受信したときのアラーム音とを異なるようにしてもよい。また、端末装置6aの制御部31は、監視カメラ3から一致情報を受信したときのアラーム音を、監視カメラ71,72から一致情報を受信したときのアラーム音と異なるようにしてもよい。これにより、検疫官は、アラーム音の違いによって、37度以上の体温の乗客がどこを通過したかを認識できる。
【0128】
(変形例2)
端末装置6aの制御部31は、場所B1aにおいて37度以上の体温と検知された乗客の、ゲートG1への到着予定時間を算出(推定)してもよい。例えば、端末装置6aの制御部は、監視カメラ2a,71,72が撮影した顔データの撮影時間と、監視カメラ2a,71,72間の距離とから、乗客の移動速度を算出する。端末装置6aの制御部は、算出した移動速度と、乗客が通過した監視カメラ2a,71,72と監視カメラ3との間の距離とを用いて、乗客のゲートG1への到着予定時間を算出できる。
【0129】
より具体的には、端末装置6aの制御部は、監視カメラ71,72が撮影した顔データの撮影時間と、監視カメラ71,72間の距離とから、乗客の移動速度を算出する。端末装置6aの制御部は、算出した移動速度と、監視カメラ72,3間の距離とから、乗客のゲートG1への到着予定時間を算出する。
【0130】
端末装置6aの制御部は、算出した到着予定時間を表示装置に表示する。これにより、検疫官は、37度以上の体温の乗客の、ゲートG1への到着予定時間を認識できる。なお、到着予定時間は、サーバ5が算出してもよい。
【0131】
(第3の実施の形態)
サーバ4が切り出した顔画像の顔データは、サーバ5の記憶部(または登録DB)に記憶される。サーバ5の記憶部に記憶された登録顔データが、監視カメラ3が切り出した顔データと一定時間経過しても一致しなかった場合、サーバ5は、警報情報を端末装置6a,6bまたは入館システムに通知してもよい。つまり、サーバ5は、サーモカメラ1a,1bによって検知された37度以上の体温の乗客が、一定時間経過してもゲートG1に現れなかった場合、警報情報を端末装置6a,6bまたは入館システムに通知してもよい。
【0132】
図12は、第3の実施の形態に係る検疫システムの動作例を示したシーケンス図である。
図12において、
図8と同じものには同じ符号が付してある。
図12に示すステップS11a~ステップS14の処理は、
図8で説明したステップS11a~ステップS14と同様であり、その説明を省略する。
【0133】
サーバ5の制御部は、ステップS14にて、顔データを登録DBに記憶する際、登録DBに記憶する顔データに対応付けて、現在時刻(顔データを登録DBに登録した登録時間)を記憶する。また、サーバ5の制御部は、
図8で説明したステップS16の顔照合処理において、監視カメラ3の顔データと登録顔データとが一致した場合、登録DBの登録顔データに、一致したことを示す一致フラグを付与する。
【0134】
サーバ5の制御部は、登録DBを参照し、一致フラグが付与されていない登録顔データのうち、登録DBに記憶されてから一定時間経過した登録顔データを検出する。すなわち、サーバ5の制御部は、一定時間、監視カメラ3の顔データと一致しなかった登録顔データを検出する(ステップS21)。つまり、サーバ5の制御部は、37度以上の体温の乗客のうち、一定時間経過しても、ゲートG1に現れなかった乗客を検出する。
【0135】
サーバ5は、一定時間経過しても、ゲートG1に現れなかった乗客を検出すると、乗客がゲートG1に現れなかったことを示す警報情報と、ゲートG1に現れなかった乗客の顔データとを端末装置6aに送信する(ステップS22)。端末装置6aの制御部31は、サーバ5から受信した顔データの画像を表示装置に表示する。端末装置6aの制御部31は、警報情報の受信に応じて、スピーカ等の音声出力装置からアラーム音を出力してもよい。
【0136】
端末装置6aは、サーバ5から送信された警報情報と乗客の顔データとを端末装置6bに送信する(ステップS23)。端末装置6bの制御部は、端末装置6aから受信した顔データの画像を表示装置に表示する。端末装置6bの制御部は、警報情報の受信に応じて、スピーカ等の音声出力装置からアラーム音を出力してもよい。
【0137】
なお、
図12には示していないが、サーバ5の制御部は、警報情報と、ゲートG1に現れなかった乗客の顔データとを入館システムに送信してもよい。
【0138】
このように、サーバ4,5(情報処理装置)は、監視カメラ3の画像データと、抽出した37度温以上の体温の乗客の画像データとが一定時間経過しても一致しなかった場合、警報情報を生成する。これにより、検疫官は、飛行機A1a,A1bを降りた後、ゲートG1に来ていない発熱者を探すことができる。
【0139】
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0140】
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0141】
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【0142】
本開示の検疫システムは、サーモカメラを用いて検疫を行う検疫システムに有用である。
【符号の説明】
【0143】
1a,1b サーモカメラ
2a,2b,3,71,72 監視カメラ
4,5 サーバ
6a,6b 端末装置
11 撮像部
12,21,31 制御部
13,22 通信部
14,23,35 記憶部
32 入力部
33 表示部
34 通信部
A1a,A1b 飛行機
B1a,B1b 場所