特許 7231811 情報処理システム、及びその制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-21

(45)【発行日】2023-03-02

(54)【発明の名称】情報処理システム、及びその制御方法、プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230222BHJP

   G08B 21/02 20060101ALI20230222BHJP

   G08B 25/00 20060101ALI20230222BHJP

   G08B 25/04 20060101ALI20230222BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G08B21/02

G08B25/00 510M

G08B25/04 K

【請求項の数】 12

(21)【出願番号】P 2018124854

(22)【出願日】2018-06-29

(65)【公開番号】P2020005180

(43)【公開日】2020-01-09

【審査請求日】2021-06-25

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】陽 政典

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１２－２３５４１５（ＪＰ，Ａ）

【文献】特開２０１０－２５８７０４（ＪＰ，Ａ）

【文献】特開２０１１－６７３７１（ＪＰ，Ａ）

【文献】特開２００９－２３９４６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １９／００－２１／２４

Ｇ０８Ｂ ２３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

可視画像を撮影可能なカメラで撮影された画像を取得する第１の取得手段と、
前記第１の取得手段で取得された前記画像に含まれる人物の体の温度を、サーモグラフィカメラで撮影された熱画像に基づいて取得する第２の取得手段と、
前記第２の取得手段で取得された温度が所定の条件よりも高いか否かを判定する判定手段と、
前記第２の取得手段で過去に温度が取得された複数の人物のそれぞれについて、前記第２の取得手段で取得された温度に基づく表示を行うように制御する表示制御手段と、
を有し、
前記表示制御手段は、
前記複数の人物のそれぞれについての、前記第２の取得手段で取得された温度に基づく表示であって、前記判定手段での判定結果に基づく表示を、前記カメラで前記複数の人物のそれぞれが撮影された時間帯を示すタイムラインに対応づけて表示するように制御し、
前記所定の条件よりも高いと判定された人物の識別情報、及び／又は前記所定の条件よりも高いと判定された人物の温度であって前記第２の取得手段で取得された温度を、前記タイムラインに対応付けて表示するように制御する
ことを特徴とする情報処理システム。

【請求項2】

前記所定の条件は、人物ごとの平熱に基づく条件であることを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記表示制御手段は、前記複数の人物のそれぞれについて、前記判定手段での判定結果を識別可能に表示するように制御することを特徴とする請求項１または２に記載の情報処理システム。

【請求項4】

前記表示制御手段は、前記複数の人物のうち、前記第２の取得手段で取得された温度が前記所定の条件よりも高いと前記判定手段で判定された人物について、前記第２の取得手段で取得された温度も表示するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

前記表示制御手段は、前記複数の人物のうち、前記第２の取得手段で取得された温度が前記所定の条件よりも高いと前記判定手段で判定された人物について、当該人物の識別情報も表示するように制御することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。

【請求項6】

前記表示制御手段は、前記複数の人物のそれぞれについての、前記第２の取得手段で取得された温度に基づく表示を、１画面に表示するように制御することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。

【請求項7】

前記第１の取得手段で取得した前記画像に含まれる人物を認証する認証手段をさらに有し、
前記第２の取得手段は、前記画像に含まれる人物が認証された場合に、認証された人物の身体の温度を前記熱画像に基づいて取得することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。

【請求項8】

前記認証手段で、前記画像に含まれる人物が認証された場合に、認証された人物の身体の特定の部位を、前記画像を解析することによって特定する特定手段をさらに有し、
前記第２の取得手段は、前記熱画像のうち、前記特定手段で特定された部位に対応する領域に基づいて、前記画像に含まれる人物の体の温度を取得することを特徴とする請求項７に記載の情報処理システム。

【請求項9】

前記第２の取得手段で過去に温度が取得された複数の人物のそれぞれに関連付けて、前記第１の取得手段で取得された前記画像、前記熱画像、前記第２の取得手段で取得された温度を記録するように制御する記録制御手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。

【請求項10】

前記カメラはネットワークカメラであることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。

【請求項11】

可視画像を撮影可能なカメラで撮影された画像を取得する第１の取得工程と、
前記第１の取得工程で取得された前記画像に含まれる人物の体の温度を、サーモグラフィカメラで撮影された熱画像に基づいて取得する第２の取得工程と、
前記第２の取得工程で取得された温度が所定の条件よりも高いか否かを判定する判定工程と、
前記第２の取得工程で過去に温度が取得された複数の人物のそれぞれについて、前記第２の取得工程で取得された温度に基づく表示を行うように制御する表示制御工程と、
を有し、
前記表示制御工程は、
前記複数の人物のそれぞれについての、前記第２の取得工程で取得された温度に基づく表示であって、前記判定工程での判定結果に基づく表示を、前記カメラで前記複数の人物のそれぞれが撮影された時間帯を示すタイムラインに対応づけて表示するように制御し、
前記所定の条件よりも高いと判定された人物の識別情報、及び／又は前記所定の条件よりも高いと判定された人物の温度であって前記第２の取得工程で取得された温度を、前記タイムラインに対応付けて表示するように制御する
ことを特徴とする情報処理システムの制御方法。

【請求項12】

少なくとも１つのコンピュータを、請求項１乃至１０のいずれか１項に記載された情報処理システムの各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、及びその制御方法、プログラムに関し、特に、人物の温度に関して注目すべきユーザを容易に確認可能にするための技術に関する。

【背景技術】

【0002】

従来、例えば、衛生管理上の観点から、食品工場などの工場内に、発熱している病気の人物が入らないようにするために、工場に入る前の検査室で、工場に入るスタッフが、各自自身の体温をスティック型の体温計で測定している。そして、所定の温度以上であれば、工場に入らないようにする運用が行われている。

【0003】

しかしながら、従来、そのような運用で計測すると、体温計の計測結果が出るまで時間がかかり、検査室で大勢が滞留してしまっていた。また、発熱している病気の人物が入らないように監査する監査者は、各自の体温計を確認しなければならず、その作業が煩雑であった。

【0004】

特許文献１には、サーモグラフィカメラにより生成される温度分布画像データから、サーモグラフィカメラによる監視対象領域内の被監視者の有無を判定することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－２５０５１６号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

本発明の目的は、人物の温度に関して注目すべき人物を容易に確認可能にするための仕組みを提供することである。

【課題を解決するための手段】

【0007】

本発明の情報処理システムは、
可視画像を撮影可能なカメラで撮影された画像を取得する第１の取得手段と、
前記第１の取得手段で取得された前記画像に含まれる人物の体の温度を、サーモグラフィカメラで撮影された熱画像に基づいて取得する第２の取得手段と、
前記第２の取得手段で取得された温度が所定の条件よりも高いか否かを判定する判定手段と、
前記第２の取得手段で過去に温度が取得された複数の人物のそれぞれについて、前記第２の取得手段で取得された温度に基づく表示を行うように制御する表示制御手段と、
を有し、
前記表示制御手段は、
前記複数の人物のそれぞれについての、前記第２の取得手段で取得された温度に基づく表示であって、前記判定手段での判定結果に基づく表示を、前記カメラで前記複数の人物のそれぞれが撮影された時間帯を示すタイムラインに対応づけて表示するように制御し、
前記所定の条件よりも高いと判定された人物の識別情報、及び／又は前記所定の条件よりも高いと判定された人物の温度であって前記第２の取得手段で取得された温度を、前記タイムラインに対応付けて表示するように制御する
ことを特徴とする。

【発明の効果】

【0014】

本発明によれば、人物の温度に関して注目すべき人物を容易に確認可能にすることができる。

【図面の簡単な説明】

【0015】

【図1】本発明の情報処理システムのシステム構成の一例を示すである。

【図2】図１に示すサーバ１０３、及びクライアント端末１０４に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。

【図3】ネットワークカメラ１０１のハードウェアの構成を示す構成図である。

【図4】工場４０４に入る前の検査室４０２の一例を示す図である。

【図5】ネットワークカメラ１０１、サーモグラフィカメラ１０２、サーバ１０３が実行する処理の一例を示すフローチャートである。

【図6】クライアント端末１０４が実行する処理の一例を示すフローチャートである。

【図7】サーバ１０３の外部メモリ等の記憶手段に記憶されている各種データの一例を示す図である。

【図8】クライアント端末１０４の表示部（ディスプレイ装置２１０）に表示される表示画面８０１の一例である。

【図9】クライアント端末１０４の表示部（ディスプレイ装置２１０）に表示される表示画面８０１の一例である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0017】

図１は、本発明の情報処理システムのシステム構成の一例を示すである。

【0018】

図１に示す情報処理システムは、ネットワークカメラ１０１と、サーモグラフィカメラ１０２と、サーバ１０３と、クライアント端末１０４とがネットワーク１０５を介して相互に通信可能に接続され構成されている。

【0019】

ネットワークカメラ１０１は、例えば、図４に示すように、食品工場等の工場４０４内に入る前に身体検査や身体の清浄を行う部屋である検査室４０２内に設けられており、検査室４０１内に入ってきた人物や物体を撮影して、映像（可視画像）を生成することができる。

【0020】

また、サーモグラフィカメラ１０２は、物体や人物から放射される赤外線を解析して、熱分布を図として表した映像（熱画像）を生成することができる。

【0021】

また、サーバ１０３は、ネットワークカメラ１０１、サーモグラフィカメラ１０２から送信された各映像を受信して、映像解析して、その解析結果と共に、当該各映像をクライアント端末１０４に送信する機能を備えている。また、サーバ１０３は、当該各映像をメモリに録画する機能を備えており、図７に示す各テーブル（情報）をメモリ（記憶手段）に記憶している。

【0022】

クライアント端末１０４は、ネットワークカメラ１０１、サーモグラフィカメラ１０２が生成した映像を受信して表示する機能を備えている。

【0023】

クライアント端末１０４は、検査室４０２を通る人物が病気にかかっていないかを確認する監査者（ユーザ）が操作、及び閲覧する情報処理装置である。

【0024】

サーバ１０３、及びクライアント端末１０４は、コンピュータ等の情報処理装置である。

【0025】

図２は、図１に示すサーバ１０３、及びクライアント端末１０４に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。

【0026】

図２に示すように、情報処理装置は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、および通信Ｉ／Ｆコントローラ２０８が接続される。

【0027】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0028】

ＲＯＭ２０３あるいは外部メモリ２１１等の記憶装置は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0029】

ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0030】

入力コントローラ２０５は、入力装置２０９（入力デバイス）からの入力を制御する。入力装置２０９としては、キーボード、タッチパネル、マウス等のポインティングデバイス等が挙げられる。

【0031】

なお、入力装置２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0032】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0033】

ビデオコントローラ２０６は、ディスプレイ装置２１０などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、入力装置２０９を提供する。

【0034】

なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０２の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0035】

メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）などのメモリ等を利用可能である。

【0036】

通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信、Ｗｉ－Ｆｉ、および３Ｇ回線、ＬＴＥ回線を用いた通信が可能である。

【0037】

なお、外部メモリ２１１等の記憶装置は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

【0038】

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

【0039】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0040】

次に、図３を用いて、図１に示したネットワークカメラ１０１（情報処理装置）、サーモグラフィカメラ１０２のハードウェア構成の一例について説明する。

【0041】

図３は、ネットワークカメラ１０１のハードウェアの構成を示す構成図である。

【0042】

ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。

【0043】

ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。

【0044】

メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。

【0045】

ネットワークカメラ１０１におけるカメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。

【0046】

ネットワークカメラ１０１における画像処理部３０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。

【0047】

また、サーモグラフィカメラ１０２におけるカメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過した赤外線（赤外光）を受光する受光部により受光して、光電変換を行った後、その信号を画像処理部３０８に対して出力する。

【0048】

サーモグラフィカメラ１０２における画像処理部３０８は、当該信号を解析して、熱分布を図として表した映像（熱画像）を生成する。そして、所定の圧縮形式で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。

【0049】

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。

【0050】

次に、図４に示す工場４０４に入る前の検査室４０２について説明する。

【0051】

図４は、工場４０４に入る前の検査室４０２の一例を示す図である。

【0052】

図４に示す通り検査室の入り口には、検査室出入口ドア４０１が設けられており、検査室出入口ドア４０１を開けて工場４０４内で働く人物（ユーザ）が検査室４０２に入ってこれるように構成されている。

【0053】

検査室４０２内には、ネットワークカメラ１０１と、サーモグラフィカメラ１０２とが設けられており、これらのカメラが、検査室出入口ドア４０１を開けて入ってきた人物や物体を撮影することが出来るように配置されている。

【0054】

ネットワークカメラ１０１と、サーモグラフィカメラ１０２とは、ほぼ同一の画角になるように設けることが好ましいが、画角が異なっていてもよい。

【0055】

工場出入口ドア４０３は、検査室４０２と工場４０４との間に設けられたドアであり、所定値以上発熱していない人物であることが確認された場合に、施錠部４０５のロックが解除され開錠されることで、人物が工場４０４内に入ることが出来るように構成されている。

【0056】

次に、図５に示すフローチャートを用いて、ネットワークカメラ１０１、サーモグラフィカメラ１０２、サーバ１０３が実行する処理について説明する。

【0057】

図５は、ネットワークカメラ１０１、サーモグラフィカメラ１０２、サーバ１０３が実行する処理の一例を示すフローチャートである。

【0058】

図５に示すＳ５０１、Ｓ５０２の各ステップの処理は、ネットワークカメラ１０１のＣＰＵが、外部メモリ等の記憶手段に格納されたプログラムをＲＡＭにロードして実行することにより実現される。

【0059】

図５に示すＳ５０３、Ｓ５０４の各ステップの処理は、サーモグラフィカメラ１０２のＣＰＵが、外部メモリ等の記憶手段に格納されたプログラムをＲＡＭにロードして実行することにより実現される。

【0060】

図５に示すＳ５０５～５２１の各ステップの処理は、サーバ１０３のＣＰＵが、外部メモリ等の記憶手段に格納されたプログラムをＲＡＭにロードして実行することにより実現される。

【0061】

まず、ネットワークカメラ１０１は、検査室４０２内の撮影を行い（Ｓ５０１）、当該撮影された映像（可視画像）をサーバ１０３に送信する（Ｓ５０２）。そして、処理をＳ５０１に戻す。

【0062】

また、サーモグラフィカメラ１０２も、同時期又はほぼ同時期に、検査室４０２内の撮影を行い（Ｓ５０３）、当該撮影された映像（熱画像）をサーバ１０３に送信する（Ｓ５０４）。そして、処理をＳ５０３に戻す。

【0063】

サーバ１０３は、ネットワークカメラ１０１で撮影された映像（可視画像）を受信する（Ｓ５０５）。Ｓ５０５は、本発明の取得手段の適用例であり、ネットワークカメラが撮影した人物を含む画像を取得する。

【0064】

また、サーバ１０３も、同時期又はほぼ同時期に、サーモグラフィカメラ１０２で撮影された映像（熱画像）を受信する（Ｓ５２１）。

【0065】

Ｓ５０５とＳ５２１の処理は、同時期又はほぼ同時期に実行されるため、並行して処理される（並行処理として実行される）。

【0066】

サーバ１０３は、ネットワークカメラ１０１で撮影された映像（可視画像）を解析して、当該可視画像に映っている人物を検出する処理を行う（Ｓ５０６）。ここでは、例えば、ＡＩなどの人工知能や、顔認証技術などを用いて、可視画像に映っている人物を検出する処理を行う。

【0067】

そして、サーバ１０３は、Ｓ５０６で、当該可視画像に映っている人物を検出することができたか否かについて判定する（Ｓ５０７）。人物を検出していないと判定された場合には（ＮＯ）、処理をＳ５０５に戻す。また、人物を検出したと判定された場合には（ＹＥＳ）、処理をＳ５０８に移行する。

【0068】

サーバ１０３は、Ｓ５０７で人物を検出したと判定された場合に、施錠部４０５に対してロック指示を出して、施錠部４０５が当該指示に基づいて工場出入り口ドア４０３を施錠（ロック）する（Ｓ５０８）。また、既に、ロック済みであれば、ロックを維持するように制御する。

【0069】

次に、サーバ１０３は、Ｓ５０５で取得した映像（可視画像）を解析して人物を認証する人物認証処理を行う。人物認証処理としては、例えば、顔認証処理を行う。

【0070】

サーバ１０３は、Ｓ５０５で取得した映像（可視画像）に映っている顔画像やその顔特徴量と、顔認証テーブル７０１に記憶されている顔画像や顔特徴量とをもとに、Ｓ５０５で取得した映像（可視画像）に映っている人物を特定する。ここでは、顔情報テーブル７０１をもとに当該人物の社員番号や氏名を特定する（Ｓ５０９）。ここで、社員番号や氏名は、人物を識別するための識別情報の一例である。
Ｓ５０９は、本発明の識別情報取得手段（又は取得手段）の適用例であり、ネットワークカメラが撮影した画像に含まれる人物の識別情報を取得する。

【0071】

サーバ１０３は、Ｓ５０９における人物認証処理の結果、可視画像に含まれる人物が認証されたか（当該人物の社員番号や氏名を特定できたか）否かを判定する（Ｓ５１０）。

【0072】

そして、サーバ１０３は、可視画像に含まれる人物が認証された（当該人物の社員番号や氏名を特定できた）と判定された場合には（ＹＥＳ）、処理をＳ５１１に移行して、認証されなかった（社員番号や氏名を特定できなかった）と判定された場合には（ＮＯ）、処理をＳ５０５に移行する。

【0073】

次に、サーバ１０３は、Ｓ５０５で取得した可視画像を解析して、Ｓ５０９で認証された人物の所定の身体の部位（例えば、顔や、首、手など）を特定する（Ｓ５１１）。ここで特定する部位は、サーモグラフィカメラ１０２が体温を測るのに適した身体の部位である。
Ｓ５１１は、本発明の特定手段の適用例であり、取得手段により取得した画像に含まれる人物の所定の位置を特定する。

【0074】

そして、サーバ１０３は、Ｓ５１１で特定された所定の身体の部位における熱画像の領域を特定する（Ｓ５１２）。対応位置テーブル７０４には、ネットワークカメラ１０１で撮影される可視画像における各位置と、サーモグラフィカメラ１０２で撮影される熱画像における各位置とが対応付けられて記憶されており、サーバ１０３は、このテーブルを用いて、Ｓ５１１で特定された所定の身体の部位の、可視画像における位置に対応する、熱画像における位置（熱画像の領域）を特定する。

【0075】

そして、サーバ１０３は、熱画像の色から、当該特定された熱画像の領域における温度（Ｓ５０９で認証された人物の体温）を取得する（Ｓ５１３）。
Ｓ５１３は、本発明の温度取得手段の適用例であり、特定手段により特定された位置に対応する、熱画像の位置の温度を取得する。

【0076】

サーバ１０３は、Ｓ５１３で取得した温度が、所定の条件を満たしているか否かを判定する（Ｓ５１４）。

【0077】

ここで、所定の条件の一例を図７の７０２に示す。

【0078】

図７の７０２には、『体温が３８℃以上であること』、又は『平熱よりも２℃以上高いこと』が、所定の条件として登録されている。

【0079】

サーバ１０３は、社員ごと（社員番号、及び社員名ごと）の平熱を、平熱テーブル７０３に示すように記憶している。そのため、サーバ１０３は、Ｓ５０９で認証された人物の社員番号、及び社員名に対応する平熱を取得して、当該平熱よりも、Ｓ５１３で取得した温度が２℃以上高いか否かを判定することができる。

【0080】

また、図７に示す所定の条件７０２では、『体温が３８℃以上であること』、又は『平熱よりも２℃以上高いこと』を示しているが、他の条件であってもよく、この３８℃や２℃以外の温度であってもよい。
また、７０４は、本発明の所定の条件の適用例であり、熱画像をもとに取得された人物の温度が、所定の温度以上（例えば３８℃以上）であること、又は、熱画像をもとに取得された人物の温度が、人物の平熱よりも所定温度以上高い（例えば２℃以上高い）ことを条件として含む。

【0081】

サーバ１０３は、Ｓ５１３で取得した温度が、所定の条件を満たしていると判定された場合には（Ｓ５１４：ＹＥＳ）、処理をＳ５１５に移行し、一方、満たしていないと判定された場合には（Ｓ５１４：ＮＯ）、処理をＳ５１８に移行する。

【0082】

サーバ１０３は、Ｓ５０９で認証された人物を識別するための識別情報（例えば、社員番号や氏名（社員名））と、Ｓ５１３で取得（計測）された当該人物の温度と、Ｓ５０５、Ｓ５２１で取得された映像の撮影日時（現在日時）と、Ｓ５０５で取得された映像（可視画像）と、Ｓ５２１で取得された映像（熱画像）とアラート情報と関連付けて映像管理テーブル７０５に登録する（Ｓ５１５）。ここで、アラート情報とは、Ｓ５１４で所定の条件を満たすと判定された条件を満たしていること、及び正確な体温を計測するために体温計で計測すべき旨を通知する内容が登録される。

【0083】

次に、サーバ１０３は、Ｓ５０９で認証された人物の識別情報（例えば、社員番号や氏名（社員名））と、Ｓ５１３で取得（計測）された当該人物の温度と、当該登録されたアラート情報とをＳ５０５で取得した可視画像、及びＳ５２１で取得した熱画像に重畳表示させた映像を生成して、クライアント端末１０４に送信する（Ｓ５１６）。

【0084】

ここでは、サーバ１０３が、Ｓ５０９で認証された人物の識別情報（例えば、社員番号や氏名（社員名））と、Ｓ５１３で取得（計測）された当該人物の温度と、当該登録されたアラート情報とをＳ５０５で取得した可視画像、及びＳ５２１で取得した熱画像に重畳表示させた映像を生成する例について説明したが、重畳表示させずに、単に、Ｓ５０９で認証された人物の識別情報（例えば、社員番号や氏名（社員名））と、Ｓ５１３で取得（計測）された当該人物の温度と、当該登録されたアラート情報と、Ｓ５０５で取得した可視画像と、及びＳ５２１で取得した熱画像と、をクライアント端末１０４に送信してもよい。

【0085】

また、サーバ１０３は、Ｓ５１４で所定の条件を満たすと判定された場合には（ＹＥＳ）、施錠部４０５に対してロック指示を出して、施錠部４０５が当該指示に基づいて工場出入り口ドア４０３を施錠（ロック）する（Ｓ５１７）。また、既に、ロック済みであれば、ロックを維持するように制御する。そして、処理をＳ５０５、Ｓ５２１に戻す。

【0086】

サーバ１０３は、Ｓ５１３で取得した温度が、所定の条件を満たしていないと判定された場合には（Ｓ５１４：ＮＯ）、Ｓ５０９で認証された人物を識別するための識別情報（例えば、社員番号や氏名（社員名））と、Ｓ５１３で取得（計測）された当該人物の温度と、Ｓ５０５、Ｓ５２１で取得された映像の撮影日時（現在日時）と、Ｓ５０５で取得された映像（可視画像）と、Ｓ５２１で取得された映像（熱画像）とを関連付けて映像管理テーブル７０５に登録する（Ｓ５１８）。ここでは、アラート情報は関連付けて登録しない。

【0087】

次に、サーバ１０３は、Ｓ５０９で認証された人物の識別情報（例えば、社員番号や氏名（社員名））と、Ｓ５１３で取得（計測）された当該人物の温度と、をＳ５０５で取得した可視画像、及びＳ５２１で取得した熱画像に重畳表示させた映像を生成して、クライアント端末１０４に送信する（Ｓ５１９）。

【0088】

ここでは、サーバ１０３が、Ｓ５０９で認証された人物の識別情報（例えば、社員番号や氏名（社員名））と、Ｓ５１３で取得（計測）された当該人物の温度と、をＳ５０５で取得した可視画像、及びＳ５２１で取得した熱画像に重畳表示させた映像を生成する例について説明したが、重畳表示させずに、単に、Ｓ５０９で認証された人物の識別情報（例えば、社員番号や氏名（社員名））と、Ｓ５１３で取得（計測）された当該人物の温度と、Ｓ５０５で取得した可視画像と、及びＳ５２１で取得した熱画像と、をクライアント端末１０４に送信してもよい。

【0089】

また、サーバ１０３は、Ｓ５１４で所定の条件を満たさないと判定された場合には（ＮＯ）、施錠部４０５に対してロック解除の指示を出して、施錠部４０５が当該指示に基づいて工場出入り口ドア４０３を開錠（ロック解除）する（Ｓ５２０）。そして、処理をＳ５０５、Ｓ５２１に戻す。

【0090】

次に、図６に示すフローチャートを用いて、クライアント端末１０４が実行する処理について説明する。

【0091】

図６は、クライアント端末１０４が実行する処理の一例を示すフローチャートである。

【0092】

図６に示す各ステップの処理は、クライアント端末１０４のＣＰＵが、外部メモリ等の記憶手段に格納されたプログラムをＲＡＭにロードして実行することにより実現される。

【0093】

クライアント端末１０４は、サーバ１０３から、Ｓ５１６、又はＳ５１９で送信された映像やデータを受信する。

【0094】

そして、クライアント端末１０４は、現在の表示モードが、可視画像の表示モードか、熱画像の表示モードかを判定する（Ｓ６０２）。

【0095】

図８は、クライアント端末１０４の表示部（ディスプレイ装置２１０）に表示される表示画面８０１の一例である。

【0096】

図８に示す表示画面８０１には、可視画像の表示を行う可視画像の表示モードのボタン８０５と、熱画像の表示を行う熱画像の表示モードのボタン８０６とが設けられている。このいずれかのボタンがユーザにより押下されたかを判定することで、現在の表示モードが、可視画像の表示モードか、熱画像の表示モードかを判定することができる。

【0097】

クライアント端末１０４は、現在の表示モードが、可視画像の表示モードであると判定された場合には、処理をＳ６０３に移行して、可視画像を表示画面８０１に表示し（例えば、図８）、一方、現在の表示モードが、熱画像の表示モードであると判定された場合には、処理をＳ６０４に移行して熱画像を表示画面８０１に表示する（例えば、図９）。して、処理をＳ６０１に戻す。

【0098】

図８は、Ｓ６０３で表示される表示画面の一例を示す図である。

【0099】

また、図９は、Ｓ６０４で表示される表示画面の一例を示す図である。

【0100】

図８に示すように、タイムライン８０２には、Ｓ５０１で人物認証できた時間帯が色帯で識別表示されており、Ｓ５１４で所定の条件を満たすと判定された人物（図８の例では田中と緒方）と、Ｓ５１４で所定の条件を満たさないと判定された人物（図８の例では、木村と山田）とが認識できるように識別可能に表示されている。図８の例では、タイムラインの色を変えて識別表示しているが、色ではなく模様やマークなどを付けて識別表示するようにしてもよい。Ｓ５１４で所定の条件を満たすと判定された人物のタイムラインには、その人物の氏名など（Ｓ５０９で特定された識別情報）や、Ｓ５１３で取得した体温が認識できるようにデータ８０３Ａや８０３Ｂが表示されている。
このように、本発明の表示制御手段は、所定の条件を満たした人物の識別情報、及び／又は所定の条件を満たした人物の温度であって熱画像をもとに取得された人物の温度を、当該人物が撮影された時間帯のタイムラインに対応して表示する。

【0101】

これにより、監査者は、タイムライン８０２を見ただけで、どの時間帯に、所定の条件を満たした人が誰で、何度だったのかを把握することができ、効率的に、閲覧すべき過去の映像を確認することができるようになる。

【0102】

また、図８の表示画面８０１には、Ｓ５１１で特定された所定の部位を計測領域８０７として表示している。また、図８の表示画面８０１には、Ｓ５０６で検出された人物に対応して、当該人物の近傍に、その人物の氏名など（Ｓ５０９で特定された識別情報）や、Ｓ５１３で取得した体温のデータ８０３Ｂが可視画像に重畳して表示されている。また、Ｓ５１５で登録されたアラート情報８０４も可視画像に重畳して表示される。

【0103】

クライアント端末１０４は、ボタン８０６が押下されると、図９に示す表示画面８０１を表示する。図９に示す表示画面８０１は、熱画像が表示されている。

【0104】

図９に示す表示画面８０１の計測領域８０７は、Ｓ５１２で特定された熱画像の領域（位置）を示している。

【0105】

このように、図８に示す可視画像の計測領域８０７と、図９に示す熱画像の計六領域８０７とを表示することができるため、監査者は、服などの誤った個所を計測していないことを確認することができるようになる。

【0106】

また、他の表示項目は、図８と同様であるため、ここでは説明を省略する。

【0107】

Ｓ５１９、Ｓ５１６、Ｓ６０４、Ｓ６０３は、本発明の表示制御手段の適用例である。
表示制御手段は、取得手段により取得された画像と、サーモグラフィカメラが撮影した熱画像をもとに取得された人物の温度とを表示するように制御する。また、表示制御手段は、取得手段により取得した画像と、温度と、識別情報取得手段により取得された識別情報とを表示する。
また、表示制御手段は、温度取得手段により取得された温度を表示するように制御する。
また、Ｓ５１６、Ｓ５１９、Ｓ６０４の表示制御手段は、取得手段により取得された識別情報と、サーモグラフィカメラが撮影した人物の熱画像と、熱画像をもとに取得された人物の温度とを表示する。
また、Ｓ５１６、アラート情報８０４の表示処理は、本発明の出力手段の適用例であり、熱画像をもとに取得された人物の温度が所定の条件を満たす場合に、当該温度に係るアラートを出力する。
以上、本発明によれば、人物の温度に関して注目すべきユーザを容易に確認可能にすることができる。

【0108】

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0109】

また、本発明におけるプログラムは、図示したフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は当該処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは各装置の処理方法ごとのプログラムであってもよい。

【0110】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0111】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0112】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0113】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0114】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0115】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0116】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0117】

１０１ ネットワークカメラ
１０２ サーモグラフィカメラ１０２
１０３ サーバ
１０４ クライアント端末１０４
１０５ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】