(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023103219
(43)【公開日】2023-07-26
(54)【発明の名称】システムおよびプログラム等
(51)【国際特許分類】
H04N 7/18 20060101AFI20230719BHJP
H04N 23/63 20230101ALI20230719BHJP
G08B 25/00 20060101ALI20230719BHJP
【ＦＩ】
H04N7/18 D
H04N7/18 V
H04N7/18 N
H04N23/63
G08B25/00 510M
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023063980
(22)【出願日】2023-04-11
(62)【分割の表示】P 2018229049の分割
【原出願日】2018-12-06
(71)【出願人】
【識別番号】391001848
【氏名又は名称】株式会社ユピテル
(72)【発明者】
【氏名】高橋 圭三
(72)【発明者】
【氏名】西村 真一
(72)【発明者】
【氏名】清水 勇喜
(72)【発明者】
【氏名】依藤 勇規
(57)【要約】
【課題】可視光画像とは異なる特性を有する画像データを取得可能な撮像装置が撮像する情報を利用すること等を目的とする。
【解決手段】システムは、可視光画像とは異なる特性を有する画像データを取得可能な特殊撮像装置で撮像対象を撮像した入力情報を受け、前記入力情報を用いて所定の処理を実施する制御手段２００を備える。
【選択図】図１
【解決手段】システムは、可視光画像とは異なる特性を有する画像データを取得可能な特殊撮像装置で撮像対象を撮像した入力情報を受け、前記入力情報を用いて所定の処理を実施する制御手段２００を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
サーモ映像の中の各ターゲットの温度に関する表示を行うシステムであって、
前記サーモ映像に各ターゲットの温度の現在値を数値で表示する機能と、
前記第一の画面とは異なる表示方法で前記各ターゲットの温度に関する表示を行う機能とを備えること
を特徴とするシステム。
前記サーモ映像に各ターゲットの温度の現在値を数値で表示する機能と、
前記第一の画面とは異なる表示方法で前記各ターゲットの温度に関する表示を行う機能とを備えること
を特徴とするシステム。
【請求項2】
前記前記第一の画面とは異なる表示方法として、同一時刻の前記各ターゲットの温度を並べて表形式で表示する機能を備えること
を特徴とする請求項１に記載のシステム。
を特徴とする請求項１に記載のシステム。
【請求項3】
前記前記第一の画面とは異なる表示方法として、前記各ターゲットの温度を１つのグラフ内に表示する機能を備えること
を特徴とする請求項１または２に記載のシステム。
を特徴とする請求項１または２に記載のシステム。
【請求項4】
請求項１～３のいずれかに記載のシステムの機能をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばシステムおよびプログラム等に関する。
【背景技術】
【0002】
従来から、監視カメラ等により撮像した可視光画像を用いて、監視等を行うシステムが開発されている（例えば、特許文献１）。
しかしながら、可視光画像を解析することは容易ではなかった。一方で、遠赤外線を用いる熱画像検査装置等は、可視光画像とは異なる特性を有する画像データを取得可能であり、これらの画像は、有用な情報を有するものの、充分利用されているとは言えない。
しかしながら、可視光画像を解析することは容易ではなかった。一方で、遠赤外線を用いる熱画像検査装置等は、可視光画像とは異なる特性を有する画像データを取得可能であり、これらの画像は、有用な情報を有するものの、充分利用されているとは言えない。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７‐１３５４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、例えば、可視光画像とは異なる特性を有する画像データを取得可能な撮像装置が撮像する情報を利用すること等、従来のものよりも優れたものを提供することを目的とする。
【0005】
本願の発明の目的はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」と記載した箇所を「～が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正または分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。
【課題を解決するための手段】
【0006】
（１）可視光画像とは異なる特性を有する画像データを取得可能な特殊撮像装置で撮像対象を撮像した入力情報を受け、前記入力情報を用いて所定の処理を実施する制御手段を備えるシステムとするとよい。
【0007】
このようにすれば、可視光画像とは異なる特性を用いて、撮像対象に関する情報を取得することができる。
【0008】
「可視光画像」は、例えば、ヒトが視認できる画像とするとよい。「可視光画像」は、例えば、一般的なデジタルカメラなどの可視光を撮像する撮像装置（以降、適宜「可視光撮像装置」、「可視光用の撮像装置」、または「可視光カメラ」等とも称する）で撮像した画像とするとよい。「可視光画像」は、例えば、二以上の画素（「ピクセル」とも称する）を有する画像データとするとよい。画素は、例えば、デジタル画像を構成する、色情報を持つ最小単位の点とするとよい。画素数は、後述する固体撮像素子の数とするとよい。
【0009】
「可視光画像」は、例えば、可視光領域をカラーフィルター等で、赤・緑・青に分光し、それぞれを取得した２次元の画像データとするとよい。
「可視光画像」は、例えば、撮像対象を、レンズを介して固体撮像素子上に結像させて得た赤・緑・青（ＲＧＢ）の三種類の画像を重ね合わせた画像データとするとよい。固体撮像素子は、例えば、ＣＣＤ（charge coupled device：電荷結合素子）、または、ＣＭＯＳ（complementary metal oxide semiconductor：相補型金属酸化膜半導体）とするとよい。
「可視光画像」は、例えば、撮像対象を、レンズを介して固体撮像素子上に結像させて得た赤・緑・青（ＲＧＢ）の三種類の画像を重ね合わせた画像データとするとよい。固体撮像素子は、例えば、ＣＣＤ（charge coupled device：電荷結合素子）、または、ＣＭＯＳ（complementary metal oxide semiconductor：相補型金属酸化膜半導体）とするとよい。
【0010】
「可視光線」は、例えば、電磁波のうち、ヒトの目で見える波長のものとするとよい。可視光線以外の電磁波は、例えば、赤外線、紫外線とするとよい。
【0011】
「特殊撮像装置」は、例えば、可視光線以外の電磁波を撮像する撮像装置、マルチスペクトルカメラ、ハイパースペクトルカメラ、距離画像カメラ、または、これらの二つ以上を組み合わせたものとするとよい。
【0012】
「可視光線以外の電磁波を撮像する撮像装置」は、例えば、撮像対象から放射される赤外線を計測し、これを温度に変換した温度分布を画像として表示する熱画像検査装置（適宜「サーモカメラ」とも称する）とするとよい。
【0013】
「マルチスペクトルカメラ」および「ハイパースペクトルカメラ」は、例えば、Ｘ方向とＹ方向の２次元情報に加え、波長情報としてＺ方向に複数のスペクトルバンド（分光帯）を持つカメラとするとよい。
「マルチスペクトルカメラ」は、例えば、多数バンドの画像データが取得できるカメラのうち、バンド数が数十バンドのものまでとするとよい。
「ハイパースペクトルカメラ」は、例えば、多数バンドの画像データが取得できるカメラのうち、マルチスペクトルカメラを超えるバンド数が取得できるものとするとよい。
「マルチスペクトルカメラ」は、例えば、多数バンドの画像データが取得できるカメラのうち、バンド数が数十バンドのものまでとするとよい。
「ハイパースペクトルカメラ」は、例えば、多数バンドの画像データが取得できるカメラのうち、マルチスペクトルカメラを超えるバンド数が取得できるものとするとよい。
【0014】
「距離画像カメラ」は、例えば、撮像空間内の対象物を複数の画素でリアルタイムに計測する装置とするとよい。「距離画像カメラ」は、例えば、太陽光や影の影響を受けることなく暗闇でも対象物までの距離情報を立体的に取得できるとよい。
【0015】
「撮像対象」は、例えば、所望の物とするとよい。「撮像対象」は、例えば、所望の物が存在する所定の領域とするとよい。「撮像対象」は、例えば、所定の領域に存在する一つ以上の物とするとよい。「所定の領域」は、特殊撮像装置の撮像範囲に応じて定めるとよい。
一例として、以下を撮像対象とするとよい。
・監視対象とする領域、または、監視対象とする領域に存在する物
・工場、居室または車内などの屋内に存在する物
・特殊撮像装置が撮影可能な特性を用いて、検査する物
・特殊撮像装置により撮像した画像から導出される特性を利用可能な物
一例として、以下を撮像対象とするとよい。
・監視対象とする領域、または、監視対象とする領域に存在する物
・工場、居室または車内などの屋内に存在する物
・特殊撮像装置が撮影可能な特性を用いて、検査する物
・特殊撮像装置により撮像した画像から導出される特性を利用可能な物
【0016】
「可視光画像とは異なる特性を有する画像データ」は、例えば、前述した特殊撮像装置により、撮像対象を撮像した画像とするとよい。「撮像対象を撮像した画像」は、例えば、二以上の画素を有するとよい。
「可視光画像とは異なる特性を有する画像データ」は、例えば、前述した特殊撮像装置により、撮像対象を撮像した画像を構成する二以上の画素について、可視光画像とは異なる特性を、画素毎に表すデータとするとよい。
「可視光画像とは異なる特性を有する画像データ」は、例えば、前述した特殊撮像装置により、撮像対象を撮像した画像を構成する二以上の画素について、可視光画像とは異なる特性を、画素毎に表すデータとするとよい。
【0017】
「入力情報」は、例えば、可視光画像とは異なる特性を有する画像データに基づく情報とするとよい。
「可視光画像とは異なる特性を有する画像データに基づく情報」は、例えば、前述した特殊撮像装置が撮像対象を撮像した、「可視光画像とは異なる特性を有する画像データ」とするとよい。一例として、特殊撮像装置を熱画像検査装置としたときに、前述した温度分布を表した画像とするとよい。
「可視光画像とは異なる特性を有する画像データに基づく情報」は、例えば、前述した特殊撮像装置が撮像対象を撮像した、「可視光画像とは異なる特性を有する画像データ」を処理した情報とするとよい。一例として、特殊撮像装置を熱画像検査装置としたときに、撮像対象から放射される赤外線を計測して温度に変換した数値などを、画素毎に表すなどの処理をした情報とするとよい。
「可視光画像とは異なる特性を有する画像データに基づく情報」は、例えば、前述した特殊撮像装置が撮像対象を撮像した、「可視光画像とは異なる特性を有する画像データ」とするとよい。一例として、特殊撮像装置を熱画像検査装置としたときに、前述した温度分布を表した画像とするとよい。
「可視光画像とは異なる特性を有する画像データに基づく情報」は、例えば、前述した特殊撮像装置が撮像対象を撮像した、「可視光画像とは異なる特性を有する画像データ」を処理した情報とするとよい。一例として、特殊撮像装置を熱画像検査装置としたときに、撮像対象から放射される赤外線を計測して温度に変換した数値などを、画素毎に表すなどの処理をした情報とするとよい。
【0018】
「入力情報」は、例えば、特殊撮像装置が撮像対象の全体を一度に撮像した画像とするとよい。
「入力情報」は、例えば、特殊撮像装置が撮像対象を複数に分割して撮像した複数の画像とするとよい。一例として、特殊撮像装置の視野角が、撮像対象の全体に対して狭い場合には、特殊撮像装置が撮像対象を分割して順番に撮像した画像としてもよい。
「入力情報」は、例えば、特殊撮像装置が撮像対象を複数に分割して撮像した複数の画像とするとよい。一例として、特殊撮像装置の視野角が、撮像対象の全体に対して狭い場合には、特殊撮像装置が撮像対象を分割して順番に撮像した画像としてもよい。
【0019】
「入力情報」は、例えば、定期的または所定のタイミングで制御手段に入力されるとよい。一例として、撮像対象を監視する場合には、予め設定した間隔で入力情報が制御手段に入力されるとよい。
「入力情報」は、例えば、利用者が要求したときに制御手段に入力されるとよい。一例として、特殊撮像装置が撮影可能な特性を用いて撮像対象を検査したい場合、または、撮像対象を特殊撮像装置が撮像した画像を利用したい場合などに、利用者の指示に基づいて、入力情報が制御手段に入力されるとよい。
「入力情報」は、例えば、利用者が要求したときに制御手段に入力されるとよい。一例として、特殊撮像装置が撮影可能な特性を用いて撮像対象を検査したい場合、または、撮像対象を特殊撮像装置が撮像した画像を利用したい場合などに、利用者の指示に基づいて、入力情報が制御手段に入力されるとよい。
【0020】
「所定の処理」は、例えば、撮像対象に関して、入力情報から可視光画像とは異なる特性を取得するとよい。
「所定の処理」は、例えば、可視光画像とは異なる特性を用いて、以下の処理の少なくとも一つを行うとよい。
・可視光画像とは異なる特性を可視化すること
・可視光画像とは異なる特性の少なくとも一部分を、視認し易くすること（着色、図形または文字の追加など）
・可視光画像とは異なる特性の少なくとも一部分と、撮像対象の可視光画像とを組み合わせること
・撮像対象の異常を検出すること
・撮像対象の異常を検出し、検出した異常を撮像対象の可視光画像に表すこと
・可視光画像とは異なる特性を用いて、撮像対象に固有の情報を提供すること（例えば、後述するコード）
・前述した撮像対象に固有の情報と、他の情報と比較すること（例えば、コードの照合）・前述した撮像対象に固有の情報と、他の情報とを関連づけること
「所定の処理」は、例えば、可視光画像とは異なる特性を用いて、以下の処理の少なくとも一つを行うとよい。
・可視光画像とは異なる特性を可視化すること
・可視光画像とは異なる特性の少なくとも一部分を、視認し易くすること（着色、図形または文字の追加など）
・可視光画像とは異なる特性の少なくとも一部分と、撮像対象の可視光画像とを組み合わせること
・撮像対象の異常を検出すること
・撮像対象の異常を検出し、検出した異常を撮像対象の可視光画像に表すこと
・可視光画像とは異なる特性を用いて、撮像対象に固有の情報を提供すること（例えば、後述するコード）
・前述した撮像対象に固有の情報と、他の情報と比較すること（例えば、コードの照合）・前述した撮像対象に固有の情報と、他の情報とを関連づけること
【0021】
（２）前記入力情報は、可視光画像とは異なる特性を有する画像データに基づく情報であり、前記制御手段は、前記撮像対象の可視光画像を受け、前記所定の処理は、前記入力情報を可視化した画像を生成し、前記可視化した画像の少なくとも一部分と前記可視光画像とを、前記撮像対象の位置を一致させて組み合わせた処理情報を生成するとよい。
【0022】
このようにすれば、可視光画像とは異なる特性を可視化した画像と、可視光画像とを組み合わせた情報を提供することができる。
【0023】
「前記入力情報を可視化した画像を生成し、前記可視化した画像」（以降適宜、「入力情報を可視化した画像」とも称する）は、入力情報を用いて可視化した画像を生成するとよい。一例として、可視光画像とは異なる特性について、色分け、図形、数値、文字などを用いた画像によって表すとよい。
【0024】
「入力情報を可視化した画像の少なくとも一部分」は、例えば、入力情報を可視化した画像の全部とするとよい。
「入力情報を可視化した画像の少なくとも一部分」は、例えば、入力情報を可視化した画像のうち、所定の条件を満たす部分とするとよい。
「入力情報を可視化した画像の少なくとも一部分」は、例えば、入力情報を可視化した画像のうち、所定の対象物に対応する画像とするとよい。
「入力情報を可視化した画像」は、例えば、入力情報を可視化した画像のうち、所定の領域を抽出したものとするとよい。
ここで、前述した所定の条件、所定の対象物、または、所定の領域は、例えば、制御手段が参照可能な記憶領域に、予め格納されているとよい。
「入力情報を可視化した画像の少なくとも一部分」は、例えば、入力情報を可視化した画像のうち、所定の条件を満たす部分とするとよい。
「入力情報を可視化した画像の少なくとも一部分」は、例えば、入力情報を可視化した画像のうち、所定の対象物に対応する画像とするとよい。
「入力情報を可視化した画像」は、例えば、入力情報を可視化した画像のうち、所定の領域を抽出したものとするとよい。
ここで、前述した所定の条件、所定の対象物、または、所定の領域は、例えば、制御手段が参照可能な記憶領域に、予め格納されているとよい。
【0025】
「撮像対象の位置を一致させる」ことは、例えば、撮像対象に存在する任意の物を用いて、可視光画像と、入力情報を可視化した画像との間の撮像対象の位置を一致させるとよい。「撮像対象の位置を一致させる」ことは、例えば、撮像対象について、可視光画像を構成する各画素と、入力情報とを対応づけることによって、可視光画像と、入力情報を可視化した画像との間の撮像対象の位置を一致させるとよい。可視光画像を構成する各画素と、入力情報との対応は、例えば、予め取得し、取得した情報を制御手段が参照可能な記憶領域に保持するとよい。
【0026】
「撮像対象の可視光画像」は、例えば、撮像対象を可視光撮像装置で撮像した画像とするとよい。
【0027】
「制御手段は、前記撮像対象の可視光画像を受け」は、例えば、撮像対象を可視光撮像装置で撮像した画像を制御手段に入力するとよい。一例として、制御手段は、定期的または所定のタイミングで可視光画像の入力を受けるとよい。他の例として、制御手段は、可視光画像を入手したいタイミングで、取得するようにしてもよい。
「制御手段は、前記撮像対象の可視光画像を受け」は、例えば、前述した可視光画像を予め制御手段に入力し、制御手段が可視光画像を保持するとよい。一例として、撮像対象が変化しない場合には、制御手段は、事前に撮像した可視光画像を保持するようにしてもよい。
「制御手段は、前記撮像対象の可視光画像を受け」は、例えば、前述した可視光画像を予め制御手段に入力し、制御手段が可視光画像を保持するとよい。一例として、撮像対象が変化しない場合には、制御手段は、事前に撮像した可視光画像を保持するようにしてもよい。
【0028】
入力情報を可視化した画像の少なくとも一部分と、可視光画像とを、組み合わせた処理情報は、例えば、以下のような処理のいずれか、または、複数の処理を組み合わせて作成した処理情報とするとよい。
・入力情報を可視化した画像と可視光画像とを一律に重ね合わせること
・入力情報を可視化した画像と可視光画像とを半透過で重ねること
・入力情報から取得する、可視光画像とは異なる特性のうち、所定の条件を満たす部分を、可視光画像に表すこと
・撮像対象のうち、予め設定した対象物の可視光画像とは異なる特性を、可視光画像に表すこと
・入力情報から取得する、可視光画像とは異なる特性の少なくとも一部分を、色分けして表すこと
・入力情報から取得する、可視光画像とは異なる特性の少なくとも一部分を、文字、図形、着色、または、これらの組み合わせで表すこと
・入力情報を可視化した画像と可視光画像とを一律に重ね合わせること
・入力情報を可視化した画像と可視光画像とを半透過で重ねること
・入力情報から取得する、可視光画像とは異なる特性のうち、所定の条件を満たす部分を、可視光画像に表すこと
・撮像対象のうち、予め設定した対象物の可視光画像とは異なる特性を、可視光画像に表すこと
・入力情報から取得する、可視光画像とは異なる特性の少なくとも一部分を、色分けして表すこと
・入力情報から取得する、可視光画像とは異なる特性の少なくとも一部分を、文字、図形、着色、または、これらの組み合わせで表すこと
【0029】
一例として、入力情報は、撮像対象から放射される赤外線を計測して温度に変換した温度情報とし、制御手段は、撮像対象の可視光画像を受け、所定の処理は、温度情報の少なくとも一部分と可視光画像とを、撮像対象の位置を一致させて組み合わせた処理情報を生成するとよい。このようにすれば、可視光画像と温度情報とを組み合わせた情報を提供することができる。
【0030】
「温度情報」は、例えば、前述した温度分布の画像（以下適宜「サーモグラフィ」または「サーモ映像」とも称する）とするとよい。温度分布は、例えば、撮像対象の温度を複数の色で表した画像とするとよい。
「温度情報」は、例えば、撮像対象の温度分布を表す数値とするとよい。
「温度情報」は、例えば、撮像対象の温度を複数の色で表す温度分布の画像を取得可能な情報とするとよい。
「温度情報」は、例えば、撮像対象の温度分布を表す数値とするとよい。
「温度情報」は、例えば、撮像対象の温度を複数の色で表す温度分布の画像を取得可能な情報とするとよい。
【0031】
（３）前記制御手段は、前記入力情報を用いて、前記撮像対象について、前記可視光画像とは異なる特性を複数の色で表す特性画像を取得し、前記処理情報は、前記特性画像の少なくとも一部分を前記可視光画像に重ねた画像とするとよい。
【0032】
このようにすれば、可視光画像に撮像対象の可視光画像とは異なる特性を重ねて表示することができる。
【0033】
制御手段は、例えば、撮像対象について、可視光画像とは異なる特性を複数の色で表した画像を入力情報として受け取るとよい。制御手段は、例えば、撮像対象について、可視光画像とは異なる特性を表す数値を入力情報として受け取り、可視光画像とは異なる特性を表す数値を用いて、撮像対象の可視光画像とは異なる特性を複数の色で表す画像の少なくとも一部分を作成するとよい。可視光画像とは異なる特性を表す数値は、例えば、撮像対象の位置を示す情報と対応づけられているとよい。可視光画像とは異なる特性を表す数値は、例えば、撮像対象を構成する二以上の画素と対応づけられているとよい。
【0034】
一例として、入力情報が前述した温度情報であるときに、制御手段は、温度情報を用いて、撮像対象の温度を複数の色で表す温度分布を取得し、処理情報は、温度分布の少なくとも一部分を可視光画像に重ねた画像とするとよい。このようにすれば、可視光画像に撮像対象の温度特性を重ねることができる。「処理情報」は、例えば、撮像対象の可視光画像へ、温度分布のうち所定の条件を満たす部分を重ねるとよい。所定の条件は、例えば、温度がしきい値を超えている部分、温度がしきい値以下の部分、温度が所定の範囲を超えている部分、単位時間の温度差がしきい値を超えている部分、予め特定した対象物または領域、または、これらの組み合わせとするとよい。「処理情報」は、例えば、温度分布のうち、所定の条件を満たす部分について、警告を示す情報を付加するとよい。警告を示す情報は、例えば、特定の色、図形、文字、またはこれらの組み合わせにより表すとよい。
【0035】
（４）前記特性画像は、前記可視光画像より解像度が低い画像であり、前記処理情報は、前記特性画像の一つの画素を、前記可視光画像の複数の画素に対応させた画像とするとよい。
【0036】
このようにすれば、特性画像と可視光画像とを対応づけやすくなる。また、特性画像では不明確な物の形状を視認しやすくすることができる。
【0037】
可視光画像は、例えば、画素数を１０８０×１９２０とし、特性画像は、例えば、画素数を６０×８０とするとよい。
【0038】
処理情報は、例えば、特性画像のうち、所定の条件を満たす画素の領域について、外縁を形成する画素の少なくとも一部分を別の色で示すとよい。
このようにすれば、温度分布の外縁を明確にすることができる。また、着目したい温度範囲の外形を明確にすることができる。
このようにすれば、温度分布の外縁を明確にすることができる。また、着目したい温度範囲の外形を明確にすることができる。
【0039】
「所定の条件」は、例えば、可視光画像とは異なる特性のうち、同じ色で示す範囲とするとよい。
「所定の条件」は、例えば、可視光画像とは異なる特性について、着目したい特性の範囲（上限および下限、または、上限と下限とのいずれか）とするとよい。「所定の条件」は、例えば、異常発生が想定される特性のしきい値を設定するとよい。
一例として、「所定の条件」は、例えば、例えば、着目したい温度の範囲、または、異常発生が想定される温度を設定するとよい。
「所定の条件」は、例えば、可視光画像とは異なる特性について、着目したい特性の範囲（上限および下限、または、上限と下限とのいずれか）とするとよい。「所定の条件」は、例えば、異常発生が想定される特性のしきい値を設定するとよい。
一例として、「所定の条件」は、例えば、例えば、着目したい温度の範囲、または、異常発生が想定される温度を設定するとよい。
【0040】
「画素の少なくとも一部分」は、例えば、画素の全体とするとよい。
「画素の少なくとも一部分」は、例えば、画素の枠とするとよい。
「画素の少なくとも一部分」は、例えば、他の温度の画素と接する辺とするとよい。
「画素の少なくとも一部分」は、例えば、画素の枠とするとよい。
「画素の少なくとも一部分」は、例えば、他の温度の画素と接する辺とするとよい。
【0041】
一例として、入力情報が前述した温度情報であるときに、特性画像は、前述した温度分布とするとよい。このようにすれば、温度分布では不明確な物の形状を視認しやすくすることができる。また、可視光画像と温度分布とを容易に対応づけることができる。これにより、解像度の低い温度分布を利用する範囲を広げることができる
【0042】
（５）前記制御手段は、前記入力情報のうち、前記可視光画像に組み込む対象物を特定する表示情報を保持し、前記入力情報から前記対象物の可視光画像とは異なる特性を取得し、前記処理情報は、前記対象物の可視光画像とは異なる特性を、前記可視光画像に追加した画像とするとよい。
【0043】
このようにすれば、撮像対象のうち、特定の対象物に着目しやすい表示ができる。
【0044】
「表示情報」は、例えば、撮像対象に存在する物のうち、特殊撮像装置により取得可能な特性を監視したい対象物を設定するとよい。
【0045】
一例として、入力情報が前述した温度情報であるときに、制御手段は、温度情報のうち、可視光画像に組み込む対象物を設定する表示情報を保持し、温度情報から対象物の温度を取得し、処理情報は、対象物の温度を、可視光画像に追加した画像とするとよい。
【0046】
処理情報は、例えば、対象物の温度を以下に示す少なくとも一つにより追加するとよい。
・複数の温度範囲と複数の色とを対応付け、温度を色で表すこと
・温度の数値を追加すること
・複数の温度範囲を文字で表すこと
対象物は、一例として、工場の装置や居室の電化製品などの熱を放出する物、または、所定の場所を通過する物とするとよい。
・複数の温度範囲と複数の色とを対応付け、温度を色で表すこと
・温度の数値を追加すること
・複数の温度範囲を文字で表すこと
対象物は、一例として、工場の装置や居室の電化製品などの熱を放出する物、または、所定の場所を通過する物とするとよい。
【0047】
（６）前記制御手段は、前記可視光画像とは異なる特性に関する第一条件を保持し、前記所定の処理は、前記入力情報を用いて、前記撮像対象のうち前記第一条件を満たす部分を抽出し、前記可視光画像に前記抽出した部分を表す情報を追加するとよい。
【0048】
このようにすれば、撮像対象のうち、第一条件を満たす部分に着目しやすい表示を提供することができる。
【0049】
「第一条件」は、例えば、可視光画像とは異なる特性に関して、上限値を満たすこと、下限値を満たすこと、または、上限値および下限値を満たすこととのいずれかとするとよい。
「第一条件」は、例えば、制御手段が参照可能な記憶領域に格納されているとよい。
「第一条件」は、例えば、制御手段が参照可能な記憶領域に格納されているとよい。
【0050】
一例として、入力情報が前述した温度情報であるときに、制御手段は、第一条件として温度の条件を保持し、所定の処理は、温度情報を用いて、撮像対象のうち第一条件を満たす温度部分を抽出し、可視光画像に抽出した温度部分を表す情報を追加するとよい。このようにすれば、撮像対象の特定の温度分布を検出し、検出した温度分布に着目しやすい表示を提供することができる。「温度部分を表す情報」は、例えば、色、文字、図形、点滅表示などにより表すとよい。
【0051】
（７）前記第一条件は、前記撮像対象の複数の領域に対応づけて設定した複数の条件であり、前記所定の処理は、前記複数の領域毎に、前記入力情報を用いて、各領域に対応づけた条件を満たす部分を抽出するとよい。
【0052】
このようにすれば、各領域に応じた条件を用いて、可視光画像とは異なる特性に着目しやすい表示を提供することができる。
【0053】
一例として、入力情報が前述した温度情報であるときに、第一条件は、撮像対象の複数の領域に対応づけて設定した複数の温度の条件であり、所定の処理は、複数の領域毎に、温度情報を用いて、各領域に対応づけられた温度の条件を満たす温度部分を抽出し、可視光画像に抽出した温度部分を表す情報を追加するとよい。このようにすれば、各領域に応じた温度の条件を用いて、温度上昇を検出することができる。
【0054】
（８）前記制御手段は、前記可視光画像とは異なる特性に関する第二条件を保持し、前記所定の処理は、前記入力情報から前記第二条件を満たす部分を抽出し、前記抽出した部分の数を計測するとよい。
【0055】
このようにすれば、可視光画像とは異なる特性に関して、対象物が他の領域と異なる特性を有するときに、対象物の数を容易に計測することができる。
【0056】
「第二条件」は、例えば、可視光画像とは異なる特性に関して、上限値を満たすこと、下限値を満たすこと、または、上限値および下限値を満たすこととのいずれかとするとよい。第二条件は、第一条件と同じであってもよい。「第二条件」は、例えば、制御手段が参照可能な記憶領域に格納されているとよい。
【0057】
一例として、入力情報が前述した温度情報であるときに、制御手段は、第二条件として温度しきい値を保持し、所定の処理は、温度情報から温度しきい値を超える温度超過部分を抽出して温度超過部分の数を計測するとよい。このようにすれば、対象物が他の領域と異なる温度を有するときに、対象物の数を容易に計測することができる。一例として、閉ざされた空間内（例えば、工場、居室、バスなどの車両）に存在する人の数を計測することができる。これにより、例えば、居室内に存在する人数の検出、新たな侵入者の検出を可能にする。「温度しきい値」は、例えば、撮像領域に存在する物のうち検出したい対象物の最低温度を設定するとよい。
【0058】
（９）前記制御手段は、前記可視光画像とは異なる特性に関する第三条件と、前記第三条件を満たす部分を表す表示方法とを保持し、前記所定の処理は、前記入力情報から前記第三条件を満たす部分を抽出し、前記抽出した部分を、前記表示方法で表す処理情報を生成するとよい。
【0059】
このようにすれば、可視光画像とは異なる特性のうち、第三条件を満たす部分に着目しやすい表示を提供することができる。
【0060】
「第三条件」は、例えば、可視光画像とは異なる特性に関して、上限値を超えること、下限値未満であること、および、上限値および下限値を満たすことのうちのいずれか一つ、または、これらの組み合わせとするとよい。一例として、撮像対象を監視するための温度しきい値、撮像対象の異常を検出する温度しきい値などを第三条件として設定するとよい。第三条件は、前述した第一条件または第二条件と同じであってもよい。
「第三条件」は、例えば、制御手段が参照可能な記憶領域に格納されているとよい。
「第三条件」は、例えば、制御手段が参照可能な記憶領域に格納されているとよい。
【0061】
「表示方法」は、例えば、色分け、文字の追加、図形の追加、または、これらの組み合わせで表すこととするとよい。
「処理情報」は、例えば、第三条件を満たす事象が生じると、利用者に警告する画像とするとよい。
（１０）前記表示方法は、前記第三条件を満たす部分を可視化する画像を生成する方法であり、前記抽出した部分の外縁を形成する画素の少なくとも一部分を別の色で示すとよい。
「処理情報」は、例えば、第三条件を満たす事象が生じると、利用者に警告する画像とするとよい。
（１０）前記表示方法は、前記第三条件を満たす部分を可視化する画像を生成する方法であり、前記抽出した部分の外縁を形成する画素の少なくとも一部分を別の色で示すとよい。
【0062】
このようにすれば、着目したい可視光画像とは異なる特性を有する物の外形を明確にすることができる。
【0063】
「画素の少なくとも一部分」は、前述した（４）と同様にするとよい。
【0064】
（１１）前記撮像対象は、赤外線を計測した値が異なる領域を有し、前記入力情報は、前記撮像対象の赤外線を計測した赤外線量であり、前記所定の処理は、前記赤外線量に関する処理情報を生成するとよい。
【0065】
このようにすれば、赤外線を計測した値が異なる領域を有する撮像対象について、赤外線量を取得し、利用することが可能になる。
【0066】
「赤外線を計測した値が異なる領域」は、例えば、赤外線を計測可能な特殊撮像装置を用いて、撮像対象の赤外線を計測したときに、計測した赤外線量が異なる部分とするとよい。
撮像対象は、例えば、予め定義したコードとなるように、赤外線を計測した値が異なる領域を有するとよい。「予め定義したコード」は、例えば、１次元のコードとするとよい。「予め定義したコード」は、例えば、２次元のコードとするよい。「予め定義したコード」は、例えば、ＱＲコード（登録商標）とするよい。
撮像対象は、例えば、予め定義したコードとなるように、赤外線を計測した値が異なる領域を有するとよい。「予め定義したコード」は、例えば、１次元のコードとするとよい。「予め定義したコード」は、例えば、２次元のコードとするよい。「予め定義したコード」は、例えば、ＱＲコード（登録商標）とするよい。
【0067】
撮像対象は、例えば、熱透過率と熱反射率との少なくとも一方が異なる領域を有するとよい。このようにすれば、例えば、遠赤外線を照射したときに、赤外線量が異なる領域とすることができる。
特殊撮像装置は、例えば、撮像対象の赤外線量を計測する撮像手段を備えるとよい。撮像手段は、例えば、複数の撮像素子を有するとよい。
特殊撮像装置は、例えば、撮像対象の赤外線量を計測する撮像手段を備えるとよい。撮像手段は、例えば、複数の撮像素子を有するとよい。
【0068】
「処理情報」は、例えば、計測した赤外線量が異なる領域を表す情報とするとよい。「処理情報」は、例えば、赤外線量が異なる領域を用いて、前述した予め定義したコードとして用いるとよい。「処理情報」は、例えば、赤外線量が異なる領域を表すパターンとするとよい。「処理情報」は、例えば、赤外線量が異なる領域を表す情報と、他の情報とを照合した結果とするとよい。制御手段は、例えば、計測された赤外線量についてエラー訂正した値を用いて処理情報を生成するとよい。
【0069】
（１２）前記制御手段は、前記処理情報と照合する照合情報を保持し、前記所定の処理は、さらに、前記処理情報を、前記照合情報を用いて照合するとよい。
【0070】
このようにすれば、照合情報と処理情報とを照合した結果を取得することができる。
【0071】
「照合情報」は、例えば、図面、数式、文字列など、または、これらの組み合わせた情報とするとよい。数式は、例えば、ハッシュ関数、または、一方向ハッシュ関数とするとよい。
制御手段は、例えば、照合情報と処理情報とを照合した結果を出力するとよい。制御手段は、例えば、照合情報と処理情報とを照合した結果に基づいて、警告音を出力するとよい。制御手段は、例えば、照合情報と処理情報とを照合した結果を、表示画面に表示するとよい。制御手段は、例えば、照合情報と処理情報とを比較した比較結果を出力するとよい。
制御手段は、例えば、照合情報と処理情報とを照合した結果を出力するとよい。制御手段は、例えば、照合情報と処理情報とを照合した結果に基づいて、警告音を出力するとよい。制御手段は、例えば、照合情報と処理情報とを照合した結果を、表示画面に表示するとよい。制御手段は、例えば、照合情報と処理情報とを比較した比較結果を出力するとよい。
【0072】
（１３）前記赤外線を計測した値が異なる領域は、熱透過率と熱反射率との少なくとも一方が異なる領域であり、前記入力情報は、前記撮像対象に遠赤外線が照射されたときに計測された赤外線量とするとよい。
【0073】
このようにすれば、熱透過率と熱反射率との少なくとも一方を用いた赤外線量の差異を生じさせることができる。
【0074】
「熱透過率と熱反射率との少なくとも一方が異なる領域」は、例えば、熱透過率と熱反射率との少なくとも一方が異なる物質を組み合わせて形成するとよい。「熱透過率と熱反射率との少なくとも一方が異なる領域」は、例えば、予め定義したコードとなるように、熱透過率と熱反射率との少なくとも一方が異なる領域を組み合わせて形成するとよい。
【0075】
（１４）前記特殊撮像装置は、前記撮像対象に遠赤外線を照射する照射手段を備えるとよい。
【0076】
このようにすれば、熱透過率と熱反射率との少なくとも一方が異なる領域の赤外線量を計測することができる。
【0077】
「照射手段」は、熱反射率が異なる物質を組み合わせた撮像対象である場合には、特殊撮像装置が有する撮像素子と同じ側に配置されているとよい。「照射手段」は、熱透過率が異なる物質を組み合わせた撮像対象である場合には、撮像対象を挟んで、特殊撮像装置が有する撮像素子と対向して配置されるとよい。
【0078】
（１５）前記特殊撮像装置は、前記撮像対象の全体を撮像可能とするとよい。
【0079】
このようにすれば、撮像対象を一度で撮像することが可能になる。
特殊撮像装置は、例えば、撮像対象の平面全体を撮像できるとよい。特殊撮像装置は、例えば、撮像対象の全体を撮像可能な撮像手段を備えるとよい。特殊撮像装置は、例えば、前述した１次元のコードを撮像できる大きさの撮像手段を備えるとよい。
特殊撮像装置は、例えば、撮像対象の平面全体を撮像できるとよい。特殊撮像装置は、例えば、撮像対象の全体を撮像可能な撮像手段を備えるとよい。特殊撮像装置は、例えば、前述した１次元のコードを撮像できる大きさの撮像手段を備えるとよい。
【0080】
（１６）前記特殊撮像装置は、前記撮像対象の一部領域を撮像可能であり、前記撮像対象を複数に分けて全体を撮像し、前記入力情報は、前記特殊撮像装置が複数に分けて撮像した、前記可視光画像とは異なる特性を有する画像データに基づく情報とするとよい。
【0081】
このようにすれば、特殊撮像装置が撮像可能な大きさに対して撮像対象が大きい場合にも、撮像対象全体を撮像することができる。
【0082】
撮像手段は、例えば、前述した２次元のコードのいずれか一辺の長さを撮像できる大きさとするとよい。撮像手段は、例えば、撮像対象の外接円の直径の長さを撮像できる大きさとするとよい。撮像手段は、例えば、撮像対象の一部分を撮像可能な大きさとするとよい。
【0083】
特殊撮像装置は、例えば、撮像手段を制御する撮像制御手段を備えるとよい。撮像制御手段は、例えば、撮像手段の中心を軸に回転させて撮像対象全体を撮像する制御を行うとよい。撮像制御手段は、例えば、撮像対象が矩形であるときに、撮像手段を撮像対象の一つの辺から、対向する辺に向かって移動させて撮像対象を撮像する制御を行うとよい。
【0084】
（１７）前述した（１）から（１６）のシステムにおいて、前記特殊撮像装置は、熱画像検査装置、マルチスペクトルカメラ、ハイパースペクトルカメラ、または、距離画像カメラの少なくとも一つであるとよい。
【0085】
このようにすれば、特殊撮像装置に応じた所定の処理を行うシステムを構成できる。
【0086】
（１８）前述した（１）から（１７）のシステムは、前記特殊撮像装置をさらに備えるとよい。
【0087】
このようにすれば、制御手段が撮像対象の入力情報を特殊撮像装置から取得するシステムを構成できる。これにより、制御手段と特殊撮像装置との間で入出力する情報の整合性が容易になる。
【0088】
（１９）本発明の他の一態様は、コンピュータに、前述した（１）から（１８）のいずれか一つに記載のシステムが備える制御手段の機能を実行させるプログラムとするとよい。
【0089】
上述した（１）から（１９）に示した発明は、任意に組み合わせることができる。例えば、（１）に示した発明の全てまたは一部の構成に、（２）以降の少なくとも１つの発明の少なくとも一部の構成を加える構成としてもよい。特に、（１）に示した発明に、（２）以降の少なくとも１つの発明の少なくとも一部の構成を加えた発明とするとよい。また、（１）から（１９）に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「～の場合」「～のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。
【発明の効果】
【0090】
本発明によれば、可視光画像とは異なる特性を有する画像データを取得可能な撮像装置が撮像する情報を利用することなど、従来よりも優れたものができる。
【0091】
本願の発明の効果はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」と記載した箇所などは奏する効果を明示する記載であり、また「～できる」と記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。
【図面の簡単な説明】
【0092】
【図1】本発明の一実施形態の制御手段の構成例を説明する図である。
【図2】実施形態１のシステムの一例を説明する図である。
【図3】撮像装置の外観例を説明する模式図である。
【図4】撮像装置の構成例を説明するブロック図である。
【図5】撮像対象で高温異常が発生したときの処理情報の一例を説明する図である。
【図6】実施形態１のシステムの他の例を説明する図である。
【図7】撮像対象の可視光画像および温度分布を構成する画素を説明する図である。
【図8】実施形態１のシステムを不法侵入監視に適用する一例を説明する図である。
【図9】実施形態１のシステムを居室内の監視に適用する一例を説明する図であり、 （Ａ）は監視を行うターゲットを選択するときの表示画面の一例を説明する図、（Ｂ ）は監視中の表示画面の一例を説明する図である。
【図10】監視中の居室の温度をリアルタイム表示する表示例を説明する図である。
【図11】監視中の居室の温度を表による数値で表示する表示例を説明する図である 。
【図12】監視中の居室の温度をグラフで表示する表示例を説明する図である。
【図13】実施形態２のサーマルコードの一例を説明する図である。
【図14】サーマルコードをカードの認証に用いる利用例を説明する図である。
【図15】サーマルコードを鍵に用いる利用例を説明する図であり、（Ａ）は平面図 、（Ｂ）は正面図である。
【図16】熱反射型のサーマルコードを読み取るサーマルコードリーダの一例を説明 する図である。
【図17】熱透過型のサーマルコードを読み取るサーマルコードリーダの一例を説明 する図である。
【図18】円形のサーマルコードを１次元サーモカメラで読み込む例を説明する図で ある。
【図19】矩形のサーマルコードを１次元サーモカメラで読み込む例を説明する図で ある。
【図20】サーマル認証システムに電力を供給する発電手段の構成例を表す図であり 、（Ａ）は初期状態、（Ｂ）は順方向発電、（Ｃ）は発電用ぜんまい発電を説明する 図である。
【図21】システムぜんまいの構成例を説明する図である。
【図22】発電回路の構成例を説明する図である。
【図23】電力供給型のサーマル認証システムの動作例について説明するフローチャ ートである。
【図24】発電型のサーマル認証システムの動作例について説明するフローチャート である。
【発明を実施するための形態】
【0093】
以下、本発明の一態様について図面を参照して説明する。説明の明確化のため、以下の記載および図面は、適宜、省略または簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明を省略する。
【0094】
本発明のシステムの一実施形態は、可視光画像とは異なる特性を有する画像データを取得可能な特殊撮像装置で撮像対象を撮像した入力情報を受け、前記入力情報を用いて所定の処理を実施する制御手段を備える。これにより、可視光画像とは異なる特性を有する画像データを取得可能な撮像装置が撮像する情報を利用することを可能とする。
【0095】
図１は、一実施形態のシステムが備える制御手段の構成例を説明する図である。
制御手段２００は、入力部２０１、処理部２０２、出力部２０３、および保持部２０４を備える。
制御手段２００は、入力部２０１、処理部２０２、出力部２０３、および保持部２０４を備える。
【0096】
入力部２０１は、入力情報の入力を受ける。入力情報は、例えば、課題を解決するための手段で説明したもの、または、各実施形態で後述するものとするとよい。入力部２０１は、例えば、入力情報を出力する出力先から、信号線を介して入力情報を受け取ってもよいし、通信手段を介して入力情報を受け取ってもよい。通信手段は、有線または無線のどちらであってもよい。入力部２０１は、例えば、情報を受け取るためのインタフェースまたは通信手段を備えるとよい。
入力部２０１は、例えば、入力情報以外の情報の入力を受けてもよい。入力部２０１は、例えば、入力情報に加え、撮像対象の可視光画像などの入力を受けるとよい。
入力部２０１は、例えば、入力情報以外の情報の入力を受けてもよい。入力部２０１は、例えば、入力情報に加え、撮像対象の可視光画像などの入力を受けるとよい。
【0097】
処理部２０２は、入力情報を用いて、前述した所定の処理を行い、処理情報を生成する。所定の処理は、例えば、課題を解決するための手段で説明したもの、または、各実施形態で後述するものとするとよい。
【0098】
出力部２０３は、処理部２０２が生成した処理情報を出力する。出力部２０３は、例えば、処理情報を表示する表示手段などに処理情報を出力する。出力部２０３は、例えば、処理情報として、警告音を出力する。出力部２０３は、例えば、処理情報に基づいて、他の機器に処理を指示する。他の機器などに指示する処理は、例えば、処理情報の表示、処理情報に基づく、警告音などの出力、または、これらの組み合わせとするとよい。
【0099】
保持部２０４は、予め設定した情報を保持する。保持する情報は、前述した、第一条件、第二条件、第三条件、所定の条件、所定の対象物、所定の領域などとするとよい。保持部２０４は、制御手段が参照可能な記憶領域とするとよい。
【0100】
制御手段２００は、例えば、その一部または全部をプログラムにより実現してもよい。このとき、プログラムは、コンピュータに制御手段の機能を実行させる。
コンピュータは、例えば、ＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等を備える。
コンピュータは、例えば、ＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等を備える。
【0101】
ＣＰＵは、ＲＯＭ等に記憶されている各種のプログラムを実行し、演算処理や、制御プログラムに基づいてシステムの全体を制御する。一実施形態では、ＣＰＵは、制御手段の機能を実現するプログラムの命令群を実行する。
ＲＡＭは、情報を高速で読み書きするための揮発性の記憶媒体であり、ＣＰＵがプログラムを実行する際のワークエリアとして機能する。
ＲＯＭは、プログラム等が記憶されている読み出し専用の不揮発性の記憶媒体である。
ＨＤＤは、ＣＰＵが実行するプログラム等を記憶する記憶媒体である。
ＲＯＭまたはＨＤＤは、一実施形態において使用するしきい値、予め設定される所定の情報、その他の固定データ等を格納する。ＲＯＭまたはＨＤＤは、保持部２０４の記憶領域が設けられるとよい。
ＲＡＭは、情報を高速で読み書きするための揮発性の記憶媒体であり、ＣＰＵがプログラムを実行する際のワークエリアとして機能する。
ＲＯＭは、プログラム等が記憶されている読み出し専用の不揮発性の記憶媒体である。
ＨＤＤは、ＣＰＵが実行するプログラム等を記憶する記憶媒体である。
ＲＯＭまたはＨＤＤは、一実施形態において使用するしきい値、予め設定される所定の情報、その他の固定データ等を格納する。ＲＯＭまたはＨＤＤは、保持部２０４の記憶領域が設けられるとよい。
【0102】
また、制御手段は、例えば、その一部あるいは全部をハードウェアにより実現してもよい。例えば、組み込みシステムのように、ハードウェアとソフトウェアとの組合せにより実現してもよい。または、ハードウェア、ファームウェア、ソフトウェアのいずれか、あるいは、これらの二つ以上の組合せで実現してもよい。
【0103】
実施形態１．
実施形態１では、特殊撮像装置として、熱画像検査装置を用い、入力情報として、撮像対象から放射される赤外線を計測して温度に変換した温度情報を制御手段に入力するシステムの一態様を説明する。本実施形態では、制御手段は、撮像対象の温度情報を用いて処理情報を生成する一例を説明する。
実施形態１では、特殊撮像装置として、熱画像検査装置を用い、入力情報として、撮像対象から放射される赤外線を計測して温度に変換した温度情報を制御手段に入力するシステムの一態様を説明する。本実施形態では、制御手段は、撮像対象の温度情報を用いて処理情報を生成する一例を説明する。
【0104】
現在の監視カメラの一例では、例えば、可視光を撮像することにより、ものの形を得ることができるが、温度を測定することができない。そのため、撮像対象に存在する、一つまたは複数の被写体の一部が異常な熱を持っていても、出火するか大きく変形するまで、異常を検知することができない。また、これらのカメラは暗闇で撮影する場合には照明が必要となるため、広範囲の撮影が難しい。また、照明においても、遠方を照らすために高輝度なライトを用いても、光源から近い場所が明るくなるため、露出の関係で遠方が暗くなる等、様々な問題を抱えている。
【0105】
そこで、本実施形態の一態様では、制御手段は、撮像対象の可視光画像と、温度情報とを組み合わせた処理情報を生成する。制御手段は、所定の処理として、例えば、入力情報および撮像対象の可視光画像を受け取り、温度情報の少なくとも一部分と可視光画像とを、撮像対象の位置を一致させて組み合わせた処理情報を生成する。温度情報は、前述したものとする。
【0106】
温度情報の少なくとも一部分と可視光画像とを組み合わせた処理情報は、例えば、以下のような処理のいずれか、または、複数の処理を組み合わせて作成した処理情報とするとよい。
・温度分布の画像と可視光画像とを一律に重ね合わせること
・温度分布の画像と可視光画像とを半透過で重ねること
・温度分布の画像のうち、所定の条件を満たす部分を、可視光画像に表すこと
・撮像対象のうち、予め設定した対象物について、温度を可視光画像に表すこと
・温度分布の画像の少なくとも一部分を、色分けして表すこと
・温度分布の画像の少なくとも一部分を、文字、図形、着色、または、これらの組み合わせで表すこと
・温度分布の画像と可視光画像とを一律に重ね合わせること
・温度分布の画像と可視光画像とを半透過で重ねること
・温度分布の画像のうち、所定の条件を満たす部分を、可視光画像に表すこと
・撮像対象のうち、予め設定した対象物について、温度を可視光画像に表すこと
・温度分布の画像の少なくとも一部分を、色分けして表すこと
・温度分布の画像の少なくとも一部分を、文字、図形、着色、または、これらの組み合わせで表すこと
【0107】
また、本実施形態の他の一態様では、制御手段は、所定の処理として、例えば、可視光画像を用いることなく、温度情報を用いて処理情報を生成する。
【0108】
次に、本実施形態のシステムの一態様を適用する例を説明する。
＜システム例１＞
図２は、工場の監視システムの一例を説明する模式図である。
図２の監視システム１は、工作機械２、端末装置３、および撮像装置１００を備える。
＜システム例１＞
図２は、工場の監視システムの一例を説明する模式図である。
図２の監視システム１は、工作機械２、端末装置３、および撮像装置１００を備える。
【0109】
＜撮像装置＞
本実施形態の撮像装置１００は、工場の製造ラインで稼働する工作機械２の作業内容を監視する監視装置の一例であり、工作機械２の映像および温度を記録する。撮像装置１００は、三脚にて工作機械２の傍らに仮設置される。
本実施形態の撮像装置１００は、工場の製造ラインで稼働する工作機械２の作業内容を監視する監視装置の一例であり、工作機械２の映像および温度を記録する。撮像装置１００は、三脚にて工作機械２の傍らに仮設置される。
【0110】
監視の対象となる工作機械２は、製造ラインにおいて螺子締め作業を行うものとする。工作機械２は、この螺子締め作業を、所定の作業周期（例えば３０秒）毎に繰り返し実行する。
【0111】
撮像装置１００は、例えば、定期的に工作機械２を撮像する。
撮像装置１００で記録した映像は、端末装置３で動作する表示・閲覧ソフトである専用ブラウザにより再生する。専用ブラウザは端末装置３のＣＰＵにて実行されるプログラムであり、撮像装置１００が設置された工場とは離れた管理部門の端末装置３にインストールされる。専用ブラウザでは、撮像装置１００で記録した映像の再生の他、フレームレート、画質、録画方法、上書きの可否等の各種の設定、メモリカード１９０の撮像装置１００用のフォーマット等を行うことができる。
撮像装置１００で記録した映像は、端末装置３で動作する表示・閲覧ソフトである専用ブラウザにより再生する。専用ブラウザは端末装置３のＣＰＵにて実行されるプログラムであり、撮像装置１００が設置された工場とは離れた管理部門の端末装置３にインストールされる。専用ブラウザでは、撮像装置１００で記録した映像の再生の他、フレームレート、画質、録画方法、上書きの可否等の各種の設定、メモリカード１９０の撮像装置１００用のフォーマット等を行うことができる。
【0112】
図３は撮像装置の外観例を説明する模式図である。図４は撮像装置の構成例を説明するブロック図であり、メモリカードとともに示している。
撮像装置１００は、略円筒形の筐体１０５の内部に、制御コントローラ１１０、第１撮像ユニット１２０、第２撮像ユニット１３０、イベント入力端子１４０、メモリカードスロット１６０、および画像信号出力端子１８０を備える。
筐体１０５の筒状の側面の一部に撮像装置を三脚の雲台や撮影場所に取り付けるための螺子穴（図示していない）が設けられている。筐体１０５の内部には、この螺子穴が設けられた方向が下側となるように、第１撮像ユニット１２０および第２撮像ユニット１３０が配置される。
撮像装置１００は、略円筒形の筐体１０５の内部に、制御コントローラ１１０、第１撮像ユニット１２０、第２撮像ユニット１３０、イベント入力端子１４０、メモリカードスロット１６０、および画像信号出力端子１８０を備える。
筐体１０５の筒状の側面の一部に撮像装置を三脚の雲台や撮影場所に取り付けるための螺子穴（図示していない）が設けられている。筐体１０５の内部には、この螺子穴が設けられた方向が下側となるように、第１撮像ユニット１２０および第２撮像ユニット１３０が配置される。
【0113】
制御コントローラ１１０は、図示しないＣＰＵ、ＲＯＭやＲＡＭ等の本体メモリ、タイマ等を備えるマイクロコンピュータを含めて構成されている。制御コントローラ１１０のＲＯＭには、第１撮像ユニット１２０および第２撮像ユニット１３０による撮像画像を本体メモリあるいはメモリカードスロット１６０に挿入されたメモリカード１９０に保存させる画像処理プログラム、およびＯＳ（Operation System）等の各種プログラムが記憶されている。制御コントローラ１１０のＣＰＵは、これらの制御プログラムに従い、各種の制御を行う。また、制御コントローラ１１０は、イベント入力端子１４０に入力されるイベントの発生を示す情報を検知し、検知した情報に応じた制御を実行する。
【0114】
第１撮像ユニット１２０は、撮像対象の可視光画像を撮像する可視光撮像装置として機能する。第２撮像ユニット１３０は、撮像対象の赤外線を計測し、これを温度に変換した温度分布の画像を取得可能にする熱画像撮像装置として機能する。第１撮像ユニット１２０および第２撮像ユニット１３０は、略円筒形の筐体１０５の長手方向の一端に、筐体１０５の長手方向を光軸として設けられる。
【0115】
第１撮像ユニット１２０は、レンズ部１２２と撮像素子１２４とにより構成される。レンズ部１２２は、ズームレンズを備え、撮影対象の大きさや撮像対象までの距離に応じて画角を設定可能である。撮像素子１２４は、ＣＣＤ、ＣＭＯＳイメージセンサ等であり、レンズ部１２２によって結像された撮影対象の像を撮像画像として取得する。
第２撮像ユニット１３０は、レンズ部１３２と撮像素子１３４とにより構成される。レンズ部１３２は、ズームレンズを備え、撮影対象の大きさや撮像対象までの距離に応じて画角を設定可能である。撮像素子１３４は、赤外線に感度領域を持つ赤外線撮像素子であり、レンズ部１３２によって結像された撮影対象の像を撮像画像として取得する。
第２撮像ユニット１３０は、レンズ部１３２と撮像素子１３４とにより構成される。レンズ部１３２は、ズームレンズを備え、撮影対象の大きさや撮像対象までの距離に応じて画角を設定可能である。撮像素子１３４は、赤外線に感度領域を持つ赤外線撮像素子であり、レンズ部１３２によって結像された撮影対象の像を撮像画像として取得する。
【0116】
イベント入力端子１４０は、筐体１０５の側面に設けられる信号入力端子である。イベント入力端子１４０は、イベントの発生を通知するトリガ信号を、撮像装置１００の外部から受け取る。例えば、端末装置３から出力されるトリガ信号に基づいて、撮像を開始するように構成してもよい。イベント入力端子１４０は、例えば、有線または無線による通信手段によりトリガ信号を受け取るとよい。トリガ信号は、制御コントローラ１１０に伝達され、イベントの発生を示す情報として検知される。なお、撮像装置１００は、イベント入力端子１４０を備えない構成であってもよい。
【0117】
画像信号出力端子１８０は、第１撮像ユニット１２０および第２撮像ユニット１３０によって撮像した画像を外部の端末装置３に出力するための画像信号を出力する端子である。
【0118】
メモリカードスロット１６０は、筐体１０５における第１撮像ユニット１２０および第２撮像ユニット１３０とは反対側の端部に設けられる。メモリカードスロット１６０には、記憶媒体としてのメモリカード１９０が挿入される。制御コントローラ１１０の制御に従い、第１撮像ユニット１２０および第２撮像ユニット１３０が撮像した撮像画像を格納したファイルがメモリカード１９０に記録される。
【0119】
＜端末装置＞
端末装置３は、例えば、パーソナルコンピュータを用いるとよい。端末装置３は、制御手段を動作させる。
ここで、制御手段と前述した専用ブラウザとは、例えば、別個のプログラムとしてもよい。制御手段は、例えば、専用ブラウザの機能を制御するようにしてもよい。また、制御手段は、例えば、専用ブラウザの機能を有するように構成してもよい。
端末装置３は、例えば、パーソナルコンピュータを用いるとよい。端末装置３は、制御手段を動作させる。
ここで、制御手段と前述した専用ブラウザとは、例えば、別個のプログラムとしてもよい。制御手段は、例えば、専用ブラウザの機能を制御するようにしてもよい。また、制御手段は、例えば、専用ブラウザの機能を有するように構成してもよい。
【0120】
端末装置３は、システムを用いて、工場（撮像対象の一例）を監視するために、例えば以下の処理を行う。
（１）専用ブラウザに可視光画像と温度分布の画像とを同じ画面に表示する。
（２）撮像対象のうち、監視する範囲を設定する。監視する範囲は複数設定可能とする。
（１）専用ブラウザに可視光画像と温度分布の画像とを同じ画面に表示する。
（２）撮像対象のうち、監視する範囲を設定する。監視する範囲は複数設定可能とする。
【0121】
（３）異常状態を判定する条件を設定する。例えば、異常と判断する温度（上限または下限のしきい値、温度範囲など）、監視する範囲を複数設定したときの取り扱い、異常発生時の処理などを設定する。複数の監視する範囲の取り扱いとしては、（イ）一つでも異常が発生したら異常状態発生時の処理を行うのか、（ロ）複数の監視する範囲の平均値を用いて異常状態発生と判断するのか、などとするとよい。異常発生時の処理としては、例えば、端末装置３などの表示画面に警告を表示、警告音の出力、異常状態発生に応じて処理を開始する機能へのトリガ信号の出力などである。
【0122】
（４）異常発生時に、異常状態のときの映像を、異常範囲として記録する。例えば、警告灯などを制御してもよい。異常範囲の映像は、メモリカードなどに読み出しやすいように記録されることが望ましい。
（５）異常範囲の映像を再生する機能を設ける。
また、可視光画像および温度分布の画像の中の、監視すべき位置（設置位置など）をマウス操作等で対応づけるようにして、異常範囲の再生の際に可視光画像の監視すべき位置をハイライトすると、どの設備が異常か可視光画像で確認しやすい。対応づけは、点の指定でもよいし範囲（四角、円、任意形状など）の指定でもよい。
（５）異常範囲の映像を再生する機能を設ける。
また、可視光画像および温度分布の画像の中の、監視すべき位置（設置位置など）をマウス操作等で対応づけるようにして、異常範囲の再生の際に可視光画像の監視すべき位置をハイライトすると、どの設備が異常か可視光画像で確認しやすい。対応づけは、点の指定でもよいし範囲（四角、円、任意形状など）の指定でもよい。
【0123】
図５は、図２に示した工作機械２において、温度による異常（例えば、温度しきい値を超えた異常）が発生したときの処理情報の一例を説明する図である。図５は、温度情報で検知された温度異常を可視光画像に追加した例であり、温度異常の部分を点線の丸で表し、さらに警告を表示する処理情報の一例を示している。
図５に示すように、制御手段は、可視光画像と温度分布の画像とを用いることにより、可視光画像では検出できない温度上昇による異常状態の発生を利用者に通知する処理情報を生成することが可能になる。また、温度分布の画像の解像度が低いために、温度分布の画像のみでは異常状態を把握しにくい場合にも、可視光画像と組み合わせることにより、異常状態を把握し易くなる。
図５に示すように、制御手段は、可視光画像と温度分布の画像とを用いることにより、可視光画像では検出できない温度上昇による異常状態の発生を利用者に通知する処理情報を生成することが可能になる。また、温度分布の画像の解像度が低いために、温度分布の画像のみでは異常状態を把握しにくい場合にも、可視光画像と組み合わせることにより、異常状態を把握し易くなる。
【0124】
以上の通り、図２から図５に一例として示す工場の監視システムでは、生産ラインにおける通常状態ではない異常の発生を検知させるシステム例を説明した。図５では、工作機械２に異常が生じた場合の例を示した。
しかし、生産ラインでは、ラインの異常、機械の異常、異質な物体の存在（侵入）など、異常状態が多様である。
従って、多様な異常を検知するには、例えば、正常時の画像を学習させるとよい。
機械の異常を検知する場合には、機械を配置し稼働している状態での温度分布の画像を取得する。機械に摩擦に発熱、電力が過剰に供給されるなどの発熱などの異常が生じたときには温度分布の画像に平常状態にはない発熱領域が現れることにより、異常を検知するとよい。
また、異質な物体の存在を検知する場合には、工場の平常状態の温度分布の画像を取得し、平常状態の温度分布の画像には存在しない温度の分布（生物の存在による発熱領域）が生じることにより、侵入物を検知するとよい。
しかし、生産ラインでは、ラインの異常、機械の異常、異質な物体の存在（侵入）など、異常状態が多様である。
従って、多様な異常を検知するには、例えば、正常時の画像を学習させるとよい。
機械の異常を検知する場合には、機械を配置し稼働している状態での温度分布の画像を取得する。機械に摩擦に発熱、電力が過剰に供給されるなどの発熱などの異常が生じたときには温度分布の画像に平常状態にはない発熱領域が現れることにより、異常を検知するとよい。
また、異質な物体の存在を検知する場合には、工場の平常状態の温度分布の画像を取得し、平常状態の温度分布の画像には存在しない温度の分布（生物の存在による発熱領域）が生じることにより、侵入物を検知するとよい。
【0125】
＜システム例２＞
システム例１では、可視光画像と温度分布の画像とを組み合わせて工場を監視するシステムの一例を説明したが、温度分布の画像のみを用いて工場を監視してもよい。例えば、熱画像撮像装置が撮像する画像データの解像度が高い場合には温度分布の画像を用いて撮像対象を用いて監視するとよい。例えば、温度分布の画像により、被写体の形状等が判定可能で有用な情報を得られるときには、可視光画像を用いることなく、温度分布の画像を用いて撮像対象を監視するとよい。
システム例１では、可視光画像と温度分布の画像とを組み合わせて工場を監視するシステムの一例を説明したが、温度分布の画像のみを用いて工場を監視してもよい。例えば、熱画像撮像装置が撮像する画像データの解像度が高い場合には温度分布の画像を用いて撮像対象を用いて監視するとよい。例えば、温度分布の画像により、被写体の形状等が判定可能で有用な情報を得られるときには、可視光画像を用いることなく、温度分布の画像を用いて撮像対象を監視するとよい。
【0126】
監視システムは、例えば、以下のような手順で監視する。
制御手段は、まず、異常状態と判定する温度しきい値を設定する。次に、制御手段は、温度しきい値の温度を超える部分を検出すると、熱画像撮像装置が撮像した温度分布の画像を用いて、異常状態と判定した部分や領域の温度分布の色を、異常状態を通知する色にする。また、制御手段は、異常状態の発生を利用者に通知するトリガ信号の出力や警告音の発生を行う。このとき、撮像対象のいずれかの部分が温度しきい値を超えるとトリガ信号等を発生させ、警告するとよい。
制御手段は、まず、異常状態と判定する温度しきい値を設定する。次に、制御手段は、温度しきい値の温度を超える部分を検出すると、熱画像撮像装置が撮像した温度分布の画像を用いて、異常状態と判定した部分や領域の温度分布の色を、異常状態を通知する色にする。また、制御手段は、異常状態の発生を利用者に通知するトリガ信号の出力や警告音の発生を行う。このとき、撮像対象のいずれかの部分が温度しきい値を超えるとトリガ信号等を発生させ、警告するとよい。
【0127】
＜システム例３＞
本システム例では、熱画像撮像装置が高視野角で撮像する機能を有する場合について検討する。高視野角の熱画像撮像装置、広範囲の撮像対象を撮像することが可能になる。一方で、撮像対象に存在する対象物の大きさが小さくなる。従って、熱画像撮像装置は、解像度が高く、高画質でないと、対象物を観察することが困難になる可能性がある。
そのため、撮像対象の観察に高画質が望まれるときには、例えば、視野角が狭いものの高画質である熱画像撮像装置を用い、装置自体を可動式にして、広範囲の撮像対象を撮像するとよい。
また、高画質での観察より、広範囲の観察が優先される監視には、高視野角の撮像装置を用いるとよい。例えば、温度しきい値を超えた領域を検出すればよく、物を判別しないときである。
さらに、監視の用途に応じて、高画質の熱画像撮像装置と高視野角の熱撮像撮像装置とを組み合わせて用いてもよい。
本システム例では、熱画像撮像装置が高視野角で撮像する機能を有する場合について検討する。高視野角の熱画像撮像装置、広範囲の撮像対象を撮像することが可能になる。一方で、撮像対象に存在する対象物の大きさが小さくなる。従って、熱画像撮像装置は、解像度が高く、高画質でないと、対象物を観察することが困難になる可能性がある。
そのため、撮像対象の観察に高画質が望まれるときには、例えば、視野角が狭いものの高画質である熱画像撮像装置を用い、装置自体を可動式にして、広範囲の撮像対象を撮像するとよい。
また、高画質での観察より、広範囲の観察が優先される監視には、高視野角の撮像装置を用いるとよい。例えば、温度しきい値を超えた領域を検出すればよく、物を判別しないときである。
さらに、監視の用途に応じて、高画質の熱画像撮像装置と高視野角の熱撮像撮像装置とを組み合わせて用いてもよい。
【0128】
＜システム例４＞
次に、監視カメラを用いる他の例を説明する。
図６は、実施形態１のシステムの他の例（人動物判定、温度グラデーション）を説明する図である。本システム例では、制御手段が、可視光画像とサーモ映像とを合成する処理情報を生成する一例を説明する。図６では、上段に「可視光映像」および「サーモ映像」を示し、下段に可視光映像とサーモ映像とを合成した「可視光映像＋サーモ映像」を示す。
次に、監視カメラを用いる他の例を説明する。
図６は、実施形態１のシステムの他の例（人動物判定、温度グラデーション）を説明する図である。本システム例では、制御手段が、可視光画像とサーモ映像とを合成する処理情報を生成する一例を説明する。図６では、上段に「可視光映像」および「サーモ映像」を示し、下段に可視光映像とサーモ映像とを合成した「可視光映像＋サーモ映像」を示す。
【0129】
図６では、予め決めた温度しきい値（例えば、３０℃）を超える温度分布を、可視光画像に重ねて表す例を示している。図６に示すサーモ映像では、温度範囲として、２５℃から４３℃の間の温度を複数の色のグラデーションを用いて表している。温度のグラデーションは、温度範囲、最大値、最小値、センター温度、スパンなどによって設定できる。
図６を参照して「可視光映像＋サーモ映像」の画像において、小動物３１とヒト４２との人動物判定をする例を説明する。小動物３１は、衣類を身に着けない為全体の温度が写る。このため、一つの領域の温度分布となる。一方、ヒト３２は、肌が露出している部分が写る。このため、複数の領域に分かれた温度分布となる。このような違いにより、温度分布を用いて小動物３１とヒト３２とを容易に区別することができる。
図６を参照して「可視光映像＋サーモ映像」の画像において、小動物３１とヒト４２との人動物判定をする例を説明する。小動物３１は、衣類を身に着けない為全体の温度が写る。このため、一つの領域の温度分布となる。一方、ヒト３２は、肌が露出している部分が写る。このため、複数の領域に分かれた温度分布となる。このような違いにより、温度分布を用いて小動物３１とヒト３２とを容易に区別することができる。
【0130】
ここで、撮像画像の可視光画像と温度分布の画像との解像度について説明する。
温度分布の画像は、複数の画素により構成されるが、一般に、可視光画像より解像度が低い画像となる。そのため、制御手段は、温度分布の画像の一つの画素を、可視光画像の複数の画素に対応させた画像を処理情報として生成する。このようにすれば、温度分布と可視光画像とを対応づけやすくなる。また、温度分布の画像では不明確な物の形状を視認しやすくすることができる。
温度分布の画像は、複数の画素により構成されるが、一般に、可視光画像より解像度が低い画像となる。そのため、制御手段は、温度分布の画像の一つの画素を、可視光画像の複数の画素に対応させた画像を処理情報として生成する。このようにすれば、温度分布と可視光画像とを対応づけやすくなる。また、温度分布の画像では不明確な物の形状を視認しやすくすることができる。
【0131】
図７は撮像対象の可視光画像および温度分布を構成する画素を説明する図であり、（Ａ）は可視光画像、（Ｂ）は温度分布の画像である。（Ａ）は左上角部に温度分布の１画素に対応する画素群を模式的に示したものであり、（Ｂ）は１画素を模式的に示す。
図７では、可視光画像は、例えば、画素数を１０８０×１９２０とし、温度分布は、例えば、画素数を６０×８０とする例を模式的に示している。従って、温度分布の１画素に、可視光画像の４３２（１８×２４）画素が対応づけられることになる。
図７では、可視光画像は、例えば、画素数を１０８０×１９２０とし、温度分布は、例えば、画素数を６０×８０とする例を模式的に示している。従って、温度分布の１画素に、可視光画像の４３２（１８×２４）画素が対応づけられることになる。
【0132】
温度分布の画像は解像度が低いことから、例えば、処理情報を以下のように表すことにより、温度分布をわかりやすくすることができる。
処理情報は、例えば、温度分布のうち、所定の条件を満たす画素の領域について、外縁を形成する画素の少なくとも一部分を別の色で示すとよい。
画素の少なくとも一部分は、例えば、画素の全体、画素の枠、他の温度の画素と接する辺、または、これらの組合せとするとよい。このようにすれば、温度分布の外縁を明確にすることができる。また、温度分布の画像では不明確な物の形状を視認しやすくすることができる。さらに、可視光画像と温度分布とを容易に対応づけることができる。これらにより、解像度の低い温度分布の画像を利用する範囲を広げることができる。
処理情報は、例えば、温度分布のうち、所定の条件を満たす画素の領域について、外縁を形成する画素の少なくとも一部分を別の色で示すとよい。
画素の少なくとも一部分は、例えば、画素の全体、画素の枠、他の温度の画素と接する辺、または、これらの組合せとするとよい。このようにすれば、温度分布の外縁を明確にすることができる。また、温度分布の画像では不明確な物の形状を視認しやすくすることができる。さらに、可視光画像と温度分布とを容易に対応づけることができる。これらにより、解像度の低い温度分布の画像を利用する範囲を広げることができる。
【0133】
＜システム例５＞
図８は、実施形態１のシステムを不法侵入監視に適用する一例を説明する図である。
図８では、居室内の温度分布の画像を用いて、不法侵入などを監視する例を表す。図８の上段は、可視光撮像装置で撮像した居室内の可視光映像であり、下段は、熱画像撮像装置で撮像した温度分布を示すサーモ映像である。また、図８の左側は、平常時の画像の一例であり、右側は、不法侵入などの異常が発生したときの画像の一例である。
図８は、実施形態１のシステムを不法侵入監視に適用する一例を説明する図である。
図８では、居室内の温度分布の画像を用いて、不法侵入などを監視する例を表す。図８の上段は、可視光撮像装置で撮像した居室内の可視光映像であり、下段は、熱画像撮像装置で撮像した温度分布を示すサーモ映像である。また、図８の左側は、平常時の画像の一例であり、右側は、不法侵入などの異常が発生したときの画像の一例である。
【0134】
可視光映像は、明るい時には、侵入した不法侵入者４４または小動物４５を視認することが可能であるが、暗くなると画像に映らなくなる。
サーモ映像において、平常時では、蛍光灯４１、ファックス４２およびパーソナルコンピュータ（サーバ）４３の温度が他の領域より高い温度を示している。このような居室に、不法侵入者４４または小動物４５が侵入すると、平常時には存在しない高い温度の物体として温度分布に現れる。従って、夜間の居室内の監視するために、熱画像撮像装置を監視カメラとして用いることができる。
サーモ映像において、平常時では、蛍光灯４１、ファックス４２およびパーソナルコンピュータ（サーバ）４３の温度が他の領域より高い温度を示している。このような居室に、不法侵入者４４または小動物４５が侵入すると、平常時には存在しない高い温度の物体として温度分布に現れる。従って、夜間の居室内の監視するために、熱画像撮像装置を監視カメラとして用いることができる。
【0135】
例えば、複数の領域に分かれた発熱動体が存在すると、前述したようにヒトと認識される。従って、ヒトと認識される発熱動体がセキュリティー時間帯に現れる事で、不法侵入者４４と判定することができる。また、一つの領域の単体で動く発熱体が存在すると、小動物４５と判定することができる。
図８に示す居室内の例では、予め設定した温度を超える領域が検出されたときに、異常発生とすることができる。
図８に示す居室内の例では、予め設定した温度を超える領域が検出されたときに、異常発生とすることができる。
【0136】
このように、熱画像撮像装置を監視カメラとして用いることができる。例えば、所定の温度を超える状態が異常であるなど、温度条件により監視ができる撮像対象の場合には、可視光映像を用いることなくサーモ映像のみを用いて監視することが可能である。
また、監視カメラとして、可視光撮像装置と熱画像撮像装置とを組み合わせて用いると、可視光画像とサーモ映像とを組合せて監視することが可能になる。また、監視対象となる撮像対象が変化しないものである場合には、事前に撮像した可視光画像と、所定の間隔で撮像するサーモ映像とを組み合わせて監視することもできる。
また、監視カメラとして、可視光撮像装置と熱画像撮像装置とを組み合わせて用いると、可視光画像とサーモ映像とを組合せて監視することが可能になる。また、監視対象となる撮像対象が変化しないものである場合には、事前に撮像した可視光画像と、所定の間隔で撮像するサーモ映像とを組み合わせて監視することもできる。
【0137】
＜システム例６＞
本システム例では、撮像対象のうち、予め、一つ以上の監視対象を設定し、設定した監視対象について温度しきい値を用いて監視する一態様を説明する。
図９から図１２は、実施形態１のシステムを居室内の監視に適用する一例を説明する図である。ここで、監視対象は、例えば、撮像対象の領域の一部分としてもよいし、撮像対象に存在する物としてもよい。図９から図１２では、撮像対象に存在する電化製品を監視対象とする例を説明する。
本システム例では、撮像対象のうち、予め、一つ以上の監視対象を設定し、設定した監視対象について温度しきい値を用いて監視する一態様を説明する。
図９から図１２は、実施形態１のシステムを居室内の監視に適用する一例を説明する図である。ここで、監視対象は、例えば、撮像対象の領域の一部分としてもよいし、撮像対象に存在する物としてもよい。図９から図１２では、撮像対象に存在する電化製品を監視対象とする例を説明する。
【0138】
制御手段は、温度情報のうち、可視光画像に組み込む対象物を特定する表示情報を保持する。例えば、図１の構成例において、制御手段２００は、保持部２０４に、表示情報を予め保持するとよい。
制御手段は、例えば、温度情報から対象物の温度を取得し、対象物の温度を、可視光画像に追加した画像を処理情報として生成する。このようにすれば、予め特定した対象物に着目しやすい表示ができる。
制御手段は、例えば、温度情報から対象物の温度を取得し、対象物の温度を、可視光画像に追加した画像を処理情報として生成する。このようにすれば、予め特定した対象物に着目しやすい表示ができる。
【0139】
表示情報は、例えば、撮像対象に存在する物のうち、温度を監視したい対象物を設定するとよい。
例えば、制御手段は、撮像対象に存在する電化製品のうち、監視対象とする対象物（以下適宜「ターゲット」とも称する）を選択する。この時、制御手段は、利用者が対象物を選択可能な操作画面を端末装置などに表示させるとよい。
図９において、（Ａ）は監視を行うターゲットを選択したときの表示画面の一例を説明する図、（Ｂ）は監視中の表示画面の一例を説明する図である。図９中、ＴＧｎ（ｎは正の整数）は、利用者が選択したターゲットを表す。利用者は、例えば次の手順で監視対象とするターゲットを選択し、表示方法等を設定する。
例えば、制御手段は、撮像対象に存在する電化製品のうち、監視対象とする対象物（以下適宜「ターゲット」とも称する）を選択する。この時、制御手段は、利用者が対象物を選択可能な操作画面を端末装置などに表示させるとよい。
図９において、（Ａ）は監視を行うターゲットを選択したときの表示画面の一例を説明する図、（Ｂ）は監視中の表示画面の一例を説明する図である。図９中、ＴＧｎ（ｎは正の整数）は、利用者が選択したターゲットを表す。利用者は、例えば次の手順で監視対象とするターゲットを選択し、表示方法等を設定する。
【0140】
（１）任意に温度を測定するターゲットを選択（ＴＧ１～６）
ここでは、以下を選択した例を説明する。動作状態または待機状態は、電化製品の状態を表す。
ＴＧ１ ： 冷蔵庫（動作状態）
ＴＧ２ ： レンジ（待機状態）
ＴＧ３ ： 電気ポット（待機状態）
ＴＧ４ ： 炊飯器（待機状態）
ＴＧ５ ： 換気扇（動作状態）
ＴＧ６ ： テレビ（待機状態）
また、ターゲットとして設定した物以外であっても、温度変化があればその箇所を自動的にターゲットとして温度を表示する。例えば、図９（Ｂ）では、撮像対象において、陽射しにより窓付近の温度上昇が検知された状態例を表している。
ここでは、以下を選択した例を説明する。動作状態または待機状態は、電化製品の状態を表す。
ＴＧ１ ： 冷蔵庫（動作状態）
ＴＧ２ ： レンジ（待機状態）
ＴＧ３ ： 電気ポット（待機状態）
ＴＧ４ ： 炊飯器（待機状態）
ＴＧ５ ： 換気扇（動作状態）
ＴＧ６ ： テレビ（待機状態）
また、ターゲットとして設定した物以外であっても、温度変化があればその箇所を自動的にターゲットとして温度を表示する。例えば、図９（Ｂ）では、撮像対象において、陽射しにより窓付近の温度上昇が検知された状態例を表している。
【0141】
（２）温度および時間の設定
・サンプリング時間
・測定期間
・測定温度レンジ
・温度リミット
・アラーム（表示、音、ターゲットの動作停止コマンド発信等）
温度リミットは、例えば、温度の上限また下限となる温度しきい値、あるいは適切な温度範囲など、正常状態と異常状態とを分ける温度を設定する。
・サンプリング時間
・測定期間
・測定温度レンジ
・温度リミット
・アラーム（表示、音、ターゲットの動作停止コマンド発信等）
温度リミットは、例えば、温度の上限また下限となる温度しきい値、あるいは適切な温度範囲など、正常状態と異常状態とを分ける温度を設定する。
【0142】
（３）温度を測定したデータの表示方法の選択
・可視光画像に温度分布を追加する表示
・リアルタイム表示（各ターゲットの現在値、指定した任意の箇所の温度）
・表による数値表示
・グラフ表示
表示方法において、温度、時間レンジを任意に設定可能とする。
・可視光画像に温度分布を追加する表示
・リアルタイム表示（各ターゲットの現在値、指定した任意の箇所の温度）
・表による数値表示
・グラフ表示
表示方法において、温度、時間レンジを任意に設定可能とする。
【0143】
制御手段は、例えば、前述した（１）から（３）の操作を利用者に促す画面を表示し、利用者が選択した処理等を受け取るとよい。また、制御手段は、例えば、受け取った情報に基づいて、監視条件や表示方法等を決定するとよい。例えば、図１の構成例において、制御手段２００は、保持部２０４に監視条件や表示方法等に関する情報を保持するとよい。
【0144】
図９（Ｂ）、および図１０から図１２は、温度を測定したデータの表示方法の一例を説明する図である。図９（Ｂ）は可視光画像に温度分布を追加する表示、図１０はリアルタイム表示、図１１は表による数値表示、図１２はグラフ表示の一例を示す。
図９（Ｂ）は、温度しきい値以上の温度分布を表した一例である。図９（Ｂ）は、例えば、図６に示したような所定の温度範囲の間の温度を複数の色のグラデーションを用いて表してもよい。
図９（Ｂ）は、温度しきい値以上の温度分布を表した一例である。図９（Ｂ）は、例えば、図６に示したような所定の温度範囲の間の温度を複数の色のグラデーションを用いて表してもよい。
【0145】
図１０では、サーモ映像に、各ターゲットの温度の現在値とともに、指定した任意の箇所の温度を数値で表している。図１０において、（Ａ）は異常状態発生前の表示例であり、（Ｂ）は異常状態発生時の表示例である。
図１１は、所定の時間内における温度分布を数値で表した表の一例である。図１１では、例えば、異常状態と判定された温度を警告色（例えば赤色）にして表してもよい。
図１２では、ターゲットとして選択した換気扇（ＴＧ５）に温度上昇による異常状態が発生したときの表示例を示す。図１２では、ＴＧ５の異常発生を検出する温度しきい値として、８０℃を超えたときを異常発生とした例を示している。
図１１は、所定の時間内における温度分布を数値で表した表の一例である。図１１では、例えば、異常状態と判定された温度を警告色（例えば赤色）にして表してもよい。
図１２では、ターゲットとして選択した換気扇（ＴＧ５）に温度上昇による異常状態が発生したときの表示例を示す。図１２では、ＴＧ５の異常発生を検出する温度しきい値として、８０℃を超えたときを異常発生とした例を示している。
【0146】
＜システム例７＞
本システム例では、温度しきい値を用いて監視するシステムの一例を説明する。制御手段は、温度情報から温度しきい値を超える部分を抽出し、抽出した情報を用いて処理情報を生成する。例えば、抽出した部分の数を計測する。このようにすれば、対象物が他の領域と異なる温度を有するときに、対象物の数を容易に計測することができる。
図１の構成例において、制御手段２００は、例えば、温度しきい値を保持部２０４に保持するとよい。また、処理部２０２は、温度情報から温度しきい値を超える温度超過部分を抽出して温度超過部分の数を計測するとよい。
本システム例では、温度しきい値を用いて監視するシステムの一例を説明する。制御手段は、温度情報から温度しきい値を超える部分を抽出し、抽出した情報を用いて処理情報を生成する。例えば、抽出した部分の数を計測する。このようにすれば、対象物が他の領域と異なる温度を有するときに、対象物の数を容易に計測することができる。
図１の構成例において、制御手段２００は、例えば、温度しきい値を保持部２０４に保持するとよい。また、処理部２０２は、温度情報から温度しきい値を超える温度超過部分を抽出して温度超過部分の数を計測するとよい。
【0147】
一例として、閉ざされた空間内（例えば、工場、居室、バスなどの車両）に存在する人の数を計測することができる。例えば、居室内に存在する人数の検出、新たな侵入者の検出を可能にする。
また、単位面積当たりの人数を計測することもできる。例えば、塾の教室などの屋内の仕切られた室内の人数を計測し、出席者が予め設定した定員数と異なる場合には異常とすることができる。あるいは、居室への入退室（例えば、トイレの入退出、図書館の入退室など）の人数を計測することもできる。保育所などの子供の監視に用いることもできる。
また、単位面積当たりの人数を計測することもできる。例えば、塾の教室などの屋内の仕切られた室内の人数を計測し、出席者が予め設定した定員数と異なる場合には異常とすることができる。あるいは、居室への入退室（例えば、トイレの入退出、図書館の入退室など）の人数を計測することもできる。保育所などの子供の監視に用いることもできる。
【0148】
温度しきい値は、例えば、撮像領域に存在する物のうち検出したい対象物の最低温度を設定するとよい。
また、制御手段は、最低温度を超える部分が、予め設定した数値より大きい画素数の集合（連続した画素の集まり）であるときに、温度超過部分として計測するようにするとよい。予め設定した数値は、計測する対象物の大きさに応じて決めるとよい。これにより、想定していない対象物の計測などを排除し、計測する対象物の精度を向上させることができる。
また、制御手段は、最低温度を超える部分が、予め設定した数値より大きい画素数の集合（連続した画素の集まり）であるときに、温度超過部分として計測するようにするとよい。予め設定した数値は、計測する対象物の大きさに応じて決めるとよい。これにより、想定していない対象物の計測などを排除し、計測する対象物の精度を向上させることができる。
【0149】
撮像対象の撮像方向については、真上が理想となるが、検出した複数の熱源をロックし追従させれば方向を問うものではない。熱源が重なり、他の熱の裏になる場合にも、次に現れるときに追従を継続することにより、管理が可能になる。ただし、室内から外出できる方向（扉など）に熱源が重なると、熱源が外に出たか否かを判定できなくなることから、熱源の出入りを計測する場合には、熱源の出入りが捉えられるように撮像方向を決定することが好ましい。
【0150】
＜その他のシステム例＞
図２から図１２を参照して本実施形態のシステム例を説明したが、例えば、以下に説明する処理を実現することにより、有利な効果を奏することができる。
例えば、サーモグラフィと可視光撮像装置の映像を重ねる事で、どの被写体がどれくらいの温度であるか測定できる。
被写体の温度は、フルカラーのグラデーションで表示できる為、色で温度の分布を表示する事もできる。
監視カメラにおいては、例えば、明るい時に撮影した可視光の映像を背景にする事もできる。
図２から図１２を参照して本実施形態のシステム例を説明したが、例えば、以下に説明する処理を実現することにより、有利な効果を奏することができる。
例えば、サーモグラフィと可視光撮像装置の映像を重ねる事で、どの被写体がどれくらいの温度であるか測定できる。
被写体の温度は、フルカラーのグラデーションで表示できる為、色で温度の分布を表示する事もできる。
監視カメラにおいては、例えば、明るい時に撮影した可視光の映像を背景にする事もできる。
【0151】
温度分布により、可視光撮像装置で捕えられない被写体も、人間なのか動物なのかの判定も容易にできる。動物（特に害獣となる野生の動物）は基本的に衣類を装着していない為、衣類を装着した人間と写り方に決定的な違いがあるので判定は容易となる。また、基本的に、人間より動物の体温が高いことを用いて、人間と動物とを判定することもできる。
【0152】
厨房や工場などにおいて、例えば、触ると火傷をするように高温となった物がある状況を想定する。可視光の画像（人間の目に映る画像）では温度がわからないため、当該物に接触すると火傷等の事故が起こることになる。また、壁の裏側において、遠赤外線による発火、漏電による発火などは、肉眼では検出が容易でない場合に、熱画像検査装置による撮像により、加熱を捉えて壁裏の発火や漏電を発見することができる。
また、可視光画像を背景にする事で、暗闇の中でもどの被写体がどれくらいの温度になっているか映像で確認が可能となる。
また、可視光画像を背景にする事で、暗闇の中でもどの被写体がどれくらいの温度になっているか映像で確認が可能となる。
【0153】
熱画像検査装置は、単位時間当たりの温度変化（ΔＴ）を測定する機能も有する。さらに、熱画像検査装置は、単位時間当たりの温度変化より、異常を自動的に検出する機能も有する。これらの機能と可視光画像とを組み合わせて、撮像対象を監視することもできる。一例として、古い扇風機などの電化製品の使用が火事の原因になる場合、または、テーブルタップ等、定格を超えた使い方をした場合にケーブルが溶けて火事になる場合に、単位時間当たりの温度変化を検知し、電源を止めるように制御することにより、火事を防ぐことができる。
【0154】
動体検知において、例えば、被写体が小さく可視光では検出できないものであっても、温度を持ったものが移動する為、熱画像検査装置を用いることにより、可視光画像で検出する場合に比べて検出精度を高くすることができる。
熱画像検査装置を用いると、ピンポイントの温度を複数個所任意で選択し、数値で表示でき、又そのログも取ることができる。
熱を通す素材の障害物であれば、透過し障害物の奥の被写体の撮影も可能である。
ＩｏＴ（Internet of Things）で連携される家電においては、それらを被写体にする事で熱異常を検知し、電源を切る等火事を未然に防ぐこともできる。
熱画像検査装置を用いると、ピンポイントの温度を複数個所任意で選択し、数値で表示でき、又そのログも取ることができる。
熱を通す素材の障害物であれば、透過し障害物の奥の被写体の撮影も可能である。
ＩｏＴ（Internet of Things）で連携される家電においては、それらを被写体にする事で熱異常を検知し、電源を切る等火事を未然に防ぐこともできる。
【0155】
玄関やエントランス等に設置した場合、通過する人の体温を測定する事で、熱を発する病気の判定もできる。
可視光を有しないサーモグラフィを、幼児の見守りカメラとして使用した場合、プライバシーが極力保護される為、安心して使用できる。
単位面積当たりの人の数を自動でカウントする事もでき、人数の増減を管理する事もできる。
被写体の熱の状態をラーニングさせる事で、登録された人物を特定する事もできる。
可視光を有しないサーモグラフィを、幼児の見守りカメラとして使用した場合、プライバシーが極力保護される為、安心して使用できる。
単位面積当たりの人の数を自動でカウントする事もでき、人数の増減を管理する事もできる。
被写体の熱の状態をラーニングさせる事で、登録された人物を特定する事もできる。
【0156】
掌認証において、温度分布をラーニングさせる事で個人を特定でき、容易に偽装できないセキュリティーとする事も可能である。
温度による掌認証の場合、指先等温度変化の激しい場所を避け、手の平のみで認証する事も可能である。
温度による掌認証の場合、指先等温度変化の激しい場所を避け、手の平のみで認証する事も可能である。
【0157】
屋内外の監視用として、暗闇の中、さらに陰に隠れた不審者を発見する事も可能である。
ガラス等熱を通さない物質を障害物とする事で、測定したくない場所を隠す事も容易となる。
水の中の物質の熱を測定できない事から、熱せられた金属等を部分的に水に入れて冷やした場合の冷却率を測定する事も可能である。
ガラス等熱を通さない物質を障害物とする事で、測定したくない場所を隠す事も容易となる。
水の中の物質の熱を測定できない事から、熱せられた金属等を部分的に水に入れて冷やした場合の冷却率を測定する事も可能である。
【0158】
前述したシステム例２から７において、各システムは、システム例１で説明した図２と同様に、撮像装置１００と端末装置３とを少なくとも備える構成するとよい。
また、図３の撮像装置１００は一例であり、可視光画像を撮像する第１撮像ユニットと、赤外線量を計測して温度分布の画像を取得する第２撮像ユニットとは、別々の筐体に設けられる複数の撮像装置として実現してもよい。
また、図３の撮像装置１００は一例であり、可視光画像を撮像する第１撮像ユニットと、赤外線量を計測して温度分布の画像を取得する第２撮像ユニットとは、別々の筐体に設けられる複数の撮像装置として実現してもよい。
【0159】
実施形態２．
本実施形態では、特殊撮像装置として、熱画像検査装置を用い、赤外線を計測した値が異なる領域を有する撮像対象をコードとして用いるシステムの一態様を説明する。
本実施形態では、特殊撮像装置として、熱画像検査装置を用い、赤外線を計測した値が異なる領域を有する撮像対象をコードとして用いるシステムの一態様を説明する。
【0160】
現在商品等の識別方法は、バーコードおよびＱＲコード（登録商標）が主流で、次世代のコードが考えられていない。また、クレジットカードやキャッシュカードにおいても磁気またはＩＣ（Integrated Circuit）チップが主流で歴史も長く、セキュリティー面においても脆弱になりつつある。
そこで、本実施形態では、赤外線を計測した値が異なる領域をコードとして用いる一態様を説明する。撮像対象は、例えば、熱透過率または熱反射率の違う物質を組み合わせたコードを有し、遠赤外線を照射して赤外線量を計測するようにするとよい。このようにすると、コードの偽造をかなり困難にすることができる。
以降の説明では、熱透過率または熱反射率の違う物質を組み合わせたコードを「サーマルコード」と称する。
そこで、本実施形態では、赤外線を計測した値が異なる領域をコードとして用いる一態様を説明する。撮像対象は、例えば、熱透過率または熱反射率の違う物質を組み合わせたコードを有し、遠赤外線を照射して赤外線量を計測するようにするとよい。このようにすると、コードの偽造をかなり困難にすることができる。
以降の説明では、熱透過率または熱反射率の違う物質を組み合わせたコードを「サーマルコード」と称する。
【0161】
＜サーマルコード＞
図１３は、サーマルコードの一例を説明する図である。サーマルコード３００は、例えば、所定の画素数で構成される。図１３では、画素数が１０×１０画素のサーマルコード３００の一例を示している。図１３では、サーマルコード３００は、黒色の画素３０１と白色の画素３０２との組み合わせから形成された例を示す。
以降の説明では、撮像対象と、サーマルコードとは、一致するものとする。しかしながら、撮像対象は、その一部分にサーマルコードを構成する複数の画素を有するものとしてもよい。
図１３は、サーマルコードの一例を説明する図である。サーマルコード３００は、例えば、所定の画素数で構成される。図１３では、画素数が１０×１０画素のサーマルコード３００の一例を示している。図１３では、サーマルコード３００は、黒色の画素３０１と白色の画素３０２との組み合わせから形成された例を示す。
以降の説明では、撮像対象と、サーマルコードとは、一致するものとする。しかしながら、撮像対象は、その一部分にサーマルコードを構成する複数の画素を有するものとしてもよい。
【0162】
サーマルコードは、照射する熱によっても透過率を変化させることもできる。
サーマルコードは、裏からの熱源による判定以外に、表側への熱照射の反射熱に対する判定も可能とする。より詳細には、サーマルコードは、熱反射型と熱透過型との二種類が可能である。熱反射型は、遠赤外線を照射し、サーマルコードが反射した赤外線量を計測する。熱透過型は、遠赤外線を照射し、サーマルコードを透過した赤外線量を計測する。
サーマルコードは、裏からの熱源による判定以外に、表側への熱照射の反射熱に対する判定も可能とする。より詳細には、サーマルコードは、熱反射型と熱透過型との二種類が可能である。熱反射型は、遠赤外線を照射し、サーマルコードが反射した赤外線量を計測する。熱透過型は、遠赤外線を照射し、サーマルコードを透過した赤外線量を計測する。
【0163】
サーマルコードは、磁気カード程度の薄いコードも作製可能とする。
サーマルコードは肉眼、または、可視光での光学機器では写らない為、視覚による確認や光学的なコピーも不可能とすることができる。
また、ダヴンチコードの如く、サーマルコードの有無さえもサーモカメラがなければ検出することが不可能とすることができる。仮にサーモカメラがあったとしても、サーマルコード自体非常に小さいものなので、現在の解像度では近接しないと判定は不可能となる。
サーマルコードは肉眼、または、可視光での光学機器では写らない為、視覚による確認や光学的なコピーも不可能とすることができる。
また、ダヴンチコードの如く、サーマルコードの有無さえもサーモカメラがなければ検出することが不可能とすることができる。仮にサーモカメラがあったとしても、サーマルコード自体非常に小さいものなので、現在の解像度では近接しないと判定は不可能となる。
【0164】
低解像度のサーモカメラ（撮像手段）でも組み合わせは無限にすることができる。例えば、１０×１０画素で透過率が２段階として、２の１００乗、およそ１．２７×１０３０という天文学的数値の組み合わせとすることができる。
サーマルコードのサイズはサーモカメラのセンサ（撮像素子）のサイズと同型にできるため、マイクロメートルオーダーのサーマルコードの作製も可能となる。
サーマルコードを小さくすることが可能なため、カードだけでなく、車や家の鍵や免許証およびマイナンバーカードにも利用可能となる。
また、サーマルコードは、バーコードおよびＱＲコード（登録商標）にかわるコードとする事もできる。
サーマルコードのサイズはサーモカメラのセンサ（撮像素子）のサイズと同型にできるため、マイクロメートルオーダーのサーマルコードの作製も可能となる。
サーマルコードを小さくすることが可能なため、カードだけでなく、車や家の鍵や免許証およびマイナンバーカードにも利用可能となる。
また、サーマルコードは、バーコードおよびＱＲコード（登録商標）にかわるコードとする事もできる。
【0165】
図１４は、サーマルコードをカードの認証に用いる利用例であり、カード３１０にサーマルコード３００を配置している。サーマルコード３００は、小さい面積であるため、他のコード（例えば、ＩＣチップ）に加えてサーマルコードを配置することも容易となる。
【0166】
図１５は、サーマルコードを鍵に用いる利用例であり、キー３２０に熱透過型のサーマルコードを形成した例である。図１５において、（Ａ）は平面図、（Ｂ）は正面図である。
キー３２０は、鍵基板３２１のサーマルコード設置領域３２２にサーマルコード３００が配置される。サーマルコードが熱透過型の場合には、設置領域３２２内にサーマルコードを配置する穴が形成されることになる。サーマルコード３００は、スライドキャップ３２３により平面（上面）側と底面側との両面が覆われ、スライドキャップ３２３がスライドレール３２４に沿って移動することにより、露出する。
キー３２０は、鍵基板３２１のサーマルコード設置領域３２２にサーマルコード３００が配置される。サーマルコードが熱透過型の場合には、設置領域３２２内にサーマルコードを配置する穴が形成されることになる。サーマルコード３００は、スライドキャップ３２３により平面（上面）側と底面側との両面が覆われ、スライドキャップ３２３がスライドレール３２４に沿って移動することにより、露出する。
【0167】
図１５では、熱透過型のサーマルコードの例を示しているため、スライドキャップおよびスライドレール３２４は、鍵基板３２１の平面側および底面側に配置している。熱反射型のサーマルコード３００では、スライドキャップ３２３およびスライドレール３２４は、鍵基板３２１にサーマルコード３００が配置される面側に設置される。なお、スライドキャップ３２３は、サーマルコード３００を保護するためであり、スライドキャップ３２３およびスライドレール３２４を設置しない構成であってもよい。
【0168】
熱透過率の高い素材として、例えば、シリコンがあり、ウェーハを製造する技術を応用することでサーマルコードは容易に作製可能となる。
また、シリコンでサーマルコードを作製することで、温度や湿度、紫外線等の劣化にも強く、熱による変形も殆ど生じないという利点がある。
また、シリコンでサーマルコードを作製することで、温度や湿度、紫外線等の劣化にも強く、熱による変形も殆ど生じないという利点がある。
【0169】
＜サーマルコードを用いる制御手段＞
本実施形態のシステムにおいて、制御手段は、サーマルコードについて、後述するサーマルコードリーダにより計測した赤外線量または赤外線稜に基づく情報を入力情報として受け取り、赤外線量に関する処理情報を生成し、生成した処理情報を出力する。制御手段は、例えば、受け取った赤外線量を訂正した値を用いて処理情報を生成するとよい。
本実施形態のシステムにおいて、制御手段は、サーマルコードについて、後述するサーマルコードリーダにより計測した赤外線量または赤外線稜に基づく情報を入力情報として受け取り、赤外線量に関する処理情報を生成し、生成した処理情報を出力する。制御手段は、例えば、受け取った赤外線量を訂正した値を用いて処理情報を生成するとよい。
【0170】
入力情報は、例えば、サーマルコードを構成する各画素の赤外線量を示す情報とするとよい。一例として、入力情報は、赤外線量を示す数値、または、赤外線量を色分けして表す画像データとするとよい。入力情報は、例えば、後述するサーマルコードリーダが取得可能な画像データ、または当該画像データに基づく情報とするとよい。
【0171】
処理情報は、例えば、サーマルコードを表す情報とするとよい。一例として、処理情報は、コードを構成する各画素の赤外線量を示す情報、または、コードを表す画像とするとよい。コードを表す画像は、例えば、赤外線量が異なる領域を表すパターンとするとよい。一例として、図１３に示すような、赤外線量を二段階（例えば、白と黒などの異なる二色による色分け）に分けて表したパターンとするとよい。
【0172】
また、処理情報は、赤外線量を示す情報を照合情報と照合し、照合した結果とするとよい。このとき、図１の構成例では、制御手段２００は、例えば、保持部２０４に、照合情報を保持するとよい。
【0173】
＜サーマルコードリーダ＞
次に、前述したサーマルコードを読み取る機器について説明する。
前述したサーマルコードを読む為の機器が現在存在しない。そこで、特殊撮像装置の一例として、サーマルコードリーダを提案する。ここでは、サーマルコードが熱透過率または熱反射率の違う物質を組み合わせたものを読む機器の一例を説明する。
サーマルコードリーダは、例えば、撮像手段としてのサーモカメラと、照射手段とを備える。
次に、前述したサーマルコードを読み取る機器について説明する。
前述したサーマルコードを読む為の機器が現在存在しない。そこで、特殊撮像装置の一例として、サーマルコードリーダを提案する。ここでは、サーマルコードが熱透過率または熱反射率の違う物質を組み合わせたものを読む機器の一例を説明する。
サーマルコードリーダは、例えば、撮像手段としてのサーモカメラと、照射手段とを備える。
【0174】
サーモカメラは、サーマルコードに、照射手段により遠赤外線を照射したときの赤外線量を計測する。サーモカメラは、複数のセンサ（撮像素子）を有する。サーモカメラは、例えば、２次元サーモカメラ、１次元サーモカメラを用いるとよい。２次元サーモカメラは、例えば、２次元の平面に配置された複数のセンサを有するとよい。１次元サーモカメラは、例えば、線上（例えば、直線上）に配置された複数のセンサを有するとよい。
【0175】
照射手段は、サーマルコードに遠赤外線を照射する。照射手段は、例えば、遠赤外線発生器を用いるとよい。本実施形態のサーマルコードリーダは、サーマルコード表面に熱を当て反射熱による読み取る事（熱反射型）と、サーマルコード背面から熱を当て、通過熱を読み取る事（熱透過型）ができるように構成可能である。照射手段は、サーマルコードが熱反射率の異なる物質を組み合わせた熱反射型の場合には、サーモカメラと同じ側に配置される。また、照射手段は、サーマルコードが熱透過率の異なる物質を組み合わせた熱透過型の場合には、サーマルコードを挟んで、サーモカメラとは反対側に配置される。
【0176】
図１６は、熱反射型のサーマルコードを読み取るサーマルコードリーダの一例を説明する図である。ここで、サーマルコード３００Ａは、２次元のコードとする。
サーマルコードリーダ４１０では、遠赤外線発生器４１２は、サーマルコード３００Ａの正面より、熱を照射する。２次元サーモカメラ４１１は、反射熱を撮影する。この場合のサーマルコード３００Ａは、熱反射用の素材で作製されたものを使用する。
サーマルコードリーダ４１０では、遠赤外線発生器４１２は、サーマルコード３００Ａの正面より、熱を照射する。２次元サーモカメラ４１１は、反射熱を撮影する。この場合のサーマルコード３００Ａは、熱反射用の素材で作製されたものを使用する。
【0177】
図１７は、熱透過型のサーマルコードを読み取るサーマルコードリーダの一例を説明する図である。ここで、サーマルコード３００Ｂは、２次元のコードとする。
サーマルコードリーダ４２０では、サーマルコード３００Ｂの背面に熱源としての遠赤外線発生器４２２を置く。２次元サーモカメラ４２１は、サーマルコード３００Ｂを透過した熱を撮影する。この場合、２次元サーモカメラとコードの距離をかなり近距離にする事ができ、構造的にも単純で安価にできる。なお、サーマルコード３００Ｂの背面の熱源は不要な場合もある。
サーマルコードリーダ４２０では、サーマルコード３００Ｂの背面に熱源としての遠赤外線発生器４２２を置く。２次元サーモカメラ４２１は、サーマルコード３００Ｂを透過した熱を撮影する。この場合、２次元サーモカメラとコードの距離をかなり近距離にする事ができ、構造的にも単純で安価にできる。なお、サーマルコード３００Ｂの背面の熱源は不要な場合もある。
【0178】
２次元サーモカメラ４１１、４２１は、サーマルコードの全体を一度に撮像可能であることが好ましい。そのため、２次元サーモカメラ４１１、４２１は、サーマルコードを構成する画素に対応するセンサを有するとよい。このようにすると、サーマルコードの全体を撮像することができる。また、制御手段は、例えば、サーマルコードリーダによって一度に撮像された画像データに基づく入力情報を取得することができる。
【0179】
サーモカメラが、サーマルコードより小さいセンサを備える場合には、サーマルコードの一部領域を複数に分けて全体を撮像する。これにより、サーマルコードリーダが一度に撮像可能な大きさよりサーマルコードが大きい場合にも、サーマルコードの全体の情報を得ることができる。
このようにすると、制御手段は、例えば、サーマルコードリーダが複数に分けて撮像した画像データに基づく入力情報を取得することができる。
このようにすると、制御手段は、例えば、サーマルコードリーダが複数に分けて撮像した画像データに基づく入力情報を取得することができる。
【0180】
図１８、１９を参照して、１次元サーモカメラを用いて、２次元のサーマルコードを読み取る場合を説明する。
図１８および図１９は、サーモカメラがサーマルコードより小さいセンサを有するときのサーマルコードリーダの一例を説明する図である。１次元サーモカメラは、例えば、２次元のコードのいずれか一辺の長さを撮像できるセンサを有するとよい。１次元のサーモカメラは、例えば、撮像対象の外接円の直径の長さを撮像できる大きさとするとよい。
また、サーマルコードリーダは、サーモカメラを制御する撮像制御手段（図示していない）を備えるとよい。
図１８および図１９は、サーモカメラがサーマルコードより小さいセンサを有するときのサーマルコードリーダの一例を説明する図である。１次元サーモカメラは、例えば、２次元のコードのいずれか一辺の長さを撮像できるセンサを有するとよい。１次元のサーモカメラは、例えば、撮像対象の外接円の直径の長さを撮像できる大きさとするとよい。
また、サーマルコードリーダは、サーモカメラを制御する撮像制御手段（図示していない）を備えるとよい。
【0181】
図１８は、円形のサーマルコード３００Ｃを１次元サーモカメラ４３１で読み込む例を説明する図である。図１８では、撮像制御手段は、例えば、１次元サーモカメラ４３１の中心を軸に回転させてサーマルコード３００Ｃの全体を撮像する制御を行う。
サーマルコードリーダ４３０では、１次元サーモカメラ４３１は、サーモカメラの中心を軸に、半回転させて円形のサーマルコード３００Ｃを読み込む。
サーマルコードリーダ４３０では、１次元サーモカメラ４３１は、サーモカメラの中心を軸に、半回転させて円形のサーマルコード３００Ｃを読み込む。
【0182】
サーマルコードリーダ４３０は、サーマルコード３００Ｃを正確に読み込むため、サーマルコード３００Ｃと１次元サーモカメラ４３１との距離は極力狭くすることが好ましい。また、サーマルコード３００Ｃおよびサーマルコードリーダ４３０は、熱反射型よりも熱透過型とすることが望ましい。さらに、サーマルコード３００Ｃの背面の中心部分に、位置決めの穴が開いており、サーマルコードリーダ４３０側のボス（突起）がここにはまるようになっており、１次元サーモカメラ４３１の中心とサーマルコード３００Ｃの中心を合わせ易いようになっている。
【0183】
図１９は、矩形のサーマルコード３００Ｄを１次元サーモカメラ４４１で読み込む例を説明する図である。図１９では、撮像制御手段は、例えば、サーマルコード３００Ｄが矩形であるときに、１次元サーモカメラ４４１をサーマルコード３００Ｄの一つの辺から、対向する辺に向かって移動させてサーマルコード３００Ｄを撮像する制御を行う。
サーマルコードリーダ４４０では、１次元サーモカメラ４４１は、サーマルコード３００Ｄの一辺から対向する辺へ移動させて矩形のコードを読み込む。
サーマルコードリーダ４４０は、サーマルコード３００Ｄを正確に読み込むため、サーマルコード３００Ｄと１次元サーモカメラ４４１との距離は極力狭くすることが好ましい。また、サーマルコード３００Ｄおよびサーマルコードリーダ４４０は、反射型よりも透過型が望ましい。
サーマルコードリーダ４４０では、１次元サーモカメラ４４１は、サーマルコード３００Ｄの一辺から対向する辺へ移動させて矩形のコードを読み込む。
サーマルコードリーダ４４０は、サーマルコード３００Ｄを正確に読み込むため、サーマルコード３００Ｄと１次元サーモカメラ４４１との距離は極力狭くすることが好ましい。また、サーマルコード３００Ｄおよびサーマルコードリーダ４４０は、反射型よりも透過型が望ましい。
【0184】
このように、サーマルコードリーダは、１次元サーモカメラを回転させる事で、２次元のコードを読む事も可能となる。また、サーマルコードリーダは、２次元のサーマルコードを１次元サーモカメラにてトレースする事で、サーマルコードを読む事ができる。
【0185】
＜サーマル認証システム＞
次に、サーマルコードを用いるシステムの一例を説明する。ここでは、予め設定した照合情報（認証情報とも称する）と、サーマルコードとを照合した認証結果を出力するサーマル認証システムについて説明する。サーマル認証システムは、例えば、サーマルコードリーダと、認証回路とを少なくとも備えるとよい。認証回路は、サーマルコードを用いる制御手段として機能する。
次に、サーマルコードを用いるシステムの一例を説明する。ここでは、予め設定した照合情報（認証情報とも称する）と、サーマルコードとを照合した認証結果を出力するサーマル認証システムについて説明する。サーマル認証システムは、例えば、サーマルコードリーダと、認証回路とを少なくとも備えるとよい。認証回路は、サーマルコードを用いる制御手段として機能する。
【0186】
まず、サーマル認証システムの電力供給について説明する。
サーマル認証システムは、外部から電力を供給する電力供給手段を備える電力供給型の構成とすることができる。電力供給型のサーマル認証システムは、シリンダに、サーマルコードを有するカードまたはキーが挿入されると、電力供給手段のスイッチがＯＮとなり、サーマル認証システムに電力が供給されるように構成するとよい。
また、サーマル認証システムは、発電手段を備える発電型の構成とすることができる。
例えば、サーマルコードを有するカードまたはキー等をサーマルコードリーダに抜き差しする際に発電する事ができる。このようにすると、電力の供給を不要とする事が可能なる。以下に発電手段の一例を説明する。
サーマル認証システムは、外部から電力を供給する電力供給手段を備える電力供給型の構成とすることができる。電力供給型のサーマル認証システムは、シリンダに、サーマルコードを有するカードまたはキーが挿入されると、電力供給手段のスイッチがＯＮとなり、サーマル認証システムに電力が供給されるように構成するとよい。
また、サーマル認証システムは、発電手段を備える発電型の構成とすることができる。
例えば、サーマルコードを有するカードまたはキー等をサーマルコードリーダに抜き差しする際に発電する事ができる。このようにすると、電力の供給を不要とする事が可能なる。以下に発電手段の一例を説明する。
【0187】
図２０は、サーマル認証システムに電力を供給する発電手段の構成例を説明する図である。図２０は、図１５に示したキー３２０のサーマルコードの利用例を用いて、発電手段を説明する。
図２０では、発電手段を、シリンダ６１０、スライダー６２０、プーリー６３０、ワイヤー６４０、および、システムぜんまい６５０を用いて実現する例を示す。図２０において、（Ａ）は初期状態、（Ｂ）は順方向発電、（Ｃ）は発電用ぜんまい発電、について説明する図である。
図２１は、システムぜんまいの構成例を説明する図である。システムぜんまい６５０は、ワイヤー巻取り用ぜんまい６５１、発電用ぜんまい６５２、ギヤボックス６５３、および発電モータ６５４を有する。
図２０では、発電手段を、シリンダ６１０、スライダー６２０、プーリー６３０、ワイヤー６４０、および、システムぜんまい６５０を用いて実現する例を示す。図２０において、（Ａ）は初期状態、（Ｂ）は順方向発電、（Ｃ）は発電用ぜんまい発電、について説明する図である。
図２１は、システムぜんまいの構成例を説明する図である。システムぜんまい６５０は、ワイヤー巻取り用ぜんまい６５１、発電用ぜんまい６５２、ギヤボックス６５３、および発電モータ６５４を有する。
【0188】
サーマル認証システムのシリンダ６１０（図２０（Ａ））にキー３２０を割き込んで行くと、スライダー６２０が押され、ワイヤー６４０が引っ張られる。このとき、システムぜんまい６５０による順方向発電が行われる（図２０（Ｂ））。
また、スライダー６２０がある位置より奥に挿入された時に、発電回路の放電スイッチがＯＮとなり発電された電力がサーマル認証システムに供給される。
また、スライダー６２０がある位置より奥に挿入された時に、発電回路の放電スイッチがＯＮとなり発電された電力がサーマル認証システムに供給される。
【0189】
シリンダ６１０にキー３２０を押し込み、スライダー６２０が発電用ぜんまい限界点を越えると、巻かれた発電用ぜんまい６５２による発電モータ６５４での発電が行われる（図２０（Ｃ））。
また、同時に発電用ぜんまい６５２による発電が開始された際に、認証回路への電源供給が始まり、認証が完了すると、シリンダーロックが外れ、キー３２０を回せるようになる。
開錠後、キーを抜く際、ワイヤー巻取り用ぜんまい６５１により、スライダー６２０が初期の位置に戻る。
このとき、ギヤボックス６５３のギヤが発電用ぜんまい６５２を巻くような状態になる。同時に、認証回路への電源供給はストップする。
また、同時に発電用ぜんまい６５２による発電が開始された際に、認証回路への電源供給が始まり、認証が完了すると、シリンダーロックが外れ、キー３２０を回せるようになる。
開錠後、キーを抜く際、ワイヤー巻取り用ぜんまい６５１により、スライダー６２０が初期の位置に戻る。
このとき、ギヤボックス６５３のギヤが発電用ぜんまい６５２を巻くような状態になる。同時に、認証回路への電源供給はストップする。
【0190】
図２２は、発電回路の構成例を説明する図である。発電回路８００は、サーマル認証システム７００へ電力を供給する回路の一例である。発電回路８００は、モータ８１０（発電モータ６５４に対応する）、昇圧トランス８２０、整流器８３０、平滑コンデンサ８４０、バッテリー８５０、放電スイッチ８６０、およびＤＣＤＣコンバータ８７０を備える。なお、これに限らず、例えば公知のエナジーハーベスティング技術を用いて発電する構成としてもよい。
【0191】
次に、サーマル認証システムの認証動作の一例について説明する。以下では、施錠された鍵を、サーマルコードを用いたキーにより開錠する場合を説明する。電力供給型（図２３）と発電型（図２４）とのサーマル認証システムについて説明する。
【0192】
図２３は、電力供給型のサーマル認証システムの動作例について説明するフローチャートである。
シリンダにキーが挿入されると（Ｓ１１）、電力供給手段のスイッチが入り、サーモカメラの照射手段に電力が供給され、遠赤外線が照射される（Ｓ１２）。サーモカメラがサーマルコードを読み取る（Ｓ１３）。サーマルコードの読み取りができると（Ｓ１３で有）、サーマルコードは認証回路に供給される。
シリンダにキーが挿入されると（Ｓ１１）、電力供給手段のスイッチが入り、サーモカメラの照射手段に電力が供給され、遠赤外線が照射される（Ｓ１２）。サーモカメラがサーマルコードを読み取る（Ｓ１３）。サーマルコードの読み取りができると（Ｓ１３で有）、サーマルコードは認証回路に供給される。
【0193】
認証回路は、サーマルコードと、照合情報とを照合する（Ｓ１４）。サーマルコードが照合情報と一致すると（Ｓ１４でＹＥＳ）、認証回路は、シリンダのロックを解除し（Ｓ１５）、開錠する（Ｓ１６）。一方、サーマルコードの読み取りが無い場合（Ｓ１３で無）、およびサーマルコードと照合情報とが一致しない場合（Ｓ１４でＮＯ）には、照合失敗を通知し（Ｓ１７）、施錠を維持する。
【0194】
図２４は、発電型のサーマル認証システムの動作例について説明するフローチャートである。図２４では、一例として、図２０から図２２の発電手段を用いて説明する。
シリンダにキーが挿入されると（Ｓ２１）、順方向発電を開始し（Ｓ２２）、発電回路の放電スイッチがＯＮとなり（Ｓ２３）、発電用ぜんまいによる発電（発電用ぜんまいの開放によって発電用モータを回転させたシステムぜんまいの発電）を開始する（Ｓ２４）。システムぜんまいから電力が供給されると、サーモカメラの照射手段に電力が供給され、遠赤外線が照射され、サーモカメラがサーマルコードを読み取る（Ｓ２５）。サーマルコードの読み取りができると（Ｓ２５で有）、サーマルコードは認証回路に供給される。
シリンダにキーが挿入されると（Ｓ２１）、順方向発電を開始し（Ｓ２２）、発電回路の放電スイッチがＯＮとなり（Ｓ２３）、発電用ぜんまいによる発電（発電用ぜんまいの開放によって発電用モータを回転させたシステムぜんまいの発電）を開始する（Ｓ２４）。システムぜんまいから電力が供給されると、サーモカメラの照射手段に電力が供給され、遠赤外線が照射され、サーモカメラがサーマルコードを読み取る（Ｓ２５）。サーマルコードの読み取りができると（Ｓ２５で有）、サーマルコードは認証回路に供給される。
【0195】
認証回路は、サーマルコードと、照合情報とを照合する（Ｓ２６）。サーマルコードが照合情報と一致すると（Ｓ２６でＹＥＳ）、認証回路は、シリンダのロックを解除し（Ｓ２７）、開錠する（Ｓ２８）。一方、サーマルコードの読み取りが無い場合（Ｓ２５で無）、およびサーマルコードと照合情報とが一致しない場合（Ｓ２６でＮＯ）には、照合失敗を通知し（Ｓ２９）、施錠を維持する。
【0196】
前述したサーマルコードリーダでは、以下のような変形例も可能である。
前述した１次元サーモカメラまたは２次元サーモカメラは、サーマルコードの各画素（各スポット）の温度比率も測定ができる為、コードの３次元化が可能となる。
前述したサーマルコードリーダは、サーマルコードとサーモカメラとが離れていても密接していても読み取る事ができる。
前述した１次元サーモカメラまたは２次元サーモカメラは、サーマルコードの各画素（各スポット）の温度比率も測定ができる為、コードの３次元化が可能となる。
前述したサーマルコードリーダは、サーマルコードとサーモカメラとが離れていても密接していても読み取る事ができる。
【0197】
画素数の高いサーモカメラを備えるサーマルコードリーダを使用する事で、サーマルコードの位置がずれていてもパターンマッチングによる補正が可能となる。
サーマルコードリーダは、例えば、カードのサーマルコードを読み取るカードリーダ、家や車のキーシリンダー、および、セキュリティー認証機器にも使用可能となる。
サーモカメラのレンズにフィルタが装着されており、特定の波長の遠赤外線を通過又は遮断する事も可能とする。
サーマルコードリーダは、例えば、カードのサーマルコードを読み取るカードリーダ、家や車のキーシリンダー、および、セキュリティー認証機器にも使用可能となる。
サーモカメラのレンズにフィルタが装着されており、特定の波長の遠赤外線を通過又は遮断する事も可能とする。
【0198】
本実施形態のサーマルコードリーダは、前述した熱反射型または熱透過型の構成の他に、外来熱を利用し、熱を当てる事なく読み取る事も可能となる。例えば、サーマルコードリーダの外部に照射手段を備えていてもよい。
本実施形態のサーマルコードリーダは、ＣＣＤ等の可視光用撮像装置では撮影不可能な波長の赤外線を撮影することができる。
本実施形態のサーマルコードリーダは、サーモパイルやボロメータ等の熱型赤外線センサを使用するとよい。
本実施形態のサーマルコードリーダは、ＣＣＤ等の可視光用撮像装置では撮影不可能な波長の赤外線を撮影することができる。
本実施形態のサーマルコードリーダは、サーモパイルやボロメータ等の熱型赤外線センサを使用するとよい。
【0199】
実施形態３．
その他の特殊撮像装置
特殊撮像装置を用いて、例えば、さらに以下のような処理を実行することができる。
車内に水があるかを検知し、駐車時に水がある場合で車内温度が上昇しそうなときに警告する。近赤外カメラで検知するとよい。
車内の水の温度を検知し、水の温度が上がってきたら警告する。サーモカメラなどを用いるとよい。
その他の特殊撮像装置
特殊撮像装置を用いて、例えば、さらに以下のような処理を実行することができる。
車内に水があるかを検知し、駐車時に水がある場合で車内温度が上昇しそうなときに警告する。近赤外カメラで検知するとよい。
車内の水の温度を検知し、水の温度が上がってきたら警告する。サーモカメラなどを用いるとよい。
【0200】
糖分を検知して、警告したり、その領域を報知したりするとよい。車ならシート汚れなどを検知するとよい。糖分を検知可能な装置を用いるとよい。
【0201】
走行する車両から、道路構造物、建物等を、ハイパースペクトルカメラで撮影し、コンクリートの塩害等の評価マップを作るとよい。
隕石の落下をサーモカメラで捉え、トリガとして記録するとよい。映像型高く売れると推測される。
隕石の落下をサーモカメラで捉え、トリガとして記録するとよい。映像型高く売れると推測される。
【0202】
バイオメディカル用マルチスペクトルカメラで運転者を撮影するとよい。このカメラは取り外せるようにして、具合の悪くなった乗客等を撮影し、救急に情報伝達できるようにするとよい。第１のバンド（７３５ｎｍ）は、デオキシヘモグロビン（脱酸素か酵素）の画像、第２のバンド（８００ｎｍ）は、総ヘモグロビン（全血）の画像、第３のバンド（９３０ｎｍ）は、脂質画像を表すことから、これらの情報を提供することができる。
【0203】
運転者・同乗者などの人の肌や髪の水分を測定し、肌や髪の調子がよいときはほめることが可能になる。ハイパースペクトルカメラを用いるとよい。
標識の色、電光掲示板、テールランプ、白線、植生をハイパースペクトルカメラで弁別するとよい。白線と空のように近いスペクトルを持つものは可視光カメラの映像も用いて弁別するとよい。
標識の色、電光掲示板、テールランプ、白線、植生をハイパースペクトルカメラで弁別するとよい。白線と空のように近いスペクトルを持つものは可視光カメラの映像も用いて弁別するとよい。
【0204】
ＴＯＦカメラ（距離画像カメラ）とハイパースペクトルカメラを組み合わせ、各画像の位置の対応を取り、スペクトルと距離の対応を取るとよい。
エッジ（端末）で処理して結果だけクラウドに送るとよい。
搬送車（ＡＧＶ）、ロボット、フォークリフト等に、サーモカメラを付け、暑い場所・寒い場所への接近を警告するようにするとよい。距離画像カメラなどと組み合わせるとよい。
エッジ（端末）で処理して結果だけクラウドに送るとよい。
搬送車（ＡＧＶ）、ロボット、フォークリフト等に、サーモカメラを付け、暑い場所・寒い場所への接近を警告するようにするとよい。距離画像カメラなどと組み合わせるとよい。
【0205】
可視光カメラの映像に特殊なカメラの映像を、時刻を同期させて記録し、特殊なカメラでの特定の現象が検知された時刻の可視光用撮像装置の映像を確認できるとともに、それらを合わせて１枚の画面に表示ないし紙に印刷するとよい。
【0206】
ハイパースペクトルカメラ、サーモカメラ、ＴＯＦ等の情報を用いて、可視光カメラの各画素のタグ付けを行い、機械学習の学習用データを自動作成するとよい。
【0207】
特定帯域を有する（複数の）光源とハイパースペクトルカメラの感度帯域の重なりを使って、処理する（例えば、差分を取る、光源の方を切り替える、スペクトルが異なる光源（ＬＥＤ）に変える）。２種の美容光源ＬＥＤを交互に点灯し、それぞれの肌の深さ領域の状況を得る。
【0208】
その他の実施形態
上記各実施形態では、システムは少なくとも制御手段を備える構成例とするとよい。制御手段は、例えば、前述した端末装置３などのコンピュータで実現するとよい。
システムは、例えば、制御手段に加え、特殊撮像装置、処理情報を表示する表示手段、利用者からの指示を受け付ける操作手段、警告音などを出力する出力手段、または、これらの二つ以上を備える構成としてもよい。
本明細書では、画像（可視光画像、温度分布の画像など）は、静止画と動画とのいずれであってもよい。
システムは次のような構成としてもよい。
・家畜やペットの体温管理 健康な状態でのプロファイルを測定して記録した後、現在の状態と健康な状態のプロファイルとを比較して家畜やペットの体温の異常を検出して警報する機能を備えるとしてもよい。
・周囲温度及び餌の温度の測定 餌の温度も消化の面で、健康状態に関わる可能性があるため餌の温度の異常を検出して警報する機能を備えるとよい。
・家畜運動量積算 可視光だと動いた量を測定しにくいが、サーモグラフィなら熱源が動いた量を積算すればいいので比較的測定し易い。例えば乳牛の場合、上記データを日々、採取された乳の成分と比較することによって良い乳が採取された温度環境及び運動量等の情報を得る事が可能。乳の量との因果関係も算出することができる。
上記情報は、基準を設定しておき基準から外れた場合に異常と検出するようにすれば人が常に監視する必要がなくなるというメリットがある。
・鳩・熊・猪・鼠等の害獣対策
システムは、鳩・熊・猪・鼠等の害獣の被害のある領域や害獣被害が想定される領域を撮影するように設置して監視する構成とするとよい。
・車両において運転者の体温をサーモカメラで測定し、体温が所定時間内に所定の温度、上昇または下降した場合に警告を出力する構成としてもよい。特に眠気に注意する旨の警告を出力する構成とするとよい。例えば５分以内に０．５度下降した場合に警告を出力するなどするとよい。なお、車両に乗り込んだ直後は車室内の温度の影響があるため、車両に乗り込んでから所定時間内は警報を抑制する構成とするとよい。例えばエンジン始動の検出後や機器への電源の投入後１０分間は警報を行わない構成とし、その後警報可能な状態とする構成とするとよい。
上記各実施形態では、システムは少なくとも制御手段を備える構成例とするとよい。制御手段は、例えば、前述した端末装置３などのコンピュータで実現するとよい。
システムは、例えば、制御手段に加え、特殊撮像装置、処理情報を表示する表示手段、利用者からの指示を受け付ける操作手段、警告音などを出力する出力手段、または、これらの二つ以上を備える構成としてもよい。
本明細書では、画像（可視光画像、温度分布の画像など）は、静止画と動画とのいずれであってもよい。
システムは次のような構成としてもよい。
・家畜やペットの体温管理 健康な状態でのプロファイルを測定して記録した後、現在の状態と健康な状態のプロファイルとを比較して家畜やペットの体温の異常を検出して警報する機能を備えるとしてもよい。
・周囲温度及び餌の温度の測定 餌の温度も消化の面で、健康状態に関わる可能性があるため餌の温度の異常を検出して警報する機能を備えるとよい。
・家畜運動量積算 可視光だと動いた量を測定しにくいが、サーモグラフィなら熱源が動いた量を積算すればいいので比較的測定し易い。例えば乳牛の場合、上記データを日々、採取された乳の成分と比較することによって良い乳が採取された温度環境及び運動量等の情報を得る事が可能。乳の量との因果関係も算出することができる。
上記情報は、基準を設定しておき基準から外れた場合に異常と検出するようにすれば人が常に監視する必要がなくなるというメリットがある。
・鳩・熊・猪・鼠等の害獣対策
システムは、鳩・熊・猪・鼠等の害獣の被害のある領域や害獣被害が想定される領域を撮影するように設置して監視する構成とするとよい。
・車両において運転者の体温をサーモカメラで測定し、体温が所定時間内に所定の温度、上昇または下降した場合に警告を出力する構成としてもよい。特に眠気に注意する旨の警告を出力する構成とするとよい。例えば５分以内に０．５度下降した場合に警告を出力するなどするとよい。なお、車両に乗り込んだ直後は車室内の温度の影響があるため、車両に乗り込んでから所定時間内は警報を抑制する構成とするとよい。例えばエンジン始動の検出後や機器への電源の投入後１０分間は警報を行わない構成とし、その後警報可能な状態とする構成とするとよい。
【0209】
本発明の範囲は，明細書に明示的に説明された構成や限定されるものではなく，本明細書に開示される本発明の様々な側面の組み合わせをも，その範囲に含むものである。本発明のうち，特許を受けようとする構成を，添付の特許請求の範囲に特定したが，現在の処は特許請求の範囲に特定されていない構成であっても，本明細書に開示される構成を，将来的に特許請求の範囲とする意思を有する。
【0210】
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施形態や、各システム例、変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態、各システム例、変形例の任意の構成要素と，発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。また「～の場合」「～のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。
【0211】
また，意匠出願への変更出願により，全体意匠または部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが，全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと，部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては，装置の一部の部材としても良いし，その部材の部分としても良い。全体意匠はもちろんのこと，図面の実線部分のうち任意の部分を破線部分とした部分意匠を，権利化する意思を有する。
【符号の説明】
【0212】
１ 撮像システム
２ 工作機械
３ 端末装置
１００ 撮像装置
１０５ 筐体
１１０ 制御コントローラ
１２０ 第１撮像ユニット
１３０ 第２撮像ユニット
１４０ イベント入力端子
１６０ メモリカードスロット
１８０画像信号出力端子
２００ 制御手段
２０１ 入力部
２０２ 処理部
２０３ 出力部
２０４ 保持部
３００、３００Ａ～３００Ｄ サーマルコード
３１０ カード
３２０ キー
４１０、４２０、４３０、４４０ サーマルコードリーダ
４１１、４２１ ２次元サーモカメラ
４１２、４２２ 遠赤外線発生器
４３１、４４１ １次元サーモカメラ
６１０ シリンダ
６２０ スライダー
６３０ プーリー
６４０ ワイヤー
６５０ システムぜんまい
２ 工作機械
３ 端末装置
１００ 撮像装置
１０５ 筐体
１１０ 制御コントローラ
１２０ 第１撮像ユニット
１３０ 第２撮像ユニット
１４０ イベント入力端子
１６０ メモリカードスロット
１８０画像信号出力端子
２００ 制御手段
２０１ 入力部
２０２ 処理部
２０３ 出力部
２０４ 保持部
３００、３００Ａ～３００Ｄ サーマルコード
３１０ カード
３２０ キー
４１０、４２０、４３０、４４０ サーマルコードリーダ
４１１、４２１ ２次元サーモカメラ
４１２、４２２ 遠赤外線発生器
４３１、４４１ １次元サーモカメラ
６１０ シリンダ
６２０ スライダー
６３０ プーリー
６４０ ワイヤー
６５０ システムぜんまい
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】