(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-09
(45)【発行日】2023-05-17
(54)【発明の名称】遠赤外線カメラ
(51)【国際特許分類】
H04N 23/60 20230101AFI20230510BHJP
H04N 7/18 20060101ALI20230510BHJP
H04N 23/54 20230101ALI20230510BHJP
G06T 5/00 20060101ALI20230510BHJP
G01J 5/48 20220101ALI20230510BHJP
【ＦＩ】
H04N23/60 500
H04N7/18 D
H04N7/18 K
H04N23/60 300
H04N23/54
G06T5/00 740
G01J5/48 Z
【請求項の数】
9
(21)【出願番号】P 2019067259
(22)【出願日】2019-03-29
(65)【公開番号】P2020167556
(43)【公開日】2020-10-08
【審査請求日】2022-03-28
(73)【特許権者】
【識別番号】000133227
【氏名又は名称】株式会社タムロン
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【氏名又は名称】松下 満
(74)【代理人】
【識別番号】100098475
【弁理士】
【氏名又は名称】倉澤 伊知郎
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100123630
【弁理士】
【氏名又は名称】渡邊 誠
(72)【発明者】
【氏名】吉田 昂輝
(72)【発明者】
【氏名】小出 淳史
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】米国特許出願公開第２０１６／００４２５００（ＵＳ，Ａ１）
【文献】特開２０１２－０８３８２２（ＪＰ，Ａ）
【文献】特開２００７－３２５１２０（ＪＰ，Ａ）
【文献】国際公開第２０１８／０２５４６６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ２３／５４
Ｇ０６Ｔ ５／００
Ｇ０１Ｊ ５／４８
(57)【特許請求の範囲】
【請求項1】
遠赤外線画像の画像データを外部機器に送信する動画撮影用の遠赤外線カメラであって、入射した遠赤外線を合焦させる遠赤外レンズと、
この遠赤外レンズによって合焦された遠赤外線画像の画像データを取得する遠赤外線アレイセンサと、
上記遠赤外線アレイセンサによって取得された画像データにノンユニフォミティ画像補正を施した補正画像データを生成するノンユニフォミティ補正部と、
上記補正画像データに基づいて、画像内の各部における温度を表す温度画像データを生成する温度画像生成部と、
上記補正画像データに基づいて、当該補正画像データの階調を補正した処理画像データを生成する画像処理部と、
上記温度画像データ、及び上記処理画像データを送信する送信部と、
を有し、
上記温度画像データと、上記処理画像データは、有効なｂｉｔ数が異なることを特徴とする遠赤外線カメラ。
【請求項2】
遠赤外線画像の画像データを外部機器に送信する動画撮影用の遠赤外線カメラであって、
入射した遠赤外線を合焦させる遠赤外レンズと、
この遠赤外レンズによって合焦された遠赤外線画像の画像データを取得する遠赤外線アレイセンサと、
上記遠赤外線アレイセンサによって取得された画像データにノンユニフォミティ画像補正を施した補正画像データを生成するノンユニフォミティ補正部と、
上記補正画像データに基づいて、画像内の各部における温度を表す温度画像データを生成する温度画像生成部と、
上記補正画像データに基づいて、当該補正画像データの階調を補正した処理画像データを生成する画像処理部と、
上記温度画像データ、及び上記処理画像データを送信する送信部と、
を有し、
上記送信部は、上記温度画像データ及び上記処理画像データを、１フレームの画像データの中に含めて送信することを特徴とする遠赤外線カメラ。
【請求項3】
遠赤外線画像の画像データを外部機器に送信する動画撮影用の遠赤外線カメラであって、
入射した遠赤外線を合焦させる遠赤外レンズと、
この遠赤外レンズによって合焦された遠赤外線画像の画像データを取得する遠赤外線アレイセンサと、
上記遠赤外線アレイセンサによって取得された画像データにノンユニフォミティ画像補正を施した補正画像データを生成するノンユニフォミティ補正部と、
上記補正画像データに基づいて、画像内の各部における温度を表す温度画像データを生成する温度画像生成部と、
上記補正画像データに基づいて、当該補正画像データの階調を補正した処理画像データを生成する画像処理部と、
上記温度画像データ、及び上記処理画像データを送信する送信部と、
を有し、
上記送信部は、上記温度画像データ及び上記処理画像データに対して、上記温度画像データ及び上記処理画像データを受信する端末における処理を指定する所定の識別子を関連付けて送信することを特徴とする遠赤外線カメラ。
【請求項4】
上記送信部は、上記温度画像データ及び上記処理画像データを同期して出力する請求項１乃至３の何れか１項に記載の遠赤外線カメラ。
【請求項5】
上記送信部は、上記温度画像データと上記処理画像データとを同時に送信する請求項１乃至３の何れか１項に記載の遠赤外線カメラ。
【請求項6】
上記送信部は、上記温度画像データと上記処理画像データとをそれぞれ交互に送信する請求項１乃至３の何れか１項に記載の遠赤外線カメラ。
【請求項7】
上記温度画像生成部及び上記画像処理部は、同一の上記補正画像データに基づいて上記温度画像データ及び上記処理画像データを生成する請求項１乃至６の何れか１項に記載の遠赤外線カメラ。
【請求項8】
上記温度画像生成部及び上記画像処理部は、同一の上記補正画像データに基づいて生成された上記温度画像データ及び上記処理画像データが上記送信部により送信された後、同一の上記補正画像データとは異なる補正画像データに基づく上記温度画像データ及び上記処理画像データの生成を開始する請求項１乃至７の何れか１項に記載の遠赤外線カメラ。
【請求項9】
上記温度画像データの表す温度画像と、上記処理画像データの表す処理画像は、同一の画素数を有する請求項１乃至８の何れか１項に記載の遠赤外線カメラ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠赤外線カメラに関し、特に、遠赤外線画像を撮影して、撮影された画像のデータを外部機器に送信する動画撮影用の遠赤外線カメラに関する。
【背景技術】
【0002】
遠赤外線画像は、撮影対象物から放射された遠赤外線を画像化したものであるため、夜間等の可視光線の少ない環境においても、撮影用の照明を用いることなく取得することができ、監視用途等に好適である。特開２０１８－１５２１０６号公報（特許文献１）には、水上侵入検知システムおよびその方法が記載されている。この水上侵入検知システムでは、海上を監視する可視カメラ及び遠赤外線カメラ映像から侵入する物体の候補を検知し、さらに、大きさ、速度、侵入する方向および直線性等を導き、ある程度の物体識別を行っている。さらに、遠赤外線映像での輝度等から、船舶、ヒト、浮遊物を区別している。また、映像をフーリエ変換するなどして、物体が無い場所での海面の通常の波の周期性を観測して、その通常状態の波の動きと物体の動きとの連動性に基づいて、物体の識別精度を向上させている。
【0003】
一方、取得された遠赤外線画像には、撮影された対象物の温度の情報も含まれており、遠赤外線画像の使用目的に応じて、この情報を有効に活用することができる。即ち、遠赤外線画像に基づいて、撮影された対象物の特性や状態を検出することが可能であり、このような目的での応用においても、遠赤外線カメラの活用が期待されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－１５２１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、遠赤外線カメラによって撮影された遠赤外線画像は、一般に、輝度やコントラストが低く、撮影された像のエッジも不鮮明である。さらに、遠赤外線画像は、画像データの中に含まれるノイズも多い。このような理由から、遠赤外線カメラによって撮影された対象物の形態を把握するためには、遠赤外線画像に何らかの画像処理を施すことが好ましい。一方、撮影された対象物の視認性を改善するために、画像データに補正を加えてしまうと、遠赤外線画像に含まれる温度の情報が毀損されてしまう場合がある。
【0006】
従って、本発明は、遠赤外線画像を撮影し、取得された画像データに基づいて撮影された対象物の形状及び温度を把握することが可能な遠赤外線カメラを提供することを目的としている。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明は、遠赤外線画像の画像データを外部機器に送信する動画撮影用の遠赤外線カメラであって、入射した遠赤外線を合焦させる遠赤外レンズと、この遠赤外レンズによって合焦された遠赤外線画像の画像データを取得する遠赤外線アレイセンサと、遠赤外線アレイセンサによって取得された画像データにノンユニフォミティ画像補正を施した補正画像データを生成するノンユニフォミティ補正部と、補正画像データに基づいて、画像内の各部における温度を表す温度画像データを生成する温度画像生成部と、補正画像データに基づいて、当該画像データの階調を補正した処理画像データを生成する画像処理部と、温度画像データ、及び処理画像データを送信する送信部と、を有することを特徴としている。
【0008】
このように構成された本発明によれば、画像データに基づいて生成された温度画像データ及び処理画像データから、撮影された対象物の形状及び温度の両方を把握することができる。
【発明の効果】
【0009】
本発明の遠赤外線カメラによれば、遠赤外線画像を撮影し、取得された画像データに基づいて撮影された対象物の形状及び温度を把握することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態による遠赤外線カメラの外観を示す斜視図である。
【図2】本発明の実施形態による遠赤外線カメラの内部構造を示す斜視断面図である。
【図3】本発明の実施形態による遠赤外線カメラの構成を示すブロック図である。
【図4】本発明の実施形態による遠赤外線カメラに内蔵されたデータ処理基板におけるデータ処理の流れを示すブロック図である。
【図5】本発明の実施形態による遠赤外線カメラに内蔵されたデータ処理基板の画像処理部において実行される多閾値ヒストグラム平坦化処理を示すフローチャートである。
【図6】本発明の実施形態による遠赤外線カメラによって撮影された遠赤外線画像のヒストグラムの一例を示す図である。
【図7】従来のヒストグラム平坦化処理後の画像と、本発明の実施形態による遠赤外線カメラにおける多閾値ヒストグラム平坦化処理後の画像の一例を比較して示す図である。
【図8】本発明の実施形態による遠赤外線カメラに内蔵されたデータ処理基板において実行される三次元ノイズリダクション処理を示すフローチャートである。
【図9】本発明の実施形態による遠赤外線カメラに内蔵されたデータ処理基板において実行されるエッジ強調処理を示すフローチャートである。
【図10】本発明の実施形態による遠赤外線カメラに内蔵された通信基板によるデータの送信に使用される通信用データのフォーマットの一例を示す図である。
【図11】本発明の実施形態による遠赤外線カメラに内蔵された通信基板によるデータの送信に使用される通信用データの一例を示す図である。
【図12】本発明の実施形態による遠赤外線カメラに内蔵された通信基板によるデータの送信に使用される通信用データの一例を示す図である。
【図13】本発明の実施形態による遠赤外線カメラに内蔵された通信基板によるデータの送信に使用される画像出力用データフォーマットの一例を示す図である。
【発明を実施するための形態】
【0011】
次に、添付図面を参照して、本発明の好ましい実施形態を説明する。
まず、図１及び図２を参照して、本発明の実施形態による遠赤外線カメラを説明する。図１は、本実施形態の遠赤外線カメラの外観を示す斜視図である。図２は、遠赤外線カメラの内部構造を示す斜視断面図である。
まず、図１及び図２を参照して、本発明の実施形態による遠赤外線カメラを説明する。図１は、本実施形態の遠赤外線カメラの外観を示す斜視図である。図２は、遠赤外線カメラの内部構造を示す斜視断面図である。
【0012】
＜遠赤外線カメラの構成＞
図１及び図２に示すように、本発明の実施形態による遠赤外線カメラ１は、直方体状の箱形の筐体を有しており、遠赤外線カメラ１のレンズが筐体の一側面に取り付けられている。また、図２に示すように、遠赤外線カメラ１の筐体内には、遠赤外線カメラ１によって撮影された遠赤外線画像を画像処理するための信号処理用のデータ処理基板８、及び通信基板１０が内蔵されている。
図１及び図２に示すように、本発明の実施形態による遠赤外線カメラ１は、直方体状の箱形の筐体を有しており、遠赤外線カメラ１のレンズが筐体の一側面に取り付けられている。また、図２に示すように、遠赤外線カメラ１の筐体内には、遠赤外線カメラ１によって撮影された遠赤外線画像を画像処理するための信号処理用のデータ処理基板８、及び通信基板１０が内蔵されている。
【0013】
次に、図３を参照して、遠赤外線カメラ１の全体構成を説明する。図３は、本実施形態の遠赤外線カメラの構成を示すブロック図である。
図３に示すように、遠赤外線カメラ１は、遠赤外レンズである遠赤外広角レンズ２と、遠赤外線アレイセンサである熱画像アレイ４と、ボロメータ基板６と、を備え、遠赤外線画像のデータを取得するように構成されている。さらに、遠赤外線カメラ１には、データ処理基板８、及び送信部である通信基板１０が内蔵されている。なお、本実施形態の遠赤外線カメラ１は、１秒間に８フレームの頻度で、連続的に遠赤外線画像を撮影するように構成されている。なお、本明細書において、「遠赤外線」とは、波長が約８μｍ乃至約１４μｍの赤外線を意味している。
図３に示すように、遠赤外線カメラ１は、遠赤外レンズである遠赤外広角レンズ２と、遠赤外線アレイセンサである熱画像アレイ４と、ボロメータ基板６と、を備え、遠赤外線画像のデータを取得するように構成されている。さらに、遠赤外線カメラ１には、データ処理基板８、及び送信部である通信基板１０が内蔵されている。なお、本実施形態の遠赤外線カメラ１は、１秒間に８フレームの頻度で、連続的に遠赤外線画像を撮影するように構成されている。なお、本明細書において、「遠赤外線」とは、波長が約８μｍ乃至約１４μｍの赤外線を意味している。
【0014】
遠赤外広角レンズ２は、入射した遠赤外線を熱画像アレイ４上に合焦させるように構成されている。好ましくは、遠赤外広角レンズ２は広角で、中心から周辺まで均質且つ高透過に熱放射エネルギーを伝達して、熱画像アレイ４上に結像するレンズを使用する。また、本実施形態においては、遠赤外広角レンズ２は単一のレンズであるが、遠赤外広角レンズ２は複数のレンズから構成されていても良い。さらに、本実施形態において、遠赤外広角レンズ２として、水平角度７０度以上で、遠赤外線の波長の透過率の中心に対する周辺１０割像高の光量比が７０％以上のレンズが使用されている。
【0015】
熱画像アレイ４は、縦横に配列された多数のマイクロボロメータピクセルから構成されている。熱画像アレイ４の各ピクセルは遠赤外線が入射すると温度が上昇し、この温度変化により抵抗値が変化して、入射した遠赤外線の強度を電流値の変化として取り出すことができるように構成されている。なお、本実施形態においては、熱画像アレイ４は、縦横に８０×８０個のピクセルが配列された比較的低画素の熱画像アレイ４が使用されている。
【0016】
ボロメータ基板６は、熱画像アレイ４の各ピクセルに入射した遠赤外線の強度を表すＲＡＷ階調信号を、熱画像アレイ４から取り出すように構成されている。本実施形態において、ボロメータ基板６は取り出された信号を１４ｂｉｔのＡ／Ｄ変換器によりディジタル値に変換するように構成されている。従って、熱画像アレイ４から取り出された遠赤外線の強度を表す信号は、ボロメータ基板６によって１６３８４階調のＲＡＷ階調信号として取り出される。
【0017】
データ処理基板８は、ボロメータ基板６からＲＡＷ階調信号として入力された画像データを、画像処理するように構成されている。また、データ処理基板８は、ボロメータ基板６から入力された遠赤外線画像のデータを温度データに変換するように構成されている。なお、本実施形態において、データ処理基板８は、遠赤外線画像のデータに基づいて１６ｂｉｔの温度データを生成するように構成されている。具体的には、データ処理基板８は、マイクロプロセッサ、各種インターフェイス回路、メモリ、及びこれらを作動させるプログラム（以上、図示せず）等から構成されている。
【0018】
通信基板１０は、データ処理基板８によって処理された遠赤外線画像の画像データを、外部機器であるサーバー１２等に送信するように構成されている。本実施形態においては、通信基板１０は無線ＬＡＮによってサーバー１２に情報を送信するように構成されているが、有線ＬＡＮの他、無線又は有線の任意の通信方式によりサーバー１２に情報を送信することができる。
これらデータ処理基板８及び通信基板１０における具体的な信号処理については後述する。
これらデータ処理基板８及び通信基板１０における具体的な信号処理については後述する。
【0019】
サーバー１２は、通信基板１０から送信されたデータを格納する。また、サーバー１２は例えばパーソナルコンピュータ（ＰＣ）やスマートフォン、タブレット端末などのユーザ端末からアクセス可能であり、ユーザはサーバー１２に格納されているデータ（赤外線画像、温度情報等）をユーザ端末のディスプレイ等に表示して確認することができる。
【0020】
＜データ処理基板における処理＞
次に、図４乃至図９を参照して、データ処理基板において実行されるデータ処理を説明する。
図４は、遠赤外線カメラ１に内蔵されたデータ処理基板８におけるデータ処理の流れを示すブロック図である。データ処理基板８において処理された遠赤外線画像は通信基板１０に出力され、通信基板１０から外部機器に送信される。
次に、図４乃至図９を参照して、データ処理基板において実行されるデータ処理を説明する。
図４は、遠赤外線カメラ１に内蔵されたデータ処理基板８におけるデータ処理の流れを示すブロック図である。データ処理基板８において処理された遠赤外線画像は通信基板１０に出力され、通信基板１０から外部機器に送信される。
【0021】
図４に示すように、遠赤外線カメラ１の遠赤外広角レンズ２によって熱画像アレイ４上に合焦された遠赤外線画像は、画像データとしてボロメータ基板６に読み込まれる。ボロメータ基板６に読み込まれた画像データはデータ処理基板８内で画像処理される。即ち、本実施形態においては、ノンユニフォミティ画像補正（ＮＵＣ）が施されていない１４ｂｉｔのＲＡＷ画像データが、データ処理基板８に入力される。
【0022】
データ処理基板８には、ノンユニフォミティ画像補正を施すためのノンユニフォミティ補正部１４と、温度画像を生成するための温度画像生成部１６と、処理画像を生成するための画像処理部１８と、合成部１９が内蔵されている。これらノンユニフォミティ補正部１４、温度画像生成部１６、及び画像処理部１８、及び合成部１９は、具体的には、データ処理基板８上の、マイクロプロセッサ、メモリ、及びこれらを作動させるプログラム等によって実現されている。また、本実施形態においては、画像処理部１８は、画像情報入力部１８ａ、ヒストグラム生成部１８ｂ、ヒストグラム再構成部１８ｃ、平坦化処理部１８ｄ、平滑化処理部１８ｅ、及びエッジ強調処理部１８ｆから構成されている。
【0023】
データ処理基板８にノンユニフォミティ未補正のＲＡＷ画像データが入力されると、ノンユニフォミティ補正部１４によって、画素欠陥補正、及びノンユニフォミティ画像補正（ＮＵＣ）が施され、補正画像データが生成される。画素欠陥補正では、熱画像アレイ４上で欠陥のある画素が予め特定されており、この欠陥のある画素の画素値が、周辺の画素の画素値によって置き換えられる。ノンユニフォミティ画像補正は、熱画像アレイ４の各画素の感度等の不均一性を補正する処理である。ノンユニフォミティ補正部１４により、ＲＡＷ画像データから、ノンユニフォミティ画像補正を施した１４ｂｉｔの補正画像データが生成される。
【0024】
ノンユニフォミティ補正部１４によって補正された補正画像データに対し、温度画像生成部１６によって「温度演算」が実行される。即ち、遠赤外線画像の各画素の画素値は、画像内の、その画素に対応する部分の温度に対応している。温度画像生成部１６は、遠赤外線画像（ＲＡＷ画像データ）に含まれる全ての画素の画素値を、予め設定されている変換テーブルに基づいて対応する温度に変換し、画像内の各部における温度を表す１６ｂｉｔの「温度画像」が生成される。
【0025】
一方、ノンユニフォミティ補正部１４によって補正した後の補正画像データに対して、「温度演算」と平行して、画像処理部１８による画像処理が施される。一般に、遠赤外線画像は、画像に多くのノイズが含まれるばかりでなく、極めて階調性が悪く（ヒストグラムに偏りがある）、これに基づいて撮影された対象物の形状等を把握することが困難である。本実施形態においては、遠赤外線画像から有用な情報を抽出できるよう、画像処理部１８において、補正画像データの階調を補正して「処理画像」を生成する。具体的には、画像処理部１８は、「多閾値ヒストグラム平坦化処理」、「三次元ノイズリダクション処理」、及び「エッジ強調処理」を施す。この画像処理部１８による処理が施された後の処理画像は、各画素が８ｂｉｔの輝度階調データに変換されている。このように、本実施形態においては、「温度画像」と「処理画像」で有効なｂｉｔ数が異なっている。しかしながら、有効なｂｉｔ数が少ない方の画像データの上位又は下位桁に「０」を充当し、各画像データの見かけ上のｂｉｔ数を同一にすることもできる。
【0026】
これら温度画像生成部１６によって生成された温度画像、及び画像処理部１８によって生成された処理画像は、通信基板１０に送られる。通信基板１０は、温度画像のデータ、及び処理画像のデータの両方をサーバー１２等の外部機器に送信する。通信基板１０による処理については後述する。
【0027】
＜画像処理部における処理＞
次に、図５乃至図７を参照して、画像処理部１８において実行される「多閾値ヒストグラム平坦化処理」を説明する。
図５は、画像処理部１８において実行される多閾値ヒストグラム平坦化処理を示すフローチャートである。図６は、本実施形態による遠赤外線カメラ１によって撮影された遠赤外線画像のヒストグラムの一例を示す図である。図７は、原画像と、従来のヒストグラム平坦化処理後の画像と、本実施形態における多閾値ヒストグラム平坦化処理後の画像の一例を比較して示す図である。
次に、図５乃至図７を参照して、画像処理部１８において実行される「多閾値ヒストグラム平坦化処理」を説明する。
図５は、画像処理部１８において実行される多閾値ヒストグラム平坦化処理を示すフローチャートである。図６は、本実施形態による遠赤外線カメラ１によって撮影された遠赤外線画像のヒストグラムの一例を示す図である。図７は、原画像と、従来のヒストグラム平坦化処理後の画像と、本実施形態における多閾値ヒストグラム平坦化処理後の画像の一例を比較して示す図である。
【0028】
画像処理部１８における処理は、図４の画像処理部１８に内蔵された画像情報入力部１８ａ、ヒストグラム生成部１８ｂ、ヒストグラム再構成部１８ｃ、平坦化処理部１８ｄ、平滑化処理部１８ｅ、及びエッジ強調処理部１８ｆによって実行される。具体的には、画像情報入力部１８ａ、ヒストグラム生成部１８ｂ、ヒストグラム再構成部１８ｃ、平坦化処理部１８ｄ、平滑化処理部１８ｅ、及びエッジ強調処理部１８ｆは、マイクロプロセッサ、各種インターフェイス回路、メモリ、及びこれらを作動させるプログラム（以上、図示せず）等から構成されている。
【0029】
まず、図５のステップＳ６１においては、ノンユニフォミティ画像補正後の１４ｂｉｔの補正画像データが、画像情報入力部１８ａによって取り込まれる。
【0030】
次に、ステップＳ６２においては、ヒストグラム生成処理として、ステップＳ６１において取り込まれた画像データに含まれる画素値のヒストグラムが、ヒストグラム生成部１８ｂによって生成される。本実施形態において、具体的には、画像情報入力部１８ａによって取り込まれた画像データは画素値として輝度を有しており、ヒストグラム生成部１８ｂは、横軸を画素値ｖ（輝度）、縦軸を各画素値の度数Hist(v)（画素の個数）としたヒストグラムを生成する。
【0031】
図６は、遠赤外線画像のヒストグラムの一例を示す図であり、ヒストグラム生成部１８ｂによって生成されたヒストグラムを（ａ）欄に、本発明の実施形態における多閾値ヒストグラム平坦化法によって平坦化されたヒストグラムを（ｂ）欄に、従来のヒストグラム平坦化法によって平坦化されたヒストグラムを（ｃ）欄に示している。
【0032】
図６の（ａ）欄に示すように、画像情報入力部１８ａによって取り込まれた画像データは１４ｂｉｔの補正画像データであるため、その画素値ｖ（輝度）は０～１６３８３の間の値を有する。しかしながら、補正画像データは、極めてコントラストが低く、大部分の画素は約１２０００～約１４０００程度の画素値ｖを有し、画素値が約１２０００以下の画素は殆ど存在しない。また、画素値ｖ＝約１４０００～約１６０００の間にも僅かに画素が分布しており、画素値ｖ＝約１６３８３付近に小さなピークが存在している。しかしながら、この補正画像データをそのまま画像化しても、その画像から対象物の形状等、有意な情報を抽出することは困難である。
【0033】
次に、図５のステップＳ６３においては、ステップＳ６２において得られたヒストグラムに対し、上端閾値ＴHigh及び下端閾値ＴLowが設定される。本実施形態においては、図６に示すように、上端閾値ＴHighの値は画素値ｖ＝約１２０００～約１４０００の間に分布するピークにおける度数Hist(v)よりも小さい値に設定されている。一方、下端閾値ＴLowは、上端閾値ＴHighよりも小さく、０よりも大きい所定の値（度数）に設定されている。
【0034】
具体的には、本実施形態においては、上端閾値ＴHigh＝２７００画素、下端閾値ＴLow＝７０画素に設定されている。好ましくは、上端閾値ＴHighは全画素数の約３０％～約６５％の値に設定し、下端閾値ＴLowは全画素数の０％～約２％の値に設定する。なお、本実施形態においては、上端閾値ＴHigh及び下端閾値ＴLowは固定値であるが、取り込まれた補正画像データや、撮影環境等に基づいて異なる上端閾値ＴHigh、下端閾値ＴLowが設定されるように本発明を構成することもできる。
【0035】
次に、ステップＳ６４においては、ヒストグラム再構成処理として、ヒストグラム再構成部１８ｃ（図４）によってヒストグラムが再構成される。具体的には、ヒストグラム生成部１８ｂによって生成されたヒストグラムの度数Hist(v)が、上端閾値ＴHigh及び下端閾値ＴLowを使用して、上端閾値ＴHighと下端閾値ＴLowの間の値となるように、ヒストグラム再構成部１８ｃによって修正される。即ち、ヒストグラム生成部１８ｂによって生成されたヒストグラムの度数Hist(v)が、下記の数式（１）によって上端閾値ＴHighと下端閾値ＴLowの間の値に修正され、修正された度数Hist'(v)を有するヒストグラムが再構成される。換言すれば、度数Hist(v)が上端閾値ＴHighと下端閾値ＴLowの値である場合には、度数の修正は行われない（Hist'(v)＝Hist(v)）。また、度数Hist(v)が上端閾値ＴHigh以上の場合には、度数Hist(v)は上端閾値ＴHighに修正され（Hist'(v)＝ＴHigh）、度数Hist(v)が１以上、下端閾値ＴLow以下の場合には、度数Hist(v)は下端閾値ＴLowに修正される（Hist'(v)＝ＴLow）。さらに、度数Hist(v)が０である場合には、度数Hist(v)は０のまま修正されない（Hist'(v)＝０）。
【0036】
次いで、ステップＳ６５においては、ヒストグラムの平坦化処理として、度数がHist'(v)に修正されたヒストグラムに基づいて、ヒストグラムの平坦化テーブルＴ（ｖ）が、平坦化処理部１８ｄ（図４）によって作成される。具体的には、ヒストグラムを平坦化するための平坦化テーブルＴ（ｖ）が、下記の数式（２）によって生成される。なお、本実施形態においては、補正画像データが１４ｂｉｔ階調を有するため、数式（２）において、Dipth＝２14＝１６３８４である。
【0037】
次に、ステップＳ６６においては、ステップＳ６５において生成された平坦化テーブルＴ（ｖ）を使用して、元の遠赤外線画像データの画素値ｖの値が、画素値ｖ’＝Ｔ（ｖ）に変換される。さらに、ステップＳ６６においては、変換された画素値ｖ’に基づいて、ヒストグラムが平坦化された画像データが生成され、図５に示すフローチャートの１回の処理を終了する。
【0038】
ここで、図６の（ｂ）欄には、図６の（ａ）欄に示すヒストグラムの画素値ｖを、平坦化テーブルＴ（ｖ）によって変換した画素値ｖ’に基づいて生成されたヒストグラムが示されている。なお、本実施形態においては、変換後の画素値ｖ’は８ｂｉｔ階調のデータ（画素値＝０～２５５）に変換され、データ量が圧縮されている。ここで、図７の（ａ）欄は、画像情報入力部１８ａ（図４）に入力された原画像を示している。また、図７の（ｂ）欄は、画素値の値が図６の（ｂ）欄に示すようにヒストグラムが変換された遠赤外線画像を示している。
【0039】
図７の（ａ）欄の画像では、撮影された像を殆ど認識することができない。図７の（ｂ）欄の画像では、画像の中央及び左側に撮影されている人２０の輪郭を視認することができる。即ち、図６の（ｂ）欄に示すヒストグラムでは、画面の背景等に対応する画素値（輝度）の小さい部分（画素値＝０～１５０程度）と、人２０に対応する画素値（輝度）の大きい部分（画素値＝２５５付近）が明確に分離されている。この結果、画像内の人２０の輪郭をある程度明確に把握することが可能になる。
【0040】
一方、図６の（ｃ）欄には、比較例として、従来のヒストグラム平坦化処理により平坦化されたヒストグラムが示されている。また、図７の（ｃ）欄には、比較例として、図６の（ｃ）欄のように平坦化されたヒストグラムに基づく画像が示されている。即ち、図６の（ｃ）に示すヒストグラムは、図６の（ａ）欄に示すヒストグラムを上端閾値ＴHigh及び下端閾値ＴLowにより再構成することなく、そのまま平坦化したものである。
【0041】
ここで、図６の（ａ）欄に示すヒストグラムでは、上述したように画素値ｖ＝約１２０００以下の画素は皆無に等しく、画素値ｖ＝約１４０００～約１６０００の間の画素の度数は非常に小さい（画素の数が少ない）。このため、ヒストグラムを再構成することなくヒストグラム平坦化処理を施すと、平坦化後のヒストグラム（図６の（ｃ）欄）において、図６の（ａ）欄の画素値ｖ＝約１２０００以下、及び画素値ｖ＝約１４０００～約１６０００に対応して割り当てられる画素値（輝度階調）が極めて少なくなる。この結果、遠赤外線画像中の背景等に対応する部分と、画像中の人２０に対応する部分の間の画素値（輝度）の差（輝度差）が極めて少なくなる。このため、図６の（ａ）欄に示すヒストグラムに対して従来のヒストグラム平坦化処理を施すと、比較例として図７の（ｃ）欄に示す画像のように、画像中の人２０の輪郭を視認しにくい画像となる。
【0042】
これに対して、図６の（ａ）欄のヒストグラムを、本実施形態のように再構成することにより、非常に高い度数を有する画素値（図６（ａ）欄の画素値約１２０００～約１４０００）については、度数が上端閾値ＴHighにより頭打ちにされる。これに対して、低い度数を有する画素値（図６（ａ）欄の画素値約１４０００～約１６０００）については、度数が下端閾値ＴLowにより底上げされる。このようにヒストグラムを再構成しておくことにより、元の画像（図６（ａ）欄）における画素値約１４０００～約１６０００に対応した画素値が、平坦化処理後のヒストグラム（図６（ｂ）欄）においてもある程度割り当てられるようになる。この結果、人２０の輪郭を把握することが可能な遠赤外線画像を生成することが可能になる。
【0043】
次に、図８を参照して、画像処理部１８において実行される「三次元ノイズリダクション処理」を説明する。
図８は、画像処理部１８において実行される三次元ノイズリダクション処理を示すフローチャートである。なお、図８に示す三次元ノイズリダクション処理は、データ処理基板８に内蔵された平滑化処理部１８ｅ（図４）により実行される。
図８は、画像処理部１８において実行される三次元ノイズリダクション処理を示すフローチャートである。なお、図８に示す三次元ノイズリダクション処理は、データ処理基板８に内蔵された平滑化処理部１８ｅ（図４）により実行される。
【0044】
まず、図８のステップＳ７１においては、図５示す多閾値ヒストグラム平坦化処理が施された画像データが取り込まれる。
次に、ステップＳ７２においては、ステップＳ７１において取り込まれた画像が（二次元的に）平滑化される。即ち、画像データ中の注目画素の画素値が、注目画素及びその周囲の画素の画素値に所定の重みを夫々乗じて合算した値に置き換えられる。本実施形態においては、平滑化フィルタとして、下記のフィルタ係数を使用した３×３の一般的なガウシアンフィルタが使用される。
上記のフィルタ係数を使用することにより、注目画素の画素値に４／１６を、注目画素の上下左右の画素の画素値に夫々２／１６を、注目画素の左右の斜め上下の４つの画素の画素値に夫々１／１６を乗じた値が合算され、注目画素の画素値が合算された合計値に置き換えられる。
次に、ステップＳ７２においては、ステップＳ７１において取り込まれた画像が（二次元的に）平滑化される。即ち、画像データ中の注目画素の画素値が、注目画素及びその周囲の画素の画素値に所定の重みを夫々乗じて合算した値に置き換えられる。本実施形態においては、平滑化フィルタとして、下記のフィルタ係数を使用した３×３の一般的なガウシアンフィルタが使用される。
上記のフィルタ係数を使用することにより、注目画素の画素値に４／１６を、注目画素の上下左右の画素の画素値に夫々２／１６を、注目画素の左右の斜め上下の４つの画素の画素値に夫々１／１６を乗じた値が合算され、注目画素の画素値が合算された合計値に置き換えられる。
【0045】
さらに、ステップＳ７３以下の処理においては、ステップＳ７２においてガウシアンフィルタが施された画像データを、２枚の画像データについて平均化することにより、画像が三次元的に平滑化される。上述したように本実施形態においては、遠赤外線カメラ１により、所定の時間間隔で連続的に動画として遠赤外線画像が撮影されている。平滑化処理部１８ｅは、平坦化処理部１８ｄによって時系列で生成された複数フレームの画像データに基づいて画像を平滑化する。具体的には、本実施形態においては１秒間に８フレームの遠赤外線画像が撮影されており、連続的に撮影された２枚の画像データ（フレーム）に重みを付けて平均化することにより、画像が平滑化される。
【0046】
まず、ステップＳ７３においては、最新の画像と、１つ前のフレームの画像（前画像）の画素値の差（輝度差）が計算される。具体的には、最新の画像のｉ番目の画素の輝度ｆ(ｉ)と、前画像のｉ番目の画素の輝度ｆ'(ｉ)との差の絶対値σ(ｉ)が全ての画素について夫々計算される。即ち、最新の画像と前画像の間で、同一の画素における輝度の差が大きいほど輝度差σ(ｉ)の値が大きくなる。
【0047】
次に、ステップＳ７４においては、輝度差σ(ｉ)に基づいて、重み係数が全ての画素について計算される。本実施形態においては、ｉ番目の画素に対する重み係数Range(ｉ)の値は、下記の数式（３）により計算される。なお、本実施形態においては、数式（３）の最右辺に示すように、重み係数Range(ｉ)の計算においてｅの冪乗の値を３次までのテイラー展開により近似して計算しており、これにより必要な精度を確保しながら計算量を低下させている。
【0048】
さらに、ステップＳ７５においては、ステップＳ７４において計算された重み係数Range(ｉ)を使用して、最新の画像のｉ番目の画素の輝度と、前画像のｉ番目の画素の輝度との重み付き平均が、全ての画素について計算される。具体的には、ｉ番目の画素の重み付き平均値Average(ｉ)の値は、下記の数式（４）により計算される。
【0049】
ここで、数式（４）において、ｆ(ｉ)は最新の画像のｉ番目の画素の輝度を示している。また、Range(ｉ)は、最新の画像と前画像に基づいて計算されたｉ番目の画素に対する重み係数である。Average'(ｉ)は、ｉ番目の画素について、前画像と前々画像に基づいて同様にして数式（４）により計算された重み付き平均値である。
【0050】
最後に、ステップＳ７６においては、ステップＳ７５において計算された各画素に対する重み付き平均値Average(ｉ)から構成された画像が、「三次元ノイズリダクション処理」の出力画像として出力され、図８のフローチャートの１回の処理を終了する。
【0051】
このように、図８に示す「三次元ノイズリダクション処理」においては、まず、各フレームの遠赤外線画像について３×３のガウシアンフィルタが施される。次いで、同一画素（各画像中の同一の位置にある画素）について最新の画像の輝度と前画像の輝度の重み付き平均値を計算することにより、遠赤外線画像に含まれるノイズが低減される。なお、本実施形態においては、２枚の画像の重み付き平均が計算されているが、３枚以上の画像に基づいて重み付き平均値を計算し、三次元ノイズリダクション処理を実行することもできる。また、その場合には平均値を計算する画像は５枚以下であるのが良い。或いは、複数フレームの画像データに基づく平滑化は行わなくても良い。
【0052】
（エッジ強調処理）
次に、図９を参照して、画像処理部１８において実行される「エッジ強調処理」を説明する。
図９は、画像処理部１８において実行されるエッジ強調処理を示すフローチャートである。なお、図９に示すエッジ強調処理は、画像処理部１８に内蔵されたエッジ強調処理部１８ｆ（図４）により実行される。
次に、図９を参照して、画像処理部１８において実行される「エッジ強調処理」を説明する。
図９は、画像処理部１８において実行されるエッジ強調処理を示すフローチャートである。なお、図９に示すエッジ強調処理は、画像処理部１８に内蔵されたエッジ強調処理部１８ｆ（図４）により実行される。
【0053】
上述した「三次元ノイズリダクション処理」においては、画素値の平均値を三次元的に計算することにより、遠赤外線画像に含まれるノイズを低減した。しかしながら、注目画素と周辺の画素の平均によりノイズを低減すると、遠赤外線画像中に含まれる像のエッジが不鮮明になるという問題が生じる。そこで、画像処理部１８では、エッジ強調処理部１８ｆにおいて、平滑化処理部１８ｅによって「三次元ノイズリダクション処理」が施された画像に対して「エッジ強調処理」が施され、像のエッジが強調され、鮮明にされる。また、本実施形態においては、「エッジ強調処理」としてソーベルフィルタ（Sobel Filter）が使用されている。
【0054】
まず、図９のステップＳ８１においては、図８示す三次元ノイズリダクション処理が施された画像データが取り込まれる。
次に、ステップＳ８２においては、ステップＳ８１において取り込まれた画像に対してソーベルフィルタが施される。本実施形態においては、ソーベルフィルタによる縦線検出（強調）オペレータとして、
が使用され、横線検出（強調）オペレータとして、
が使用される。
次に、ステップＳ８２においては、ステップＳ８１において取り込まれた画像に対してソーベルフィルタが施される。本実施形態においては、ソーベルフィルタによる縦線検出（強調）オペレータとして、
が使用され、横線検出（強調）オペレータとして、
が使用される。
【0055】
即ち、縦線検出オペレータＫxを使用することにより、注目画素及びその上下の画素の画素値に夫々０を、注目画素の左上及び左下の画素の画素値に夫々－１を、右上及び右下の画素の画素値に夫々１を、左の画素の画素値に－２を、右の画素の画素値に２を夫々乗じた値が合算され、注目画素の画素値ｆ(ｉ)が合算された合計値（輝度）ｆx(ｉ)に置き換えられる。また、横線検出オペレータＫyを使用することにより、注目画素及びその左右の画素の画素値に夫々０を、注目画素の左上及び右上の画素の画素値に夫々－１を、左下及び右下の画素の画素値に夫々１を、上の画素の画素値に－２を、下の画素の画素値に２を夫々乗じた値が合算され、注目画素の画素値ｆ(ｉ)が合算された合計値（輝度）ｆy(ｉ)に置き換えられる。これらの輝度ｆx(ｉ)、ｆy(ｉ)の値が全ての画素について計算される。
【0056】
次に、ステップＳ８３においては、ステップＳ８２において計算された輝度を使用して、縦横両方（対角線方向）が強調された輝度が全ての画素について夫々計算される。即ち、遠赤外線画像のｉ番目の画素の輝度ｆ(ｉ)に縦線検出オペレータＫxを施すことにより得られた輝度をｆx(ｉ)、横線検出オペレータＫyを施すことにより得られた輝度をｆy(ｉ)とすると、対角線方向が強調された輝度ｆxy(ｉ)は数式（５）により計算される。
【0057】
さらに、ステップＳ８４においては、ステップＳ８２及びステップＳ８３において計算された輝度ｆx(ｉ)、ｆy(ｉ)及びｆxy(ｉ)を使用して、エッジが強調された出力画像が生成され、図９に示すフローチャートの１回の処理を終了する。対角線方向が強調された各輝度ｆxy(ｉ)から構成される画像は、像のエッジ部分の輝度が高く、他の部分の輝度が低いものとなる。このため、強調された輝度ｆx(ｉ)、ｆy(ｉ)及びｆxy(ｉ)からなる画像の各々と、エッジ強調処理を施す前の画像を合成することにより、何れの方向についてもエッジが強調された画像を生成することができる。なお、本実施形態において輝度ｆx(ｉ)、ｆy(ｉ)、及びｆxy(ｉ)を用いてエッジが強調された画像を生成しているが、本発明はこれに限定されず、少なくとも対角線方向強調されたｆxy(ｉ)からなる画像を用いてエッジが強調された画像を生成すれば、従来では得られなかったエッジの強調された画像を得ることができる。
【0058】
本実施形態においては、三次元ノイズリダクション処理が施された遠赤外線画像の各画素の輝度ｆ(ｉ)と、これに対してエッジ強調処理を施すことにより得られた輝度ｆxy(ｉ)に基づいて、出力画像OutImage(ｉ)が数式（６）により求められる。
数式（６）におけるβは合成係数であり、本実施形態においてはβ＝１／３とすることにより、エッジが適度に強調された画像が得られている。
数式（６）におけるβは合成係数であり、本実施形態においてはβ＝１／３とすることにより、エッジが適度に強調された画像が得られている。
【0059】
上述したように、画像処理部１８において、「多閾値ヒストグラム平坦化処理」、「三次元ノイズリダクション処理」、及び「エッジ強調処理」からなる「画像処理」が施された処理画像のデータは、通信基板１０を介してサーバー１２に出力される。
【0060】
（合成部における処理）
次に、合成部１９における合成処理について説明する。合成部１９は、図４に示すように、温度画像生成部１６により生成された温度画像データと画像処理部１８により生成された処理画像データとを合成し、１つのデータパッケージとして通信基板１０にデータを送信する。
次に、合成部１９における合成処理について説明する。合成部１９は、図４に示すように、温度画像生成部１６により生成された温度画像データと画像処理部１８により生成された処理画像データとを合成し、１つのデータパッケージとして通信基板１０にデータを送信する。
【0061】
＜データ処理基板におけるデータの処理の流れ＞
以上ではデータ処理基板８における各部の処理を説明した。以下では、データ処理基板８における処理全体の流れについて説明する。
本実施形態に係るデータ処理基板８では、ボロメータ基板６からＲＡＷ画像データを取得すると、まず、ノンユニフォミティ補正部１４が、取得したＲＡＷ画像データ毎に対してノンユニフォミティ補正が施された補正画像データを生成し、不図示の記憶部に格納する。つまり、記憶部には、ボロメータ基板６から取得したＲＡＷ画像データの各々について、ノンユニフォミティ補正が施された補正画像データが逐次格納されていく。
以上ではデータ処理基板８における各部の処理を説明した。以下では、データ処理基板８における処理全体の流れについて説明する。
本実施形態に係るデータ処理基板８では、ボロメータ基板６からＲＡＷ画像データを取得すると、まず、ノンユニフォミティ補正部１４が、取得したＲＡＷ画像データ毎に対してノンユニフォミティ補正が施された補正画像データを生成し、不図示の記憶部に格納する。つまり、記憶部には、ボロメータ基板６から取得したＲＡＷ画像データの各々について、ノンユニフォミティ補正が施された補正画像データが逐次格納されていく。
【0062】
また、ノンユニフォミティ補正部１４における補正画像データの生成及び格納が開始されると、温度画像生成部１６及び画像処理部１８は、記憶部から同一の補正画像データを抽出し、温度画像データの生成と処理画像データの生成とを並行して実行する。ここで、本実施形態に係る温度画像生成部１６及び画像処理部１８（特に画像処理部１８）における処理には上述の通り多くの処理が必要になることから、ノンユニフォミティ補正部１４における補正画像データの生成にかかる処理時間よりも長い処理時間が必要となる。従って、１つの温度画像データ及び処理画像データが生成される間に、複数の補正画像データが生成され、格納されることとなる。
【0063】
本実施形態では、温度画像生成部１６及び画像処理部１８は、１つの温度画像データ及び処理画像データを生成する間に記憶部に格納された複数の補正画像データを用いて、次の温度画像データ及び処理画像データを生成することが好ましい。この場合には、温度画像生成部１６及び画像処理部１８は、複数の補正画像データにおける各画素に対応する値を平均したデータを用いて温度画像データ及び処理画像データを生成することが好ましい。遠赤外線画像である補正画像データは、多くのノイズを含むため処理が難しいことが知られているが、このように複数の補正画像データを平均することでノイズを低減し、より高い精度で温度画像データ及び処理画像データを生成することができる。
【0064】
なお、本発明はこれに限定されるものではなく、温度画像生成部１６及び画像処理部１８は、１つの温度画像データ及び処理画像データを生成する間に生成され、格納された複数の補正画像データのうち、何れか１つの同一の補正画像データを用いて、次の温度画像データ及び処理画像データを生成してもよい。
【0065】
また、本実施形態では温度画像生成部１６及び画像処理部１８が同一の補正画像データに基づいて温度画像データ及び処理画像データを生成する構成を例に説明したが、これに限定されない。例えば、温度画像生成部１６がある補正画像データに基づいて温度画像データを生成した後、次にある補正画像データの後に生成された補正画像データに基づいて処理画像データを生成する、というように、温度画像データと処理画像データを異なる補正画像データに基づいて交互に生成してもよい。温度画像データと処理画像データを交互に生成することでデータ量を低減することができるため、データ処理基板８における処理及び通信基板１０における通信にかかる処理を低減することができる。
【0066】
合成部１９は、温度画像データ及び処理画像データを１つのデータパッケージとして（つまり、同期して）通信基板１０に出力する。データパッケージ（画像出力用プロトコル）についてはその一例を、図１３を参照して後述する。なお、合成部１９の出力は特に限定されるものではなく、同一の補正画像データに基づいて生成された温度画像データ及び処理画像データを同時に出力してもよいし、交互に出力してもよい。また、温度画像データと処理画像データが異なる補正画像データに基づいて交互に生成された場合にも、温度画像データと処理画像データを交互に出力すればよい。この場合には、温度画像データと処理画像データとを異なるデータパッケージとして出力するように合成部１９を構成することもできる。
【0067】
また、赤外線カメラ１は、例えば熱画像アレイ４において撮影されたＲＡＷ画像に対して撮影時刻を示す時刻データを関連づけてデータ処理基板８にデータを送信できる構成を備えていてもよい。これによれば、合成部１９は、時刻データに基づいて同一のＲＡＷ画像から生成された温度画像データと処理画像データとを特定し、同時又は交互に（同期して）通信基板１０に送信することができる。また、温度画像データと処理画像データとが交互に生成される場合には、時刻データの示す撮影時刻の早い順に温度画像データと処理画像データとを交互に出力することもできる。
【0068】
＜通信基板における処理＞
次に、図１０乃至図１３を参照して、通信基板１０における処理を説明する。
図１０は、通信基板１０によるデータの送信に使用される制御用プロトコルのフォーマットである。図１１は、通信基板１０によるデータの送信に使用される制御用のシステムコマンドの一例である。図１２は、通信基板１０によるデータの送信に使用される制御用のキャリブレーションコマンドの一例である。図１３は、通信基板１０によるデータの送信に使用される画像出力用プロトコルのフォーマットである。
次に、図１０乃至図１３を参照して、通信基板１０における処理を説明する。
図１０は、通信基板１０によるデータの送信に使用される制御用プロトコルのフォーマットである。図１１は、通信基板１０によるデータの送信に使用される制御用のシステムコマンドの一例である。図１２は、通信基板１０によるデータの送信に使用される制御用のキャリブレーションコマンドの一例である。図１３は、通信基板１０によるデータの送信に使用される画像出力用プロトコルのフォーマットである。
【0069】
上述したように、通信基板１０は、温度画像生成部１６によって生成された温度画像データ、及び画像処理部１８によって生成された処理画像データを、サーバー１２等の外部機器に送信するように構成されている。
【0070】
図１０に示すように、通信基板１０によって使用される制御用プロトコルには３種類のコマンドがある。即ち、図１０の（ａ）欄に示す送信要求コマンドと、図１０の（ｂ）欄に示す送信要求に対する応答（リターンデータあり）コマンドと、図１０の（ｃ）欄に示す送信要求に対する応答（リターンデータなし）がある。
【0071】
図１０の（ａ）欄に示すように、送信要求コマンドは、最初の２バイトがアルファベット２文字のキーワードに割り当てられ、次の２バイトがデータ長に割り当てられ、次の１バイトがコマンドカテゴリに割り当てられ、次の１バイトがコマンドのコードに割り当てられている。さらに、コマンドのコードに続いて、「データ長」において指定されたバイト数のデータが、送信要求コマンドに含められる。本実施形態においては、「コマンドカテゴリ」として、システムコマンド「Ｓ」、キャリブレーションコマンド「Ｎ」、カメラ管理コマンド「Ｃ」等が設定されている。また、本実施形態においては、各「コマンドカテゴリ」に対し、２５５個のコマンドを割り付けることができる。
【0072】
次に、図１０の（ｂ）欄に示すように、応答コマンド（リターンデータあり）は、最初の２バイトがアルファベット２文字のキーワードに割り当てられ、次の２バイトがデータ長に割り当てられ、次の１バイトがコマンドカテゴリに割り当てられ、次の１バイトがコマンドのコードに割り当てられている。さらに、コマンドのコードに続いて、「データ長」において指定されたバイト数のデータが、応答コマンドに含められる。
【0073】
さらに、図１０の（ｃ）欄に示すように、応答コマンド（リターンデータなし）は、最初の２バイトがアルファベット２文字のキーワードに割り当てられ、次の２バイトがデータ長に割り当てられ、次の１バイトがコマンドカテゴリに割り当てられ、次の１バイトがコマンドのコードに割り当てられている。応答コマンド（リターンデータなし）では、「データ長」として常に「２」が割り当てられ、コマンドのコードに続いて、アルファベット２文字（例えば「Ｏ」、「Ｋ」）が送信される。
【0074】
ここで、キーワードは、単にデータの開始点を示してもよいし、また、通信基板１０からのデータの送信先（本実施形態では、サーバー１２）において実行される制御用プロトコルを指定する識別子として使用されてもよい。換言すれば、後者の場合、キーワードは、以降に続くデータが何れの制御用プロトコルで処理されるデータであるかを示すことができる。
【0075】
例えば、本実施形態に係る通信基板１０は、サーバー１２において実行される制御プロトコルを指定可能に構成されていてもよい。この場合、実行される制御用プロトコルとキーワードとを関連付けておくことで、サーバー１２は、送信されたコマンドに含まれるキーワードから実行する制御用プロトコルを特定し、キーワードに対応した制御用プロトコルを実行することができる。
【0076】
次に、図１１及び図１２を参照して、制御用のシステムコマンドの一例を説明する。
図１１に示すように、本実施形態においては、システムコマンド（コマンドカテゴリ「Ｓ」）として、Stream start, Stream end, Alive, Reset, Stream continue(1)等が設定されており、これらに対してコード0x01～0x05が夫々割り当てられている。また、各システムコマンドには、送信要求コマンド（Request）及び応答コマンド（Responseリターンデータなし）が設けられている。さらに、各システムコマンドには、キーワードとして「ＸＸ」が設定されており、各送信要求コマンドのデータ長には「０」（データなし）が設定されている。
図１１に示すように、本実施形態においては、システムコマンド（コマンドカテゴリ「Ｓ」）として、Stream start, Stream end, Alive, Reset, Stream continue(1)等が設定されており、これらに対してコード0x01～0x05が夫々割り当てられている。また、各システムコマンドには、送信要求コマンド（Request）及び応答コマンド（Responseリターンデータなし）が設けられている。さらに、各システムコマンドには、キーワードとして「ＸＸ」が設定されており、各送信要求コマンドのデータ長には「０」（データなし）が設定されている。
【0077】
また、図１２に示すように、本実施形態においては、キャリブレーションコマンド（コマンドカテゴリ「Ｎ」）として、Get Cold Image, Get Hot Image, Create Tamron NUC, Range Mode Set, Range Mode Get, Range Max Set, Range Max Get, Range Min Set, Range Min Get, Gamma Set, Gamma Get等が設定されており、これらに対してコード0x11～0x18が夫々割り当てられている。また、各システムコマンドには、送信要求コマンド（Request）と、応答コマンド（Responseリターンデータなし）又は応答コマンド（Responseリターンデータあり）が設けられている。さらに、各システムコマンドには、キーワードとして「ＸＸ」が設定されている。これらのキャリブレーションコマンドにより、動作モードやデータレンジ等の設定、確認を行うことができる。
【0078】
次に、図１３を参照して、画像出力用プロトコルのフォーマットを説明する。
上述したように、本実施形態においては、温度画像生成部１６によって生成された温度画像、画像処理部１８によって生成された処理画像とも、８０×８０個の画素から構成されている。これらの画像のデータが、画像出力用プロトコルに基づいて送信される。ここで、「温度画像」を形成する各画素の画素値は、１６ｂｉｔ（２バイト）の温度データ（画像データ）によって表されている。また、「処理画像」を形成する各画素の画素値は、８ｂｉｔ（１バイト）の輝度階調データ（画像データ）によって表されている。なお、本実施形態においては、熱画像アレイ４によって取得された１フレームの画像データに基づいて「温度画像」及び「処理画像」が夫々生成され、これらの画像のデータが１フレーム分の画像データの中に含められて通信基板１０から送信される。この１フレーム分の画像データの中には、「温度画像」、「処理画像」の順で各画素の画素データが埋め込まれている。
上述したように、本実施形態においては、温度画像生成部１６によって生成された温度画像、画像処理部１８によって生成された処理画像とも、８０×８０個の画素から構成されている。これらの画像のデータが、画像出力用プロトコルに基づいて送信される。ここで、「温度画像」を形成する各画素の画素値は、１６ｂｉｔ（２バイト）の温度データ（画像データ）によって表されている。また、「処理画像」を形成する各画素の画素値は、８ｂｉｔ（１バイト）の輝度階調データ（画像データ）によって表されている。なお、本実施形態においては、熱画像アレイ４によって取得された１フレームの画像データに基づいて「温度画像」及び「処理画像」が夫々生成され、これらの画像のデータが１フレーム分の画像データの中に含められて通信基板１０から送信される。この１フレーム分の画像データの中には、「温度画像」、「処理画像」の順で各画素の画素データが埋め込まれている。
【0079】
図１３に示すように、画像出力用プロトコルにおいては、１行の出力データの最初の２バイトが画像の行番号（line num）に割り当てられ、次の２バイトが必要なデータ（v temp, Thermistor）に割り当てられている。本実施形態においては、「v temp」は熱画像アレイ４の温度データであり、「Thermistor」は遠赤外線カメラ１内部の雰囲気温度のデータである。これらの温度のデータは１フレーム分の画像データの最初の２行に埋め込まれており、３行目以下では「０」にされている。この「必要なデータ」に続いて、画像の１行分の画素データが割り当てられている。出力データの最初の８０行（０～７９行）には、「温度画像」の画素データが埋め込まれている。即ち、出力データの０行目には、２バイトの「必要なデータ」に続き、「温度画像」の０行目（line num 0）の画素データ（２バイト×８０＝１６０バイト）が埋め込まれている。同様にして、「温度画像」の１行目以降の画素データが出力データに埋め込まれ、出力データの７９行目には、「温度画像」の７９行目（line num 79）の画素データが埋め込まれる。さらに、出力データの８０～８３行目は空行であり、「ＦＦ」が埋め込まれている。
【0080】
次いで、出力データの８４行目には、「処理画像」の行番号（line num 0）の２バイトに続き、「必要なデータ」２バイト、さらに、「処理画像」の０行目（line num 0）の画素データ（１バイト×８０＝８０バイト）が埋め込まれている。同様にして、「処理画像」の１行目以降の画素データが出力データに埋め込まれ、出力データの１６３行目には、「処理画像」の７９行目（line num 79）の画素データが埋め込まれる。さらに、出力データの１６４～１６７行目は空行であり、「ＦＦ」が埋め込まれている。
【0081】
さらに、通信基板１０では、このようにして生成された「温度画像」及び「処理画像」の両方の情報を含む１フレーム分の画像データが、下位層の通信プロトコル（例えば、TCP, IP, Ethernet等）に引き渡され、送信される。さらに、遠赤外線カメラ１の通信基板１０から送信された画像のデータは、サーバー１２等の外部機器によって受信される。画像データを受信した外部機器は、例えば、画像データ中の「処理画像」を表す部分を動画としてディスプレイに表示することができる。また、受信された画像データ中の「温度画像」を表す部分は、画像中の対象物の温度を表示するために使用することができる。例えば、ディスプレイに表示されている動画中の或る点がマウスポインタで指示されると、その点の温度を「温度画像」の画素値に基づいて表示するように外部機器を構成することもできる。
【0082】
ここで、本実施形態においては、「処理画像」と「温度画像」は、同一の画素数を有すると共に、熱画像アレイ４によって取得された同一フレームの画像データから生成されたものである。このため、ディスプレイ上に表示される画像と、画像上の各点に対応する温度データの整合性が高く、信頼性の高い温度を表示することができる。なお、外部機器において、遠赤外線カメラ１から送信された「処理画像」及び「温度画像」データに対して種々の処理を行うことができ、各データに対して任意の処理を施し利用することができる。
【0083】
なお、図１３では温度画像データと処理画像データを１つのデータパッケージとして同時に出力する場合のデータフォーマットの一例について説明したが、本発明はこれに限定されるものではない。例えば、温度画像データと処理画像データを交互に送信する場合には、例えば図１３に示すデータフォーマットのうち、Line0～Line79及びLine80～Line83（ＦＦ）を１つのデータパッケージとして送信した後、Line84～Line163及びLine164～Line167（ＦＦ）を次のデータパッケージとして送信する構成を採用することもできる。
【0084】
なお、本実施形態では、データ処理基板８の合成部１９において温度画像データと処理画像データとを１つのデータパッケージとして通信基板１０に出力する構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、通信基板１０の機能がデータ処理基板８に実装されていてもよいし、合成部１９の機能や他の機能が通信基板１０に実装されていてもよい。
【0085】
本発明の実施形態の遠赤外線カメラ１によれば、温度画像生成部１６によって生成された温度画像のデータ、及び画像処理部１８によって生成された処理画像のデータ（図１３）がサーバー１２等の外部機器に送信されるので、撮影された対象物の形状及び温度の両方を把握することができる。
【0086】
また、本実施形態の遠赤外線カメラ１によれば、遠赤外線アレイセンサである熱画像アレイ４によって取得された１フレームの画像データ（補正画像データ）に対し、温度画像及び処理画像が夫々生成されるので、処理画像中に撮影されている対象物と、温度画像中の温度の整合性が高く、信頼性の高い温度情報を得ることができる。
【0087】
さらに、本実施形態の遠赤外線カメラ１によれば、画像処理部１８は、ノンユニフォミティ補正部１４によって補正した後の補正画像データの階調を補正するので、熱画像アレイ４によって取得されたデータに基づいて、対象物を視認しやすい画像を生成することができる。
【0088】
また、本実施形態の遠赤外線カメラ１によれば、温度画像生成部１６によって生成された温度画像の各画素の画素値を表す画像データと、画像処理部１８によって生成された処理画像の各画素の画素値を表す画像データは、有効なｂｉｔ数が異なっている。このため、温度画像及び処理画像を必要にして十分な分解能で生成することができ、画像処理に要する計算量、送信すべきデータ量を最適化することができる。
【0089】
さらに、本実施形態の遠赤外線カメラ１によれば、温度画像生成部によって生成された温度画像と、画像処理部によって生成された処理画像は、同一の画素数を有する。このため、処理画像中に撮影されている対象物の位置と、温度画像中の温度のデータを正確に整合させることができ、信頼性の高い温度測定値を得ることができる。
【0090】
また、本実施形態の遠赤外線カメラ１によれば、送信部である通信基板１０は、温度画像生成部１６によって生成された温度画像のデータ、及び画像処理部１８によって生成された処理画像のデータを、１フレームの画像データの中に含めてサーバー１２等の外部機器に送信する。このため、処理画像と、これと同時に取得された温度画像を容易に対応させることができ、処理画像中に撮影されている対象物の正確な温度を特定することができる。
【0091】
以上、本発明の実施形態による遠赤外線カメラを説明したが、上述した実施形態に種々の変更を加えることができる。特に、上述した実施形態において、画像処理部は補正画像データの階調を補正していたが、任意の処理を施した画像データを処理画像として送信するように、本発明の遠赤外線カメラを構成することができる。
【0092】
さらに、上述した実施形態においては、温度画像のデータ、及び処理画像のデータが、１フレーム分の画像データとして送信されていたが、これらを別々に送信することもできる。また、上述した実施形態においては、熱画像アレイによって取得された１フレームの画像データから、温度画像及び処理画像が夫々生成されていたが、温度画像及び処理画像を別フレームの画像データから生成することもできる。さらに、上述した実施形態においては、温度画像の画素値として１６ｂｉｔ、処理画像の画素値として８ｂｉｔの画素値が割り当てられていたが、各画素値に任意のｂｉｔ数を割り当てることができる。また、上述した実施形態においては、温度画像及び処理画像は同一の画素数で構成されていたが、各画像の画素数は、任意に設定することができる。
【符号の説明】
【0093】
１ 遠赤外線カメラ
２ 遠赤外広角レンズ（遠赤外レンズ）
４ 熱画像アレイ（遠赤外線アレイセンサ）
６ ボロメータ基板
８ データ処理基板
１０ 通信基板（送信部）
１２ サーバー（外部機器）
１４ ノンユニフォミティ補正部
１６ 温度画像生成部
１８ 画像処理部
１８ａ 画像情報入力部
１８ｂ ヒストグラム生成部
１８ｃ ヒストグラム再構成部
１８ｄ 平坦化処理部
１８ｅ 平滑化処理部
１８ｆ エッジ強調処理部
１９ 合成部
２０ 人
２ 遠赤外広角レンズ（遠赤外レンズ）
４ 熱画像アレイ（遠赤外線アレイセンサ）
６ ボロメータ基板
８ データ処理基板
１０ 通信基板（送信部）
１２ サーバー（外部機器）
１４ ノンユニフォミティ補正部
１６ 温度画像生成部
１８ 画像処理部
１８ａ 画像情報入力部
１８ｂ ヒストグラム生成部
１８ｃ ヒストグラム再構成部
１８ｄ 平坦化処理部
１８ｅ 平滑化処理部
１８ｆ エッジ強調処理部
１９ 合成部
２０ 人
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】