特開 2024-79035 撮像システム、ぶれ検出方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024079035

(43)【公開日】2024-06-11

(54)【発明の名称】撮像システム、ぶれ検出方法、及びプログラム

(51)【国際特許分類】

   H04N 23/68 20230101AFI20240604BHJP

【ＦＩ】

H04N23/68

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022191729

(22)【出願日】2022-11-30

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】石渡 忠司

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】山本 浩史

(72)【発明者】

【氏名】土屋 圭二

(72)【発明者】

【氏名】中明 靖文

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA16

5C122EA41

5C122FF10

5C122FG02

5C122FH11

5C122FH13

5C122GE01

5C122HA81

5C122HB01

5C122HB06

(57)【要約】

【課題】簡便な処理でぶれを検出することができる撮像システム、ぶれ検出方法、及びプログラムを提供すること。
【解決手段】撮像システム１００は、熱画像を撮像する赤外線カメラ１０と、赤外線カメラ１０で撮像されたキャリブレーション用の熱画像を均一化する較正データを用いてキャリブレーションを行うキャリブレーション部１７５と、キャリブレーション部１７５によってキャリブレーションが行われたぶれ検出用の熱画像における画素値に基づいて、ぶれ検出を行うぶれ検出部１７６と、を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

熱画像を撮像する赤外線カメラと、
前記赤外線カメラで撮像されたキャリブレーション用の熱画像を均一化する較正データを用いてキャリブレーションを行うキャリブレーション部と、
前記キャリブレーション部によってキャリブレーションが行われたぶれ検出用の熱画像における画素値に基づいて、ぶれ検出を行うぶれ検出部と、を備えた撮像システム。

【請求項2】

前記ぶれ検出用の熱画像における画素値のピークに応じて、ぶれデータを算出するぶれデータ算出部と、
前記ぶれデータに基づいて、前記赤外線カメラからの熱画像に対して、ぶれ補正を行うぶれ補正部をさらに備えた請求項１に記載の撮像システム。

【請求項3】

前記ぶれデータ算出部が前記ピークの幅に基づいてぶれ量を算出し、
前記ぶれ補正部が、フレーム毎の前記ぶれ量に応じて、前記ぶれ補正を行う請求項２に記載の撮像システム。

【請求項4】

赤外線カメラを用いてキャリブレーション用の熱画像を撮像するステップと、
前記キャリブレーション用の熱画像を均一化する較正データを生成するステップと、
前記赤外線カメラを用いてぶれ検出用の熱画像を撮像するステップと、
前記較正データを用いて、前記ぶれ検出用の熱画像を補正するステップと、
補正された前記ぶれ検出用の熱画像の画素値に基づいて、ぶれ検出を行うステップと、を備えたぶれ検出方法。

【請求項5】

ぶれ検出方法を撮像システムのプロセッサに実行させるためのプログラムであって、
前記ぶれ検出方法は、
赤外線カメラを用いてキャリブレーション用の熱画像を撮像するステップと、
前記キャリブレーション用の熱画像を均一化する較正データを用いて、生成するステップであって、
前記赤外線カメラを用いてぶれ検出用の熱画像を撮像するステップと、
前記較正データを用いて、前記ぶれ検出用の熱画像を補正するステップと、
補正された前記ぶれ検出用の熱画像の画素値に基づいて、ぶれ検出を行うステップと、を備えたプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像システム、ぶれ検出方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１に開示された検出システムは、熱画像等から所定の方向を持つ方向エッジを抽出した後、その方向エッジと物体候補領域との連結関係に基づき、測定対象である車両を判別する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－２５７１３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠赤外線カメラは可視カメラと同様に、カメラの振動やユーザの手ぶれ等のぶれによる画質低下が課題となる。よって、手ぶれを適切に検出することが望まれる。

【0005】

本開示は、上述した課題に鑑み、簡便な処理でぶれを検出することができる撮像システム、手ぶれ検出方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本実施形態の一態様に係る撮像システムは、熱画像を撮像する赤外線カメラと、前記赤外線カメラで撮像されたキャリブレーション用の熱画像を均一化する較正データを用いてキャリブレーションを行うキャリブレーション部と、前記キャリブレーション部によってキャリブレーションが行われたぶれ検出用の熱画像における画素値に基づいて、ぶれ検出を行うぶれ検出部と、を備えている。

【0007】

本実施形態の一態様に係るぶれ検出方法は、赤外線カメラを用いてキャリブレーション用の熱画像を撮像するステップと、前記キャリブレーション用の熱画像を均一化する較正データを生成するステップと、前記赤外線カメラを用いてぶれ検出用の熱画像を撮像するステップと、前記較正データを用いて、前記ぶれ検出用の熱画像を補正するステップと、補正された前記ぶれ検出用の熱画像の画素値に基づいて、ぶれ検出を行うステップと、を備えている。

【0008】

本実施形態の一態様に係るプログラムは、ぶれ検出方法を撮像システムのプロセッサに実行させるためのプログラムであって、前記ぶれ検出方法は、赤外線カメラを用いてキャリブレーション用の熱画像を撮像するステップと、前記キャリブレーション用の熱画像を均一化する較正データを用いて、生成するステップであって、前記赤外線カメラを用いてぶれ検出用の熱画像を撮像するステップと、前記較正データを用いて、前記ぶれ検出用の熱画像を補正するステップと、補正された前記ぶれ検出用の熱画像の画素値に基づいて、ぶれ検出を行うステップと、を備えている。

【発明の効果】

【0009】

本実施形態によれば、簡便な処理でぶれを検出することができる撮像システム、ぶれ検出方法、及びプログラムを検知することができる。

【図面の簡単な説明】

【0010】

【図1】撮像システムの構成図である。

【図2】撮像システムの赤外線カメラの構成図である。

【図3】撮像システムの制御装置のブロック図である。

【図4】制御装置の画像処理部のブロック図である。

【図5】画像処理部での処理を説明するための図である。

【図6】水平方向プロファイルＢ’、Ｆを拡大して示す図である。

【図7】水平方向プロファイルＢ’ ’、Ｇを拡大して示す図である。

【図8】手ぶれデータを算出する処理を説明するフローチャートである。

【図9】手ぶれを補正する処理を説明するフローチャートである。

【図10】上下方向の手ぶれデータを算出するパターンを模式的に示す図である。

【発明を実施するための形態】

【0011】

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

【0012】

本実施の形態にかかる撮像システムは、遠赤外線カメラ等を備えており、熱画像を撮像する。遠赤外線カメラは可視カメラと同様に、カメラの振動やユーザの手ぶれによる画質低下が課題となる。
手ぶれ補正には光学式補正と、電子式補正がある。光学式補正では、レンズやイメージセンサを動かすことで、手ぶれが補正される。電子式補正では、メモリが１フレームの画像を保存する。そして、センサなどで求められた手ぶれ成分を用いて、フレーム画像が補正される。

【0013】

光学式補正では、特別な機構を用いて補正レンズやイメージセンサを動かす。遠赤外線カメラはレンズのコストが高いことやセンサのセルサイズが大きい。したがって、光学式補正では、カメラユニットが大きくなることやコストが高くなるなどの課題がある。

【0014】

電子式補正では、撮像素子の撮像可能領域が一定のサイズに狭められている。つまり、撮像素子の周縁画素が補正エリアとして利用している。手ぶれ量を相殺するように、全画素領域から撮像画像を切り出す位置及び切り出し角度が変えられる。

【0015】

電子式補正では、ジャイロセンサなどの外部センサを用いて手ぶれ成分を検出するものがある。ジャイロセンサなどの外部センサを用いる場合、コスト増加を招いてしまう。また、電子式補正では、入力画像からフレーム間の動きベクトルを検知するものがある。ベクトル検知方式では、センサを用いるタイプと比較してコストメリットが大きい。また、遠赤外線カメラは被写体から放出される遠赤外線を映像化する。このため、可視カメラのベクトル検知方式の弱点である暗闇でも問題なく機能する特徴がある。

【0016】

ベクトル検知方式を用いた電子式補正では、外部センサの部品コストを削減することができる。一方、ベクトル検知方式では、専用のASIC（application specific integrated circuit）や画像処理のCPU（Central Processing Unit）パワーを必要とするため、処理負荷が増大するおそれがある。本実施形態は、遠赤外線カメラの簡単な画像処理を応用し、簡単なアルゴリズムで手ぶれ検出を実現している。本実施の形態に係る撮像システムは、専用のASICやCPUパワーを必要とせず、簡便な処理で電子式手ぶれ補正を行うことできる。

【0017】

本実施の形態においては、ユーザが手にカメラを持って撮像する場合のぶれである手ぶれについて説明をするが、本発明が解決する課題は手ぶれに限られるものではない。例えばカメラが三脚などに固定された状態で撮像される場合においても、風などの影響でぶれが発生する場合がある。本発明は、このようなぶれによる画質低下についても対応することできる。従って、以下の説明における「手ぶれ」の記載は、「ぶれ」の記載に置き換えることができる。

【0018】

図１を参照して，本実施の形態について説明する。図１は、実施の形態にかかる撮像システムの構成図である。図１に示すように、撮像システム１００は、制御装置１１と、赤外線カメラ１０とを備える。なお、図１に示す撮像システム１００の一例はさらにディスプレイ１２を備えるが、撮像システム１００はディスプレイ１２を備えなくてもよい。

【0019】

赤外線カメラ１０は、被写体の熱画像を撮像する。赤外線カメラ１０は、遠赤外線カメラであるとよい。赤外線カメラ１０は、赤外線カメラ１０は、制御装置１１と通信可能に接続し、制御装置１１から所定の指示信号を受け取り、受け取った指示信号に応じて動作する。また赤外線カメラ１０は、制御装置１１に対して、赤外線カメラ１０が撮影した画像（熱画像ともいう）にかかる画像データ（熱画像データともいう）を供給する。

【0020】

制御装置１１は、赤外線カメラ１０、およびディスプレイ１２のそれぞれと通信可能に接続している。制御装置１１は、赤外線カメラ１０、およびディスプレイ１２のそれぞれと有線で接続されてもよいし無線で接続されてもよい。制御装置１１は、赤外線カメラ１０を制御する。制御装置１１は、赤外線カメラ１０が生成した画像データを取得する。制御装置１１は、取得した画像データをディスプレイ１２に表示させてもよい。撮像システム１００は、ディスプレイ１２を複数接続し、赤外線カメラ１０が生成した画像データをディスプレイ１２に表示してもよい。

【0021】

ディスプレイ１２は、例えば液晶パネルや有機エレクトロルミネッセンスパネルを含む表示装置であって、ユーザが視認可能な位置に設けられている。ディスプレイ１２は、制御装置１１を介して赤外線カメラ１０が撮影した画像を表示する。なお、ディスプレイ１２は、撮像システム１００が測定対象の検出を開始してから終了するまで制御装置１１との通信接続を解除され、制御装置１１から離れた場所に配置されていてもよい。

【0022】

上述の構成により、制御装置１１は、赤外線カメラ１０が撮影した画像をユーザが視認可能な態様によりディスプレイ１２に表示させる。これにより、制御装置１１は、周辺の物体をユーザに認識させることができる。なお、撮像システム１００は、ディスプレイ１２を備えない場合は、制御装置１１は赤外線カメラ１０が撮影した画像を図示しない外部記憶装置などに保存できてもよい。また、制御装置１１と赤外線カメラ１０とディスプレイ１２は一体の撮像装置として構成されていてもよい。

【0023】

（赤外線カメラ）
次に、図２を参照して、赤外線カメラ１０の構成について説明する。図２は、図１に示す検出システムの赤外線カメラの構成図である。図２に示す赤外線カメラ１０は主な構成として、筐体１０１、対物レンズ１０２、メカニカルシャッタ１０３、赤外線センサ１０４、カメラ制御回路１０５および温度センサ１０６を備える。ここで、赤外線カメラ１０は、必ずしもメカニカルシャッタ１０３を備えなくてもよい。

【0024】

筐体１０１は、赤外線カメラ１０の各構成を収容する。対物レンズ１０２は、赤外線カメラ１０が撮影する範囲から入射する赤外線を受け、赤外線センサ１０４に投射する。メカニカルシャッタ１０３は、遮光性の板材を含み、対物レンズ１０２と赤外線センサ１０４との間に開閉可能に介在する。遮光性の板材は、例えば黒塗装された金属または黒アルマイト加工されたアルミニウム等である。メカニカルシャッタ１０３は、対物レンズ１０２よりも外側に配置されてもよい。

【0025】

メカニカルシャッタ１０３は、閉じた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮る。一方、メカニカルシャッタ１０３は、開いた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮らない。また、メカニカルシャッタ１０３を開いた状態で、後述するキャリブレーションを行う。

【0026】

赤外線センサ１０４は、アレイ状に配置された感熱素子で構成されている。赤外線センサ１０４は、対物レンズ１０２を介して入射する赤外光を受光する。赤外線センサ１０４は、感熱素子の各々の抵抗値変化によって画像データを生成する。すなわち赤外線センサ１０４が生成する画像データにはアレイ状に配置された感熱素子の出力値が含まれる。赤外線センサ１０４はカメラ制御回路１０５と通信可能に接続し、カメラ制御回路１０５から所定の制御信号を受けて動作する。赤外線センサ１０４は、画像データを生成すると、生成した画像データをカメラ制御回路１０５に供給する。

【0027】

赤外線センサ１０４は、２次元アレイ状配列された複数の画素を備えている。赤外線センサ１０４は遠赤外線を検出するためのマイクロボロメータを有していてもよい。あるいは、赤外線センサ１０４は、赤外波長に感度を有するフォトダイオードなどを有していてもよい。各画素の検出値（検出信号）が被写体の熱画像を形成する。

【0028】

なお、赤外線センサ１０４のセンサ出力値をディスプレイ１２に表示するために設定される画素値のダイナミックレンジは、測定対象を好適に認識できるように分解能が設定されている。そのため、赤外線センサ１０４は、上述の異常状態を起こさない温度範囲であっても、検出信号である画素値が飽和する場合がある。

【0029】

カメラ制御回路１０５は、ＭＣＵ（Micro Controller Unit）を含む制御回路であって、メカニカルシャッタ１０３および赤外線センサ１０４を制御する。またカメラ制御回路１０５は、図１に示す制御装置１１と通信可能に接続し、制御装置１１から制御信号を受け取り、受け取った制御信号に応じて、赤外線カメラ１０の各構成を制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮影をしない場合にはメカニカルシャッタ１０３が閉じた状態を保つよう制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮影をする場合にはメカニカルシャッタ１０３が開いた状態となるよう制御する。なお赤外線カメラ１０がメカニカルシャッタ１０３を備えない場合には、カメラ制御回路１０５はメカニカルシャッタ１０３を制御しない。またこのとき、カメラ制御回路１０５は、赤外線センサ１０４が生成したセンサ出力値を含む画像データを、制御装置１１に供給する。

【0030】

またカメラ制御回路１０５は、所定の条件下、メカニカルシャッタ１０３を一時的に閉じる。所定の条件とは例えば、赤外線センサ１０４を保護する目的でメカニカルシャッタ１０３を一時的に閉じる場合などである。この場合、例えばカメラ制御回路１０５は、制御装置１１からメカニカルシャッタ１０３を一時的に閉じる指示を受ける。また、カメラ制御回路１０５は、被写体を撮影した熱画像にかかる熱画像データを制御装置１１に供給する。

【0031】

カメラ制御回路１０５は温度センサ１０６と通信可能に接続し、温度センサ１０６から赤外線カメラ１０内部の温度に関する測定データを受け取る。またカメラ制御回路１０５は温度センサ１０６から受け取った測定データを制御装置１１に供給する。

【0032】

温度センサ１０６は赤外線カメラ１０内部に設置され、赤外線カメラ１０の温度を測定し、測定データをカメラ制御回路１０５に供給する。温度センサ１０６は赤外線センサ１０４の近傍に設置されているのが好ましい。具体的には、温度センサ１０６と赤外線センサ１０４とは、同一の基板上に搭載され、温度センサ１０６は、例えば、温度センサＩＣ（集積回路）を用いるとよい。

【0033】

（制御装置）
次に、図３を参照して、制御装置１１について説明する。図３は、制御装置１１のブロック図である。制御装置１１は主な構成として、制御ＩＦ１２０、ＲＯＭ１３０、ＲＡＭ１４０、システム制御部１５０、画像データ取得部１６０、画像処理部１７０、及び画像データ出力部１９０を有している。またこれらの構成は、バス１１０を介して適宜通信可能に接続されている。

【0034】

画像データ取得部１６０は、赤外線カメラ１０で撮像された熱画像データを取得する。以下の説明において、画像データ取得部１６０に入力される熱画像データのことを入力熱画像データと称することがある。例えば、赤外線カメラ１０からの熱画像データを入力するためのＩＦ（インターフェース）を備えている。なお、画像データ取得部１６０と、赤外線カメラ１０とのインタフェースは、有線接続であってもよく、無線接続であってもよい。

【0035】

ＲＯＭ１３０は、制御装置１１、赤外線カメラ１０、及びディスプレイ１２を制御するための制御プログラムや各種パラメータを格納する。例えば、ＲＯＭ１３０は、画像処理部１７０で実行される画像処理プログラムを格納している。また、ＲＯＭ１３０は、システム制御部１５０で実行されるシステム制御プログラムを格納している。

【0036】

ＲＡＭ１４０は、各種プログラムやその実行に用いるパラメータなどを格納している。さらに、画像処理部１７０の演算データ等を記憶する。また、ＲＯＭ１３０又はＲＡＭ１４０は後述する較正データを格納していていても良い。

【0037】

システム制御部１５０は、撮像システム１００の全体を制御する．システム制御部１５０は、ＣＰＵ等のプロセッサを備えている。システム制御部１５０のプロセッサが制御プログラムを実行することで、システム全体を制御することができる。

【0038】

システム制御部１５０は、赤外線カメラ１０を制御するための制御信号を生成する。例えば、システム制御部１５０は、赤外線カメラ１０のシャッタ開閉、フォーカス、ズーム、シャッタスピード、露出などを制御することができる。また、赤外線カメラ１０が、パン、チルト機能を備える雲台などの機構に設置されている場合、システム制御部１５０は、パン、チルトなどを制御することができる。

【0039】

制御ＩＦ１２０は、赤外線カメラ１０を制御するためのインタフェースである。例えば、システム制御部１５０は、制御ＩＦ１２０を介して、赤外線カメラ１０のメカニカルシャッタ１０３を開閉するための制御信号を出力する。また、制御装置１１は、制御ＩＦ１２０を介して、赤外線カメラ１０に各種の信号やデータを送信することができる。さらに、制御ＩＦ１２０は、赤外線カメラ１０からの各種の信号やデータを受信することができる。例えば、制御ＩＦ１２０は、赤外線カメラ１０の温度センサ１０６で測定された環境温度を取得する。

【0040】

画像処理部１７０は、画像データ取得部１６０で取得された熱画像データに対して、所定の画像処理を行う。画像処理部１７０は、画像処理プログラムを実行するためのプロセッサなどを備えていてもよい。画像処理部１７０のプロセッサは汎用プロセッサであってもよく、専用プロセッサであってもよい。画像処理部１７０は、例えば、ＧＰＵ（Graphics Processing Unit）を含む画像処理回路であってもよい。画像処理部１７０のプロセッサとシステム制御部１５０のプロセッサは共通であってもよい。

【0041】

画像処理部１７０は、赤外線カメラ１０の手ぶれ検出を行う。具体的には、画像処理部１７０は、赤外線カメラの手ぶれデータを検出する。そして、画像処理部１７０は手ぶれ補正を行うための画像処理を施す。画像処理部１７０における処理については後述する。

【0042】

画像処理部１７０が入力熱画像データに対して画像処理を行うことで、表示画像データが生成される。画像データ出力部１９０は表示画像データをディスプレイ１２に出力するインタフェースである。

【0043】

次に，画像処理部１７０について、図４を用い説明する。図４は、画像処理部１７０の構成を示す制御ブロック図である。画像処理部１７０は、ＮＵＣ（Ｎｏｎ－Ｕｎｉｆｏｒｍｉｔｙ Ｃｏｒｒｅｃｔｉｏｎ）部１７１と、フレームメモリ１７３と、較正部１７４と、キャリブレーション部１７５と、手ぶれ検出部１７６と、手ぶれデータ算出部１７７と、手ぶれ補正部１７９とを備えている。ここで、手ぶれ検出部１７６のことをぶれ検出部と、手ぶれデータ算出部１７７のことをぶれデータ算出部と、手ぶれ補正部１７９のことをぶれ補正部とそれぞれ称することがある。

【0044】

上記のように、画像データ取得部１６０は、入力熱画像データを取得する。入力熱画像データの各画素のセンサ出力値（画素値）は、例えば、８ビットのデータとなっている。画像データ取得部１６０は入力熱画像データをＮＵＣ部１７１、較正部１７４、及びキャリブレーション部１７５に出力する。ＮＵＣ部１７１は、画素間の出力ばらつきを補正するための処理を行う。ＮＵＣ部１７１は、環境温度に基づいて入力熱画像データをシャッタレス補正する。

【0045】

シャッタレス補正とは、例えば、メカニカルシャッタ１０３を閉じずに、赤外線センサ１０４の画素ばらつきを、環境温度に対応した複数の補正値を用いて補正するものである。シャッタレス補正では、予め環境温度毎に取得した較正データによる補正値を用いて、赤外線センサ１０４の出力の画素ばらつきが補正される。

【0046】

赤外線センサ１０４は、環境温度に応じて温度ドリフト特性を持つため、環境温度によって画素ばらつきが変化する。したがって、赤外線カメラ１０、又は制御装置１１が予め複数の環境温度毎の較正データを取得し、メモリなどに格納しておく。例えば、メモリには、異なる環境温度に対応した較正データが予め取得されている。較正データは例えば環境温度が、カメラが動作する下限温度からカメラが動作する上限温度の範囲において、いくつか取得しておく。予め取得されていない環境温度に対応した較正データは、予め取得されている複数の較正データを多項式などで近似した近似値を用いた補間処理で予測することができる。

【0047】

シャッタレス補正用の較正データは、赤外線カメラ１０の前方に赤外線センサ１０４から見て熱的に均一な黒体を配置した状態で撮影した熱画像データにより求められている。よって、熱的に均一な黒体を撮像した熱画像データを均一にするようなオフセットが画素毎に設定される。ＮＵＣ部１７１は、例えば熱画像データ全画素の平均値から各画素の値を引くことにより、画素毎のオフセット値を較正用データとして算出する。なお、較正データの算出はＮＵＣ部１７１に限らず、図示しない画像処理部１７０の他のブロックまたは赤外線カメラ１０で算出されてもよい。シャッタレス補正用の較正データは赤外線センサ１０４の全ての画素に対して設定されている。

【0048】

赤外線センサ１０４のセンサ出力は、環境温度に応じて画素ばらつきが変化する。よって、赤外線センサ１０４が赤外光を受光した場合、そのときの環境温度に対する画素ばらつきを、予め取得した較正データを用いて補正する。ＮＵＣ部１７１は、予め取得した複数の較正データに基づいて、メカニカルシャッタ１０３の開閉を伴う較正を行わずに、画素ばらつきの補正を行う。このような補正を、シャッタレス補正という。

【0049】

なお、シャッタレス補正処理の少なくとも一部は赤外線カメラ１０で実行されてもよい。赤外線カメラ１０のカメラ制御回路１０５がシュッタレス補正の処理を実行してもよい。例えば、ＮＵＣ部１７１が環境温度に応じた較正用データを、赤外線カメラ１０に送信する。そして、カメラ制御回路１０５が各画素の検出値にオフセット値に基づいた補正をして出力する。この場合、画像データ取得部１６０がシャッタレス補正された熱画像データを取得する。

【0050】

ＮＵＣ部１７１によって、入力熱画像データに対してシャッタレス補正が施された熱画像データをシャッタレス補正画像データとする。つまり、シャッタレス補正画像データはシャッタレス補正処理が行われた熱画像データとなる。ＮＵＣ部１７１はシャッタレス補正画像データをフレームメモリ１７３に出力する。フレームメモリ１７３は、シャッタレス補正画像データを格納する。シャッタレス補正画像データは、後述するキャリブレーション部１７５でのキャリブレーション処理が行われていない熱画像である。

【0051】

較正部１７４は、熱画像を均一化する較正データを生成する。キャリブレーション部１７５は、入力熱画像データに対してキャリブレーションを行う。キャリブレーション部１７５は、較正部１７４が生成した較正データを用いてキャリブレーションを行う。例えば、メカニカルシャッタ１０３が開いた状態で、赤外線カメラ１０がキャリブレーション用の熱画像を撮像する。キャリブレーション用の熱画像は、キャリブレーションを実施するタイミングにおける熱分布を有する被写体を撮像した画像である。キャリブレーション用の熱画像の被写体は、非均一な温度分布を有している。

【0052】

例えば、キャリブレーション用の被写体として、４ｂａｒチャートを用いた例を図５に示す。４ｂａｒチャートは、水平方向において、高温部分ＨＴと低温部分ＬＴが交互に表れた被写体である（図５の熱画像Ａ参照）。つまり、キャリブレーション用の熱画像Ａには、４つの高温部分ＨＴがある。さらに、高温部分ＨＴの左右両側に低温部分ＬＴがある。高温部分ＨＴと低温部分ＬＴの境界線は、水平方向と直交する方向となる。

【0053】

図５の画像Ｂは、水平ラインＨ１におけるキャリブレーション用の入力熱画像データにNUC部１７１がシャッタレス補正した画像の水平方向プロファイルを示す。図５の画像Ｂの横軸は水平方向の画素座標を示し、縦軸は画素値を示している。図５の画像Ｂは熱画像Ａの水平１ライン成分を抽出したグラフとなっている。高温部分ＨＴの画素では画素値が大きくなり、低温部分ＬＴの画素では画素値が小さくなる。

【0054】

較正部１７４は、キャリブレーション用の熱画像を均一にするための較正データを生成する。たとえば、較正部１７４はキャリブレーション用の熱画像データ全画素の平均値から各画素の値を引いた値を各画素におけるオフセット値として較正データを生成する。これにより、赤外線センサ１０４の全画素に対するオフセット値が求められる。ここで、キャリブレーション部１７５で用いる較正データを第１較正データとし、ＮＵＣ部１７１で用いる較正データを第２較正データとする。第２較正データは第１較正データと同様に、画素毎に設定されたオフセット値を有している。

【0055】

キャリブレーション部１７５によるキャリブレーション処理は、シャッタレス補正の処理と同様のアルゴリズムを用いることができる。つまり、キャリブレーション部１７５は、ＮＵＣ部１７１と同様に、不均一な熱画像データを均一な熱画像データとするためのアルゴリズムを実行する。キャリブレーション部１７５で用いる第１較正データは、画素毎のオフセット値を有している。同様に、ＮＵＣ部１７１で用いる第２較正データは、画素毎のオフセット値を有している。専用のASICやCPUパワーを必要とせず、キャリブレーション部１７５が、キャリブレーション処理を行うことができる。

【0056】

キャリブレーション部１７５でキャリブレーションされた熱画像をキャリブレーション画像とする。図５のキャリブレーション画像Ｃは熱画像Ａをキャリブレーションしたキャリブレーション画像である。キャリブレーション画像Ｃは、均一な画像となっている。つまり、各画素における輝度値が均一化されている。換言すると、較正データにおけるオフセット値は不均一となる。つまり、熱画像Ａの高温部分ＨＴの画素では画素値が大きいため、第１較正データのオフセット値が小さくなる。一方、熱画像Ａの低温部分ＬＴの画素では画素値が小さいため、第１較正データのオフセット値が大きくなる。キャリブレーション部１７５は赤外線カメラ１０で撮像した入力熱画像データの画素値に第１較正データのオフセット値に基づいた補正をした値を、出力値とする。

【0057】

さらに、キャリブレーション部１７５は、第１較正データを用いて、手ぶれ検出用の熱画像に対して，キャリブレーション処理を行う。つまり、キャリブレーション画像を均一化する第１較正データを用いて、キャリブレーション部１７５が手ぶれ検出用の熱画像をキャリブレーションする。キャリブレーション部１７５は、手ぶれ検出用の熱画像の画素値に第１較正データのオフセット値に基づいた補正をすることで、画素毎の出力値を求める。

【0058】

手ぶれ検出用の熱画像と、キャリブレーション用の熱画像とは同じ被写体の画像となっている。手ぶれ検出用の熱画像は、キャリブレーションを実施するタイミングよりも後のタイミングで撮像された画像とすることができる。手ぶれがある場合、被写体に対する赤外線カメラ１０の相対的な位置又は向きが変化している。よって、キャリブレーション用の熱画像と、手ぶれ検出用の熱画像とで、熱画像における被写体の位置がずれる。熱画像における高温部分ＨＴ及び低温部分ＬＴの位置がずれる。

【0059】

例えば、赤外線カメラ１０が同じ被写体を動画像として撮像する場合、手ぶれ検出用の熱画像と、キャリブレーション用の熱画像とは異なるフレームの画像となる。つまり、赤外線カメラ１０は、キャリブレーション用の熱画像であるフレーム画像の後に、手ぶれ検出用の熱画像であるフレーム画像を撮像する。画像データ取得部１６０は、動画像のフレームを順次取得する。そして、画像処理部１７０は順次取得された各フレーム画像に対して、画像処理を行う。

【0060】

手ぶれ検出部１７６が、キャリブレーション部１７５でキャリブレーションされた手ぶれ検出用の熱画像に基づいて、手ぶれ検出を行う。つまり、手ぶれ検出用の熱画像のキャリブレーション画像の画素値に基づいて、手ぶれ検出部１７６は、手ぶれが生じているか否かを判定する。

【0061】

図５のキャリブレーション画像Ｄ、Ｅはそれぞれ手ぶれが生じている場合のキャリブレーション画像を示す。より詳細には、図５のキャリブレーション画像Ｄは、左方向に手ぶれ成分がある場合のキャリブレーション画像となっている。ここで左方向の手ぶれとは、赤外線カメラ１０が熱画像Ａに対して左方向にぶれた場合を示す。図５のキャリブレーション画像Ｅは、右方向に手ぶれ成分がある場合のキャリブレーション画像となっている。被写体は、図５の熱画像Ａに示すように、高温部分ＨＴと低温部分ＬＴがある４ｂａｒチャートである。

【0062】

左右方向に手ぶれが生じている場合、熱画像において、高温部分ＨＴと低温部分ＬＴが左右にずれる。よって、キャリブレーション処理において、低温部分ＬＴの画素のオフセット値によって補正された高温部分ＨＴの画素がある。このような画素では、キャリブレーションで得られた出力値が極めて大きくなる。同様に、キャリブレーション処理において、高温部分ＨＴの画素のオフセット値によって補正された低温部分ＬＴの画素がある。このような画素では、キャリブレーションで得られた出力値が極めて小さくなる。手ぶれがある場合、手ぶれ検出用の熱画像のキャリブレーション画像は不均一となる。

【0063】

ここで画像における、任意の一方向の幅が１画素のラインのことをプロファイルと称する。キャリブレーション画像Ｄの水平方向プロファイルは図５のＦのようになる。キャリブレーション画像Ｅの水平方向プロファイルは図５のＧのようになる。水平方向プロファイルＦ、Ｇはそれぞれキャリブレーション画像Ｄ、Ｅの水平１ラインの画素値成分を抽出したグラフとなっている。具体的には、水平方向プロファイルＦは、キャリブレーション画像Ｄの水平ラインＨ２におけるプロファイルを示している。水平方向プロファイルＧは、キャリブレーション画像Ｅの水平ラインＨ３におけるプロファイルを示している。

【0064】

水平方向プロファイルＦ、Ｇには、手ぶれ量に応じたピークが出現する。４ｂａｒチャートでは、高温部分ＨＴと低温部分ＬＴの境界線が８つある。水平方向プロファイルＦ、Ｇには８つのピークが出現する。より詳細には、水平方向プロファイルＦ、Ｇには４つの正のピークと、４つの負のピークが表れる。

【0065】

手ぶれデータ算出部１７７は、キャリブレーション画像のプロファイルにおける画素値のピークに基づいて、手ぶれデータを算出する。手ぶれデータには少なくとも、どれだけずれているかを示す手ぶれ量と、どの方向にずれているかを示す手ぶれ方向と、が含まれる。手ぶれデータ算出部１７７は、手ぶれデータを手ぶれ補正部１７９に出力する。被写体のずれ量が大きくなるほど、極めて大きい出力値を有する画素、及び極めて小さい出力値を有する画素が増加する。被写体のずれ量が小さくなるほど、極めて大きい出力値を有する画素、及び極めて小さい出力値を有する画素が減少する。手ぶれ量が大きくなるほど、ピークの幅が広くなる。換言すると、手ぶれデータ算出部１７７は、ピークの幅に基づいて、手ぶれ量を算出することができる。例えば、手ぶれデータ算出部１７７は、ピークの幅に対応する画素数を手ぶれ量として求める。つまり、手ぶれ量は、熱画像の画素数で示される。なお、複数のピークがある場合、複数のピークの幅の平均値などによって、手ぶれ量を求めてもよい。

【0066】

また手ぶれデータ算出部１７７は、キャリブレーション画像のプロファイルに生じたピークの正負と、シャッタレス補正画像のプロファイルに生じたエッジの方向とに基づいて手ぶれ方向を算出する。ここで手ぶれ方向を算出する際のキャリブレーション画像とシャッタレス補正画像とは、同じ入力熱画像に基づく画像とする。つまり、同一の入力熱画像をキャリブレーション部１７５によってキャリブレーションされたキャリブレーション画像と、ＮＵＣ部１７１によってシャッタレス補正されたシャッタレス補正画像とする。

【0067】

手ぶれ方向について、図６、図７を用いて詳細に説明する。図６は水平方向プロファイルＢ’、Ｆを拡大して示す図である。図７は、水平方向プロファイルＢ’ ’、Ｇを拡大して示すグラフである。水平方向プロファイルＢ’は、手ぶれ検出用の熱画像をシャッタレス補正した画像の水平方向プロファイルである。水平方向プロファイルＢ’ ’は、水平方向プロファイルＢ’とは異なるタイミングにおける手ぶれ検出用の熱画像をシャッタレス補正した画像の水平方向プロファイルである。水平方向プロファイルＦはキャリブレーション画像Ｄつまり手ぶれ検出用の熱画像をキャリブレーションした画像の水平方向プロファイルである。水平方向プロファイルＧはキャリブレーション画像Ｅつまりキャリブレーション画像Ｄとは異なるタイミングにおける手ぶれ検出用の熱画像をキャリブレーションした画像ときの水平方向プロファイルである。

【0068】

キャリブレーション画像の任意の画素（例えば、図６中の画素Ｐ２）の前後の画素値が正のピークであり、かつ、シャッタレス補正画像の対応する画素Ｐ２の前後のエッジが立ち下がりエッジである場合、手ぶれデータ算出部１７７は、手ぶれ方向は左方向であると算出する。または、キャリブレーション画像の任意の画素（例えば、図６中の画素Ｐ１）の前後の画素値が負のピークであり、かつ、シャッタレス補正画像の対応する画素Ｐ１の前後のエッジが立ち上がりエッジである場合、手ぶれデータ算出部１７７は、手ぶれ方向は左方向であると算出する。つまり、キャリブレーション画像Ｄの手ぶれ方向は左方向であると算出する。

【0069】

キャリブレーション画像の任意の画素（例えば、図７中の画素Ｐ３）の前後の画素値が正のピークであり、かつ、シャッタレス補正画像の対応する画素Ｐ３の前後のエッジが立ち上がりエッジである場合、手ぶれデータ算出部１７７は、手ぶれ方向は右方向であると算出する。または、キャリブレーション画像の任意の画素（例えば、図７中の画素Ｐ４）の前後の画素値が負のピークであり、かつ、シャッタレス補正画像の対応する画素Ｐ４の前後のエッジが立ち下がりエッジである場合は、手ぶれ方向は右方向であると算出する。つまり画像Ｅの手ぶれ方向は右方向であると算出する。

【0070】

このように、手ぶれデータ算出部１７７は、キャリブレーション画像のピークの画素の周辺において、ピークの正負と、シャッタレス補正画像のエッジの向きを求める。そして、手ぶれデータ算出部１７７は、ピークの正負とエッジの向きとに基づいて、手ぶれ方向を算出することができる。なお、キャリブレーション画像のプロファイルにおける画素値のピークが複数ある場合、一番値が大きいピークのみ、または値が閾値以上のピークのみに基づいて、手ぶれ方向を求めてもよい。

【0071】

手ぶれ補正部１７９は、手ぶれデータに基づいて、手ぶれ検出用の熱画像に対して手ぶれ補正を行う。手ぶれ補正部１７９は、フレームメモリ１７３の熱画像データに基づいて、手ぶれ補正を行う。手ぶれ補正部１７９は、フレームメモリ１７３に格納されたデータにおいて、画像の切り出し位置を手ぶれ量だけ手ぶれ方向にずらす。後述するように手ぶれデータに手ぶれ角度が含まれる場合は、手ぶれ補正部１７９は、フレームメモリ１７３に格納されたデータにおいて、手ぶれ角度だけ傾けて切り出してもよい。これにより、手ぶれ補正処理が施された熱画像が生成される。手ぶれ補正部１７９は、手ぶれ補正済みの熱画像データを画像データ出力部１９０に供給する。

【0072】

図８は、手ぶれの検出処理及び手ぶれデータの算出処理を示すフローチャートである。まず、画像データ取得部１６０がキャリブレーション用の熱画像を取得する（ステップＳ１０１）。ここでは、メカニカルシャッタ１０３が開いた状態で、赤外線カメラ１０が被写体を撮像する。

【0073】

較正部１７４がキャリブレーション用の熱画像を均一化する第１較正データを算出する（ステップＳ１０２）。より具体的には較正部１７４が、各画素のオフセット値を算出し第１較正データとする。

【0074】

次に、画像データ取得部１６０が手ぶれ検出用の熱画像を取得する（ステップＳ１０３）。ここでは、メカニカルシャッタ１０３が開いた状態で、赤外線カメラが被写体を撮像する。

【0075】

キャリブレーション部１７５が第１較正データを用いて、手ぶれ検出用の熱画像のキャリブレーション画像を生成する（ステップＳ１０４）。キャリブレーション部１７５は、ステップＳ１０２で算出された第１較正データを用いて、手ぶれ検出用の熱画像をキャリブレーションする。つまり、キャリブレーション部１７５は、画素値にオフセット値に基づいた補正をすることで、キャリブレーション画像を生成する。

【0076】

手ぶれ検出部１７６は、キャリブレーション画像から画素値のピークを検出する（ステップＳ１０５）。手ぶれ検出部１７６がキャリブレーション画像に画像処理を施すことで、ピークを抽出する。

【0077】

手ぶれ検出部１７６はキャリブレーション画像の画素値に基づいて、手ぶれの有無を判定する（ステップＳ１０６）。例えば、手ぶれ検出部１７６は、画素値のピークの幅、大きさ、数等に基づいて、手ぶれの有無を判定することができる。

【0078】

手ぶれの特性として、画面全体がぶれることが挙げられる。そこで、手ぶれ検出部１７６は、各ピークに注目し、複数のピークの幅を比較する。手ぶれ検出部１７６は、キャリブレーション画像の右、中央、左において、同一フレーム内でピーク幅がほぼ同じであった場合に手ぶれ有りと検出する。図５の水平方向プロファイルＦ、Ｇでは、８つのピークの幅が一定範囲以内にある場合に、手ぶれ有りと検出する。ピークの幅の違いが大きく異なる場合、手ぶれ検出部１７６が手ぶれ無しと判定する。つまり、手ぶれ検出部１７６は、被写体が移動したと判定する。このように、手ぶれ検出部１７６は複数のピークの幅を比較することで、手ぶれの有無を判定する。換言すると、ほぼ同じ幅のピークが、画面の右、中央、左にある場合、手ぶれ検出部１７６は手ぶれ有りと判定する。なお、手ぶれ検出部１７６は、手ぶれの検出において、複数のピークの画素値の差を比較する必要はない。被写体によっては、複数のピークのレベルが一定でない場合もあり得るからである。

【0079】

さらに、手ぶれ検出部１７６は、パン・チルト動作の判定用の閾値を記憶していてもよい。例えば、ピークの幅が閾値以上に広くなる場合、手ぶれ検出部１７６は、赤外線カメラ１０のパン・チルト動作と判定する。ピーク幅が閾値よりも広い場合、手ぶれ検出部１７６は、手ぶれ無しと判定する。また、パン・チルト情報を制御装置１１が管理し、制御ＩＦ１２０を介して赤外線カメラ１０のパン・チルト動作を行っている場合には、パン・チルト情報に基づいて手ぶれか、パン・チルト動作かを判定してもよい。

【0080】

適切なピークが検出されない場合、手ぶれ検出部１７６が、手ぶれ無しと判定する（ステップＳ１０６のＮＯ）。手ぶれ無しと判定された場合（ステップＳ１０６のＮＯ）、画像処理部１７０は、処理をステップＳ１０９に進める。この場合、手ぶれデータ算出部１７７が手ぶれ量を０として算出してもよい。また、ステップＳ１０６によって手ぶれ無しと判定されたが、プロファイルにピークが存在する場合は、図示しないステップによって被写体が動いたと判定してもよい。被写体が動いたと判定された場合には、ステップＳ１０１に処理を戻してもよい。

【0081】

複数のピークが適切な幅を有する場合、手ぶれ検出部１７６が、手ぶれ有りと判定する（ステップＳ１０６のＹＥＳ）。つまり、手ぶれ検出部１７６が手ぶれを検出する。手ぶれデータ算出部１７７が手ぶれ量を算出する（ステップＳ１０７）。例えば、手ぶれデータ算出部１７７はピークの幅の画素数に応じて、手ぶれ量を算出する。手ぶれデータ算出部１７７は、複数のピークの幅の平均値を手ぶれ量として算出する。例えば、手ぶれデータ算出部１７７はキャリブレーション画像のピークの正負と、シャッタレス補正画像のエッジの方向とに基づいて手ぶれ方向を算出する。

【0082】

手ぶれデータ算出部１７７は、手ぶれ量を手ぶれ補正部１７９に送信する（ステップＳ１０８）。画像処理部１７０は、撮影が終了したか否かを判定する（ステップＳ１０９）。例えば、次のフレームの熱画像が取得されない場合、画像処理部１７０は、撮影が終了したと判定する（ステップＳ１０９のＹＥＳ）。次のフレームの熱画像が取得された場合、画像処理部１７０は、撮影が終了していないと判定する（ステップＳ１０９のＮＯ）。よって、画像処理部１７０は、ステップＳ１０３に戻り、処理を繰り返す。画像処理部１７０は、環境温度が大きく変化した場合や最後にステップＳ１０１を処理してから任意の時間が経過している場合には、第１較正データを再度算出した方が適切であるためステップＳ１０１に戻ってもよい。

【0083】

次に、手ぶれを補正した映像を出力する処理について、図９を用いて説明する。まず、画像データ取得部１６０が熱画像を取得する（ステップＳ２０１）。ここで取得される熱画像は、図８のステップＳ１０３で取得した手ぶれ検出用の熱画像と同じものである。

【0084】

ＮＵＣ部１７１が、第２較正データを用いて、シャッタレス補正を行う（ステップＳ２０２）。ＮＵＣ部１７１は画素値に第２較正データのオフセット値に基づいた補正をすることで、シャッタレス補正画像を生成する。画素値に第２較正データのオフセット値に基づいた補正をした値をシャッタレス補正値とする。

【0085】

フレームメモリ１７３がシャッタレス補正画像を記憶する（ステップＳ２０３）。ここでは、赤外線カメラ１０の全画素のシャッタレス補正値がフレームメモリ１７３に格納される。フレームメモリ１７３に格納されるシャッタレス補正画像は、画像データ出力部１９０から出力される出力熱画像データの有効画素数よりも多い画素数を有している。換言すると、シャッタレス補正画像では、手ぶれ補正のための周縁画素が補正エリアに設定されている。フレームメモリ１７３は撮像可能領域の周縁部分である補正エリアの画素のデータを含んでいる。

【0086】

手ぶれ補正部１７９がシャッタレス補正画像に対して手ぶれ補正を行う（ステップＳ２０４）。手ぶれ補正部１７９は、手ぶれデータに応じた読み出し位置で、フレームメモリ１７３からデータを読み出す。これにより、フレームメモリ１７３から手ぶれ補正された熱画像データが読み出される。そして、画像データ出力部１９０が、手ぶれ補正された熱画像データを図示しないメモリカードやディスプレイ１２などに出力する。

【0087】

画像処理部１７０は、図８及び図９の処理等を例えばフレーム毎に実行することができる。つまり、キャリブレーション部１７５は、フレーム毎のキャリブレーションを行う。キャリブレーション部１７５は、同じ第１較正データを用いて、キャリブレーションを実行する。手ぶれ検出部１７６は、フレーム毎に手ぶれを検出する。手ぶれデータ算出部１７７は、手ぶれデータをフレーム毎に算出する。手ぶれ補正部１７９は、フレーム毎に手ぶれ補正を行う。これにより、適切に手ぶれ補正が行われた動画像データが得られる。なお、画像処理部１７０は、図８及び図９の処理等をフレーム毎に実行しなくてもよく、例えば数フレーム毎に図８の処理を数フレーム毎に実行し、図９の処理をフレーム毎に実行してもよい。

【0088】

このように、本実施形態では、キャリブレーション部１７５が、キャリブレーション用の熱画像を均一化する第１較正データを用いてキャリブレーションを行っている。キャリブレーション部１７５が、第１較正データを用いて、手ぶれ検出用の熱画像のキャリブレーションしている。

【0089】

手ぶれ検出部１７６が、手ぶれ検出用の熱画像のキャリブレーション画像の画素値のピークを検出している。手ぶれ検出部１７６が、このピークに基づいて、手ぶれを検出している。これにより、簡便な処理で手ぶれを検出することができる。さらに、手ぶれ検出のための加速度センサ等を不要とすることができる。

【0090】

特に、シャッタレス補正機能を有する撮像システム１００では、シャッタレス補正と同様のアルゴリズムを利用することができる。よって、ＡＳＩＣやＣＰＵパワーを必要とせずに、手ぶれを検出することがきる。簡便な処理で手ぶれの検出、及び補正を行うことができる。例えば、撮像システム１００にＮＵＣ部１７１の回路やアルゴリズムが実装されている場合、フレームメモリ１７３のみを追加することで、手ぶれ検出及び手ぶれ補正を実現することができる。キャリブレーション部１７５は、ＮＵＣ部１７１の回路やアルゴリズムを利用することができる。キャリブレーション部１７５は、シャッタ開状態で得られた熱画像により、第１較正データを算出することができる。よって、簡便な処理で第１較正データを利用することができる。

【0091】

なお、上記の説明では、手ぶれデータ算出部１７７が、水平方向（左右方向）の手ぶれ量を検出していたが、垂直方向（上下方向）についても手ぶれ量を検出してもよい。図１０は上下方向における手ぶれ量を検出するためのパターンの一例を示す図である。図１０において、キャリブレーション用の熱画像の一例を示す図である。

【0092】

図１０には、熱画像ＳＴ１，キャリブレーション画像ＳＴ２、ＳＴ３が示されている。熱画像ＳＴ１は、キャリブレーション用の熱画像である。キャリブレーション画像ＳＴ２は、熱画像ＳＴ１をキャリブレーションしたキャリブレーション画像である。キャリブレーション画像ＳＴ３は、手ぶれが生じたキャリブレーション画像である。キャリブレーション画像ＳＴ３は、斜め方向に手ぶれした場合のキャリブレーション画像である。さらに、図１０には、熱画像ＳＴ１～ＳＴ３のそれぞれに対して、水平方向プロファイルと垂直方向プロファイルが示されている。水平方向プロファイルと垂直方向プロファイルは熱画像の中央部分のプロファイルとなっている。

【0093】

熱画像ＳＴ１の水平ラインＨ１１における水平方向プロファイルをＰＨ１１とし、垂直ラインＶ１１における垂直方向プロファイルをＰＶ１１とする。熱画像ＳＴ２の水平ラインＨ１２における水平方向プロファイルをＰＨ１２とし、垂直ラインＶ１２における垂直方向プロファイルをＰＶ１２とする。熱画像ＳＴ３の水平ラインＨ１３における水平方向プロファイルをＰＨ１３とし、垂直ラインＶ１３における垂直方向プロファイルをＰＶ１３とする。

【0094】

キャリブレーション前の熱画像ＳＴ１に示されるように、被写体には高温部分ＨＴと低温部分ＬＴがある。ここで、高温部分ＨＴが４つの長方形パターンとなっている。高温部分ＨＴと低温部分ＬＴの境界線が長方形となる。よって、熱画像ＳＴ１は、垂直方向プロファイルＰＶ１１においても、画素値が不均一になる。

【0095】

キャリブレーション部１７５は、熱画像ＳＴ１を均一化する第１較正データを生成する。よって、熱画像ＳＴ１を第１較正データで均一化することで、均一なキャリブレーション画像ＳＴ２が得られる。キャリブレーション画像ＳＴ２の水平方向プロファイルＰＨ１２と垂直方向プロファイルＰＶ１２はほぼ一定の値となる。

【0096】

手ぶれ補正が生じた熱画像のキャリブレーション画像ＳＴ３は不均一となる。斜め方向に手ぶれが生じているため、水平方向プロファイルＰＨ１３と垂直方向プロファイルＰＶ１３の両方にピークが生じる。手ぶれデータ算出部１７７は、水平方向プロファイルＰＨ１３に生じたピークの幅に応じて、水平方向の手ぶれ量を算出する。手ぶれデータ算出部１７７は、水平方向プロファイルＰＨ１３に生じたピークの正負と、シャッタレス補正画像の水平方向プロファイルに生じたエッジの方向とに基づいて水平方向の手ぶれ方向を算出する。手ぶれデータ算出部１７７は、垂直方向プロファイルに生じたピークの幅に応じて、垂直方向の手ぶれ量を算出する。手ぶれデータ算出部１７７は、垂直方向プロファイルＰＶ１３に生じたピークの正負と、シャッタレス補正画像の垂直方向プロファイルに生じたエッジの方向とに基づいて垂直方向の手ぶれ方向を算出する。

【0097】

このようにすることで、垂直方向においても手ぶれデータを検出することができる。手ぶれデータは水平成分と鉛直成分を有する２次元ベクトルで示される。手ぶれ量はピークの幅に対応する画素数で示される。そして、手ぶれ補正部１７９は、水平方向と鉛直位方向の手ぶれデータに基づいて、手ぶれ補正を行う。このようにすることで、画像処理部１７０は、より適切に手ぶれを検出して、補正することができる。

【0098】

また、手ぶれデータ算出部１７７は、それぞれ複数以上の水平方向プロファイルと垂直方向プロファイルとに基づいて手ぶれデータを算出してもよい。例えば手ぶれデータ算出部１７７は、それぞれ図示しない、画像上寄りの水平方向プロファイルと、画像上寄りの水平方向プロファイルと、画像右寄りの垂直方向プロファイルと、画像左寄りの垂直方向プロファイルと、計４本のプロファイルに基づいて手ぶれデータを算出する。

【0099】

この場合、例えば、画像上寄りの水平方向プロファイルと、画像上寄りの水平方向プロファイルとで、ピークの幅に違いがある場合、手ぶれデータ算出部１７７は、切り出し角度が０°でないと判定してもよい。つまり、手ぶれデータ算出部１７７は、複数の同方向のプロファイルにおけるピークの幅の差などから、手ぶれ角度を算出してもよい。ここで手ぶれデータには手ぶれ角度が含まれていてもよいものとする。

【0100】

ここまで、手ぶれ検出部１７６は、プロファイルを利用して手ぶれの有無を検出していたが、これに限らない。例えば手ぶれ検出部１７６は、公知の画像処理技術を用いてキャリブレーション画像を解析し、画面全体において同じ程度の幅の線が出現していることから手ぶれ有りと判定してもよい。また、同様に手ぶれデータ算出部１７７はプロファイルを利用して手ぶれデータを算出していたが、これに限らない。例えば手ぶれデータ算出部１７７は、公知の画像処理技術を用いてキャリブレーション画像を解析し、画面全体において出現している線の幅などから手ぶれデータを算出してもよい。

【0101】

上述した制御装置１１のプログラムは、コンピュータに読み込まれた場合に、実施の形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0102】

さらに、上述した様々な実施の形態において、撮像システム１００における処理の手順を説明したように、本開示は、撮像システム１００、検手ぶれ検出方法、及び手ぶれ補正方法としての形態も採り得る。また、上述のプログラムは、撮像システム１００にこのような手ぶれ検出方法を実行させるための制御プログラムであると言える。また，制御装置11の処理の少なくとも一部は、赤外線カメラ１０で実行されてもよい。

【0103】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0104】

１００ 撮像システム
１０ 赤外線カメラ
１１ 制御装置
１２ ディスプレイ
１０１ 筐体
１０２ 対物レンズ
１０３ メカニカルシャッタ
１０４ 赤外線センサ
１０５カメラ制御回路
１０６ 温度センサ
１１０ バス
１２０ 制御ＩＦ
１５０ システム制御部
１６０ 画像データ取得部
１７０ 画像処理部
１７１ ＮＵＣ部
１７３ フレームメモリ
１７５ キャリブレーション部
１７６ 手ぶれ検出部（ぶれ検出部）
１７７ 手ぶれデータ算出部（ぶれデータ算出部）
１７９ 手ぶれ補正部（ぶれ補正部）
１９０ 画像データ出力部
ＳＴ１ 熱画像
ＳＴ２ キャリブレーション画像
ＳＴ３ キャリブレーション画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】