特開 2022-113614 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022113614

(43)【公開日】2022-08-04

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220728BHJP

   H04N 5/225 20060101ALI20220728BHJP

   G03B 17/02 20210101ALI20220728BHJP

   G03B 15/00 20210101ALI20220728BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 030

H04N5/225 800

G03B17/02

G03B15/00 U

【審査請求】未請求

【請求項の数】8

【出願形態】書面

(21)【出願番号】P 2021044146

(22)【出願日】2021-01-25

(71)【出願人】

【識別番号】000142506

【氏名又は名称】株式会社駒村商会

(72)【発明者】

【氏名】駒村 利之

(72)【発明者】

【氏名】河野 景三

(72)【発明者】

【氏名】三井 辰郎

【テーマコード（参考）】

2H100

5C122

【Ｆターム（参考）】

2H100CC01

2H100CC02

5C122DA16

5C122EA12

5C122EA67

5C122FE05

5C122FH06

5C122FH18

5C122HB01

(57)【要約】

【課題】 赤外線カメラで取得した画像と可視光カメラで取得した画像とを精密に一致させて合成画像を取得する撮像装置および画像合成方法を提供する。
【解決手段】 本発明の撮像装置は、赤外光カメラが可視光カメラの近傍で、それぞれの光軸が被写体に対し並行に配置され、前記可視光カメラのフォーカス位置情報に基づいて前記赤外光カメラのフォーカス位置を合わせるフォーカス位置連動手段と、前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行う赤外光像視差歪補正手段と、前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行う画角補正手段とを含む画像合成手段を具備する。
【選択図】図２

【特許請求の範囲】

【請求項1】

可視光カメラと赤外光カメラとを具備する撮像装置において、
前記赤外光カメラは、前記可視光カメラの近傍で、それぞれの光軸が被写体に対し並行に配置され、
前記可視光カメラのフォーカス位置情報に基づいて前記赤外光カメラのフォーカス位置を合わせるフォーカス位置連動手段と、
前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行う赤外光像視差歪補正手段と、
前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行う画角補正手段と、
前記画角補正手段により補正された赤外光画像と可視光画像とを合成する画像合成手段とを具備することを特徴とする撮像装置。

【請求項2】

前記赤外光カメラは、熱画像を取得するサーモカメラであることを特徴とする請求項１記載の撮像装置。

【請求項3】

前記赤外光画像または前記可視光画像のレンズ歪を補正するレンズ歪補正手段を含むことを特徴とする請求項１記載の撮像装置。

【請求項4】

前記可視光カメラまたは赤外光カメラのレンズがズームレンズを備えている場合、前記画角補正手段は、フォーカス変動に伴うズーム位置調整手段を含むことを特徴とする請求項１記載の撮像装置。

【請求項5】

前記可視光カメラと赤外光カメラとの視差に応じて生じるゆがみ補正量データテーブルを含むことを特徴とする請求項１記載の撮像装置。

【請求項6】

前記可視光カメラまたは赤外光カメラのレンズ歪補正量データテーブルを含むことを特徴とする請求項３記載の撮像装置。

【請求項7】

前記ズーム位置調整手段はフォーカス位置の変動に伴うズーム位置調整データテーブルを含むことを特徴とする請求項４記載の撮像装置。

【請求項8】

可視光カメラ画像と赤外光カメラ画像との合成方法において、
前記可視光カメラのフォーカス位置情報に基づいて前記赤外光カメラのフォーカス位置を合わせるステップと、
前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行うステップと、
前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行うステップと、
前記画角補正手段により補正された赤外光画像と可視光画像とを合成するステップと、を含むことを特徴とする画像合成方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、サーマルカメラなどの赤外線カメラおよび可視光カメラを具備する撮像装置において、赤外線カメラで取得した画像と可視光カメラで取得した画像とを精密に一致させて合成画像を取得する撮像装置および画像合成方法に関する。

【背景技術】

【0002】

赤外線（または赤外光）カメラは、赤外線による反射光像または放射光像を取得し、撮像素子（センサー）により映像化する。赤外線は、その波長によりＮＩＲ（Ｎｅａｒ Ｉｎｆｒａｒｅｄ；近赤外線、０．７５～１．４μｍ）、ＳＷＩＲ（Ｓｈｏｒｔ－ｗａｖｅ ｌｅｎｇｔｈ Ｉｎｆｒａｒｅｄ；短波長赤外線、１．４～３μｍ）、ＭＷＩＲ（Ｍｉｄ－ｗａｖｅ ｌｅｎｇｔｈ Ｉｎｆｒａｒｅｄ；中波長赤外線、３．０～８μｍ）、ＬＷＩＲ（Ｌｏｎｇ－ｗａｖｅ ｌｅｎｇｔｈ Ｉｎｆｒａｒｅｄ；長波長赤外線または熱赤外線、８～１５μｍ）、ＦＩＲ（Ｆａｒ Ｉｎｆｒａｒｅｄ；遠赤外線１５～１，０００μｍ）に分類されており、それぞれの波長の特性を生かして種々の応用が提案されている。ＮＩＲやＳＷＩＲでは可視光ではないが反射特性を有し、比較的にコントラストの高い反射画像を取得することができる。また、それ以上の長い波長帯域であるＭＷＩＲ、ＬＷＩＲ、ＦＩＲでは放射特性を有し、コントラストの低い熱画像となる。

【0003】

反射画像を取得するＮＩＲカメラやＳＷＩＲカメラにおいては、可視光カメラで認識できない暗視カメラ、煙や霧の中を透過して撮像する監視カメラなどへ用いられる。このようなカメラでは、放射画像（熱画像）を取得するカメラに比べ高コントラストの可視光に近い画像が得られるが、画像はモノクロであり可視光像のようなカラー色彩を含んだものとはならない。

【0004】

また、放射画像を取得するＭＷＩＲカメラやＬＷＩＲカメラにおいては、画像のコントラストは低いが熱放射を検知するためサーモグラフィーや熱線を放射する人物、動物、飛行機、車、船舶を監視したり、人や動物などの移動体と他の静物とを区別して撮影したりするカメラなどとして利用されている。例えば、赤外線追尾カメラや線路内や鉄塔などへの侵入者や侵入動物など捉える赤外カメラなどが挙げられる。このような放射画像では、熱線放射を捉えているため画像としては可視光画像とは程遠いものとなり、熱線放射部分だけの画像認識は極めて困難なものとなる。

【0005】

赤外線カメラでの赤外光像がモノクロ映像や対象物を認識し難い画像であるため、別途取得した可視光（カラー）像と赤外光像とを画像合成し、赤外線カメラで取得した画像を可視光像と合成することで対象物や全体画像を認識する技術が種々開示されている。特許文献１においてはサーマルカメラにより取得した熱画像と可視光カメラにより取得した可視光像とをミキシングした画像を取り出し、モニター画像で目視確認行うことが提案されている。また、特許文献２では、赤外光像と可視光像とを取得し、人物などが可視光領域から非可視光内へ移動した場合でも赤外光像により検知した人物像を可視光像との合成画像により検知する発明が提案されている。また、特許文献３においては、赤外光像を白黒反転し、カラー像と合成し、晴天、雨天、昼夜問わず車両状況や道路状況を把握する技術が開示されている。

【0006】

赤外光カメラでは、赤外光線による反射画像や放射画像を取得し、悪天候状況、夜間、目視が困難な環境下でも対象物を撮像しうるものの、画像はモノクロであり、コントラストも明確でなく、対象物を明確に認識できない。このため、赤外光像と可視光（カラー）像とを合成することで対象物の形状、輪郭、色彩などを合成画像表示モニター上で視認することができる。しかし、上述したような従来の画像合成技術では赤外光カメラと可視光カメラとが近接して設置されるものの、赤外光と可視光との光軸は違っており、フォーカスが近づくほど取得される赤外光像と可視光像とは、ずれが生じる。このような赤外光と可視光との画像のずれは、赤外光像そのものがコントラストやフォーカスが甘いため、許容できる場合が多い。しかし、利用目的によっては赤外光像と可視光像とが一致させる必要がある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平１１－３５３４６９号公報

【特許文献2】特開２０１１－６６８０９号公報

【特許文献3】特開２００９－２３７９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

赤外光像と可視光像とをずれなく一致させて合成画像を作成する必要性は多くの状況において生じる。例えば、対象物上の温度分布を把握して、欠陥や異常箇所を検知する必要性がある場合、熱放射対象物をピンポイントで追尾する場合、熱放射対象物の形状、動き方向、色彩を視認する必要性がある場合、人物とその他の構造物とを区別し、判定する必要性がある場合などである。しかし、上述の従来技術では赤外光像と可視光（カラー）像との画像合成では、赤外光像を熱物体の検知や夜間の画像検知に使用し、画像のズレは厳密性を要しないか、または赤外光カメラと可視光カメラとが同一画像上での単純な画像合成を行っているだけである。

【0009】

この発明は、上述の状況に鑑みて提供されるものであって、以下のような撮像装置およびそのための画像合成方法の提供を目的とする。
（１）赤外光カメラにより取得した赤外光像と可視光カメラにより取得した可視光（カラー）像とをより精密に一致させた合成画像を出力する撮像装置。
（２）ズーム可視光カメラにより取得した可視光像と赤外光カメラにより取得した赤外光像とを一致させる画像合成方法。

【課題を解決するための手段】

【0010】

本発明による撮像装置は、可視光カメラと赤外光カメラとを具備する撮像装置において、前記赤外光カメラは、前記可視光カメラの近傍で、それぞれの光軸が被写体に対し並行に配置され、前記可視光カメラのフォーカス位置情報に基づいて前記赤外光カメラのフォーカス位置を合わせるフォーカス位置連動手段と、前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行う赤外光像視差歪補正手段と、前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行う画角補正手段と、前記画角補正手段により補正された赤外光画像と可視光画像とを合成する画像合成手段とを具備することを特徴とする。

【0011】

また、本発明による撮像装置は、前記赤外光カメラは、熱画像を取得するサーモカメラでも良い。

【0012】

また、本発明による撮像装置は、前記赤外光画像または前記可視光画像のレンズ歪を補正するレンズ歪補正手段を含んでいても良い。

【0013】

また、本発明による撮像装置は、前記可視光カメラまたは赤外光カメラのレンズがズームレンズを備えている場合、前記画角補正手段は、フォーカス変動に伴うズーム位置調整手段を含んでいても良い。

【0014】

また、本発明による撮像装置は、前記可視光カメラと赤外光カメラとの視差に応じて生じるゆがみ補正量データテーブルを含んでいても良い。

【0015】

また、本発明による撮像装置は、前記可視光カメラまたは赤外光カメラのレンズ歪補正量データテーブルを含んでいても良い。

【0016】

また、本発明による撮像装置は、前記ズーム位置調整手段はフォーカス位置の変動に伴うズーム位置調整データテーブルを含んでいても良い。

【0017】

また、本発明による可視光カメラ画像と赤外光カメラ画像との合成方法において、前記可視光カメラ（または赤外光カメラ）のフォーカス位置情報に基づいて前記赤外光カメラ（または可視光カメラ）のフォーカス位置を合わせるステップと、前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行うステップと、前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行うステップと、前記画角補正手段により補正された赤外光画像と可視光画像とを合成するステップと、を含むことを特徴とする。

【発明の効果】

【0018】

本発明によれば赤外光カメラと可視光カメラとを備えた撮像装置および画像合成方法において、それぞれのカメラから取得した赤外光画像と可視光画像とのパララックス歪およびレンズ歪とを補正し、それぞれの画角調整を行い画像合成を行うことで、より精密に一致した赤外光像と可視光像との画像合成を得ることができる。

【図面の簡単な説明】

【0019】

【図1】赤外光カメラと可視光カメラとの撮像態様を示す概略説明図である。

【図2】本発明の実施態様を示す概略ブロック説明図である。

【図3】本発明のレンズ系位置検出のブロック図である。

【図4】レンズ歪特性補正の説明図である。

【図5】本発明に適用しうるレンズ歪補正ブロック説明図である。

【図6】実施例のズーム、フォーカス変動による画角特性補正の説明図である。

【図7】本発明に適用しうるズーム、フォーカス変動調整ブロック説明図である。

【図8】本発明の画像合成方法を説明するフローチャートである。

【発明を実施するための形態】

【0020】

以下、本実施形態の撮像装置について、図面を参照して詳細に説明する。なお、以下の実施例に記載されているいずれの図面も本発明の説明用に概略的または模式図として描かれており、実際の寸法や形状は特に限定するものではない。また、構成要素のブロック回路構成、光学系構成、寸法、材質、形状、その相対配置および用途としては工業用、業務用カメラを想定しているが特に記載がない限り発明の技術的範囲をそれらのみに限定する趣旨のものではない。

【0021】

図１は、赤外光カメラと可視光カメラとの撮像態様を示す概略説明図である。可視光カメラ１は、可視光帯域にある可視光像を取得するカメラでカラーまたは白黒カメラである。以下、可視光カメラ１は、カラーカメラまたは主カメラとも称する。赤外光カメラ２は、赤外光帯域にある赤外光像を取得するカメラであり、用途に応じて近赤外（ＮＩＲ）、短波長赤外（ＳＷＩＲ）、中波長赤外（ＮＷＩＲ）、長波長赤外（ＬＷＩＲ）などの波長帯域の像を取得する。以下、赤外光カメラ２は、赤外光カメラまたは副カメラと称する。可視光カメラ１および赤外光カメラ２は、動画カメラであっても静止画カメラのいずれにも適用することができる。

【0022】

可視光カメラ１、赤外光カメラ２それぞれの出力画像またはそれらの合成画像は、ビューファインダー３において表示される。ここで、本発明による装置において、具体的には、熱画像を取得するサーマルカメラはコントラストが明確でなく可視光との合成画像の効果が期待されるため、赤外光カメラをサーマルカメラ、可視光カメラをカラーカメラとして想定しているが、これに限るものではない。赤外光（サーマル）カメラ２は、可視光（カラー）カメラ１の上側、下側、右側または左側のいずれかにそれぞれ近接して配置されている。また、撮像対象に向かってそれぞれの光軸は並行で距離ｄだけ離間し、撮影対象物（被写体）４の可視光光軸に対する赤外光光軸とはθの角度を有している。このようなサーマルカメラとカラーカメラの合成画像は、構造物の欠陥部分の検出、飛行機などの移動発熱物体の追跡などへの利用が行われるため、カラー画像上にずれなく温度分布を表示する必要がある。

【0023】

それぞれのカメラは、（１）両方が固定焦点レンズの場合、（２）主カメラ（カラー光側）がズームレンズであり、副カメラ（赤外光側）が固定焦点レンズの場合、（３）両方がズームレンズの場合が考えられる。いずれの場合も両方が同じ種類のズームレンズを備えている必要がある。同じ種類とは、両方がズームレンズの場合、広角ズーム（１６～４０ｍｍ）、標準ズーム（２４～２００ｍｍ）、望遠ズーム（５５～３００ｍｍ）のうち同じズーム範囲であり、主カメラがズームレンズで、副カメラ（赤外光側）が固定焦点レンズの場合、副カメラの固定焦点は主カメラ（カラー側）ズームの焦点距離内にあるものを使用する。

【0024】

図２は、本発明の実施態様の一例におけるブロック説明図であり、可視光カメラ（カラーカメラ）２１および赤外光カメラ（サーマルカメラ）２２で取得した可視光画像および赤外光画像を種々の補正を施して画像合成に至る構成を示している。可視光カメラ２１および赤外光カメラ２２のフォーカス連動手段２３、視差歪（パララックス）補正手段２４、レンズ歪補正手段２５、画角補正手段２６および画像合成手段２７は、共通バス（図示せず）を介してＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）２８により各種補正、調整を行うように制御される。各種制御に必要な補正データはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２９に格納されており、補正、調整条件に応じてＲＯＭ２９より引き出されＭＰＵまたはＣＰＵ２８により演算、制御され必要な補正、調整を行う。ＲＯＭ２９には、赤外光カメラ２２の可視光カメラ２１に対する光軸傾きθ補正データテーブル、レンズ歪補正データテーブル、ズームレンズの場合はズーム・フォーカス調整用データテーブルなどが格納されている。

【0025】

ここで、カラーカメラ２１およびサーマルカメラ２２の両方は、ズームレンズであっても固定焦点レンズで会っても良いが、説明上両方のカメラがズームレンズを使用しているものとして説明する。まず、カラーカメラ２１とサーマルカメラ２２それぞれのカメラから取得したカラー画像およびサーマル画像はフォーカス連動手段２３によりズーム・フォーカスフォーカスの連動を行う。手順としては、主カメラ（カラー側）２１のズームおよびフォーカス合わせを行い、フォーカス連動手段２３を介して副カメラ（赤外光側）２２のズーム・フォーカス合わせを行う方が望ましい。

【0026】

図３は、カラーカメラ２１およびサーマルカメラ２２のレンズ系の構成を示しており、フォーカス連動手段２３の構成を説明する。カラー光撮像側のレンズ系３１は、ズームレンズ３２、フォーカスレンズ３３、補正レンズ３４などから構成されており、それぞれのレンズは、レンズ系制御手段４０によりレンズドライバー（図示せず）により位置制御される。カラー側のレンズ系３１により集光されたカラー画像は絞り３５を経てカラー撮像素子３６において光電変換され電子信号として取り出される。一方、赤外光撮像側のレンズ系４１もカラー側と同様に、ズームレンズ４２、フォーカスレンズ４３、補正レンズ４４などから構成されており、それぞれのレンズは、レンズ系制御手段４０により制御されている。赤外光側のレンズ系４１により集光されたカラー画像は絞り４５を経て赤外光撮像素子４６において光電変換され電子信号として取り出される。

【0027】

それぞれのズームレンズ位置、フォーカスレンズ位置は、カラー側、赤外光（サーマル）側ともレンズ位置検出手段３０により取り出される。それぞれのレンズ位置検出出力信号は、レンズ系制御手段４０へフィードバックされ、それぞれのズーム、フォーカスを制御することができる。それぞれのレンズ系におけるズーム制御、フォーカス制御および絞り制御などは共通バス（図示せず）を介してＭＰＵまたはＣＰＵ４７により制御されている。ここでは、カラー側のズーム・フォーカスの位置検出出力信号により赤外光側のズーム・フォーカス位置を制御して、両方のズームおよびフォーカスを合わせるように構成する。

【0028】

この構成によりカラーカメラ２１のズームおよびフォーカス位置情報を検出し、サーマルカメラ２２のズームおよびフォーカスと連動し、一致させる。両方のカメラがズームレンズを使用している場合を説明したが、サーマルカメラまたは両方のカメラがズームレンズでない場合は、ズーム合わせは必要でなく、フォーカス合わせだけを行えば良い。

【0029】

フォーカス連動手段２３によりズーム・フォーカスが連動されたサーマルカメラ画像はパララックス補正手段２４へ提供され、パララックス補正を行う。サーマルカメラ２２はカラーカメラ２１に対して近接して配置されているものの、視差ｄだけずれて設置されている。そのため、上下、左右いずれの配置であっても対象物（被写体）４に対しθだけ傾いていることとなる。カラーカメラ画像を主画像として、サーモカメラ画像を主画像へ合わせる。画像の差としては、いわゆる傾き（あおり角）θの台形歪に相当する視差歪となる。この傾きは、フォーカスが無限大近くでは必要ないが、対象物が近接するにつれ大きく影響し画像がゆがんだものとなる。

【0030】

このような台形歪（視差歪）を補正するために台形歪補正手段を組み込んだチルトレンズをサーモカメラ側に使用したり、またはサーモカメラのアングルをカラーカメラの焦点に合致させ傾きθをなくしたりすることも考えられるが、台形歪補正用に傾きθに相当する補正データを予め求め、パララックス傾きθ補正データテーブルを図１のＲＯＭ２９に保持させ、ズーム・フォーカス手段２３より取得した焦点距離からパララックス補正をかける。この台形補正データの求め方は公知の方法（例えば、特開平９－２８１５９７など）が利用できる。サーモカメラ２２が可視光（カラー）カメラ２１に対し、上下、左右のどちら側に配置されるかにより、補正方向は異なるが、焦点距離に応じてＲＯＭ２９より傾きθに相当する補正データを求め視差補正をかけ可視光画像に合わせる。

【0031】

パララックス補正手段２４で視差歪補正されたサーマル出力画像およびカラー画像は、レンズ歪補正手段２５へ提供される。レンズ歪補正手段２５において、主としてレンズ湾曲歪といわれる樽型収差、糸巻型収差の補正を行う。レンズ補正は特に広角レンズの場合歪量が多くなるためそれぞれのレンズに広角レンズを使用する場合はレンズ歪補正を行うのが望ましい。しかし、サーマルカメラ・レンズと可視光カメラ・レンズとのレンズ歪量がほぼ同一の場合または歪量が小さい場合、レンズ歪は必ずしも補正しなくても良い。

【0032】

レンズ歪は、図４に示す通り、本来の画角５０に対し、糸巻型歪５１または樽型歪５２として現れる。その歪量（ゆがみの程度）は周辺（四隅）程大きく、中心部５３においてはゼロとなる。一般的に単レンズでは樽型歪か糸巻型歪のどちらかであるが、複数枚レンズではその両方が生じるケースがあり、レンズの特性により異なっている。そのためそれぞれのレンズ毎に歪量が計測データとして示されている。この歪量データを基にレンズ歪の補正を行う。このレンズ歪補正においては、サーマル画像および可視光画像のそれぞれにつきフォーカス合わせが行われ、中心部５３がそれぞれ一致しているものとする。レンズ歪補正手段２５の構成としては図５にそのブロック図の一例を示す。

【0033】

図５において、サーマルカメラ画像および可視光（カラー）画像の入力は、Ａ／Ｄ変換回路６１でデジタル信号に変換され、バッファーメモリー６２を経て、フレームメモリー６３へ書き込まれる。演算部６４においては、カウンター６５と共にアドレス信号を発生し画像データの書き込みおよび読み出しとを制御する。レンズ毎に対応するレンズ歪補正量は補正データとしてＲＯＭ６６（ＲＯＭ２９に相当）内にレンズ歪変位テーブルを格納している。演算部６４においては、格納されたレンズ歪補正データに基づき画面上の各アドレス位置の補完または間引き補正量を演算する。演算部６４で演算された補正量に応じてフレームメモリー６３に書き込まれた出力信号を読み出す。読み出された画像は本来の画角５０となるように出力処理手段６７により処理されて画像を出力する。

【0034】

ズームレンズを使用している場合、ズームレンズのフォーカス位置を変動させるとズーム位置が変動することは知られている所である。このことにより画角が変動してしまうためまずズーム位置の調整を行う必要がある。そのためレンズ歪補正手段２５の出力は、画角補正手段２６へ供給される。画角補正手段２６では、カラー画像および赤外光（サーマル）画像の画角を一致させるよう調整する。図６は、フォーカス位置を至近端から無限端まで移動させた場合のズーム位置の変化を示す図である。Ｌ１はズーム位置を最大望遠側（テレ側）でフォーカス位置を無限端側した状態からフォーカス位置を至近端に移動させた場合のズーム位置（画角）変動を示しており、Ｌ２はズーム位置を最大ワイド側でフォーカス位置を至近端から無限端側に移動させた場合のズーム位置（画角）変動を示している。ズームとフォーカス位置の関係は、種々のレンズ構成により正確に直線で示されるものではないが、略直線的に変動する様子を示している。このズーム・フォーカス変動補正データは、それぞれのズームレンズ構成に対応したものがズーム位置調整データテーブルとして用意されており、ズームレンズ特性として取得することができる。

【0035】

ズームレンズを有している場合のズーム・フォーカス変動に伴う画角（ズーム）補正を行うには、ズーム基準位置を定めズーム基準位置へ補正するように構成する。例えば、ラインＬ３上でフォーカスｃに対応するズーム位置Ｃを基準点として設定する。今フォーカス移動によりフォーカス位置がａの場合、ズーム位置はＡとなるため、ＲＯＭ２９に格納されたズーム・フォーカス補正変動データを参照してズーム位置を基準位置Ｃへ移動するようにワイド側へ調整する。また、フォーカス位置がｂの場合、ズーム位置はＢとなり、基準位置Ｃへ移動するようにテレ側へ補正をかける。ズーム基準位置ｃ－Ｃはズーム・フォーカスの中間位置部分に設定するのが望ましい。

【0036】

図７は、画角補正手段２６におけるズーム・フォーカス補正回路の一例を示すブロック図である。ズームレンズにより取得したズーム画像はズーム位置制御部７２へ入力される。演算部７３にはレンズ位置検出手段３０の出力となるズーム位置およびフォーカス位置信号が入力され、ズーム・フォーカス変動にともなうズーム（画角）のずれ量を演算する。演算にあたっては、予めズームレンズ構成に応じて定められているズーム・フォーカス補正データをＲＯＭ７４（ＲＯＭ２９に相当）より呼び出して決定する。演算部７３で決定された補正量をズーム倍率指示信号として供給し、ズーム位置（画角）を補正し、基準位置に調整する。

【0037】

可視光（カラー）カメラおよび赤外光（サーマル）カメラの両方が同じ種類のズームレンズを使用している場合、両方の画像は、基本的に画角補正手段２６のズーム・フォーカス位置制御機能によりズーム位置が基準位置にある画像に設定され同一の画角を有することとなるが、レンズ精度などの違いによりズレが生じる可能性がある場合は、可視光（カラー）カメラのズーム基準位置を参照して、赤外光（サーマル）カメラのズーム位置に合致させる。このような画角調整は、可視光カメラ２１および赤外光カメラ２２のフォーカス照合により可能であるが、より詳細に画角照合する場合は、可視光像と赤外光像との比較により輪郭（エッジ）差分が最小となることで調整することが出来る。また、その手法として赤外光像（サーマルカメラなどの場合はほぼモノクロ像）をモノクロ反転し、モノクロ反転像を取得し、輪郭（エッジ）強調し、可視光像との比較を行うことも考えられる。

【0038】

可視光（カラー）カメラ２１がズームレンズを使用し、赤外光（サーマル）カメラ２２が固定焦点レンズを使用している場合、ズームレンズによる可視光（カラー）画像は、上述の画角補正手段２６のズーム・フォーカス位置制御機能によりズーム位置が基準位置にある画像に設定され、一方、固定焦点レンズによる赤外光（サーマル）画像は、ズームレンズ位置が基準位置に補正された時点でのフォーカス信号情報を取得して、固定焦点レンズの電子ズームを制御する。この場合の固定焦点レンズの電子ズーム制御手段は、図７と同様のブロック回路図を使用することができる。

【0039】

赤外光（サーマル）側の固定焦点レンズの電子ズームによる倍率は、実質３～４倍まで変化することが可能であるが、拡大するほど画素数も低下し、画像も荒くなる。そのため固定焦点レンズ側の最大倍率の範囲内において可視光（カラー）側のズームレンズのズーム範囲を確定する必要がある。

【0040】

また、可視光（カラー）カメラと赤外光（サーマル）カメラの両方に固定焦点レンズを使用する場合、当然ズーム・フォーカス補正は必要でなく、可視光（カラー）カメラのフォーカス信号を基準として、赤外光（サーマル）カメラのフォーカス合わせを行うことで同一の画角を得ることができる。

【0041】

画角補正手段２６で画角補正された画像は、画像合成手段２７へ供給される。画像合成手段２７では、可視光（カラー）画像と赤外光（サーマル）画像とが合成されると共に、必要に応じてガンマ処理、マスク処理、フォーマット変換などの処理を行い、Ｄ／Ａ変換処理した画像出力を得る。画像出力は、可視光（カラー）画像と赤外光（サーマル）画像の合成画像であり、ビューファインダー３などのモニター表示装置へ送出され、表示される。出力画像は、赤外光（サーマル）画像、可視光（カラー）画像およびそれらの合成画像である。

【0042】

図２のような回路構成において、フォーカス連動手段２３、パララックス補正手段２４、レンズ補正手段２５，画角補正手段２６，画像合成手段２７、および図３のレンズ系を含むレンズ系制御手段４０などはそれぞれ共通バスを介してＭＰＵまたはＣＰＵ２８で制御され、演算などの処理を行っている。パララックス補正、レンズ歪補正、画角補正などは説明の都合上それぞれに回路構成を説明したが、いずれの回路構成においても共通化したり機能を流用したりすることができる。また、本発明において使用するパララックス補正データテーブル、レンズ歪補正データ、ズーム・フォーカス調整データなどの補正データはＲＯＭ２９にまとめて格納されているが、個別に設けても良い。

【0043】

次に、本発明による撮像装置の画像合成方法につき図８に示すフローチャートに基づき説明する。まず可視光カメラ２１のフォーカス位置を検出する（ステップ１０：以下Ｓ１０の様に記す）。検出された可視光カメラ２１フォーカス位置を赤外光カメラ２２のフォーカス位置を連動させて合致させる（Ｓ１１）。可視光カメラと赤外光カメラとのフォーカスが合致しているかどうか確認する（Ｓ１２）。フォーカスが合致していない場合、スタートに戻りフォーカス連動を繰り返す。フォーカスが連動している場合、合致したフォーカス位置をベースにしてあおり角の傾きθを算出する（Ｓ１３）。傾きθに応じて定められたあおり角補正データをＲＯＭ２９よりより取得する（Ｓ１４）。傾きθに応じた補正データにより赤外光側画像のパララックス補正を行う（Ｓ１５）。

【0044】

次に、パララックス補正を施した赤外光像および可視光像に対しレンズ歪が必要かどうかを判断する（Ｓ１６）。このレンズ歪補正の必要性の有無は、レンズ毎に定められたレンズ歪補正データをＲＯＭ２９から取り出し（Ｓ１７）判定される。レンズ歪補正が必要な場合、ＲＯＭ２９から取得したレンズ歪補正データを利用してレンズ歪を補正する（Ｓ１８）。レンズ歪補正が不要な場合、このレンズ歪補正ステップＳ１８はスキップしうる。

【0045】

次に、ズームレンズを使用している場合のズーム変動に伴う画角補正を行う。可視光カメラ２１および赤外光カメラ２２がズームレンズかどうかの判断を行う（Ｓ１９）。いずれかのカメラがズームレンズを使用している場合、そのズーム変動によるフォーカス位置を検出する（Ｓ２０）。フォーカス位置が検出されれば当該ズームレンズ毎に定められ、ＲＯＭ２９に格納されたズーム・フォーカス補正データテーブルから補正量に応じてズーム倍率・画角の調整を行う（Ｓ２２）。ズームレンズを使用していない画像に対してはこのようなズーム倍率・画角調整は行わず次のステップへ移行する。

【0046】

次に、可視光カメラ２１および赤外光カメラ２２のフォーカス画角調整の調整を行う（Ｓ２３）。このステップでは、可視光カメラ２１がズームレンズ使用の場合はフォーカス調整を行った後のフォーカス画像画角に対し、赤外光カメラのフォーカス画像画角照合および調整を行う（Ｓ２３）。赤外光カメラ２２が固定焦点カメラの場合は電子ズーム機能によりフォーカス画像画角調整を行う。

【0047】

以上のようなフォーカス連動、赤外光像のパララックス補正、レンズ歪補正、画角補正を行ったそれぞれの可視光像および赤外光像を使用して画像合成を行う（Ｓ２４）。画像合成ステップ（Ｓ２４）では、画像合成にともないガンマ補正、マスク処理、フォーマット変換など必要な処理を行い画像合成が完了する。

【0048】

実施例では赤外光カメラを放射光像（熱画像）を取得するサーマルカメラ、可視光カメラをカラーカメラと想定して説明したが、放射光像を取得する赤外光カメラやカラー像を取得する可視光カメラに限定されることなく、反射光像などの赤外光帯域のカメラおよび可視光帯域のカメラの組合せであれば、本発明の要旨の範囲内で同様に適用することが可能である。

【産業上の利用可能性】

【0049】

本発明により取得される赤外光画像と可視光画像との合成画像は、画角が一致しているため赤外光画像での熱分布などがカラー画像上に合成されて表示されることにより、取得した合成画像は、赤外光画像のモノクロ画像に対しカラー化され、コントラストも良好となり、より的確に対象物を捉えたり、追尾したりすることが可能となり、民生用撮像装置としてだけでなく広く業務用、医療用、工業分野などでの産業用利用可能性が広がる。

【符号の説明】

【0050】

１ 可視光カメラ
２ 赤外光カメラ
３ ビューファインダー
４ 被写体
２１ 可視光（カラー）カメラ
２２ 赤外光（サーマル）カメラ
２３ フォーカス連動手段
２４ パララックス補正手段
２５ レンズ歪補正手段
２６ 画角補正手段
２７ 画像合成手段
２８ ＣＰＵまたはＭＰＵ
２９ ＲＯＭ
３０ レンズ位置検出手段
４０ レンズ系制御手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】