特許 6192749 画像処理システム、画像処理装置、画像処理方法、検査システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6192749

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】画像処理システム、画像処理装置、画像処理方法、検査システムおよびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20170828BHJP

【ＦＩ】

   G06T1/00 315

【請求項の数】11

【全頁数】18

(21)【出願番号】特願2016-934(P2016-934)

(22)【出願日】2016年1月6日

(65)【公開番号】特開2017-123003(P2017-123003A)

(43)【公開日】2017年7月13日

【審査請求日】2017年5月16日

【早期審査対象出願】

(73)【特許権者】

【識別番号】501163738

【氏名又は名称】小畠 武志

(74)【代理人】

【識別番号】110000420

【氏名又は名称】特許業務法人エム・アイ・ピー

(72)【発明者】

【氏名】小畠 武志

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１０−２８１８１１（ＪＰ，Ａ）

【文献】 特開２００３−１７８３３４（ＪＰ，Ａ）

【文献】 特開平１１−３３７４９３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００５８２２２（ＵＳ，Ａ１）

【文献】 “技術”, [online]，２０１４年，[平成２９年６月８日検索], インターネット＜ＵＲＬ：http://www.medec.jp/technology/＞

【文献】 “解析診断プロセス”, [online]，２０１４年，[平成２９年６月８日検索], インターネット＜ＵＲＬ：http://www.medec.jp/process/＞

【文献】 “新着情報”, [online]，２０１４年，[平成２９年６月８日検索], インターネット＜ＵＲＬ：http://www.medec.jp/news/＞

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０１Ｊ ５／４８

(57)【特許請求の範囲】

【請求項1】

物体の赤外線画像を取得する撮像装置と、
前記撮像装置が取得した赤外線画像を高解像度の３次元画像を生成する情報処理装置と
を含む画像処理システムであって、
前記情報処理装置は、
前記赤外線画像を構成する画素を細分化して微小画素を生成し、前記撮像装置の収差による画素位置補正を行う画像細分化部と、
前記微小画素に対して温度補間を行う温度補間部と、
前記微小画素に対して補間により決定された温度を割り当てて高解像度画像を生成する温度割当て部と、
前記補間により生成された温度に高解像度画像のために用意した色をレンダリングする色レンダリング部と、
前記高解像度画像からノイズを除去するノイズ・フィルタ部と、
前記高解像度画像を記録するための高解像度画像記録部と
を含む画像処理システム。

【請求項2】

前記画像細分化部は、前記画素を、２以上の素数Ｐで分割する、請求項１に記載の画像処理システム。

【請求項3】

前記温度割当て部は、前記赤外線画像を構成する前記画素のうち隣接する画素の温度を前記素数Ｐにより分割し、前記微小画素に割り当てるべき温度を、隣接する画素の方向を考慮して決定する、請求項１または２に記載の画像処理システム。

【請求項4】

前記情報処理装置は、前記高解像度画像を、３次元メッシュとして生成する、請求項１〜３のいずれか１項に記載の画像処理システム。

【請求項5】

撮像装置が取得した赤外線画像を処理するための画像処理装置であって、
前記赤外線画像を構成する画素を細分化して微小画素を生成し、前記撮像装置の収差による画素位置補正を行う画像細分化部と、
前記微小画素に対して温度補間を行う温度補間部と、
前記微小画素に対して補間により決定された温度を割り当てて高解像度画像を生成する温度割当て部と、
前記補間により生成された温度に高解像度画像のために用意した色をレンダリングする色レンダリング部と、
前記高解像度画像からノイズを除去するノイズ・フィルタ部と、
前記高解像度画像を記録するための高解像度画像記録部と
を含む画像処理装置。

【請求項6】

前記画像細分化部は、前記画素を、２以上の素数Ｐで分割する、請求項５に記載の画像処理装置。

【請求項7】

前記温度割当て部は、前記赤外線画像を構成する前記画素のうち隣接する画素の温度を前記素数Ｐにより分割し、前記微小画素に割り当てるべき温度を、隣接する画素の方向を考慮して決定する、請求項６に記載の画像処理装置。

【請求項8】

前記画像処理装置は、前記高解像度画像を、３次元メッシュとして生成する、請求項５〜７のいずれか１項に記載の画像処理装置。

【請求項9】

撮像装置が取得した赤外線画像を処理するための画像処理方法であって、
前記赤外線画像を構成する低分解能の画素を細分化して微小画素を生成し、前記撮像装置の収差による画素位置補正を行うステップと、
前記微小画素に対して温度補間を行うステップと
前記微小画素に対して補間により決定された温度を割り当てて高解像度画像を生成するステップと、
前記補間により生成された温度に高解像度画像のために用意した色をレンダリングするステップと、
前記高解像度画像からノイズを除去するステップと、
前記高解像度画像を記録するステップと
を含む画像処理方法。

【請求項10】

物体を非破壊検査するための検査システムであって、
請求項５〜８のいずれか１項に記載の画像処理装置により生成された高解像度画像を読み取る画像読み取り部と、
読み込んだ前記高解像度画像から視点位置を変更可能な３次元メッシュ画像を生成する画像処理部と、
前記３次元メッシュ画像を使用して前記物体の表面温度分布を解析する表面温度分布解析部と、
前記表面温度分布の解析から前記物体の内部における欠陥を判断する物体内部構造判断部と
を含む検査システム。

【請求項11】

情報処理装置が、
赤外線画像を構成する低分解能の画素を細分化して微小画素を生成し、撮像装置の収差による画素位置補正を行うステップと、
前記微小画素に対して温度補間を行うステップと
前記微小画素に対して補間により決定された温度を割り当てて高解像度画像を生成するステップと、
前記補間により生成された温度に高解像度画像のために用意した色をレンダリングするステップと、
前記高解像度画像からノイズを除去するステップと、
前記高解像度画像を記録するステップと
を実行するための装置実行可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関し、より詳細には、画像を使用した測温技術の精度改善に関する。

【背景技術】

【0002】

熱２次元画像は、物体付近の大気温度に対して放射している熱量を、２次元座標位置の素子が記録することにより取得される画像である。この際の熱は、物体表面から放射しているため、物体の層内にある熱伝導抵抗の変化位置を反映する事象温度も含まれていると考えられる。従来の測温システムは、顕熱を重視しているケースが一般的である。ところで、対象物は、その測定側表面付近の大気温度と、裏面の大気温度に差があると対象物層の中で対流が発生する。

【0003】

放射温度は、物体が単なる面である限り厚さに依存することはない。しかし物体層内に熱伝導度の分布が生じていると、対象物表面の温度は、熱伝導度の分布に応じて異なるものと考えられる。このため、従来赤外線を使用する放射温度測定は、２次元的な温度情報を得ることを主眼点としてきたが、物体表面の温度は、物体内部の構造を反映した情報を与えるものと考えられる。

【0004】

赤外線測定による熱２次元画像は、赤外線測定装置に組込まれている赤外線センサを使用して取得される。その平面的および温度分解能は、赤外線センサの素子配列に依存して決定され、精密な温度分布を、赤外線測定装置を使用して取得するには限界があった。

【0005】

また、対象物の内部の潜在事象が何であるかを、適切に赤外線を使用して測定した熱二次元画像の解像度をそのまま使用して調べようとすると、測定対象物から赤外線測定装置のレンズが離れるに従い、赤外線センサが記録するべき面積が広ってゆく。このことは、測定距離に応じて熱２次元画像の画素がカバーする面積も広がることを意味し、結局、物体表面の温度分布の分解能は、距離に応じて低下する。

【0006】

対処手段として望遠レンズを使用する選択肢もあるが、レンズには個体毎に収差と呼ばれる歪みが生じており、望遠レンズを使用して取得された熱２次元画像は、その素子に対応する対象物表面の座標を修正する必要もある。さらに赤外線熱２次元画像は、測定対象物と、赤外線測定装置の間に存在する外部熱雑音(熱ノイズ)を含んでいる。赤外線雑音は、肉眼で知る事が不可能であることから対象物の温度分布を調査する上で大きな障壁となっている。

【0007】

これまで固体撮像デバイスを備えるカメラ装置の高解像度化は検討されており、例えば、特開２００１−０８３９１４号公報（特許文献１）には、光学的な手法による画像ずらしにより感度を犠牲にすることなく高解像度化、コスト低減及び小型化ができるミラーによる高解像度化固体撮像デバイスカメラ装置が記載されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００１−０８３９１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、従来の熱２次元画像の問題点に鑑みてなされたものであり、赤外線センサが取得した情報を効果的に解析し、高精度に熱の２次元分布を取得し、さらに当該熱の２次元分布を３次元化することを可能とする、画像処理システム、画像処理装置、画像処理方法、検査システムおよびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

測定した熱２次元画像をコンピュータに読込んだ時点で、赤外線雑音の抽出と消去を実行し、熱２次元画像の全素子を対象に画素数を増やした後、増えた分の素子に滑らかに変化する温度値を付与し、レンズ収差を修正して熱２次元画像の座標を正しい位置に整える。さらに対象物の表面を細分化した画素に温度値をレンダリングすることにより、対象物の温度分布を３次元的に表示する。

【発明の効果】

【0011】

本発明によれば、
本発明は、従来の熱２次元画像の問題点に鑑みてなされたものであり、赤外線センサが取得した情報を効果的に解析し、高精度に熱の２次元分布を取得し、さらに当該熱の２次元分布を３次元化することを可能とする、画像処理システム、画像処理装置、画像処理方法、検査システムおよびプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態の画像処理システム１００の実施形態を示す図。

【図2】本実施形態の撮像装置１０２のハードウェア・ブロック２００を示す図。

【図3】本実施形態の情報処理装置１０４のハードウェア・ブロック３００を示す図。

【図4】本実施形態の情報処理装置１０４の機能ブロック４００を示す図。

【図5】本実施形態の画像処理のフローチャートを示す図。

【図6】本実施形態において取得される元画像のデータ構造６００を、俯瞰的に見て示した図。

【図7】本実施形態の高解像度化処理の概念図。

【図8】温度補間処理の実施形態の概念図。

【図9】本実施形態により生成された拡張行列９００の実施形態を示す図。

【図10】比較例１０００として従来の６４０×４８０画素で撮影した構造物１００１の可視画像（ａ）および赤外線画像（ｂ）を示す図。

【図11】図１０に示した構造物１００１を、本実施形態の画像処理を適用し、説明の便宜上、画像を微小画素および温度を使用したワイヤフレームとして表現し、回転させて示した図。

【図12】内燃機関の赤外線画像１２００を示す図。

【図13】本実施形態の画像処理方法のフローチャート。

【図14】本実施形態の画像処理方法を使用する、検査システム１４００の実施形態を示す図。

【図15】本実施形態の検査システム１４００が使用する情報処理装置１４０５の機能プロックを示す図。

【図16】本実施形態の検査システムが実行する検査方法のフローチャート。

【発明を実施するための形態】

【0013】

以下、本発明を、実施形態を以て説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態の画像処理システム１００の実施形態を示す。図１に示した画像処理システム１００は、構造物１０１の赤外線画像を専ら取得し、構造物１０１の表面温度を取得し、構造物１０１の表面温度の分布から、構造物１０１内の損傷状態、劣化状態などを判定することを可能としている。

【0014】

画像処理システム１００は、撮像装置１０２と、撮像装置１０２が取得した画像情報を処理するための情報処理装置１０４とを含んでいる。本実施形態の画像処理は、情報処理装置１０４が実行する。また、情報処理装置１０４は、構造物１０１の内部構造を検査する処理も実行することができる。この実施形態の場合には、情報処理装置１０４は、データベース１０５に格納された構造物の構造、材料物性、熱伝導性、構造物の履歴、気温情報などの情報を読み込んで、構造物１０１の表面温度の分布から構造物１０１の内部損傷などの計算を実行する。

【0015】

なお、画像処理を専ら実行する情報処理装置１０４は、構造物１０１を非破壊検査するための情報処理装置（図示せず）と別に用意することができる。この実施形態の場合、図１に示した情報処理装置１０４は、構造物検査のために別に用意された情報処理装置に対し、構造物検査のために画像処理後の画像情報を渡す。構造物検査のための情報処理装置は、情報処理装置１０４が処理した後の画像情報を読み込んで解析することができれば、いかなる構成のものでも使用することができる。

【0016】

図２は、本実施形態の撮像装置１０２のハードウェア・ブロック２００を示す。撮像装置１０２は、いわゆる赤外線カメラとして実装することができる。撮像装置１０２は、撮像素子２０１と、ＡＤコンバータ２０２と、記憶装置２０３とを含んで構成することができる。撮像素子２０１は、赤外線に感度を有する、光伝導型、光起電力型、焦電素子型、熱電対型、ボロメータ型などを使用することができ、金属酸化物、金属合金、化合物半導体、シリコン半導体などを素子素材として使用するものを使用することができる。

【0017】

撮像素子２０１は、画素サイズが、種々選択できるが、例えば、３２０×２４０ドット、６４０×４８０ドットなどのものを使用することができる。撮像素子２０１のドット数は、多ければ多いほうが高解像度を期待できるものの、素材の性質およびリソグラフィー技術による制限により、現状では、６４０×４８０ドットのものが市販されている実質的に最高のドット数ということができる。

【0018】

撮像素子２０１は、赤外線を感知して画素ごとに電圧出力を生成し、電圧出力を、ＡＤコンバータ２０２に送付する。ＡＤコンバータ２０２は、撮像素子２０１からの電圧出力を受領し、デジタル転換を行う。ＡＤコンバータ２０２は、要求される精度の温度分解能を提供するためには、少なくとも１６ビット以上の分解能が必要であり、好ましくは少なくとも２４ビット以上または少なくとも３２ビット以上のダイナミックレンジを有している。

【0019】

ＡＤコンバータ２０２が生成したデジタル出力は、画素ドットに対応するマトリックスとして記憶装置２０３に格納される。記憶装置２０３は、必要に応じて画像情報を持続的に保持できる、不揮発性ＲＡＭ、ＥＥＰＲＯＭ（登録商標）、ＥＰＲＯＭ(登録商標）などとして実装することができる。他の実施形態では、後述するＣＰＵ２０４により出力電圧が温度に換算された温度情報として変換された後、記憶素子に画素−温度マトリックスとして格納される。本実施形態では、記憶装置２０３に記憶される情報は、出力電圧−画素情報とすることもできるし、温度−画素情報とすることもできる。なお説明の便宜上、本実施形態においては、ＡＤコンバータ２０２の出力は、ＣＰＵ２０４により温度情報に変換された後、温度−画素情報として記憶装置２０３に格納されるものとして説明する。

【0020】

さらに撮像装置１０２は、ＣＰＵ２０４と、表示デバイス２０５と、Ｉ／Ｏデバイス２０６とを含んでいる。ＣＰＵ２０４は、撮像装置１０２の全体の動作を制御し、画像情報の格納を可能としている。また、ＣＰＵ２０４は、撮像素子２０１の電圧出力を温度換算する処理を実行することができる。この際、ＣＰＵ２０４は、ＲＯＭ２０７から例えばルックアップテーブルまたは数式などを読み込んで、出力電圧−温度変換を実行し、温度−画素情報を生成して、記憶装置２０３に記憶させる。

【0021】

表示デバイス２０５は、撮像素子２０１の出力を画像として表示させるものであり、例えば液晶表示装置、いわゆるＬＤＣを使用して構成することができる。表示デバイス２０５は、また、温度変換された後の温度分布を、温度に対応した色を付して表示することにより、温度分布を表示することができる。

【0022】

Ｉ／Ｏデバイス２０６は、撮像装置１０２が取得した各種データを例えば、プリンタ、ＵＳＢメモリ、ハードディスク装置などの外付け記憶装置に出力することを可能とする。さらに撮像装置１０２は、ＲＯＭ２０７を含んでいる。ＲＯＭ２０７は、ＣＰＵ２０４の動作に必要なＢＩＯＳ、プログラム、データなどを格納しており、ＣＰＵ２０４が本実施形態に従い、画像情報を生成することを可能としている。図２に示した各ハードウェア機能部は、バス２０８により相互接続されていて、画像情報の取得から画像情報の出力までを行う。

【0023】

図３は、本実施形態の情報処理装置１０４のハードウェア・ブロック３００を示す。本実施形態の情報処理装置１０４は、パーソナル・コンピュータ、ワークステーション、またはサーバとして実装することができる。情報処理装置１０４が専ら画像処理を担当し、構造物１０１の検査を別体となった情報処理装置で行う場合も、両情報処理装置の構成は、実質的に同様なので、情報処理装置１０４のハードウェア構成について詳細に説明する。

【0024】

情報処理装置１０４は、ＣＰＵ３０１と、ＲＡＭ３０２と、ＲＯＭ３０３とを含んでいる。ＣＰＵ３０１は、例えば、ＰＥＮＴＩＵＭ（登録商標）、ＣＯＲＥ２ＤＵＯ(登録商標）、ＣＯＲＥ２ＱＵＡＤ（登録商標）、ＣＯＲＥｉ（登録商標）シリーズ、ＸＥＯＮ（登録商標）、例えばＣＥＭＰＲＯＭ（登録商標）、ＡＴＨＲＯＮ（登録商標）といった互換プロセッサ、ＰＯＷＥＲＰＣ（登録商標）といったプロセッサとすることができ、シングルコアでもマルチコアでも構わない。

【0025】

ＣＰＵ３０１は、いわゆるＬ１〜Ｌｎキャッシュとして参照されるキャッシュ３１３を備えており、その処理効率が改善されている。ＲＡＭ３０２は、ＣＰＵ３０１が処理を実行するための実行領域を提供し、ＣＰＵ３０１の各種処理を可能とする。ＲＯＭ３０３は、ＣＰＵ３０１の動作を可能とするためのＢＩＯＳなどを格納する。

【0026】

さらに、情報処理装置１０４は、ディスプレイ装置３０４と、通信装置３０５とを含んでいる。ディスプレイ装置３０４は、ＶＧＡ、ＨＤＭＩ(登録商標）、ＤＶＩといったインタフェースを介してＣＰＵ３０１の処理結果を表示する。ディスプレイ装置３０４は、特に限定するものではないが、液晶ディスプレイとすることができる。通信装置３０５は、ネットワーク・インタフェース・カードを含んで実装され、ＬＡＮ、インターネットなどへの接続を可能としている。

【0027】

ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ディスプレイ装置３０４、通信装置３０５は、それぞれシステムバス３１１を介して相互接続されていている。さらに情報処理装置１０４は、ＰＣＩ、ＰＣＩＥｘｐｒｅｓｓといった適切なバスブリッジ３０６を介してＩ／Ｏバス３１２に接続されている。Ｉ／Ｏバスには、ＡＴＡ、ＳＴＡＴＡといった適切なバスを介して記憶装置３０７およびＤＶＤドライブ３０８が接続されている。記憶装置３０７およびＤＶＤドライブ３０８は、オペレーティング・システム、プログラム、データの読み込みを可能とするとともに、大容量情報を読み書きできるようにされている。

【0028】

さらにＩ／Ｏバス３１２には、マウス、キーボード、ディスプレイ装置といった入出力装置３０９および各種ＵＳＢデバイス３１０が接続されていて、情報処理装置１０４の動作を改善している。

【0029】

図４は、本実施形態の情報処理装置１０４の機能ブロック４００を示す。図４に示す機能ブロック４００は、ＣＰＵ３０１がプログラムを読み込んで実行することにより情報処理装置１０４を、各機能ブロック４００として機能させている。情報処理装置１０４は、その機能ブロックとして、画像読取り部４０１と、元画像記録部４０５とを含む。画像読取り部４０１は、撮像装置１０２が取得した画像情報を適切なインタフェースを介して読み込み以後の処理を可能とする。画像読取り部４０１が取得した画像情報は、元画像記録部４０５により、例えばＲＡＭ３０２、または記憶装置３０７に格納され、以後の処理に使用される。

【0030】

以下、本実施形態の情報処理装置１０４の機能ブロックを構成する意義を説明する。上述したように、本実施形態の撮像装置１０２は、画像情報を、６４０×４８０ドットで出力するものとする。撮像装置１０２は、構造物１０１の間近で撮影したとしても、その解像度は、高々６４０×４８０ドットである。また高温物体の場合や、高層建築物の場合には、被写体から遠くに離れて撮影することが必要となる。そうすると、写り込む被写体の面積が増加するので、撮像装置１０２が取得する１画素あたりがカバーする被写体面積が増加する。

【0031】

このことは、撮像装置１０２が取得する画像情報は、高々６４０×４８０ドットでしかなく、１画素が担当する被写体面積が相当広くなるということを意味する。一方で、ＡＤコンバータ２０２の出力、またはＣＰＵ２０４が出力する温度情報は、ＡＤコンバータ２０２のダイナミックレンジに対応し、２４ビットの場合で、約８桁、３２ビットの場合で１０桁の出力が可能である。このため、数百度以下の温度測定の場合、小数点以下５桁〜７ケタの情報を１画素あたり出力することができる。

【0032】

このため、元画像の１画素を細分し、元画像の隣接する画素との間の温度勾配を考慮して細分化した画素に温度情報を割り当てることにより、温度情報を有効に利用して高解像度化を行うことができるものと考えられる。

【0033】

本実施形態では、１画素あたりの有する温度情報を、１画素を細分化し、当該細分化した画素（以下、本開示においては、微小画素として参照する。）に、隣接する画素との間の温度勾配を考慮して温度値を割り当てることで、高分解能の温度分布を生成するものである。

【0034】

以下、図４に従い、本実施形態を詳細に説明する。画像読取り部４０１が取得した元画像は、画素分割部４０２、温度補間部４０３および色レンダリング部４０４に入力される。画素分割部４０２は、本実施形態に従い、元画像の画素を分割して微小画素を生成し、微小画素を元画像の画像領域にマッピングする。本実施形態で用語「マッピングする」とは、元画像の画素に対応した微小画素で画像領域を埋め尽くし、（ｘ、ｙ、ｚ）の座標を割り当てる処理を言う。なお、ｘ、ｙは、画像領域の平面座標であり、ｚは、保管された温度値である。

【0035】

なお、画素分割部４０２は、撮像装置１０２のレンズ系の収差情報を使用して、収差を補正したｘ、ｙ座標を生成することで、被写体の正確な位置座標を生成する。なお、収差補正方法としては、糸巻き型歪み、タル型歪み、像面湾曲、非点収差、球面収差、コマ収差、縦収差、横収差の各補正を適用することができる。

【0036】

温度補間部４０３は、元画像の画素を取り囲む隣接画素の温度を滑らかに接続するように、微小画素に対して温度計算し、微小画素に対してｚの値を生成する処理を実行する。また、色レンダリング部４０４は、計算された温度に割り当てられた色パレットを参照して、当該微小画素に対して色情報を割り当てる処理を実行する。

【0037】

温度割当て部４０６は、温度補間部４０３が生成した温度値を、該当する（ｘ、ｙ）座標を有する微小画素に割り当て、（ｘ、ｙ、ｚ）座標を生成する処理を実行する。さらに情報処理装置１０４は、ノイズ・フィルタ部４０８と、高解像度画像記録部４０９とを含んでいる。ノイズ・フィルタ部４０８は、画像が含む例えば熱雑音といったノイズを、例えば、移動平均フィルタ、メディアン・フィルタ、ガウシアンフィルタ、ソーベル・フィルタ、マスキングなどの方法を使用して除去し、画像の鮮明度を向上させる。

【0038】

高解像度画像記録部４０９は、色レンダリング部４０４の出力ｃを、ノイズ・フィルタ部後の微小画素値に結合し、（ｘ、ｙ、ｚ、ｃ）の例示的構成として例えば記憶装置３０７、ＵＳＢメモリなどに格納し、以後の処理において利用することを可能とする。

【0039】

また、アプリケーション実行部４１０は、高解像度画像記録部４０９が格納した高解像度画像をインタフェース部４０７からのユーザ指令により読み込んで、例えば構造物１０１の検査の処理を実行する。なお、他の実施形態では、アプリケーション実行部４１０を他の情報処理装置として別の構成とすることができる。インタフェース部４０７は、ユーザからの指令を受領して、本実施形態の画像処理を実行させる。この他、アプリケーション実行部４１０による構造物検査の処理を開始させることができる。さらにインタフェース部４０７は、ユーザからの各種の指令、設定に応じて、本実施形態の画像処理を制御することを可能とさせている。

【0040】

図５は、本実施形態の画像処理のフローチャートを示す。処理は、ステップＳ５００から開始し、ステップＳ５０１で元画像を読み出す。元画像の解像度は、６４０×４８０ドットである。ステップＳ５０２で高解像度化処理を実行する。ステップＳ５０３では、隣接画素間の温度差を考慮し、微小画素に対して温度補間を行う。なお、高解像度化処理および温度補間についてはより詳細に後述する。

【0041】

ステップＳ５０４では、ノイズ除去処理を行う。ノイズとして除去される情報は、熱雑音であり、例えば風により生じた色情報のノイズを、移動平均フィルタやメディアン・フィルタなどを使用して除去する。ステップＳ５０５では、収差補正処理をｘ、ｙ座標に対して適用し、レンズ系を通して発生した被写体のゆがみを補正し、高解像度画像情報（ｘ、ｙ、ｚ）を生成し処理を終了する。なお、例示的実施形態では、ステップＳ５０５の収差補正ステップの前後においてカラーパレットを参照した色情報の割り当てを行うこともできる。

【0042】

図６は、本実施形態において取得される元画像のデータ構造６００を、俯瞰的に見て示した図である。元画像のデータ構造６００は、６４０×４８０ドットとして生成される。元画像を構成する画素６０２には、出力電圧または出力電圧から換算された温度値６０３が小数点以下５〜７ケタで出力されている。

【0043】

一方、元画像の画素６０２は、撮像装置１０２の倍率、被写体からの距離に応じて、被写体の異なる面積の情報をいわゆる積分した値として温度値６０３を生成する。しかしながら、画素６０２が有する温度情報は、小数点以下遥かに高精度の情報を含んでいる。このため、本実施形態では、画素６０２を細分割して微小画素を生成し、隣接する画素間の温度に矛盾を生じないようにして、微小画素に温度を補間して割り当てることで、光学系を通過して積分された画素６０２の温度情報を生成する。以下、図７〜図９を使用して本実施形態の高解像度化処理および温度補間処理を説明する。

【0044】

図７は、本実施形態の高解像度化処理の概念図を示す。本実施形態では、画像情報を、行列として捉え、行列の（ｘ、ｙ）要素を拡張することにより、高解像度化を行う。その際、画像情報の中心画素、説明する実施形態では、元画像７０１の（３２０、２４０）の位置を中心として、要素数がＰ^２の行列を高解像度画像のために用意する。ここで、Ｐは、２以上の素数（primary number）である。２以上の素数とすることで、中心画素に対して、（Ｐ−１）／２倍の要素として安定して対称な拡張行列７０２を定義することができる。

【0045】

本実施形態では、上述した処理により生成した拡張行列に対して温度を補間する。図８は、温度補間処理の実施形態の概念図である。元画像の画素８０１に対して処理を適用するものとして説明する。画素８０１には、その周囲に隣接する画素８０２が存在する。図８で説明する実施形態では、Ｐ＝５、すなわち、２５倍高解像度化する実施形態である。

【0046】

温度補間における要請は、（１）隣接する画素の隣接領域で温度に矛盾を生じないこと、および（２）分割数に対応した補間であること、である。ここで、図８に示すように、中心画素の温度値をＴ、隣接画素の温度を時計回りに、Ｔ１〜Ｔ４とする。隣接画素の中心まで、本実施形態に従い、５微細画素が割り当てられる。温度補間は、説明する例示的な実施形態では、例えば、中心画素の縦方向では、Ｔ＋（Ｔ１−Ｔ）／５×ｎとした線形補間を、補間方向を識別して行う（ｎは、中心画素からみた微小画素の数であり、中心画素の中心の微小画素では、ｎ＝０であり５以下の数である。より一般には、０≦ｎ≦Ｐである。）。

【0047】

その他、Ｔ１、Ｔ、Ｔ３の間で多項式補間を行うこともできる。また、図８に示した実施形態の横方向についても同様にして温度補間を行うことができる。また、図８の中心画素の十字から外れた微小画素に関しては、縦方向からの補間の他、横方からの補間の両方想定できる。この場合、縦方向からの補間値と横方向からの補間値の平均を計算し、該当する微小画素の温度値として決定することができる。

【0048】

温度補間は、好ましい実施形態では、画像中心の画素から画像周辺に向かって行うことができる。画像の端縁においては補間するべき画像が存在しないがこの場合、最縁部の画素については、補間を行わず当該画像の温度値を、微小画素に割り当てる処理を行うこともできる。また、同様の処理は、画像の最縁部から処理を行う場合にも適用することができる。

【0049】

以上、本実施形態によれば、元画像の温度情報をその分布を変えることなくより詳細にマップすることが可能となる。例えば、温度変化が図８の対角線方向に向かって連続しているような場合、微小画素の温度値は、温度変化の連続している方向にライン状に延びることになり、より微細な温度変化を視覚的に認識させることが可能となる。

【0050】

図９は、本実施形態により生成された拡張行列９００の実施形態を示す。画素の拡張は、説明の便宜上、縦横方向に示し、対角線要素９０１は省略して示す。図９に示すように、中心画素８０１を中心として、画素が微小画素８０３に分割されており、中心画像８０１に温度変化のライン９０２が示されている。この変化が拡張行列９００の所定の領域に発生することで、構造物１０１の表面における系統的な温度変化を明確にトレースすることが可能となる。

【0051】

図１０〜図１２は、本実施形態により高精細化の実施例および比較例を示す。図１０は、比較例１０００として従来の６４０×４８０画素で撮影した構造物１００１の可視画像（ａ）および赤外線画像（ｂ）を示す。図１０（ａ）で示すように、構造物１００１は窓１００２を備えており、窓の内側の室内には、白色のカーテン１００３がかけられているのが示されている。

【0052】

図１０（ｂ）は、同一の構造物１００１の赤外線画像であり、可視画像の情報が、構造物１００１の温度情報に置換されて示されている。構造物１００１には、窓１００２があることが示されているが、白のカーテン１００３は、日光を反射して周囲より温度が低いため見失われているのが示されている。

【0053】

図１１は、図１０に示した構造物１００１を、本実施形態の画像処理を適用し、説明の便宜上、画像を微小画素および温度を使用したワイヤフレームとして表現し、回転させて示した実施例である。構造物１００１の表面は、タイルおよびタイル目地に対応する温度変化が明確に示されている。また構造物１００１の窓１００２は、周囲よりも低温であることが示されている。さらに図１１に示す実施例では、窓枠に接して高温となったものと推定されるカーテンの縁部が明確に識別されている。

【0054】

当該カーテン１００３は、一点だけではなく温度変化の等高線として、窓１００２から明確に異なるものとして識別することができているのが示される。以上の通り、本実施形態の画像処理によれば、撮像装置１０２が取得した元画像の有する温度情報をより高精細かつ矛盾なく使用して高解像度化が可能であることが示された。

【0055】

図１２は、内燃機関の赤外線画像１２００を示す。画像１２０１は、可視光画像であり、画像１２０２は、従来方により取得した赤外線画像であり、画像１２０３が本実施形態により取得した赤外線画像である。画像１２０２と、画像１２０３とを比較すると、本実施形態により生成した赤外線画像は、内燃機関の温度分布をより高い分解能で、かつ高精細に示すことができることがわかる。

【0056】

図１３は、本実施形態の画像処理方法のフローチャートである。図１３の処理は、ステップＳ１３００から開始し、ステップＳ１３０１で高解像度画像を読み込む。ステップＳ１３０２で高解像度画像の（ｘ、ｙ、ｚ）情報から３次元メッシュ化を実行する、ステップＳ１３０３でバックグラウンドとするべき温度を設定し、ステップＳ１３０４で温度に色パレットを参照して色をレンダリングする。本実施形態におけるレンダリングは、高精細画像を３次元メッシュで表示するため、（ｘ、ｙ、ｚ）の位置座標間を連結するラインに該当する色を割り当てる処理を実行する。

【0057】

ステップＳ１３０５では、ディスプレイ装置に表示させる際の視点位置座標を決定し、ステップＳ１３０６では、視点位置座標から見たときの位置座標に画像メッシュを回転変換する。その後、ステップＳ１３０７では、視点位置から見た３次元メッシュ画像をディスプレイ画面に表示させる。なお、視点位置は、ユーザによるマウス、ジョイスティック、コントローラからの入力により、変更することができる。本実施形態では、ユーザによる視点位置の変更指令に応答して、３次元メッシュを回転させることができるので、より詳細に温度分布を判断することができる。

【0058】

なお、本実施形態では、視点位置は、３６０度回転させることができ、視点位置を、物体背面から見たときの表面温度分布として表示させることが可能となる。このため、より表面温度の分布を詳細に検査することが可能となる。

【0059】

図１４は、本実施形態の画像処理方法を使用する、検査システム１４００の実施形態を示す。図１４に示す実施形態は、橋梁などの構造物の内部劣化を非破壊的に検査するためのシステムとして例示的に示すが、本実施形態は、非破壊に物体内部の検査を行うことができる限り特に用途に制限はない。

【0060】

撮像装置１４０４は、河川１４０３上に架け渡された道路１４０２用の橋梁１４０１の赤外線画像を撮影している。この際、撮影する角度、周囲温度、距離その他の環境情報が記録される。撮像装置１４０４は、撮影した画像を、ＲＡＭといった記憶装置２０３に格納する。特定の実施形態では、ＳＤカード、ＵＳＢメモリなどの取り外し可能な記憶装置に画像を格納することができる。なお、この段階で取得される赤外線画像は、低分解能の６４０×４８０ドットである。

【0061】

撮像装置１４０４が取得した赤外線画像は、オフライン、ネットワーク通信などにより情報処理装置１４０５に入力される。情報処理装置１４０５は、被写体となる構造物の材質、材料構成、経過年数、修理履歴などの情報を格納するデータベース１４０６を管理する。

【0062】

情報処理装置１４０５は、本開示に従って取得した低解像度の赤外線画像を画像処理して高精細画像を生成し、画面に表示させている。なお、本実施形態の好ましい実施形態においては、情報処理装置取得した高解像度画像の温度分布から、内部における熱伝導性を解析し、橋梁１４０１といった構造物内部の欠陥または劣化の存在を発見し、そのサイズを計算することができる。

【0063】

図１５は、本実施形態の検査システム１４００が使用する情報処理装置１４０５の機能プロックを示す。なお、ハードウェア・ブロックは、概ね図３に示したと同様の構成を有するので説明は省略する。情報処理装置１４０５は、画像読取り部１５０１と、画像処理部１５０２と、表面温度分布解析部１５０３とを含むことができる。

【0064】

画像読取り部１５０１は、本実施形態に従い生成された高精細画像を、マトリックスとして、撮影した時の角度、距離、周囲温度などと共に読み取る。なお、測定条件などは、測定条件データベース１５０５に蓄積しておくことができる。画像処理部１５０２は、読み取った画像を、デフオルト設定では、撮像装置１４０４のカメラ軸上の撮影した時の距離にある点として設定し、高精細画像に対して回転変換する。その後、画像処理部１５０２は、色パレットを参照してワイヤフレームを生成させるためのラインに色をレンダリングし、ディスプレイ装置に３次元メッシュとして表示させる。

【0065】

表面温度分布解析部１５０３は、３次元メッシュ画像上で認識された温度分布の不均一度を検査し、温度分布の不均一性が設定した閾値を超えた場合、温度変化領域として例えば、他の色をレンダリングするか、または矩形枠で囲って表示する。なお、本実施形態において、温度の不均一性とは、周囲の温度分布と比較して、局所的に大きな温度差を有する状態を意味する。そして、不均一性が設定した閾値を超えた場合とは、例えば、温度の最小値から最大値の差分を、当該差分が含む微小画素数で除算した値、すなわち温度傾斜が周囲領域の平均値を超える場合をいう。

【0066】

さらに情報処理装置１４０５は、物体内部構造判断部１５０４を備えている。物体内部構造判断部１５０４は、構造物を構成する材料情報などをデータベース１４０６から取得し、物体の熱伝導特性を解析し、物体内部の、空洞、崩壊その他の欠陥の存在を判断する。そしてその判断結果を、画面表示およびプリンタ出力などにより外部出力させている。本実施形態の検査システム１４００は、以上の構成を採用することにより、物体内部の欠陥を非破壊で高精細な温度分布から判定することを可能としている。

【0067】

図１６は、本実施形態の検査システムが実行する検査方法のフローチャートである。図１６の処理は、ステップＳ１６００から開始し、ステップＳ１６０１で高解像度画像を読み出す。ステップＳ１６０２で高解像度画像から３次元メッシュを作成するとともに色パレットを参照して温度に対応する色をレンダリングする。
従来から使用されている浮動式の色レンダリング方法は、浮動式になっているため、解析表示操作の過程で１画像毎に色コードバーを選択しなければならない。このため、解析表示操作の過程で表示温度分解能感度を変更すると、すでに割り当てた色コードバーと高分解能化した表示温度とは、常時色コードバーで指定した色に色ズレが生じる。

【0068】

このことから、従来のレンダリング方法をそのまま適用すると、温度分布表示ポイント(素子)と色コードバーが不一致になるという不都合が生じる。本実施形態では、色レンダリング方法に関しては、従来の浮動式から、プログラムによる固定式の新しい色コードバーを設計する。そして色コードバーを、自動的に配列組合せる新規方法を採用する自動設定に際しては、日射受熱と気象条件及び周囲の状況を受ける屋外型と、測定対象面付近大気温度の変動が微差の屋内型に分けて用意する。レンダリング方法については、本開示の要旨とするものではないので、これ以上の説明は省略する。

【0069】

ステップＳ１６０３では、表面温度を解析し、ステップＳ１６０４で特徴的な温度変化があるか否かを判断する。特徴的、すなわち周囲の温度分布と比較して大きな温度傾斜がある領域が見いだされた場合（ｙｅｓ）ステップＳ１６０５で表面温度の解析から物体の内部構造を判定し、ステップＳ１６０６で判定結果を外部出力して処理を終了する。
一方、ステップＳ１６０４で特徴的な温度変化がない場合（ｎｏ）、処理をステップＳ１６０６に分岐させて処理を終了する。

【0070】

以上、本実施形態によれば、従来の熱２次元画像の問題点に鑑みてなされたものであり、赤外線センサが取得した情報を効果的に解析し、高精度に熱の２次元分布を取得し、さらに当該熱の２次元分布を３次元化することを可能とする、画像処理システム、画像処理装置、画像処理方法、検査システムおよびプログラムを提供することが可能となる。

【0071】

これまで本発明を、実施形態をもって説明してきたが、本発明は、実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0072】

５ ：小数点以下
１００ ：画像処理システム
１０１ ：構造物
１０２ ：撮像装置
１０４ ：情報処理装置
１０５ ：データベース
２００ ：ブロック
２０１ ：撮像素子
２０２ ：ＡＤコンバータ
２０３ ：記憶装置
２０４ ：ＣＰＵ
２０５ ：表示デバイス
２０６ ：Ｉ／Ｏデバイス
２０７ ：ＲＯＭ
２０８ ：バス
３００ ：ブロック
３０１ ：ＣＰＵ
３０２ ：ＲＡＭ
３０３ ：ＲＯＭ
３０４ ：ディスプレイ装置
３０５ ：通信装置
３０６ ：バスブリッジ
３０７ ：記憶装置
３０８ ：ＤＶＤドライブ
３０９ ：入出力装置
３１０ ：ＵＳＢデバイス
３１１ ：システムバス
３１２ ：Ｉ／Ｏバス
３１３ ：キャッシュ
４００ ：機能ブロック
４０１ ：画像読取り部
４０２ ：画素分割部
４０３ ：温度補間部
４０４ ：色レンダリング部
４０５ ：元画像記録部
４０６ ：温度割当て部
４０７ ：インタフェース部
４０８ ：フィルタ部
４０９ ：高解像度画像記録部
４１０ ：アプリケーション実行部
６００ ：データ構造
６０２ ：画素
６０３ ：温度値
７０１ ：元画像
７０２ ：拡張行列

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】