特開 2024-140662 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024140662

(43)【公開日】2024-10-10

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/33 20170101AFI20241003BHJP

   G06V 10/24 20220101ALI20241003BHJP

   G01J 5/48 20220101ALI20241003BHJP

   G01N 25/72 20060101ALN20241003BHJP

【ＦＩ】

G06T7/33

G06V10/24

G01J5/48 C

G01J5/48 A

G01N25/72 E

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023051924

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100199314

【弁理士】

【氏名又は名称】竹内 寛

(74)【代理人】

【識別番号】100221556

【弁理士】

【氏名又は名称】金田 隆章

(72)【発明者】

【氏名】入江 庸介

(72)【発明者】

【氏名】松浦 嘉彦

【テーマコード（参考）】

2G040

2G066

5L096

【Ｆターム（参考）】

2G040AA05

2G040AB08

2G040BA14

2G040BA25

2G040CA02

2G040CA17

2G040CA24

2G040DA06

2G040HA02

2G040HA05

2G040HA14

2G040ZA05

2G040ZA08

2G066AC11

2G066BC15

2G066BC22

2G066CA02

2G066CA04

2G066CA16

5L096BA03

5L096CA05

5L096EA14

5L096FA23

5L096FA69

5L096HA02

(57)【要約】

【課題】被写体の温度変化に応じた解析画像を精度良く位置合わせできる画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置は、画像を取得する入力部と、画像処理を行うプロセッサとを備える。プロセッサは、可視光撮影装置が被写体を撮影して生成した可視画像を、入力部を介して取得する。プロセッサは、赤外線撮影装置が被写体を時系列で撮影して生成した複数の赤外画像を、入力部を介して取得する。プロセッサは、複数の赤外画像に解析処理を施して被写体の温度変化に応じた解析画像を生成し、可視画像上の位置と赤外画像上の位置との対応関係に基づいて、可視画像に対して解析画像を位置合わせする。
【選択図】図３

【特許請求の範囲】

【請求項1】

画像を取得する入力部と、
画像処理を行うプロセッサとを備え、
前記プロセッサは、
可視光撮影装置が被写体を撮影して生成した可視画像を、前記入力部を介して取得し、
赤外線撮影装置が前記被写体を時系列で撮影して生成した複数の赤外画像を、前記入力部を介して取得し、
前記複数の赤外画像に解析処理を施して前記被写体の温度変化に応じた解析画像を生成し、
前記可視画像上の位置と前記赤外画像上の位置との対応関係に基づいて、前記可視画像に対して前記解析画像を位置合わせする、
画像処理装置。

【請求項2】

前記プロセッサは、
前記可視画像と前記赤外画像とで共通する被写体の位置が一致するように調整することで、前記可視画像と前記赤外画像とを位置合わせし、
前記可視画像と前記赤外画像との位置合わせの結果を用いることにより、前記可視画像に対して前記解析画像を位置合わせする、
請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、位置合わせされた前記可視画像と前記解析画像とを重ね合わせて重ね合わせ画像を生成する、請求項１に記載の画像処理装置。

【請求項4】

前記プロセッサは、位置合わせされた前記可視画像と前記赤外画像と前記解析画像とを重ね合わせて重ね合わせ画像を生成する、請求項１に記載の画像処理装置。

【請求項5】

前記プロセッサは、前記重ね合わせ画像を表示するように表示装置を制御する、請求項３又は４に記載の画像処理装置。

【請求項6】

前記プロセッサは、位置合わせされた前記解析画像を表示するように表示装置を制御する、請求項１～４のいずれかに記載の画像処理装置。

【請求項7】

前記プロセッサは、前記複数の赤外画像に離散フーリエ変換を施すことにより、前記解析画像を生成する、請求項１に記載の画像処理装置。

【請求項8】

前記解析画像は、離散フーリエ変換後のデータの、所定周波数における位相画像、振幅特性を示す振幅画像、実部を示す実部画像、及び虚部を示す虚部画像のうちの少なくとも１つである、請求項７に記載の画像処理装置。

【請求項9】

プロセッサによって実行される画像処理方法であって、
可視光撮影装置が被写体を撮影して生成した可視画像を取得するステップと、
赤外線撮影装置が前記被写体を時系列で撮影して生成した複数の赤外画像を取得するステップと、
前記複数の赤外画像に解析処理を施して前記被写体の温度変化に応じた解析画像を生成するステップと、
前記可視画像上の位置と前記赤外画像上の位置との対応関係に基づいて、前記可視画像に対して前記解析画像を位置合わせするステップと、を含む、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

特許文献１は、コンクリート表面及び建築物の外壁の撮像装置を開示する。特許文献１の撮像装置は、デジタルカメラと赤外線カメラとレーザ測距手段と演算処理手段とを備える。演算処理手段は、デジタルカメラの画像と赤外線カメラの画像の間の視差によるズレを検出し補正して、可視領域の画像と赤外領域の画像を重ね合わせて合成画像を生成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４３１９８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、被写体の温度変化に応じた解析画像を精度良く位置合わせできる画像処理装置及び画像処理方法を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様に係る画像処理装置は、画像を取得する入力部と、
画像処理を行うプロセッサとを備え、
プロセッサは、
可視光撮影装置が被写体を撮影して生成した可視画像を、入力部を介して取得し、
赤外線撮影装置が被写体を時系列で撮影して生成した複数の赤外画像を、入力部を介して取得し、
複数の赤外画像に解析処理を施して被写体の温度変化に応じた解析画像を生成し、
可視画像上の位置と赤外画像上の位置との対応関係に基づいて、可視画像に対して解析画像を位置合わせする。

【0006】

本開示の一態様に係る画像処理方法は、プロセッサによって実行される画像処理方法であって、
可視光撮影装置が被写体を撮影して生成した可視画像を取得するステップと、
赤外線撮影装置が被写体を時系列で撮影して生成した複数の赤外画像を取得するステップと、
複数の赤外画像に解析処理を施して被写体の温度変化に応じた解析画像を生成するステップと、
可視画像上の位置と赤外画像上の位置との対応関係に基づいて、可視画像に対して解析画像を位置合わせするステップと、を含む。

【発明の効果】

【0007】

本開示に係る画像処理装置及び画像処理方法よると、被写体の温度変化に応じた解析画像を精度良く位置合わせできる。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施の形態に係る検査システムの構成を示すブロック図

【図2】図１の検査装置の構成例を示すブロック図

【図3】検査装置よって行われる位置合わせ処理の概要を説明するための模式図

【図4】検査装置の動作を例示するフローチャート

【図5】図４に示した重ね合わせ処理の詳細を例示するフローチャート

【図6】図４に示した重ね合わせ処理を説明するための模式図

【図7】重ね合わせ処理の変形例を示すフローチャート

【図8】第３変形例における解析画像の表示態様を例示する模式図

【発明を実施するための形態】

【0009】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図しない。

【0010】

以下、実施の形態に係る検査システムを、図面を用いて説明する。

【0011】

［１．構成］
図１は、本開示の一実施の形態に係る検査システム１の構成例を示すブロック図である。検査システム１は、画像処理装置の一例である検査装置１０と、可視光カメラ１９と、赤外線カメラ１７と、励起源１８と、コントロールボックス１５と、電源１６と、表示装置１４とを備える。

【0012】

本実施の形態の検査システム１は、検査対象であるワーク９１に励起エネルギーを与えて加熱しながら赤外画像の撮影を行うアクティブサーモグラフィ法を用いて、ワーク９１の状態を示す解析画像を生成する。検査システム１は、解析画像と可視画像とを重ね合わせる。これにより、例えば検査システム１は、ワーク９１の状態を非破壊で検査することができる。

【0013】

ワーク９１の状態は、例えば、接合領域９２に関する接合情報と、ワーク９１の内部の特徴、欠陥等の構造９３に関する構造情報とを含む。接合領域９２は、接着、溶接、溶着等の手法により母材同士が接合された領域である。例えば、接合が溶接により行われる場合、接合領域９２は、溶接ビードであり、接合情報は、溶接欠陥に関する情報を含み得る。

【0014】

可視光カメラ１９は、被写体の一例であるワーク９１の少なくとも一部を撮影して可視画像データを生成する。可視光カメラ１９は、可視光を検知する可視光センサを含む。

【0015】

本明細書では、便宜上、画像データを、当該画像データが示す画像と区別せずに、単に「画像」ということがある。

【0016】

赤外線カメラ１７は、ワーク９１の少なくとも一部を時系列で撮影して複数の赤外画像データを生成する。赤外線カメラ１７は、放射エネルギー量を取得しデジタル変換することにより、このような赤外画像データを得る。赤外線カメラ１７は、赤外画像データを温度分布に変換することにより温度画像データを生成する。本明細書では、このような変換前の赤外画像データと、変換後の温度画像データとを特に区別せずに取り扱うことがある。この場合、本開示の「温度画像」は、「赤外画像」の一例である。赤外線カメラ１７は、例えば、３μｍ～１５μｍの波長を有する赤外線を検知する赤外線センサを含む。赤外線カメラ１７のフレームレートは、例えば５０Ｈｚ（又は５０ｆｐｓ）であるが、これに限定されない。

【0017】

励起源１８は、加熱装置の一例である。加熱装置は、例えば、キセノンランプ、レーザ光源、超音波を発生する振動子、電磁誘導を生じさせるコイルであるが、これらに限定されず、エネルギーを放射可能なエネルギー源であればよい。励起源１８は、ワーク９１に対して、フラッシュ発光によるフラッシュ加熱（パルス加熱）、又はステップ状に加熱するステップ加熱を行うことができる。励起源１８が放射する光の波長帯域は、赤外線カメラ１７が検出可能な赤外線の波長帯域と同様であってもよいし、異なってもよい。図１では、２つの励起源１８を例示しているが、励起源１８の数はこれに限定されず、１つであってもよいし、３以上であってもよい。

【0018】

電源１６は、可視光カメラ１９と、赤外線カメラ１７と、励起源１８とに電力を供給する。コントロールボックス１５は、検査装置１０からの制御信号に基づいて、電源１６を制御する制御回路を含む。コントロールボックス１５は、励起源１８の発光方式、発光周期、発光時間等を制御してもよい。

【0019】

表示装置１４は、情報を表示することができる液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置である。

【0020】

図２は、図１の検査装置１０の構成例を示すブロック図である。検査装置１０は、プロセッサ１１と、記憶装置１２と、インタフェース１３とを備える。

【0021】

プロセッサ１１は、ＣＰＵ、ＭＰＵ等で構成され、記憶装置１２に格納された各種プログラムを実行することにより、検査装置１０の全体を制御する。プロセッサ１１は、コントロールボックス１５を介するなどして励起源１８を制御することにより、励起源１８の加熱出力の開始及び停止を制御する。また、プロセッサ１１は、赤外線カメラ１７及び可視光カメラ１９の撮影開始及び撮影停止等の撮影動作を制御する。また、プロセッサ１１は、後述のように、記憶装置１２に格納された画像データ同士の位置合わせ処理を実行する。

【0022】

記憶装置１２は、データ及び検査装置１０の機能を実現するために必要なプログラムを含む種々の情報を記録する記録媒体である。記憶装置１２は、例えば、フラッシュメモリ、ソリッド・ステート・ドライブ（ＳＳＤ）等の半導体記憶装置、ハードディスクドライブ（ＨＤＤ）等の磁気記憶装置、その他の記録媒体単独で又はそれらを組み合わせて実現される。記憶装置１２は、プロセッサ１１と同一の筐体内に設置される内蔵型の記憶装置に限定されず、例えば、外付け型、ＮＡＳ（ｎｅｔｗｏｒｋ－ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）型等の記憶装置であってもよい。記憶装置１２は、ＳＲＡＭ、ＤＲＡＭ等の揮発性メモリを含んでもよい。

【0023】

インタフェース１３は、検査装置１０と、表示装置１４、赤外線カメラ１７、可視光カメラ１９、コントロールボックス１５、励起源１８等の外部機器と、を接続する。インタフェース１３は、既存の有線通信規格又は無線通信規格に従ってデータ通信を行う通信回路であってもよい。

【0024】

インタフェース１３は、赤外線カメラ１７からの温度画像データ、可視光カメラからの可視画像データ等の情報を検査装置１０に入力するために、検査装置１０と、赤外線カメラ１７、可視光カメラ１９等の外部機器とを接続する入力部の一例である。

【0025】

また、インタフェース１３は、表示装置１４、コントロールボックス１５、励起源１８等の外部機器に対して、プロセッサ１１からの制御信号等の情報を出力するために、検査装置１０と外部機器とを接続する出力部の一例である。このような入力部及び出力部は、図２のように入出力兼用のインタフェース１３として一体的に実現されてもよいし、複数個のインタフェース回路として実現されてもよい。

【0026】

［２．動作］
［２－１．概要］
図３は、検査装置１０によって行われる位置合わせ処理の概要を説明するための模式図である。

【0027】

検査装置１０は、可視光カメラ１９がワーク９１を撮影して生成した可視画像ＩＭＧ１を取得する。また、検査装置１０は、赤外線カメラ１７がワーク９１を時系列で撮影して生成した複数の温度画像ＩＭＧ２を取得する。

【0028】

検査装置１０は、複数の温度画像ＩＭＧ２に対して離散フーリエ変換を施して解析画像ＩＭＧ３を抽出する。解析画像ＩＭＧ３は、例えば、離散フーリエ変換後のデータの設定周波数における位相特性を示す位相画像である。

【0029】

解析画像ＩＭＧ３には、ワーク９１の内部の特徴、欠陥等の構造９３に関する構造情報、接合領域９２に関する接合情報等が示されるため、ユーザは、解析画像ＩＭＧ３によりこれらの情報を視認することができる。したがって、可視画像ＩＭＧ１と解析画像ＩＭＧ３とを精度良く位置合わせして重ね合わせ、上側の画像を透過させた重ね合わせ画像を確認することにより、ユーザは、ワーク９１のどの位置に内部欠陥、溶接欠陥等の構造的特徴があるかを知ることができる。例えば、溶接欠陥の位置がわかると、ユーザは、どこを再溶接すべきかを把握することができる。

【0030】

しかし、解析画像ＩＭＧ３は、ワーク９１の内部構造に関する情報を含み得るが、ワーク９１の表面を含む外観に関する情報をほとんど又は全く含まないため、解析画像ＩＭＧ３と可視画像ＩＭＧ１との間には、位置合わせの基準となる構造的特徴が乏しい。また、可視光カメラ１９と赤外線カメラ１７の光軸は異なるため、光軸が同一であることを前提として解析画像ＩＭＧ３と可視画像ＩＭＧ１とを精度良く位置合わせすることもできない。また、可視光カメラ１９と赤外線カメラ１７の光軸が同一であっても、解像度の違いによって、精度良く位置合わせできない可能性がある。

【0031】

そこで、本実施の形態に係る検査装置１０は、可視画像ＩＭＧ１と温度画像ＩＭＧ２とが精度良く位置合わせ可能であること、及び、温度画像ＩＭＧ２と解析画像ＩＭＧ３とが精度良く位置合わせ可能であることを利用して、可視画像ＩＭＧ１と解析画像ＩＭＧ３とを精度良く位置合わせする。

【0032】

具体的には、図３に示すように、検査装置１０は、可視画像ＩＭＧ１と、複数の温度画像ＩＭＧ２のうちの１つとを位置合わせして重ね合わせる。図３では、位置合わせ済みの可視画像ＩＭＧ１と温度画像ＩＭＧ２のセットに便宜上符号を付し、第１の重ね合わせ画像ＩＭＧ１２としている。

【0033】

赤外線カメラ１７は、少なくともワーク９１の表面の温度を検知しているため、温度画像ＩＭＧ２にはワーク９１の表面の情報が含まれている。したがって、温度画像ＩＭＧ２と可視画像ＩＭＧ１とは、位置合わせの基準となる共通の構造的特徴を含むため、検査装置１０は、可視画像ＩＭＧ１に解析画像ＩＭＧ３を位置合わせする場合に比べて、可視画像ＩＭＧ１に温度画像ＩＭＧ２を正確に位置合わせできる。

【0034】

検査装置１０は、可視画像ＩＭＧ１に温度画像ＩＭＧ２を位置合わせするために、必要に応じて、温度画像ＩＭＧ２に対してサイズ、向き、移動等の変更を施す。

【0035】

次に、検査装置１０は、第１の重ね合わせ画像ＩＭＧ１２と、解析画像ＩＭＧ３とを位置合わせする。解析画像ＩＭＧ３は、複数の温度画像データを解析することによって得られるため、温度画像ＩＭＧ２と光軸が一致している。したがって、検査装置１０は、可視画像ＩＭＧ１と温度画像ＩＭＧ２との位置合わせにおいて温度画像ＩＭＧ２に対して行われた上記の変更と同様の変更を解析画像ＩＭＧ３に対して行えば、変更後の温度画像ＩＭＧ２に対して解析画像ＩＭＧ３を位置合わせできる。

【0036】

このようにして、検査装置１０は、位置合わせ済みの可視画像ＩＭＧ１及び温度画像ＩＭＧ２（第１の重ね合わせ画像ＩＭＧ１２）と、解析画像ＩＭＧ３とを位置合わせして重ね合わせることができる。図３では、位置合わせ済みの可視画像ＩＭＧ１と温度画像ＩＭＧ２と解析画像ＩＭＧ３とのセットに便宜上符号を付し、第２の重ね合わせ画像ＩＭＧ１２３としている。

【0037】

検査装置１０は、位置合わせ済みの可視画像ＩＭＧ１、温度画像ＩＭＧ２、及び解析画像ＩＭＧ３の少なくとも１つに対して透過処理を施す。透過処理は、ユーザインタフェース（ＵＩ）を用いて入力されたユーザ指示に従い透過処理を行ってもよい。

【0038】

検査装置１０は、透過処理済の重ね合わせ画像ＩＭＧ１２３を表示装置１４に表示させる。ユーザは、可視画像ＩＭＧ１と解析画像ＩＭＧ３とが精度良く位置合わせされた重ね合わせ画像ＩＭＧ１２３を確認することにより、ワーク９１のどの位置に内部欠陥、溶接欠陥等の構造的特徴があるかを知ることができる。

【0039】

このように、本実施の形態に係る検査装置１０により、検査精度が向上する。溶接欠陥の検査を行う場合には、例えば、溶接欠陥の位置がわかることにより、ユーザは、どこを再溶接すべきかを把握することができる。したがって、本実施の形態に係る検査装置１０により、正確に再溶接がされた品質の高い製品を提供し易くなる。

【0040】

［２－２．動作フロー］
図４は、検査装置１０の動作を例示するフローチャートである。本フローに示す各処理は、例えば検査装置１０のプロセッサ１１によって実行される。

【0041】

図４において、まず、プロセッサ１１は、解析条件を取得する（Ｓ１）。解析条件は、例えばユーザによって入力され、記憶装置１２に予め格納されている。解析条件は、例えば解析時間、後述の位相画像についての設定周波数等である。

【0042】

解析時間は、例えば、解析開始時刻、解析終了時刻を含む。あるいは、プロセッサ１１は、解析時間に代えて、赤外線カメラ１７によって生成された複数の温度画像ＩＭＧ２のうち、どの温度画像ＩＭＧ２を解析に用いるかについての設定を取得してもよい。

【0043】

設定周波数は、ワーク９１の材質に応じて設定される。例えば、設定周波数は、ワーク９１の材質の熱伝導率が高い程高く設定される。また、設定周波数は、解析の対象である領域の、ワーク９１の表面からの深さに応じて設定される。

【0044】

例えば、ワーク９１が樹脂材料を含む場合、ワーク９１の表面から１ｍｍの深さにある領域の欠陥、接合状態等を検出するためには、設定周波数は、０．６～１．０Ｈｚに設定される。樹脂材料の熱伝導率は、例えば０．１～０．４５Ｗ／ｍ・Ｋである。

【0045】

例えば、ワーク９１が金属材料を含む場合、ワーク９１の表面から１ｍｍの深さにある領域の欠陥、接合状態等を検出するためには、設定周波数は、１．０～５．０Ｈｚに設定される。金属材料は、例えば鉄（熱伝導率：８０．３Ｗ／ｍ・Ｋ）、アルミニウム（熱伝導率：２３７Ｗ／ｍ・Ｋ）等を含む。

【0046】

次に、プロセッサ１１は、励起源１８によるワーク９１の加熱と、赤外線カメラ１７及び可視光カメラ１９によるワーク９１の撮影とを開始する（Ｓ２）。

【0047】

プロセッサ１１は、可視光カメラ１９がワーク９１を撮影して生成した可視画像ＩＭＧ１を、インタフェース１３を介して取得する（Ｓ３）。

【0048】

プロセッサ１１は、赤外線カメラ１７がワーク９１を時系列で撮影して生成した複数の温度画像ＩＭＧ２を、インタフェース１３を介して取得する（Ｓ４）。

【0049】

次に、プロセッサ１１は、ステップＳ４で取得した複数の温度画像ＩＭＧ２に対して離散フーリエ変換を施し（Ｓ５）、解析条件に応じた解析画像ＩＭＧ３を抽出する（Ｓ６）。解析画像ＩＭＧ３は、例えば、離散フーリエ変換後のデータの設定周波数における位相特性を示す位相画像である。

【0050】

次に、プロセッサ１１は、ステップＳ６で抽出された解析画像ＩＭＧ３に対して、フィルタ処理を施す（Ｓ７）。フィルタ処理は、例えば、局部イコライズ（平滑化）フィルタ処理、ハイパスフィルタ処理、ローパスフィルタ処理である。プロセッサ１１は、フィルタ処理により、エッジ強調、濃淡調整、コントラスト調整等の処理を行う。

【0051】

次に、プロセッサ１１は、可視画像ＩＭＧ１と解析画像ＩＭＧ３とを重ね合わせる重ね合わせ処理を実行する（Ｓ８）。プロセッサ１１は、可視画像ＩＭＧ１上の位置と温度画像ＩＭＧ２上の位置との対応関係に基づいて、可視画像ＩＭＧ１に対して解析画像ＩＭＧ３を位置合わせする。重ね合わせ処理Ｓ８の詳細は後述する。

【0052】

プロセッサ１１は、重ね合わせ処理Ｓ８で生成された重ね合わせ画像ＩＭＧ１２３を表示装置１４に表示させる（Ｓ９）。

【0053】

ユーザは、重ね合わせ画像ＩＭＧ１２３を確認することにより、ワーク９１のどの位置に内部欠陥、溶接欠陥等の構造的特徴があるかを知ることができる。

【0054】

表示に加えて、又はこれに代えて、プロセッサ１１は、重ね合わせ処理Ｓ８で生成された重ね合わせ画像、解析結果等を記憶装置１２又はサーバ等の外部装置に格納してもよい。解析結果は、例えば、解析条件、可視画像ＩＭＧ１、温度画像ＩＭＧ２、又は解析画像ＩＭＧ３である。

【0055】

格納された解析結果は、例えば、ワーク９１に含まれる欠陥等の構造の分析に用いられる。

【0056】

格納された解析結果は、ワーク９１が用いられた製品のトレーサビリティの実現に利用されてもよい。例えば、解析結果は、ワーク９１の状態が、流通の過程で、損傷、改竄、汚れ等により変更されたか否か、及び変更された場合には変更の程度を検出するために利用される。

【0057】

プロセッサ１１は、ワーク９１の内部欠陥、接合不良、付着物等の欠陥を検出する欠陥検出処理を行うか否かを判断してもよい（Ｓ１０）。欠陥検出処理を行うか否かは、例えばユーザ等により予め設定される。

【0058】

欠陥検出処理Ｓ１１では、プロセッサ１１は、可視画像ＩＭＧ１、温度画像ＩＭＧ２、及び解析画像ＩＭＧ３の少なくとも１つに基づいて、欠陥を検出する。プロセッサ１１は、欠陥の大きさ、個数等に基づいて、ワーク９１が良品であるか否かを判定してもよい。プロセッサ１１は、欠陥を検出した場合、又はワーク９１が不良品であると判定した場合、その旨を示す情報を表示装置１４に表示させてもよい。プロセッサ１１は、欠陥検出又は良品判定の結果を示す情報を記憶装置１２に保存してもよい。

【0059】

［２－３．重ね合わせ処理］
図５は、図４に示した重ね合わせ処理Ｓ８の詳細を例示するフローチャートである。図６は、図４に示した重ね合わせ処理Ｓ８を説明するための模式図である。

【0060】

図５において、プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２とを位置合わせして重ね合わせる（Ｓ２１）。

【0061】

図６を参照してステップＳ２１について説明する。ステップＳ２１では、プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２とを位置合わせする。例えば、プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２とで共通する被写体の位置が一致するように調整することで、可視画像ＩＭＧ１と温度画像ＩＭＧ２とを位置合わせする。具体的には、例えば、プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２とで共通する特徴の位置が一致するように調整することで、共通する被写体の位置が一致するように調整する。このような特徴の一例は、ワーク９１上の目印、エッジ、輪郭、重心等又はこれらのうちの少なくとも１つを示す特徴量である。

【0062】

図６では、位置合わせ済みの可視画像ＩＭＧ１と温度画像ＩＭＧ２のセットに便宜上符号を付し、第１の重ね合わせ画像ＩＭＧ１２としている。これと異なり、プロセッサ１１は、位置合わせ済みの可視画像ＩＭＧ１と温度画像ＩＭＧ２とを合成して１枚の重ね合わせ画像を生成してもよい。

【0063】

位置合わせ方法の一例は、以下の通りである。プロセッサ１１は、温度画像ＩＭＧ２の重心と可視画像ＩＭＧ１の重心とを算出し、両重心が合うように位置合わせ、例えば平行移動を行う。

【0064】

あるいは、プロセッサ１１は、可視画像ＩＭＧ１及び温度画像ＩＭＧ２の輪郭情報を用いた位置合わせを行ってもよい。例えば、プロセッサ１１は、可視画像ＩＭＧ１及び温度画像ＩＭＧ２の輪郭を表す特徴量の類似度を最大とするような最適化問題を解き、類似度が最大となるように可視画像ＩＭＧ１と温度画像ＩＭＧ２とを位置合わせする。輪郭情報を用いた位置合わせにおいては、可視画像ＩＭＧ１及び温度画像ＩＭＧ２の少なくとも一方に対して、拡大、縮小、又は回転の処理を施してもよいし、アフィン変換を施してもよい。上記の類似度は、例えばダイス類似係数（Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ、ＤＳＣ）であるが、これに限定されない。プロセッサ１１は、ＤＳＣを最適化関数とする最適化問題を、単純遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ、ＧＡ）を用いて解いてもよい。

【0065】

あるいは、プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２との間の相互情報量が最大となるように位置合わせを行ってもよい。相互情報量を用いた位置合わせにおいては、可視画像ＩＭＧ１及び温度画像ＩＭＧ２の少なくとも一方に対してアフィン変換を施してもよい。

【0066】

相互情報量を用いた位置合わせにおいては、計算量を低減するために、複数の関心領域（Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ、ＶＯＩ）を設置し、ＶＯＩ内の相互情報量が最大となるようにアフィン変換を施してもよい。この場合、プロセッサ１１は、ＶＯＩＭＧ内の相互情報量に基づいて、可視画像ＩＭＧ１及び温度画像ＩＭＧ２の少なくとも一方の全体にアフィン変換を施すことにより、最終的な位置合わせを行う。

【0067】

ステップＳ２１の位置合わせでは、上記の重心を用いた位置合わせ、輪郭情報を用いた位置合わせ、及び相互情報量を用いた位置合わせが組み合わせて適用されてもよい。例えば、プロセッサ１１は、重心を用いた位置合わせによって大まかに位置合わせをした後、輪郭情報を用いた位置合わせ、及び相互情報量を用いた位置合わせを更に行ってもよい。

【0068】

ステップＳ２１の位置合わせの前処理として、可視画像ＩＭＧ１及び温度画像ＩＭＧ２の少なくとも一方が、グレースケールの画像に変換されてもよい。あるいは、プロセッサ１１は、ステップＳ２１の位置合わせの前処理として、可視画像ＩＭＧ１及び温度画像ＩＭＧ２の少なくとも一方に、二値化処理を施してもよい。これにより、計算量を低減し、又は計算速度を向上させることができる。

【0069】

図５に戻り、ステップＳ２１の次に、プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２との位置合わせの情報に基づいて、解析画像ＩＭＧ３のサイズ及び向きを調整し（Ｓ２２）、可視画像ＩＭＧ１と温度画像ＩＭＧ２とに解析画像ＩＭＧ３を重ね合わせる（Ｓ２３）。

【0070】

図６を参照してステップＳ２２及びＳ２３について説明する。ステップＳ２２では、プロセッサ１１は、必要に応じて、解析画像ＩＭＧ３のサイズ及び向きを調整する。

【0071】

解析画像ＩＭＧ３は、複数の温度画像データを解析することによって得られるため、温度画像ＩＭＧ２と光軸が一致している。したがって、プロセッサ１１は、ステップＳ２１で温度画像ＩＭＧ２に対して行われたサイズ、向き、移動等の変更と同様の変更を解析画像ＩＭＧ３に対して行えば、変更後の温度画像ＩＭＧ２に対して解析画像ＩＭＧ３を位置合わせできる。このようにして、プロセッサ１１は、ステップＳ２１で位置合わせ済みの可視画像ＩＭＧ１及び温度画像ＩＭＧ２（第１の重ね合わせ画像ＩＭＧ１２）と、解析画像ＩＭＧ３とを位置合わせして重ね合わせることができる。

【0072】

図６では、位置合わせ済みの可視画像ＩＭＧ１と温度画像ＩＭＧ２と解析画像ＩＭＧ３とのセットに便宜上符号を付し、第２の重ね合わせ画像ＩＭＧ１２３としている。

【0073】

ステップＳ２２，Ｓ２３では、プロセッサ１１は、ステップＳ２１と同様に、重心を用いた位置合わせ、輪郭情報を用いた位置合わせ、及び相互情報量を用いた位置合わせの１つ以上を用いて位置合わせを行ってもよい。

【0074】

図５に戻り、ステップＳ２３の次に、プロセッサ１１は、位置合わせ済みの可視画像ＩＭＧ１、温度画像ＩＭＧ２、及び解析画像ＩＭＧ３の少なくとも１つに対して透過処理を施す（Ｓ２４）。例えば、プロセッサ１１は、可視画像ＩＭＧ１、温度画像ＩＭＧ２、及び解析画像ＩＭＧ３を重ね合わせる場合、最下層となる画像以外の２枚の画像に対して透過処理を施す。

【0075】

透過率は、例えば、予め所定の値に設定される。最上層の画像と中間層の画像に対して異なる透過率が設定されてもよい。あるいは、可視画像ＩＭＧ１、温度画像ＩＭＧ２、及び解析画像ＩＭＧ３に対してそれぞれの透過率が設定されてもよい。

【0076】

プロセッサ１１は、インタフェース１３を介して入力されたユーザ指示に従い透過処理を行ってもよい。この場合、ユーザは、表示装置１４に表示された重ね合わせ画像を見ながら透過率を調整することができる。

【0077】

ステップＳ２４において、プロセッサ１１は、位置合わせ済みの可視画像ＩＭＧ１、温度画像ＩＭＧ２、及び解析画像ＩＭＧ３を合成して１枚の重ね合わせ画像を生成してもよい。

【0078】

［２－４．重ね合わせ処理の変形例］
以下、図５に示した重ね合わせ処理Ｓ８の変形例を説明する。図５に示した重ね合わせ処理Ｓ８では、可視画像ＩＭＧ１、温度画像ＩＭＧ２、及び解析画像ＩＭＧ３を重ね合わせる例を説明した。しかしながら、本実施の形態はこれに限定されず、プロセッサ１１は、可視画像ＩＭＧ１と解析画像ＩＭＧ３とを重ね合わせた重ね合わせ画像を出力してもよい。すなわち、本変形例では、出力される重ね合わせ画像は、温度画像ＩＭＧ２を含まない。

【0079】

図７は、このような重ね合わせ処理の変形例Ｓ８ａを示すフローチャートである。図７の重ね合わせ処理Ｓ８ａは、図５の重ね合わせ処理Ｓ８のステップＳ２３に代えて、ステップＳ２３ａを含む。

【0080】

ステップＳ２３ａでは、プロセッサ１１は、可視画像ＩＭＧ１と重ね合わされた温度画像ＩＭＧ２を、解析画像ＩＭＧ３に置き換える。このようにして、可視画像ＩＭＧ１と解析画像ＩＭＧ３とが重ね合わされた重ね合わせ画像が得られる。

【0081】

あるいは、プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２と解析画像ＩＭＧ３とを位置合わせした後で、温度画像ＩＭＧ２を削除してもよい。この方法によっても、可視画像ＩＭＧ１と解析画像ＩＭＧ３とが重ね合わされた重ね合わせ画像が得られる。

【0082】

［３．効果等］
以上のように、本実施の形態に係る検査装置１０は、画像を取得する入力部の一例であるインタフェース１３と、画像処理を行うプロセッサ１１とを備える。プロセッサ１１は、可視光撮影装置の一例である可視光カメラ１９が、被写体の一例であるワーク９１を撮影して生成した可視画像ＩＭＧ１を、インタフェース１３を介して取得する（Ｓ３）。プロセッサ１１は、赤外線撮影装置の一例である赤外線カメラ１７がワーク９１を時系列で撮影して生成した複数の温度画像（赤外画像の一例）ＩＭＧ２をインタフェース１３を介して取得する（Ｓ４）。プロセッサ１１は、複数の温度画像ＩＭＧ２に解析処理を施してワーク９１の温度変化に応じた解析画像ＩＭＧ３を生成する（Ｓ６）。プロセッサ１１は、可視画像ＩＭＧ１上の位置と温度画像ＩＭＧ２上の位置との対応関係に基づいて、可視画像ＩＭＧ１に対して解析画像ＩＭＧ３を位置合わせする（Ｓ８）。

【0083】

本実施の形態に係る検査装置１０によれば、被写体の温度変化に応じた解析画像を精度良く位置合わせできる。具体的には、検査装置１０は、可視画像ＩＭＧ１と解析画像ＩＭＧ３とを精度良く位置合わせできる。

【0084】

プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２とで共通する被写体の位置が一致するように調整することで、可視画像ＩＭＧ１と温度画像ＩＭＧ２とを位置合わせしてもよい（Ｓ２１）。この場合、プロセッサ１１は、可視画像ＩＭＧ１と温度画像ＩＭＧ２との位置合わせの結果を用いることにより、可視画像ＩＭＧ１に対して解析画像ＩＭＧ３を位置合わせする。これにより、可視画像ＩＭＧ１と温度画像ＩＭＧ２とを正確に位置合わせでき、ひいては可視画像ＩＭＧ１と解析画像ＩＭＧ３とを精度良く位置合わせできる。

【0085】

プロセッサ１１は、位置合わせされた可視画像ＩＭＧ１と解析画像ＩＭＧ３とを重ね合わせて重ね合わせ画像を生成してもよい（Ｓ８ａ）。あるいは、プロセッサ１１は、重ね合わされた可視画像ＩＭＧ１及び解析画像ＩＭＧ３に、温度画像ＩＭＧ２を更に重ね合わせることにより、重ね合わせ画像ＩＭＧ１２３を生成してもよい（Ｓ２３）。

【0086】

プロセッサ１１は、重ね合わせ画像を表示するように表示装置１４を制御してもよい（Ｓ９）。ユーザは、表示装置１４に表示された重ね合わせ画像を確認することにより、ワーク９１のどの位置に内部欠陥、溶接欠陥等の構造的特徴があるかを知ることができる。

【0087】

プロセッサ１１は、複数の温度画像ＩＭＧ２に離散フーリエ変換を施すことにより、解析画像ＩＭＧ３を生成してもよい（Ｓ５）。この場合、解析画像ＩＭＧ３は、例えば、離散フーリエ変換後のデータの、所定周波数における位相画像、振幅特性を示す振幅画像、実部を示す実部画像、及び虚部を示す虚部画像のうちの少なくとも１つである。これにより、解析画像ＩＭＧ３において、ワーク９１の内部欠陥又は内部構造をより精度良く検出することができる。

【0088】

［４．他の実施の形態］
以上のように、本開示における技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

【0089】

［４－１．第１変形例］
上記実施の形態では、検査システム１が励起源１８を備え、励起源１８によりワーク９１に励起エネルギーを与えながら温度画像の撮影を行うアクティブサーモグラフィ法を利用する例について説明したが、検査システム１は、励起源を備えなくてもよい。例えば、赤外線カメラ１７は、溶接、溶着等の接合過程で発生した熱を反映した温度画像を撮影してもよい。

【0090】

［４－２．第２変形例］
上記実施の形態では、温度画像データに離散フーリエ変換を施して位相画像を抽出する例について説明したが、離散フーリエ変換により抽出されるのは位相画像に限定されない。例えば、プロセッサ１１は、離散フーリエ変換後のデータの振幅特性を示す振幅画像、複素数である離散フーリエ変換後のデータの実部を示す実部画像、又は虚部を示す虚部画像を抽出してもよい。

【0091】

［４－３．第３変形例］
上記実施の形態では、重ね合わされた可視画像ＩＭＧ１、温度画像ＩＭＧ２、及び解析画像ＩＭＧ３を表示装置１４に表示させる例と、重ね合わされた可視画像ＩＭＧ１と解析画像ＩＭＧ３とを表示装置１４に表示させる例とを説明した。しかしながら、本開示で表示される画像はこれらに限定されない。例えば、プロセッサ１１は、位置合わせされた解析画像ＩＭＧ３を表示するように、表示装置１４の一例であるプロジェクタを制御してもよい。

【0092】

図８は、このような変形例のプロジェクタ１４によって表示される解析画像ＩＭＧ３を例示する模式図である。本変形例では、可視光カメラ１９及び赤外線カメラ１７は、被写体の一例である飛行機９４を撮影してそれぞれ可視画像及び温度画像を生成する。プロジェクタ１４は、上記実施の形態に記載の方法により可視画像と位置合わせされた解析画像ＩＭＧ３を飛行機９４に投影する。

【0093】

プロセッサ１１は、解析画像ＩＭＧ３と位置合わせされた可視画像を、実物の飛行機９４に位置合わせすることにより、投影される解析画像ＩＭＧ３を実物の飛行機９４に位置合わせする。例えば、プロセッサ１１は、可視光カメラ１９の画角と、プロジェクタ１４の画角とを合わせることにより、可視画像を飛行機９４に位置合わせする。これにより、プロセッサ１１は、投影される解析画像ＩＭＧ３を飛行機９４に位置合わせできる。プロジェクタ１４による投影には、公知のプロジェクションマッピング技術が利用されてもよい。

【0094】

プロセッサ１１は、重ね合わされた可視画像、温度画像、及び解析画像ＩＭＧ３のうち、可視画像及び温度画像の透過率を１（１００％）とすることにより、実質的に解析画像ＩＭＧ３のみを投影してもよい。

【0095】

解析画像ＩＭＧ３を被写体に投影することにより、ユーザは、被写体のどの位置に内部欠陥、溶接欠陥等の構造的特徴があるかをリアルタイムで知ることができる。

【0096】

プロセッサ１１は、位置合わせされた解析画像ＩＭＧ３を示すデータを、飛行機９４その他の被写体を表す３次元モデル又は３次元画像上にマッピング又は投影してもよい。

【0097】

［４－４．第４変形例］
上記実施の形態では、赤外線カメラ１７が複数の温度画像を生成し、検査装置１０のプロセッサ１１が複数の温度画像に対して解析処理（例えば離散フーリエ変換）を施すことにより解析画像ＩＭＧ３を生成する例について説明した。この例では、赤外線カメラ１７は、放射エネルギー量を取得してデジタル変換し、得られたデジタル量を温度分布に変換して温度画像を生成する。

【0098】

しかしながら、本開示の解析処理の対象は温度画像に限定されない。例えば、赤外線カメラ１７が、放射エネルギー量を取得してデジタル変換して複数の赤外画像を生成し、プロセッサ１１は、赤外線カメラ１７から取得した複数の赤外画像に対して解析処理を施すことにより解析画像を生成してもよい。

【0099】

６．態様例
以下、本開示の態様を例示する。

【0100】

＜態様１＞
画像を取得する入力部と、
画像処理を行うプロセッサとを備え、
前記プロセッサは、
可視光撮影装置が被写体を撮影して生成した可視画像を、前記入力部を介して取得し、
赤外線撮影装置が前記被写体を時系列で撮影して生成した複数の赤外画像を、前記入力部を介して取得し、
前記複数の赤外画像に解析処理を施して前記被写体の温度変化に応じた解析画像を生成し、
前記可視画像上の位置と前記赤外画像上の位置との対応関係に基づいて、前記可視画像に対して前記解析画像を位置合わせする、
画像処理装置。

【0101】

＜態様２＞
前記プロセッサは、
前記可視画像と前記赤外画像とで共通する被写体の位置が一致するように調整することで、前記可視画像と前記赤外画像とを位置合わせし、
前記可視画像と前記赤外画像との位置合わせの結果を用いることにより、前記可視画像に対して前記解析画像を位置合わせする、
態様１に記載の画像処理装置。

【0102】

＜態様３＞
前記プロセッサは、位置合わせされた前記可視画像と前記解析画像とを重ね合わせて重ね合わせ画像を生成する、態様１又は２に記載の画像処理装置。

【0103】

＜態様４＞
前記プロセッサは、位置合わせされた前記可視画像と前記赤外画像と前記解析画像とを重ね合わせて重ね合わせ画像を生成する赤外、態様１又は２に記載の画像処理装置。

【0104】

＜態様５＞
前記プロセッサは、前記重ね合わせ画像を表示するように表示装置を制御する、態様３又は４に記載の画像処理装置。

【0105】

＜態様６＞
前記プロセッサは、位置合わせされた前記解析画像を表示するように表示装置を制御する、態様１～４のいずれかに記載の画像処理装置。

【0106】

＜態様７＞
前記プロセッサは、前記複数の赤外画像に離散フーリエ変換を施すことにより、前記解析画像を生成する、態様１～６のいずれかに記載の画像処理装置。

【0107】

＜態様８＞
前記解析画像は、離散フーリエ変換後のデータの、所定周波数における位相画像、振幅特性を示す振幅画像、実部を示す実部画像、及び虚部を示す虚部画像のうちの少なくとも１つである、態様７に記載の画像処理装置。

【0108】

＜態様９＞
プロセッサによって実行される画像処理方法であって、
可視光撮影装置が被写体を撮影して生成した可視画像を取得するステップと、
赤外線撮影装置が前記被写体を時系列で撮影して生成した複数の赤外画像を取得するステップと、
前記複数の赤外画像に解析処理を施して前記被写体の温度変化に応じた解析画像を生成するステップと、
前記可視画像上の位置と前記赤外画像上の位置との対応関係に基づいて、前記可視画像に対して前記解析画像を位置合わせするステップと、を含む、
画像処理方法。

【産業上の利用可能性】

【0109】

本開示は、画像処理装置及び画像処理方法に適用可能である。

【符号の説明】

【0110】

１ 検査システム
１０ 検査装置
１１ プロセッサ
１２ 記憶装置
１３ インタフェース（入力部）
１４ 表示装置
１５ コントロールボックス
１６ 電源
１７ 赤外線カメラ（赤外線撮影装置）
１８ 励起源
１９ 可視光カメラ（可視光撮影装置）
９１ ワーク（被写体）
９２ 接合領域
９３ 構造
９４ 飛行機

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】