特許 7606328 画像合成装置、画像合成方法、画像合成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-17

(45)【発行日】2024-12-25

(54)【発明の名称】画像合成装置、画像合成方法、画像合成プログラム

(51)【国際特許分類】

   G06T 7/40 20170101AFI20241218BHJP

   G06T 3/00 20240101ALI20241218BHJP

【ＦＩ】

G06T7/40

G06T3/00 780

【請求項の数】 13

(21)【出願番号】P 2020187777

(22)【出願日】2020-11-11

(65)【公開番号】P2022077110

(43)【公開日】2022-05-23

【審査請求日】2023-10-11

(73)【特許権者】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100116274

【弁理士】

【氏名又は名称】富所 輝観夫

(72)【発明者】

【氏名】福井 基文

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１９／１５０８７２（ＷＯ，Ａ１）

【文献】特開２０１１－１１９９７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／００－ ３／６０８

Ｇ０６Ｔ ７／４０－ ７／４９

(57)【特許請求の範囲】

【請求項1】

検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出する重複領域抽出部と、
前記複数の画像の前記重複領域の比較に基づき重要度を判定する重要度判定部と、
前記複数の画像とそれぞれの前記重要度に基づき、前記重複領域に表示させるべき重複領域画像を生成する重複領域画像生成部と、
前記画像群の合成画像を生成する際、前記重複領域には前記重複領域画像を用いる合成画像生成部と、
前記重複領域画像および前記合成画像をそれぞれ表示画面に表示させる表示制御部と
を備え、
前記重要度判定部は、前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度をスコア化し、当該異常スコアが高い画像に高い重要度を付与し、
前記重複領域画像生成部は、前記複数の画像のうち少なくとも前記異常スコアが最も高い画像に基づき、前記重複領域画像を生成する
画像合成装置。

【請求項2】

ユーザの操作に基づき、前記表示画面上の前記重複領域画像を変更する重複領域画像変更部を備え、
前記合成画像生成部は、変更された前記重複領域画像を前記重複領域に用いる
請求項１に記載の画像合成装置。

【請求項3】

前記表示制御部は、前記複数の画像を対比する対比画像を前記表示画面に表示させ、
前記対比画像では、前記重複領域が、それ以外の領域と異なる態様で表示される
請求項１または２に記載の画像合成装置。

【請求項4】

前記表示制御部は、前記複数の画像を個別に合成した個別合成画像を前記表示画面に表示させ、
前記個別合成画像における前記重複領域には前記重複領域画像が用いられる
請求項１から３のいずれかに記載の画像合成装置。

【請求項5】

ユーザの操作に基づき、前記表示画面に前記重複領域画像を表示させるべき前記複数の画像を選択する画像選択部を備える
請求項１から４のいずれかに記載の画像合成装置。

【請求項6】

前記画像選択部は、前記合成画像においてユーザの操作に基づき選択された位置に最も近い複数の画像を選択する
請求項５に記載の画像合成装置。

【請求項7】

前記画像選択部は、ユーザの操作に基づき時間的または空間的に隣接した複数の画像に切り替える
請求項５または６に記載の画像合成装置。

【請求項8】

検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出する重複領域抽出部と、
前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度に応じて重要度を判定する重要度判定部と、
前記重要度に基づき、前記重複領域に表示させるべき重複領域画像を生成する重複領域画像生成部と、
前記画像群の合成画像を生成する際、前記重複領域には前記重複領域画像を用いる合成画像生成部と
を備え、
前記重要度判定部は、前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度をスコア化し、当該異常スコアが高い画像に高い重要度を付与し、
前記重複領域画像生成部は、前記複数の画像のうち少なくとも前記異常スコアが最も高い画像に基づき、前記重複領域画像を生成する
画像合成装置。

【請求項9】

前記重要度判定部は、前記複数の画像について、前記重複領域の鮮明度に応じて重要度を判定する
請求項８に記載の画像合成装置。

【請求項10】

検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出するステップと、
前記複数の画像の前記重複領域の比較に基づき重要度を判定するステップと、
前記複数の画像とそれぞれの前記重要度に基づき、前記重複領域に表示させるべき重複領域画像を生成するステップと、
前記画像群の合成画像を生成する際、前記重複領域には前記重複領域画像を用いるステップと、
前記重複領域画像および前記合成画像をそれぞれ表示画面に表示させるステップと
を備え、
前記重要度を判定するステップは、前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度をスコア化し、当該異常スコアが高い画像に高い重要度を付与し、
前記重複領域画像を生成するステップは、前記複数の画像のうち少なくとも前記異常スコアが最も高い画像に基づき、前記重複領域画像を生成する
画像合成方法。

【請求項11】

検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出するステップと、
前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度に応じて重要度を判定するステップと、
前記重要度に基づき、前記重複領域に表示させるべき重複領域画像を生成するステップと、
前記画像群の合成画像を生成する際、前記重複領域には前記重複領域画像を用いるステップと
を備え、
前記重要度を判定するステップは、前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度をスコア化し、当該異常スコアが高い画像に高い重要度を付与し、
前記重複領域画像を生成するステップは、前記複数の画像のうち少なくとも前記異常スコアが最も高い画像に基づき、前記重複領域画像を生成する
画像合成方法。

【請求項12】

検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出するステップと、
前記複数の画像の前記重複領域の比較に基づき重要度を判定するステップと、
前記複数の画像とそれぞれの前記重要度に基づき、前記重複領域に表示させるべき重複領域画像を生成するステップと、
前記画像群の合成画像を生成する際、前記重複領域には前記重複領域画像を用いるステップと、
前記重複領域画像および前記合成画像をそれぞれ表示画面に表示させるステップと
をコンピュータに実行させ、
前記重要度を判定するステップは、前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度をスコア化し、当該異常スコアが高い画像に高い重要度を付与し、
前記重複領域画像を生成するステップは、前記複数の画像のうち少なくとも前記異常スコアが最も高い画像に基づき、前記重複領域画像を生成する
画像合成プログラム。

【請求項13】

検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出するステップと、
前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度に応じて重要度を判定するステップと、
前記重要度に基づき、前記重複領域に表示させるべき重複領域画像を生成するステップと、
前記画像群の合成画像を生成する際、前記重複領域には前記重複領域画像を用いるステップと
をコンピュータに実行させ、
前記重要度を判定するステップは、前記複数の画像について、前記重複領域に映る前記被検査面の異常の程度をスコア化し、当該異常スコアが高い画像に高い重要度を付与し、
前記重複領域画像を生成するステップは、前記複数の画像のうち少なくとも前記異常スコアが最も高い画像に基づき、前記重複領域画像を生成する
画像合成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は被検査面を撮影した画像群を合成する画像合成技術に関する。

【背景技術】

【0002】

検査対象物を検査する際、被検査面を撮影した画像を利用する技術が知られている。特許文献１に開示される技術は、検査対象物としてのコークス炉の炉壁を順次撮影し、それらの画像を合成した炉壁全体画像を提供するものである。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－１２６９８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、炉壁全体画像を合成する際、撮影順が前の画像が前面に来るように重ね合わせられる。したがって、複数画像間の重複領域には、撮影順が前の画像が常に表示される。このため、撮影順が後の画像の重複領域に異常等が映っていたとしても見落とされてしまう。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、複数画像間の重複領域に表示させるべき画像の生成を支援する画像合成装置を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の画像合成装置は、検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出する重複領域抽出部と、複数の画像に基づき、重複領域に表示させるべき重複領域画像を生成する重複領域画像生成部と、画像群の合成画像を生成する際、重複領域には重複領域画像を用いる合成画像生成部と、重複領域画像および合成画像をそれぞれ表示画面に表示させる表示制御部とを備える。

【0007】

この態様によれば、合成画像に加えて重複領域画像を表示画面に表示させることにより、ユーザが重複領域画像を視認して必要に応じて変更作業等を行うことができる。

【0008】

本発明の別の態様もまた、画像合成装置である。この装置は、検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出する重複領域抽出部と、複数の画像について、重複領域に映る被検査面の異常の程度に応じて重要度を判定する重要度判定部と、重要度に基づき、重複領域に表示させるべき重複領域画像を生成する重複領域画像生成部と、画像群の合成画像を生成する際、重複領域には重複領域画像を用いる合成画像生成部とを備える。

【0009】

この態様によれば、各画像の重複領域に映る異常の程度に応じた重要度に基づいて重複領域画像が生成されるので、異常の見落としを防止できる。

【0010】

本発明のさらに別の態様は、画像合成方法である。この方法は、検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出するステップと、複数の画像に基づき、重複領域に表示させるべき重複領域画像を生成するステップと、画像群の合成画像を生成する際、重複領域には重複領域画像を用いるステップと、重複領域画像および合成画像をそれぞれ表示画面に表示させるステップとを備える。

【0011】

本発明のさらに別の態様もまた、画像合成方法である。この方法は、検査対象物の被検査面を撮影した画像群から、複数の画像の間の重複領域を抽出するステップと、複数の画像について、重複領域に映る被検査面の異常の程度に応じて重要度を判定するステップと、重要度に基づき、重複領域に表示させるべき重複領域画像を生成するステップと、画像群の合成画像を生成する際、重複領域には重複領域画像を用いるステップとを備える。

【0012】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0013】

本発明によれば、複数画像間の重複領域に表示させるべき画像の生成を支援できる。

【図面の簡単な説明】

【0014】

【図1】コークス炉の炉内観察装置を模式的に示す側面図である。

【図2】コークス炉の内部を模式的に示す図である。

【図3】実施形態に係る画像合成装置の機能ブロック図である。

【図4】画像合成装置の画像選択、重複領域抽出、重要度判定の各処理を模式的に示す図である。

【図5】表示制御部による表示画面への表示例を示す図である。

【図6】画像合成装置の処理を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。説明および図面において同一または同等の構成要素、部材、処理には同一の符号を付し、重複する説明は適宜省略する。図示される各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

【0016】

本発明の画像合成装置は、任意の検査対象物の検査に利用できる。したがって、検査対象物が特に限定されるものではないが、本実施形態では特許文献１と同様のコークス炉の炉壁を例に説明する。検査対象物の他の例については後述する。

【0017】

図１は、炉内観察装置を模式的に示す側面図である。この炉内観察装置は、コークス炉の炭化室（以下、単にコークス炉ともいう）の内部を観察するために使用される。また、図２は、コークス炉の内部を模式的に示す図である。

【0018】

コークス炉１０は、一対のレンガ造りの炉壁１１が互いに対向して設けられた狭窄な炉である。各炉壁１１は、コークス炉１０の一方側の炉入口１２から他方側の炉出口１３に延び、その全長は例えば十数メートルに及ぶ。対向する炉壁１１の間隔は、例えば数十センチメートルである。コークス炉１０の底１５から天井１４への高さは、例えば数メートルである。

【0019】

図１に示される押出装置２０は、コークス炉１０内を反復的に往復移動する。往路において、押出装置２０は、コークス炉１０内に炉入口１２から挿入され、コークス炉１０内の乾留によって生成されたコークスＣを炉出口１３へと押し出す。復路において、押出装置２０は、コークス炉１０内を炉出口１３から炉入口１２へ戻る。押出装置２０は、押板２１とビーム２２を備え、ビーム２２が押板２１を図示しない駆動装置に接続する。この駆動装置により、押板２１がコークス炉１０の炉入口１２と炉出口１３の間を移動自在となっている。押板２１がコークス炉１０の断面と同形状をしているため、押板２１の移動によりコークスＣを押し出せる。

【0020】

カメラ３０は、押出装置２０とともにコークス炉１０内を炉入口１２と炉出口１３の間で移動しながら連続的に炉壁１１を撮影する。カメラ３０は、静止画を連続的に撮影するスチルカメラでもよいし、動画を撮影するビデオカメラでもよい。カメラ３０は、押板２１の背面または押板２１の後方に設置された支持台に取り付けられる。カメラ３０は、左右の炉壁１１それぞれに向けて取り付けられる２つのカメラを含み、左右両側の炉壁１１の正面視画像を撮影できる。左右の炉壁１１全体を撮影するために、２つのカメラは、上下方向に角度をいくらか変化させながら撮影してもよい。なお、カメラ３０は、押板２１やコークスＣに視界を阻まれないように、押出装置２０によるコークスＣの押出方向と逆方向（図１の右方向）を向くように取り付けられてもよい。その場合、カメラ３０は、炉入口１２に正対して設置されており、左右両側の炉壁１１を斜視画像として撮影できる。コークス炉１０内の高温環境（たとえば１０００℃以上）からカメラ３０を保護するために、例えば耐熱ハウジングまたは冷却ボックスに収納する熱対策が施されている。

【0021】

図３は、実施形態に係る画像合成装置１００の機能ブロック図である。画像合成装置１００は、画像処理部１０１と、画像選択部１０２と、重複領域抽出部１０３と、重要度判定部１０４と、重複領域画像生成部１０５と、合成画像生成部１０６と、表示制御部１０７と、重複領域画像変更部１０８を備える。カメラ３０および画像メモリ３１は、検査対象物の被検査面としての炉壁１１を撮影した画像群を画像合成装置１００に入力する画像入力部を構成する。表示画面４０は、画像合成装置１００の処理内容を表示する。操作部５０は、表示画面４０と一体のタッチパネルや表示画面４０と別体のキーボードやマウス等の入力デバイスで構成され、ユーザの操作に基づき画像合成装置１００に対する各種の制御情報を生成する。

【0022】

画像メモリ３１は、カメラ３０が連続的に撮影した炉壁１１の画像群を保存する。画像メモリ３１は、カメラ３０の内蔵メモリでもよいし、メモリーカード等の汎用のリムーバブルメディアでもよい。また、有線または無線でカメラ３０と通信可能なコークス炉１０外のストレージでもよい。画像合成装置１００は、画像メモリ３１に保存された画像群に対して、後述する各処理を実行する。ここで、カメラ３０と画像合成装置１００が有線または無線で通信可能で、画像合成装置１００がカメラ３０の撮影画像をリアルタイムで取得して処理できる場合は、必ずしも全ての画像を画像メモリ３１に保存する必要はなく、画像メモリ３１は不要または小容量とできる。また、画像メモリ３１には、カメラ３０で撮影した炉壁面の正面視画像やその他の画像を格納してもよい。

【0023】

画像処理部１０１は、カメラ３０または画像メモリ３１から提供される炉壁１１の各正面視画像の被検査面上の二次元座標による位置情報を演算する。カメラ３０が炉壁１１の一連の正面視画像を撮影する際のカメラ３０の押出方向（図１の左右方向）に沿った位置と、カメラ３０の上下方向の傾き角度を図示しないセンサで測定し、その測定情報に基づいて各正面視画像の二次元座標を演算できる。なお、カメラ３０の位置を測定するセンサは、コークス炉１０内におけるカメラ３０の押出方向に沿った位置を直接的に測定する位置センサでもよいし、押出装置２０の押出量を測定するエンコーダでもよい。なお、カメラ３０または画像メモリ３１から提供される炉壁１１の画像が斜視画像である場合、画像処理部１０１は、斜視画像の視点を変換し、被検査面としての炉壁１１の正面視画像を生成してもよい。上記の各センサの測定情報に基づき、既存の技術を利用して斜視画像を正面視画像に変換できる。

【0024】

画像選択部１０２は、後述する重複領域抽出部１０３、重要度判定部１０４、重複領域画像生成部１０５の各処理に用いられる画像対を正面視の画像群から選択する。図４の左側に示されるように、押出装置２０が炉入口１２と炉出口１３の間を移動する間に、カメラ３０がＮ枚（Ｎは２以上の任意の自然数）の画像３２１～３２Ｎからなる画像群３２を撮影したとする（ｔ１～ｔＮはそれぞれの撮影時刻を表す）。画像選択部１０２は、このＮ枚の画像３２１～３２Ｎから任意の画像対を選択する。この選択処理は、後述する重複領域の抽出を主目的とするため、撮影箇所が重複している可能性の高い、近接した撮影時刻の画像対を優先的に選択するのが好ましい。以下では、撮影時刻ｔｉの画像３２ｉと、撮影時刻ｔｉ＋１の画像３２ｉ＋１が選択された場合を例に説明する。なお、画像選択部１０２は、ユーザの操作部５０の操作に基づいて画像対を選択してもよい。また、総当たり的に全部でＮＣ２通りの画像対を順番に選択してもよい。

【0025】

重複領域抽出部１０３は、画像選択部１０２で選択された画像対の重複領域を抽出する。図４の中央に示されるように、ｉ番目の画像３２ｉの中心の位置座標を（Ｘｉ，Ｙｉ）、ｉ＋１番目の画像３２ｉ＋１の中心の位置座標を（Ｘｉ＋１，Ｙｉ＋１）と表す場合、両画像のＸ座標の差の絶対値が一定の画像幅ｗより小さく、かつ、両画像のＹ座標の差の絶対値が一定の画像高ｈより小さい場合、両画像は重複領域Ｄを有する。逆に、選択された画像対に重複領域Ｄがなかった場合は、画像選択部１０２の処理に戻って他の画像対が選択される。なお、カメラ３０のコークス炉１０内の位置情報が入手できず、各画像の位置座標が不明の場合は、コーナー検出法等を利用して各画像の特徴点を抽出し、それらをマッチングさせることで互いに重複する画像領域を抽出してもよい。

【0026】

重要度判定部１０４は、画像対を構成する各画像の重複領域の比較に基づき重要度を判定する。具体的には、重要度判定部１０４は、各重複領域に映る被検査面の異常の程度や、各重複領域の鮮明度に応じて重要度を判定する。図４の右側に示されるように、ｉ番目の画像３２ｉに含まれる重複領域画像Ｄｉと、ｉ＋１番目の画像３２ｉ＋１に含まれる重複領域画像Ｄｉ＋１の異常の程度や鮮明度が比較される。なお、画像３２ｉと画像３２ｉ＋１は時間的に連続して撮影された画像であり、両画像間で異常の程度や鮮明度が変わらないのが理想的であるが、赤熱環境にあるコークス炉１０内は明るさや温度が突発的に変化しやすく、予期しないノイズも発生しやすいため、時間的に連続する画像間でも大きな差が生じうる。

【0027】

被検査面としてのコークス炉１０の炉壁１１に生じる異常ないし損傷の類型としては、急熱や急冷による歪みで炉壁１１が破壊するスポーリング、コークスの原料の石炭に由来するカーボンの炉壁１１への付着、炉壁１１を構成するレンガの目地の劣化が例示される。これらの異常の類型を予め機械学習させた重要度判定部１０４は、各重複領域画像Ｄｉ、Ｄｉ＋１に映る異常を的確に検出した上で、所定のアルゴリズムに基づいて異常の程度をスコア化する。そして、この異常スコアが高い重複領域画像（ＤｉまたはＤｉ＋１）に高い重要度を付与する。なお、異常スコアを算出するアルゴリズムは目的に応じて適宜設計できるが、重複領域に占める異常領域の割合（面積率）を考慮することが好ましい。また、優先度の高い特定の類型の異常（例えばスポーリング）に重み付けをして、その異常がある場合に高スコアとなるように設計してもよい。

【0028】

重複領域画像ＤｉおよびＤｉ＋１の鮮明度の判定においては、画像合成装置１００のユーザである人間にとって鮮明度が高い画像に高い重要度が付与されるように、人間の目の特性を考慮した画質評価手法を用いるのが好ましい。例えば、ＮＩＱＥ（Natural Image Quality Evaluator）等の既存の画質評価手法を利用できる。

【0029】

重複領域画像生成部１０５は、重複領域画像ＤｉおよびＤｉ＋１について重要度判定部１０４が判定した重要度に基づき、重複領域Ｄに表示させるべき重複領域画像を生成する。両画像ＤｉおよびＤｉ＋１のいずれを用いても問題ない場合、例えば、両画像の重要度ともに所定の上限閾値以上または所定の下限閾値以下の場合は、各画素について画像ＤｉおよびＤｉ＋１の平均値を取ったものを重複領域画像とする。あるいは、画像ＤｉおよびＤｉ＋１のいずれかを任意で選択して重複領域画像としてもよい。また、画像ＤｉおよびＤｉ＋１の少なくともいずれかの重要度が下限閾値より大きく上限閾値より小さい場合は、重要度の高い画像（ＤｉまたはＤｉ＋１）を重複領域画像とする。以上のように、重要度の高い画像、すなわち、被検査面の異常が甚だしい画像や鮮明度の高い画像に基づいて重複領域画像が生成されるので、ユーザの目視検査を効果的に支援できる。

【0030】

なお、重複領域画像生成部１０５の変形例として、上記のような上限閾値や下限閾値を用いずに、各画像ＤｉおよびＤｉ＋１の重要度に基づく各画素値の加重平均を取ったものを重複領域画像としてもよい。つまり、画像Ｄｉの重要度をＷｉ、画像Ｄｉ＋１の重要度をＷｉ＋１、画像Ｄｉの各画素値をＰｉ、画像Ｄｉ＋１の各画素値をＰｉ＋１としたとき、重複領域画像の各画素値Ｐは、Ｗｉ×Ｐｉ＋Ｗｉ＋１×Ｐｉ＋１、と表せる。なお、この場合、Ｗｉ＋Ｗｉ＋１＝１となるように、重要度が正規化されているものとする。また、上記では、各画像ＤｉおよびＤｉ＋１の単位で重複領域画像を生成したが、各画像ＤｉおよびＤｉ＋１を分割した部分画像単位で重要度判定と重複領域画像生成を行ってもよい。例えば、各画像ＤｉおよびＤｉ＋１をそれぞれ部分画像１と部分画像２に二分割した場合、部分画像１においては画像Ｄｉの重要度が高くなり、部分画像２においては画像Ｄｉ＋１の重要度が高くなったとして、部分画像１として画像Ｄｉを用い、部分画像２として画像Ｄｉ＋１を用いたものを重複領域画像として生成できる。

【0031】

合成画像生成部１０６は、画像選択部１０２、重複領域抽出部１０３、重要度判定部１０４、重複領域画像生成部１０５で処理された一連の画像対の合成画像を生成する。図５の上段の合成画像表示部４１に合成画像の例を示す。この合成画像は、図４に示される画像群３２を炉壁１１の全体画像として合成したものである。合成画像を構成する各画像間には重複領域があるが、そこには重複領域画像生成部１０５で生成された重複領域画像が用いられる。また、図示されるように、重複領域は、これを視認するユーザの注意を促すために、それ以外の非重複領域と異なる態様で表示される。

【0032】

表示制御部１０７は、表示画面４０に、画像合成装置１００の処理内容を表示させる。図５は、表示制御部１０７による表示画面４０への表示例を示す。図５の上段には、前述した合成画像表示部４１が設けられる。図５の下段には、左から順に、対比画像表示部４２、個別合成画像表示部４３、重複領域画像編集部４４が設けられる。

【0033】

対比画像表示部４２、個別合成画像表示部４３、重複領域画像編集部４４は、全体画像のうち、ユーザの操作部５０の操作に基づいて画像選択部１０２が選択した画像対やその重複領域画像を異なる態様で表示する。操作部５０による画像対選択の方法は二種類ある。一つ目の方法では、合成画像表示部４１の任意の領域をユーザがタッチ操作やポインタ等で選択すると、そこから最も近い画像対、または、そこから最も近い重複領域を含む画像対が選択される。二つ目の方法では、一対の逆方向の矢印で示される画像切替部４５をユーザがタッチ操作やポインタ等で押下すると、時間的または空間的に隣接した画像対に切り替わる。具体的には、「進む」を意味する右方向の矢印を押下すると、時間的に一つ後または空間的に右隣の画像対に切り替わり、「戻る」を意味する左方向の矢印を押下すると、時間的に一つ前または空間的に左隣の画像対に切り替わる。以下で説明するように、対比画像表示部４２、個別合成画像表示部４３、重複領域画像編集部４４のいずれも、重複領域に表示させるべき重複領域画像を表示する。したがって、表示制御部１０７は、合成画像を合成画像表示部４１に表示させると同時に、重複領域画像を対比画像表示部４２、個別合成画像表示部４３、重複領域画像編集部４４に表示させる。

【0034】

対比画像表示部４２は、選択された画像対を対比する対比画像を表示する。対比画像は、図４の右側と同様に、画像対を構成する各画像を左右に並べて表示し、重複領域を非重複領域と異なる態様で強調表示する。これにより、ユーザの重複領域への注意を促し、目視で対比検討できるようにする。

【0035】

個別合成画像表示部４３は、選択された画像対を個別に合成した個別合成画像を表示する。個別合成画像における重複領域には重複領域画像生成部１０５で生成された重複領域画像が用いられる。また、対比画像と同様に、重複領域は非重複領域と異なる態様で強調表示される。これにより、ユーザの重複領域への注意を促し、重複領域での合成結果を精査できるようにする。

【0036】

重複領域画像編集部４４は、選択された画像対の重複領域画像を拡大表示し、ユーザの操作部５０の操作に基づいて編集する。図３の機能ブロック図においては、重複領域画像変更部１０８がその機能を実現しており、ユーザの操作部５０の操作に基づいて重複領域画像を変更し、重複領域画像生成部１０５が生成していた重複領域画像を上書きする。編集完了後、ユーザが操作部５０の操作に基づいて図５の更新ボタン４６を押下すると、編集内容が合成画像表示部４１の全体合成画像と個別合成画像表示部４３の個別合成画像に反映される。重複領域画像編集部４４による編集の内容は特に限定されるものではないが、例えば、被検査面の異常を強調するための各種の画像フィルタを用いてもよいし、重複領域画像の全部または一部の明度、彩度、色相を調整できるようにしてもよいし、ユーザが重複領域画像に直接描画できるようにしてもよい。また、図５の読込ボタン４７を押下すれば、画像合成装置１００の外部で編集された重複領域画像を読み込むことができ、保存ボタン４８を押下すれば、画像合成装置１００の外部での編集のために重複領域画像を保存できる。

【0037】

図６は、以上で説明した画像合成装置１００の処理を示すフローチャートである。本図において「Ｓ」はステップを意味する。Ｓ１では、カメラ３０および画像メモリ３１が、検査対象物の被検査面を撮影した画像群を画像合成装置１００に入力する。Ｓ２では、画像処理部１０１が、入力された各正面視画像の被検査面上の二次元座標による位置情報を演算する。また、入力された画像が斜視画像である場合、画像処理部１０１は、各斜視画像の視点を変換して各正面視画像を生成するとともに、その位置情報を演算する。

【0038】

Ｓ３では、画像選択部１０２が、重複領域抽出部１０３、重要度判定部１０４、重複領域画像生成部１０５の各処理に用いられる画像対を選択する。Ｓ４では、重複領域抽出部１０３が、Ｓ３で選択された画像対の重複領域を抽出する。Ｓ４で重複領域が抽出されなかった場合は、後続のＳ５およびＳ６をスキップしてＳ７に進み、未処理画像がある場合は再びＳ３に戻って別の未処理の画像対が選択される。Ｓ４で重複領域が抽出された場合はＳ５に進み、重要度判定部１０４が、画像対を構成する各画像の重複領域の比較に基づき重要度を判定する。Ｓ６では、重複領域画像生成部１０５が、Ｓ５で判定した重要度に基づき、重複領域に表示させるべき重複領域画像を生成する。Ｓ７では、未処理画像があるか判定される。未処理画像がある場合はＳ３に戻って別の未処理の画像対が選択され、未処理画像がなくなるまでＳ３～Ｓ７の処理が繰り返される。

【0039】

Ｓ８では、合成画像生成部１０６が、Ｓ３～Ｓ６で処理された一連の画像対の合成画像を生成する。具体的には、図５の合成画像表示部４１に表示すべき全体合成画像と、個別合成画像表示部４３に表示すべき個別合成画像を生成する。Ｓ９では、表示制御部１０７が、表示画面４０に、画像合成装置１００の処理内容を表示させる。具体的には、合成画像表示部４１に全体合成画像を表示させ、対比画像表示部４２に対比画像を表示させ、個別合成画像表示部４３に個別合成画像を表示させ、重複領域画像編集部４４に重複領域画像を表示させる。なお、対比画像表示部４２、個別合成画像表示部４３、重複領域画像編集部４４に最初に表示させるべき画像対は、任意に設定できる。例えば、全体合成画像の左端の画像対を最初に表示させる。この画像対の選択は、Ｓ１０でユーザの操作部５０の操作に基づき画像選択部１０２が変更でき、Ｓ１１で表示を更新できる。また、Ｓ１０でユーザの操作部５０の操作に基づき重複領域画像変更部１０８が重複領域画像を変更した場合、Ｓ６で生成された重複領域画像が上書きされ、更新ボタン４６の押下操作によりＳ１１で表示が更新される。

【0040】

以上、本発明を実施形態に基づいて説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0041】

実施形態では、画像合成装置１００の検査対象物としてコークス炉１０を例に説明したが、検査対象物はこれに限定されない。例えば、検査対象物は、ボイラー、建設機械など各種の産業機械（コークス炉を含む）、橋梁などの社会インフラ、環境プラントや水処理施設など各種の産業構造物、またはその他の産業設備でもよく、被検査面は、こうした産業設備の内部または外部の被検査面でもよい。また、これらの被検査面の画像群を撮影するカメラは、被検査面に沿って移動可能な任意の構成の移動体に取り付けることができる。例えば、カメラはいわゆるドローンなどの飛行体に取り付けてもよい。

【0042】

なお、実施形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

【符号の説明】

【0043】

１０ コークス炉、１１ 炉壁、２０ 押出装置、３０ カメラ、３２ 画像群、４０ 表示画面、４１ 合成画像表示部、４２ 対比画像表示部、４３ 個別合成画像表示部、４４ 重複領域画像編集部、４５ 画像切替部、５０ 操作部、１００ 画像合成装置、１０１ 画像処理部、１０２ 画像選択部、１０３ 重複領域抽出部、１０４ 重要度判定部、１０５ 重複領域画像生成部、１０６ 合成画像生成部、１０７ 表示制御部、１０８ 重複領域画像変更部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】