特許 6869880 検査画像合成装置、検査画像合成システム、検査画像合成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6869880

(24)【登録日】2021年4月16日

(45)【発行日】2021年5月12日

(54)【発明の名称】検査画像合成装置、検査画像合成システム、検査画像合成方法およびプログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20210426BHJP

   G01N 21/88 20060101ALI20210426BHJP

   G06T 5/50 20060101ALI20210426BHJP

   G03B 15/00 20210101ALI20210426BHJP

   G03B 37/00 20210101ALI20210426BHJP

【ＦＩ】

   G06T3/00 780

   G01N21/88 Z

   G06T5/50

   G03B15/00 H

   G03B15/00 T

   G03B37/00 A

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2017-239081(P2017-239081)

(22)【出願日】2017年12月13日

(65)【公開番号】特開2019-106075(P2019-106075A)

(43)【公開日】2019年6月27日

【審査請求日】2019年11月8日

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(74)【代理人】

【識別番号】100210572

【弁理士】

【氏名又は名称】長谷川 太一

(72)【発明者】

【氏名】山口 岳彦

(72)【発明者】

【氏名】川瀬 直人

(72)【発明者】

【氏名】杉本 喜一

(72)【発明者】

【氏名】木村 是

(72)【発明者】

【氏名】川浪 精一

(72)【発明者】

【氏名】長谷部 貴士

(72)【発明者】

【氏名】小橋 優司

(72)【発明者】

【氏名】松本 知浩

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開平０９−３２２０５５（ＪＰ，Ａ）

【文献】 特開２００１−１２４５２２（ＪＰ，Ａ）

【文献】 特開２００３−０６０８８８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ５／５０

Ｇ０１Ｎ ２１／８８

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置から、撮影した画像と撮影位置情報とを取得する画像情報取得部と、
時系列で隣り合う前記画像毎の撮影位置情報から、これら画像間の移動量を演算する移動量演算部と、
前記時系列で隣り合う前記画像間で重なり合う画素の範囲を、前記移動量と、前記撮影装置に前記検査対象物の表面を走査させるために設定される走査軌跡情報とに基づいて、前記移動量のばらつきに応じた幅を有する範囲として算出し、算出した範囲をテンプレートマッチングにおける探索範囲として設定する探索範囲設定部と、
前記探索範囲にてテンプレートマッチングを行って前記画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成する画像合成部と、
を備える検査画像合成装置。

【請求項2】

前記探索範囲設定部は、前記画像の画素の縦方向、横方向それぞれに前記移動量のばらつきに応じた幅を有する前記探索範囲を設定する、
請求項１に記載の検査画像合成装置。

【請求項3】

前記探索範囲設定部は、前記撮影装置が過去に撮影した時系列の画像から前記移動量のばらつきに応じた幅を算出する、
請求項１または請求項２に記載の検査画像合成装置。

【請求項4】

前記探索範囲設定部は、前記撮影装置の動作テストデータから前記移動量のばらつきに応じた幅を算出する、
請求項１から３の何れか一項に記載の検査画像合成装置。

【請求項5】

前記探索範囲設定部は、前記移動量の複数の実績データにおける前記移動量の最大値または最小値と前記撮影装置の標準の移動量との差を前記移動量のばらつきの最大として、前記移動量のばらつきの最大値に応じた幅を算出する、
請求項３または請求項４に記載の検査画像合成装置。

【請求項6】

前記探索範囲設定部は、前記移動量の実績データから得られた前記移動量のばらつきの大きさに余裕分を加えた値を前記移動量のばらつきの最大値として、前記移動量のばらつきの最大値に応じた探索範囲の幅を算出する、
請求項３または請求項４に記載の検査画像合成装置。

【請求項7】

前記探索範囲設定部は、前記移動量の度数分布における３σを前記移動量のばらつきの最大値として、前記移動量のばらつきの最大値に応じた探索範囲の幅を算出する、
請求項３または請求項４に記載の検査画像合成装置。

【請求項8】

検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置と、
前記撮影装置が撮影した画像と撮影位置情報とを取得する画像情報取得部と、
時系列で隣り合う前記画像毎の撮影位置情報から、これら画像間の移動量を演算する移動量演算部と、
前記時系列で隣り合う前記画像間で重なり合う画素の範囲を、前記移動量と、前記撮影装置に前記検査対象物の表面を走査させるために設定される走査軌跡情報とに基づいて、前記移動量のばらつきに応じた幅を有する範囲として算出し、算出した範囲をテンプレートマッチングにおける探索範囲として設定する探索範囲設定部と、
前記探索範囲にてテンプレートマッチングを行って前記画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成する画像合成部と、
を備える検査画像合成システム。

【請求項9】

検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置から、撮影した画像と撮影位置情報とを取得することと、
時系列で隣り合う前記画像毎の撮影位置情報から、これら画像間の移動量を演算することと、
前記時系列で隣り合う前記画像間で重なり合う画素の範囲を、前記移動量と、前記撮影装置に前記検査対象物の表面を走査させるために設定される走査軌跡情報とに基づいて、前記移動量のばらつきに応じた幅を有する範囲として算出し、算出した範囲をテンプレートマッチングにおける探索範囲として設定することと、
前記探索範囲にてテンプレートマッチングを行って前記画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成することと、
を含む検査画像合成方法。

【請求項10】

コンピュータに、
検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置から、撮影した画像と撮影位置情報とを取得することと、
時系列で隣り合う前記画像毎の撮影位置情報から、これら画像間の移動量を演算することと、
前記時系列で隣り合う前記画像間で重なり合う画素の範囲を、前記移動量と、前記撮影装置に前記検査対象物の表面を走査させるために設定される走査軌跡情報とに基づいて、前記移動量のばらつきに応じた幅を有する範囲として算出し、算出した範囲をテンプレートマッチングにおける探索範囲として設定することと、
前記探索範囲にてテンプレートマッチングを行って前記画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成することと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査画像合成装置、検査画像合成システム、検査画像合成方法およびプログラムに関する。

【背景技術】

【0002】

作業員が入れない場所にある検査対象物を目視検査する方法として、該当場所に移動式の撮影装置に検査対象物の表面を走査させて撮影を行わせ、得られた画像を用いて目視検査を行う方法がある。この方法で、得られた複数の画像を手作業で重ね合わせてパノラマ画像を生成する場合がある。特に、目視検査では一般的に、対象を高解像度で確認することが要求されるために画角が狭くなり、きず等が複数の画像にまたがって撮影される場合がある。このような場合に、きず等の全体像を把握するために、手作業でパノラマ画像を生成することがある。
また、特許文献１では、検査対象を撮影して得た、各フレームに対してほぼ独立なノイズを含む映像の複数のフレームについて局所的に位置合わせを行ってフレーム合成を行うことで、ＳＮ比が高いフレームを生成することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５６０２５３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

手作業でパノラマ画像を生成することは、作業者にとって負担であり、パノラマ画像の生成を自動化できることが好ましい。一方で、目視検査で得られる画像は一般的に色調差に乏しいことから、複数の画像の重なり部分を特定することが困難、または時間を要する。目視検査用に撮影された複数の画像の重なり部分を、より短時間で特定できることが好ましい。

【0005】

また、特許文献１では、撮影装置が移動して撮影を行った場合に複数の画像の重なり部分を検出する具体的方法は示されていない。例えば、特許文献１では、フレームを同一形状の局所領域に分割して位置合わせを行うことが記載されているものの、どの局所領域とどの局所領域との位置合わせを試みるかについては記載されていない。

【0006】

本発明は、目視検査用に撮影された複数の画像の重なり部分を、より短時間で特定することができる検査画像合成装置、検査画像合成システム、検査画像合成方法およびプログラムを提供する。

【課題を解決するための手段】

【0007】

本発明の第１の態様によれば、検査画像合成装置は、検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置から、撮影した画像と撮影位置情報とを取得する画像情報取得部と、時系列で隣り合う前記画像毎の撮影位置情報から、これら画像間の移動量を演算する移動量演算部と、前記時系列で隣り合う前記画像間で重なり合う画素の範囲を、前記移動量と、前記撮影装置に前記検査対象物の表面を走査させるために設定される走査軌跡情報とに基づいて、前記移動量のばらつきに応じた幅を有する範囲として算出し、算出した範囲をテンプレートマッチングにおける探索範囲として設定する探索範囲設定部と、前記探索範囲にてテンプレートマッチングを行って前記画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成する画像合成部と、を備える。

【0009】

前記探索範囲設定部は、前記画像の画素の縦方向、横方向それぞれに前記移動量のばらつきに応じた幅を有する前記探索範囲を設定するようにしてもよい。

【0010】

前記探索範囲設定部は、前記撮影装置が過去に撮影した時系列の画像から前記移動量のばらつきに応じた幅を算出するようにしてもよい。

【0011】

前記探索範囲設定部は、前記撮影装置の動作テストデータから前記移動量のばらつきに応じた幅を算出するようにしてもよい。

【0012】

前記探索範囲設定部は、前記移動量の複数の実績データにおける前記移動量の最大値または最小値と前記撮影装置の標準の移動量との差を前記移動量のばらつきの最大として、前記移動量のばらつきの最大値に応じた探索範囲の幅を算出するようにしてもよい。

【0013】

前記探索範囲設定部は、前記移動量の実績データから得られた前記移動量のばらつきの大きさに余裕分を加えた値を前記移動量のばらつきの最大値として、前記移動量のばらつきの最大値に応じた探索範囲の幅を算出するようにしてもよい。

【0014】

前記探索範囲設定部は、前記移動量の度数分布における３σを前記移動量のばらつきの最大値として、前記移動量のばらつきの最大値に応じた探索範囲の幅を算出するようにしてもよい。

【0016】

本発明の第２の態様によれば、検査画像合成システムは、検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置と、前記撮影装置が撮影した画像と撮影位置情報とを取得する画像情報取得部と、時系列で隣り合う前記画像毎の撮影位置情報から、これら画像間の移動量を演算する移動量演算部と、前記時系列で隣り合う前記画像間で重なり合う画素の範囲を、前記移動量と、前記撮影装置に前記検査対象物の表面を走査させるために設定される走査軌跡情報とに基づいて、前記移動量のばらつきに応じた幅を有する範囲として算出し、算出した範囲をテンプレートマッチングにおける探索範囲として設定する探索範囲設定部と、前記探索範囲にてテンプレートマッチングを行って前記画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成する画像合成部と、を備える。

【0017】

本発明の第３の態様によれば、検査画像合成方法は、検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置から、撮影した画像と撮影位置情報とを取得することと、時系列で隣り合う前記画像毎の撮影位置情報から、これら画像間の移動量を演算することと、前記時系列で隣り合う前記画像間で重なり合う画素の範囲を、前記移動量と、前記撮影装置に前記検査対象物の表面を走査させるために設定される走査軌跡情報とに基づいて、前記移動量のばらつきに応じた幅を有する範囲として算出し、算出した範囲をテンプレートマッチングにおける探索範囲として設定することと、前記探索範囲にてテンプレートマッチングを行って前記画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成することと、を含む。

【0018】

本発明の第４の態様によれば、プログラムは、コンピュータに、検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置から、撮影した画像と撮影位置情報とを取得することと、時系列で隣り合う前記画像毎の撮影位置情報から、これら画像間の移動量を演算することと、前記時系列で隣り合う前記画像間で重なり合う画素の範囲を、前記移動量と、前記撮影装置に前記検査対象物の表面を走査させるために設定される走査軌跡情報とに基づいて、前記移動量のばらつきに応じた幅を有する範囲として算出し、算出した範囲をテンプレートマッチングにおける探索範囲として設定することと、前記探索範囲にてテンプレートマッチングを行って前記画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成することと、を実行させるためのプログラムである。

【発明の効果】

【0019】

上記した検査画像合成装置、検査画像合成システム、検査画像合成方法およびプログラムによれば、目視検査用に撮影された複数の画像の重なり部分を、より短時間で特定することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係る検査画像合成システムの機能構成を示す概略ブロック図である。

【図2】同実施形態に係る撮影装置の走査パターンの例を示す図である。

【図3】同実施形態に係る撮影装置の走査パターンの第２の例を示す図である。

【図4】同実施形態に係る撮影装置の走査パターンの第３の例を示す図である。

【図5】同実施形態に係る撮影装置が撮影した画像の時系列の例を示す図である。

【図6】同実施形態に係る撮影装置の移動量の例を示す図である。

【図7】同実施形態に係る画像の重ね合わせの例を示す図である。

【図8】同実施形態に係る撮影装置の移動量にばらつきがある場合の画像の重ね合わせの例を示す図である。

【図9】同実施形態に係るテンプレートマッチングにおけるテンプレートの設定例を示す図である。

【図10】同実施形態に係るテンプレートマッチングにおける探索範囲の設定例を示す図である。

【図11】同実施形態に係る検査画像合成システムを用いた検査の手順の例を示すフローチャートである。

【図12】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の一実施形態に係る検査画像合成システムの機能構成を示す概略ブロック図である。同図に示すように、検査画像合成システム１は、撮影装置１００と、検査画像合成装置２００とを備える。検査画像合成装置２００は、通信部２１０と、表示部２２０と、操作入力部２３０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、移動量演算部２９１と、探索範囲設定部２９２と、画像合成部２９３とを備える。

【0022】

検査画像合成システム１は、検査対象物を目視検査（Visual Testing；ＶＴ）するための、検査対象物の表面の撮影画像を提供する。
撮影装置１００は、検査対象物の表面を走査して一定時間間隔で撮影を行う。
図２は、撮影装置１００の走査パターンの例を示す図である。図２では、検査対象物９００の表面における撮影装置１００の走査パターンが線Ｌ１１で示されている。また、検査対象物９００の表面の傷Ｃ１１が示されている。

【0023】

図２の走査パターンでは、撮影装置１００は、検査対象物９００の表面を図の左右に往復しながら図の下方向に移動していく。撮影装置１００は、往路、復路のそれぞれで撮影を行う。
但し、撮影装置１００の走査パターンは特定のものに限定されない。撮影装置１００の走査パターンとして、目視検査対象範囲全域を撮影可能ないろいろな走査パターンを用いることができる。

【0024】

図３は、撮影装置１００の走査パターンの第２の例を示す図である。図３では、検査対象物９００は、円柱と円錐台と直方体とを組み合わせた形状をしている。撮影装置１００は、矢印で示すように検査対象物９００の上部側から、検査対象物周方向に回転しながら検査対象物９００を走査し、１周する毎に下方に移動して周方向の走査を繰り返す。
撮影装置１００がこのように走査を行うことで、円柱および円錐台など円形を有する検査対象物に対しても走査を行うことができる。

【0025】

図４は、撮影装置１００の走査パターンの第３の例を示す図である。図４では、検査対象物９００の表面における撮影装置１００の走査パターンが実線および破線で示されている。撮影装置１００が実線に沿って移動する際の画像が目視検査に用いられる。一方、撮影装置１００が破線に沿って移動する際の画像は、目視検査には用いられない。
ここで、撮影装置１００の駆動部の歯車のバックラッシ等に起因して、往路と復路とで撮影装置１００の動作が異なる場合が考えられる。この場合、撮影装置１００が１方向で撮影した画像のみを用いることで、バックラッシ等の影響を受けにくくすることができる。

【0026】

検査画像合成装置２００は、撮影装置１００が検査対象物の表面を撮影した画像を複数繋ぎ合わせたパノラマ画像を生成する。ここでいうパノラマ画像は、撮影装置１００の実際の画角よりも広い画角で撮影したのに相当する画像（従って、検査対象物の、より広い範囲を示す画像）である。
検査画像合成装置２００は、例えばパソコン（Personal Computer；ＰＣ）またはＥＷＳ（Engineering Workstation）等のコンピュータを用いて構成される。

【0027】

通信部２１０は、他の装置と通信を行う。特に、通信部２１０は、撮影装置１００からの撮影データを受信する。この撮影データには、撮影装置１００が撮影した画像が画像データにて含まれ、また、当該画像の撮影位置情報（当該画像を撮影した際の撮影装置１００の位置情報）が含まれる。通信部２１０は、画像情報取得部の例に該当する。
ここでの撮影位置情報は、撮影と撮影との間の撮影装置１００の移動量が分かるものであればよい。例えば、撮影位置情報は、撮影装置１００の積算移動距離情報であってもよい。あるいは、撮影位置情報は、撮影時の撮影装置１００の位置を３次元座標データまたは２次元座標データで示すものであってもよい。

【0028】

表示部２２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネル等の表示画面を有し、各種画像を表示する。例えば、表示部２２０は、検査画像合成装置２００が生成した検査対象物のパノラマ画像を表示する。
操作入力部２３０は、例えばキーボードおよびマウス等の入力デバイスを用いて構成され、ユーザ操作を受ける。例えば、表示部２２０が検査対象物のパノラマ画像を表示しているときに、操作入力部２３０が、画像の倍率変更を指示するユーザ操作、および、表示範囲の変更（移動）を指示するユーザ操作を受けるようにしてもよい。

【0029】

記憶部２８０は、各種データを記憶する。例えば、記憶部２８０は、通信部２１０が受信した撮影データを時系列に記憶する。
記憶部２８０は、検査画像合成装置２００が備える記憶デバイスを用いて構成される。
制御部２９０は、検査画像合成装置２００の各部を制御して各種処理を行う。制御部２９０は、検査画像合成装置２００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部２８０からプログラムを読み出して実行することで構成される。

【0030】

移動量演算部２９１は、時系列で隣り合う、撮影装置１００からの画像毎の撮影位置情報から、これら画像間の移動量を演算する。特に、移動量演算部２９１は、当該移動量を画素数で算出する。
例えば、移動量演算部２９１は、時系列で隣り合う画像毎の撮影位置情報の差分をとることで、これらの撮影位置間の距離（すなわち、撮影装置１００の移動量）を算出する。そして、移動量演算部２９１は、算出した距離に撮影装置１００の撮影画像における単位距離当たりの画素数を乗算することで、当該距離を画素数に換算する。

【0031】

図５は、撮影装置１００が撮影した画像の時系列の例を示す図である。図５の横軸は時刻を示す。図５では、各画像の撮影時刻がフレーム番号で示されている。ここでいうフレームは、撮影装置１００の１回の撮影で得られる画像（従って、撮影装置１００が撮影した個々の画像）である。
図５に示す各画像のうち、フレーム番号ｔ＋ω、ｔ＋（ω＋１）、ｔ＋（ω＋２）の各画像には、きず（図２のきずＣ１１）の一部が写っている。図２に示す走査パターンで、撮影装置１００が図の上下方向に一定で左から右へ移動しながら、図５の画像を撮影する。これにより、フレーム番号ｔ＋ω、ｔ＋（ω＋１）、ｔ＋（ω＋２）の順に画像を見ると、きずの像は、高さ（図の上下方向）一定で、図の右側から、中央、左側へと移動している。

【0032】

図６は、撮影装置１００の移動量の例を示す図である。
図６では、図５の各画像のうちフレーム番号ｔ＋ωの画像と、フレーム番号ｔ＋（ω＋１）の画像とが、左右の端を揃えて縦に並べて示されている。以下の説明では、フレーム番号ｔ＋ωの画像を第１画像と称し、フレーム番号ｔ＋（ω＋１）の画像を第２画像と称する。

【0033】

第１画像における点Ｐ１１と、第２画像における点Ｐ１２とは、検査対象物の表面における同一箇所を示している。第１画像と第２画像とは、図の上下方向には、ずれていない。距離ｄが、第１画像を撮影してから第２画像を撮影するまでの撮影装置１００の移動量に該当する。移動量演算部２９１は、この距離ｄを、撮影装置１００が撮影した画像における画素数ｐで算出する。
図６の状態から第２画像を右方向に画素数ｐだけずらした後、第２画像を上方向に移動させて第１画像の上下の端と第２画像の上下の端を揃えることで、これら２つの画像のパノラマ画像を得られる。

【0034】

探索範囲設定部２９２は、時系列で隣り合う、撮影装置１００からの画像間で重なり合う画素の範囲を、移動量演算部２９１が算出した移動量に基づいて算出する。探索範囲設定部２９２は、算出した画素の範囲を、画像合成部２９３が行うテンプレートマッチングにおける探索範囲として設定する。
図７は、画像の重ね合わせの例を示す図である。図７の例では、図６を参照して説明したように、第１画像と第２画像とを、左右に画素数ｐだけずらし、上下を揃えて重ね合わせている。

【0035】

仮に、撮影装置１００が撮影と撮影との間に必ず距離Ｄずつ図２の左から右に移動し、その間、図２の上下方向にずれなければ、図７のように得られた画像を横方向に画素数ｐずつずらして重ね合わせれば、（横１行分の）パノラマ画像を得られる。この場合、重ね合わせる画素の範囲は一意に定まり、画像マッチングを行う必要はない。

【0036】

しかしながら、実際には、撮影装置１００を常に一定速度で移動させることは困難であり、撮影と撮影との間の撮影装置１００の移動量にばらつきが生じる。そこで、探索範囲設定部２９２は、撮影装置１００の移動量のばらつきに応じた幅を有する探索範囲を設定する。
また、通常、撮影装置１００が移動する際、予定された移動方向（図２の横方向）に移動量のばらつきが生じるだけでなく、予定された移動方向と直交方向（図２の上下方向）にもずれる（移動量０からばらつきが生じる）。そこで、探索範囲設定部２９２は、画像の画素の縦方向、横方向それぞれに移動量のばらつきに応じた幅を有する探索範囲を設定する。

【0037】

図８は、撮影装置１００の移動量にばらつきがある場合の画像の重ね合わせの例を示す図である。図８では、重ね合わせで図の左側に位置する画像（図７の例では第１画像）の位置を位置ｑ１で示している。この位置ｑ１との関係で、重ね合わせで図の右側に位置する画像（図７の例では第２画像）の位置を、位置ｑ２、ｑ２’、ｑ２’’の３通り示している。
以下では、重ね合わせで図の左側に位置する画像を左画像と称し、重ね合わせで図の右側に位置する画像を右画像と称する。

【0038】

また、画素数ｐ_ｈは、探索範囲設定部２９２が想定する撮影装置１００の標準の移動量を画素数で表したものである。図８の例では、撮影と撮影との間に撮影装置１００が画素数ｐ_ｈだけ図の右方向へ移動することを標準としている。
画素数Δｐ_ｈは、探索範囲設定部２９２が想定する、予定された移動方向（図の横方向）における移動量のばらつきの最大値である。図８の例では、撮影と撮影との間に撮影装置１００が画素数ｐ_ｈ−Δｐ_ｈからｐ_ｈ＋Δｐ_ｈまでの範囲内で図の右方向へ移動することを想定している。
画素数Δｐ_ｖは、探索範囲設定部２９２が想定する、予定された移動方向と垂直方向（図の縦方向）における移動量のばらつきの最大値である。図８の例では、撮影と撮影との間に撮影装置１００が図の上下いずれにも画素数Δｐ_Ｖの範囲内でずれることを想定している。

【0039】

位置ｑ２は、撮影装置１００が、予定された移動方向である図の右方向に画素数ｐ_ｈだけ移動し、縦方向にずれなかった場合の、右画像の位置である。位置ｑ２’は、撮影装置１００が、図の右方向に画素数ｐ_ｈ−Δｐ_ｈだけ移動し、図の上方向に画素数Δｐ_ｖだけずれた場合の、右画像の位置である。位置ｑ２’’は、撮影装置１００が、図の右方向に画素数ｐ_ｈ−Δｐ_ｈだけ移動し、図の上方向に画素数Δｐ_ｖだけずれた場合の、右画像の位置である。
位置ｑ２’、ｑ２’’は、いずれも図の上下、左右共に想定される最大のぱらつきがあった場合の位置を示している。位置ｑ１、ｑ２’、ｑ２’’の重なった部分である領域Ａ１１は、想定範囲内において２つの画像が必ず重なる部分を示している。

【0040】

図９は、テンプレートマッチングにおけるテンプレートの設定例を示す図である。図９の例で、探索範囲設定部２９２は、撮影装置１００の移動量のばらつきの想定範囲内で左画像が右画像と必ず重なる部分である領域Ａ１１をテンプレートマッチングにおけるテンプレートに設定している。
図９の横方向における左画像の画素数をｐ_ｘとすると、探索範囲設定部２９２の想定範囲内で撮影装置１００の横方向の移動量の最大値であるｐ_ｎ＋Δｐ_ｎ（標準の移動量＋ばらつきの最大値）をｐ_ｘから減算したｐ_ｘ−ｐ_ｎ＋Δｐ_ｎが、テンプレート（領域Ａ１１）の横方向の画素数となる。
また、図９の縦方向における左画像の画素数をｐ_ｙとすると、探索範囲設定部２９２の想定範囲内で撮影装置１００の縦方向の移動量の最大値であるΔｐ_ｎの２倍を減算したｐ_ｙ−２Δｐ_ｎが、テンプレート（領域Ａ１１）の縦方向の画素数となる。撮影装置１００が上方向にずれる場合、下方向にずれる場合の両方を想定してΔｐ_ｎの２倍を減算している。

【0041】

ここでいうテンプレートマッチングは、探索範囲内においてテンプレートの画素値のパターンの出現位置を探索するパターンマッチング手法である。具体的には、以下の手順でパターンマッチングを行う。

【0042】

（１）マッチング対象の２つの画像のうちの一方（図８〜８の例では、左画像）の一部（図８〜８の例では領域Ａ１１）をテンプレートに設定する。
（２）マッチング対象の２つの画像のうちのもう一方（図８〜８の例では、右画像）の一部を探索範囲に設定する。
（３）探索範囲内で、画素値がテンプレートと最もよく一致するする部分画像を探索する。画素値の一致度合いの評価スコアとして、例えば各画素における画素値の差の二乗平均など、画素値の差の大きさを評価可能なスコアを算出し、スコアが最小となる部分画像（画素値の差の大きさが最も小さいと評価される部分画像）を探索する。

【0043】

図１０は、テンプレートマッチングにおける探索範囲の設定例を示す図である。探索範囲設定部２９２は、右画像のうちテンプレート（図９の領域Ａ１１）と重なり合う（検査対象物の表面のうち同一部分を撮影した画像ないし部分画像である）可能性のある範囲を探索範囲に設定する。図１０の例では、探索範囲設定部２９２は、領域Ａ１２を探索範囲に設定する。

【0044】

探索範囲設定部２９２の想定範囲内で撮影装置１００の横方向の移動量の最小値であるｐ_ｎ−Δｐ_ｎ（標準の移動量−ばらつきの最大値）を、図１０の横方向における右画像の画素数ｐ_ｘから減算したｐ_ｘ−（ｐ_ｎ−Δｐ_ｎ）が、探索範囲（領域Ａ１２）の横方向の画素数となる。
図１０の縦方向について、右画像の全体（画素数ｐ_ｙ）が探索範囲に設定される。
図１０で領域Ａ１２内に領域Ａ１１を示しているように、テンプレートマッチングでは、探索範囲内にテンプレートと同じ形、向きおよび大きさの部分画像を設定し、画素値の一致度合いの評価スコアを算出する。設定し得る全ての部分画像のうち、評価スコアが最小となる部分画像の位置を検出する。
なお、ここでいうテンプレートマッチングを実行する手法は、特定の手法に限定されない。

【0045】

図９に例示されるテンプレートおよび図１０に例示される探索範囲を設定するために、撮影装置１００の標準の移動量（図８〜８の例では画素数ｐ_ｈ）と、撮影装置１００の移動量のばらつきの最大値（図８〜８の例では画素数Δｐ_ｈおよびΔｐ_ｖ）を設定する必要がある。
これらのうち撮影装置１００の標準の移動量については、撮影装置１００に設定される移動速度と撮影の周期（撮影と撮影との間の時間間隔）を乗算し、画素数に換算することで算出し得る。

【0046】

一方、撮影装置１００の移動量のばらつきの最大値については、何らかの撮影装置１００の動作の実績データに基づいて求めることが考えられる。
例えば、探索範囲設定部２９２または人が、撮影装置１００が過去に撮影した時系列の画像から、撮影毎に撮影装置１００の移動量を算出し、算出した移動量から移動量のばらつきの最大値を設定するようにしてもよい。撮影装置１００が過去に撮影した時系列の画像として、過去の点検時に撮影した画像、または、工場等での試験時または調整時に撮影した画像を用いることが考えられる。
あるいは、撮影装置１００の動作テストにて、撮影と撮影との間の移動量が記録されていれば、この動作テストデータから撮影装置１００の移動量のばらつきの最大値を設定することができる。

【0047】

撮影装置１００の移動量の実績データが幾つか得られた場合、探索範囲設定部２９２または人が、移動量の最大値または最小値を検出し、得られた最大値または最小値と撮影装置１００の標準の移動量との差を、撮影装置１００の移動量のばらつきの最大値として用いるようにしてもよい。あるいは、探索範囲設定部２９２または人が、移動量の実績データから得られたばらつきの大きさにマージン（余裕分）を加えた値を、撮影装置１００の移動量のばらつきの最大値として用いるようにしてもよい。
あるいは、探索範囲設定部２９２または人が、撮影装置１００の移動量の度数分布を求めて、３σを算出し、移動量のばらつきの最大値として用いるなど、撮影装置１００の移動量のばらつきの最大値を確率的手法で求めるようにしてもよい。

【0048】

また、探索範囲設定部２９２または人が撮影装置１００の移動量のばらつきの最大値を求める際、撮影装置１００に検査対象物の表面を走査させるために設定される走査軌跡情報に基づいて、移動量のばらつきの最大値を設定するようにしてもよい。
例えば、図２の走査パターンで、撮影装置１００が図の左から右へ移動するときと、右から左へ移動するときとでは、画像に写った像の移動方向も逆になる。例えば、図５のフレーム番号ｔ＋ω、ｔ＋（ω＋１）、ｔ＋（ω＋２）の各画像では、写っているきずの像が画像の右から左へ移動している。撮影装置１００が図の右から左へ移動するときは、このきずの像の動きも逆向きになる。また、撮影装置１００が図２の縦方向に移動するときの画像は目視検査には用いられない。撮影装置１００が過去に撮影した画像の時系列に基づいて撮影装置１００の移動量を算出する場合、画像と走査軌跡情報とを突き合わせて画像における移動方向を把握して、撮影装置１００の移動量を求めるようにしてもよい。

【0049】

また、図３の走査パターンの場合、検査対象物９００のうち円柱の部分よりも円錐台の部分の方が１周分の長さが長く、また、円錐台の部分の下側ほど１周分の長さが長くなる。このように、検査対象物９００の部分に応じて撮影装置１００の移動量が異なる場合、走査軌跡情報を参照して、画像と撮影装置１００の位置とを対応付けることが考えられる。
図４の走査パターンの場合、撮影装置１００が破線に沿って移動するときの画像は目視検査には用いられない。この場合も、走査軌跡情報を参照して、画像と撮影装置１００の位置とを対応付けることが考えられる。

【0050】

画像合成部２９３は、探索範囲設定部２９２が設定した探索範囲にてテンプレートマッチングを行って、時系列で隣り合う画像間で重なり合う画素の範囲を特定する。そして、画像合成部２９３は、特定した画素の範囲を重ね合わせたパノラマ画像を合成する。
ここで、画像マッチングの方法としてテンプレートマッチング以外に特徴点抽出による画像マッチングもある。しかしながら、目視検査用の撮影で得られる画像は一般的に色調差に乏しく、適切な特徴点を抽出することが困難である。このことから、目視検査用に撮影された画像に対する画像マッチングでは、特徴点抽出による画像マッチングを行うよりもテンプレートマッチングを行う方がパターンマッチングの精度がよいと期待される。

【0051】

テンプレートマッチングでは、探索範囲の大きさとテンプレートの大きさとの差が大きいほど、探索範囲内にとり得る部分画像の数が多くなり、処理に時間を要する。
これに対し、検査画像合成装置２００では、探索範囲設定部２９２がテンプレートを設定し、テンプレートと重なり合う可能性のある部分を探索範囲に設定することで、探索範囲内にとり得る部分画像の数が少なくて済み、処理時間が比較的短くて済む。

【0052】

次に、検査画像合成システム１を用いた検査の手順について説明する。
図１１は、検査画像合成システム１を用いた検査の手順の例を示すフローチャートである。
図１１の検査手順で、撮影装置１００が検査対象物の表面の撮影を行う（ステップＳ１０１）。
次に、検査画像合成装置２００が、撮影装置１００による検査対象物の表面の画像をパノラマ合成して、検査対象の表面の目視検査対象範囲の全体画像を生成する（ステップＳ１０２）。

【0053】

点検作業員は、検査画像合成装置２００が生成した全体画像を用いて目視検査を行う（ステップＳ１０３）。
そして、点検作業員は目視検査にて指示があったか否かを判定する（ステップＳ１０４）。ここでいう指示は、形状変化またはきず等の異常個所である。
指示が無かったと判定した場合（ステップＳ１０４：ＮＯ）、点検作業員は、検査結果を報告する（ステップＳ１２１）。
ステップＳ１２１の後、図１１の処理を終了する。

【0054】

一方、指示があったと判定した場合（ステップＳ１０４：指示あり）、点検作業員は、検査画像合成装置２００が生成した全体画像のうち、指示に該当する部分を拡大し、より詳細に目視検査を行う（ステップＳ１１１）。
そして、点検作業員は、検査結果を報告し（ステップＳ１１２）、また、別手法による検査、健全性の評価または補修工事など、指示に対する対応措置を決定し実施する（ステップＳ１１３）。
ステップＳ１１３の後、図１１の処理を終了する。

【0055】

図１１の検査手順は、検査画像合成装置２００が画像のパノラマ合成を行って目視検査対象範囲の全体画像を生成することで、点検作業員に大きな負担が生じずに全体画像を得られることを前提に成立している。
図１１の検査手順では、目視検査対象範囲の全体画像を得られることで、点検作業員は、検査対象物の形状を容易に把握することができる。また、検査対象物に指示がある場合、検査対象物における指示の位置を容易に把握できる。また、指示が比較的大きく撮影装置１００の画角に入りきらない場合でも、点検作業員は、目視検査対象範囲の全体画像を参照することで、指示の全体形状を容易に把握できる。

【0056】

また、検査画像合成装置２００が目視検査対象範囲の全体画像を生成するので、撮影装置１００が撮影する個々の画像の画角は比較的小さくてよい。この点で、撮影装置１００は高解像度で撮影を行うことができる。撮影装置１００が高解像度で撮影を行い、検査画像合成装置２００がその画像をパノラマ合成して目視検査対象範囲の全体画像を生成することで、高解像度の全体画像を得られる。目視検査で指示が見つかった場合、点検作業員は、全体画像の該当箇所を拡大してより詳細な目視検査を行うことができる。

【0057】

検査画像合成システム１を用いない一般的な点検では、検査対象物の画像を用いて目視検査を行い、指示が見つかった場合は、撮影の倍率を上げて該当箇所を撮影し直して再度目視検査を行っている。これに対し、検査画像合成システム１を用いた検査では、上記のように検査対象物を再撮影する必要がない。この点で、検査画像合成システム１を用いることで効率よく検査を行うことができる。
また、検査画像合成システム１を用いない一般的な点検では、撮影装置が撮影する画像を点検作業員がリアルタイムで参照して指示の有無を確認している。これに対し、検査画像合成システム１を用いた検査では、点検作業員は、目視検査対象範囲の全体画像を参照して指示の有無を確認すればよく、リアルタイム性による時間的な拘束が無い。
また、検査画像合成システム１を用いない一般的な検査では、点検作業員が参照する画像が時系列で変化してく。これに対し、検査画像合成システム１を用いた検査では、点検員は、目視検査対象範囲の全体画像を参照するので、画像が時系列で変化するということはない。この点で、検査画像合成システム１を用いた検査では、検査精度を向上させることができる。特に、検査画像合成システム１を用いた検査では、動画像ではなく静止画像で目視検査を行うことができる。また、画像が時系列で変化しないので、観察時間（目視検査を行う時間）を限定されず、その結果、異常等の見逃しの可能性を低減させることができる。

【0058】

以上のように、通信部２１０は、検査対象物の表面を走査して一定時間間隔で撮影を行う撮影装置１００から、撮影した画像と撮影位置情報とを取得する。移動量演算部２９１は、時系列で隣り合う画像毎の撮影位置情報から、これら画像間の移動量を演算する。探索範囲設定部２９２は、時系列で隣り合う画像間で重なり合う画素の範囲を撮影装置１００の移動量に基づいて算出し、テンプレートマッチングにおける探索範囲として設定する。画像合成部２９３は、探索範囲にてテンプレートマッチングを行って画像間で重なり合う画素の範囲を特定し、特定した画素の範囲を重ね合わせたパノラマ画像を合成する。

【0059】

探索範囲設定部２９２が、撮影装置１００の移動量に基づいて探索範囲を設定することで、探索範囲の絞り込みを行うことができる。この点で、検査画像合成装置２００によれば目視検査用に撮影された複数の画像の重なり部分を、より短時間で特定することができる。
また、画像合成部２９３がパノラマ画像を合成して目視検査対象範囲の全体画像を生成することで、点検作業員は、全体の位置関係を把握して効率よく、また、高精度に目視点検を行うことができる。

【0060】

また探索範囲設定部２９２は、撮影装置１００移動量のばらつきに応じた幅を有する探索範囲を設定する。
これにより、探索範囲設定部２９２は、撮影装置１００の移動量にばらつきがあってもテンプレートマッチングを行える程度に探索範囲を絞り込むことができる。この点で、検査画像合成装置２００によればテンプレートマッチングの精度の確保と処理時間の低減との両立を図ることができる。

【0061】

また、探索範囲設定部２９２は、画像の画素の縦方向、横方向それぞれに移動量のばらつきに応じた幅を有する探索範囲を設定する。
これにより、検査画像合成装置２００では、予定されている撮影装置１００の移動方向における撮影装置１００の移動量のばらつきに加えて、予定されている撮影装置１００の移動方向に垂直方向のずれに対応して、探索範囲の絞り込みを行うことができる。

【0062】

また、探索範囲設定部２９２は、撮影装置１００が過去に撮影した時系列の画像から撮影装置１００の移動量のばらつきに応じた探索範囲の幅を算出する。
これにより、探索範囲設定部２９２は、撮影装置１００の動作の実績に基づいて探索範囲を設定することができる。この点で、探索範囲設定部２９２は、探索範囲を高精度に設定することができる。

【0063】

また、探索範囲設定部２９２は、撮影装置１００の動作テストデータから撮影装置１００移動量のばらつきに応じた探索範囲の幅を算出する。
これにより、探索範囲設定部２９２は、撮影装置１００の動作の実績に基づいて探索範囲を設定することができる。この点で、探索範囲設定部２９２は、探索範囲を高精度に設定することができる。

【0064】

また、探索範囲設定部２９２は、移動量の複数の実績データにおける移動量の最大値または最小値と撮影装置１００の標準の移動量との差を移動量のばらつきの最大として、前記移動量のばらつきの最大値に応じた探索範囲の幅を算出する。
これにより、探索範囲設定部２９２は、移動量のばらつきの最大値または最小値に応じて探索範囲の幅を高精度に設定することができる。

【0065】

また、探索範囲設定部２９２は、移動量の実績データから得られた移動量のばらつきの大きさに余裕分を加えた値を移動量のばらつきの最大値として、移動量のばらつきの最大値に応じた探索範囲の幅を算出する。
探索範囲設定部２９２が移動量のばらつきの最大値に余裕分を含めて算出することで、移動量のばらつきの大きさを過小評価する可能性を低減させることができる。

【0066】

また、探索範囲設定部２９２は、移動量の度数分布における３σを移動量のばらつきの最大値として、移動量のばらつきの最大値に応じた探索範囲の幅を算出する。
探索範囲設定部２９２が、移動量のばらつきの大きさを確率的手法に基づいて算出する点で、探索範囲の幅を高精度に設定することができる。

【0067】

また、探索範囲設定部２９２は、撮影装置１００に検査対象物の表面を走査させるために設定される走査軌跡情報に基づいて、撮影装置１００の移動量のばらつきに応じた探索範囲の幅を算出する。
これにより、探索範囲設定部２９２は、撮影装置１００が行う走査におけるいろいろな動作パターンに対応して撮影装置１００の移動量のばらつきを求めることができ、これに基づいて探索範囲を設定することができる。撮影装置１００の移動量のばらつきを求めるためのデータを多く得られる点で、探索範囲設定部２９２は、探索範囲を高精度に設定することができる。

【0068】

図１２は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ１０は、ＣＰＵ１１と、主記憶装置１２と、補助記憶装置１３と、インタフェース１４を備える。
上述の検査画像合成装置２００は、コンピュータ１０に実装される。そして、上述した制御部２９０の各部の動作は、プログラムの形式で補助記憶装置１３に記憶されている。ＣＰＵ１１は、プログラムを補助記憶装置１３から読み出して主記憶装置１２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ１１は、プログラムに従って、上述した記憶部２８０に対応する記憶領域を主記憶装置に確保する。

【0069】

なお、制御部２９０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0070】

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0071】

１ 検査画像合成システム
１００ 撮影装置
２００ 検査画像合成装置
２１０ 通信部
２２０ 表示部
２３０ 操作入力部
２８０ 記憶部
２９０ 制御部
２９１ 移動量演算部
２９２ 探索範囲設定部
２９３ 画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】