特許 7511807 歪み測定を行うための融合ベースのデジタル画像相関フレームワーク

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-28

(45)【発行日】2024-07-08

(54)【発明の名称】歪み測定を行うための融合ベースのデジタル画像相関フレームワーク

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240701BHJP

   H04N 23/60 20230101ALI20240701BHJP

【ＦＩ】

G06T1/00 500A

H04N23/60 500

【請求項の数】 15

(21)【出願番号】P 2023534581

(86)(22)【出願日】2021-09-01

(65)【公表番号】

(43)【公表日】2023-09-08

(86)【国際出願番号】 JP2021036360

(87)【国際公開番号】W WO2022080151

(87)【国際公開日】2022-04-21

【審査請求日】2023-02-15

(31)【優先権主張番号】63/091,491

(32)【優先日】2020-10-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/148,609

(32)【優先日】2021-01-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】324003956

【氏名又は名称】三菱ジェネレーター株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】リウ，デホン

(72)【発明者】

【氏名】シー，ライシー

(72)【発明者】

【氏名】梅田 政樹

(72)【発明者】

【氏名】葉名 紀彦

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１７－００９５９８（ＪＰ，Ａ）

【文献】特表２００９－５０４２２２（ＪＰ，Ａ）

【文献】国際公開第２０１８／２３５９２３（ＷＯ，Ａ１）

【文献】特開２０１７－０５９９９８（ＪＰ，Ａ）

【文献】四分一 大助ほか，“仮想カメラの3次元位置情報追跡による高能率ビデオモザイク方式の検討”，電子情報通信学会技術研究報告 = IEICE technical report : 信学技報，2000年12月15日，第100巻, 第502号，pp.7－12

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

対象物の歪みを測定する画像処理装置であって、
第１のシーケンシャル画像および第２のシーケンシャル画像を取得するように構成されたインターフェイスを備え、前記第１のシーケンシャル画像の２つの隣接する画像は、第１の重畳部分を含み、前記第２のシーケンシャル画像の２つの隣接する画像は、第２の重畳部分を含み、前記第１のシーケンシャル画像は、第１の状態における、曲面を含む前記対象物の第１の３次元（３Ｄ）表面の曲面に対応し、前記第２のシーケンシャル画像は、第２の状態における前記対象物の第２の３Ｄ表面に対応し、
画像ぼけ除去法、姿勢精緻化法、画像スティッチング法、および変位測定法を含むコンピュータ実行可能なプログラムを記憶するためのメモリと、
前記コンピュータ実行可能なプログラムを実行するように構成されたプロセッサとを備え、
前記プロセッサは、
ブラインドカーネルデコンボリューション法に基づいて、前記第１のシーケンシャル画像および前記第２のシーケンシャル画像をぼけ除去することによって、鮮明な画像を取得することと、
カメラ姿勢推定に基づいて、遠近法ｎ点（ＰｎＰ）問題を解くことによって、鮮明化された前記第１のシーケンシャル画像および鮮明化された前記第２のシーケンシャル画像をそれぞれ第１の３Ｄ画像および第２の３Ｄ画像にスティッチングすることと、
前記第１の３Ｄ画像および前記第２の３Ｄ画像をそれぞれ展開することによって、第１の２次元（２Ｄ）画像および第２の２Ｄ画像を形成することと、
２次元デジタル画像相関（ＤＩＣ）法を実行することによって、前記第１の２Ｄ画像および前記第２の２Ｄ画像から変位マップを生成することとを実行し、
前記スティッチングすることは、第１の段階と第２の段階とを含み、
前記第１の段階では、鮮明化された前記第１のシーケンシャル画像および鮮明化された前記第２のシーケンシャル画像の初期カメラ姿勢が推定され、
前記第２の段階では、他の姿勢が固定された状態で、他の姿勢が使用されて１つの姿勢が交互に更新される、画像処理装置。

【請求項2】

前記カメラ姿勢推定は、改良ロバスト重み付きレベンバーグ・マルカート（ＲＲＷＬＭ）アルゴリズムを用いて更新され、
前記改良ロバスト重み付きレベンバーグ・マルカート（ＲＲＷＬＭ）アルゴリズムは、レベンバーグ・マルカートアルゴリズムに基づき、前記姿勢推定を精緻化およびロバストにするために、他の姿勢が固定された状態で、他の姿勢が使用されて１つの姿勢が交互に更新され、測定エラーの各々の逆数を用いて画像をスティッチングする重みを表す、請求項１に記載の画像処理装置。

【請求項3】

前記第１のシーケンシャル画像のうちの少なくとも第１の画像のカメラ姿勢は、既知であり、
前記第２のシーケンシャル画像のうちの少なくとも第１の画像のカメラ姿勢は、既知である、請求項１に記載の画像処理装置。

【請求項4】

前記第１の状態は、初期時間内に操作されていないオブジェクトの基準状態であり、
前記第２の状態は、操作時間内に操作されたオブジェクトの事後状態である、請求項１に記載の画像処理装置。

【請求項5】

前記変位マップを用いて前記対象物の前記表面上の局所歪みを解析することをさらに含む、請求項１に記載の画像処理装置。

【請求項6】

前記カメラ姿勢推定は、遠近法ｎ点（ＰｎＰ）問題を解くことによって実行される、請求項１に記載の画像処理装置。

【請求項7】

前記遠近法ｎ点（ＰｎＰ）問題は、スケール不変特徴変換（ＳＩＦＴ）特徴に基づくマッチング点を使用する、請求項１に記載の画像処理装置。

【請求項8】

前記ぼけ除去は、ブラインドデコンボリューション法によって実行される、請求項１に記載の画像処理装置。

【請求項9】

前記変位マップは、特徴追跡法に基づいて計算される、請求項１に記載の画像処理装置。

【請求項10】

前記第１のシーケンシャル画像および前記第２のシーケンシャル画像は、前記対象物の曲面から取得される、請求項１に記載の画像処理装置。

【請求項11】

前記対象物は、円筒形である、請求項１に記載の画像処理装置。

【請求項12】

前記第１のシーケンシャル画像は、前記対象物が変形される前に取得され、
前記第２のシーケンシャル画像は、前記対象物が変形された後に取得される、請求項１に記載の画像処理装置。

【請求項13】

前記スティッチングすることは、鮮明な３Ｄ画像を取得するように、超解像度再構築によって実行される、請求項１に記載の画像処理装置。

【請求項14】

対象物の歪みを測定するための画像処理方法であって、
第１のシーケンシャル画像および第２のシーケンシャル画像を取得することを含み、前記第１のシーケンシャル画像の２つの隣接する画像は、第１の重畳部分を含み、前記第２のシーケンシャル画像の２つの隣接する画像は、第２の重畳部分を含み、前記第１のシーケンシャル画像は、第１の状態における、曲面を含む前記対象物の第１の３次元（３Ｄ）表面の曲面に対応し、前記第２のシーケンシャル画像は、第２の状態における前記対象物の第２の３Ｄ表面に対応し、
ブラインドカーネルデコンボリューション法に基づいて、前記第１のシーケンシャル画像および前記第２のシーケンシャル画像をぼけ除去することによって、鮮明な画像を取得することと、
カメラ姿勢推定に基づいて、遠近法ｎ点（ＰｎＰ）問題を解くことによって、鮮明化された前記第１のシーケンシャル画像および鮮明化された前記第２のシーケンシャル画像をそれぞれ第１の３Ｄ画像および第２の３Ｄ画像にスティッチングすることと、
前記第１の３Ｄ画像および前記第２の３Ｄ画像をそれぞれ展開することによって、第１の２次元（２Ｄ）画像および第２の２Ｄ画像を形成することと、
２次元デジタル画像相関（ＤＩＣ）法を実行することによって、前記第１の２Ｄ画像および前記第２の２Ｄ画像から変位（歪み）マップを生成することとを含み、
前記スティッチングすることは、第１の段階と第２の段階とを含み、
前記第１の段階では、鮮明化された前記第１のシーケンシャル画像および鮮明化された前記第２のシーケンシャル画像の初期カメラ姿勢が、ＰｎＰ法と、バンドル調整原理と、前記カメラ姿勢が既知の鮮鋭化された前記第１のシーケンシャル画像および鮮鋭化された前記第２のシーケンシャル画像の少なくとも１つの画像と、によって推定され、
前記第２の段階では、他の姿勢が固定された状態で１つの姿勢が交互に更新される、方法。

【請求項15】

コンピュータに方法を実行させるプログラム命令を含むコンピュータ可読媒体であって、
前記方法は、
第１のシーケンシャル画像および第２のシーケンシャル画像を取得することを含み、前記第１のシーケンシャル画像の２つの隣接する画像は、第１の重畳部分を含み、前記第２のシーケンシャル画像の２つの隣接する画像は、第２の重畳部分を含み、前記第１のシーケンシャル画像は、第１の状態における、曲面を含む対象物の第１の３次元（３Ｄ）表面の曲面に対応し、前記第２のシーケンシャル画像は、第２の状態における前記対象物の第２の３Ｄ表面に対応し、
ブラインドカーネルデコンボリューション法に基づいて、前記第１のシーケンシャル画像および前記第２のシーケンシャル画像をぼけ除去することによって、鮮明な画像を取得することと、
カメラ姿勢推定に基づいて、遠近法ｎ点（ＰｎＰ）問題を解くことによって、鮮明化された前記第１のシーケンシャル画像および鮮明化された前記第２のシーケンシャル画像をそれぞれ第１の３Ｄ画像および第２の３Ｄ画像にスティッチングすることと、
前記第１の３Ｄ画像および前記第２の３Ｄ画像をそれぞれ展開することによって、第１の２次元（２Ｄ）画像および第２の２Ｄ画像を形成することと、
２次元デジタル画像相関（ＤＩＣ）法を実行することによって、前記第１の２Ｄ画像および前記第２の２Ｄ画像から変位（歪み）マップ画像を生成することとを含み、
前記スティッチングすることは、第１の段階と第２の段階とを含み、
前記第１の段階では、鮮明化された前記第１のシーケンシャル画像および鮮明化された前記第２のシーケンシャル画像の初期カメラ姿勢が、ＰｎＰ法と、バンドル調整原理と、前記カメラ姿勢が既知の鮮鋭化された前記第１のシーケンシャル画像および鮮鋭化された前記第２のシーケンシャル画像の少なくとも１つの画像と、によって推定され、
前記第２の段階では、他の姿勢が固定された状態で１つの姿勢が交互に更新される、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般的に、歪み測定を行うための融合ベースのデジタル画像相関フレームワークのための装置および方法に関する。

【背景技術】

【0002】

負荷または機械的損傷を受けている材料の歪み測定は、様々な工業用途において不可欠な作業である。歪み測定を行うために、広く使用されているポイントごとの歪みゲージ技術とは別に、非接触および非干渉光学技術としてのデジタル画像相関（ＤＩＣ）が、単純な実験設定を用いて表面の全視野歪み分布を提供することができるため、多くの注目を集めている。ＤＩＣは、変形前後の表面のデジタルグレー濃度画像を比較し、ピクセル変位の微分値を当該ピクセルの歪みの尺度として採用することによって、実行される。

【0003】

様々な用途において、大きな３Ｄ対象物の曲面に対して全視野２次元（２Ｄ）ＤＩＣ解析を実行することは重要である。殆どの工業材料に対して歪みによる変位が一般的に非常に微小であるため、ＤＩＣは、正確なピクセル変位を得るために、変形前後に撮影された画像に対して厳密な要件、例えば、画像解像度、画像表示およびカメラレンズ歪みの補償を有する。したがって、目標シナリオにおける要件は、既存の２Ｄ ＤＩＣ解析の２つの主な制限をもたらす。第１に、ＤＩＣ法は、通常、３Ｄ曲面ではなく２Ｄ平面の対象物表面に限定される。第２に、ＤＩＣ法は、通常、ＤＩＣ解析を行うための画像の非常に高いピクセル解像度に起因して、小さい表面に制限される。さまざまなシナリオで操作することが困難である精密な較正および画像スティッチングを含む、双眼ステレオビジョンまたはマルチカメラシステム環境に基づく３Ｄ ＤＩＣ方法に対して、多くの努力がなされてきた。

【0004】

この作業は、よく較正されたマルチカメラシステムではなく、通常の単一の移動カメラによって撮影された画像をスティッチングする。

【発明の概要】

【0005】

本発明のフレームワークは、画像融合およびカメラ姿勢推定を組み込むことによって、試験中の曲面の多数の画像を自動的にスティッチングする。この作業は、画像融合およびスティッチングングに基づく用途の範囲を機械工学の歪み測定に拡張する。

【0006】

本発明のフレームワークは、画像融合問題を、非反復的方法および反復的方法の両方を使用して広く探索されている一連の周知のＰｎＰ問題に分離する。いくつかは、余分な異常値拒否を含むまたは観察不確実性情報を組み込む。バンドル調整原理と反復ＰｎＰ法とを組み合わせた本発明の画像融合法は、既存のＰｎＰ法よりも優れており、適用可能な融合精度を達成する。

【0007】

本開示は、曲面を含む大きな３次元対象物の歪み測定を行うように２次元デジタル画像相関（ＤＩＣ）を可能にするという問題に対処する。ぼけ、歪みおよび単一画像がカバーできる表面の視野が狭いため、ＤＩＣに必要とされる表面の全視野適格画像を取得することは、困難である。この課題を克服するために、本発明は、画像融合原理を組み込んだエンドツーエンドＤＩＣフレームワークを提案することによって、曲面全体の全視野歪み測定を達成する。まず、ブラインドデコンボリューションを用いて、一連のぼけ画像を入力として用いて鮮明な画像を回復し、次いで、ＲＲＷＬＭと呼ばれる本発明の遠近法ｎ点（ＰｎＰ）法によって推定されたカメラ姿勢を用いて、回復された鮮明な画像を曲面に投影する。次いで、歪み解析のために、ＤＩＣを用いて曲面に投影された画像をスティッチングし、展開する。数値実験を実施して、既存の方法と比較することによって、ＲＲＷＬＭを使用する本発明のフレームワークを検証する。

【0008】

本発明のいくつかの実施形態は、単一のカメラを用いて大きなサイズの３Ｄ対象物曲面に沿った歪み測定を可能にするエンドツーエンド融合ベースのＤＩＣフレームワークを提案する。まず、大きな３Ｄ表面の上方の移動カメラを用いて、表面テクスチャの一連の２Ｄぼけ画像を取得する。これらのぼけ画像に基づき、ブラインドデコンボリューションを用いて対応する鮮明な画像を回復し、本発明の画像融合を行うためのロバスト遠近法ｎ点（ＰｎＰ）法によって推定されたカメラ姿勢を用いて、鮮明な画像のピクセルを３Ｄ表面に投影する。スティッチングされた変形前および変形後の３Ｄ表面画像の両方を２Ｄ融合画像にそれぞれ展開し、さらなるＤＩＣ解析を行うために、３Ｄ歪み測定を２Ｄ歪み測定に変換する。前述したように、変位が微小（典型的にはサブピクセル）であるため、それらの微分および対応する歪みは、融合画像の画質に極めて敏感である。したがって、処理中の最も困難な課題は、正確な歪み測定を行うために画像融合方法の厳しい精度（少なくともサブピクセルレベル）要件である。

【0009】

本発明のいくつかの実施形態によれば、対象物の歪みを測定するための画像処理装置が提供される。この画像処理装置は、第１のシーケンシャル画像および第２のシーケンシャル画像を取得するように構成されるインターフェイスを備え、第１のシーケンシャル画像の２つの隣接する画像は、第１の重畳部分を含み、第２のシーケンシャル画像の２つの隣接する画像は、第２の重畳部分を含み、第１のシーケンシャル画像は、第１の状態における対象物の第１の３次元（３Ｄ）表面に対応し、第２のシーケンシャル画像は、第２の状態（第１の状態は、初期状態と呼ばれてもよく、第２の状態は、動作時間の後の状態であってもよい）における対象物の第２の３Ｄ表面に対応し、画像ぼけ除去法、姿勢精緻化法、融合ベースの相関法、歪み測定法、および画像補正法を含むコンピュータ実行可能なプログラムを記憶するためのメモリと、コンピュータ実行可能なプログラムを実行するように構成されたプロセッサとを備え、プロセッサは、ブラインドカーネルデコンボリューション法に基づいて、第１のシーケンシャル画像および第２のシーケンシャル画像をぼけ除去することによって、鮮明な焦点面画像を取得することと、カメラ姿勢推定に基づいて、改良ロバスト重み付きレベンバーグ・マルカート（ＲＲＷＬＭ）アルゴリズムを用いて、遠近法ｎ点（ＰｎＰ）問題を解くことによって、鮮明化された第１のシーケンシャル画像および鮮明化された第２のシーケンシャル画像をそれぞれ第１の鮮明な３Ｄ画像および第２の鮮明な３Ｄ画像にスティッチングすることと、第１の鮮明な３Ｄ画像および第２の鮮明な３Ｄ画像をそれぞれ展開することによって、第１の２次元（２Ｄ）画像および第２の２Ｄ画像を形成することと、２次元デジタル画像補正（ＤＩＣ）法を実行することによって、第１の２Ｄ画像および第２の２Ｄ画像から変位マップを生成することとを実行する。

【0010】

本発明のいくつかの実施形態は、画像融合を歪み測定パイプラインに組み込んだエンドツーエンドＤＩＣフレームワークを提供する。本発明のフレームワークは、ＤＩＣベースの歪み測定用途の範囲を、大きいサイズの３Ｄ対象物の曲面に拡張する。

【0011】

また、本発明は、対象物の歪みを測定する画像処理方法を提供する。この画像処理方法は、第１のシーケンシャル画像および第２のシーケンシャル画像を取得することを含み、第１のシーケンシャル画像の２つの隣接する画像は、第１の重畳部分を含み、第２のシーケンシャル画像の２つの隣接する画像は、第２の重畳部分を含み、第１のシーケンシャル画像は、第１の状態における対象物の第１の３次元（３Ｄ）表面に対応し、第２のシーケンシャル画像は、第２の状態における対象物の第２の３Ｄ表面に対応し、ブラインドデコンボリューション法に基づいて、第１のシーケンシャル画像および第２のシーケンシャル画像をぼけ除去することによって、鮮明な焦点面画像を取得することと、カメラ姿勢推定に基づいて、改良ロバスト重み付きレベンバーグ・マルカート（ＲＲＷＬＭ）アルゴリズムを用いて、遠近法ｎ点（ＰｎＰ）問題を解くことによって、鮮明化された第１のシーケンシャル画像および鮮明化された第２のシーケンシャル画像をそれぞれ第１の鮮明な３Ｄ画像および第２の鮮明な３Ｄ画像にスティッチングすることと、第１の鮮明な３Ｄ画像および第２の鮮明な３Ｄ画像をそれぞれ展開することによって、第１の２次元（２Ｄ）画像および第２の２Ｄ画像を形成することと、２次元デジタル画像補正（ＤＩＣ）法を実行することによって、第１の２Ｄ画像および第２の２Ｄ画像から変位（歪み）マップ画像を生成することとを含む。

【0012】

さらに、本発明のいくつかの実施形態は、コンピュータに方法を実行させるプログラム命令を含む非一時的なコンピュータ可読媒体を提供する。この場合、方法は、第１のシーケンシャル画像および第２のシーケンシャル画像を取得することを含み、第１のシーケンシャル画像の２つの隣接する画像は、第１の重畳部分を含み、第２のシーケンシャル画像の２つの隣接する画像は、第２の重畳部分を含み、第１のシーケンシャル画像は、第１の状態における対象物の第１の３次元（３Ｄ）表面に対応し、第２のシーケンシャル画像は、第２の状態における対象物の第２の３Ｄ表面に対応し、ブラインドデコンボリューション法に基づいて、第１のシーケンシャル画像および第２のシーケンシャル画像をぼけ除去することによって、鮮明な焦点面画像を取得することと、カメラ姿勢推定に基づいて、改良ロバスト重み付きレベンバーグ・マルカート（ＲＲＷＬＭ）アルゴリズムを用いて、遠近法ｎ点（ＰｎＰ）問題を解くことによって、鮮明化された第１のシーケンシャル画像および鮮明化された第２のシーケンシャル画像をそれぞれ第１の鮮明な３Ｄ画像および第２の鮮明な３Ｄ画像にスティッチングすることと、第１の鮮明な３Ｄ画像および第２の鮮明な３Ｄ画像をそれぞれ展開することによって、第１の２次元（２Ｄ）画像および第２の２Ｄ画像を形成することと、２次元デジタル画像補正（ＤＩＣ）法を実行することによって、第１の２Ｄ画像および第２の２Ｄ画像から変位（歪み）マップ画像を生成することとを含む。

【0013】

本発明の別の実施形態は、画像融合を行うためのＰｎＰ法およびバンドル調整原理に基づく２段階の方法を提案する。本発明の方法は、最新技術よりも優れており、ＤＩＣ解析による歪み測定に適用可能な画像融合精度を達成する。

【0014】

本発明のさらなる理解を提供するために含まれる添付の図面は、本発明の実施形態を示し、説明と共に本発明の原理を説明する。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に従う、画像処理装置の一例を示す図である。

【図2】本発明の実施形態に従う、歪みマップを生成するための画像処理ステップを示すブロック図である。

【図3A】本発明の実施形態に従う、画像処理装置に使用される画像ぼけ除去モジュールを示すブロック図である。

【図3B】本発明の実施形態に従う、画像処理装置に使用される画像スティッチングモジュールを示すブロック図である。

【図4A】本発明の実施形態に従う、画像取得パイプラインおよび歪み測定フレームワークを示す概略図である。

【図4B】本発明の実施形態に従う、画像取得パイプラインおよび歪み測定フレームワークを示す概略図である。

【図5】本発明の実施形態に従う、改良ロバスト重み付きＬＭ（ＲＲＷＬＭ）を記述するアルゴリズムを示す図である。

【図6】本発明の実施形態に従う、カメラ姿勢推定の平均誤差および画像融合結果のＰＳＮＲを示す図である。

【図7A】本発明の実施形態に従う、小さい領域の歪みマップの比較を示す図である。

【図7B】本発明の実施形態に従う、小さい領域の歪みマップの比較を示す図である。

【図7C】本発明の実施形態に従う、小さい領域の歪みマップの比較を示す図である。

【図8A】本発明の実施形態に従う、異なる方法に基づく表面画像の比較を示す図である。

【図8B】本発明の実施形態に従う、異なる方法に基づく表面画像の比較を示す図である。

【図8C】本発明の実施形態に従う、異なる方法に基づく表面画像の比較を示す図である。

【図9A】本発明の実施形態に従う、大きい領域の歪みマップの比較を示す図である。

【図9B】本発明の実施形態に従う、大きい領域の歪みマップの比較を示す図である。

【発明を実施するための形態】

【0016】

以下、図面を参照しながら、本発明の様々な実施形態を説明する。なお、図面は、縮尺通りに描かれておらず、全ての図面において、同様の構造または機能を有する要素は、同様の参照番号によって示されている。また、図面は、本発明の特定の実施形態の説明を容易にすることを意図している。図面は、本発明の網羅的な説明としてまたは本発明の範囲に対する限定として意図されていない。さらに、本発明の特定の実施形態に関連して記載された特徴は、必ずしもその実施形態に限定されず、本発明の任意の他の実施形態において実施することができる。

【0017】

【数1】

【0018】

【数2】

【0019】

【数3】

【0020】

画像ぼけ除去

【0021】

【数4】

【0022】

【数5】

【0023】

画像融合

【0024】

【数6】

【0025】

カメラ姿勢推定

【0026】

【数7】

【0027】

【数8】

【0028】

【数9】

【0029】

【数10】

【0030】

【数11】

【0031】

【数12】

【0032】

【数13】

【0033】

カメラ姿勢の精緻化および画像融合

【0034】

【数14】

【0035】

ＤＩＣ

【0036】

【数15】

【0037】

数値実験
実験の設定
図４Ａ～４Ｂに示すように、移動カメラを用いて、試験中の３Ｄ表面の変形前後の２つのシーケンシャル画像をそれぞれ撮影する。円筒の外側の領域は、黒色であると仮定される。３Ｄ円筒は、半径ｒ＝５００ｍｍ、高さＨ＝８０ｍｍを有する。カメラの移動軌道は、概ね半径ｒ_２＝５４０ｍｍの同軸仮想円筒の円形表面にある。ランダム摂動によって、第１の画像のカメラ姿勢を除いて、全ての撮影された画像のカメラ姿勢は、正確に知られていない。

【0038】

表面テクスチャを超解像度で再構築するために、スネークスキャンパターンでカメラを移動する。カメラを軸方向に沿って移動するときに５つの画像を撮影し、次いで、カメラを接線方向に沿って前方に移動し、軸方向に沿って次の５つの画像を撮影する。以下は同様である。これによって、各シーケンシャル画像の合計ｐ＝１６０個の画像（サイズｍ×ｎ＝５００×６００）を収集する。両方のシーケンシャル画像は、カメラ開始位置がわずかに異なるが、変形前後の円筒表面の約６０度の同じ領域をカバーし、３６０度の表面に直接に広げることができる。

【0039】

実行および評価

【0040】

【数16】

【0041】

【数17】

【0042】

【数18】

【0043】

【数19】

【0044】

したがって、本発明のいくつかの実施形態は、大きいサイズの３Ｄ対象物の曲面に沿って２Ｄ歪み測定を行うために、エンドツーエンド融合ベースのＤＩＣフレームワークを提供する。表面の単一画像の狭い視野の課題に対処するために、本発明は、画像融合原理を組み込み、画像融合問題を一連の複数の遠近法ｎ点（ＰｎＰ）問題に分離する。本発明のＰｎＰ法は、バンドル調整と併せて、多数の画像をスティッチングすることによって３Ｄ表面テクスチャを正確に回復し、ＤＩＣ法を用いて適切な歪み測定を達成する。本発明は、数値実験を実施して、既存の方法よりも優れている性能を示す。

【0045】

上述した本開示の実施形態は、多くの方法で実装されてもよい。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。ソフトウェアで実装される場合、ソフトウェアコードは、単一のコンピュータに設けられたまたは複数のコンピュータに分散されたことにも拘らず、任意の適切なプロセッサまたは一組のプロセッサ上で実行されてもよい。このようなプロセッサは、集積回路として実装されてもよい。１つの集積回路要素は、１つ以上のプロセッサを含むことができる。しかしながら、プロセッサは、任意の適切な回路で実装されてもよい。

【0046】

また、本開示の実施形態は、一例として提供された方法として具現化されてもよい。本方法の一部として実行される動作は、任意の適切な方法で順序付けられてもよい。したがって、例示的な実施形態において順次に実行される動作とは異なる順序で動作を実行すること、一部の動作を同時に実行することを含み得る実施形態を構築することができる。

【0047】

請求項において請求項要素を修飾するための順序用語、例えば第１、第２などの使用は、別の請求項要素に対する１つの請求項要素の優先順位、前後順位もしくは順序、または方法の動作を実行する時間順序を意味しておらず、単に請求項要素を区別するためのラベルとして使用され、（順序用語を使用することによって）特定の名前を有する１つの請求項要素と同じ名前を有する別の要素とを区別させる。

【0048】

好ましい実施形態を参照して本発明を説明したが、理解すべきことは、本発明の精神および範囲内で、様々な他の改造および修正を行うことができることである。

【0049】

したがって、添付の特許請求の範囲は、本発明の真の精神および範囲内にある全ての変形および修正を網羅する。

【0050】

図１は、本開示の実施形態に従う、対象表面１４０の変位マップを生成するための歪み測定システム１００を示す概略図である。場合によっては、変位マップは、歪みマップであってもよい。

【0051】

歪み測定システム１００は、カメラ／センサ１４１から画像を受信し、ディスプレイ１４２上で画像を表示するように構成されたネットワークインターフェイスコントローラ（インターフェイス）１１０を含むことができる。カメラ／センサ１４１は、対象表面１４０の重畳画像を撮影するように構成されている。

【0052】

また、歪み測定システム１００は、コンピュータ実行可能なプログラムをストレージ２００に記憶するためのメモリ／ＣＰＵユニット１２０を含んでもよい。コンピュータ実行可能なプログラム／アルゴリズムは、画像ぼけ除去ユニット２２０と、画像スティッチングユニット２３０と、デジタル画像相関（ＤＩＣ）ユニット２４０と、画像変位マップユニット２５０とを含んでもよい。コンピュータ実行可能なプログラムは、ストレージ２００にアクセスすることによってコンピュータ実行可能なプログラムをロードするためのメモリ／ＣＰＵユニット１２０と接続するように構成されている。

【0053】

メモリ／ＣＰＵユニット１２０は、ネットワーク１５０を介してカメラ／センサ１５１または画像データサーバ１５２から画像（データ）を受信し、上述した変位測定１００を実行するように構成されている。

【0054】

歪み測定システム１００は、対象表面１４０の画像を撮影するように構成された少なくとも１つのカメラをさらに含むことができ、少なくとも１つのカメラは、インターフェイスを介して撮影した画像をディスプレイ装置１４２に送信することができる。

【0055】

図２は、本開示のいくつかの実施形態に従う、カメラ／センサによって撮影された表面の画像を用いて変位マップを生成するためのストレージ２００を示す概略図を示す。ストレージモジュール２００は、それぞれ末尾のＡおよびＢで標記された変形前後の撮影画像を用いて、変位マップ２５０を生成する。まず、ぼけ重畳画像２１５Ａは、変形前画像収集処理２１０Ａによって取り込まれ、その後、画像ぼけ除去処理２２０Ａによって鮮明な重畳画像２２５Ａとして鮮明化される。次いで、画像スティッチングプロセス２３０Ａは、鮮明な重畳画像をスティッチングすることによって、大きな鮮明な表面画像２３５Ａを形成する。同様に、変形後に撮影された画像は、画像ぼけ除去２２０Ｂおよび画像スティッチング２３０Ｂによって処理され、大きな鮮明な表面画像２３５Ｂを形成する。ＤＩＣ解析２４０は、画像２３５Ａおよび２３５Ｂを比較することによって、表面上の歪みを示す変位マップ２５０を生成する。

【0056】

図３Ａは、本開示のいくつかの実施形態に従う、カメラ／センサによって撮影された表面の画像のぼけを除去するための画像ぼけ除去モジュール２２０を示す概略図である。まず、式（５）に示されたように、ウィーナフィルタを用いて正規化スパース度を最小化することによって、初期のぼけカーネル２２０１を推定する。次いで、式（４）の反復ブラインドデコンボリューション問題を解くことによって、画像を鮮明化する。各反復において、撮影画像を用いてぼけカーネル２２０２をデコンボリューションすることによって、鮮明な画像を生成し、過去の鮮明な画像と比較することによって、収束２２０３を確認する。両者の差（または相対誤差）が小さい場合、アルゴリズムが収束したことを意味し、画像ぼけ除去モジュール２２０は、現在の鮮明な画像を鮮明な重畳画像として出力する。そうでなければ、ぼけカーネルは、式（４）を最小化することによって更新され、アルゴリズムが収束するまで次の反復デコンボリューションプロセス２２０２に使用される。

【0057】

図３Ｂは、本開示のいくつかの実施形態に従う、鮮明な重畳画像を大きな鮮明な表面画像にスティッチングするための画像スティッチングモジュール２３０を示す概略図である。まず、ｉ番目の画像を近傍画像集合Ｌ_ｉ内のｊ番目の近傍画像とスティッチングする。この場合、ｊ番目の画像の位置ｈ_ｊが既知であり、マッチング点Ａ_ｊ，ｉは、マッチングＳＩＦＴ特徴を用いて決定される（２３０１）。既知のカメラ姿勢ｈ_ｊを用いて、ｊ番目の画像上のマッチング点を円筒面に投影する（２３０２）。ｉ番目の画像カメラ位置が未知である場合（２３０３）、アルゴリズム１を用いてカメラ姿勢ｈ_ｉを推定することによって、ＰｎＰ問題を解く（２３０４）。ｈ_ｉを含むことによって既知のカメラ姿勢集合Ｈを更新し、ｉ番目の画像を含むことによって近傍画像集合Ｌ_ｉを更新する。次いで、第（ｉ＋１）の画像をその近傍画像にスティッチングする。全ての画像に関連するカメラ姿勢が決定された場合、すなわち、ｈ_ｉが未知ではない場合（２３０３）、画像のカメラ姿勢を用いて画像を円筒表面に投影し、補間すること（２３０７）によって、大きな鮮明な表面画像２３５を生成する。

【0058】

上述した本発明の実施形態は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを用いて実施することができる。

【0059】

また、本開示の実施形態は、一例として提供された方法として具現化されてもよい。本方法の一部として実行される動作は、任意の適切な方法で順序付けられてもよい。したがって、例示的な実施形態において順次に実行される動作とは異なる順序で動作を実行すること、一部の動作を同時に実行することを含み得る実施形態を構築することができる。

【0060】

請求項において請求項要素を修飾するための順序用語、例えば第１、第２などの使用は、別の請求項要素に対する１つの請求項要素の優先順位、前後順位もしくは順序、または方法の動作を実行する時間順序を意味しておらず、単に請求項要素を区別するためのラベルとして使用され、（順序用語を使用することによって）特定の名前を有する１つの請求項要素と同じ名前を有する別の要素とを区別させる。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】