特許 7443303 計測装置、計測方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】計測装置、計測方法及びプログラム

(51)【国際特許分類】

   G06T 7/64 20170101AFI20240227BHJP

   G06T 7/00 20170101ALI20240227BHJP

   G06T 7/70 20170101ALI20240227BHJP

   G01B 11/16 20060101ALI20240227BHJP

   H04N 7/18 20060101ALI20240227BHJP

【ＦＩ】

G06T7/64

G06T7/00 610Z

G06T7/70

G01B11/16 H

H04N7/18 C

【請求項の数】 21

(21)【出願番号】P 2021150463

(22)【出願日】2021-09-15

(65)【公開番号】P2023043005

(43)【公開日】2023-03-28

【審査請求日】2023-03-10

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】中村 徳裕

(72)【発明者】

【氏名】関 晃仁

(72)【発明者】

【氏名】佐野 雄磨

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２００７－０９３３９２（ＪＰ，Ａ）

【文献】特開２００９－２４１９６８（ＪＰ，Ａ）

【文献】特開２０１６－０８４５７９（ＪＰ，Ａ）

【文献】特開２００７－２６３６１１（ＪＰ，Ａ）

【文献】特開２００１－０７５０１９（ＪＰ，Ａ）

【文献】森田 伊織，３Ｄ物体表面の特徴パラメータを利用した再メッシュ化手法，情報処理学会研究報告 Ｖｏｌ．２００６ Ｎｏ．９３，日本，社団法人情報処理学会，2006年09月09日，2006-CVIM-155，P.9-16

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／６４

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０１Ｂ １１／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

対象物を含む第１の対象画像データを取得する取得部と、
前記第１の対象画像データの画素ごとに第１の三次元位置を推定し、前記第１の対象画像データ上に定義される基準点と、前記基準点を両端として定義される基準線と、前記第１の三次元位置とから、前記基準線上の前記対象物のひずみの度合いを示す第１のひずみ度を計測する計測制御部と、
前記基準線に対応付けられた第２のひずみ度を記憶する記憶部と、
前記第１のひずみ度と前記第２のひずみ度とを比較し、比較結果を出力する比較部と、
を備える計測装置。

【請求項2】

前記第１の対象画像データから、前記第１の対象画像データを撮像した第１の撮像装置の撮像位置及び撮像姿勢を推定する推定部を更に備え、
前記記憶部は、前記第２のひずみ度を、前記第２のひずみ度が計測された第２の対象画像データ、前記第２の対象画像データを撮像した第２の撮像装置の撮像位置及び撮像姿勢と関連付けて、対象画像計測情報として記憶し、
前記比較部は、前記第１の撮像装置の撮像位置及び撮像姿勢が、前記第２の撮像装置の撮像位置及び撮像姿勢により近い前記対象画像計測情報に含まれる前記第２のひずみ度と、前記第１のひずみ度とを比較する、
請求項１に記載の計測装置。

【請求項3】

前記計測制御部は、
前記第１の対象画像データの画素ごとに第１の三次元位置を推定し、前記基準点を示す第１の三次元位置を用いて、前記基準点間の最短距離を算出する第１距離算出部と、
前記第１の対象画像データの画素に対応する第１の三次元位置の集合に対してエッジを定義することで、前記第１の三次元位置をノードとするグラフを生成し、前記基準点を示すノード間の前記グラフ上の最小コスト距離を算出する第２距離算出部と、
前記最短距離と、前記グラフ上の最小コスト距離との比によって前記第１のひずみ度を算出するひずみ度算出部と、を備える、
請求項２に記載の計測装置。

【請求項4】

前記記憶部は、前記第２の対象画像データの画素ごとに推定された第２の三次元位置と、前記第２の対象画像データに含まれる基準点とを更に記憶し、
前記第１距離算出部は、前記第１の三次元位置と、前記第２の三次元位置との重なりがより大きくなるように、前記第２の三次元位置を前記第１の三次元位置に変換する変換情報を算出し、前記第２の対象画像データに含まれる基準点に、前記変換情報を適用させることによって、前記第１の対象画像データ上の基準点を定義する、
請求項３に記載の計測装置。

【請求項5】

前記第２の対象画像データに含まれる基準点に、前記変換情報を適用させることによって定義された前記第１の対象画像データ上の基準点を、前記第１の対象画像データに重畳することによって、入力支援画像を生成する生成部と、
前記入力支援画像を表示する表示部と、
前記入力支援画像を介して、前記基準点を両端として定義される基準線の指定を受け付ける入力部と、
を更に備える請求項４に記載の計測装置。

【請求項6】

前記生成部は、前記比較部の比較結果に基づいて、前記基準線の表示形式を決定し、前記基準線を前記第１の対象画像データに重畳した計測結果画像データを生成し、前記計測結果画像データを前記表示部に出力する、
請求項５に記載の計測装置。

【請求項7】

前記生成部は、前記基準線と、前記最小コスト距離を有するグラフ上の経路との間の隔たりの度合いを示すシンボルを、前記第１の対象画像データに更に重畳した前記計測結果画像データを生成する、
請求項６に記載の計測装置。

【請求項8】

対象物を含む第１の対象画像データを取得するステップと、
前記第１の対象画像データの画素ごとに第１の三次元位置を推定し、前記第１の対象画像データ上に定義される基準点と、前記基準点を両端として定義される基準線と、前記第１の三次元位置とから、前記基準線上の前記対象物のひずみの度合いを示す第１のひずみ度を計測するステップと、
前記基準線に対応付けられた第２のひずみ度を記憶するステップと、
前記第１のひずみ度と前記第２のひずみ度とを比較し、比較結果を出力するステップと、
を含む計測方法。

【請求項9】

前記第１の対象画像データから、前記第１の対象画像データを撮像した第１の撮像装置の撮像位置及び撮像姿勢を推定するステップを更に含み、
前記記憶するステップは、前記第２のひずみ度を、前記第２のひずみ度が計測された第２の対象画像データ、前記第２の対象画像データを撮像した第２の撮像装置の撮像位置及び撮像姿勢と関連付けて、対象画像計測情報として記憶し、
前記比較するステップは、前記第１の撮像装置の撮像位置及び撮像姿勢が、前記第２の撮像装置の撮像位置及び撮像姿勢により近い前記対象画像計測情報に含まれる前記第２のひずみ度と、前記第１のひずみ度とを比較する、
請求項８に記載の計測方法。

【請求項10】

前記計測するステップは、
前記第１の対象画像データの画素ごとに第１の三次元位置を推定し、前記基準点を示す第１の三次元位置を用いて、前記基準点間の最短距離を算出するステップと、
前記第１の対象画像データの画素に対応する第１の三次元位置の集合に対してエッジを定義することで、前記第１の三次元位置をノードとするグラフを生成し、前記基準点を示すノード間の前記グラフ上の最小コスト距離を算出するステップと、
前記最短距離と、前記グラフ上の最小コスト距離との比によって前記第１のひずみ度を算出するステップと、を含む、
請求項９に記載の計測方法。

【請求項11】

前記記憶するステップは、前記第２の対象画像データの画素ごとに推定された第２の三次元位置と、前記第２の対象画像データに含まれる基準点とを更に記憶し、
前記最短距離を算出するステップは、前記第１の三次元位置と、前記第２の三次元位置との重なりがより大きくなるように、前記第２の三次元位置を前記第１の三次元位置に変換する変換情報を算出し、前記第２の対象画像データに含まれる基準点に、前記変換情報を適用させることによって、前記第１の対象画像データ上の基準点を定義する、
請求項１０に記載の計測方法。

【請求項12】

前記第２の対象画像データに含まれる基準点に、前記変換情報を適用させることによって定義された前記第１の対象画像データ上の基準点を、前記第１の対象画像データに重畳することによって、入力支援画像を生成するステップと、
前記入力支援画像を表示するステップと、
前記入力支援画像を介して、前記基準点を両端として定義される基準線の指定を受け付けるステップと、
を更に含む請求項１１に記載の計測方法。

【請求項13】

前記生成するステップは、前記比較するステップの比較結果に基づいて、前記基準線の表示形式を決定し、前記基準線を前記第１の対象画像データに重畳した計測結果画像データを生成し、前記計測結果画像データを表示部に出力する、
請求項１２に記載の計測方法。

【請求項14】

前記生成するステップは、前記基準線と、前記最小コスト距離を有するグラフ上の経路との間の隔たりの度合いを示すシンボルを、前記第１の対象画像データに更に重畳した前記計測結果画像データを生成する、
請求項１３に記載の計測方法。

【請求項15】

コンピュータを、
対象物を含む第１の対象画像データを取得する取得部と、
前記第１の対象画像データの画素ごとに第１の三次元位置を推定し、前記第１の対象画像データ上に定義される基準点と、前記基準点を両端として定義される基準線と、前記第１の三次元位置とから、前記基準線上の前記対象物のひずみの度合いを示す第１のひずみ度を計測する計測制御部と、
前記基準線に対応付けられた第２のひずみ度を記憶する記憶部と、
前記第１のひずみ度と前記第２のひずみ度とを比較し、比較結果を出力する比較部、
として機能させるためのプログラム。

【請求項16】

前記第１の対象画像データから、前記第１の対象画像データを撮像した第１の撮像装置の撮像位置及び撮像姿勢を推定する推定部を更に備え、
前記記憶部は、前記第２のひずみ度を、前記第２のひずみ度が計測された第２の対象画像データ、前記第２の対象画像データを撮像した第２の撮像装置の撮像位置及び撮像姿勢と関連付けて、対象画像計測情報として記憶し、
前記比較部は、前記第１の撮像装置の撮像位置及び撮像姿勢が、前記第２の撮像装置の撮像位置及び撮像姿勢により近い前記対象画像計測情報に含まれる前記第２のひずみ度と、前記第１のひずみ度とを比較する、
請求項１５に記載のプログラム。

【請求項17】

前記計測制御部は、
前記第１の対象画像データの画素ごとに第１の三次元位置を推定し、前記基準点を示す第１の三次元位置を用いて、前記基準点間の最短距離を算出する第１距離算出部と、
前記第１の対象画像データの画素に対応する第１の三次元位置の集合に対してエッジを定義することで、前記第１の三次元位置をノードとするグラフを生成し、前記基準点を示すノード間の前記グラフ上の最小コスト距離を算出する第２距離算出部と、
前記最短距離と、前記グラフ上の最小コスト距離との比によって前記第１のひずみ度を算出するひずみ度算出部と、を備える、
請求項１６に記載のプログラム。

【請求項18】

前記記憶部は、前記第２の対象画像データの画素ごとに推定された第２の三次元位置と、前記第２の対象画像データに含まれる基準点とを更に記憶し、
前記第１距離算出部は、前記第１の三次元位置と、前記第２の三次元位置との重なりがより大きくなるように、前記第２の三次元位置を前記第１の三次元位置に変換する変換情報を算出し、前記第２の対象画像データに含まれる基準点に、前記変換情報を適用させることによって、前記第１の対象画像データ上の基準点を定義する、
請求項１７に記載のプログラム。

【請求項19】

前記第２の対象画像データに含まれる基準点に、前記変換情報を適用させることによって定義された前記第１の対象画像データ上の基準点を、前記第１の対象画像データに重畳することによって、入力支援画像を生成する生成部と、
前記入力支援画像を表示する表示部と、
前記入力支援画像を介して、前記基準点を両端として定義される基準線の指定を受け付ける入力部と、
を更に備える請求項１８に記載のプログラム。

【請求項20】

前記生成部は、前記比較部の比較結果に基づいて、前記基準線の表示形式を決定し、前記基準線を前記第１の対象画像データに重畳した計測結果画像データを生成し、前記計測結果画像データを前記表示部に出力する、
請求項１９に記載のプログラム。

【請求項21】

前記生成部は、前記基準線と、前記最小コスト距離を有するグラフ上の経路との間の隔たりの度合いを示すシンボルを、前記第１の対象画像データに更に重畳した前記計測結果画像データを生成する、
請求項２０に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は計測装置、計測方法及びプログラムに関する。

【背景技術】

【0002】

例えば建物及びトンネル等の社会インフラストラクチャの内部、または建物の内部をカメラにより撮像し、撮像により得られた大量の画像データを用いて検査する作業が行われている。例えば社会インフラストラクチャの内部、建物の内部、またはこれらに設けられた設備の状態が、大量の画像データを用いて検査されている。このような検査作業において、検査者は、検査対象を撮像した画像データと、同一の検査対象を異なる時刻に撮像した画像データとを比較しなければならなかった。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７８８２９１号公報

【非特許文献】

【0004】

【文献】Ｍａｓａｋｏ Ｋａｓｈｉｗａｇｉ， Ｎａｏ Ｍｉｓｈｉｍａ， Ｔａｔｓｕｏ Ｋｏｚａｋａｙａ， Ｓｈｉｎｓａｋｕ Ｈｉｕｒａ， “Ｄｅｅｐ Ｄｅｐｔｈ ｆｒｏｍ Ａｂｅｒｒａｔｉｏｎ Ｍａｐ”， ２０１９ ＩＥＥＥ／ＣＶＦ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＣＣＶ）， ＩＥＥＥ， ２７ Ｏｃｔ．－２ Ｎｏｖ． ２０１９， ｐｐ． ４０６９－４０７８

【文献】Ｒｙｏ Ｎａｋａｓｈｉｍａ ａｎｄ Ａｋｉｈｉｔｏ Ｓｅｋｉ， “ＳＩＲ－Ｎｅｔ： Ｓｃｅｎｅ－Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｎｄ－ｔｏ－Ｅｎｄ Ｔｒａｉｎａｂｌｅ Ｖｉｓｕａｌ Ｒｅｌｏｃａｌｉｚｅｒ”， ２０１９ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｉｍａｇｉｎｇ， Ｍｏｄｅｌｉｎｇ， Ｐｒｏｃｅｓｓｉｎｇ， Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ （３ＤＩＭＰＶＴ） ， ＩＥＥＥ， １６－１９ ｓｅｐｔ． ２０１９， ｐｐ． ４７２－４８１

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術では、画像データから三次元的な反りや曲がり方の変化をとらえることは困難であった。

【課題を解決するための手段】

【0006】

実施形態の計測装置は、取得部と計測制御部と記憶部と比較部とを備える。取得部は、対象物を含む第１の対象画像データを取得する。計測制御部は、前記第１の対象画像データの画素ごとに第１の三次元位置を推定し、前記第１の対象画像データ上に定義される基準点と、前記基準点を両端として定義される基準線と、前記第１の三次元位置とから、前記基準線上の前記対象物のひずみの度合いを示す第１のひずみ度を計測する。記憶部は、前記基準線に対応付けられた第２のひずみ度を記憶する。比較部は、前記第１のひずみ度と前記第２のひずみ度とを比較し、比較結果を出力する。

【図面の簡単な説明】

【0007】

【図1】第１実施形態の計測装置の機能構成の例を示す図。

【図2】第１実施形態の計測方法の例を示すフローチャート。

【図3A】第１実施形態の再構成三次元形状に対して定義されるエッジの例１を示す図。

【図3B】第１実施形態の再構成三次元形状に対して定義されるエッジの例２を示す図。

【図4】第１実施形態のひずみ度について説明するための図。

【図5】第２実施形態の計測装置の機能構成の例を示す図。

【図6】第２実施形態の計測方法の例を示すフローチャート。

【図7】第３実施形態の計測装置の機能構成の例を示す図。

【図8】第４実施形態の計測装置の機能構成の例を示す図。

【図9】第４実施形態の計測結果画像データの例を示す図。

【図10】第４実施形態の計測方法の例を示すフローチャート。

【図11】第５実施形態の計測装置の機能構成の例を示す図。

【図12】第５実施形態の計測方法の例を示すフローチャート。

【図13】第１乃至第５実施形態の計測装置のハードウェア構成の例を示す図。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、画像データから三次元的な反りや曲がり（以下「ひずみ」という。）を捉えることを可能にする計測装置、計測方法及びプログラムの実施形態を詳細に説明する。

【0009】

（第１実施形態）
はじめに第１実施形態の計測装置について説明する。
［機能構成の例］
図１は第１実施形態の計測装置１００の機能構成の例を示す図である。第１実施形態の計測装置１００は、取得部１、計測制御部２、記憶部３及び比較部４を備える。各機能ブロックは、１以上の装置の組み合わせにより実現される。

【0010】

複数の装置で各機能ブロックを実現する場合、各装置は、通信網を介して、直接的、又は間接的に通信可能な状態に接続される。これにより各装置は、例えば形状データ等を相互に送受信することができる。

【0011】

通信網の種類は任意であり、例えば各装置は、建物内に設置されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、相互に通信可能な形態であってもよい。また、例えば各装置は、インターネット等のネットワーク（クラウド）を介して、相互に通信可能な形態であってもよい。

【0012】

以下に、各機能ブロックの概要について順に説明する。なお、各機能ブロックの動作の詳細については、図２のフローチャートを参照して後述する。

【0013】

取得部１は、計測対象の対象物（被写体）を含む対象画像データを取得する。

【0014】

計測制御部２は、対象画像データの画素ごとに三次元位置を推定し、対象画像データ上に定義される基準点と、基準点を両端として定義される基準線と、三次元位置とから、基準線上の対象物のひずみの度合いを示すひずみ度を計測する。

【0015】

具体的には、計測制御部２は、第１距離算出部２１、第２距離算出部２２及びひずみ度算出部２３を備える。

【0016】

第１距離算出部２１は、対象画像データの画素ごとに三次元位置を推定し、基準点を示す三次元位置を用いて、基準点間の最短距離を算出する。

【0017】

第２距離算出部２２は、対象画像データの画素に対応する三次元位置の集合に対してエッジを定義することで、三次元位置をノードとするグラフを生成し、基準点を示すノード間のグラフ上の最小コスト距離を算出する。

【0018】

ひずみ度算出部２３は、第１距離算出部２１によって算出された最短距離と、第２距離算出部２２によって算出されたグラフ上の最小コスト距離との比によってひずみ度を算出する。

【0019】

記憶部３は、対象画像データ、１つ以上の基準線、及び各基準線に対応するひずみ度を含む対象画像計測情報を記憶する。対象画像計測情報は各対象画像データ単位で管理される。

【0020】

比較部４は、ひずみ度算出部２３により算出されたひずみ度と、記憶部３のひずみ度を比較し、比較結果を出力する。比較結果は、例えばひずみ度の変化の有無及びひずみ度の差等を含む。

【0021】

［計測方法の例］
図２は第１実施形態の計測方法の例を示すフローチャートである。はじめに、取得部１が、外部記憶装置やカメラ等の撮像装置から、対象物が写された対象画像データを取得する（ステップＳ１）。

【0022】

次に、第１距離算出部２１が、ステップＳ１で取得された対象画像データから、画素（ピクセル）ごとの三次元位置Ｐを算出する（ステップＳ２）。

【0023】

本実施形態における三次元位置Ｐは、奥行きデータとカメラパラメータとによって求められる。奥行きデータは、例えば第１距離算出部２１が、対象画像データのボケの強さに基づいてそれぞれの画素位置でのオブジェクトまでの距離を、奥行データとして推定する。

【0024】

例えば、奥行データは、対象画像データに含まれるオブジェクトのボケの強さとオブジェクトまでの距離とを対応付けるモデルを予め機械学習することによって、対象画像データから推定できる。具体的には、例えば非特許文献１に記載されたディープニューラルネットワークを用いることにより、対象画像データから奥行データを算出することが可能である。

【0025】

各画素に対応する三次元位置Ｐを合わせた集合は、対象画像データに含まれるオブジェクトの三次元形状を表現する点の集合ととらえることもできる。以降では、三次元位置Ｐの集合を再構成三次元形状と呼ぶ。

【0026】

次に、第１距離算出部２１が、対象画像データ上のあらかじめ指定された２点間の三次元での最短距離Ｄ１を算出する（ステップＳ３）。

【0027】

最短距離Ｄ１は、指定された位置の画素に対応する三次元位置Ｐｓ、Ｐｅ間の距離を算出することで得られる。以降では、Ｐｓ、Ｐｅで定義される線分を基準線、基準線の両端点を基準点と呼ぶ。基準点を示す情報は、画像座標系での二次元位置、及び、当該二次元位置に対応する三次元位置の情報を含む。以下の説明では、１つの基準線に対する処理について説明する。なお、基準線が複数存在する場合も、同様の処理を複数回繰り返すことで対応可能である。

【0028】

なお、本実施形態では、三次元位置Ｐを画像のボケの強さに基づく奥行きから推定したが、三次元位置Ｐは、対象画像データのコンテキストから推定してもよいし、ステレオカメラから推定した視差を用いてもよいし、ＬｉＤＡＲのようなレーザーの照射による測距装置を用いて計測してもよい。

【0029】

次に、第２距離算出部２２が、対象画像データの各画素に対応する三次元位置Ｐに対してエッジを定義することで、画素に対応する三次元位置Ｐをノードとするグラフを生成する（ステップＳ４）。

【0030】

図３Ａは第１実施形態の再構成三次元形状（三次元位置Ｐの集合）に対して定義されるエッジ２０１の例を示す図である。図３Ａでは、対象画像データに含まれる対象物２００がプロペラである場合を例にして説明する。対象画像データの各画素には、三次元位置Ｐが対応する。また、図３Ａの例では、三次元位置Ｐｓ及びＰｅの間に基準線２０２が定義されている。第２距離算出部２２は、隣接している画素に対応するノード間（例えば三次元位置Ｐａ及びＰｂ間）にエッジ２０１を生成する。

【0031】

図２に戻り、第２距離算出部２２は、第１距離算出部２１で算出された三次元位置Ｐと、あらかじめ指定された画像上の２つの基準点とを用いて、三次元位置Ｐで形作られる形状の表面に沿った距離を、グラフ上での最小コスト距離Ｄ２によって求める（ステップＳ５）。最短距離の計算には、例えばダイクストラ法が利用可能である。この場合、エッジ上のコストは、以下の式（１）で決定される。

【0032】

Ｃｏｓｔ_ｅ＝｜Ｐａ－Ｐｂ｜ ・・・（１）
ここで、Ｐａ及びＰｂはそれぞれ隣接する画素に対応する三次元位置Ｐ（ノード）である。第２距離算出部２２は、基準点の三次元位置Ｐｓに対応するノードを始点とし、基準点の三次元位置Ｐｅに対応するノードを終点として、Ｃｏｓｔ_ｅが最小になるように、グラフ上の最短距離を計算する。

【0033】

なお、図３Ａでは一部の隣接画素に対応するノード間でのみエッジ２０１を構成しているが、全ての隣接画素に対応するノード間でエッジ２０１を構成してもよい。その場合、画像境界に対応するノード以外では、１つのノードからは最大でも８本のエッジが構成されることになる。また、対象形状が写っている範囲が既知であれば、その範囲に含まれる画素に対応するノードのみをグラフ構成に用いることとしてもよい。範囲の特定には、例えば画像認識の分野で研究が進められているセマンティックセグメンテーション技術などが利用可能である。さらに、図３Ｂに示すように、画像上の基準線２０２から一定範囲２１０に含まれるノードのみを用いてグラフを構成することとしてもよい。範囲の指定は、例えば以下で行うことができる。

【0034】

ノードｉに対応する画素の２Ｄ位置：Ｐ（ｉ）、基準線２０２と２Ｄ位置の最短距離を返す関数：Ｌ（ｐ）、基準線２０２からの一定距離：ｒとすると、以下の式（２）を満たすノードの集合でグラフを構成する。

【0035】

Ｌ（Ｐ（ｉ））＜＝ｒ ・・・（２）

【0036】

また、図３Ｂの一定範囲２１０の境界の半円部分に対応する範囲は用いず、基準線２０２と直交する方向のみにｒ離れた範囲を使ってもよいし、任意の条件で距離ｒを複数切り替えてもよい。一定範囲２１０は、基準線２０２との距離に基づいた条件により指定される範囲であればよい。

【0037】

次に、ひずみ度算出部２３が、最短距離Ｄ１及び最小コスト距離Ｄ２から、基準線上の対象物のひずみの度合いを示すひずみ度を算出する（ステップＳ６）。具体的には、ひずみ度はＤ２／Ｄ１により算出される。このひずみ度は平たんな状態に対する変化量に対応する値と考えることができる。

【0038】

図４は第１実施形態のひずみ度について説明するための図である。基準線２０２の最短距離をＤ１とする。また、経路２０３は、第２距離算出部２２により生成されたグラフ上での最小コスト距離Ｄ’２を有し、経路２０４は、第２距離算出部２２により生成されたグラフ上での最小コスト距離Ｄ２を有するとする。図４に示すように、最小コスト距離Ｄ’２＜最小コスト距離Ｄ２の場合、ひずみ度Ｓ’（＝Ｄ’２／Ｄ１）＜ひずみ度Ｓ（＝Ｄ２／Ｄ１）となる。

【0039】

図２に戻り、次に、比較部４が、記憶部３に記憶されているひずみ度Ｓ’と、ステップＳ６で計算されたひずみ度Ｓとを比較する（ステップＳ７）。具体的には、比較部４は、ひずみ度間の差があらかじめ決められた閾値以下の場合には変化なしと判定する。また例えば、比較部４は、ひずみ度間の差があらかじめ決められた閾値より大きい場合、ひずみ度間の差を、計測装置１００に接続された表示装置等に出力する。

【0040】

なお、本実施形態では、１つの基準線を対象に対して、ひずみ度Ｓを計測及び比較する場合について説明したが、複数の基準線を対象にする場合の処理も同様である。例えば定期的な点検の場合、計測が必要な箇所（基準線）はあらかじめ決められていると考えられるため、それぞれの箇所に対応するひずみ度Ｓ’を記憶部３に保存しておき、決められた点検順序で、順次、計測及び比較をすればよい。また例えば、対象物と、当該対象物に定義された複数の基準線を含む対象画像データを記憶部３に記憶し、比較対象の基準線を選択するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用意し、当該ＵＩを用いて計測・比較対象の基準線を選択できるようにしてもよい。

【0041】

第１実施形態の計測装置１００によれば、対象画像データから三次元的な反りや曲がり方の変化をとらえることができる。

【0042】

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第２実施形態では、対象画像データの撮像位置及び撮像姿勢を推定し、推定された撮像位置及び撮像姿勢から比較対象の基準線を特定する場合について説明する。

【0043】

［機能構成の例］
図４は第２実施形態の計測装置１００－２の機能構成の例を示す図である。第２実施形態の計測装置１００－２は、取得部１、計測制御部２、記憶部３、比較部４及び推定部５を備える。本実施形態では、推定部５を新たに備える。

【0044】

推定部５は、撮像装置によって撮影された対象画像データから、当該撮像装置の撮像位置を示す撮像位置データ（例えば座標等）と、当該撮像装置の撮像姿勢を示す撮像姿勢データとを推定する。

【0045】

本実施形態では、記憶部３が、あらかじめ生成されたデータベースを記憶し、推定部５は、当該データベースから複数の参照撮像情報を取得する。それぞれの参照撮像情報には、参照画像データ、当該参照画像データを撮像した時の撮像位置、及び、当該参照画像データを撮像した時の撮像姿勢が関連付けて記憶されている。そして、推定部５は、対象画像データを、複数の参照撮像情報のそれぞれと照合することにより、撮像位置データ及び撮像姿勢データを推定する。

【0046】

具体的には、推定部５は、複数の参照画像データのうち、対象画像データに最も類似した撮像位置及び撮像姿勢で撮像された参照画像データ（以下、「近接画像データ」という。）を探し出す。そして、推定部５は、対象画像データと近接画像データとの間の位置差及び姿勢差と、近接画像データに関連付けられた参照位置データ及び参照姿勢データとに基づき、撮像位置データ及び撮像姿勢データを算出する。

【0047】

なお、推定部５は、対象画像データ及び複数の参照撮像情報に基づき、ディープニューラルネットワークを用いて、撮像位置データ及び撮像姿勢データを算出することが可能である。例えば、非特許文献２に記載されたディープニューラルネットワークを用いることにより、撮像位置データ及び撮像姿勢データを算出することが可能である。

【0048】

推定部５は、撮像位置データ及び撮像姿勢データを比較部４に入力する。

【0049】

比較部４は、撮像位置データ及び撮像姿勢データの少なくとも一方に基づいて、基準線を特定する。具体的には、本実施形態では、記憶部３は、撮像位置データ及び撮像姿勢データを更に含む対象画像計測情報を記憶する。すなわち、本実施形態では、対象画像計測情報には、ひずみ度、当該ひずみ度が計測された対象画像データ、当該対象画像データを撮像した撮像装置の撮像位置及び撮像姿勢を示すデータが関連付けて記憶される。比較部４は、例えば推定部５で推定された撮像位置データに最も近い撮像位置データを含む対象画像計測情報を、記憶部３から取得する。

【0050】

次に、比較部４は、推定部５で推定された撮像位置データと、記憶部３から取得された対象画像計測情報に含まれる撮像位置データとの距離を算出し、当該距離があらかじめ決められた閾値を超えていた場合、比較対象データがないことを示す情報を計測装置１００に接続された表示装置等に出力する。

【0051】

比較部４は、閾値以下の場合、第１実施形態の比較部４と同様の比較処理を行い、変化の有無及びひずみ度の差を計測装置１００に接続された表示装置等に出力する。

【0052】

なお、上述の説明では、比較部４は、撮像位置データのみを用いて対象画像計測情報を絞り込んだが、更に撮像姿勢データを用いて対象画像計測情報を絞り込んでもよい。その場合は、比較部４は、撮像位置データと同様に姿勢の差が閾値以内か否かを判定し、閾値以内の場合に、比較処理を行う。撮像位置データの後に撮像姿勢データを比較することで、同一位置で姿勢を変えて複数枚撮影した結果から得られた対象画像計測情報が記憶部３に存在する場合でも、類似箇所（比較対象箇所）のひずみ度を正しく比較することが可能となる。

【0053】

また、撮像位置データでの閾値処理を行わない場合も考えられる。例えば、点検のための撮影の定位置が決まっているような場合には位置は同一であるため、撮像姿勢データのみで閾値処理を行えばよい。また、対象画像データを直接比較してもよい。その場合、比較部４は、２枚の対象画像データの類似度合いを算出する種々の画像認識手法を用いて類似度を算出し、当該類似度に基づいて閾値処理を行えばよい。

【0054】

［計測方法の例］
図６は第２実施形態の計測方法の例を示すフローチャートである。ステップＳ１の説明は、第１実施形態の計測方法（図２参照）と同じなので省略する。

【0055】

次に、推定部５が、ステップＳ１で取得された対象画像データから、当該撮像装置の撮像位置と、当該撮像装置の撮像姿勢とを推定する（ステップＳ１－２）。

【0056】

ステップＳ２～Ｓ７の説明は、第１実施形態の計測方法（図２参照）と同じなので省略する。

【0057】

次に、比較部４が、ステップＳ１－２で推定された撮像位置及び撮像姿勢に基づいて、記憶部３から比較対象のひずみ度Ｓ’を読み出し、当該ひずみ度Ｓ’と、ステップＳ６で計算されたひずみ度Ｓとを比較する（ステップＳ７）。

【0058】

第２実施形態によれば、例えば、撮像位置及び撮像姿勢を変えて複数枚撮影した結果から得られた複数の対象画像計測情報が記憶部３に存在する場合でも、比較対象のひずみ度を正しく選択できる。

【0059】

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第１及び２実施形態では、対象画像データ上に任意の線分として定義される区間（基準線）に対応するひずみ度の算出方法、及び当該ひずみ度を用いた対象部分の形状変化の有無の検出方法について説明した。本実施形態は、処理対象の基準線を自動で選定する部分が第１実施形態と異なる。

【0060】

［機能構成の例］
図７は第３実施形態の計測装置１００－３の機能構成の例を示す図である。第３実施形態の計測装置１００－３は、取得部１、計測制御部２、記憶部３及び比較部４を備える。第３実施形態の構成は、第１実施形態と同じである。以下に、第１実施形態と処理が異なる機能ブロックについて説明する。

【0061】

まず、第３実施形態における記憶部３は、上述の再構成三次元形状（三次元位置Ｐの集合）と、当該再構成三次元形状に対応付けられた基準点を更に保存する点が、第１及び第２実施形態の記憶部３とは異なる。以下の説明では、第１距離算出部２１により生成された再構成三次元形状を再構成三次元形状Ａとし、記憶部３に記憶されている再構成三次元形状を再構成三次元形状Ｂとする。

【0062】

第３実施形態における第１距離算出部２１は、以下のようにして基準線を自動的に選定する。まず、第１距離算出部２１は、再構成三次元形状Ａと、再構成三次元形状Ｂとの間で位置合わせを行い、両者が最大限重なるような変換情報を求める。

【0063】

変換情報は、例えば回転行列Ｒと並進ベクトルｔとを含む。この回転行列Ｒと並進ベクトルｔとは、例えばＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）を用いることで得られる。次に、第１距離算出部２１は、回転行列Ｒと並進ベクトルｔとを対象画像計測情報に含まれる基準線の位置を示す三次元位置Ｐに適用する。次に、第１距離算出部２１は、回転行列Ｒと並進ベクトルｔとを適用した後の基準線の両端点と最も近い、再構成三次元形状Ａに含まれる三次元位置Ｐｓ、Ｐｅを求める。次に、第１距離算出部２１は、三次元位置Ｐｓ、Ｐｅを両端点とする線分を処理対象の基準線として、以降の計測・比較処理を、第１又は第２実施形態と同様にして行う。

【0064】

第３実施形態によれば、対象画像データに含まれる対象物２００の計測・比較箇所（計測・比較処理対象の基準線）を自動で抽出することができる。

【0065】

（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、第１～第３実施形態と同様の説明については省略し、第１～第３実施形態と異なる箇所について説明する。第４実施形態では、ひずみ度の変化の有無、及び差異の大きさだけでなく、ひずみ度の変化の有無、及び差異の大きさを可視化する部分が、第１～第３実施形態と異なる。

【0066】

［機能構成の例］
図８は第４実施形態の計測装置１００－４の機能構成の例を示す図である。第４実施形態の計測装置１００－４は、取得部１、計測制御部２、記憶部３、比較部４、推定部５、生成部６及び表示部７を備える。第４実施形態では、生成部６及び表示部７を新たに備える。

【0067】

生成部６は、ひずみ度、または比較結果の差異を直観的に把握できるような画像（以下、「計測結果画像データ」という。）を生成する。

【0068】

表示部７は、生成部６により生成された計測結果画像データを表示する。

【0069】

図９は第４実施形態の計測結果画像データの例を示す図である。生成部６は、比較部４の比較結果に基づいて、基準線２０２の表示形式を決定し、基準線２０２を対象画像データに重畳した計測結果画像データを生成し、当該計測結果画像データを表示部７に出力する。具体的には、生成部６は、例えばひずみ度の大きさに応じて、色及び線の太さ等を変化させた基準線２０２を対象画像データに重畳することによって、計測結果画像データを生成する。これにより、二次元の画像表示からもひずみ度の大小が直感的に理解可能となる。

【0070】

また、生成部６は、第２距離算出部２２により生成されたグラフ上での最小コスト距離Ｄ２に対応する経路２０４を対象画像データに重畳してもよい。この場合、第２距離算出部２２におけるダイクストラ法で求められた最短経路を対象画像データに重畳すればよい。再構成三次元形状の各点はピクセルと１対１対応しているので、最短経路に対応するエッジとノードが分かれば、それに対応する画素間のつながりが分かる。これを画像上でなぞることで、対象画像データに重畳することができる。

【0071】

さらに、最短距離Ｄ１に対応する基準線２０２と、最小コスト距離Ｄ２に対応する経路２０４の乖離度を直観的に示すために、生成部６は、両方の線で囲まれる領域が塗りつぶされた計測結果画像データを生成してもよい。

【0072】

また、生成部６は、一方から他方に対して矢印２０５等のシンボルを定義することで、視覚的に大きさを提示してもよい。この時には、生成部６は、例えば最小コスト距離Ｄ２に対応する最短経路上の各ノードから、最短距離Ｄ１に対応する基準線に対する垂線の足を定義し、それを対象画像データに投影することで矢印２０５を定義することができる。この時、生成部６は、垂線の足の長さに応じて色、または太さを変えてもよいし、垂線の足の計算に用いるノードを一定間隔でサンプリングしてもよい。前者は三次元での最短距離Ｄ１，最小コスト距離Ｄ２間の乖離の大きさを直観的に把握することを可能とし、後者は矢印２０５が密になりすぎて視認性を下げてしまうのを防ぐことが可能である。

【0073】

［計測方法の例］
図１０は第４実施形態の計測方法の例を示すフローチャートである。ステップＳ１～Ｓ７の説明は、第２実施形態の計測方法（図６参照）と同じなので省略する。

【0074】

生成部６は、ひずみ度、または比較結果の差異を直観的に把握できるような上述の計測結果画像データを生成し、当該計測結果画像データを表示部７に表示する（ステップＳ８）。

【0075】

第４実施形態によれば、ひずみ度、または比較結果の差異を直観的に把握できるようにすることができる。

【0076】

（第５実施形態）
次に第５実施形態について説明する。第５実施形態の説明では、第１～第４実施形態と同様の説明については省略し、第１～第４実施形態と異なる箇所について説明する。第５実施形態では、インタラクティブに基準線の入力を受け付ける機能を持つ点が異なる。

【0077】

［機能構成の例］
図１１は第５実施形態の計測装置１００－５の機能構成の例を示す図である。第５実施形態の計測装置１００－５は、取得部１、計測制御部２、記憶部３、比較部４、推定部５、生成部６、表示部７及び入力部８を備える。第４実施形態では、入力部８を新たに備える。

【0078】

入力部８は、表示部７に提示された対象画像データのうち、ひずみ度を計測したい部分を指示する入力を受け付ける。入力部８は、例えばマウス、キーボード及びトラックボールなど、位置を指示可能な任意のデバイスの形態をとりうる。また、入力部８は、タッチパネルのように入力機能と表示機能とが一体化したデバイスであってもよい。

【0079】

表示部７は、少なくとも対象画像データを表示する。表示するデータは対象画像データに限らず、本実施形態の計測・比較処理に関する任意の結果を表示してもよい。例えば、表示部７は、生成部６にて生成された計測結果画像データを、対象画像データと合わせて表示してもよい。また、表示部７は、比較部４における出力結果である、変化の有無、及びひずみ度の差を表示することも可能である。

【0080】

さらに、生成部６が、記憶部３に保存されている対象画像計測情報に基づいて、基準線の入力を支援するための入力支援画像を生成し、表示部７が、当該入力支援画像を表示してもよい。具体的には、生成部６が、第１距離算出部２１で生成された再構成三次元形状Ａと、記憶部３に記憶されている再構成三次元形状Ｂとの間で位置合わせを行い、両者が最大限重なるような回転行列Ｒと並進ベクトルｔとを求める。回転行列Ｒと並進ベクトルｔとは、例えば、第３実施形態と同様に、ＩＣＰを用いることで得られる。次に、第１距離算出部２１は、回転行列Ｒと並進ベクトルｔとを対象画像計測情報に含まれる基準線の位置を示す三次元位置Ｐに適用する。生成部６は、回転行列Ｒと並進ベクトルｔとによって、回転及び平行移動された基準線を、対象画像データに投影することによって入力支援画像を生成する。これにより、以前の計測に使用された基準線が、現在処理対象の対象画像データ上でどこに当たるかを直観的に把握することができる。

【0081】

なお、投影された基準線の透過度を変える、色を変えるなどにより、その他の情報と視覚的に区別しやすくしてもよい。

【0082】

［計測方法の例］
図１２は第５実施形態の計測方法の例を示すフローチャートである。ステップＳ１～Ｓ２の説明は、第４実施形態の計測方法（図１０参照）と同じなので省略する。

【0083】

次に、入力部８が、入力支援画像を介して基準線２０２を示す入力を受け付ける（ステップＳ２－２）。入力部８は、例えば基準線２０２の始点を示す三次元位置Ｐｓの位置、及び、基準線２０２の終点を示す三次元位置Ｐｅの位置を示す入力を受け付ける。

【0084】

以降の計測・比較処理は、ステップＳ２－２の入力処理によって指定された基準線２０２に対して行われる。ステップＳ３～Ｓ８の説明は、第４実施形態の計測方法（図１０参照）と同じなので省略する。

【0085】

第５実施形態によれば、対象画像データに含まれる対象物２００の計測・比較箇所（計測・比較処理対象の基準線）の入力をインタラクティブに受け付けることができる。

【0086】

最後に、第１乃至第５実施形態の計測装置１００～１００－５のハードウェア構成の例について説明する。

【0087】

［ハードウェア構成の例］
図１３は第１乃至第５実施形態の計測装置１００～１００－５のハードウェア構成の例を示す図である。

【0088】

第１乃至第５実施形態の計測装置１００～１００－５は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

【0089】

制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及び、メモリカード等である。

【0090】

表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、計測装置１００（１００－２～１００－５）を操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。計測装置１００（１００－２～１００－５）がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置３０４及び入力装置３０５は、例えばタッチパネルである。通信装置３０６は、他の装置と通信するためのインタフェースである。

【0091】

計測装置１００（１００－２～１００－５）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

【0092】

また計測装置１００（１００－２～１００－５）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また計測装置１００（１００－２～１００－５）で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

【0093】

また計測装置１００（１００－２～１００－５）で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0094】

計測装置１００（１００－２～１００－５）で実行されるプログラムは、計測装置１００（１００－２～１００－５）の機能ブロックのうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。

【0095】

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

【0096】

また複数のプロセッサを用いて各機能ブロックを実現する場合、各プロセッサは、各機能ブロックのうち１つを実現してもよいし、各機能ブロックのうち２つ以上を実現してもよい。

【0097】

また計測装置１００（１００－２～１００－５）を実現するコンピュータの動作形態は任意でよい。例えば、計測装置１００（１００－２～１００－５）を１台のコンピュータにより実現してもよい。また例えば、計測装置１００（１００－２～１００－５）を、ネットワーク上のクラウドシステムとして動作させてもよい。

【0098】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0099】

１ 取得部
２ 計測制御部
３ 記憶部
４ 比較部
５ 推定部
６ 生成部
７ 表示部
８ 入力部
２１ 第１距離算出部
２２ 第２距離算出部
２３ ひずみ度算出部
１００ 計測装置
２００ 対象物
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３１０ バス

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】