特許 7536699 変形量計測装置、変形量計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】変形量計測装置、変形量計測方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240813BHJP

   G01B 11/24 20060101ALI20240813BHJP

【ＦＩ】

G06T7/00 610C

G06T7/00 350B

G01B11/24 K

【請求項の数】 10

(21)【出願番号】P 2021055864

(22)【出願日】2021-03-29

(65)【公開番号】P2022152917

(43)【公開日】2022-10-12

【審査請求日】2023-06-08

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】小澤 遼

(72)【発明者】

【氏名】森 靖英

(72)【発明者】

【氏名】恵木 正史

(72)【発明者】

【氏名】船矢 祐介

【審査官】宮島 潤

(56)【参考文献】

【文献】特開２０２０－２０３５４７（ＪＰ，Ａ）

【文献】国際公開第２０１１／０９９３３７（ＷＯ，Ａ１）

【文献】道路領域検出と画像レジストレーションに基づく自車両位置推定，日本機械学会論文集，日本，2017年，p.1-12，https://www.jstage.jst.go.jp/article/transjsme/83/849/83_17-00014/_pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０１Ｂ １１／００ － １１／３０

(57)【特許請求の範囲】

【請求項1】

物体の２次元平面上の初期形状からの変形量を計測する変形量計測装置であって、
前記物体が前記初期形状から変化したと推定される量を推定変化量として推定する変化量推定部、
前記初期形状と前記物体の現在形状が最も重なり合う位置合わせ条件を算出する重畳条件算出部、
前記条件の下で前記初期形状の画像と前記現在形状の画像との間の差分を算出することにより前記初期形状からの変形量を算出する変形量算出部、
を備え、
前記重畳条件算出部は、前記初期形状の計測点を前記推定変化量にしたがって移動させた変形計測点を包含し前記物体の形状よりも小さいサイズを有する領域内に前記現在形状が存在するか否かに基づき前記初期形状と前記現在形状との間の重なりの程度を表す評価値が最大となる、前記位置合わせ条件を算出し、
前記変化量推定部は、前記物体の経年状態の履歴と前記物体の変形量を測定した結果の履歴との間の関係を機械学習によって学習することにより、前記物体の経年状態を入力として受け取ると前記物体の変形量を出力するように構成された、学習器を備え、
前記変化量推定部は、前記物体の経年状態の現在値を前記学習器に対して投入することにより、前記学習器からの出力として前記推定変化量を取得する
ことを特徴とする変形量計測装置。

【請求項2】

前記重畳条件算出部は、前記領域内に前記現在形状が存在する場合は、前記領域内に前記現在形状が存在しない場合よりも、重なりの程度がより大きいことを前記評価値が表していると評価し、
前記重畳条件算出部は、前記評価値が最大となる前記位置合わせ条件を算出することにより、前記初期形状と前記現在形状を重ね合わせる
ことを特徴とする請求項１記載の変形量計測装置。

【請求項3】

前記学習器は、前記推定変化量が前記現在形状に対してどの程度の不確実性を有するかを表す不確実性パラメータを出力するように構成されており、
前記重畳条件算出部は、前記推定変化量が前記不確実性にしたがって変動する範囲を包含するように、前記領域の範囲を算出し、
前記重畳条件算出部は、前記不確実性にしたがって算出した前記領域を用いて、前記評価値を算出する
ことを特徴とする請求項１記載の変形量計測装置。

【請求項4】

前記変化量推定部は、前記物体の初期形状を記述した初期形状データを格納しているデータベースから前記初期形状データを取得し、
前記重畳条件算出部は、前記初期形状上の計測点ごとに算出した前記評価値を集計することにより、前記評価値が最大となる前記位置合わせ条件を算出する
ことを特徴とする請求項１記載の変形量計測装置。

【請求項5】

前記重畳条件算出部は、前記現在形状の実物画像内に含まれる測定ノイズを表す形状ノイズを前記実物画像から取得し、
前記重畳条件算出部は、前記形状ノイズによって変動する前記推定変化量の範囲を包含するように、前記領域の範囲を算出し、
前記重畳条件算出部は、前記形状ノイズにしたがって算出した前記領域を用いて、前記評価値を算出する
ことを特徴とする請求項１記載の変形量計測装置。

【請求項6】

前記位置合わせ条件は、前記初期形状と前記現在形状との間の相対的配置関係を規定する複数のパラメータの組み合わせによって規定されており、
前記重畳条件算出部は、前記複数のパラメータの組み合わせによって規定される前記位置合わせ条件の候補を列挙したリストを取得し、
前記重畳条件算出部は、前記リストが列挙している前記候補ごとに前記評価値を算出することにより、前記評価値が最大となる前記位置合わせ条件を算出する
ことを特徴とする請求項１記載の変形量計測装置。

【請求項7】

前記位置合わせ条件は、
前記初期形状と前記現在形状との間の相対サイズ、
前記初期形状と前記現在形状との間の相対角度、
前記初期形状と前記現在形状との間の相対位置、
を含む前記パラメータの組み合わせによって規定されている
ことを特徴とする請求項６記載の変形量計測装置。

【請求項8】

前記変化量推定部と前記重畳条件算出部は、前記初期形状と前記現在形状として、前記物体の２次元画像と前記物体の奥行方向の形状を測定または前記２次元画像から推定した結果とを併用する
ことを特徴とする請求項１記載の変形量計測装置。

【請求項9】

前記変形量計測装置はさらに、
前記物体の変形量を提示するユーザインターフェースを備える
ことを特徴とする請求項１記載の変形量計測装置。

【請求項10】

物体の２次元平面上の初期形状からの変形量を計測する変形量計測方法であって、
前記物体が前記初期形状から変化したと推定される量を推定変化量として推定するステップ、
前記初期形状と前記物体の現在形状が最も重なり合う位置合わせ条件を算出するステップ、
前記条件の下で前記初期形状の画像と前記現在形状の画像との間の差分を算出することにより前記初期形状からの変形量を算出するステップ、
を有し、
前記位置合わせ条件を算出するステップにおいては、前記初期形状の計測点を前記推定変化量にしたがって移動させた変形計測点を包含し前記物体の形状よりも小さいサイズを有する領域内に前記現在形状が存在するか否かに基づき前記初期形状と前記現在形状との間の重なりの程度を表す評価値が最大となる、前記位置合わせ条件を算出し、
前記推定変化量を推定するステップにおいては、前記物体の経年状態の履歴と前記物体の変形量を測定した結果の履歴との間の関係を機械学習によって学習することにより、前記物体の経年状態を入力として受け取ると前記物体の変形量を出力するように、学習器を構成し、
前記推定変化量を推定するステップにおいては、前記物体の経年状態の現在値を前記学習器に対して投入することにより、前記学習器からの出力として前記推定変化量を取得する
ことを特徴とする変形量計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の初期形状からの変形量を計測する技術に関する。

【背景技術】

【0002】

物体の変形量の測定に関し、スプロケット（チェーンギア）の摩耗量測定法についての技術がある（特許文献１）。同文献記載の技術においては、摩耗していない状態の画像（新品の画像、あるいは、製図画像、あるいは、ゲージ画像。初期画像とも呼ぶ）と、使用によって摩耗した状態の画像（実物画像）との間の形状差分に基づいて摩耗量を測定する。形状同士を比較する際には、画像間で基準点群が重なり合うように、両画像の尺度と位置と角度を調整する。具体的には、スプロケットのボルトの中心点とスプロケットの歯先間を不変部分としてこれらを各画像の基準点群とし、その基準点群にしたがって初期画像と実物画像の寸法を合わせ、さらに各画像の基準点同士を重畳させて、画像上の差分から実際の摩耗量を算出する。

【先行技術文献】

【特許文献】

【0003】

【文献】ＷＯ２０１１／０９９３３７

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示の技術を他の物体に適用する際に、不変部分を基準点として設定し初期画像と実物画像とを重畳するにあたり、もし基準点の画像上での特徴が不明瞭であり、また、基準点が少数である場合には、初期画像と実物画像を正確に重畳させることが難しい。また同文献記載の技術は、物体の摩耗を測定する技術であるので、物体が初期形状から変形する場合においてその変形量を計測するために同文献記載の技術をそのまま用いることは困難である。

【0005】

本発明は、従来技術における上記のような課題に鑑みてなされたものであり、物体が初期形状から変形する場合において、その変形量を精度よく求めることができる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る変形量計測装置は、物体の初期形状からの変形量を推定した上で、その変形後の形状からある程度の範囲の領域内に前記物体の現在形状が含まれている場合は、初期形状と現在形状が重なり合っていると評価する。

【発明の効果】

【0007】

本発明に係る変形量計測装置によれば、物体が初期形状から変形する場合において、基準点の位置合わせやサイズ合わせを実施することなく、その変形量を精度よく求めることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１に係るシステムの構成図である。

【図2】従来技術において変形量の観測が困難な撮像対象物およびその特徴の１例を示す。

【図3】本発明において初期画像と実物画像を重ね合わせる処理手順を説明する模式図である。

【図4】本実施形態１における変形量計測装置１のブロック構成図である。

【図5】第１ＤＢ３１が格納している変形履歴のデータ形式とデータ例を示す。

【図6】第１ＤＢ３１が格納している経年状態のデータ形式とデータ例を示す。

【図7】第２ＤＢ３２に格納している初期画像の１例を示す。

【図8】第２ＤＢ３２が格納している領域計算式の数式例である。

【図9】撮像装置４が取得する実物画像とノイズεＡｐの１例を示す。

【図10】想定変化量見積器１２の構成を示すブロック図である。

【図11】想定変化量見積器１２の別構成例を示す。

【図12】学習部１２１による学習結果に含まれる誤差εＵｐと想定変形量ｓｐの関係を例示するグラフである。

【図13】図面重畳器１３の構成を示すブロック図である。

【図14】図面重畳器１３の変形例を示すブロック図である。

【図15】探索パラメータの例である。

【図16】変形量計測装置１と表示器５の動作手順を説明するフローチャートである。

【図17】想定変化量見積器１２の動作を説明するフローチャートである。

【図18】図面重畳器１３の動作手順を説明するフローチャートである。

【図19】変形量出力器１５が表示器５に対して出力する変形量を表示するユーザインターフェースの例である。

【発明を実施するための形態】

【0009】

＜実施の形態１＞
図１は、本発明の実施形態１に係るシステムの構成図である。本システムは、変形量計測装置１、測定対象の機械２、ネットワークを介して機械２の稼働情報などを受信して蓄積するＤＢサーバ３、機械２あるいはその一部の部品などの変形量の測定対象を撮影するための撮像装置４、変形量計測装置１による計測結果をユーザに提示する表示器５を備える。

【0010】

変形量計測装置１は、撮像装置４が撮像した測定対象の画像、およびＤＢ（ＤａｔａＢａｓｅ）サーバ３が蓄積した機械２の稼働情報などに基づいて、測定対象の変形量（摩耗量など）を演算する。変形量計測装置１による計測結果は、摩耗量を１例とするが、劣化度、徐々に変形する体積変化量など、初期形状からの変形量であれば何でもよい。

【0011】

機械２は建設機械を１例とするが、撮像対象は建設機械に限られず、一般的に撮像が可能な物体であれば特に制限はない。ＤＢサーバ３は、機械２から使用時間などの稼働情報（経年状態）を定常的に収集する。稼働情報の詳細は後述する。撮像装置４は、２次元画像の撮像機能を持つデジタルカメラやスマートフォンであってもよい。また、たとえば深度カメラなどを用いることにより、さらに奥行情報も得られる。

【0012】

図２は、従来技術において変形量の観測が困難な撮像対象物およびその特徴の１例を示す。２０１は、実物画像と初期画像を重畳する際の基準点群を示す。基準点群は例えば、建設機器の部品の非接触部分などのように、摩耗が進行せず利用に伴って変形しないなどの性質を持つ部分である。２０２は利用に伴って劣化（摩耗）が進行する部分である。また測定対象は表面に付着する汚れや他の物体に隠れるなど正確な撮像が困難な箇所２０３も含む。

【0013】

図２のような測定対象に対して従来技術を用いると、以下のような課題が発生する。図２においては、基準点群の数が少ない。したがって、基準点群を画像上から検出する際に検出誤差が生じると、その後の重畳処理に大きく影響し、その結果として変形量も大きく影響する。これに加え、基準点群２０１が山状の摩耗する部分２０２の裾野部分のような位置が曖昧な位置に存在するので、基準点の検出誤差は大きくなる傾向にある。これらの理由により、従来技術を用いた場合、図２のような対象物は変形量を安定して計測することが困難になる可能性がある。

【0014】

図３は、本発明において初期画像と実物画像を重ね合わせる処理手順を説明する模式図である。比較のため従来技術における重ね合わせ手順を併記した。従来技術においては、初期画像と実物画像それぞれの基準点（図３における黒丸）を互いに重ね合わせることにより、位置合わせやサイズ合わせを実施する。例えば初期画像または実物画像のサイズ／位置／回転角度を変更しながら、両画像が最も重なり合う（例：互いの基準点間の距離の２乗和が最小となる）サイズ／位置／回転角度を探索することにより、位置合わせを実施する。この場合、図３上段に示すように、基準点が厳密に重なり合う部分が最初に重ね合わせられることにより、位置合わせ精度が低くなる場合がある。また図２において説明した課題も生じる。

【0015】

本発明においては、以下の手順を用いて、初期画像と実物画像を重ね合わせる。まず物体の形状の経時的変化を計測した結果を用いて、現在形状における初期形状からの変形量を推定する。これを想定変形量と呼ぶ。初期形状に対して想定変形量を加えた変形後形状と、現在形状との間で、位置合わせ（およびサイズ合わせ、以下同様）を実施する。このとき、変形後形状からある程度の範囲の領域（図３において領域Ｑとして示す領域）内に現在形状が含まれているのであれば、その部分については初期画像と実物画像がある程度重なり合っているとみなし、相応の評価スコアを与える。物体上の全ての計測点について同様の手順により評価スコアを算出し、評価スコアが最大となるサイズ／位置／回転角度を探索する。

【0016】

本発明の重ね合わせ手順は、以下の利点がある。初期画像と実物画像を厳密に重ね合わせるのではなく、現在形状が領域Ｑ内に含まれていれば一応は重なり合っているとみなすことにより、重ね合わせ判定を緩める。これにより、図３上段のような厳密一致する部分に捕らわれることを回避できるので、局所解を逃れることができる。想定変形量を用いることにより、物体が変形する場合であっても、その変形を前提として位置合わせを実施できる。これにより、単なる摩耗などを超えて形状が変形する物体であっても、その変形量を正確に計測できる。

【0017】

図４は、本実施形態１における変形量計測装置１のブロック構成図である。変形量計測装置１は、撮像対象選択器１１、想定変化量見積器１２（変化量推定部）、図面重畳器１３（重畳条件算出部）、変形量計測器１４（変形量算出部）、変形量出力器１５、送受信部１６を備える。図面重畳器１３はさらに、探索部１３１と評価部１３２を備える。ユーザが撮像装置４を用いて対象物を撮像し、撮像装置４から測定対象の実際の画像が変形量計測装置１に送信されると、変形量計測装置１における処理が開始される。

【0018】

ＤＢサーバ３は、第１ＤＢ３１と第２ＤＢ３２を備える。第１ＤＢ３１は、測定対象の変形の進行に関する履歴を保持している。例えば、測定対象の変形量の経時変化を測定した履歴（変形履歴）、測定対象の経年状態（例えば使用年数）、などを保持している。第２ＤＢ３２は、領域Ｑの範囲を計算するための計算式（領域計算式）を記憶する。変形履歴、経年状態、初期画像、および領域計算式の例については後述する。

【0019】

撮像対象選択器１１は、測定対象の機械あるいは部品を選択する。想定変化量見積器１２は、第１ＤＢ３１から変形履歴と経年状態を受け取り、これらを用いて測定対象の想定変化量を推定する。図面重畳器１３は、第２ＤＢ３２から初期画像と領域計算式を受け取る。探索部１３１は、実物画像と初期画像が最もよく重なり合うパラメータ（画像のサイズ、位置、傾き）（後述する探索パラメータ）を探索する。評価部１３２は、画像間の重なり合いの程度を表す評価スコアを算出する。変形量計測器１４は、実物画像と初期画像との間の画像上の差分を、測定対象の変化量として計測する。変形量出力器１５は、変化量を表示器５に出力する。送受信部１６は、ＤＢサーバ３との間でデータを送受信する。

【0020】

図５は、第１ＤＢ３１が格納している変形履歴のデータ形式とデータ例を示す。変形履歴は、１例として、機械２の過去の変形量を測定した結果をレコードしたものであり、時期あるいはタイムスタンプ、計測点、変形量（図５においては１例として摩耗量とした）、によって構成される。時期ｘとｙは過去であり、後述する時期ｚは現時点である。

【0021】

図６は、第１ＤＢ３１が格納している経年状態のデータ形式とデータ例を示す。経年状態は、１例として、機械２の使用度を定期的にレコードしたものであり、時期あるいはタイムスタンプ、走行距離、走行時間、によって構成される。

【0022】

図７は、第２ＤＢ３２に格納している初期画像の１例を示す。本実施形態においては、下半分が四角方の形状、上半分が図のような台形の形状からなるものを扱う。点Ｐは輪郭上の点である。

【0023】

図８は、第２ＤＢ３２が格納している領域計算式の数式例である。ｓｐは想定摩耗量、εＵｐは後述する学習モデルの不確実性、εＡｐは実物画像における測定ノイズを表す。学習モデルの不確実性と想定ノイズの例については後述する。ｆｐは領域Ｑの範囲である。この計算式によって領域Ｑの範囲を算出することができる。すなわち領域Ｑは、想定摩耗量に対して各ノイズによる変動範囲を加味した領域であることになる。

【0024】

図９は、撮像装置４が取得する実物画像とノイズεＡｐの１例を示す。選択点Ｐの周辺において、実物画像は図のようにノイズを含む。このノイズは点線の平行線３本組で示す平行線間の幅によって表すことができる。このノイズを領域計算式におけるεＡｐとして計測する。

【0025】

図１０は、想定変化量見積器１２の構成を示すブロック図である。想定変化量見積器１２は、学習部１２１、想定変形量見積部１２２、データ出力部１２３を備える。

【0026】

学習部１２１は、送受信部１６を介して第１ＤＢ３１から変形履歴と経年状態を受け取り、機械学習を実施する。学習モデルは、経年状態を入力として受け取り、変形量を出力するように構成する。想定変形量見積部１２２は、現在の経年状態（現在状態）を学習モデルに対して入力することにより、現在の変形量の想定値（想定変形量）を学習モデルの出力として取得する。データ出力部１２３は、その想定変形量を出力する。

【0027】

図１１は、想定変化量見積器１２の別構成例を示す。図１０で説明した構成に加えて点選択部１２０と誤差見積部１２４が新たに追加されている。以下ではこれらを追加したことによる差異点について主に説明する。

【0028】

点選択部１２０は、送受信部１６を介して、第２ＤＢ３２から初期画像を受信すると、初期画像上の１点（以下、点Ｐとする）を選択する。学習部１２１と想定変形量見積部１２２は、点選択部１２０が選んだ点Ｐに対して図１０と同様の処理を実施する。誤差見積部１２４は、想定変形量見積部１２２が算出した点Ｐの想定変形量が現在状態に対してどの程度の不確実性を有するかを見積もる。このためには、学習部１２１が構築する学習モデルとして、例えばベイズ統計に基づく手法やアンサンブルを用いた手法を活用して不確実性を併せて学習するタイプの学習手法を用いればよい。初期画像上の点Ｐ以外の点について、同様の処理を繰り返す。この繰り返しは、図面上の点をある程度網羅したときに止めてもよいし、既定の回数に達した時点で止めてもよい。データ出力部１２３は、図面上の各点における想定変形量と誤差を纏めて出力する。

【0029】

図１２は、学習部１２１による学習結果に含まれる誤差εＵｐと想定変形量ｓｐの関係を例示するグラフである。横軸は経年状態（例えば使用開始からの経過時間）、縦軸は点Ｐにおける変形量を示す。丸は変形履歴の実測値を示す。右上がりの実線は想定変形量を示し、縦線は誤差範囲を示す。縦軸の最新値が現在形状の想定変形量ｓｐに対応し、そのときの誤差範囲がεＵｐに相当する。

【0030】

図１３は、図面重畳器１３の構成を示すブロック図である。探索部１３１は、実物画像と初期画像を重な合わせるためのパラメータ（画像のサイズ、位置、傾き）を評価部１３２へ渡す。探索パラメータ取得部１３２１がそのパラメータを取得すると、評価部１３２が処理を開始する。

【0031】

画像取得部１３２２は、送受信部１６を介して、領域計算式と初期画像と実物画像を受信する。想定変形量取得部１３２３は、想定変化量見積器１２が出力した想定変形量を取得する。領域算出部１３２４は、図３で説明した領域Ｑの大きさを算出する。スコアリング算出部１３２５は、探索パラメータに応じて初期画像と現物画像を重ね合わせ、その重畳の適合度をスコアリングする。集計部１３２６は、スコアリング結果を探索パラメータごとに集計する。探索部１３１は探索パラメータを変更し、変更後の探索パラメータについて同様の処理を実施する。探索終了条件は、例えば閾値以上のスコアが得られたとき、規定個数以上の探索パラメータについてスコアリング結果を得たとき、などとすればよい。

【0032】

図１４は、図面重畳器１３の変形例を示すブロック図である。図１４は、想定変化量見積器１２が図１１のように構成されている場合の構成例を示す。したがって図面重畳器１３は、初期画像上の点毎の想定変形量と誤差を想定変化量見積器１２から受け取る。図１３の構成に加えて、点選択部１３２７と点スコアリング部１３２８が新たに追加されている。

【0033】

点選択部１３２７は、点選択部１２０が選択した初期画像上の点Ｐと同一の点を選択する。想定変形量取得部１３２３と領域算出部１３２４は、その点Ｐについてそれぞれ想定変形量と領域Ｑを取得する。点スコアリング部１３２８は、点Ｐにおける重畳結果と、想定変形量および誤差および領域Ｑにしたがって、点Ｐにおけるスコアリング結果を算出する。点選択部１２０が選択したすべての点について同様の処理を実施する。

【0034】

図１５は、探索パラメータの例である。探索パラメータは、実物画像と初期画像を重な合わせるためのパラメータであり、画像のサイズ、位置、傾き（角度）の組み合わせによって構成されている。図１５においては、１つの組み合わせを１つの探索パラメータとして、探索パラメータごとにＩＤを付与した。

【0035】

図１６は、変形量計測装置１と表示器５の動作手順を説明するフローチャートである。以下図１６の各ステップを説明する。

【0036】

（図１６：ステップＳ１６０１～Ｓ１６０２）
学習部１２１と想定変形量見積部１２２は、それぞれ経年状態を取得する（Ｓ１６０１）。学習部１２１と想定変形量見積部１２２は、それぞれ変形履歴を取得する（Ｓ１６０２）。

【0037】

（図１６：ステップＳ１６０３）
想定変形量見積部１２２は、現在の経年状態を学習部１２１に対して入力することにより、想定変形量を学習部１２１から取得する。

【0038】

（図１６：ステップＳ１６０４～Ｓ１６０５）
画像取得部１３２２は、領域計算式と初期画像と実物画像を取得する（Ｓ１６０４）。想定変形量取得部１３２３は、実物画像を取得する（Ｓ１６０５）。

【0039】

（図１６：ステップＳ１６０６）
探索部１３１は、探索パラメータを探索する。ここでいう探索とは、現在の探索パラメータを変更して新たな探索パラメータを採用することである。探索パラメータのリストを図１５のようにあらかじめ準備しておいてそれらを順次採用してもよいし、パラメータのうち一部を任意に変動させることによって新たな探索パラメータを得てもよい。あるいは任意の探索アルゴリズムを用いてもよい。

【0040】

（図１６：ステップＳ１６０７）
スコアリング算出部１３２５は、現在の探索パラメータを用いた重ね合わせのスコアを算出する。全ての探索パラメータについてスコアを算出し終えるまで、Ｓ１６０６～Ｓ１６０７を繰り返す。この繰り返しは、図１３における探索部１３１と評価部１３２との間のループに相当する。

【0041】

（図１６：ステップＳ１６０８～Ｓ１６０９）
変形量計測器１４は、最も良いスコアを得た探索パラメータを用いて初期画像と実物画像を重ね合わせた上で、両者の差分を変化量として算出する（Ｓ１６０８）。表示器５はその変化量を表示する（Ｓ１６０９）。

【0042】

図１７は、想定変化量見積器１２の動作を説明するフローチャートである。以下図１７の各ステップを説明する。

【0043】

（図１７：ステップＳ１７０１）
学習部１２１は、変形履歴と経年履歴を取得する。想定変形量見積部１２２は現在の経年状態を取得する。

【0044】

（図１７：ステップＳ１７０２）
点選択部１２０は、初期画像上の点Ｐを選択する。

【0045】

（図１７：ステップＳ１７０３）
学習部１２１は、変形履歴と経年状態との間の関係を記述した学習モデルを学習する。この学習モデルは、例えば不確実性を含めた回帰モデルを用いることによって、領域計算式のεＵｐを併せて取得することが有用である。不確実性を算出しない学習モデルを用いる場合は、領域計算式において例えばｓｐとεＡｐのみを用いてもよい。

【0046】

（図１７：ステップＳ１７０４）
想定変形量見積部１２２は、現在の経年状態を学習モデルへ入力することにより、想定変形量Ｓｐを取得する。誤差見積部１２４は、Ｓｐに対応する不確実性εＵｐを取得する。Ｓ１７０４からＳ１７０２へのループは、誤差見積部１２４から点選択部１２０へのループに対応する。

【0047】

図１８は、図面重畳器１３の動作手順を説明するフローチャートである。以下図１８の各ステップを説明する。

【0048】

（図１８：ステップＳ１８０１）
図面重畳器１３は、以下を取得する：（ａ）データ出力部１２３が出力した初期画像上の全点における想定変形量と不確実性；（ｂ）第２ＤＢ３２が格納している初期画像と領域計算式；（ｃ）探索部１３１が出力する探索パラメータ；（ｄ）撮像装置４が出力する実物画像（形状ノイズを含む）。

【0049】

（図１８：ステップＳ１８０２）
点選択部１３２７は、初期画像上の点Ｐを選択する。

【0050】

（図１８：ステップＳ１８０３）
領域算出部１３２４は、点Ｐにおける領域計算式、想定変形量、不確実性、形状ノイズを用いて、領域Ｑｐを算出する。

【0051】

（図１８：ステップＳ１８０４）
点スコアリング部１３２８は、点Ｐにおける実物画像と初期画像との間の重なりの程度をスコアリングする。Ｓ１８０４からＳ１８０２へのループは、点スコアリング部１３２８から点選択部１３２７へのループに対応する。

【0052】

（図１８：ステップＳ１８０５）
スコアリング算出部１３２５は、全点におけるＳ１８０４のスコアリング結果の合計値を算出し、探索パラメータに紐づける。Ｓ１８０５からＳ１８０１へのループは、集計部１３２６から探索パラメータ取得部１３２１へのループに対応する。

【0053】

（図１８：ステップＳ１８０６）
評価部１３２は、各探索パラメータとそれに紐づくスコアリング結果から、最大のスコアリング結果を与える探索パラメータを選定する。

【0054】

＜実施の形態１：まとめ＞
本実施形態１に係る変形量計測装置１は、学習部１２１が物体の変形履歴と経年状態との間の関係を学習することにより、物体の想定変形量を推定し、さらに想定変形量の周辺の領域Ｑを算出する。物体の実物画像が領域Ｑ内に含まれていれば、実物画像と初期画像が位置合わせされているとみなす。これにより、実物画像上の計測点と初期画像上の計測点との間の位置合わせに拘束されることなく、両者を位置合わせすることができる。したがって、例えば物体上の基準点を明確に特定することが困難な場合においても、実物画像と初期画像を正確かつ安定的に位置合わせすることができる。この手法は、基準点の有無に関わらず用いることができるので、様々な物体に対して汎用的に使用できる点も有用である。

【0055】

本実施形態１に係る変形量計測装置１は、領域Ｑの範囲を計算する計算式として、想定変形量ｓｐに加えて、推定ノイズεＵｐと形状ノイズεＡｐを用いる。これにより、物体が変形する可能性がある範囲を十分包含する領域Ｑを設定することができるので、実物画像と初期画像との間の位置合わせの際に、変形後の物体形状を確実に捕捉することができる。したがって位置合わせ精度を高めることができる。

【0056】

＜実施の形態２＞
実施形態１は、撮像装置４として、物体の奥行形状を取得可能な深度カメラ等を想定している。しかしながら撮像装置４は深度カメラに限られるものではなく、ＲＧＢ画像が取得可能な撮影機能を備えるデジタルカメラ、スマートフォン等の単眼カメラや音波の振動で内部も含めた形状を捉える音響カメラ、Ｘ線や電子線を照射して反射線の検知による強度分布を取得する撮像デバイス、などであってもよい。これらの撮像デバイスを用いる場合であっても、物体の奥行方向の形状を推定する処理を組み合わせることにより、深度カメラと同様に奥行方向の形状を取得できる。この場合、撮像装置４の種類を限定しなくてよい利点がある。奥行形状を推定する処理としては、例えば奥行形状を推定する機械学習、複数角度や位置からの画像を組み合わせるモーションステレオ技術などの公知技術を用いることができる。

【0057】

＜実施の形態３＞
実施形態１において、学習部１２１は、被測定物体の変形履歴と経年状態との間の関係を学習することを説明した。学習部１２１は、これに加えてまたはこれに代えて、被測定物体と同様に変形する他の物体の変形履歴と経年状態を学習してもよい。この場合、他の物体についての学習結果を活用することにより、学習モデルの精度向上や不確実性の低減が可能である。

【0058】

＜実施の形態４＞
撮像装置４が取得した実物画像は、レンズ等の影響で歪むことがある。そこでスコアリング算出部１３２５は、算出したスコアの空間分布からその歪みを推定してもよい。歪みを推定した後、歪みに関する逆変換などを適用することにより、歪みを補正した画像が得られる。これにより、レンズなどによる歪みのような意図しない精度低下の要因を除くことが可能である。

【0059】

例えば、図７に初期画像が持つ左右対称性などに対して、実物画像の各点Ｐのスコアの分布が左右非対称であれば、歪みを容易に推定可能である。換言すると、実物画像のスコアの空間分布が歪んでいるとき、その歪みを本来の空間分布（すなわち初期画像の形状の空間分布）へ近づけるように補正することにより、スコアの空間分布の歪みを補正することができる。

【0060】

＜実施の形態５＞
図１９は、変形量出力器１５が表示器５に対して出力する変形量を表示するユーザインターフェースの例である。変形量出力器１５は、物体の変形量に加えて、その変形量から想定される、物体の交換推奨時期（または発注推奨時期）を推定し、併せて出力してもよい。表示器５はこれらを画面上で表示する。図１９における変形量や交換時期の表示形式は１例であり、その他の表示形式であってもよい。

【0061】

変形量計測装置１は、物体ごとに変形量や交換時期を計測し、その結果を出力してもよい。この場合は、ユーザが物体のＩＤを指定すると、変形量計測装置１がそのＩＤに対応する物体の変形量を算出（または算出済の結果を記憶装置から取得）し、表示器５へ出力する。

【0062】

＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0063】

以上の実施形態において、領域計算式は図８に示すものに限られるものではなく、物体が変形すると想定される範囲を包含する任意の計算式によって計算することができる。例えばいずれかのノイズが強いと想定される場合は、重み係数をそのノイズに乗算することが考えられる。

【0064】

以上の実施形態において、変形量計測装置１が備える各演算器や各機能部は、これらの機能を実装した回路デバイスなどのハードウェアによって構成することもできるし、これらの機能を実装したソフトウェアをプロセッサなどの演算装置が実行することによって構成することもできる。撮像装置４や表示器５は、変形量計測装置１の一部として構成してもよい。

【0065】

以上の実施形態において、変形量計測装置１は機械２が備える部品の変形量を計測する例を説明した。変形量計測装置１が変形量を計測するその他の物体として、以下のような例が考えられる：
（例１）建設機械が備えるトラックシューの摩耗を変形量として計測する；
（例２）建設機械が備えるドライブタンブラの孔の開口形状の広がりを変形量として計測する；
（例３）橋梁の鉛直方向のひずみを変形量として計測する。

【符号の説明】

【0066】

１：変形量計測装置
１１：撮像対象選択器
１２：想定変化量見積器
１３：図面重畳器
１４：変形量計測器
１５：変形量出力器
２：機械
３：ＤＢサーバ
３１：第１ＤＢ
３２：第２ＤＢ
４：撮像装置
５：表示器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】