特許 7633899 画像評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-12

(45)【発行日】2025-02-20

(54)【発明の名称】画像評価装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250213BHJP

   G01B 11/16 20060101ALI20250213BHJP

【ＦＩ】

G06T7/00 350B

G01B11/16 H

【請求項の数】 3

(21)【出願番号】P 2021129645

(22)【出願日】2021-08-06

(65)【公開番号】P2023023802

(43)【公開日】2023-02-16

【審査請求日】2024-03-11

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】奥村 崇

(72)【発明者】

【氏名】金野 浩之

(72)【発明者】

【氏名】猪瀬 聡志

(72)【発明者】

【氏名】高見 弘樹

(72)【発明者】

【氏名】岩崎 史十

(72)【発明者】

【氏名】▲高▼橋 光弘

(72)【発明者】

【氏名】古林 沙夜香

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１８－１９４３４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｂ １１／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

作業機械の特定の部位の撮像画像が前記特定の部位の摩耗量の測定に用いられる測定用画像に適しているかを評価する画像評価装置であって、
前記特定の部位の輪郭を含む学習用画像と、前記学習用画像に含まれる前記特定の部位の輪郭を特定するための複数の特徴点とが教師データとして機械学習されており、前記撮像画像に含まれる前記特定の部位の輪郭を特定する特徴点を抽出する特徴点抽出部と、
前記摩耗量の測定に適した方向から撮像された前記学習用画像における前記特徴点から算出された、前記撮像画像を評価するための基準となる基準値を記憶する基準値記憶部と、
前記特徴点抽出部により抽出された前記撮像画像における前記特徴点と、前記基準値記憶部に記憶された前記基準値とに基づいて、前記撮像画像が前記測定用画像に適しているかを評価する評価値を算出する評価値算出部と、
前記評価値算出部により算出された前記評価値に応じて、前記撮像画像が前記測定用画像として利用できるか否かを判定する画像判定部と、
を備えることを特徴とする画像評価装置。

【請求項2】

前記測定用画像を抽出する画像抽出部を更に備え、
前記撮像画像は、予め撮像された動画像又は複数の静止画像であり、
前記画像抽出部は、前記画像判定部の判定結果に応じて、前記動画像を構成する複数のフレーム画像又は前記複数の静止画像の中から前記測定用画像を抽出する
ことを特徴とする請求項１に記載の画像評価装置。

【請求項3】

前記特定の部位を撮像する撮像装置の位置又は姿勢を案内する撮像案内部を更に備え、
前記撮像画像は、前記撮像装置により取得されたライブビュー画像であり、
前記撮像案内部は、前記画像判定部により前記ライブビュー画像が前記測定用画像として利用できないと判定された場合、前記ライブビュー画像が前記測定用画像として利用できるよう前記撮像装置の位置又は姿勢を案内するメッセージを出力する
ことを特徴とする請求項１に記載の画像評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像評価装置に関する。

【背景技術】

【0002】

作業機械の継続的な稼働により、作業機械を構成する部位が摩耗することがある。摩耗する部位の摩耗状態を適切に管理するため、当該部位の摩耗量を測定することがある。摩耗量の測定手法としては、カメラ等の撮像装置を用いて摩耗する部位を撮像し、当該部位の撮像画像から当該部位の輪郭を特定し、摩耗前の当該部位の輪郭と比較することによって、当該部位の摩耗量を測定する手法がある。

【0003】

上記の測定手法では、摩耗する部位の撮像画像が、摩耗量の測定に適した画像であることが重要である。例えば、クローラ式の油圧ショベルでは、下部走行体のスプロケットが摩耗することがある。スプロケットの摩耗量を測定する場合、スプロケットの正面に撮像装置を正対させて撮像された真正面画像でなければ、摩耗量の測定精度を担保することが難しい。

【0004】

真正面画像のような特定の方向から撮像された画像を取得する技術として、例えば、特許文献１に開示された技術が知られている。特許文献１は、被写体面を撮像する撮像手段と、撮像手段を基準とした被写体面の向きを計測する平面計測手段と、計測した被写体面の向きに基づいて撮像手段が撮像した画像の斜め撮影による歪みを補正する画像歪み補正手段と、を備える画像処理装置を開示している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０００－３０７９４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の技術を摩耗量の測定に採用する場合、平面計測手段という特別な手段を撮像前に予め用意しておき、撮像時に平面計測手段を使用して、摩耗する部位を撮像する必要がある。この場合、平面計測手段という特別な手段を、作業機械の保守員やユーザに対して配布しなければならないので、特許文献１の技術を摩耗量の測定に採用することは現実的ではない。特に、特許文献１の技術を採用しても、スマートフォン等によって摩耗する部位を気軽に撮像して当該部位の摩耗量を測定することは難しい。

【0007】

また、特許文献１の技術は、平面計測手段という特別な手段を撮像時に使用して摩耗する部位を撮像する必要があるので、当該手段を使用せずに既に撮像された撮像画像に対して特許文献１の技術を適用することができない。

【0008】

このようなことから、作業機械の摩耗する部位を撮像した撮像画像が、摩耗量の測定に適した画像であるかを適切且つ容易に評価することができる技術が求められている。

【0009】

上記事情に鑑みて、本発明は、作業機械の摩耗する部位の撮像画像が摩耗量の測定に適した画像であるかを適切且つ容易に評価して、摩耗量の測定作業の簡略化及び効率化を図ることを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明の画像評価装置は、作業機械の特定の部位の撮像画像が前記特定の部位の摩耗量の測定に用いられる測定用画像に適しているかを評価する画像評価装置であって、前記特定の部位の輪郭を含む学習用画像と、前記学習用画像に含まれる前記特定の部位の輪郭を特定するための複数の特徴点とが教師データとして機械学習されており、前記撮像画像に含まれる前記特定の部位の輪郭を特定する特徴点を抽出する特徴点抽出部と、前記摩耗量の測定に適した方向から撮像された前記学習用画像における前記特徴点から算出された、前記撮像画像を評価するための基準となる基準値を記憶する基準値記憶部と、前記特徴点抽出部により抽出された前記撮像画像における前記特徴点と、前記基準値記憶部に記憶された前記基準値とに基づいて、前記撮像画像が前記測定用画像に適しているかを評価する評価値を算出する評価値算出部と、前記評価値算出部により算出された前記評価値に応じて、前記撮像画像が前記測定用画像として利用できるか否かを判定する画像判定部と、を備えることを特徴とする。

【発明の効果】

【0011】

本発明によれば、作業機械の摩耗する部位の撮像画像が摩耗量の測定に適した画像であるかを適切且つ容易に評価して、摩耗量の測定作業の簡略化及び効率化を図ることができる。

【図面の簡単な説明】

【0012】

【図1】実施形態１の画像評価装置を備える摩耗量測定システムの構成を模式的に示す図。

【図2】図１に示す作業機械の構成を示す図。

【図3】図１に示す画像評価装置の機能的構成を示すブロック図。

【図4】図３に示す基準値算出部及び評価値算出部の詳細構成を示すブロック図。

【図5】スプロケットの摩耗量の測定に適した真正面画像を模式的に示す図。

【図6】スプロケットの輪郭を特定する特徴点を説明する図。

【図7】基準値の学習モードでの画像評価装置の動作を示すフローチャート。

【図8】画像抽出モードでの画像評価装置の動作を示すフローチャート。

【図9】実施形態２の画像評価装置が備える基準値算出部及び評価値算出部の詳細構成を示すブロック図。

【図10】バケットの先端部の構成を模式的に示す図。

【図11】ツースの摩耗量の測定に適した斜視画像を模式的に示す図。

【図12】ツース及びアダプタの輪郭を特定する特徴点を説明する図。

【図13】実施形態３の画像評価装置の機能的構成を示すブロック図。

【図14】自動撮像モードでの画像評価装置の動作を示すフローチャート。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について図面を用いて説明する。各実施形態において同一の符号を付された構成については、特に言及しない限り、各実施形態において同様の機能を有し、その説明を省略する。

【0014】

現在のＡＩ技術を用いれば、スプロケット６３（図２参照）やツース６９３（図１０参照）等の作業機械６の摩耗する部位を含む撮像画像４６１から摩耗量を自動で測定することが可能である。但し、摩耗量の測定にはｍｍ単位の高い精度が求められることがある。高精度の測定を担保するために摩耗量の測定に用いられる画像（以下「測定用画像」とも称する）は、作業機械６の部位毎に異なる。

【0015】

例えば、スプロケット６３の測定用画像は、スプロケット６３の正面６３３に撮像装置３１を正対させて撮像された真正面画像である（図５参照）。スプロケット６３には、摩耗前のスプロケット６３の歯６３１及び歯底６３２（図５参照）に隙間なくフィットする測定ゲージ画像が存在する。スプロケット６３の摩耗量は、スプロケット６３の撮像画像４６１に含まれる歯６３１及び歯底６３２と測定ゲージ画像との隙間の大きさを、画像処理により測定することによって、容易に測定することができる。２次元の撮像画像４６１及び測定ゲージ画像からスプロケット６３の摩耗量を高精度で測定するためには、奥行きが殆ど写っていない真正面画像に対して測定ゲージ画像をフィットさせることが重要である。よって、スプロケット６３の測定用画像は、撮像装置３１をスプロケット６３の正面６３３に正対させて撮像された真正面画像である。

【0016】

一方、ツース６９３の測定用画像は、後述するアダプタ６９２及びツース６９３のそれぞれの正面６９４及び側面６９５が写るよう、ツース６９３の正面６９４に対して適度に斜め方向から撮像装置３１を向けて撮像された画像（以下「斜視画像」とも称する）である（図１１を参照）。ツース６９３には、真正面の基準となる平面が存在しないので、ツース６９３の撮像画像４６１が如何に真正面画像に近いかを評価することは困難である。むしろ、ツース６９３の側面６９５の情報を利用すべきである。なぜなら、ツース６９３とアダプタ６９２との境界部６９６を測定基準とすれば、バケット６９が回転していても、摩耗量の測定において問題とならないからである。発明者らは実験を重ねて、境界部６９６を測定基準とすることによって、画像による摩耗量の測定値と実測値との差異を僅少にすることができることを、立証することに成功した。よって、ツース６９３の測定用画像は、アダプタ６９２及びツース６９３のそれぞれの正面６９４及び側面６９５が写るよう、ツース６９３の正面６９４に対して適度に斜め方向から撮像された斜視画像である。

【0017】

画像評価装置４０は、作業機械６の摩耗する部位を含む撮像画像４６１が測定用画像に適しているかを評価する装置である。画像評価装置４０は、評価対象の撮像画像４６１に含まれる部位毎に適した処理を行って、様々な部位の撮像画像４６１を評価することができる。

【0018】

［実施形態１］
図１～図８を用いて、実施形態１の画像評価装置４０について説明する。

【0019】

実施形態１では、作業機械６の摩耗する部位がスプロケット６３である場合に、スプロケット６３の撮像画像４６１が測定用画像に適しているかを評価する画像評価装置４０について説明する。

【0020】

図１は、実施形態１の画像評価装置４０を備える摩耗量測定システム１の構成を模式的に示す図である。

【0021】

摩耗量測定システム１は、作業機械６の摩耗する部位の画像から当該部位の摩耗量を測定するシステムである。摩耗量測定システム１は、摩耗量測定システム１を管理するサーバ装置２と、各々が撮像装置３１を備えた複数の通信端末３とが、ネットワークを介して無線通信可能に接続されたシステムである。本実施形態の摩耗量測定システム１では、画像評価装置４０が通信端末３に備えられているが、画像評価装置４０の全部又は一部の機能がサーバ装置２に備えられていてもよい。

【0022】

通信端末３は、スマートフォンやタブレットＰＣ等の携帯通信端末である。通信端末３は、動画像又は静止画像を撮像可能な撮像装置３１と、タッチパネルティスプレイを構成する表示装置３２及び入力装置３３と、画像評価装置４０とを備える。

【0023】

画像評価装置４０は、ＣＰＵ等により構成される演算処理装置４０１と、ＲＯＭ及びＲＡＭ等により構成される記憶装置４０２とを備える。記憶装置４０２には、後述する教師データ記憶部４１、基準値記憶部４５及び撮像画像記憶部４６等のデータ記憶領域が設けられている。記憶装置４０２には、後述する学習部４２、特徴点抽出部４３、基準値算出部４４、評価値算出部４７、画像判定部４８及び画像抽出部４９等の機能を実現する各種プログラムを記憶するプログラム記憶領域が設けられている。演算処理装置４０１は、記憶装置４０２のデータ記憶領域に記憶された各種データを用いて、記憶装置４０２のプログラム記憶領域に記憶された各種プログラムを実行することによって、画像評価装置４０の各種機能を実現することができる。

【0024】

図２は、図１に示す作業機械６の構成を示す図である。

【0025】

作業機械６は、特に限定されないが、例えば、油圧ショベル等の建設機械であってもよい。本実施形態では、作業機械６がクローラ式の油圧ショベルであるものとして説明する。

【0026】

作業機械６は、下部走行体６１と、旋回装置６５１を介して下部走行体６１に旋回可能に取り付けられた上部旋回体６５と、上部旋回体６５の前部に取り付けられた多関節式のフロント作業機６６とを備える。

【0027】

下部走行体６１は、下部走行体６１の前端部に設けられたアイドラ６２と、下部走行体６１の後端部に設けられ油圧モータによって駆動するスプロケット６３と、アイドラ６２及びスプロケット６３に架けられた帯状のクローラ６４とを備える。スプロケット６３は、クローラ６４との摩擦や、スプロケット６３とクローラ６４との間に入り込んだ土砂等との摩擦によって摩耗することがある。

【0028】

上部旋回体６５は、上部旋回体６５の前部に設けられたキャブ６５２と、上部旋回体６５の後部に設けられ作業機械６の駆動装置を収容する機械室６５３とを備える。

【0029】

フロント作業機６６は、上部旋回体６５の前部に対して回動可能に支持されたブーム６７と、ブーム６７の先端部に対して回動可能に支持されたアーム６８と、アーム６８の先端部に対して回動可能に支持されたバケット６９とを備える。ブーム６７、アーム６８及びバケット６９は、それぞれ、ブームシリンダ６７１、アームシリンダ６８１及びバケットシリンダ６９１とリンクを介して接続され、これらの油圧シリンダが伸縮することによって回動する。バケット６９の先端部６９ａには、ツース６９３が幅方向に間隔をあけて取り付けられている。ツース６９３は、掘削する土砂等との摩擦によって摩耗することがある。

【0030】

図３は、図１に示す画像評価装置４０の機能的構成を示すブロック図である。図４は、図３に示す基準値算出部４４及び評価値算出部４７の詳細構成を示すブロック図である。図５は、スプロケット６３の摩耗量の測定に適した真正面画像Ｇ１を模式的に示す図である。図６は、スプロケット６３の輪郭を特定する特徴点を説明する図である。

【0031】

画像評価装置４０は、スプロケット６３等の摩耗する部位を含む撮像画像４６１から当該部位の輪郭を特定する特徴点を抽出し、当該撮像画像４６１が測定用画像にどの程度適しているかを評価する評価値を算出する。画像評価装置４０は、算出された評価値に応じて、撮像画像４６１が測定用画像として利用できるか否かを判定する。特徴点の抽出機能は、機械学習によって生成されたモデルとして構築される。評価対象の撮像画像４６１は、既に撮像されて、予め撮像画像記憶部４６に記憶されている。画像評価装置４０は、撮像画像記憶部４６に記憶された複数の撮像画像４６１が測定用画像に適しているかを評価し、当該複数の撮像画像４６１の中から測定用画像を抽出することができる。

【0032】

画像評価装置４０は、教師データ記憶部４１と、学習部４２と、特徴点抽出部４３と、基準値算出部４４と、基準値記憶部４５と、撮像画像記憶部４６と、評価値算出部４７と、画像判定部４８と、画像抽出部４９とを備える。

【0033】

画像評価装置４０が備える機能は、特徴点の抽出機能を生成する機械学習や後述する基準値Ｘの算出を行う学習段階において使用又は実行される機能と、撮像画像４６１が測定用画像に適しているかを評価する利活用段階において使用又は実行される機能とに大別することができる。

【0034】

まず、画像評価装置４０の学習段階に使用又は実行される機能について説明する。
教師データ記憶部４１は、作業機械６の摩耗する部位の輪郭が写る学習用画像４１１と、学習用画像４１１に含まれる当該部位の輪郭を特定するための複数の特徴点の座標を示す特徴点データ４１２とを、互いに紐付けて記憶する。

【0035】

学習部４２は、教師データ記憶部４１に記憶された学習用画像４１１と特徴点データ４１２とを教師データとして、特徴点の抽出を機械学習し、特徴点抽出部４３を生成する。学習部４２が有する機械学習アルゴリズムは、特に限定されず、例えばランダムフォレスト等であってもよい。機械学習済みの特徴点抽出部４３は、撮像画像記憶部４６に記憶された撮像画像４６１が測定用画像に適しているかを評価する際に、当該撮像画像４６１に含まれる部位の輪郭を特定する特徴点を抽出する。

【0036】

学習用画像４１１は、スプロケット６３の外縁を形成する歯底６３２の正面６３３及び背面６３４の各輪郭を含む画像である。学習用画像４１１は、スプロケット６３の歯６３１及び歯底６３２を、摩耗量の測定に適した方向を含む複数の撮像方向から撮像することによって取得される。学習用画像４１１は、通信端末３の撮像装置３１によって撮像された画像であってもよいし、撮像装置３１とは異なる他の撮像装置によって撮像された画像であってもよい。摩耗量の測定に適した方向とは、例えば、スプロケット６３の正面６３３を含む平面に対して撮像装置３１の光軸が直交するような撮像方向である。摩耗量の測定に適した方向から撮像された画像は、図５に示すような真正面画像Ｇ１である。摩耗量の測定に適した方向以外の撮像方向から撮像された画像は、図６に示すような画像Ｇ２である。図６に示す画像Ｇ２は、スプロケット６３の歯底６３２の正面６３３及び背面６３４の各輪郭を含む画像である。

【0037】

なお、正面６３３は、作業機械６の左右方向外側に向かう面であり、背面６３４は、作業機械６の左右方向内側に向かう面であり、側面６３５は、正面６３３及び背面６３４に連続しスプロケット６３の周方向に沿う面である。

【0038】

図６に示すように、スプロケット６３の歯底６３２の各輪郭を含む画像では、歯底６３２の正面６３３の輪郭を近似する正面円Ｆと、歯底６３２の背面６３４の輪郭を近似する背面円Ｂとを描くことができる。スプロケット６３の歯底６３２の各輪郭を含む画像において、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとが一致することは、当該画像が真正面画像Ｇ１であることと、ほぼ等価である。背面６３４の輪郭が完全に隠れた画像では、背面６３４の中心Ｃｂは不明となる。スプロケット６３の歯底６３２の各輪郭を含む画像を取得する場合、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとが写る状況から、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとを重ね合わせるよう撮像装置の姿勢を変更すると、両者が近付いていく。やがて、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとが一致して背面円Ｂの中心Ｃｂが消滅する。背面円Ｂの中心Ｃｂが消滅した瞬間に撮像された画像は、真正面画像Ｇ１とみなすことができる。

【0039】

遠近の原理により、背面円Ｂの半径Ｒｂは、正面円Ｆの半径Ｒｆよりも小さくなる。よって、歯底６３２の正面６３３の輪郭と背面６３４の輪郭とを重ねることは不可能である。正面円Ｆ及び背面円Ｂを描く手法を用いずに真正面画像Ｇ１を得るには、歯底６３２の正面６３３の輪郭と背面６３４の輪郭とを同時並行に眺めながら両者の乖離のバランスを考慮しながら、感覚的に撮像しなければならない。これでは、真正面画像Ｇ１を得ることは非常に困難である。しかしながら、正面円Ｆ及び背面円Ｂを描く手法を採用することにより、上記のように正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとを重ね合わせるだけの簡便な操作で、より正確な真正面画像Ｇ１を取得することができる。

【0040】

このようなことから、本実施形態の画像評価装置４０は、正面円Ｆと背面円Ｂとを描くことができるスプロケット６３の歯底６３２の各輪郭上の点の座標を、特徴点データ４１２とする。図６のＰ１～Ｐ４は、スプロケット６３の歯底６３２の正面６３３の輪郭を特定する特徴点である。図６のＰ５～Ｐ８は、スプロケット６３の歯底６３２の背面６３４の輪郭を特定する特徴点である。

【0041】

基準値算出部４４は、撮像画像記憶部４６に記憶された撮像画像４６１が測定用画像に適しているかを評価するための基準となる基準値Ｘを算出する。基準値算出部４４は、図４に示すように、中心半径算出部４４１と、割合算出部４４２とを備える。

【0042】

上記のように、スプロケット６３の歯底６３２の各輪郭を含む画像において、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとが一致することは、当該画像が真正面画像Ｇ１であることと、ほぼ等価である。但し、正面円Ｆの半径Ｒｆと背面円Ｂの半径Ｒｂとは異なるので、一致させるべき点は、正確には、中心Ｃｆよりも歯底６３２に近い側の点、及び、中心Ｃｂよりも歯底６３２に近い側の点である。この一致させるべき点は、評価対象の撮像画像４６１が測定用画像に適しているかを評価するための基準となる点（以下「基準点」とも称する）である。正面円Ｆの基準点及び背面円Ｂの基準点を、それぞれ、半径Ｒｆ及び半径Ｒｂに対してどの程度の割合を乗算した距離だけ中心Ｃｆ及び中心Ｃｂから歯底６３２側に離れた点に設定するべきであるかは、歯底６３２の幅及び厚さに依存するので、スプロケット６３の種類に依存する。本実施形態の画像評価装置４０では、撮像画像４６１を評価する前に、基準値算出部４４が、この割合を基準値Ｘとして算出し、スプロケット６３の種類毎に基準値記憶部４５に記憶させる。スプロケット６３の歯底６３２の各輪郭を含む画像において、正面円Ｆの基準点と背面円Ｂの基準点とが一致することは、当該画像が真正面画像Ｇ１であることと、完全に等価である。

【0043】

このようなことから、本実施形態の画像評価装置４０は、正面円Ｆの中心Ｃｆよりも歯底６３２に近い側の点を正面円Ｆの基準点とし、背面円Ｂの中心Ｃｂよりも歯底６３２に近い側の点を背面円Ｂの基準点とする。そして、本実施形態の画像評価装置４０は、正面円Ｆの基準点と背面円Ｂの基準点とが一致する画像を、真正面画像Ｇ１とする。

【0044】

基準値算出部４４は、基準値Ｘを算出する際、摩耗量の測定に適した方向から撮像された学習用画像４１１における特徴点を用いて算出する。基準値Ｘの算出に用いられる学習用画像４１１は、例えば、教師データ記憶部４１に記憶された学習用画像４１１や、基準値Ｘの算出のために撮像装置３１にて摩耗量の測定に適した方向から新たに撮像された学習用画像４１１であってもよい。基準値算出部４４は、これらの学習用画像４１１を、機械学習済みの特徴点抽出部４３に入力する。特徴点抽出部４３は、歯底６３２の正面６３３の輪郭を特定する特徴点と、背面６３４の輪郭を特定する特徴点とを抽出する。特徴点抽出部４３は、抽出された特徴点から、正面円Ｆと背面円Ｂとを特定する。

【0045】

中心半径算出部４４１は、特徴点抽出部４３により特定された正面円Ｆの中心Ｃｆ及び半径Ｒｆと、特徴点抽出部４３により特定された背面円Ｂの中心Ｃｂ及び半径Ｒｂとを算出する。基準値算出部４４の割合算出部４４２は、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとを通る直線を算出する。割合算出部４４２は、算出された直線上であって、次式（１）を満たすＸを算出する。
正面円Ｆの中心Ｃｆからの距離（半径Ｒｆ×Ｘ）＝背面円Ｂの中心Ｃｂからの距離（半径Ｒｂ×Ｘ）・・・（１）

【0046】

基準値算出部４４は、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとを通る直線上の点であって、半径Ｒｆに対してＸを乗算した距離だけ中心Ｃｆから歯底６３２側に離れた点を、正面円Ｆの基準点とする。基準値算出部４４は、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとを通る直線上の点であって、半径Ｒｂに対してＸを乗算した距離だけ中心Ｃｂから歯底６３２側に離れた点を、背面円Ｂの基準点とする。基準値算出部４４は、算出されたＸを基準値Ｘとして基準値記憶部４５に記憶させる。この際、基準値記憶部４５は、基準値算出部４４により算出された基準値Ｘを、スプロケット６３の種類を識別する部品番号に紐付けて記憶する。

【0047】

このように、基準値記憶部４５は、摩耗量の測定に適した方向から撮像された学習用画像４１１における特徴点から算出された、撮像画像４６１を評価するための基準となる基準値Ｘを記憶する。

【0048】

続いて、画像評価装置４０の利活用段階に使用又は実行される機能について説明する。
撮像画像記憶部４６は、撮像画像４６１を記憶する。撮像画像記憶部４６に記憶された撮像画像４６１は、予め撮像された動画像又は複数の静止画像である。動画像は、所定のフレームレートによって撮像された複数のフレーム画像から構成される。画像評価装置４０は、撮像画像記憶部４６に記憶された動画像を評価する場合、当該動画像を構成する複数のフレーム画像のそれぞれを評価することができる。

【0049】

特徴点抽出部４３は、撮像画像記憶部４６に記憶された撮像画像４６１が測定用画像に適しているかを評価する際に、当該撮像画像４６１に含まれる特定の部位の輪郭を特定するための複数の特徴点を抽出する。具体的には、特徴点抽出部４３には、撮像画像記憶部４６に記憶された撮像画像４６１が入力される。特徴点抽出部４３は、撮像画像４６１に含まれるスプロケット６３の歯底６３２において正面６３３の輪郭を特定する特徴点と、背面６３４の輪郭を特定する特徴点とを抽出する。特徴点抽出部４３は、抽出された特徴点から、正面円Ｆと背面円Ｂとを特定する。

【0050】

評価値算出部４７は、特徴点抽出部４３により抽出された撮像画像４６１における特徴点と、基準値記憶部４５に記憶された基準値Ｘとに基づいて、撮像画像４６１が測定用画像に適しているかを評価する評価値を算出する。評価値算出部４７は、図４に示すように、基準値平均算出部４７１と、中心半径算出部４７２と、差分長算出部４７３と、差分比算出部４７４とを備える。

【0051】

基準値平均算出部４７１は、スプロケット６３の部品番号に紐付けて基準値記憶部４５に記憶された複数の基準値Ｘの平均値Ｘｍを算出する。中心半径算出部４７２は、特徴点抽出部４３により特定された正面円Ｆの中心Ｃｆ及び半径Ｒｆと、特徴点抽出部４３により特定された背面円Ｂの中心Ｃｂ及び半径Ｒｂとを算出する。

【0052】

差分長算出部４７３は、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとを通る直線を算出する。差分長算出部４７３は、算出された直線上において、次式（２）によって表される差分長Ｄを算出する。
差分長Ｄ＝｛正面円Ｆの中心Ｃｆから距離（半径Ｒｆ×Ｘｍ）だけ離れた点｝－｛背面円Ｂの中心Ｃｂから距離（半径Ｒｂ×Ｘ）だけ離れた点｝・・・（２）

【0053】

差分比算出部４７４は、次式（３）によって表される差分比Δを算出する。
差分比Δ＝差分長Ｄ／（正面円Ｆの半径Ｒｆ＋背面円Ｂの半径Ｒｂ）・・・（３）

【0054】

評価値算出部４７は、差分比算出部４７４により算出された差分比Δを、撮像画像４６１が測定用画像に適しているかを評価する評価値とする。評価値算出部４７は、評価値として算出された差分比Δを、画像判定部４８に入力する。

【0055】

画像判定部４８は、評価値算出部４７により算出された評価値に応じて、撮像画像４６１が測定用画像として利用できるか否かを判定する。具体的には、画像判定部４８は、評価値として算出された差分比Δを、閾値Ｔと比較する。閾値Ｔは、撮像画像４６１が測定用画像として利用できるか否かを判定するための閾値であり、スプロケット６３の種類毎に予め定められている。閾値Ｔは、画像評価装置４０の閾値記憶部（不図示）に、スプロケット６３の部品番号に紐付けて予め記憶されている。画像判定部４８は、差分比Δが閾値Ｔより小さければ、撮像画像４６１が測定用画像として利用できると判定する。画像判定部４８は、差分比Δが閾値Ｔ以上であれば、撮像画像４６１が測定用画像として利用できないと判定する。画像判定部４８は、判定結果を画像抽出部４９に入力する。

【0056】

画像抽出部４９は、画像判定部４８の判定結果に応じて、撮像画像記憶部４６に記憶された撮像画像４６１の中から測定用画像を抽出する。具体的には、画像抽出部４９は、画像判定部４８の判定結果に応じて、撮像画像記憶部４６に記憶された動画像を構成する複数のフレーム画像又は複数の静止画像の中から測定用画像に該当する撮像画像４６１を抽出する。画像抽出部４９は、画像判定部４８の判定結果において複数の撮像画像４６１が測定用画像に該当していた場合、測定用画像に該当する全ての撮像画像４６１を抽出してもよいし、差分比Δが最小であった撮像画像４６１だけを抽出してもよいし、差分比Δが最小のものから順に所定数の撮像画像４６１（例えば上位５つの撮像画像４６１）だけを抽出してもよい。画像抽出部４９は、抽出された測定用画像に該当する撮像画像４６１を表示装置３２に出力し、当該画像を表示装置３２に表示させる。

【0057】

なお、画像評価装置４０は、撮像画像記憶部４６に記憶された撮像画像４６１が測定用画像として利用できるか否かの判定を行った後、当該判定結果を、撮像画像４６１に紐付けて撮像画像記憶部４６に記憶したり、表示装置３２に出力したりしてもよい。この場合、画像評価装置４０は、撮像画像記憶部４６に記憶された撮像画像４６１の中から測定用画像に該当する撮像画像４６１を抽出しなくてもよい。この場合、画像評価装置４０は、画像抽出部４９を省略してもよい。

【0058】

また、画像評価装置４０は、撮像画像記憶部４６に記憶された撮像画像４６１の全てにおいて測定用画像として利用できるか否かの判定を行わずに、差分比Δが最小の撮像画像４６１を測定用画像として抽出するだけでもよい。この場合、画像評価装置４０は、画像判定部４８を省略してもよい。

【0059】

次に、画像評価装置４０の動作について説明する。画像評価装置４０は、特徴点の抽出機能を生成する機械学習モードと、基準値Ｘを事前に算出し記憶しておく学習モードと、撮像画像記憶部４６に記憶された撮像画像４６１の中から測定用画像を抽出する画像抽出モードによって動作することができる。

【0060】

図７は、基準値Ｘの学習モードでの画像評価装置４０の動作を示すフローチャートである。

【0061】

ステップＳ７０１において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、基準値Ｘの学習モードの開始を受け付ける。

【0062】

ステップＳ７０２において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、スプロケット６３の部品番号を受け付ける。

【0063】

ステップＳ７０３において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、基準値Ｘの消去（初期化）を受け付けたか否かを判定する。画像評価装置４０は、基準値Ｘの消去を受け付けていない場合、ステップＳ７０５に移行する。画像評価装置４０は、基準値Ｘの消去を受け付けた場合、ステップＳ７０４に移行する。

【0064】

ステップＳ７０４において、画像評価装置４０は、基準値Ｘを消去する。具体的には、画像評価装置４０は、基準値記憶部４５に記憶された基準値Ｘ、又は、ステップＳ７１３においてエラーメッセージを出力した基準値Ｘを消去する。

【0065】

ステップＳ７０５において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、基準値Ｘの学習モードの終了を受け付けたか否かを判定する。画像評価装置４０は、基準値Ｘの学習モードの終了を受け付けた場合、図７に示す本処理を終了する。画像評価装置４０は、基準値Ｘの学習モードの終了を受け付けていない場合、ステップＳ７０６に移行する。

【0066】

ステップＳ７０６において、画像評価装置４０は、基準値Ｘの算出に用いられる学習用画像４１１を読み込む。

【0067】

ステップＳ７０７において、画像評価装置４０は、スプロケット６３の歯底６３２の正面６３３の輪郭を特定する特徴点と、背面６３４の輪郭を特定する特徴点とを抽出する。画像評価装置４０は、抽出された特徴点から、正面円Ｆと背面円Ｂとを特定する。

【0068】

ステップＳ７０８において、画像評価装置４０は、正面円Ｆの中心Ｃｆ及び半径Ｒｆと、背面円Ｂの中心Ｃｂ及び半径Ｒｂとを算出する。

【0069】

ステップＳ７０９において、画像評価装置４０は、基準値Ｘを算出する。具体的には、画像評価装置４０は、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとを通る直線上であって上記の式（１）を満たすような基準値Ｘを算出する。

【0070】

ステップＳ７１０において、画像評価装置４０は、基準値記憶部４５に既に基準値Ｘが記憶されているか否かを判定する。画像評価装置４０は、基準値記憶部４５に既に基準値Ｘが記憶されていない場合、ステップＳ７１３に移行する。画像評価装置４０は、基準値記憶部４５に既に基準値Ｘが記憶されている場合、ステップＳ７１１に移行する。

【0071】

ステップＳ７１１において、画像評価装置４０は、今回算出された基準値Ｘと、基準値記憶部４５に既に記憶された基準値Ｘとの差が、許容範囲内か否かを判定する。画像評価装置４０は、今回算出された基準値Ｘと、基準値記憶部４５に既に記憶された基準値Ｘとの差が、許容範囲内である場合、ステップＳ７１３に移行する。画像評価装置４０は、今回算出された基準値Ｘと、基準値記憶部４５に既に記憶された基準値Ｘとの差が、許容範囲内でない場合、ステップＳ７１２に移行する。なお許容範囲か否かは、あらかじめ設定して記憶されている閾値に基づく。閾値は任意に設定しうる。

【0072】

ステップＳ７１２において、画像評価装置４０は、エラーメッセージを表示装置３２に出力し、ステップＳ７０３に移行する。

【0073】

ステップＳ７１３において、画像評価装置４０は、今回算出された基準値Ｘを新たな基準値Ｘとして基準値記憶部４５に記憶する。

【0074】

このようにして、画像評価装置４０は、撮像画像４６１を評価するための基準となる基準値Ｘを事前に算出し記憶しておくことができる。

【0075】

図８は、画像抽出モードでの画像評価装置４０の動作を示すフローチャートである。

【0076】

ステップＳ８０１において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、画像抽出モードの開始を受け付ける。

【0077】

ステップＳ８０２において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、スプロケット６３の部品番号を受け付ける。

【0078】

ステップＳ８０３において、画像評価装置４０は、基準値記憶部４５に基準値Ｘが記憶されているか否かを判定する。画像評価装置４０は、基準値記憶部４５に基準値Ｘが記憶されている場合、ステップＳ８０５に移行する。画像評価装置４０は、基準値記憶部４５に基準値Ｘが記憶されていない場合、ステップＳ８０４に移行する。

【0079】

ステップＳ８０４において、画像評価装置４０は、基準値Ｘが記憶されていない旨のメッセージを表示装置３２に出力する。画像評価装置４０は、図８に示す本処理を終了する。

【0080】

ステップＳ８０５において、画像評価装置４０は、基準値記憶部４５に記憶された基準値Ｘの平均値Ｘｍを算出する。

【0081】

ステップＳ８０６において、画像評価装置４０は、撮像画像記憶部４６に記憶された撮像画像４６１を読み込む。

【0082】

ステップＳ８０７において、画像評価装置４０は、スプロケット６３の歯底６３２の正面６３３の輪郭を特定する特徴点と、背面６３４の輪郭を特定する特徴点とを抽出する。画像評価装置４０は、抽出された特徴点から、正面円Ｆと背面円Ｂとを特定する。

【0083】

ステップＳ８０８において、画像評価装置４０は、正面円Ｆの中心Ｃｆ及び半径Ｒｆと、背面円Ｂの中心Ｃｂ及び半径Ｒｂとを算出する。

【0084】

ステップＳ８０９において、画像評価装置４０は、正面円Ｆの中心Ｃｆと背面円Ｂの中心Ｃｂとを通る直線上において上記の式（２）によって表される差分長Ｄを算出する。

【0085】

ステップＳ８１０において、画像評価装置４０は、上記の式（３）によって表される差分比Δを算出する。

【0086】

ステップＳ８１１において、画像評価装置４０は、算出された差分比Δが予め定められた閾値Ｔより小さいか否かを判定することによって、今回読み込んだ撮像画像４６１が測定用画像として利用できるか否かを判定する。

【0087】

ステップＳ８１２において、画像評価装置４０は、ステップＳ８１１の判定結果が測定用画像として利用できることを示すか否かを判定する。画像評価装置４０は、当該判定結果が測定用画像として利用できることを示さない場合、ステップＳ８１４に移行する。画像評価装置４０は、当該判定結果が測定用画像として利用できることを示す場合、ステップＳ８１３に移行する。

【0088】

ステップＳ８１３において、画像評価装置４０は、今回読み込んだ撮像画像４６１を測定用画像として抽出する。

【0089】

ステップＳ８１４において、画像評価装置４０は、撮像画像記憶部４６に記憶された全ての撮像画像４６１を評価したか否かを判定する。画像評価装置４０は、撮像画像記憶部４６に記憶された全ての撮像画像４６１を評価していない場合、ステップＳ８０６に移行する。画像評価装置４０は、撮像画像記憶部４６に記憶された全ての撮像画像４６１を評価した場合、ステップＳ８１５に移行する。

【0090】

ステップＳ８１５において、画像評価装置４０は、測定用画像が抽出されたか否かを判定する。画像評価装置４０は、測定用画像が抽出された場合、ステップＳ８１７に移行する。画像評価装置４０は、測定用画像が抽出されなかった場合、ステップＳ８１６に移行する。

【0091】

ステップＳ８１６において、画像評価装置４０は、測定用画像が抽出されなかった旨のメッセージを表示装置３２に出力する。画像評価装置４０は、図８に示す本処理を終了する。

【0092】

ステップＳ８１７において、画像評価装置４０は、抽出された測定用画像を表示装置３２に出力する。画像評価装置４０は、図８に示す本処理を終了する。

【0093】

以上のように、実施形態１の画像評価装置４０は、作業機械６の特定の部位（摩耗する部位、例えばスプロケット６３）の撮像画像４６１が摩耗量の測定に用いられる測定用画像に適しているかを評価する画像評価装置である。特徴点抽出部４３は、当該特定の部位の輪郭を含む学習用画像４１１と、学習用画像４１１に含まれる当該特定の部位の輪郭を特定するための複数の特徴点の座標を示す特徴点データ４１２とが、教師データとして、機械学習されており、撮像画像４６１に含まれる当該特定の部位の輪郭を特定する特徴点を抽出する。基準値記憶部４５は、摩耗量の測定に適した方向から撮像された学習用画像４１１における特徴点から算出された、撮像画像４６１を評価するための基準となる基準値Ｘを記憶する。評価値算出部４７は、特徴点抽出部４３により抽出された撮像画像４６１における特徴点と、基準値記憶部４５に記憶された基準値Ｘとに基づいて、撮像画像４６１が測定用画像に適しているかを評価する評価値を算出する。画像判定部４８は、評価値算出部４７により算出された評価値に応じて、撮像画像４６１が測定用画像として利用できるか否かを判定する。

【0094】

これにより、実施形態１の画像評価装置４０は、例えば、特許文献１に開示された平面計測手段のような特別な手段を用いなくても、作業機械６の特定の部位の撮像画像４６１が、摩耗量の測定に適した画像であるかを高精度で評価することができる。更に、実施形態１の画像評価装置４０は、撮像画像４６１が撮像済みであるか否かに関わらず、摩耗量の測定に適した画像であるかを高精度で評価することができる。したがって、実施形態１の画像評価装置４０は、ユーザがスマートフォン等によって摩耗する部位を気軽に撮像した撮像画像４６１であっても、撮像画像４６１が摩耗量の測定に適した画像であるかを適切且つ容易に評価することができる。画像評価装置４０を導入することによって、ユーザは、対象部位の３次元点群を取得する３次元形状測定機のような高額な手段を用いなくても、２次元の撮像画像４６１から摩耗量の測定を行うことができる。実施形態１の画像評価装置４０は、摩耗量の測定作業の簡略化及び効率化を図ることができる。

【0095】

更に、実施形態１の画像評価装置４０は、測定用画像を抽出する画像抽出部４９を備える。実施形態１の評価対象の撮像画像４６１は、予め撮像されて撮像画像記憶部４６に記憶された動画像又は複数の静止画像である。画像抽出部４９は、画像判定部４８の判定結果に応じて、撮像画像記憶部４６に記憶された動画像を構成する複数のフレーム画像又は複数の静止画像の中から測定用画像を抽出する。

【0096】

これにより、実施形態１の画像評価装置４０は、既に撮像済みの動画像集や静止画像集から、摩耗量の測定に適した画像を自動的に抽出することができる。特に、実施形態１の画像評価装置４０は、何ら目的なく撮像された動画像集や静止画像集からであっても、摩耗量の測定に適した画像を自動的に抽出することができる。よって、実施形態１の画像評価装置４０は、摩耗量の測定に適した画像を容易に取得することができ、摩耗量の測定作業の簡略化及び効率化を更に図ることができる。

【0097】

なお、上記の摩耗量測定システム１では、通信端末３が画像評価装置４０の全部の機能を備えていたが、サーバ装置２が画像評価装置４０の全部又は一部の機能を備えていてもよい。例えば、サーバ装置２が、教師データ記憶部４１及び学習部４２を備えており、通信端末３が、機械学習済みの特徴点抽出部４３を備えていてもよい。或いは、サーバ装置２が、機械学習済みの特徴点抽出部４３をも備えており、通信端末３が、サーバ装置２から送信された特徴点抽出部４３の抽出結果を受信してもよい。また、サーバ装置２が、教師データ記憶部４１、学習部４２、特徴点抽出部４３、基準値算出部４４、基準値記憶部４５、評価値算出部４７、画像判定部４８及び画像抽出部４９を備えており、通信端末３が撮像画像記憶部４６だけを備えていてもよい。また、サーバ装置２が撮像画像記憶部４６をも備えており、通信端末３が、サーバ装置２から送信された画像抽出部４９の抽出結果を受信し、表示装置３２に出力してもよい。

【0098】

［実施形態２］
図９～図１２を用いて、実施形態２の画像評価装置４０について説明する。実施形態２の画像評価装置４０において、実施形態１と同様の構成及び動作については、その説明を省略する。

【0099】

実施形態２では、作業機械６の摩耗する部位がツース６９３である場合に、ツース６９３の撮像画像４６１が測定用画像に適しているかを評価する画像評価装置４０について説明する。

【0100】

図９は、実施形態２の画像評価装置４０が備える基準値算出部４４及び評価値算出部４７の詳細構成を示すブロック図である。図１０は、バケット６９の先端部６９ａの構成を模式的に示す図である。図１１は、ツース６９３の摩耗量の測定に適した斜視画像Ｇ３を模式的に示す図である。図１２は、ツース６９３及びアダプタ６９２の輪郭を特定する特徴点を説明する図である。なお、図１１及び図１２に示す破線部は、摩耗前のツース６９３の輪郭を示している。

【0101】

ツース６９３は、図１０に示すように、バケット６９の先端部６９ａに幅方向に間隔をあけて設けられたアダプタ６９２に取り付けられている。アダプタ６９２は、摩耗し難い部位である。本実施形態では、アダプタ６９２の長さ及び幅は不変とする。図１１に示すアダプタ６９２及びツース６９３の正面６９４は、バケット６９の内表面に連続する面である。図１１に示すアダプタ６９２及びツース６９３の側面６９５は、バケット６９の外表面に連続する背面と正面６９４とに連続する面であり、バケット６９のダンプ／クラウド方向に沿う面である。

【0102】

ツース６９３の摩耗量（摩耗率）は、次のようにして測定することができる。すなわち、図１１に示すように、摩耗したツース６９３の画像上の長さをＬｔとし、アダプタ６９２の画像上の長さをＬａとする。また、アダプタ６９２の実際の長さをｌａ（固定値）とし、摩耗前のツース６９３の画像上の長さをＬｔ０とする。この場合、摩耗したツース６９３の実際の長さｌｔは、次式（４）にように表すことができる。ツース６９３の摩耗量（摩耗率）は、次式（５）のように表すことができる。
摩耗したツース６９３の実際の長さｌｔ＝（摩耗したツース６９３の画像上の長さＬｔ）×（アダプタ６９２の画像上の長さＬａ）／（アダプタ６９２の実際の長さｌａ）・・・（４）
ツース６９３の摩耗量（摩耗率）＝１－｛（摩耗したツース６９３の画像上の長さＬｔ）／（摩耗前のツース６９３の画像上の長さＬｔ０）｝・・・（５）

【0103】

但し、ツース６９３の正面６９４から撮像されたに近い画像では、アダプタ６９２及びツース６９３の側面６９５の面積が狭くなる。よって、ツース６９３の正面６９４から撮像されたに近い画像では、アダプタ６９２の画像上の長さＬａやツース６９３の画像上の長さＬｔ及びＬｔ０を正確に測定することができない。一方、ツース６９３の正面６９４に対して過度に斜め方向から撮像された画像では、画像手前側に写るアダプタ６９２及びツース６９３と、画像奥側に写るアダプタ６９２及びツース６９３とが重なってしまい、画像奥側のアダプタ６９２及びツース６９３の側面６９５の一部が写らなくなる。よって、ツース６９３の正面６９４に対して過度に斜め方向から撮像された画像では、アダプタ６９２の画像上の長さＬａやツース６９３の画像上の長さＬｔ及びＬｔ０を正確に測定することができない。よって、摩耗量の測定に適した方向から撮像された画像は、アダプタ６９２の画像上の長さＬａやツース６９３の画像上の長さＬｔ及びＬｔ０を正確に測定できる方向から撮像された画像である。摩耗量の測定に適した方向から撮像された画像は、図１１に示すような、ツース６９３の正面６９４に対して適度に斜め方向から撮像された斜視画像Ｇ３である。

【0104】

斜視画像Ｇ３は、アダプタ６９２の正面６９４及び側面６９５の各輪郭とツース６９３の正面６９４及び側面６９５の各輪郭とを含む画像である。斜視画像Ｇ３では、画像上の長さとして、アダプタ６９２とツース６９３との境界部６９６における正面６９４の幅Ｗｆと側面６９５の幅Ｗｓとの比が、所定値を示すとして定義され得る（少なくとも所定範囲内に収まるとして定義され得る）。アダプタ６９２の正面６９４及び側面６９５の各輪郭とツース６９３の正面６９４及び側面６９５の各輪郭とを含む画像において、境界部６９６における正面６９４の幅Ｗｆと側面６９５の幅Ｗｓとの比が所定値になること（少なくとも所定範囲内に収まること）は、当該画像が斜視画像Ｇ３であることと、等価である。

【0105】

このようなことから、実施形態２の画像評価装置４０では、アダプタ６９２の正面６９４及び側面６９５の各輪郭を特定する頂点の座標と、ツース６９３の正面６９４及び側面６９５の各輪郭を特定する頂点の座標とを、特徴点データ４１２とする。図１２に示す画像Ｇ４は、アダプタ６９２の正面６９４及び側面６９５の各輪郭とツース６９３の正面６９４及び側面６９５の各輪郭とを含む画像である。図１２のＰ１１～Ｐ１４は、ツース６９３の正面６９４の輪郭を特定する特徴点である。図１２のＰ１２、Ｐ１４、Ｐ１５は、ツース６９３の側面６９５の輪郭を特定する特徴点である。図１２のＰ１３、Ｐ１４、Ｐ１６、Ｐ１７は、アダプタ６９２の正面６９４の輪郭を特定する特徴点である。図１２のＰ１４、Ｐ１５、Ｐ１７、Ｐ１８は、アダプタ６９２の側面６９５の輪郭を特定する特徴点である。

【0106】

そして、実施形態２の画像評価装置４０では、アダプタ６９２の正面６９４及び側面６９５の各輪郭とツース６９３の正面６９４及び側面６９５の各輪郭とを含む画像を、学習用画像４１１とする。学習用画像４１１は、アダプタ６９２及びツース６９３のそれぞれの正面６９４及び側面６９５を、摩耗量の測定に適した方向を含む複数の撮像方向から撮像することによって取得される。

【0107】

また、実施形態２の画像評価装置４０では、アダプタ６９２とツース６９３との境界部６９６における正面６９４の幅Ｗｆと側面６９５の幅Ｗｓとの比を、基準値Ｘとする。

【0108】

具体的には、実施形態２の基準値算出部４４は、学習用画像４１１を、機械学習済みの特徴点抽出部４３に入力する。実施形態２の特徴点抽出部４３は、学習用画像４１１に含まれるアダプタ６９２の正面６９４及び側面６９５の各輪郭を特定する特徴点と、ツース６９３の正面６９４及び側面６９５の各輪郭を特定する特徴点とを抽出する。特徴点抽出部４３は、抽出された特徴点から、アダプタ６９２とツース６９３との境界部６９６における正面６９４の幅Ｗｆと側面６９５の幅Ｗｓとを特定する。

【0109】

実施形態２の基準値算出部４４は、図９に示すように、幅比算出部４４３を備える。幅比算出部４４３は、特徴点抽出部４３により特定された境界部６９６における正面６９４の幅Ｗｆと側面６９５の幅Ｗｓとの比（Ｗｆ／Ｗｓ）を算出する。幅比算出部４４３は、算出された比（Ｗｆ／Ｗｓ）を、基準値Ｘとして基準値記憶部４５に記憶させる。この際、基準値記憶部４５は、基準値算出部４４により算出された基準値Ｘを、ツース６９３の種類を識別する部品番号に紐付けて記憶する。

【0110】

実施形態２の特徴点抽出部４３は、撮像画像記憶部４６に記憶された撮像画像４６１が測定用画像に適しているかを評価する際に、撮像画像４６１に含まれるアダプタ６９２の正面６９４及び側面６９５の各輪郭を特定する特徴点と、ツース６９３の正面６９４及び側面６９５の各輪郭を特定する特徴点とを抽出する。特徴点抽出部４３は、抽出された特徴点から、アダプタ６９２とツース６９３との境界部６９６における正面６９４の幅Ｗｆと側面６９５の幅Ｗｓとを特定する。

【0111】

実施形態２の評価値算出部４７は、図９に示すように、基準値平均算出部４７１と、幅比算出部４７５と、幅比差分算出部４７６とを備える。基準値平均算出部４７１は、実施形態１と同様に、ツース６９３の部品番号に紐付けて基準値記憶部４５に記憶された複数の基準値Ｘの平均値Ｘｍを算出する。幅比算出部４７５は、特徴点抽出部４３により特定された境界部６９６における正面６９４の幅Ｗｆと側面６９５の幅Ｗｓとの比Ｘ（＝Ｗｆ／Ｗｓ）を算出する。幅比差分算出部４７６は、幅比算出部４７５により算出された比Ｘと、基準値平均算出部４７１により算出された平均値Ｘｍとの差分値｜Ｘ－Ｘｍ｜を算出する。

【0112】

実施形態２の評価値算出部４７は、幅比差分算出部４７６により算出された差分値｜Ｘ－Ｘｍ｜を、撮像画像４６１が測定用画像に適しているかを評価する評価値とする。評価値算出部４７は、評価値として算出された差分値｜Ｘ－Ｘｍ｜を、画像判定部４８に入力する。

【0113】

実施形態２の画像判定部４８は、実施形態１と同様に、評価値算出部４７により算出された評価値に応じて、撮像画像４６１が測定用画像として利用できるか否かを判定する。実施形態２の画像抽出部４９は、実施形態１と同様に、画像判定部４８の判定結果に応じて、撮像画像記憶部４６に記憶された撮像画像４６１の中から測定用画像を抽出する。

【0114】

以上のように、実施形態２の画像評価装置４０は、作業機械６の特定の部位がツース６９３のように真正面の基準となる平面が存在しない場合であっても、実施形態１と同様に、撮像画像４６１が摩耗量の測定に適した画像であるかを適切且つ容易に評価することができる。実施形態２の画像評価装置４０は、実施形態１と同様に、撮像済みの動画像集や静止画像集から、摩耗量の測定に適した画像を自動的に抽出することができる。

【0115】

［実施形態３］
図１３～図１４を用いて、実施形態３の画像評価装置４０について説明する。実施形態３の画像評価装置４０において、実施形態１と同様の構成及び動作については、その説明を省略する。
図１３は、実施形態３の画像評価装置４０の機能的構成を示すブロック図である。

【0116】

撮像装置３１は、撮像時に被写体の画像を表示装置３２にリアルタイムで表示させるライブビュー機能を備えている。実施形態３の画像評価装置４０は、撮像画像記憶部４６に記憶された撮像済みの撮像画像４６１を評価するのではなく、撮像装置３１のライブビュー機能により取得された撮像画像４６１（以下「ライブビュー画像５０１」とも称する）を評価対象とする。実施形態３の画像評価装置４０は、ユーザが撮像装置３１を用いて作業機械６の摩耗する部位を撮像する際に、撮像装置３１が摩耗量の測定に適した測定用画像を撮像できるよう、表示装置３２を介して撮像装置３１の位置又は姿勢を案内する。

【0117】

実施形態３の画像評価装置４０は、図１３に示すように、撮像画像記憶部４６の代わりにライブビュー画像取得部５０を備え、画像抽出部４９の代わりに撮像案内部５１を備える。

【0118】

ライブビュー画像取得部５０は、撮像装置３１のライブビュー機能により取得されたライブビュー画像５０１を、撮像装置３１から取得し、学習済みの特徴点抽出部４３に入力する。撮像案内部５１は、画像判定部４８によりライブビュー画像５０１が測定用画像として利用できないと判定された場合、ライブビュー画像５０１が測定用画像として利用できるよう撮像装置３１の位置又は姿勢を案内するメッセージを表示装置３２に出力する。撮像案内部５１は、当該メッセージを通信端末３のスピーカ（不図示）に出力してもよい。撮像案内部５１は、画像判定部４８によりライブビュー画像５０１が測定用画像として利用できると判定された場合、ライブビュー画像５０１を自動撮像し、所定の記憶部に記憶する。自動撮像を継続する時間は任意であってライブビュー画像５０１が測定用画像として適する限り続くが、「停止」を指示する操作によって任意のタイミングで停止することとしてもよい。また、摩耗の進行に応じて撮像時間を異ならせてもよい。この場合、摩耗の進行を判定するための基準値を予め設けておき、基準値を超えた場合は摩耗が進行していると仮定して、少なくとも２回以上の自動撮像を繰り返し、操作者に最善の撮像結果を選択してもらう構成としてもよい。これによって、摩耗の進行を更に確実に、且つ、より高精度に把握することが可能になる。

【0119】

このように、実施形態３の画像評価装置４０は、ライブビュー画像５０１が測定用画像として適している場合に自動撮像する自動撮像モードによって動作することができる。

【0120】

図１４は、自動撮像モードでの画像評価装置４０の動作を示すフローチャートである。

【0121】

ステップＳ１４０１において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、自動撮像モードの開始を受け付ける。

【0122】

ステップＳ１４０２において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、閾値Ｔの変更を受け付けたか否かを判定する。閾値Ｔは、ライブビュー画像５０１が測定用画像として利用できるか否かを判定するための閾値であり、画像評価装置４０の閾値記憶部（不図示）に予め記憶されている。画像評価装置４０は、閾値Ｔの変更を受け付けていない場合、ステップＳ１４０４に移行する。画像評価装置４０は、閾値Ｔの変更を受け付けた場合、ステップＳ１４０３に移行する。

【0123】

ステップＳ１４０３において、画像評価装置４０は、受け付けた閾値Ｔを再設定する。

【0124】

ステップＳ１４０４において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、スプロケット６３の部品番号を受け付ける。

【0125】

ステップＳ１４０５において、画像評価装置４０は、基準値記憶部４５に基準値Ｘが記憶されているか否かを判定する。画像評価装置４０は、基準値記憶部４５に基準値Ｘが記憶されている場合、ステップＳ１４０７に移行する。画像評価装置４０は、基準値記憶部４５に基準値Ｘが記憶されていない場合、ステップＳ１４０６に移行する。

【0126】

ステップＳ１４０６において、画像評価装置４０は、基準値Ｘが記憶されていない旨のメッセージを表示装置３２に出力する。画像評価装置４０は、図１４に示す本処理を終了する。

【0127】

ステップＳ１４０７において、画像評価装置４０は、基準値記憶部４５に記憶された基準値Ｘの平均値Ｘｍを算出する。

【0128】

ステップＳ１４０８において、画像評価装置４０は、ライブビュー画像取得部５０により取得されたライブビュー画像５０１を読み込む。

【0129】

ステップＳ１４０９～ステップＳ１４１３において、画像評価装置４０は、図８に示すステップＳ８０７～ステップＳ８１１と同様の処理を行う。

【0130】

ステップＳ１４１４において、画像評価装置４０は、ステップＳ１４１３の判定結果が測定用画像として利用できることを示すか否かを判定する。画像評価装置４０は、当該判定結果が測定用画像として利用できることを示さない場合、ステップＳ１４１７に移行する。画像評価装置４０は、当該判定結果が測定用画像として利用できることを示す場合、ステップＳ１４１５に移行する。

【0131】

ステップＳ１４１５において、画像評価装置４０は、今回読み込んだライブビュー画像５０１を撮像し、測定用画像として記憶する。

【0132】

ステップＳ１４１６において、画像評価装置４０は、抽出された測定用画像を表示装置３２に出力する。画像評価装置４０は、図１４に示す本処理を終了する。

【0133】

ステップＳ１４１７において、画像評価装置４０は、ライブビュー画像５０１が測定用画像として利用できるよう撮像装置３１の位置又は姿勢を案内するメッセージを表示装置３２に出力する。例えば、画像評価装置４０は、ステップＳ１４１０において算出された正面円Ｆの基準点が背面円Ｂの基準点よりも右斜め上にある場合、「撮像装置３１をもっと右斜め上に移動させた位置から撮像してください」と案内するメッセージを表示装置３２に出力する。

【0134】

ステップＳ１４１８において、画像評価装置４０は、撮像装置３１の位置又は姿勢が変更されたか否かを判定する。画像評価装置４０は、ライブビュー画像５０１の変化を確認したり、通信端末３の姿勢センサの検出信号を確認したりすることによって、撮像装置３１の位置又は姿勢が変更されたか否かを判定することができる。画像評価装置４０は、撮像装置３１の位置又は姿勢が変更された場合、ステップＳ１４０８に移行する。画像評価装置４０は、撮像装置３１の位置又は姿勢が変更されていない場合、ステップＳ１４１９に移行する。

【0135】

ステップＳ１４１９において、画像評価装置４０は、入力装置３３に対するユーザの入力操作に応じて、自動撮像モードの終了を受け付けたか否かを判定する。画像評価装置４０は、自動撮像モードの終了を受け付けていない場合、ステップＳ１４１８に移行する。画像評価装置４０は、自動撮像モードの終了を受け付けた場合、図１４に示す本処理を終了する。

【0136】

以上のように、実施形態３の画像評価装置４０は、作業機械６の摩耗する部位を撮像する撮像装置３１の位置又は姿勢を案内する撮像案内部５１を備える。実施形態３の評価対象の撮像画像４６１は、撮像装置３１のライブビュー機能により取得されたライブビュー画像５０１である。撮像案内部５１は、画像判定部４８によりライブビュー画像５０１が測定用画像として利用できないと判定された場合、ライブビュー画像５０１が測定用画像として利用できるよう撮像装置３１の位置又は姿勢を案内するメッセージを出力する。

【0137】

これにより、実施形態３の画像評価装置４０は、作業機械６の摩耗する部位をこれから撮像しようとするユーザに対して、摩耗量の測定に適した画像を容易に撮像させることができる。よって、実施形態３の画像評価装置４０は、摩耗量の測定作業の簡略化及び効率化を更に図ることができる。また撮影時においては、撮影対象の特性上、泥が付着しているなどによって物体認識ができない場合もある。このことは摩耗量の精確な測定に障害となる。ライブビュー画像で撮像対象の部位をリアルタイムで撮像することによって、摩耗量の測定に適した、さらに精度の高い画像の取得が可能になる。

【0138】

なお、実施形態３は、作業機械６の摩耗する部位がスプロケット６３である場合を例に挙げて説明したが、実施形態３の画像評価装置４０は、作業機械６の摩耗する部位がツース６９３である場合にも当然に適用可能である。また、実施形態３の画像評価装置４０では、撮像画像記憶部４６の代わりにライブビュー画像取得部５０を備え、画像抽出部４９の代わりに撮像案内部５１を備えていた。しかしながら、画像評価装置４０は、撮像画像記憶部４６及びライブビュー画像取得部５０の両方を備え、画像抽出部４９及び撮像案内部５１の両方を備えていてもよい。

【0139】

［他の実施形態］
摩耗量測定システム１は、画像評価装置４０により抽出された測定用画像を用いて、摩耗量を測定する。摩耗量の測定は、通信端末３によって行われてもよいし、サーバ装置２によって行われてもよい。摩耗量測定システム１は、測定された摩耗量のレベルを特定し、特定されたレベルに応じた表示を含む摩耗量のインジケータ画像を作成し、通信端末３の表示装置３２に出力することができる。

【0140】

摩耗量のレベルは、例えば、摩耗した部位の交換が必要な摩耗量に到達している第１レベルと、所定作業量を作業後に摩耗した部位の交換が必要な摩耗量に到達しそうな第２レベルと、所定作業量を作業後でも摩耗した部位の交換が必要な摩耗量に到達しない第３レベルとを有する。

【0141】

摩耗量のインジケータ画像は、その形状、大きさ、色彩及び模様の少なくとも１つを、摩耗量のレベルに応じて変化させて、部位毎に作成される。例えば、摩耗量のレベルが第１レベルであれば摩耗量のインジケータ画像は赤色、摩耗量のレベルが第２レベルであれば摩耗量のインジケータ画像は黄色、摩耗量のレベルが第３レベルであれば摩耗量のインジケータ画像は緑色を用いて作成されてもよい。なおレベルや色は３段階もしくは３色に限られず、任意に設定され得る。或いは、例えば、摩耗量のレベルが第１レベルであれば摩耗量のインジケータ画像の長さが最も長くなり、摩耗量のレベルが第２レベルであれば摩耗量のインジケータ画像の長さが中位であり、摩耗量のレベルが第３レベルであれば摩耗量のインジケータ画像の長さが最も短くなるように作成されてもよい。すなわち、インジケータ画像は、摩耗した部位の交換推奨度が高くなるに従って、インジケータ画像の長さが長くなるように作成されてもよい。

【0142】

更に、摩耗量測定システム１は、現在の作業機械６の稼動状況から将来的な摩耗量の推移を予測することができる。そして、摩耗量測定システム１は、摩耗量の予測推移を上記のインジケータ画像に重畳表示させる画像を作成し、表示装置３２に出力することができる。或いは、摩耗量測定システム１は、摩耗量の予測推移に応じてインジケータ画像の長さが変化するようなアニメーションを作成し、表示装置３２に出力することができる。

【0143】

更に、摩耗量測定システム１は、複数の作業機械６における摩耗する部位の摩耗量をサーバ装置２に集約し、摩耗量が類似する複数の作業機械６を特定することができる。そして、摩耗量測定システム１は、摩耗量が類似する複数の作業機械６の情報を、ユーザの通信端末３に送信して、ユーザ間で共有させることができる。

【0144】

このような構成により、摩耗量測定システム１は、摩耗量のレベル、部位交換時期、摩耗量の予測推移等の情報を、直感的に把握しやすい形態でユーザに報知することができる。

【0145】

以上、本発明の実施形態について詳述したが、本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の変更を行うことができる。本発明は、或る実施形態の構成を他の実施形態の構成に追加したり、或る実施形態の構成を他の実施形態と置換したり、或る実施形態の構成の一部を削除したりすることができる。

【符号の説明】

【0146】

１…摩耗量測定システム、２…サーバ装置、３…通信端末、３１…撮像装置、３２…表示装置、３３…入力装置、４０…画像評価装置、４０１…演算処理装置、４０２…記憶装置、４１…教師データ記憶部、４１１…学習用画像、４１２…特徴点データ、４２…学習部、４３…特徴点抽出部、４４…基準値算出部、４４１…中心半径算出部、４４２…割合算出部、４４３…幅比算出部、４５…基準値記憶部、４６…撮像画像記憶部、４６１…撮像画像、４７…評価値算出部、４７１…基準値平均算出部、４７２…中心半径算出部、４７３…差分長算出部、４７４…差分比算出部、４７５…幅比算出部、４７６…幅比差分算出部、４８…画像判定部、４９…画像抽出部、５０…ライブビュー画像取得部、５０１…ライブビュー画像、５１…撮像案内部、６…作業機械、６１…下部走行体、６２…アイドラ、６３…スプロケット、６３１…歯、６３２…歯底、６３３…正面、６３４…背面、６３５…側面、６４…クローラ、６５…上部旋回体、６５１…旋回装置、６５２…キャブ、６５３…機械室、６６…フロント作業機、６７…ブーム、６７１…ブームシリンダ、６８…アーム、６８１…アームシリンダ、６９…バケット、６９ａ…先端部、６９１…バケットシリンダ、６９２…アダプタ、６９３…ツース、６９４…正面、６９５…側面、６９６…境界部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】