(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-29
(45)【発行日】2024-11-07
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
G06T 3/18 20240101AFI20241030BHJP
E02F 9/26 20060101ALI20241030BHJP
G06T 7/70 20170101ALI20241030BHJP
【ＦＩ】
G06T3/18
E02F9/26 A
G06T7/70 B
【請求項の数】
5
(21)【出願番号】P 2020154650
(22)【出願日】2020-09-15
(65)【公開番号】P2022048686
(43)【公開日】2022-03-28
【審査請求日】2023-03-15
(73)【特許権者】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】奥村 崇
(72)【発明者】
【氏名】金野 浩之
(72)【発明者】
【氏名】猪瀬 聡志
【審査官】橘 高志
(56)【参考文献】
【文献】国際公開第２０１４／０６１３７２（ＷＯ，Ａ１）
【文献】特開２０１９－１９２１５６（ＪＰ，Ａ）
【文献】特開２０１４－１９４７２９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ３／１８
Ｅ０２Ｆ ９／２６
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
対象物の対象面の画像を撮像装置から取得するとともに前記撮像装置と前記対象面との距離を距離センサから取得して前記対象面の画像を正対画像に変換する画像処理装置であって、各点群が互いに離隔し、かつ前記各点群から選択した各一の点が同一直線上に存在しないように、前記対象面に第１点群と第２点群と第３点群とを設定し、
前記第１点群と前記第２点群と前記第３点群とにそれぞれｎ個（ｎは２以上の自然数）の点を設定し、
前記撮像装置から、前記第１点群の各点までの距離、前記第２点群の各点までの距離、および前記第３点群の各点までの距離を、前記距離センサから取得し、
前記第１点群から選択した一の点と前記第２点群から選択した一の点と前記第３点群から選択した一の点とに基づいて平面を算出する平面算出処理をすべての点の組み合わせに対して実行して第１平面群を算出し、
前記平面算出処理によってｎ ３ 個の平面を含む前記第１平面群を算出し、
前記第１平面群の全平面の単位法線ベクトルを平均した平均ベクトルを法線ベクトルとし、かつ前記第１点群と前記第２点群と前記第３点群とに含まれる全点との距離の総和が最小となる第１平均平面を算出し、
前記第１平均平面に基づいて前記対象面の画像を前記正対画像に変換することを特徴とする画像処理装置。
【請求項2】
前記撮像装置から取得した前記対象面の画像を前記第１点群、前記第２点群、および前記第３点群とともに表示装置に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記第１平均平面までの距離がしきい値以上である点とそれ以外の点とを前記表示装置に異なる色で表示させることを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記第１平均平面までの距離がしきい値以上である点を前記第１点群と前記第２点群と前記第３点群とから除外し、残存する点のすべての組み合わせに対して前記平面算出処理を実行して第２平面群を算出し、前記第２平面群の全平面の単位法線ベクトルを平均した平均ベクトルを法線ベクトルとし、かつ前記残存する点との距離の総和が最小となる第２平均平面を算出し、
前記第２平均平面の前記法線ベクトルが前記正対画像の画像面の法線ベクトルと平行になるように前記第２平均平面の回転角度を算出し、
前記回転角度に基づいて前記対象面の画像を前記正対画像に変換することを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。
【請求項5】
前記第１平均平面の前記法線ベクトルが前記正対画像の画像面の法線ベクトルと平行になるように前記第１平均平面の回転角度を算出し、前記回転角度に基づいて前記対象面の画像を前記正対画像に変換することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置に関する。
【背景技術】
【0002】
従来からデジタルスチルカメラなどに用いられ、被写体面を撮影した画像の斜め撮影による歪みの補正を行う画像処理装置が知られている（下記特許文献１を参照）。この従来の画像処理装置は、被写体面を撮像する撮像手段と、この撮像手段を基準とした前記被写体面の向きを計測する平面計測手段と、この計測した被写体面の向きに基づいて前記撮像手段が撮像した画像の斜め撮影による歪みを補正する画像歪み補正手段と、を備えている（同文献、請求項１）。この従来の画像処理装置によれば、任意の被写体面を任意の視点、姿勢で撮影した場合でも、平面を計測することにより、簡便に画像の歪みを補正することができる（同文献、第００１６段落および第００７７段落）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０００－３０７９４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
たとえば、機械部品の摩耗状態などを画像に基づいて評価するためには、部品の正面を撮像面に正対させた正対画像が必要になる。しかし、部品の正面は、必ずしも平坦ではなく、異物が付着するなどして凹凸が形成されている場合がある。このような部品を被写体とした場合、前記従来の画像処理装置は、撮像手段を基準とした機械部品の向きを計測することが困難になり、撮像手段が撮像した画像の斜め撮影による歪みを補正することができないおそれがある。
【0005】
本開示は、被写体の凹凸を有する対象面を斜めから撮影した画像を、撮像面に対象面を正対させた正対画像に変換することが可能な画像処理装置を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様は、対象物の対象面の画像を撮像装置から取得するとともに前記撮像装置と前記対象面との距離を距離センサから取得して前記対象面の画像を正対画像に変換する画像処理装置であって、前記対象面に互いに離隔した第１点群と第２点群と第３点群とを設定し、前記撮像装置から、前記第１点群の各点までの距離、前記第２点群の各点までの距離、および前記第３点群の各点までの距離を、前記距離センサから取得し、前記第１点群から選択した一の点と前記第２点群から選択した一の点と前記第３点群から選択した一の点とに基づいて平面を算出する平面算出処理をすべての点の組み合わせに対して実行して第１平面群を算出し、前記第１平面群の全平面の単位法線ベクトルを平均した平均ベクトルを法線ベクトルとし、かつ前記第１点群と前記第２点群と前記第３点群とに含まれる全点との距離の総和が最小となる第１平均平面を算出し、前記第１平均平面に基づいて前記対象面の画像を前記正対画像に変換することを特徴とする画像処理装置である。
【発明の効果】
【0007】
本開示の上記一態様によれば、被写体の凹凸を有する対象面を斜めから撮影した画像を、撮像面に対象面を正対させた正対画像に変換することが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、図面を参照して本開示に係る画像処理装置の一実施形態を説明する。
【0010】
図１は、本開示に係る画像処理装置１５０の一実施形態を示すブロック図である。本実施形態の画像処理装置１５０は、たとえば、機械部品の状態評価装置１００の一部を構成している。状態評価装置１００は、たとえば、機械を構成する部品の画像に基づいて、その部品の摩耗などの状態を評価する。状態評価装置１００は、たとえば、撮像装置１１０と、距離センサ１２０と、入力装置１３０と、表示装置１４０と、本実施形態の画像処理装置１５０と、を備えている。
【0011】
撮像装置１１０は、たとえば、デジタルカメラであり、レンズを含む光学系と、受光素子を含む電子系と、これらを保持する筐体とを備えている。撮像装置１１０は、たとえば、スマートフォンなどの撮像機能を備えた携帯情報端末であってもよい。距離センサ１２０は、たとえばＴＯＦ(Time-of-Flight)方式で対象物までの距離を測定するイメージセンサである。距離センサ１２０は、たとえば、パルス変調した光源を備え、光源からの発光のタイミングと、対象物の反射光をイメージセンサで受光したタイミングとの位相差情報に基づいて、対象物の対象面上の複数の点の距離を測定する。
【0012】
また、撮像装置１１０または距離センサ１２０は、距離を測定する対象面上の複数の点を可視化する。具体的には、撮像装置１１０または距離センサ１２０は、たとえば、距離を測定する対象面上の複数の点に可視光レーザを照射する可視化用の光源を備える。この可視化用の光源は、たとえば測距用の光源を兼ねてもよい。また、撮像装置１１０または距離センサ１２０は、他の方法によって、距離を測定する対象面上の複数の点を可視化してもよい。なお、撮像装置１１０は、距離センサ１２０を含んでもよい。
【0013】
入力装置１３０は、たとえば、撮像装置１１０に設けられた操作ボタン、操作ダイヤル、もしくは、タッチセンサ、表示装置１４０に設けられたタッチパネル、または撮像装置１１０および表示装置１４０とは別に画像処理装置１５０に接続されたキーボードもしくはマイクなどを含む。状態評価装置１００および画像処理装置１５０のオペレータは、たとえば、入力装置１３０を介して画像処理装置１５０に必要な情報を入力する。
【0014】
表示装置１４０は、たとえば、撮像装置１１０に設けられたファインダー、液晶表示装置、もしくは有機ＥＬ表示装置、または、撮像装置１１０とは別に画像処理装置１５０に接続された液晶表示装置、有機ＥＬ表示装置、もしくはスマートフォンなどの携帯情報端末を含む。
【0015】
画像処理装置１５０は、たとえば、入出力部１５１と、中央処理装置（ＣＰＵ）などの処理装置１５２と、ＲＡＭやＲＯＭなどの記憶装置１５３と、その記憶装置１５３に記憶された各種の制御プログラムと、図示を省略するタイマなどを備えたマイクロコントローラである。画像処理装置１５０は、記憶装置１５３に記憶された各種の制御プログラムを処理装置１５２によって実行することで、後述する様々な処理および機能を実現する。
【0016】
入出力部１５１は、たとえば、撮像装置１１０、距離センサ１２０、入力装置１３０、および表示装置１４０に対して情報通信可能に接続されている。処理装置１５２は、たとえば、入出力部１５１に対して情報通信可能に接続され、入出力部１５１を介して撮像装置１１０、距離センサ１２０、入力装置１３０、表示装置１４０および記憶装置１５３との間で、制御信号や情報の授受を行う。記憶装置１５３は、たとえば、各種の制御プログラムやデータを記憶するとともに、処理装置１５２の処理結果や、撮像装置１１０、距離センサ１２０、および入力装置１３０から入力された情報を記憶する。
【0017】
図２は、作業機械２００の一例を示す側面図である。図１に示す本実施形態の状態評価装置１００の評価対象は、たとえば、作業機械２００の部品である。また、図１に示す本実施形態の画像処理装置１５０の画像処理対象は、たとえば、作業機械２００の部品である。作業機械２００は、たとえば、油圧ショベルである。なお、作業機械２００は、油圧ショベルに限定されず、他の作業機械であってもよい。
【0018】
作業機械２００は、たとえば、走行装置２１０と、旋回体２２０と、フロント作業機２３０と、を備えている。旋回体２２０は、たとえば、走行装置２１０の上に油圧モータまたは電動モータを備えた旋回機構を介して旋回可能に設けられている。フロント作業機２３０は、たとえば、ブーム２３１とアーム２３２とバケット２３３とが、それぞれ関節を介して連結されたリンク機構を有する。フロント作業機２３０は、油圧装置によって油圧シリンダ２３１Ｓ，２３２Ｓ，２３３Ｓを伸縮させることで、掘削作業やならし作業などの所望の作業を行うことができる。
【0019】
走行装置２１０は、たとえば、スプロケット２１１と、アイドラ２１２と、リンクアッセンブリ２１３と、上部ローラ２１４と、下部ローラ２１５と、シュープレート２１６とを備えたクローラ式の走行装置である。スプロケット２１１は、たとえば、油圧装置によって駆動される油圧モータに動力伝達機構を介して接続されている。リンクアッセンブリ２１３は、スプロケット２１１、アイドラ２１２、上部ローラ２１４および下部ローラ２１５に架け渡されている。
【0020】
複数のシュープレート２１６は、環状のリンクアッセンブリ２１３の外側に取り付けられ、下方側に位置する複数のシュープレート２１６が接地する。このような構成により、油圧モータが回転すると、スプロケット２１１が回転して、外側に複数のシュープレート２１６が取り付けられた環状のリンクアッセンブリ２１３が、アイドラ２１２、上部ローラ２１４および下部ローラ２１５の周りを回転して作業機械２００を走行させる。
【0021】
たとえば、走行装置２１０のスプロケット２１１、アイドラ２１２、リンクアッセンブリ２１３、上部ローラ２１４、下部ローラ２１５などの機械部品は、部品間に入り込んだ土砂と部品との間の摩擦によって損耗が進行する。本実施形態の画像処理装置１５０は、このような機械部品を対象物とし、その対象物の対象面を、撮像装置１１０によって撮影し、その対象面の画像を処理して正対画像に変換する。
【0022】
【0023】
状態評価装置１００のオペレータは、たとえば、作業機械２００のスプロケット２１１の対象面を撮像装置１１０によって撮影し、その対象面の画像を画像処理装置１５０によって正対画像に変換することで、スプロケット２１１の摩耗などの状態を評価する。オペレータが状態評価装置１００を起動すると、画像処理装置１５０は、まず、設定の表示および取得を行う処理Ｐ１を実行する。
【0024】
この処理Ｐ１において、画像処理装置１５０は、たとえば、後述する処理Ｐ１３で用いるしきい値を表示装置１４０に表示させる。オペレータは、表示装置１４０に表示されたしきい値を確認する。このしきい値は、たとえば、後述する第１平均平面Ｈ１に対する凹凸の高さのしきい値である。また、オペレータは、表示装置１４０に表示されたしきい値を変更する場合は、入力装置１３０を操作して、新たにしきい値を入力する。この場合、画像処理装置１５０は、オペレータによって入力された新たなしきい値を入力装置１３０から取得して記憶装置１５３に記憶させる。
【0025】
また、この処理Ｐ１において、画像処理装置１５０は、たとえば、後述する処理で得られたスプロケット２１１の対象面２１１ｆの正対画像を回転させる二次回転の要否を、表示装置１４０に表示させる。オペレータは、表示装置１４０に表示された二次回転の要否を変更する場合は、入力装置１３０を操作して、新たに二次回転の要否を入力する。この場合、画像処理装置１５０は、オペレータによって入力された二次回転の要否を入力装置１３０から取得して記憶装置１５３に記憶させる。
【0026】
また、この処理Ｐ１において、画像処理装置１５０は、たとえば、撮像装置１１０による自動撮影の有無を、表示装置１４０に表示させる。オペレータは、表示装置１４０に表示された自動撮影の有無を変更する場合は、入力装置１３０を操作して、新たに自動撮影の有無を入力する。この場合、画像処理装置１５０は、オペレータによって入力された自動撮影の有無を入力装置１３０から取得して記憶装置１５３に記憶させる。
【0027】
次に、画像処理装置１５０は、たとえば、スプロケット２１１の対象面の正対画像を回転させる二次回転を行うか否かを判定する処理Ｐ２を実行する。記憶装置１５３に記憶された二次回転の有無が「有」（ＹＥＳ）の場合、画像処理装置１５０は、ガイド線を表示する処理Ｐ３を実行する。
【0028】
画像処理装置１５０は、処理Ｐ３において、たとえば、撮像装置１１０のファインダーなどの表示装置１４０に、評価対象の部品であるスプロケット２１１の輪郭形状に応じたガイド線を表示させる。オペレータは、たとえば、表示装置１４０に表示されたガイド線とスプロケット２１１の輪郭形状を一致させるように、撮像装置１１０の姿勢を調整する。
【0029】
次に、画像処理装置１５０は、たとえば、撮像装置１１０による自動撮影の有無を判定する処理Ｐ４を実行する。記憶装置１５３に記憶された自動撮影の有無が「有」（ＹＥＳ）の場合、画像処理装置１５０は、自動撮影の条件を満足するか否かを判定する処理Ｐ５を実行する。
【0030】
図４は、撮像装置１１０のファインダー等の表示装置１４０に表示されたスプロケット２１１の対象面２１１ｆと、その対象面上の複数の点群の画像図である。図５は、表示装置１４０に表示されたスプロケット２１１とガイド線ＧＬの一例を示す画像図である。画像処理装置１５０は、たとえば、図４に示すように、状態評価装置１００の評価対象であるスプロケット２１１の対象面２１１ｆに、互いに離隔した第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３とを設定する。
【0031】
第１点群Ｇ１、第２点群Ｇ２、および第３点群Ｇ３は、それぞれ、複数の点ｐを含んでいる。第１点群Ｇ１、第２点群Ｇ２、および第３点群Ｇ３は、たとえば、ｎを２以上の自然数として、それぞれｎ個の点ｐを含んでもよい。画像処理装置１５０は、たとえば、点ｐの数であるｎの値、各点群の位置、および各点群に含まれる点ｐの位置などを、用途に応じて容易に変更することができる。
【0032】
第１点群Ｇ１、第２点群Ｇ２、および第３点群Ｇ３の各点群に含まれる点ｐの数は、特に限定はされないが、たとえば、２点以上、３点以上、５点以上、または１０点以上である。任意の一つの点群に含まれる任意の二つの点ｐの間の距離は、たとえば、任意の二つの点群のうちの一方の点群に含まれる任意の一つの点ｐと他方の点群に含まれる任意の一つの点ｐとの間の距離よりも近い。また、画像処理装置１５０は、各点群から１点ずつ選択した３つの点ｐが一直線上に存在しないように、各点群に含まれる複数の点ｐの位置を設定する。
【0033】
距離センサ１２０は、第１点群Ｇ１、第２点群Ｇ２、および第３点群Ｇ３の各々に含まれる各点ｐまでの距離を測定して、画像処理装置１５０へ出力する。また、撮像装置１１０または距離センサ１２０は、たとえば前述のように、光源から可視光レーザを照射して、距離を測定する対象面２１１ｆ上の複数の点ｐを可視化する。
【0034】
画像処理装置１５０は、自動撮影の条件を満足するか否かを判定する処理Ｐ５において、たとえば、図５の上図に示すように、表示装置１４０にガイド線ＧＬを表示する。オペレータは、たとえば、図５の下図に示すように、スプロケット２１１の歯の先端などの基準点がガイド線ＧＬ上に位置するように、撮像装置１１０の向きを調整する。より具体的には、画像処理装置１５０は、たとえば、距離センサ１２０から得られた距離の情報に基づいて、ガイド線ＧＬ上におけるスプロケット２１１の輪郭を基準点として検出する。
【0035】
この場合、処理Ｐ５において、画像処理装置１５０は、たとえば図５に示すように、ガイド線ＧＬ上の基準点の数が３点以上から２点になったと判定すると、条件を満足した（ＹＥＳ）と判定する。すると、画像処理装置１５０は、たとえば、距離センサ１２０からスプロケット２１１の基準点の座標を取得するとともに、撮像装置１１０によって被写体であるスプロケット２１１の対象面２１１ｆの画像を撮影する処理Ｐ８を実行する。
【0036】
一方、前述の二次回転を行うか否かを判定する処理Ｐ２において、二次回転の有無が「無」（ＮＯ）の場合、画像処理装置１５０は、たとえば、第１点群Ｇ１、第２点群Ｇ２および第３点群Ｇ３を含む複数の点群を表示する処理Ｐ６を実行する。この処理Ｐ６において、画像処理装置１５０は、たとえば撮像装置１１０または距離センサ１２０などの光源から可視光レーザを照射して、対象面２１１ｆ上に第１点群Ｇ１、第２点群Ｇ２および第３点群Ｇ３の各々の複数の点ｐを表示装置１４０に表示する。さらに、画像処理装置１５０は、オペレータが撮影操作を行ったか否かを判定する処理Ｐ７を実行する。
【0037】
オペレータは、たとえば、表示装置１４０に表示された第１点群Ｇ１、第２点群Ｇ２および第３点群Ｇ３が対象面２１１ｆ上に適切に位置するように撮像装置１１０の向きを調整して、撮像装置１１０のシャッターボタンを押下するなど、手動による撮影操作を行う。画像処理装置１５０は、オペレータが撮像操作を行った（ＹＥＳ）と判定すると、撮像装置１１０によりスプロケット２１１の対象面２１１ｆの画像を撮影する処理Ｐ８を実行する。画像処理装置１５０は、処理Ｐ７において、オペレータが撮像操作を行っていない（ＮＯ）と判定すると、判定処理Ｐ７を繰り返す。
【0038】
また、前述の自動撮影の有無を判定する処理Ｐ４において、画像処理装置１５０は、自動撮影の有無が「無」（ＮＯ）の場合、オペレータが撮影操作を行ったか否かを判定する処理Ｐ７を実行する。オペレータは、たとえば、前述の処理Ｐ３で撮像装置１１０のファインダーなどの表示装置１４０に表示されたガイド線ＧＬが、スプロケット２１１の歯先の基準点上に位置するように、撮像装置１１０の向きを調整して、手動による撮像操作を行う。
【0039】
画像処理装置１５０は、オペレータが撮像操作を行った（ＹＥＳ）と判定すると、撮像装置１１０によりスプロケット２１１の対象面２１１ｆの画像を撮影する処理Ｐ８を実行し、オペレータが撮像操作を行っていない（ＮＯ）と判定すると、判定処理Ｐ７を繰り返す。
【0040】
次に、画像処理装置１５０は、たとえば、図４に示すように、処理Ｐ８で撮影したスプロケット２１１の対象面２１１ｆの画像と、第１点群Ｇ１、第２点群Ｇ２および第３点群Ｇ３とを、表示装置１４０の画面上に重ねて表示する処理Ｐ９を実行する。さらに、画像処理装置１５０は、たとえば、撮像の成否を取得する処理Ｐ１０を実行する。
【0041】
この処理Ｐ１０において、画像処理装置１５０は、たとえば、表示装置１４０に撮像の成否を確認するための文字、アイコン、画像などの確認表示を表示させる。オペレータは、たとえば、表示装置１４０上で可視化された第１点群Ｇ１、第２点群Ｇ２および第３点群Ｇ３の各点ｐと、確認表示を視認する。オペレータは、たとえば、表示装置１４０上の確認表示に従って、タッチパネルを押下するなどして、入力装置１３０に撮像の成否を入力する。
【0042】
より具体的には、オペレータは、たとえば、各点ｐがスプロケット２１１の対象面２１１ｆ上に位置する場合に、入力装置１３０に撮像の成功を表す「はい」を入力し、それ以外の場合は入力装置１３０に撮像の失敗を表す「いいえ」を入力する。画像処理装置１５０は、オペレータが入力装置１３０を介して入力した撮像の成否を、入力装置１３０から取得する。
【0043】
次に、画像処理装置１５０は、入力装置１３０から取得した撮像の成否が、成功であるか否かを判定する処理Ｐ１１を実行する。この処理Ｐ１１において、画像処理装置１５０は、処理Ｐ１０で取得した撮像の成否が、成功ではない（ＮＯ）と判定すると、前述の処理Ｐ２へ戻る。一方、この処理Ｐ１１において、画像処理装置１５０は、処理Ｐ１０で取得した撮像の成否が、成功である（ＹＥＳ）と判定すると、第１平均平面を算出する処理Ｐ１２を実行する。
【0044】
図６は、処理Ｐ１２で算出される第１平面群ＰＧ１と、その第１平面群ＰＧ１に含まれる各平面の単位法線ベクトルＮＶ１，ＮＶ２，・・・，ＮＶｎの概念図である。処理Ｐ１２において、画像処理装置１５０は、たとえば、距離センサ１２０から、図４に示す第１点群Ｇ１の各点ｐまでの距離と、第２点群Ｇ２の各点ｐまでの距離と、第３点群Ｇ３の各点ｐまでの距離とを取得する。
【0045】
画像処理装置１５０は、たとえば、距離センサ１２０を原点として、Ｘ軸、Ｙ軸、およびＺ軸からなる直交座標系を設定し、各点ｐの座標を算出する。さらに、画像処理装置１５０は、第１点群Ｇ１から選択した一の点ｐと、第２点群Ｇ２から選択した一の点ｐと、第３点群Ｇ３から選択した一の点ｐとに基づいて、平面を算出する平面算出処理を、すべての点ｐの組み合わせに対して実行する。これにより、画像処理装置１５０は、図６に示すような第１平面群ＰＧ１を算出することができる。
【0046】
図７は、処理Ｐ１２において画像処理装置１５０が実行する平面算出処理の説明図である。たとえば、第１点群Ｇ１に含まれる任意の点ｐ１の座標を（ｘ１，ｙ１，ｚ１）とし、第２点群Ｇ２に含まれる任意の点ｐ２の座標を（ｘ２，ｙ２，ｚ２）とし、第３点群Ｇ３に含まれる任意の点ｐ３の座標を（ｘ３，ｙ３，ｚ３）とする。これらの点ｐ１、点ｐ２および点ｐ３を通る平面の式をａｘ＋ｂｙ＋ｃｚ＋ｄ＝０とすると、この平面の単位法線ベクトルＮＶは、ベクトルＶ＝（ａ，ｂ，ｃ）に平行である。
【0047】
ここで、ベクトルα＝（ｘ，ｙ，ｚ）＝（ｘ２－ｘ１，ｙ２－ｙ１，ｚ２－ｚ１）とし、ベクトルα'＝（ｘ'，ｙ'，ｚ'）＝（ｘ３－ｘ１，ｙ３－ｙ１，ｚ３－ｚ１）とすると、これらの外積は、α×α'＝（ｙｚ'－ｙ'ｚ，ｚｘ'－ｚ'ｘ，ｘｙ'－ｘ'ｙ）となる。このベクトルαとベクトルα'の外積α×α'は、上記平面の単位法線ベクトルＮＶと平行である。
【0048】
したがって、（ａ，ｂ，ｃ）＝α×α'とすれば、ｄ＝－（ａｘ１＋ｂｙ１＋ｃｚ１）となる（∵ａｘ１＋ｂｙ１＋ｃｚ１＋ｄ＝０）。以上により、上記平面の式が求められ、単位法線ベクトルＮＶは、（α×α'）／｜α×α'｜となる。なお、この単位法線ベクトルＮＶの－１倍も、上記平面に対して反対側の単位法線ベクトルとなるが、第１点群Ｇ１、第２点群Ｇ２、第３点群Ｇ３を固定すれば、ｎ３個の単位法線ベクトルＮＶのすべてが、上記平面に対して同じ側に揃う。
【0049】
次に、画像処理装置１５０は、たとえば、スプロケット２１１の対象面２１１ｆの凹凸を、各点ｐの色で表示する処理Ｐ１３を実行する。図８は、この処理Ｐ１３で画像処理装置１５０によって算出される第１平均平面Ｈ１と平均ベクトルＶ１の概念図である。
【0050】
この処理Ｐ１３において、画像処理装置１５０は、まず、第１平均平面Ｈ１を算出する。第１平均平面Ｈ１は、第１平面群ＰＧ１の全平面の単位法線ベクトルＮＶを平均した平均ベクトルＶ１を法線ベクトルとし、かつ第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３とに含まれる全点ｐとの距離の総和が最小となる平面である。第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３とに含まれる全点ｐの数は、たとえば３ｎ個である。第１平均平面Ｈ１の式をａｘ＋ｂｙ＋ｃｚ＋ｄ＝０とすると、上記の平均ベクトルからａ，ｂ，ｃが求められ、ｄは最小絶対値法などによって容易に算出することができる。
【0051】
さらに処理Ｐ１３において、画像処理装置１５０は、あらかじめ設定され、または処理Ｐ１で新たに設定されて記憶装置１５３に記憶されたしきい値を取得する。このしきい値は、前述のように、第１平均平面Ｈ１に対する凹凸の高さｈのしきい値である。画像処理装置１５０は、第１点群Ｇ１、第２点群Ｇ２および第３点群Ｇ３の各点ｐの座標に基づいて、距離センサ１２０からの距離が第１平均平面Ｈ１よりも近く、第１平均平面Ｈ１から突出する高さｈがしきい値Ｔｈ［ｍｍ］以上である点ｐを、隆起点として認識する。
【0052】
また、画像処理装置１５０は、第１点群Ｇ１、第２点群Ｇ２および第３点群Ｇ３の各点ｐの座標に基づいて、距離センサ１２０からの距離が第１平均平面Ｈ１よりも遠く、第１平均平面Ｈ１から陥没する高さｈがしきい値Ｔｄ［ｍｍ］以上である点を、陥没点として認識する。画像処理装置１５０は、たとえば、隆起点と陥没点とそれ以外の点とを、異なる色で表示装置１４０に表示させる。また、画像処理装置１５０は、たとえば、隆起点が第１平均平面Ｈ１から突出する高さと、陥没点が第１平均平面Ｈ１から陥没する高さとを、表示装置１４０に表示させる。
【0053】
次に、画像処理装置１５０は、操作内容を取得する処理Ｐ１４を実行する。この処理Ｐ１４において、画像処理装置１５０は、たとえば、表示装置１４０に操作内容の選択肢を示す画像、文字、またはアイコンなどを表示させる。操作内容の選択肢は、たとえば、「再撮影」、「しきい値の変更」、「次の処理へ進む」などである。画像処理装置１５０は、たとえば、タッチパネルなどの入力装置１３０を介して、オペレータが入力した操作内容を取得する。
【0054】
オペレータは、たとえば、処理Ｐ１３で表示装置１４０に表示された隆起点が、スプロケット２１１の対象面２１１ｆに付着した泥などの除去可能な異物によるものと認識した場合、その異物を除去した後に「再撮影」の選択肢を選択することができる。また、撮像装置１１０の被写体の対象面が、たとえば、疑似的に平面とみなせるような径の大きい球の表面の一部である場合、凹凸がなくても対象面上の点ｐが隆起点や陥没点として認識されることが考えられる。このような場合、オペレータが「次の処理へ進む」の選択肢を選択することで、隆起点や陥没点として認識された点ｐを除外することなく、対象面上のすべての点ｐを使用することができる。
【0055】
次に、画像処理装置１５０は、再撮影を行うか否かを判定する処理Ｐ１５を実行する。この処理Ｐ１５において、画像処理装置１５０は、前述の処理Ｐ１４で取得した操作内容が「再撮影」である（ＹＥＳ）と判定すると、前述の処理Ｐ２に戻る。また、この処理Ｐ１５において、画像処理装置１５０は、前述の処理Ｐ１４で取得した操作内容が「再撮影」ではない（ＮＯ）と判定すると、次の処理Ｐ１６を実行する。
【0056】
処理Ｐ１６において、画像処理装置１５０は、前述の処理Ｐ１４で取得した操作内容が「しきい値の変更」であるか否かを判定する。画像処理装置１５０は、操作内容が「しきい値の変更」である（ＹＥＳ）と判定すると、前述の処理Ｐ１と同様に、しきい値を取得する処理Ｐ１７を実行して、前述の処理Ｐ１３に戻る。また、画像処理装置１５０は、操作内容が「しきい値の変更」ではない（ＮＯ）と判定すると、除外の有無を取得する処理Ｐ１８を実行する。
【0057】
処理Ｐ１８において、画像処理装置１５０は、たとえば、表示装置１４０に選択肢として「正常点」と「全点」を表示させる。オペレータは、たとえば、タッチパネルを押下するなど、入力装置１３０を介して選択肢を選択する。画像処理装置１５０は、オペレータが入力した選択肢を入力装置１３０から取得する。
【0058】
次に、画像処理装置１５０は、除外の有無を判定する処理Ｐ１９を実行する。前述の処理Ｐ１８で「全点」の選択肢が取得された場合、画像処理装置１５０は、処理Ｐ１９において、除外なし（ＮＯ）と判定し、前述の処理Ｐ１２で算出した第１平均平面Ｈ１とその法線ベクトルである平均ベクトルＶ１を取得する処理Ｐ２０を実行する。この場合、画像処理装置１５０は、次の回転角度を算出する処理Ｐ２２において、第１平均平面Ｈ１を使用する。
【0059】
一方、前述の処理Ｐ１８で「正常点」の選択肢が取得された場合、画像処理装置１５０は、処理Ｐ１９において、除外あり（ＹＥＳ）と判定して、第２平均平面Ｈ２を算出する処理Ｐ２１を実行する。
【0060】
図９は、第２平面群ＰＧ２を算出する処理Ｐ２１の概念図である。前述の処理Ｐ１３において隆起点または陥没点として認識した点ｐを除外して、それ以外の点ｐを使用する以外は、前述の処理Ｐ１２で算出した第１平面群ＰＧ１と同様に、第２平面群ＰＧ２を算出する。このように、隆起点や陥没点を除外することで、たとえば、図６に示す第１平面群ＰＧ１において他の複数の平面の単位法線ベクトルＮＶ１，ＮＶ２，ＮＶ３に対して大きく角度が異なる単位法線ベクトルＮＶｎを有する平面を、図９に示す第２平面群ＰＧ２から除外することができる。
【0061】
さらに、処理Ｐ２１において、画像処理装置１５０は、前述の処理Ｐ１３で算出した第１平均平面Ｈ１と同様に、第２平均平面Ｈ２を算出する。この場合、画像処理装置１５０は、次の回転角度を算出する処理Ｐ２２において、第２平均平面Ｈ２を使用する。第２平均平面Ｈ２は、第２平面群ＰＧ２の全平面の単位法線ベクトルＮＶを平均した平均ベクトルＶ２を法線ベクトルとし、かつ第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３の全点ｐから隆起点および陥没点を除いた残りの点ｐとの距離の総和が最小となる平面である。
【0062】
次に、画像処理装置１５０は、正対画像ではない第１平均平面Ｈ１または第２平均平面Ｈ２を、正対画像に変換するための回転角度を算出する処理Ｐ２２を実行する。以下、この処理Ｐ２２を、図１０から図１４を参照して説明する。ここで、正対画像とは、たとえば、撮像装置１１０の撮像面に正対する画像である。また、撮像面とは、たとえば、撮像素子の受光面であり、撮像装置１１０のレンズの光軸に垂直な面である。
【0063】
画像処理装置１５０は、たとえば、図１０に示すように撮像装置１１０によって撮影された画像Ｇの全座標（ｘ，ｙ）に対応する第１平均平面Ｈ１または第２平均平面Ｈ２上の点（ｘ'，ｙ'，ｚ'）を求める。この点（ｘ'，ｙ'，ｚ'）は、撮像装置１１０のレンズの歪みがないものとみなせる場合、（ｘ，ｙ）からレンズへ向かうベクトルに基づいて求めてもよい。また、点（ｘ'，ｙ'，ｚ'）は、撮像装置１１０のレンズの歪みを考慮して求めてもよい。
【0064】
正対画像ではない第１平均平面Ｈ１または第２平均平面Ｈ２が、式：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０で表され、（ａ，ｂ，ｃ）≠（０，０，ｃ）であるとする。この場合、たとえば、図１１に示すように、ｚ←ｚ－ｄ／ｃとして座標系を取り直し、ａ，ｂ，ｃを正規化して、式：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０かつａ２＋ｂ２＋ｃ２＝１で表される原点を通る平面としても一般性を失わない。この平面上の任意の点ｐは、
（ｃ，０，－ａ）⊥（ａ，ｂ，ｃ）、
（０，ｃ，－ｂ）⊥（ａ，ｂ，ｃ）、
媒介変数ｓ，ｔにより、以下の式（１）で表される。
（ｃ，０，－ａ）⊥（ａ，ｂ，ｃ）、
（０，ｃ，－ｂ）⊥（ａ，ｂ，ｃ）、
媒介変数ｓ，ｔにより、以下の式（１）で表される。
【0065】
ｐ（ｘ，ｙ）＝ｓ（ｃ，０，－ａ）＋ｔ（０，ｃ，－ｂ） ・・・（１）
【0066】
これは、図１１に示す二重三角形の平面を構成する。
この点ｐを、θ＝ａｒｃｔａｎ（ａ／ｃ）として、ｙ軸まわりに回転角度θで回転すると、以下の式（２）で表される点ｐ'が得られる。
この点ｐを、θ＝ａｒｃｔａｎ（ａ／ｃ）として、ｙ軸まわりに回転角度θで回転すると、以下の式（２）で表される点ｐ'が得られる。
【0067】
ｐ'（ｘ'，ｙ'）＝ｓ（ｃ・ｓｅｃθ，０，０）
＋ｔ（ｂ・ｓｉｎθ，ｃ，－ｂ・ｃｏｓθ） ・・・（２）
＋ｔ（ｂ・ｓｉｎθ，ｃ，－ｂ・ｃｏｓθ） ・・・（２）
【0068】
この点ｐ'は、ｘ軸を含み（ｔ＝０のときｘ軸となる）、図１２に示す二重三角形の平面を構成する。この点ｐ'を、φ＝ａｒｃｔａｎ（ｂ・ｃｏｓθ／ｃ）として、ｘ軸まわりに回転角度φで回転すると、以下の式（３）で表される点ｐ"が得られる。
【0069】
ｐ"（ｘ"，ｙ"）＝ｓ（ｃ・ｓｅｃθ，０，０）
＋ｔ（ｂ・ｓｉｎθ，ｂ・ｃｏｓθ・ｓｉｎφ＋ｃ・ｃｏｓφ，－ｂ・ｃｏｓθ）
＝（ｓ・Ｄ＋ｔ・ａ・ｂ／Ｄ，ｔ・ｃ／Ｄ，０） ・・・（３）
＋ｔ（ｂ・ｓｉｎθ，ｂ・ｃｏｓθ・ｓｉｎφ＋ｃ・ｃｏｓφ，－ｂ・ｃｏｓθ）
＝（ｓ・Ｄ＋ｔ・ａ・ｂ／Ｄ，ｔ・ｃ／Ｄ，０） ・・・（３）
【0070】
ただし、式（３）において、Ｄ＝（ａ２＋ｃ２）１／２である。この点ｐ"は、ｘｙ平面に一致するため（ｚ座標は常に０）、正対画像であり、図１３に示す二重三角形の平面を構成する。以上のように、処理Ｐ２２において、画像処理装置１５０は、たとえば、第１平均平面Ｈ１または第２平均平面Ｈ２を撮像装置１１０の撮像面に平行になるように回転させて正対画像に変換するための回転角度θ，φを算出する。
【0071】
次に、画像処理装置１５０は、図３Ｂに示すように、正対画像を算出する処理Ｐ２３を実行する。この処理Ｐ２３において、画像処理装置１５０は、図１４に示すように、撮像装置１１０の撮像面に平行になるように回転させた第１平均平面Ｈ１または第２平均平面Ｈ２上において、撮像装置１１０によって撮影された画像Ｇの全座標（ｘ，ｙ）に対応する点（ｘ"，ｙ"，ｚ"）を求める。
【0072】
正対画像ではないスプロケット２１１の対象面２１１ｆの画像を正対画像に変換するには、座標（ｘ，ｙ）の画素の色を、座標（ｘ"，ｙ"）の画素に移す。画素の色は、一般に、三原色（Ｒ，Ｇ，Ｂ）のそれぞれの数値で表される。ｘ，ｙが正数値であっても、ｘ"，ｙ"が正数値になるとは限らない。
【0073】
図１５に示す例では、たとえば、変換前の画像における座標（ｘ，ｙ）の画素の領域に、変換後の画像における座標（ｘ"，ｙ"）の領域が対応している。この変換後の画像における座標（ｘ"，ｙ"）の領域は、たとえば、変換後の画像における４つの画素にまたがっている。この場合、変換前の画像の画素の三原色（Ｒ，Ｇ，Ｂ）の数値に、その変換前の画像の画素が変換後の画像の各画素と重複する面積の割合を乗じた値を、変換後の画像の各画素の三原色（Ｒ，Ｇ，Ｂ）の数値に加算する。
【0074】
より具体的には、図１５に示す例において、変換後の画像における座標（ｘ"，ｙ"）の領域が、変換後の画像における４つの画素のそれぞれの面積の１／４ずつ重複しているとする。また、変換前の画像における座標（ｘ，ｙ）の画素の三原色の数値が、たとえば、（Ｒ，Ｇ，Ｂ）＝（１２８，６４，１９２）であるとする。この場合、変換前の画像における座標（ｘ，ｙ）の画素の三原色の数値の１／４である（Ｒ，Ｇ，Ｂ）＝（３２，１６，４８）を、変換後の画像における４つの画素のそれぞれの三原色（Ｒ，Ｇ，Ｂ）の数値に加算する。これにより、変換後の画像における４つの画素の三原色の数値を求めることができる。
【0075】
以上のように、画像処理装置１５０は、正対画像を算出する処理Ｐ２３において、変換前の画像における座標（ｘ，ｙ）の画素の三原色の数値を、変換後の画像における画素の三原色の数値に対応させる。これにより、撮像装置１１０によって撮影されたスプロケット２１１の対象面２１１ｆの画像から、第１平均平面Ｈ１または第２平均平面Ｈ２を撮像装置１１０の撮像面に正対させた正対画像を生成することができる。
【0076】
次に、画像処理装置１５０は、たとえば、図３Ｂに示すように、二次回転の有無を判定する処理Ｐ２４を実行する。この処理Ｐ２４において、画像処理装置１５０は、記憶装置にあらかじめ記憶され、または、前述の処理Ｐ１で入力された二次回転の有無が「無」である場合、二次回転を行わない（ＮＯ）と判定して、図３Ａおよび図３Ｂに示す処理を終了する。
【0077】
また、処理Ｐ２４において、画像処理装置１５０は、記憶装置にあらかじめ記憶され、または、前述の処理Ｐ１で入力された二次回転の有無が「有」である場合、二次回転を行う（ＹＥＳ）と判定して、正対画像を算出する処理Ｐ２５を実行する。
【0078】
図１６は、二次回転の要否を説明するためのスプロケット２１１の一部の平面図と、二種類のスプロケット２１１Ａ，２１１Ｂの側面図である。
【0079】
図２に示す作業機械２００のスプロケット２１１としては、たとえば、図１６に示すような二種類のスプロケット２１１Ａ，２１１Ｂのいずれかを用いることができる。一方のスプロケット２１１Ａは、たとえば、歯先２１１ｔにおける歯幅と歯底２１１ｂにおける歯幅とがおおむね等しく、他方のスプロケット２１１Ｂは、たとえば、歯先２１１ｔにおける歯幅が歯底２１１ｂにおける歯幅よりも狭くなっている。
【0080】
歯先２１１ｔの歯幅と歯底２１１ｂの歯幅とがおおむね等しいスプロケット２１１Ａでは、回転軸に垂直な平面を対象面２１１ｆとして画像を撮影し、その画像を正対画像に変換する。これにより、最も摩耗しやすいスプロケット２１１の歯の部分の状態を適切に評価することができる。
【0081】
一方、歯先２１１ｔの歯幅が歯底２１１ｂの歯幅よりも狭いスプロケット２１１Ｂでは、回転軸に垂直な平面を対象面２１１ｆとして画像を撮影し、その画像を正対画像に変換しても、歯の側面が対象面２１１ｆに対して所定の角度Ψで傾斜している。そのため、このままでは、最も摩耗しやすいスプロケット２１１Ｂの歯の部分の状態を適切に評価することができない。
【0082】
そこで、歯先２１１ｔの歯幅が歯底２１１ｂの歯幅よりも狭いスプロケット２１１Ｂでは、回転軸に垂直な対象面２１１ｆの画像を正対画像に変換し、さらに、その正対画像を所定の角度Ψで回転させる二次回転を行う必要がある。これにより、スプロケット２１１Ｂの歯の側面を新たな対象面２１１ｆ’として、その対象面２１１ｆ’の正対画像を得ることができる。
【0083】
より具体的には、前述の処理Ｐ８で撮影された図５の下図に示すスプロケット２１１Ｂの対象面２１１ｆの画像は、前述の処理Ｐ１２から処理Ｐ２３を経て、図１７の上図に示すような正対画像に変換される。ここで、図１７に示すように、正対画像の右方向を正方向とするｘ軸と、正対画像の上方向を正方向とするｙ軸と、正対画像に垂直なｚ軸とを有する直交座標系を設定する。
【0084】
処理Ｐ２５において、画像処理装置１５０は、たとえば、図１７の上図に示すスプロケット２１１Ｂの歯先の基準点を通るガイド線ＧＬがｘ軸と平行になるように、正対画像をｚ軸周りに所定の角度λで回転させて、図１７の中央に示すような対象面２１１ｆの正対画像を得る。画像処理装置１５０は、さらに、この図１７の中央に示すような対象面２１１ｆの正対画像をｘ軸周りに所定の角度Ψで回転させる。
【0085】
これにより、図１７の下図に示すように、スプロケット２１１Ｂの歯の側面を対象面２１１ｆ’として、対象面２１１ｆ’を撮像装置１１０の撮像面に正対させた二次回転後の正対画像を得ることができる。以上により、処理Ｐ２５が終了し、画像処理装置１５０は、図３Ａおよび図３Ｂに示す処理を終了する。なお、正対画像は、記憶装置１５３に記憶してもよい。
【0086】
以下、本実施形態の画像処理装置１５０の作用を説明する。
【0087】
たとえば、作業機械２００のスプロケット２１１の摩耗量を測定するなど、機械部品の状態を画像に基づいて評価するためには、評価精度を向上させる観点から、機械部品の正対画像が必要になる。しかし、機械部品は、たとえばスプロケット２１１のように、対象面２１１ｆに凹凸を有する場合や、対象面２１１ｆに泥や油などの異物が付着する場合がある。このような機械部品を被写体とした場合、前記従来の画像処理装置は、撮像手段を基準とした機械部品の向きを計測することが困難になり、撮像手段が撮像した画像の斜め撮影による歪みを補正することができないおそれがある。
【0088】
これに対し、本実施形態の画像処理装置１５０は、対象面２１１ｆの画像を撮像装置１１０から取得するとともに対象面２１１ｆとの距離を距離センサ１２０から取得して対象面２１１ｆの画像を正対画像に変換する装置であって、以下のような機能を有している。画像処理装置１５０は、対象面２１１ｆに互いに離隔した第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３とを設定し、距離センサ１２０から第１点群Ｇ１の各点ｐまでの距離と第２点群Ｇ２の各点ｐまでの距離と第３点群Ｇ３の各点ｐまでの距離とを取得する。また、画像処理装置１５０は、第１点群Ｇ１から選択した一の点ｐと第２点群Ｇ２から選択した一の点ｐと第３点群Ｇ３から選択した一の点ｐとに基づいて平面を算出する平面算出処理をすべての点の組み合わせに対して実行して第１平面群ＰＧ１を算出する。また、画像処理装置１５０は、第１平面群ＰＧ１の全平面の単位法線ベクトルＮＶを平均した平均ベクトルＶ１を法線ベクトルとし、かつ第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３とに含まれる全点ｐとの距離の総和が最小となる第１平均平面Ｈ１を算出する。そして、画像処理装置１５０は、第１平均平面Ｈ１に基づいて対象面２１１ｆの画像を正対画像に変換する。
【0089】
このような構成により、本実施形態の画像処理装置１５０は、被写体であるスプロケット２１１などの機械部品の凹凸を有する対象面２１１ｆを斜めから撮影した画像を、撮像装置１１０の撮像面に対象面２１１ｆを正対させた正対画像に変換することができる。より具体的には、本実施形態の画像処理装置１５０は、前述のように、対象面２１１ｆに互いに離隔した第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３とを設定して第１平面群ＰＧ１を算出し、さらに第１平面群ＰＧ１から第１平均平面Ｈ１を算出する。これにより、対象面２１１ｆの局所的な凹凸や異物の影響が希釈され、僅少化され、または除去され、対象面２１１ｆに実質的に平行な第１平均平面Ｈ１を得ることができる。この第１平均平面Ｈ１に基づいて、対象面２１１ｆの画像を正対画像に変換することで、凹凸を有する対象面２１１ｆを斜めから撮影した画像を正対画像に変換することができる。
【0090】
また、本実施形態の画像処理装置１５０は、第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３とにそれぞれｎ個の点を設定し、平面算出処理によってｎ３個の平面を含む第１平面群ＰＧ１を算出する。このような構成により、本実施形態の画像処理装置１５０は、第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３とが、それぞれ等しい数の点ｐを有することになり、より平均的な第１平面群ＰＧ１を算出することができる。
【0091】
また、本実施形態の画像処理装置１５０は、撮像装置１１０から取得した対象面２１１ｆの画像を第１点群Ｇ１、第２点群Ｇ２、および第３点群Ｇ３とともに表示装置１４０に表示させる。このような構成により、本実施形態の画像処理装置１５０は、オペレータが第１点群Ｇ１、第２点群Ｇ２、および第３点群Ｇ３の位置を調整したり、撮像装置１１０による撮像の成否を判定したりすることが可能になる。
【0092】
また、本実施形態の画像処理装置１５０は、第１平均平面Ｈ１までの距離がしきい値以上である点ｐとそれ以外の点ｐとを表示装置１４０に異なる色で表示させる。このような構成により、本実施形態の画像処理装置１５０は、オペレータが第１点群Ｇ１、第２点群Ｇ２、および第３点群Ｇ３の位置を調整したり、撮像装置１１０による撮像の成否を判定したりすることが可能になる。
【0093】
また、本実施形態の画像処理装置１５０は、第１平均平面Ｈ１までの距離がしきい値以上である点ｐを第１点群Ｇ１と第２点群Ｇ２と第３点群Ｇ３から除外し、残存する点ｐのすべての組み合わせに対して平面算出処理を実行して第２平面群ＰＧ２を算出する。また、画像処理装置１５０は、第２平面群ＰＧ２の全平面の単位法線ベクトルＮＶを平均した平均ベクトルＶ２を法線ベクトルとし、かつ残存する点ｐとの距離の総和が最小となる第２平均平面Ｈ２を算出する。そして、画像処理装置１５０は、第２平均平面Ｈ２の法線ベクトルが正対画像の画像面の法線ベクトルと平行になるように第２平均平面Ｈ２の回転角度θ，φを算出し、回転角度θ，φに基づいて対象面２１１ｆの画像を正対画像に変換する。このような構成により、本実施形態の画像処理装置１５０は、対象面２１１ｆの局所的な凹凸や異物の影響を除去して、対象面２１１ｆの画像を正対画像に変換することができる。
【0094】
また、本実施形態の画像処理装置１５０は、第１平均平面Ｈ１までの距離のしきい値を入力装置１３０から取得する。このような構成により、本実施形態の画像処理装置１５０は、オペレータが状況に応じてしきい値を変更することが可能になる。
【0095】
また、本実施形態の画像処理装置１５０は、第１平均平面Ｈ１の法線ベクトルが正対画像の画像面の法線ベクトルと平行になるように第１平均平面Ｈ１の回転角度θ，φを算出し、回転角度θ，φに基づいて対象面２１１ｆの画像を正対画像に変換する。このような構成により、本実施形態の画像処理装置１５０は、第１点群Ｇ１、第２点群Ｇ２、および第３点群Ｇ３に含まれるすべての点ｐを使用して、第１平均平面Ｈ１を算出し、さらに第１平均平面Ｈ１に基づいて、対象面２１１ｆの画像を正対画像に変換することができる。
【0096】
また、本実施形態の画像処理装置１５０は、対象面２１１ｆに対して傾斜した傾斜面である対象面２１１ｆ’の画像を撮像装置１１０から取得するとともに、その傾斜面である対象面２１１ｆ’との距離を距離センサ１２０から取得して対象面２１１ｆ’の画像を正対画像に変換する。このような構成により、本実施形態の画像処理装置１５０は、たとえば、図１６の下図に示すようなスプロケット２１１Ｂの歯の側面など、対象面２１１ｆに対して傾斜した傾斜面の正対画像を得ることができ、摩耗などの状態をより正確に評価することができる。
【0097】
また、本実施形態の機械部品の状態評価装置１００は、撮像装置１１０と、距離センサ１２０と、前述の画像処理装置１５０と、を備える。このような構成により、本実施形態の状態評価装置１００は、前述の画像処理装置１５０と同様の効果を奏することができ、被写体の凹凸を有する対象面２１１ｆを斜めから撮影した画像を、撮像面に対象面を正対させた正対画像に変換することができる。また、機械部品の状態評価装置１００が記憶装置１５３を備える場合には、前述のように、正対画像を記憶装置１５３に記憶させ、その後に正対画像を撮影した際に、過去の正対画像との差分を比較して摩耗の程度を算出することが可能になる。
【0098】
以上説明したように、本実施形態によれば、被写体の凹凸を有する対象面２１１ｆを斜めから撮影した画像を、撮像装置１１０の撮像面に対象面を正対させた正対画像に変換することが可能な画像処理装置１５０を提供することができる。
【0099】
以上、図面を用いて本開示に係る画像処理装置の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。
【符号の説明】
【0100】
１１０ 撮像装置
１２０ 距離センサ
１３０ 入力装置
１４０ 表示装置
１５０ 画像処理装置
２１１ｆ 対象面
２１１ｆ’ 対象面（傾斜面）
Ｇ１ 第１点群
Ｇ２ 第２点群
Ｇ３ 第３点群
Ｈ１ 第１平均平面
Ｈ２ 第２平均平面
ＮＶ 単位法線ベクトル
ＮＶ１ 単位法線ベクトル
ＮＶ２ 単位法線ベクトル
ＮＶ３ 単位法線ベクトル
ＮＶｎ 単位法線ベクトル
ｐ 点
ＰＧ１ 第１平面群
ＰＧ２ 第２平面群
Ｖ１ 平均ベクトル
Ｖ２ 平均ベクトル
θ 回転角度
φ 回転角度
１２０ 距離センサ
１３０ 入力装置
１４０ 表示装置
１５０ 画像処理装置
２１１ｆ 対象面
２１１ｆ’ 対象面（傾斜面）
Ｇ１ 第１点群
Ｇ２ 第２点群
Ｇ３ 第３点群
Ｈ１ 第１平均平面
Ｈ２ 第２平均平面
ＮＶ 単位法線ベクトル
ＮＶ１ 単位法線ベクトル
ＮＶ２ 単位法線ベクトル
ＮＶ３ 単位法線ベクトル
ＮＶｎ 単位法線ベクトル
ｐ 点
ＰＧ１ 第１平面群
ＰＧ２ 第２平面群
Ｖ１ 平均ベクトル
Ｖ２ 平均ベクトル
θ 回転角度
φ 回転角度
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】