特許 6618162 評価装置、及び評価システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6618162

(24)【登録日】2019年11月22日

(45)【発行日】2019年12月11日

(54)【発明の名称】評価装置、及び評価システム

(51)【国際特許分類】

   G01N 21/27 20060101AFI20191202BHJP

   G06T 7/00 20170101ALI20191202BHJP

【ＦＩ】

   G01N21/27 A

   G06T7/00 350B

   G06T7/00 610C

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2019-106080(P2019-106080)

(22)【出願日】2019年6月6日

【審査請求日】2019年6月6日

【早期審査対象出願】

(73)【特許権者】

【識別番号】517198517

【氏名又は名称】クリスタルメソッド株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】河合 継

【審査官】 小野寺 麻美子

(56)【参考文献】

【文献】 米国特許出願公開第２０１９／０１４７２２０（ＵＳ，Ａ１）

【文献】 特開２０１９−０５６９６６（ＪＰ，Ａ）

【文献】 特許第６５１０１３４（ＪＰ，Ｂ１）

【文献】 特開２０１８−２０６０８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００ − Ｇ０１Ｎ ２１／０１

Ｇ０１Ｎ ２１／１７ − Ｇ０１Ｎ ２１／６１

Ｇ０１Ｎ ２１／８４ − Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｆ １／００ − Ｇ０６Ｆ ２１／８８

Ｇ０６Ｔ １／００ − Ｇ０６Ｔ １９／２０

(57)【特許請求の範囲】

【請求項1】

評価対象物の表面状態に基づく３次元データを評価する評価装置であって、
前記評価対象物に対する３次元空間の座標を示す位置データ、及び前記評価対象物の前記位置データにおける色を示す色データを複数有する前記３次元データを取得する取得部と、
予め取得された過去の３次元データと、前記過去の３次元データに紐づく参照情報との間における連関性を有する学習モデルが記憶された参照データベースと、
前記参照データベースを参照し、前記３次元データに対する評価結果を生成する評価部と、
を備え、
前記評価部は、
複数の前記位置データに基づき、複数のサンプリングデータを生成するサンプリングデータ生成部と、
複数の前記サンプリングデータ、複数の前記位置データ、及び複数の前記色データのうち、同一又は類似するデータ毎に分類した複数のグループデータを生成するグループデータ生成部と、
前記参照データベースを参照し、複数の前記グループデータに基づき前記評価結果を生成する評価結果生成部と、
を有すること
を特徴とする評価装置。

【請求項2】

前記３次元データは、前記位置データ、及び前記色データの撮像された時間を示す時間データを有すること
を特徴とする請求項１記載の評価装置。

【請求項3】

前記３次元データは、前記評価対象物に対し、それぞれ異なる２方向以上から撮像された前記位置データ及び前記色データを有すること
を特徴とする請求項１又は２記載の評価装置。

【請求項4】

前記３次元データは、前記評価対象物に対し、等しい距離で１２０度異なる３方向から撮像された前記位置データ及び前記色データを有すること
を特徴とする請求項３記載の評価装置。

【請求項5】

前記学習モデルは、前記過去の３次元データと、前記参照情報とを学習データとして用いた機械学習により構築されること
を特徴とする請求項１〜４の何れか１項記載の評価装置。

【請求項6】

評価対象物の表面状態に基づく３次元データを評価する評価システムであって、
前記評価対象物に対する３次元空間の座標を示す位置データ、及び前記評価対象物の前記位置データにおける色を示す色データを複数有する前記３次元データを取得する取得手段と、
予め取得された過去の３次元データと、前記過去の３次元データに紐づく参照情報との間における連関性を有する学習モデルが記憶された参照データベースと、
前記参照データベースを参照し、前記３次元データに対する評価結果を生成する評価手段と、
を備え、
前記評価手段は、
複数の前記位置データに基づき、複数のサンプリングデータを生成するサンプリングデータ生成手段と、
複数の前記サンプリングデータ、複数の前記位置データ、及び複数の前記色データのうち、同一又は類似するデータ毎に分類した複数のグループデータを生成するグループデータ生成手段と、
前記参照データベースを参照し、複数の前記グループデータに基づき前記評価結果を生成する評価結果生成手段と、
を有することを特徴とする評価システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価対象物の表面状態に基づく３次元データを評価する評価装置、及び評価システムに関する。

【背景技術】

【0002】

従来、３次元物体等の評価対象物を評価する方法として、例えば特許文献１の３次元物体検出装置等が提案されている。

【0003】

特許文献１に開示された３次元物体検出装置は、３次元物体の距離画像を取得する距離画像取得部（カメラ）と、距離画像を用いて３次元物体に対応する３次元モデルの姿勢を算出する３次元モデル回転部と、３次元モデルを平面に投影して得られる投影画像のエッジを抽出する投影画像エッジ抽出部と、抽出されたエッジにおいてカメラに最も近い位置の点群から予め定めた距離内にある３次元モデルの点群をマッチング用点群として抽出し、抽出したマッチング点群と距離画像から得られたマッチング用点群を照合することで３次元物体の姿勢を検出するマッチング処理部を備える。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９−６０６９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、評価対象物の表面状態を評価する方法について、評価精度の向上が求められている。この点、特許文献１では、３次元物体の実際の姿勢と、推定姿勢との間に誤差が生じていても、３次元物体の実際の姿勢を検出し得る技術について開示されているに留まり、表面状態の評価精度を向上することができない。

【0006】

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、評価精度の向上を図ることができる評価装置、及び評価システムを提供することにある。

【課題を解決するための手段】

【0007】

第１発明に係る評価装置は、評価対象物の表面状態に基づく３次元データを評価する評価装置であって、前記評価対象物に対する３次元空間の座標を示す位置データ、及び前記評価対象物の前記位置データにおける色を示す色データを複数有する前記３次元データを取得する取得部と、予め取得された過去の３次元データと、前記過去の３次元データに紐づく参照情報との間における連関性を有する学習モデルが記憶された参照データベースと、前記参照データベースを参照し、前記３次元データに対する評価結果を生成する評価部と、を備え、前記評価部は、複数の前記位置データに基づき、複数のサンプリングデータを生成するサンプリングデータ生成部と、複数の前記サンプリングデータ、複数の前記位置データ、及び複数の前記色データのうち、同一又は類似するデータ毎に分類した複数のグループデータを生成するグループデータ生成部と、前記参照データベースを参照し、複数の前記グループデータに基づき前記評価結果を生成する評価結果生成部と、を有することを特徴とする。

【0008】

第２発明に係る評価装置は、第１発明において、前記３次元データは、前記位置データ、及び前記色データの撮像された時間を示す時間データを有することを特徴とする。

【0009】

第３発明に係る評価装置は、第１発明又は第２発明において、前記３次元データは、前記評価対象物に対し、それぞれ異なる２方向以上から撮像された前記位置データ及び前記色データを有することを特徴とする。

【0010】

第４発明に係る評価装置は、第３発明において、前記３次元データは、前記評価対象物に対し、等しい距離で１２０度異なる３方向から撮像された前記位置データ及び前記色データを有することを特徴とする。

【0012】

第５発明に係る評価装置は、第１発明〜第４発明の何れかにおいて、前記学習モデルは、前記過去の３次元データと、前記参照情報とを学習データとして用いた機械学習により構築されることを特徴とする。

【0013】

第６発明に係る評価システムは、評価対象物の表面状態に基づく３次元データを評価する評価システムであって、前記評価対象物に対する３次元空間の座標を示す位置データ、及び前記評価対象物の前記位置データにおける色を示す色データを複数有する前記３次元データを取得する取得手段と、予め取得された過去の３次元データと、前記過去の３次元データに紐づく参照情報との間における連関性を有する学習モデルが記憶された参照データベースと、前記参照データベースを参照し、前記３次元データに対する評価結果を生成する評価手段と、を備え、前記評価手段は、複数の前記位置データに基づき、複数のサンプリングデータを生成するサンプリングデータ生成手段と、複数の前記サンプリングデータ、複数の前記位置データ、及び複数の前記色データのうち、同一又は類似するデータ毎に分類した複数のグループデータを生成するグループデータ生成手段と、前記参照データベースを参照し、複数の前記グループデータに基づき前記評価結果を生成する評価結果生成手段と、を有することを特徴とする。

【発明の効果】

【0014】

第１発明〜第５発明によれば、評価部は、参照データベースを参照し、３次元データに対する評価結果を生成する。このため、過去の結果を踏まえた評価結果を生成できるとともに、評価対象物に対する位置データに加えて、色データを評価対象とすることができる。これにより、評価精度の向上を図ることが可能となる。

【0015】

特に、第２発明によれば、３次元データは、時間データを有する。このため、評価対象物の表面状態が経時変化する場合等においても、経時変化前後を踏まえた評価を実施することができる。これにより、評価条件を拡大させることが可能となる。

【0016】

特に、第３発明によれば、３次元データは、評価対象物に対し、それぞれ異なる２方向以上から撮像された位置データ及び色データを有する。このため、位置データ毎の相対的な位置関係の精度を向上させることができる。これにより、評価精度の更なる向上を図ることが可能となる。

【0017】

特に、第４発明によれば、３次元データは、評価対象物に対し、等しい距離で１２０度異なる３方向から撮像された位置データ及び色データを有する。このため、評価対象物における全周の表面状態に基づく３次元データに対する評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。

【0018】

第１発明〜第５発明によれば、評価部は、グループデータ生成部と、評価結果生成部とを有する。このため、位置データと色データとが紐づいた状態で、評価結果を生成することができる。これにより、評価対象物における配色の差異に対しても、評価することが可能となる。従って、評価することができる評価対象物の種類を飛躍的に増加させることができる。

【0019】

特に、第５発明によれば、学習モデルは、過去の３次元データと、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の３次元データとは異なる未知の３次元データを評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。

【0020】

第６発明によれば、評価手段は、参照データベースを参照し、３次元データに対する評価結果を生成する。このため、過去の結果を踏まえた評価結果を生成できるとともに、評価対象物に対する位置データに加えて、色データを評価対象とすることができる。これにより、評価精度の向上を図ることが可能となる。
また、第６発明によれば、評価手段は、グループデータ生成手段と、評価結果生成手段とを有する。このため、位置データと色データとが紐づいた状態で、評価結果を生成することができる。これにより、評価対象物における配色の差異に対しても、評価することが可能となる。従って、評価することができる評価対象物の種類を飛躍的に増加させることができる。

【図面の簡単な説明】

【0021】

【図1】図１は、本実施形態における評価システムの一例を示す模式図である。

【図2】図２は、評価システムの動作の一例を示す模式図である。

【図3】図３（ａ）〜（ｃ）は、評価システムにおける出力画面の一例を示す模式図である。

【図4】図４（ａ）は、本実施形態における評価装置の構成の一例を示す模式図であり、図４（ｂ）は、本実施形態における評価装置の機能の一例を示す模式図である。

【図5】図５は、本実施形態における参照データベースの一例を示す模式図である。

【図6】図６は、本実施形態における参照データベースの第１変形例を示す模式図である。

【図7】図７は、本実施形態における参照データベースの第２変形例を示す模式図である。

【図8】図８は、本実施形態における評価システムの動作の一例を示すフローチャートである。

【図9】図９は、本実施形態における評価手段の一例を示す模式図である。

【発明を実施するための形態】

【0022】

以下、本発明を適用した実施形態における評価システム、及び評価装置の一例について、図面を参照しながら説明する。

【0023】

図１を参照して、本実施形態における評価システム１００、及び評価装置１の一例について説明する。

【0024】

本実施形態における評価システム１００は、例えば図１に示すように、評価装置１を有する。評価装置１は、例えば撮像装置２と接続するほか、例えば通信網４を介して他の端末５やサーバ６に接続されてもよい。

【0025】

評価システム１００は、評価対象物３の表面状態に基づく３次元データを評価する。評価システム１００は、例えば評価対象物３を製造する際の検査機として用いられるほか、類似品の評価等に用いられ、立体構造を有するものを評価対象物３として評価することができる。なお、「表面状態」とは、評価対象物３の形状や配色を示すほか、例えばひび、汚れ、色ムラ、異物の付着等の欠陥を示す。

【0026】

評価システム１００は、例えば図２に示すように、評価装置１が３次元データを取得したあと、後述する参照データベースを参照し、３次元データに対する評価結果を生成する。評価システム１００は、例えば評価結果に対応する出力情報を出力する（図２では出力情報「ウサギ」を出力）。３次元データは、位置データと、位置データに紐づく色データとを複数有する。

【0027】

位置データは、評価対象物３に対する３次元空間の座標を示し、例えば直交座標系におけるパラメータ「ｘ、ｙ、ｚ」や、球面座標系におけるパラメータ「ｒ、θ、φ」等を示す。色データは、評価対象物３の位置データ毎における色を示し、例えばＲＧＢカラーモデルのパラメータ「ｒ、ｇ、ｂ」等を示す。即ち、３次元データに含まれる複数の位置データ及び色データを用いることで、評価対象物３の表面状態を再現することができ、例えば、３次元データは、複数の位置データに対して色データの色で表現された点群（ポイントクラウド）で示される。

【0028】

３次元データは、例えば時間データを有してもよい。時間データは、位置データ、及び色データの撮像された時間を示す。この場合、評価対象物３の表面状態が経時変化する場合等においても、経時変化前後を踏まえた評価を実施することができる。

【0029】

３次元データは、例えば撮像装置２を用いて評価対象物３を撮像することによって生成され、例えば複数の撮像装置２を用いて１つの評価対象物３を撮像して生成された複数の３次元データを、１つの３次元データとして評価装置１が取得してもよい。撮像装置２は、例えば評価装置１に内蔵されてもよい。

【0030】

３次元データは、例えば評価対象物３に対し、それぞれ異なる２方向以上から撮像された位置データ、及び色データを有する。この場合、位置データ毎の相対的な位置関係の精度を向上させることができる。

【0031】

３次元データは、例えば評価対象物３に対し、等しい距離で任意の角度（例えばθ１、θ２、θ３）が異なる３方向から撮像された位置データ、及び色データを有する。特に、各角度θ１、θ２、θ３とする場合、撮像装置２の数を抑えた状態で、評価対象物３における全周の表面状態に基づく３次元データを生成することができる。

【0032】

３次元データは、公知の３次元カメラ（３Ｄカメラ）を用いて生成され、例えばReal Sense（登録商標）を用いて生成される。３次元データは、例えば公知の距離画像カメラを用いて生成された位置データと、公知のＲＧＢカメラを用いて生成された色データとを有してもよい。

【0033】

評価装置１は、例えば図３（ａ）に示すように、取得した３次元データに基づき、複数の位置データを用いて、評価対象物３の表面状態を再現した画像を表示してもよい。また、評価装置１は、例えば図３（ｂ）に示すように、取得した３次元データに基づき、複数の位置データ及び色データを用いて、評価対象物３の表面状態を再現した画像を表示してもよい。評価装置１は、例えば図３（ｃ）に示すように、評価結果に対応する出力情報として、「検知結果」の詳細（例えば「正常」又は「異常」）や、評価対象物３の「種類」（例えば「ウサギ」）を表示してもよい。

【0034】

（評価装置１）
次に、図４を参照して、本実施形態における評価装置１の一例を説明する。図４（ａ）は、本実施形態における評価装置１の構成の一例を示す模式図であり、図４（ｂ）は、本実施形態における評価装置１の機能の一例を示す模式図である。

【0035】

評価装置１として、例えばパーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、ＩｏＴ（Internet of Things）デバイス等の電子機器、Ｒａｓｐｂｅｒｒｙ Ｐｉ（登録商標）等のシングルボードコンピュータが用いられてもよい。評価装置１は、例えば図４（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５〜１０７とを備える。各構成１０１〜１０７は、内部バス１１０により接続される。

【0036】

ＣＰＵ１０１は、評価装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、３次元データや参照データベース等の各種情報が保存される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（solid state drive）やフロッピーディスク等のデータ保存装置が用いられる。なお、例えば評価装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。

【0037】

Ｉ／Ｆ１０５は、撮像装置２との各種情報の送受信を行うためのインターフェースであるほか、例えばインターネット等の通信網４を介して、他の端末５やサーバ６等との各種情報の送受信を行うためのインターフェースでもよい。Ｉ／Ｆ１０６は、入力部分１０８との情報の送受信を行うためのインターフェースである。入力部分１０８として、例えばキーボードが用いられ、評価装置１の管理者等は、入力部分１０８を介して、各種情報又は評価装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、出力部分１０９との各種情報の送受信を行うためのインターフェースである。出力部分１０９は、保存部１０４に保存された各種情報、又は評価装置１の処理状況等を出力する。出力部分１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

【0038】

＜参照データベース＞
保存部１０４に保存された参照データベースには、学習モデルが記憶される。学習モデルは、予め取得された過去の３次元データと、過去の３次元データに紐づく参照情報との間における連関性を有する。参照データベースには、例えば過去の３次元データ、及び参照情報が記憶されてもよい。学習モデルは、例えば過去の３次元データ、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。

【0039】

この場合、例えば連関性は、多対多の情報の間における繋がりの度合いを示す。連関性は、機械学習の過程で適宜更新される。このため、学習モデルは、例えば過去の３次元データ、及び参照情報に基づいて最適化された連関性（例えば関数）を有する分類器を示す。このため、過去に評価対象物３の表面状態を評価した結果を全て踏まえて構築された学習モデルを用いて、３次元データに対する評価結果が生成される。これにより、評価対象物３が複雑な表面状態を有する場合においても、最適な評価結果を生成することができる。また、３次元データが、過去の３次元データと同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、未知の３次元データに対する評価精度の向上を図ることができる。

【0040】

なお、連関性は、例えば各過去の３次元データと各参照情報との間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。

【0041】

過去の３次元データは、上述した３次元データと同種の情報を示す。過去の３次元データは、例えば過去に評価対象物３を評価した際に取得された３次元データを複数含む。

【0042】

参照情報は、過去の３次元データに紐づき、評価対象物３の表面状態に関する情報を示す。参照情報は、例えば評価対象物３の種類（例えば「ウサギ」や「カップラーメン」等）を示す種類情報や、評価対象物３の生産規格（例えば「規格内」、「規格外」、「異物あり」、「色ムラあり」、「ひびあり」等）の規格情報等を含む。なお、参照情報に含まれる具体的な内容は、任意に設定することができる。

【0043】

連関性は、例えば図５に示すように、過去の３次元データと参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の３次元データに含まれる複数のデータ（図５では「データＡ」〜「データＣ」）のそれぞれに対し、参照情報に含まれる複数のデータ（図５では「参照Ａ」〜「参照Ｃ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の３次元データに含まれる１つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。

【0044】

連関性は、例えば過去の３次元データに含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、過去の３次元データに含まれる「データＡ」は、参照情報に含まれる「参照Ａ」との間の連関度ＡＡ「７５％」を示し、参照情報に含まれる「参照Ｂ」との間の連関度ＡＢ「１２％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により学習モデルを構築する際、連関性が３段階以上の連関度を有するように設定してもよい。

【0045】

過去の３次元データは、例えば図６に示すように、過去の位置データと、過去の色データとを分割して、参照データベースに記憶されてもよい。この場合、過去の位置データ及び過去の色データの組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の３次元データは、例えば上記に加え、過去の３次元データ及び過去の色データの少なくとも何れかを分割して、参照データベースに記憶されてもよい。

【0046】

例えば、過去の位置データに含まれる「位置Ａ」、及び過去の色データに含まれる「色Ａ」の組み合わせは、「参照Ａ」との間の連関度ＡＡＡ「６３％」を示し、「参照Ｂ」との間の連関度ＡＢＡ「６３％」を示す。この場合、過去の位置データ及び過去の色データをそれぞれ独立してデータを記憶させることができる。このため、評価結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。

【0047】

連関性は、例えば図７に示すように、合成データと、類似度とを含んでもよい。合成データは、過去の位置データ又は過去の色データとの間における３段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式で参照データベースに記憶されるほか、例えば画像や文字列等の形式で記憶されてもよい。

【0048】

図４（ｂ）は、評価装置１の機能の一例を示す模式図である。評価装置１は、取得部１１と、記憶部１２と、評価部１３と、出力部１４とを備え、例えば更新部１５を有してもよい。なお、図４（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。

【0049】

＜取得部１１＞
取得部１１は、３次元データを取得する。取得部１１は、撮像装置２等から３次元データを取得するほか、例えば内蔵された図示しない撮像部から、３次元データを取得する。なお、取得部１１が３次元データを取得する頻度及び周期は、任意である。

【0050】

取得部１１は、評価装置１に送信された各種情報を受信する。取得部１１は、例えば通信網４及びＩ／Ｆ１０５を介して、他の端末５等の外部端末から送信された３次元データ等の各種情報を受信してもよい。

【0051】

＜記憶部１２＞
記憶部１２は、保存部１０４に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部１２は、各構成１１、１３〜１５により取得又は生成された各種情報を、保存部１０４に保存する。

【0052】

＜評価部１３＞
評価部１３は、参照データベースを参照し、３次元データに対する評価結果を生成する。評価部１３は、例えば３次元データを入力データとし、学習モデルに基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。

【0053】

評価部１３は、例えば図５に示した参照データベースを参照した場合、３次元データに含まれるデータと同一又は類似するデータ（例えば「データＡ」：第１データとする）を選択する。第１データとして、３次元データと一部一致又は完全一致するデータが選択されるほか、例えば類似するデータが選択される。３次元データが行列等の数値で表される場合、選択される第１データに含まれる数値範囲を、予め設定してもよい。

【0054】

評価部１３は、選択した第１データに紐づく参照情報、及び選択した第１データと参照情報との間における連関度（第１連関度）を選択し、選択した参照情報及び第１連関度に基づき評価結果を生成する。なお、第１連関度は、予め構築された連関性から選択されるほか、評価部１３によって算出されてもよい。

【0055】

例えば評価部１３は、第１データ「データＡ」に紐づく参照情報に含まれるデータ「参照Ａ」、及び「データＡ」と「参照Ａ」との間における第１連関度（連関度ＡＡ）「７５％」を選択する。なお、参照情報及び第１連関度は、複数のデータを含んでもよい。この場合、上述した「参照Ａ」及び「７５％」に加えて、第１データ「データＡ」に紐づく参照情報「参照Ｂ」、及び「データＡ」と「参照Ｂ」との間における第１連関度（連関度ＡＢ）「１２％」を選択し、「参照Ａ」及び「７５％」、並びに、「参照Ｂ」及び「１２％」に基づき評価結果を生成してもよい。

【0056】

評価結果は、３次元データを含んでもよい。また、第１連関度は、例えば百分率等の３段階以上で示される。

【0057】

評価部１３は、例えば予め保存部１０４等に記憶された出力用フォーマット等の形式データを用いて、上述選択した参照情報及び第１連関度等を、ユーザが理解できる形式（例えば文字列）を示す評価結果を生成する。なお、評価結果を生成する際における形式の設定等は、例えば公知の技術を用いてもよい。

【0058】

評価部１３は、例えば選択した第１連関度に基づいて、評価結果の内容を決定する。例えば評価部１３は、「５０％」以上の第１連関度に紐づく参照情報に基づいて、評価結果を生成し、「５０％」未満の第１連関度に紐づく参照情報を評価結果に反映しないように設定されてもよい。なお、第１連関度に基づく判定基準は、例えば管理者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、評価部１３は、例えば２以上の第１連関度を演算した結果や、２以上の第１連関度の比較に基づいて、評価結果の内容を決定してもよい。

【0059】

評価部１３は、例えば図９に示すように、サンプリングデータ生成部１３ａと、グループデータ生成部１３ｂと、評価結果生成部１３ｃとを有してもよい。

【0060】

＜＜サンプリングデータ生成部１３ａ＞＞
サンプリングデータ生成部１３ａは、複数の位置データに基づき、複数のサンプリングデータを生成する。サンプリングデータ生成部１３ａは、予め設定されたアルゴリズムによって選択された点の位置データから、サンプリングデータとして生成する。アルゴリズムとして、例えば公知の技術（例えばFarthest Point Samplingアルゴリズム等）が用いられる。

【0061】

＜＜グループデータ生成部１３ｂ＞＞
グループデータ生成部１３ｂは、複数のサンプリングデータ、複数の位置データ、及び複数の色データのうち、同一又は類似するデータ毎に分類した複数のグループデータを生成する。グループデータ生成部１３ｂは、例えば各サンプリングデータから一定距離内に含まれる位置データ及び色データを、それぞれグループデータとして複数生成する。この場合、例えば１つのグループデータには、１つのサンプリングデータ、複数の位置データ、及び複数の色データが含まれる。

【0062】

＜＜評価結果生成部１３ｃ＞＞
評価結果生成部１３ｃは、参照データべースを参照し、複数のグループデータに基づき評価結果を生成する。評価結果生成部１３ｃは、例えばグループデータ毎に２次元畳み込み処理、及びグループデータ毎にプーリング処理を行い、処理結果に対応する評価結果を生成する。評価結果生成部１３ｃは、例えば処理結果に対応する参照情報を選択し、参照情報に基づく評価結果を生成する。

【0063】

なお、各生成部１３ａ、１３ｂ、１３ｃは、例えばPointNet等の３次元データに対応し得る深層学習フレームワークを用いて構築された学習モデルを参照して、上述した処理を実行してもよい。

【0064】

＜出力部１４＞
出力部１４は、評価結果を出力する。出力部１４は、Ｉ／Ｆ１０７を介して出力部分１０９に評価結果を送信するほか、例えばＩ／Ｆ１０５を介して、他の端末５等に評価結果を送信する。出力部１４は、例えば図３に示した評価対象物３の表面状態を再現した画像を表示するデータを、出力部分１０９等に出力する。

【0065】

＜更新部１５＞
更新部１５は、例えば参照データベースを更新する。更新部１５は、過去の３次元データと、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。例えば評価部１３により生成された評価結果を踏まえ、管理者等が評価結果の内容における精度を判定し、判定結果を評価装置１が取得した場合、更新部１５は、判定結果に基づき参照データベースに含まれる連関性を更新する。

【0066】

＜通信網４＞
通信網４は、例えば評価装置１等が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。

【0067】

＜他の端末５＞
他の端末５として、例えば評価装置１と同様に電子機器で具現化されたものが用いられる。他の端末５は、例えば複数の評価装置１と通信可能な中央制御装置等を示す。

【0068】

＜サーバ６＞
サーバ６には、例えば上述した各種情報が記憶される。サーバ６には、例えば通信網４を介して送られてきた各種情報が蓄積される。サーバ６には、例えば保存部１０４と同様の情報が保存され、通信網４を介して評価装置１と各種情報の送受信が行われてもよい。即ち、評価装置１は、保存部１０４の代わりにサーバ６を用いてもよい。

【0069】

（評価システム１００の動作の一例）
次に、本実施形態における評価システム１００の動作の一例について説明する。図８は、本実施形態における評価システム１００の動作の一例を示すフローチャートである。

【0070】

＜取得手段Ｓ１１０＞
図８に示すように、３次元データを取得する（取得手段Ｓ１１０）。取得部１１は、位置データと、色データとを含む３次元データを、例えば撮像装置２から取得する。取得部１１は、例えば記憶部１２を介して、３次元データを保存部１０４に保存する。

【0071】

例えば複数の撮像装置２を用いて１つの評価対象物３を撮像した場合、取得部１１は、複数の撮像装置２によって生成された複数の３次元データを、１つの３次元データとして取得する。取得部１１は、３次元データが生成される度に取得するほか、例えば任意の期間に生成された３次元データを取得してもよい。

【0072】

＜評価手段Ｓ１２０＞
次に、参照データベースを参照し、３次元データに対する評価結果を生成する（評価手段Ｓ１２０）。評価部１３は、取得部１１により取得された３次元データを取得し、例えば保存部１０４に保存された参照データベースを取得する。評価部１３は、例えば３次元データを入力データとし、関数等で示された連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。

【0073】

評価部１３は、１つの３次元データに対して１つの評価結果を生成するほか、例えば複数の３次元データに対して１つの評価結果を生成してもよい。評価部１３は、例えば保存部１０４に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部１３は、例えば記憶部１２を介して、評価結果を保存部１０４に保存する。

【0074】

なお、評価手段Ｓ１２０では、例えば上述したサンプリングデータ生成部１３ａが複数のサンプリングデータを生成し、グループデータ生成部１３ｂがグループデータを生成し、評価結果生成部１３ｃが評価結果を生成してもよい。

【0075】

その後、例えば評価結果を出力してもよい（出力手段Ｓ１３０）。出力部１４は、評価結果を出力部分１０９等に出力するほか、例えば通信網４を介して他の端末５に出力する。

【0076】

＜更新手段Ｓ１４０＞
なお、例えば過去の３次元データと、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させてもよい（更新手段Ｓ１４０）。例えば評価部１３により生成された評価結果を踏まえ、管理者等が評価結果の精度を判定した判定結果を評価装置１が取得した場合、更新部１５は、判定結果に基づき参照データベースに含まれる連関性を更新する。

【0077】

これにより、本実施形態における評価システム１００の動作が終了してもよい。なお、更新手段Ｓ１４０を実施する場合のタイミングは、任意である。

【0078】

本実施形態によれば、評価部１３は、参照データベースを参照し、３次元データに対する評価結果を生成する。このため、過去の結果を踏まえた評価結果を生成できるとともに、評価対象物３に対する位置データに加えて、色データを評価対象とすることができる。これにより、評価精度の向上を図ることが可能となる。

【0079】

また、本実施形態によれば、３次元データは、時間データを有する。このため、評価対象物３の表面状態が経時変化する場合等においても、経時変化前後を踏まえた評価を実施することができる。これにより、評価条件を拡大させることが可能となる。

【0080】

また、本実施形態によれば、３次元データは、評価対象物３に対し、それぞれ異なる２方向以上から撮像された位置データ及び色データを有する。このため、位置データ毎の相対的な位置関係の精度を向上させることができる。これにより、評価精度の更なる向上を図ることが可能となる。

【0081】

また、本実施形態によれば、３次元データは、評価対象物３に対し、等しい距離で１２０度異なる３方向から撮像された位置データ及び色データを有する。このため、評価対象物３における全周の表面状態に基づく３次元データに対する評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。

【0082】

また、本実施形態によれば、評価部１３は、グループデータ生成部１３ｂと、評価結果生成部１３ｃとを有する。このため、位置データと色データとが紐づいた状態で、評価結果を生成することができる。これにより、評価対象物３における配色の差異に対しても、評価することが可能となる。従って、評価することができる評価対象物３の種類を飛躍的に増加させることができる。

【0083】

また、本実施形態によれば、学習モデルは、過去の３次元データと、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の３次元データとは異なる未知の３次元データを評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。

【0084】

また、本実施形態によれば、評価手段Ｓ１２０は、参照データベースを参照し、３次元データに対する評価結果を生成する。このため、過去の結果を踏まえた評価結果を生成できるとともに、評価対象物３に対する位置データに加えて、色データを評価対象とすることができる。これにより、評価精度の向上を図ることが可能となる。

【0085】

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0086】

１ ：評価装置
２ ：撮像装置
３ ：評価対象物
４ ：通信網
５ ：端末
６ ：サーバ
１０ ：筐体
１１ ：取得部
１２ ：記憶部
１３ ：評価部
１３ａ ：サンプリングデータ生成部
１３ｂ ：グループデータ生成部
１３ｃ ：評価結果生成部
１４ ：出力部
１５ ：更新部
１００ ：評価システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部分
１０９ ：出力部分
１１０ ：内部バス
Ｓ１１０ ：取得手段
Ｓ１２０ ：評価手段
Ｓ１３０ ：出力手段
Ｓ１４０ ：更新手段

【要約】

【課題】評価精度の向上を図ることができる評価装置、及び評価システムを提供する。
【解決手段】評価対象物３の表面状態に基づく３次元データを評価する評価装置１であって、前記評価対象物３に対する３次元空間の座標を示す位置データ、及び前記評価対象物の前記位置データにおける色を示す色データを複数有する前記３次元データを取得する取得部と、予め取得された過去の３次元データと、前記過去の３次元データに紐づく参照情報との間における連関性を有する学習モデルが記憶された参照データベースと、前記参照データベースを参照し、前記３次元データに対する評価結果を生成する評価部と、を備えることを特徴とする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】