特開 2022-48881 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022048881

(43)【公開日】2022-03-28

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   G06T 7/12 20170101AFI20220318BHJP

   G06T 7/00 20170101ALI20220318BHJP

【ＦＩ】

G06T7/12

G06T7/00 350C

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2020154928

(22)【出願日】2020-09-15

(11)【特許番号】

(45)【特許公報発行日】2021-08-11

(71)【出願人】

【識別番号】517198517

【氏名又は名称】クリスタルメソッド株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】河合 継

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA01

5L096DA02

5L096FA06

5L096FA72

5L096HA09

5L096HA11

5L096KA04

5L096KA09

(57)【要約】

【課題】処理対象の部品ごとの特徴が少なく、部品ごとに属性を持たせにくい場合も部品の抽出が可能な情報処理装置を提供する。
【解決手段】物体を２次元で表したデータである物体データを基に物体を複数の部品に分割する情報処理装置であって、物体データを取得する取得部と、物体データを、分割用学習済みモデルを用いて複数の領域に分ける領域分割部と、を備え、分割用学習済みモデルには、物体の全体の輪郭を２次元情報で表した輪郭２次元情報と、複数の部品のそれぞれの輪郭を２次元情報で表した輪郭２次元情報と、を一対の学習データとして複数用いた学習により生成された物体の全体の輪郭２次元情報と複数の部品のそれぞれの輪郭２次元情報との間における連関性が記憶されている、情報処理装置を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

物体を２次元で表したデータである物体データを基に物体を複数の部品に分割する情報処理装置であって、
前記物体データを取得する取得部と、
前記物体データを、分割用学習済みモデルを用いて複数の領域に分ける領域分割部と、を備え、
前記分割用学習済みモデルには、前記物体の全体の輪郭を２次元情報で表した輪郭２次元情報と、前記複数の部品のそれぞれの輪郭を２次元情報で表した輪郭２次元情報と、を一対の学習データとして複数用いた学習により生成された前記物体の全体の輪郭２次元情報と前記複数の部品のそれぞれの輪郭２次元情報との間における連関性が記憶されている、情報処理装置。

【請求項2】

前記取得部は、前記物体データの代わりに前記物体を３次元で表したデータである３次元データを取得し、
前記３次元データの所定の範囲ごとの２次元情報を算出して、前記物体に対する２次元情報の分布を示した２次元情報分布データを前記物体データとして生成する２次元情報データ生成部をさらに備える、請求項１に記載の情報処理装置。

【請求項3】

それぞれの前記領域の２つ以上に対する前記物体の状態を、状態判定用学習済みモデルを使用することで判定する状態判定部を、さらに備え、
前記状態判定用学習済みモデルには、前記領域と、前記領域に対する状態情報と、を一対の学習データとして複数用いた学習により生成された複数の前記領域と複数の前記状態情報との間における連関性が記憶され、
前記状態情報は、前記物体の前記領域ごとの状態であり、
前記状態情報を判定する、請求項１に記載の情報処理装置。

【請求項4】

物体を２次元で表したデータである物体データを基に物体を複数の部品に分割する情報処理方法であって、
前記物体データを取得する第１のステップと、
前記物体データを、分割用学習済みモデルを用いて複数の領域に分ける第２のステップと、を備え、
前記分割用学習済みモデルには、前記物体の全体の輪郭を２次元情報で表した輪郭２次元情報と、前記複数の部品のそれぞれの輪郭を２次元情報で表した輪郭２次元情報と、を一対の学習データとして複数用いた学習により生成された前記物体の全体の輪郭２次元情報と前記複数の部品のそれぞれの輪郭２次元情報との間における連関性が記憶されている、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施の形態は、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

例えば特許文献１は、位置合わせの基準となる基準部品を選択し、アライメント画像を作成し、アライメント画像を用いて、部品の属性を認識して、部品を抽出する技術について開示している。

【先行技術文献】

【非特許文献】

【0003】

【特許文献1】特開２０１１－０３９９９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら特許文献１に記載されたような従来の手法は、基準部品を選択し、部品の属性を認識する必要があり、処理対象の部品ごとの特徴がなければ部品の抽出が難しいという課題があった。

【0005】

本発明の実施の形態の一態様は、処理対象の部品ごとの特徴が少なく、部品ごとに属性を持たせにくい場合も部品の抽出が可能な情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

物体を２次元で表したデータである物体データを基に物体を複数の部品に分割する情報処理装置であって、物体データを取得する取得部と、物体データを、分割用学習済みモデルを用いて複数の領域に分ける領域分割部と、を備え、分割用学習済みモデルには、物体の全体の輪郭を２次元情報で表した輪郭２次元情報と、複数の部品のそれぞれの輪郭を２次元情報で表した輪郭２次元情報と、を一対の学習データとして複数用いた学習により生成された物体の全体の輪郭２次元情報と複数の部品のそれぞれの輪郭２次元情報との間における連関性が記憶されている、情報処理装置を提供する。

【0007】

物体を２次元で表したデータである物体データを基に物体を複数の部品に分割する情報処理方法であって、物体データを取得する第１のステップと、物体データを、分割用学習済みモデルを用いて複数の領域に分ける第２のステップと、を備え、分割用学習済みモデルには、物体の全体の輪郭を２次元情報で表した輪郭２次元情報と、複数の部品のそれぞれの輪郭を２次元情報で表した輪郭２次元情報と、を一対の学習データとして複数用いた学習により生成された物体の全体の輪郭２次元情報と複数の部品のそれぞれの輪郭２次元情報との間における連関性が記憶されている、情報処理方法を提供する。

【発明の効果】

【0008】

本発明によれば処理対象の部品ごとの特徴が少なく、部品ごとに属性を持たせにくい場合も部品の抽出が可能な情報処理装置を実現できる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施の形態による学習段階及び利用段階における情報処理装置の構成を示すブロック図である。

【図2】図２は、本実施の形態による３次元データ及び３次元データに基づく曲率の分布を示す曲率分布データである。

【図3】図３は、第１の実施の形態による分割用学習済みモデルを示す図である。

【図4】図４は、第１の実施の形態による学習段階における入力データと出力データの組み合わせを格納する学習時入出力組合せテーブルを示す図である。

【図5】図５は、第１の実施の形態による学習段階における分割用学習済みモデル生成処理及び利用段階における分割処理の処理手順を示すフローチャートである。

【図6】図６は、第１の実施の形態による分割用学習済みモデルの他の利用方法を示す図である。

【図7】図７は、第２の実施の形態による学習段階及び利用段階における情報処理装置の構成を示すブロック図である。学習段階及び利用段階における情報処理装置の構成を示すブロック図である。

【図8】図８は、第２の実施の形態による状態判定用学習済みモデルを示す図である。

【図9】図９は、第２の実施の形態によって判定される物体の状態の一例を示す図である。

【図10】図１０は、第２の実施の形態による学習段階における状態判定用学習済みモデル生成処理及び利用段階における状態判定処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

（第１の実施の形態）
以下図面を用いて、本発明の実施の形態の一態様を詳述する。なお本実施の形態の一態様における物体とは、複数の部品から構成されているものとする。

【0011】

図１、図２及び図３を用いて説明を行う。図１は、本実施の形態による学習段階及び利用段階における情報処理装置１の構成を示すブロック図である。図２は、本実施の形態による３次元データ１５及び３次元データに基づく曲率の分布を示す曲率分布データ２０である。なお曲率は２次元情報の一例であって、曲率分布データ２０は、２次元情報の分布を示す２次元情報分布データの一例とする。図３は、本実施の形態による分割用学習済みモデルＤＢ１を示す図である。

【0012】

図１に示すように、本実施の形態による情報処理装置１は、中央演算装置２、主記憶装置３及び補助記憶装置１０を備える。中央演算装置２は、例えばＣＰＵ（Central Processing Unit）であって、主記憶装置３に記憶されたプログラムを呼び出すことで処理を実行する。主記憶装置３は、例えばＲＡＭ（Random Access Memory）であって、後述の取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７及び出力部９といったプログラムを記憶する。

【0013】

補助記憶装置１０は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）であって、後述の分割用学習済みモデルＤＢ１などのデータベースを記憶する。なお取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７及び出力部９は、公知の技術を利用してもよい。

【0014】

まず情報処理装置１が、図１に示す利用段階のように例えば図２に示す物体の３次元データ１５を基に物体の状態を判定する場合について説明する。取得部４は、３Ｄスキャナなどの入力装置１１によって物体がスキャンされることで生成される３次元データ１５を入力装置１１から取得する。なお取得部４は、後述の物体データを直接取得してもよいものとする。

【0015】

なお本発明においては、３次元は立体を指し、２次元は平面を指すものとする。図２に示す３次元データ１５において符号Ａ～Ｌは、物体を構成するそれぞれの部品に付されたタグの一例である。符号Ａ～Ｌのタグが付された部品をそれぞれ部品Ａ～Ｌと呼んでもよい。

【0016】

曲率分布データ生成部５は、３次元データ１５の頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して曲率の分布を示した２次元データである図２に示すような曲率分布データ２０を生成する。なお例えば所定の範囲とは予め設定された範囲とする。例えば曲率は、図２に示すように第１の範囲から第４の範囲として４等分して表示される。なお図２においては、第１の範囲～第４の範囲を網掛け種別１～４で示している。

【0017】

また例えば３次元データ１５はメッシュデータであり、曲率分布データ生成部５はメッシュデータのそれぞれの頂点の曲率を例えば２つ以上のメッシュを指定することで算出する。なお曲率分布データ生成部５は、２次元情報データを生成する２次元情報分布データ生成部の一例とする。

【0018】

領域分割部６は、物体を２次元で表したデータである物体データを、図３に示す分割用学習済みモデルＤＢ１を用いて領域３０Ａ，３０Ｂ，…，３０Ｌ（３０）といった物体を構成する部品Ａ～Ｌと対応する複数の領域に分ける。物体データは例えば曲率分布データ２０のような２次元情報分布データとする。

【0019】

分割用学習済みモデルＤＢ１には、物体の全体の輪郭を２次元情報で表した輪郭２次元情報３５と、複数の部品Ａ～Ｌのそれぞれの輪郭を２次元情報で表した輪郭２次元情報３６Ａ～３６Ｌ（３６）と、を一対の学習データとして複数用いた学習により生成された物体の全体の輪郭２次元情報３５と複数の物品のそれぞれの輪郭２次元情報３６との間における連関性が記憶される。

【0020】

ここで学習とは例えば機械学習を指し、具体的にはＣＮＮ（畳み込みニューラルネットワーク）を用いるものとする。物体の全体の輪郭２次元情報と複数の物品のそれぞれの輪郭２次元情報との間における連関性は、具体的には、図３に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数によってあらわされる畳み込みニューラルネットワークによって表すことができる。

【0021】

分割用学習済みモデルＤＢ１は、図４に示すような学習の際に用いるテーブルである学習時入出力組合せテーブルＴＢ１に格納された入力と出力の組み合わせを複数用いることで生成される。図４は、本実施の形態による学習段階における入力データと出力データの組み合わせを格納する学習時入出力組合せテーブルＴＢ１を示す図である。

【0022】

図４に示すように学習時入出力組合せテーブルＴＢ１には、入力欄には輪郭２次元情報３５が１つ格納され、出力欄には２次元情報３６Ａ～３６Ｌが物体を構成する部品の数だけ格納される。ここで輪郭２次元情報３５、３６Ａ～３６Ｌは、例えば物体を撮像した画像を人が手作業（以下、これを所定の方法と呼んでもよい）で物体や部品の輪郭をなぞったような情報とする。

【0023】

所定の方法は、物体を撮像した画像からエッジを検出する方法などでもよく、複数の入出力の組み合わせのうちのいくつかは、人による手作業、他のいくつかはエッジ検出などとして、複数の方法による組み合わせを混ぜてもよいものとする。

【0024】

学習時入出力組合せテーブルＴＢ１に格納される入力と出力を生成する際に、所定の方法を行う対象は、物体を撮像した画像でなくともよく、曲率分布データ２０や３次元データ１５を投影変換して２次元データとした投影変換データ３１などでもよい。

【0025】

出力部９は、例えばディスプレイやスマートフォンといった提示装置１２に分割の結果として曲率分布データ２０と領域３０Ａ，３０Ｂ，…，３０Ｌと１組として出力する。提示装置１２は、出力部９から取得した状態情報を元に画像で提示を行う。

【0026】

図３に示すように分割用学習済みモデルＤＢ１への曲率分布データ２０の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。分割用学習済みモデルＤＢ１と同様に、分割用学習モデルＤＢ１’への輪郭２次元情報３５，３６Ａ～３６Ｌの入力も画素ごととする。分割用学習済みモデルＤＢ１や分割用学習モデルＤＢ１’への入力は、複数の画素ごととしてもよいものとする。

【0027】

次に情報処理装置１が、図１に示す学習段階のように例えば図２に示す物体の３次元データ１５を基に物体を分割するための分割用学習済みモデルＤＢ１を分割用学習モデルＤＢ１’から生成する場合について説明する。

【0028】

ここでは教師あり学習を例に説明する。取得部４は、例えば入力装置１３から学習時入出力組合せテーブルＴＢ１を取得する。なお分割用学習済みモデルＤＢ１は予め用意されていてもよいものとする。

【0029】

学習済みモデル生成部７は、物体の全体の輪郭を２次元情報で表した輪郭２次元情報３５と、複数の部品Ａ～Ｌのそれぞれの輪郭を２次元情報で表した輪郭２次元情報３６Ａ～３６Ｌ（３６）と、を一対の学習データとして複数用い、分割用学習モデルＤＢ１’による学習により、物体の全体の輪郭２次元情報３５と複数の物品のそれぞれの輪郭２次元情報３６との間における連関性が記憶された分割用学習済みモデルＤＢ１を生成する。生成された分割用学習済みモデルＤＢ１は、例えば補助記憶装置１０に記憶される。

【0030】

次に図５を用いて説明を行う。図５は、本実施の形態による学習段階における分割用学習済みモデル生成処理及び利用段階における分割処理の処理手順を示すフローチャートである。

【0031】

まず学習段階における分割用学習済みモデル生成処理について説明する。まず取得部４は、複数の学習データを入力装置１３から取得する（Ｓ１）。学習データとは、学習時入出力組合せテーブルＴＢ１のような入力と出力が組になったデータとする。次に学習済みモデル生成部７は、取得部４が取得した複数の学習データを用いて分割用学習モデルＤＢ１’による学習を行い（Ｓ２）、分割用学習済みモデルＤＢ１を生成する（Ｓ３）。

【0032】

次に利用段階における分割処理について説明する。まず取得部４は、３次元データ１５を取得する（Ｓ４）。次に曲率分布データ生成部５は、３次元データ１５の頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して曲率の分布を示した２次元データである曲率分布データを生成する（Ｓ５）。

【0033】

次に領域分割部６は、曲率分布データ２０のような２次元情報分布データを、図３に示す分割用学習済みモデルＤＢ１を用いて領域３０Ａ，３０Ｂ，…，３０Ｌといった物体を構成する部品Ａ～Ｌと対応する複数の領域に分ける領域分割を行う（Ｓ６）。

【0034】

以上のように、本実施の形態における情報処理装置１は、利用段階において、分割用学習済みモデルＤＢ１を用いることで３次元データ１５に基づく曲率分布データなどの２次元情報分布データを分割する処理を行う。なお分割用学習済みモデルＤＢ１は、精度が高くなるような所定の方法が対象に対して適用されたうえで生成されている。

【0035】

このため、本実施の形態における情報処理装置１は、処理対象の部品ごとの特徴が少なく、部品ごとに属性を持たせにくい場合も部品の抽出が可能となる。例えば本実施の形態による情報処理装置１によれば、各ピースの特徴があまりない完成済みのホワイトパズルを各ピースに分割する処理なども可能となる。また本実施の形態における情報処理装置１は、結果を出力する出力部を備えるため、情報処理装置１の使用者に情報処理の結果を知らせることができる。

【0036】

なお本実施の形態においては、取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７及び出力部９は、プログラムとしたがこれに限らず論理回路でもよい。また取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７、出力部９及び分割用学習済みモデルＤＢ１は１つの装置に実装されておらず、ネットワークで接続された複数の装置に分散して実装されていてもよい。

【0037】

なお本実施の形態においては、学習段階において情報処理装置１は、教師あり学習をするとしたが、これに限らず教師なし学習をしてもよい。また分割用学習済みモデルＤＢ１は、ＣＮＮによって構築されずに、ＣＮＮ以外の深層学習手段や、ＳＶＭ（Support Vector machine）などによって構築されてもよい。

【0038】

また本実施の形態においては、図６に示すように曲率分布データ２０のような２次元情報分データ以外を物体データとして分割用学習済みモデルＤＢ１への入力としてもよい。物体データは、投影変換データ３１でもよいし、物体を撮像したデータでもよいし、３次元データ１５を撮像したデータとしてもよい。図６は本実施の形態による分割用学習済みモデルＤＢ１の他の利用方法を示す図である。

【0039】

例えば分割用学習済みモデルＤＢ１に投影変換データ３１を入力した場合、分割用学習済みモデルＤＢ１は、領域３２Ａ，３２Ｂ，…，３２Ｌ（３２）といった物体を構成する部品Ａ～Ｌと対応する複数の領域を出力する。なお投影変換データ３１を分割用学習済みモデルＤＢ１への入力とする場合、曲率分布データ生成部５の代わりに投影変換データ３１を生成する投影変換データ生成部が必要となる。なお、分割用学習済みモデルＤＢ１への入力は、３次元データ１５を撮像したものでもよい。

【0040】

（第２の実施の形態）
第１の実施の形態においては、例えば利用段階において領域分割部６が曲率分布データ２０を、分割用学習済みモデルＤＢ１を用いて領域３０Ａ，３０Ｂ，…，３０Ｌといった複数の領域に分ける場合について説明したが、本発明はこれに限らない。本実施の形態においては、領域分割部６によって分割された領域を用いて、さらに物体の状態の判定を行う。

【0041】

本実施の形態においては、第１の実施の形態との差分に着目して説明を行う。図７は、本実施の形態による学習段階及び利用段階における情報処理装置１の構成を示すブロック図である。図８は、本実施の形態による状態判定用学習済みモデルＤＢ２を示す図である。

【0042】

図７に示すように本実施の形態における情報処理装置１は、さらに状態判定部８及び複数の状態判定用学習済みモデルＤＢ２を備える。例えば、状態判定部８はプログラムであって主記憶装置３に記憶され、状態判定用学習済みモデルＤＢ２はデータベースであって補助記憶装置１０に記憶される。状態判定部８は既知の技術を利用してもよい。出力部９は、提示装置１２に状態情報を出力し、提示装置１２は、出力部９から取得した状態情報を元に画像や音などで正常やしわといった状態情報の提示を行う。

【0043】

まず利用段階の説明を行う。状態判定部８は、例えば、それぞれの領域３０Ａ～３０Ｌの少なくとも１つに対する物体の状態を、図８に示す状態判定用学習済みモデルＤＢ２を使用し、領域３０Ａ～３０Ｌを入力データとし、入力データに対する、しわや正常といった状態情報を出力することで、判定する。

【0044】

状態判定用学習済みモデルＤＢ２は、領域３０Ａ，３０Ｂ，…，３０Ｆ，…，３０Ｌといった領域と、領域に対する物体の状態の情報である状態情報と、を一対の学習データとして複数用いた学習により生成され、複数の領域と複数の状態情報との間における連関性が記憶されている。状態情報とは、正常やしわといった情報とする。ここで学習とは例えば機械学習を指し、具体的にはＣＮＮ（畳み込みニューラルネットワーク）を用いるものとする。

【0045】

複数の領域と複数の状態情報との間における連関性は、具体的には、図８に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数によってあらわされる畳み込みニューラルネットワークによって表すことができる。

【0046】

なお図８に示すように状態判定用学習済みモデルＤＢ２は、例えば、部品Ａ～Ｌごとに生成される。また図８に示すように状態判定用学習済みモデルＤＢ２への領域３０Ａ～３０Ｌといった領域３０Ａ～３０Ｌごとの入力は、例えば画素ｐ１，ｐ２といった画素ごととする。

【0047】

状態判定用学習済みモデルＤＢ２と同様に、状態判定用学習モデルＤＢ２’への領域３０Ａ～３０Ｌごとの入力も画素ごととする。なお状態判定用学習済みモデルＤＢ２は、領域ごとに生成されず、共通のものが１つ生成されてもよい。状態判定用学習モデルＤＢ２’への入力は、複数の画素ごととしてもよいものとする。

【0048】

次に情報処理装置１が、学習段階において例えば図２に示す物体の３次元データ１５を基に物体の状態を判定するための状態判定用学習済みモデルＤＢ２を状態判定用学習モデルＤＢ２’から生成する場合について説明する。ここでは教師あり学習を例に説明する。なお状態判定用学習済みモデルＤＢ２は予め用意されていてもよいものとする。

【0049】

取得部４は、物体の状態の情報である物体情報をカメラなどの入力装置１３から取得する。物体情報は、例えば３次元データ１５の元となる物体を撮像した画像を情報処理装置１の外部の装置における学習によって画像処理などで判別した結果であって、位置情報と状態情報とする。位置情報とは例えば物体におけるどの位置かを示す情報であって、画像内の座標情報などとする。

【0050】

領域分割部６は、物体情報が複数の領域３０Ａ～３０Ｌのうちのいずれかの領域３０Ａ～３０Ｌに割り当てられているかの割当を、位置情報を参照し特定する。学習済みモデル生成部７は、領域分割部６によって特定された割当を参照して領域３０Ａ～３０Ｌに対する状態情報を教師データとして学習を行う。

【0051】

学習済みモデル生成部７は、領域３０Ａ～３０Ｌと、状態情報と、を一対の学習データとして複数用い、状態判定用学習モデルＤＢ２’による学習により、複数の領域３０Ａ～３０Ｌと複数の状態情報との間における連関性が記憶された状態判定用学習済みモデルＤＢ２を生成する。生成された状態判定用学習済みモデルＤＢ２は、例えば補助記憶装置１０に記憶される。

【0052】

次に図９を用いて説明を行う。図９は、本実施の形態によって判定される物体の状態の一例を示す図である。図９では、例えば３次元データ１５の部品Ｆにしわ１６が現れており、曲率分布データ２０の領域３０Ｆにしわ２１が現れている。

【0053】

図９に示すように曲率分布データ２０を領域３０Ａ～３０Ｌごとに分けると、しわ２１が目立ちやすくなる。本実施の形態において、例えば、情報処理装置１は領域３０Ａ～３０Ｌごとに状態判定用学習済みモデルＤＢ２を生成し、領域３０Ａ～３０Ｌごとに状態判定用学習済みモデルＤＢ２を用いて処理を行う。

【0054】

次に図１０を用いて説明を行う。図１０は、本実施の形態による学習段階における状態判定用学習済みモデル生成処理及び利用段階における状態判定処理の処理手順を示すフローチャートである。

【0055】

学習段階及びに利用段階におけるステップＳ４～Ｓ６は第１の実施の形態において説明しているので説明を省略する。まず学習段階に関しての説明を行う。次に領域分割部６は、物体情報が複数の領域３０Ａ～３０Ｌのうちのいずれかの領域３０Ａ～３０Ｌに割り当てられているかの割当を、位置情報を参照し特定する。学習済みモデル生成部７は、領域分割部６によって特定された割当を参照し領域に対する物体の状態を示す状態情報を教師データとして学習を行う（Ｓ１１）。

【0056】

次に学習済みモデル生成部７は領域３０Ａ～３０Ｌと、状態情報と、を一対の学習データとして複数用いた学習により、領域３０Ａ～３０Ｌと状態情報との間における連関性が記憶された状態判定用学習済みモデルＤＢ２を状態判定用学習モデルＤＢ２’から例えば領域３０Ａ～３０Ｌごとに生成し（Ｓ１２，Ｓ１３）、学習済みモデル生成処理は終了する。

【0057】

学習済みモデル生成部７は、それぞれの領域３０Ａ～３０Ｌに関して未処理の領域がなくなるまで処理を行う。学習済みモデル生成処理では、１つの物体の３次元データから物体に含まれる複数の領域３０Ａ～３０Ｌのそれぞれの状態判定用学習済みモデルＤＢ２を生成する。

【0058】

次に利用段階に関しての説明を行う。状態判定部８は、例えば、それぞれの領域３０Ａ～３０Ｌの少なくとも１つに対する物体の状態を、部品Ａ～Ｌごとの状態判定用学習済みモデルＤＢ２を使用し、領域３０Ａ～３０Ｌを入力データとし、入力データに対する、しわや正常といった状態情報を出力することで、判定する（Ｓ１５，Ｓ１６）。状態判定部８は、それぞれの領域３０Ａ～３０Ｌに関して未処理の領域がなくなるまで処理を行う。

【0059】

出力部９は、状態判定部８が判定した領域３０Ａ～３０Ｌに対する物体の状態に基づいて、判定用領域に対する物体の状態を提示装置１２に出力し（Ｓ１７）、状態判定処理は終了する。提示装置１２は、領域３０Ａ～３０Ｌに対する正常やしわといった状態情報を提示する。

【0060】

以上のように、本実施の形態における情報処理装置１は、領域分割部６によって分割された領域を用いて、さらに物体の状態の学習や判定を行う。このため、本実施の形態における情報処理装置１は、学習段階においても利用段階においても、精度を保ったまま物体の状態を判定する処理の時間を短くすることができる。

【0061】

なお本実施の形態においては、状態判定部８及び出力部９は、プログラムとしたがこれに限らず論理回路でもよい。状態判定部８及び状態判定用学習済みモデルＤＢ２は１つの装置に実装されておらず、ネットワークで接続された複数の装置に分散して実装されていてもよい。

【0062】

なお本実施の形態においては、利用段階において情報処理装置１は、物体の状態を判定するとしたが、これに限らない。例えば、利用段階において情報処理装置１は、物体の状態の判定の結果が正常でなかった場合に、異常を検出するようにしてもよい。

【0063】

なお本実施の形態においては、学習段階において情報処理装置１は、教師あり学習をするとしたが、これに限らず教師なし学習をしてもよい。また状態判定用学習済みモデルＤＢ２は、ＣＮＮによって構築されずに、ＣＮＮ以外の深層学習手段や、ＳＶＭ（Support Vector machine）などによって構築されてもよい。

【符号の説明】

【0064】

１，３０……情報処理装置、２……中央演算装置、３……主記憶装置、４……取得部、５……曲率分布データ生成部、６……領域分割部、７……学習済みモデル生成部、８……状態判定部、９……出力部、１０……補助記憶装置、１１，１３……入力装置、１２……提示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】