特許 6898020 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6898020

(24)【登録日】2021年6月14日

(45)【発行日】2021年7月7日

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20210628BHJP

   G06T 7/00 20170101ALI20210628BHJP

【ＦＩ】

   G01N21/88 J

   G06T7/00 350C

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2020-99246(P2020-99246)

(22)【出願日】2020年6月8日

【審査請求日】2020年6月9日

(31)【優先権主張番号】特願2020-24224(P2020-24224)

(32)【優先日】2020年2月17日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2020-75465(P2020-75465)

(32)【優先日】2020年4月21日

(33)【優先権主張国】JP

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】517198517

【氏名又は名称】クリスタルメソッド株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】河合 継

【審査官】 平田 佳規

(56)【参考文献】

【文献】 特開２０１９−０４９５０９（ＪＰ，Ａ）

【文献】 特開２０１９−１０９５６３（ＪＰ，Ａ）

【文献】 特開２０１４−１６９９４７（ＪＰ，Ａ）

【文献】 特開２０１９−１５９３７９（ＪＰ，Ａ）

【文献】 特開２００３−２５４７２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／８４− ２１／９５８

Ｇ０１Ｂ １１／００− １１／３０

Ｇ０６Ｎ ３／００− ３／１２

Ｇ０６Ｎ ２０／００− ２０／２０

Ｇ０６Ｔ １／００− １／４０

Ｇ０６Ｔ ３／００− ３／６０

Ｇ０６Ｔ ５／００− ５／５０

Ｇ０６Ｔ ７／００− ７／９０

Ｇ０６Ｔ ９／００− ９／４０

(57)【特許請求の範囲】

【請求項1】

複数の部品から構成され、しわ及び破れが含まれる場合のある物体の３次元データを基に物体の判定用領域ごとの状態である状態情報を判定する情報処理装置であって、
前記３次元データを取得する取得部と、
前記３次元データの頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して、前記物体に対する前記曲率の分布を示した２次元データである曲率分布データを生成する曲率分布データ生成部と、
前記曲率分布データを前記曲率に基づいて複数の前記判定用領域に分ける領域分割部と、
それぞれの前記判定用領域の２つ以上に対する前記物体の前記状態を、学習済みモデルを使用することで判定する状態判定部と、を備え、
前記学習済みモデルには、学習用領域と、前記学習用領域に対する前記状態情報と、を一対の学習データとして複数用いた学習により生成された前記複数の前記学習用領域と複数の前記状態情報との間における連関性が記憶されている、
情報処理装置。

【請求項2】

前記判定用領域は、算出された複数の前記曲率が集まった領域であって、
前記物体は、複数のメッシュからなる３次元データで表され、前記曲率分布データ生成部は前記複数のメッシュのそれぞれの前記頂点の曲率を算出することで前記曲率を算出する、
請求項１に記載の情報処理装置。

【請求項3】

前記状態判定部は、それぞれの前記判定用領域に関して未処理の判定用領域がなくなるまで処理を行う、
請求項２に記載の情報処理装置。

【請求項4】

さらに前記判定用領域に対する前記物体の前記状態を出力する出力部を備える請求項３に記載の情報処理装置。

【請求項5】

前記領域分割部は、前記判定用領域の内部における前記曲率の平均値が所定の値以上となる線状の領域を境として、前記曲率分布データを前記複数の前記判定用領域に分ける請求項３に記載の情報処理装置。

【請求項6】

複数の部品から構成され、しわ及び破れが含まれる場合のある物体の３次元データを基に物体の判定用領域ごとの状態である状態情報を判定する情報処理方法であって、
前記３次元データを取得する第１のステップと、
前記３次元データの頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して、前記物体に対する前記曲率の分布を示した２次元データである曲率分布データを生成する第２のステップと、
前記曲率分布データを前記曲率に基づいて複数の前記判定用領域に分ける第３のステップと、
それぞれの前記判定用領域の２つ以上に対する前記物体の前記状態を、学習済みモデルを使用することで判定する第４のステップと、を備え、
前記学習済みモデルには、学習用領域と、前記学習用領域に対する前記状態情報と、を一対の学習データとして複数用いた学習により生成された前記複数の前記学習用領域と複数の前記状態情報との間における連関性が記憶されている、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施の形態は、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

例えば非特許文献１は、３ＤＣＮＮ（３次元畳み込みニューラルネットワーク）を用いた３次元モデルの形状類似検索手法である。非特許文献１に記載された手法を用いることで３次元スキャナから入力された物体の３次元データに基づいて物体の状態を判定することができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】D. Maturana and S. Scherer.: Voxnet: A 3d convolutional neural network for real-time object recognition. in IROS, 2015.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら非特許文献１に記載されたような従来の手法を物体の異常の検出に用いる場合、物体全体を表す３次元データに対して３ＤＣＮＮを用いた３次元データに対応する学習済みモデルが必要となる。このため、非特許文献１に記載されたような従来の手法を物体の状態の判定に用いる場合、物体の状態の判定を行う際の処理に時間がかかるという課題があった。

【0005】

本発明の実施の形態は、従来手法と比較して処理時間が短い情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

複数の部品から構成され、しわ及び破れが含まれる場合のある物体の３次元データを基に物体の判定用領域ごとの状態である状態情報を判定する情報処理装置であって、３次元データを取得する取得部と、３次元データの頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して、曲率の分布を示した２次元データである曲率分布データを生成する曲率分布データ生成部と、物体における曲率分布データを曲率に基づいて複数の判定用領域に分ける領域分割部と、それぞれの判定用領域の２つ以上に対する物体の状態を、学習済みモデルを使用することで判定する状態判定部と、を備え、学習済みモデルには、学習用領域と、学習用領域に対する状態情報と、を一対の学習データとして複数用いた学習により生成された複数の学習用領域と複数の状態情報との間における連関性が記憶されている、情報処理装置を提供する。

【0008】

複数の部品から構成され、しわ及び破れが含まれる場合のある物体の３次元データを基に物体の判定用領域ごとの状態である状態情報を判定する情報処理方法であって、３次元データを取得する第１のステップと、３次元データの頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して、曲率の分布を示した２次元データである曲率分布データを生成する第２のステップと、前記物体に対する曲率分布データを曲率に基づいて複数の判定用領域に分ける第３のステップと、それぞれの判定用領域の２つ以上に対する物体の状態を、学習済みモデルを使用することで判定する第４のステップと、を備え、学習済みモデルには、学習用領域と、学習用領域に対する状態情報と、を一対の学習データとして複数用いた学習により生成された複数の学習用領域と複数の状態情報との間における連関性が記憶されている、情報処理方法を提供する。

【発明の効果】

【0010】

本発明によれば従来手法と比較して処理時間が短い情報処理装置を実現できる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１の実施の形態による学習段階及び利用段階における情報処理装置の構成を示すブロック図である。

【図2】図２は、本実施の形態による３次元データ及び３次元データに基づく曲率の分布を示す曲率分布データである。

【図3】図３は、第１の実施の形態による学習済みモデルを示す図である。

【図4】図４は、第１の実施の形態によって判定される物体の状態の一例を示す図である。

【図5】図５は、第１の実施の形態による状態判定処理の処理手順を示すフローチャートである。

【図6】図６は、第１の実施の形態による学習済みモデル生成処理の処理手順を示すフローチャートである。

【図7】図７は、第２の実施の形態による学習段階及び利用段階における情報処理装置の構成を示すブロック図である。

【図8】図８は、第２の実施の形態による学習済みモデルを示す図である。

【図9】図９は、第２の実施の形態による状態判定処理の処理手順を示すフローチャートである。

【図10】図１０は、第２の実施の形態による学習済みモデル生成処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0012】

（第１の実施の形態）
以下図面を用いて、本発明の実施の形態の一態様を詳述する。なお本実施の形態の一態様における物体とは、複数の部品から構成されているものとする。

【0013】

図１、図２及び図３を用いて説明を行う。図１は、第１の実施の形態による学習段階及び利用段階における情報処理装置１の構成を示すブロック図である。図２は、第１の実施の形態による３次元データ１５及び３次元データに基づく曲率の分布を示す曲率分布データ２０である。図３は、第１の実施の形態による学習済みモデルＤＢ１を示す図である。

【0014】

図１に示すように、本実施の形態による情報処理装置１は、中央演算装置２、主記憶装置３及び補助記憶装置１０を備える。中央演算装置２は、例えばＣＰＵ（Central Processing Unit）であって、主記憶装置３に記憶されたプログラムを呼び出すことで処理を実行する。主記憶装置３は、例えばＲＡＭ（Random Access Memory）であって、後述の取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７、状態判定部８及び出力部９といったプログラムを記憶する。

【0015】

補助記憶装置１０は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）であって、後述の学習済みモデルＤＢ１などのデータベースを記憶する。なお取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７、状態判定部８及び出力部９は、公知の技術を利用してもよい。

【0016】

まず情報処理装置１が、図１に示す利用段階のように例えば図２に示す物体の３次元データ１５を基に物体の状態を判定する場合について説明する。取得部４は、３Ｄスキャナなどの入力装置１１によって物体がスキャンされることで生成される３次元データ１５を入力装置１１から取得する。なお本発明においては、３次元は立体を指し、２次元は平面を指すものとする。

【0017】

曲率分布データ生成部５は、３次元データ１５の頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して曲率の分布を示した２次元データである図２に示すような曲率分布データ２０を生成する。なお例えば所定の範囲とは予め設定された範囲とする。また例えば３次元データ１５はメッシュデータであり、曲率分布データ生成部５はメッシュデータのそれぞれの頂点の曲率を例えば２つ以上のメッシュを指定することで算出する。

【0018】

領域分割部６は、曲率分布データ２０を曲率に基づいて領域２１，２２といった複数の判定用領域に分ける。例えば領域分割部６は、判定用領域の内部における曲率の平均値が所定の値以上となる線状の領域２４を境として、曲率分布データ２０を複数の判定用領域に分ける。

【0019】

例えば所定の値とは、曲率分布データ生成部５が算出する曲率の最大値と最小値との範囲を第１の範囲から第４の範囲として４等分して、一番高い曲率となる範囲である第１の範囲内の値を指す。なお図２においては、第１の範囲〜第４の範囲を網掛け種別１〜４で示している。

【0020】

状態判定部８は、例えば、それぞれの判定用領域の少なくとも１つに対する物体の状態を、図３に示す学習済みモデルＤＢ１を使用し、判定用領域を入力データとし、入力データに対する、しわや正常といった状態情報を出力することで、判定する。

【0021】

学習済みモデルＤＢ１は、領域２１，２２といった学習用領域と、学習用領域に対する物体の状態の情報である状態情報と、を一対の学習データとして複数用いた学習により生成され、複数の学習用領域と複数の状態情報との間における連関性が記憶されている。状態情報とは、正常やしわといった情報とする。ここで学習とは例えば機械学習を指し、具体的にはＣＮＮ（畳み込みニューラルネットワーク）を用いるものとする。

【0022】

複数の学習用領域と複数の状態情報との間における連関性は、具体的には、図３に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数によってあらわされる畳み込みニューラルネットワークによって表すことができる。

【0023】

出力部９は、例えばディスプレイやスマートフォンといった提示装置１２に状態情報を出力する。提示装置１２は、出力部９から取得した状態情報を元に画像や音などで正常やしわといった状態情報の提示を行う。

【0024】

なお図３に示すように学習済みモデルＤＢ１は、例えば、学習用領域ごとに生成される。また図３に示すように学習済みモデルＤＢ１への領域２１，２２といった判定用領域ごとの入力は、例えば画素ｐ１，ｐ２といった画素ごととする。学習済みモデルＤＢ１と同様に、学習モデルＤＢ１’への学習用領域ごとの入力も画素ごととする。なお学習済みモデルＤＢ１は、学習用領域ごとに生成されず、共通のものが１つ生成されてもよい。判定用領域や学習用領域への入力は、複数の画素ごととしてもよいものとする。

【0025】

次に情報処理装置１が、図１に示す学習段階のように例えば図２に示す物体の３次元データ１５を基に物体の状態を判定するための学習済みモデルＤＢ１を学習モデルＤＢ１’から生成する場合について説明する。

【0026】

ここでは教師あり学習を例に説明する。取得部４は、３Ｄスキャナなどの入力装置１１によって物体がスキャンされることで生成される３次元データ１５を入力装置１１から取得する。なお学習済みモデルＤＢ１は予め用意されていてもよいものとする。

【0027】

また取得部４は、物体の状態の情報である物体情報をカメラなどの入力装置１３から取得する。物体情報は、例えば３次元データ１５の元となる物体を撮像した画像を情報処理装置１の外部の装置における学習によって画像処理などで判別した結果であって、位置情報と状態情報とする。位置情報とは例えば物体におけるどの位置かを示す情報であって、画像内の座標情報などとする。

【0028】

曲率分布データ生成部５は、３次元データ１５の頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して、曲率の分布を示した２次元データである図２に示すような曲率分布データ２０を生成する。例えば３次元データ１５はメッシュデータであり、曲率分布データ生成部５はメッシュデータのそれぞれの頂点の曲率を算出する。

【0029】

領域分割部６は、曲率分布データ２０を曲率に基づいて領域２１，２２といった複数の学習用領域に分ける。例えば領域分割部６は、学習用領域に対する曲率の平均値が所定の値以上となる線状の領域２４を境として、複数の学習用領域に分ける。

【0030】

また領域分割部６は、物体情報が複数の学習用領域のうちのいずれかの学習用領域に割り当てられているかの割当を、位置情報を参照し特定する。学習済みモデル生成部７は、領域分割部６によって特定された割当を参照して学習用領域に対する状態情報を教師データとして学習を行う。

【0031】

学習済みモデル生成部７は、学習用領域と、状態情報と、を一対の学習データとして複数用い、学習モデルＤＢ１’による学習により、複数の学習用領域と複数の状態情報との間における連関性が記憶された学習済みモデルＤＢ１を生成する。生成された学習済みモデルＤＢ１は、例えば補助記憶装置１０に記憶される。

【0032】

次に図４を用いて説明を行う。図４は、第１の実施の形態によって判定される物体の状態の一例を示す図である。図４では、例えば３次元データ１５の領域１６にしわ１８が現れており、曲率分布データ２０の領域２１にしわ２３が現れている。

【0033】

図４に示すように曲率分布データ２０を判定用領域ごとに分けると、しわ２３が目立ちやすくなる。本実施の形態において、例えば、情報処理装置１は判定用領域ごとに学習データを生成し、判定用領域ごとに学習済みモデルＤＢ１を用いて処理を行う。

【0034】

情報処理装置１は、線状の領域２４を境として複数の判定用領域に分けるため、縫い目などの線状の領域２４としわや破れなどの異常箇所とを混同することがなく、物体の状態の判定に誤差が出にくい。このように情報処理装置１は、曲率が高くなり顕著な値となって出現する異常箇所であるしわや破れなどを、曲率は高いが正常箇所である縫い目などと混同することがない。なお縫い目は、曲率分布データ２０では線状の領域２４として出現する。

【0035】

次に図５を用いて説明を行う。図５は、第１の実施の形態による状態判定処理の処理手順を示すフローチャートである。入力装置１１から３次元データ１５が入力されると、取得部４は、入力された３次元データ１５を取得する（Ｓ１）。

【0036】

次に曲率分布データ生成部５は、３次元データ１５の頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して曲率の分布を示した２次元データである曲率分布データ２０を生成する（Ｓ２）。

【0037】

領域分割部６は、曲率分布データ２０を曲率に基づいて領域２１，２２といった複数の判定用領域に分ける（Ｓ３）。状態判定部８は、例えば、それぞれの判定用領域の少なくとも１つに対する物体の状態を、判定用領域ごとの学習済みモデルＤＢ１を使用し、判定用領域を入力データとし、入力データに対する、しわや正常といった状態情報を出力することで、判定する（Ｓ４，Ｓ５）。

【0038】

出力部９は、状態判定部８が判定した判定用領域に対する物体の状態に基づいて、判定用領域に対する物体の状態を提示装置１２に出力し（Ｓ６）、状態判定処理は終了する。提示装置１２は、判定用領域に対する正常やしわといった状態情報を提示する。

【0039】

次に図６を用いて説明を行う。図６は、第１の実施の形態による学習済みモデル生成処理の処理手順を示すフローチャートである。入力装置１１から３次元データ１５が入力され、かつ入力装置１３から物体情報が入力されると、取得部４は、入力された３次元データ１５及び物体情報を取得する（Ｓ１１）。

【0040】

曲率分布データ生成部５は、３次元データ１５の頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して曲率の分布を示した２次元データである図２に示すような曲率分布データ２０を生成する（Ｓ１２）。

【0041】

次に領域分割部６は、曲率分布データ２０を曲率に基づいて領域２１，２２といった複数の学習用領域に分ける（Ｓ１３）。次に領域分割部６は、物体情報が複数の学習用領域のうちのいずれかの学習用領域に割り当てられているかの割当を、位置情報を参照し特定する。学習済みモデル生成部７は、領域分割部６によって特定された割当を参照し学習用領域に対する物体の状態を示す状態情報を教師データとして学習を行う（Ｓ１４）。

【0042】

学習済みモデル生成部７は、学習用領域と、状態情報と、を一対の学習データとして複数用いた学習により、学習用領域と状態情報との間における連関性が記憶された学習済みモデルＤＢ１を学習モデルＤＢ１’から例えば学習用領域ごとに生成し（Ｓ１５，Ｓ１６）、学習済みモデル生成処理は終了する。学習済みモデル生成処理では、１つの物体の３次元データから物体に含まれる複数の学習用領域のそれぞれの学習済みモデルＤＢ１を生成する。

【0043】

以上のように、本実施の形態における情報処理装置１は、学習段階においても利用段階においても、３次元の情報である３次元データ１５を２次元の情報である曲率分布データ２０に変換して、さらに曲率分布データ２０を複数の学習用領域又は複数の判定用領域に分けて学習済みモデルＤＢ１に関する処理を行う。

【0044】

このため、本実施の形態における情報処理装置１は、学習段階においても利用段階においても、学習済みモデルＤＢ１の入力側の情報が２次元であるため学習済みモデルＤＢ１の入力側の情報が３次元の場合と比較し、処理時間を短くすることができる。

【0045】

また本実施の形態における情報処理装置１は、線状の領域２４を境として複数の学習用領域又は複数の判定用領域に分けるため、縫い目などの線状の領域２４である正常箇所としわや破れなどの異常箇所とを混同することがなく、物体の状態の判定に誤差が出にくい。

【0046】

また本実施の形態における情報処理装置１は、メッシュデータの頂点の曲率を計算することで、曲率に他の計算を用いる場合と比較して処理時間を短くすることができる。また本実施の形態における情報処理装置１は、物体の状態の判定の結果を出力する出力部を備えるため、情報処理装置１の使用者に情報処理の結果を知らせることができる。

【0047】

なお本実施の形態においては、取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７、状態判定部８及び出力部９は、プログラムとしたがこれに限らず論理回路でもよい。また取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７、状態判定部８、出力部９及び学習済みモデルＤＢ１は１つの装置に実装されておらず、ネットワークで接続された複数の装置に分散して実装されていてもよい。

【0048】

なお本実施の形態においては、利用段階において情報処理装置１は、物体の状態を判定するとしたが、これに限らない。例えば、利用段階において情報処理装置１は、物体の状態の判定の結果が正常でなかった場合に、異常を検出するようにしてもよい。

【0049】

なお本実施の形態においては、学習段階において情報処理装置１は、教師あり学習をするとしたが、これに限らず教師なし学習をしてもよい。また学習済みモデルＤＢ１は、ＣＮＮによって構築されずに、ＣＮＮ以外の深層学習手段や、ＳＶＭ（Support Vector machine）などによって構築されてもよい。

【0050】

（第２の実施の形態）
第１の実施の形態においては、例えば利用段階において領域分割部６が曲率分布データ２０を曲率に基づいて領域２１，２２といった複数の判定用領域に分け、それぞれの判定用領域の少なくとも１つに対する物体の状態を、判定用領域ごとの学習済みモデルＤＢ１を使用することで判定する場合について説明したが本発明はこれに限らない。本実施の形態においては、曲率分布データ２０を複数の判定用領域に分けずにそのまま用いて、物体の状態が判定される。本実施の形態においては、学習段階においても同様に複数の学習用領域に分けずに処理が行われる。

【0051】

図７及び図８を用いて説明を行う。図７は、第２の実施の形態による学習段階及び利用段階における情報処理装置３０の構成を示すブロック図である。図８は、第２の実施の形態による学習済みモデルＤＢ２を示す図である。

【0052】

図７に示すように本実施の形態による情報処理装置３０は、領域分割部６を備えていない点を除いては第１の実施の形態による情報処理装置１と同様である。情報処理装置１との差異点に着目して説明を行う。まず情報処理装置３０が図７に示す利用段階のように例えば図２に示す物体の３次元データ１５を基に物体の状態を判定する場合について説明する。

【0053】

情報処理装置３０は、３次元データ１５を取得する取得部４と、３次元データの頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して、曲率の分布を示した２次元データである曲率分布データ２０（判定用曲率分布データ）を生成する曲率分布データ生成部５と、判定用曲率分布データにおける物体の状態を、学習済みモデルＤＢ２を使用することで判定する状態判定部８と、を備える。

【0054】

学習済みモデルＤＢ２には、曲率分布データ２０（学習用曲率分布データ）と、物体情報と、を一対の学習データとして複数用いた学習により生成された複数の学習用曲率分布データと複数の物体情報との間における連関性が記憶されている。また物体は予め部分ごとにタグ付けされており、物体の状態が正常でない場合は、正常でない部分はタグによって示される。

【0055】

なお図８に示すように学習済みモデルＤＢ２は、曲率分布データ２０（学習用曲率分布データ）に対して生成される。また図８に示すように学習済みモデルＤＢ２への曲率分布データ２０（判定用曲率分布データ）の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。学習済みモデルＤＢ２と同様に、学習モデルＤＢ２’への曲率分布データ２０（学習用曲率分布データ）の入力も例えば画素ごととする。

【0056】

次に情報処理装置３０が、図７に示す学習段階のように例えば図２に示す物体の３次元データ１５を基に物体情報を判定するための学習済みモデルＤＢ２を学習モデルＤＢ２’から生成する場合について説明する。ここでは教師あり学習を例に説明する。

【0057】

取得部４は、３Ｄスキャナなどの入力装置１１によって物体がスキャンされることで生成される３次元データ１５を入力装置１１から取得する。なお学習済みモデルＤＢ２は予め用意されていてもよいものとする。

【0058】

また取得部４は、３次元データ１５を入力装置１１から取得する際に、例えば物体の部分ごとに付されたタグであるタグ情報を取得してもよい。物体の部分は例えば物体の部品を指す。例えばタグは、物体の部品ごとに付される。図２に示す３次元データ１５において符号Ａ〜Ｌは、物体を構成するそれぞれの部品に付されたタグの一例である。

【0059】

学習済みモデル生成部７は、曲率分布データ２０（学習用曲率分布データ）と、物体情報と、を一対の学習データとして複数用い、学習モデルＤＢ２’による学習により、複数の曲率分布データ２０（学習用曲率分布データ）と複数の物体情報との間における連関性が記憶された学習済みモデルＤＢ２を生成する。

【0060】

生成された学習済みモデルＤＢ２は、例えば補助記憶装置１０に記憶される。なお物体の状態が異常の場合は、物体情報には、しわややぶれといった異常の種類が状態情報として含まれ、異常のある部品を示す符号Ａ〜Ｌなどのタグ情報などが位置情報として含まれる。

【0061】

次に図９を用いて説明を行う。図９は、第２の実施の形態による状態判定処理の処理手順を示すフローチャートである。入力装置１１から３次元データ１５が入力されると、取得部４は、入力された３次元データ１５を取得する（Ｓ２１）。取得部４は、３次元データ１５を入力装置１１から取得する際に、例えば物体の部分ごとに付されたタグ情報を取得してもよい。

【0062】

次に曲率分布データ生成部５は、３次元データ１５の頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して曲率の分布を示した２次元データである曲率分布データ２０（判定用曲率分布データ）を生成する（Ｓ２２）。状態判定部８は、物体の状態を、学習済みモデルＤＢ２を使用し、判定用曲率分布データを入力データとし、入力データに対する、物体情報を出力することで、判定する（Ｓ２３）。

【0063】

出力部９は、状態判定部８が判定した物体の状態に基づいて、物体の状態を提示装置１２に出力し（Ｓ２４）、状態判定処理は終了する。提示装置１２は、正常やしわ（部品Ａ）ややぶれ（部品Ｂ）といった物体情報を提示する。

【0064】

例えば出力部９は、物体情報から状態情報としてしわや破れといった異常を抽出した場合、物体情報からタグ情報を抽出する。提示装置１２は、出力部９が抽出した状態情報及びタグ情報を表示する。

【0065】

次に図１０を用いて説明を行う。図１０は、第２の実施の形態による学習済みモデル生成処理の処理手順を示すフローチャートである。入力装置１１から３次元データ１５が入力され、かつ入力装置１３から正常やしわ（部品Ａ）ややぶれ（部品Ｂ）といった物体情報が入力されると、取得部４は、入力された３次元データ１５及び物体情報を取得する（Ｓ３１，Ｓ３２）。

【0066】

曲率分布データ生成部５は、３次元データ１５の頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して曲率の分布を示した２次元データである図２に示すような曲率分布データ２０（学習用曲率分布データ）を生成する（Ｓ３３）。

【0067】

学習済みモデル生成部７は、曲率分布データ２０（学習用曲率分布データ）と、物体情報と、を一対の学習データとして複数用いた学習により、曲率分布データ２０（学習用曲率分布データ）と物体情報との間における連関性が記憶された学習済みモデルＤＢ２を学習モデルＤＢ２’から生成し（Ｓ３４）、学習済みモデル生成処理は終了する。

【0068】

以上のように、本実施の形態における情報処理装置３０は、３次元の情報である３次元データ１５を２次元の情報である曲率分布データ２０に変換して学習済みモデルＤＢ２に関する処理を行う。

【0069】

このため、本実施の形態における情報処理装置３０は、学習段階においても利用段階においても、学習済みモデルＤＢ２の入力側の情報が２次元であるため学習済みモデルＤＢ２の入力側の情報が３次元の場合と比較し、第１の実施の形態と同様に、処理時間を短くすることができる。

【0070】

また本実施の形態における情報処理装置３０は、第１の実施の形態と同様に、メッシュデータの頂点の曲率を計算することで、曲率に他の計算を用いる場合と比較して処理時間を短くすることができる。また本実施の形態における情報処理装置３０は、物体の状態の判定の結果を出力する出力部を備えるため、情報処理装置３０の使用者に情報処理の結果を知らせることができる。

【0071】

また本実施の形態における情報処理装置３０は、曲率分布データ２０（判定用曲率分布データ）を複数の領域に分けずにそのまま用いて、物体の状態を判定するため、第１の実施の形態と比較して処理が単純になる。

【0072】

また本実施の形態における情報処理装置３０において用いられる物体は、予め部分ごとにタグ付けされているため、正常でない場合に正常でない部分を特定されることができる。

【0073】

なお本実施の形態においては、取得部４、曲率分布データ生成部５、領域分割部６、学習済みモデル生成部７、状態判定部８、出力部９及び学習済みモデルＤＢ２は１つの装置に実装されておらず、ネットワークで接続された複数の装置に分散して実装されていてもよい。

【0074】

なお本実施の形態においては、利用段階において情報処理装置３０は、物体の状態を判定するとしたが、これに限らない。例えば、利用段階において情報処理装置３０は、物体の状態の判定の結果が正常でなかった場合に、異常を検出するようにしてもよい。

【0075】

なお本実施の形態においては、学習段階において情報処理装置３０は、教師あり学習をするとしたが、これに限らず教師なし学習をしてもよい。また学習済みモデルＤＢ２は、ＣＮＮによって構築されずに、ＣＮＮ以外の深層学習手段や、ＳＶＭ（Support Vector machine）などによって構築されてもよい。

【0076】

（その他の実施の形態）
第１の実施の形態及び第２の実施の形態においては、３次元データを２次元データに変換する際に曲率を用いるようにしたが、本実施の形態はこれに限らない。例えば３次元データを２次元データに変換する際に光反射率や熱反射率を利用するようにしてもよい。

【0077】

また例えば、３次元データをプリントスクリーンなどによって撮像して２次元データに変換してもよい。３次元データを撮像して２次元データに変換する場合、例えば図７を用いて説明をすると、曲率分布データ生成部５の代わりに、図示せぬ２次元データ生成部が、３次元データを２次元データに変換した１組の２次元データを生成する。

【0078】

１組の２次元データとは、３次元データを正面からとった正面図、背面からとった背面図、上からとった上面図、下からとった下面図及び両側面から撮像した２つの側面図の６つの組をいう。

【0079】

３次元データを撮像して１組の２次元データに変換する場合、例えば図７を用いて説明をすると、曲率分布データ生成部５の代わりに、図示せぬ２次元データ生成部が、３次元データを２次元データに変換した１組の２次元データを生成する。

【0080】

３次元データを撮像して１組の２次元データに変換する場合、学習済みモデルＤＢ２は、１組の２次元データと、物体情報と、を一対の学習データとして複数用いた学習により生成された複数の学習用の１組の２次元データと複数の物体情報との間における連関性が記録されている。学習済みモデルＤＢ２は、１組の２次元データに対して生成される。例えば正面図、背面図、上面図、下面図及び側面図の入力は画素ごととする。

【0081】

以上のように本実施の形態においては、３次元データから２次元データの変換を撮像などの一般的な方法とすることで、３次元データから２次元データへの変換にかかる時間を短くすることが可能となる。なお本実施の形態においては、３次元データを変換したデータを１組の２次元データとしたが、撮像方法を工夫する場合などは、２次元データは１つでもよいものとする。

【符号の説明】

【0082】

１，３０……情報処理装置、２……中央演算装置、３……主記憶装置、４……取得部、５……曲率分布データ生成部、６……領域分割部、７……学習済みモデル生成部、８……状態判定部、９……出力部、１０……補助記憶装置、１１，１３……入力装置、１２……提示装置。

【要約】

【課題】従来手法と比較して処理時間が短い情報処理装置を提供する。
【解決手段】物体の３次元データを基に物体の状態を判定する情報処理装置であって、３次元データを取得する取得部と、３次元データの頂点を含む所定の範囲ごとの面の曲がり具合である曲率を算出して、曲率の分布を示した２次元データである曲率分布データを生成する曲率分布データ生成部と、曲率分布データを曲率に基づいて複数の判定用領域に分ける領域分割部と、それぞれの判定用領域の少なくとも１つに対する物体の状態を、学習済みモデルを使用することで判定する状態判定部と、を備え、学習済みモデルには、学習用領域と、学習用領域に対する物体の状態の情報である状態情報と、を一対の学習データとして複数用いた学習により生成された複数の学習用領域と複数の状態情報との間における連関性が記憶されている、情報処理装置を提供する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】