特許 7481173 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240501BHJP

   G06N 20/00 20190101ALI20240501BHJP

【ＦＩ】

G06T7/00 350C

G06N20/00 130

【請求項の数】 13

(21)【出願番号】P 2020109666

(22)【出願日】2020-06-25

(65)【公開番号】P2022007021

(43)【公開日】2022-01-13

【審査請求日】2022-12-06

(73)【特許権者】

【識別番号】503378420

【氏名又は名称】日鉄ステンレス株式会社

(73)【特許権者】

【識別番号】000191076

【氏名又は名称】日鉄ソリューションズ株式会社

(74)【代理人】

【識別番号】100117857

【弁理士】

【氏名又は名称】南林 薫

(72)【発明者】

【氏名】安藤 文一

(72)【発明者】

【氏名】豊暉原 侑心

(72)【発明者】

【氏名】兼森 譲

【審査官】佐藤 実

(56)【参考文献】

【文献】杉本昭彦，深層学習でクルマの写真から型式を特定 オークネットＩＢＳが中古車ディーラー用システム，日経ビッグデータ，日経ＢＰ社，2016年11月10日，第33号，第11頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

画像認識による型式の判定処理に用いる学習済みモデルを生成する情報処理装置であって、
対象となる被写体を含む複数の第１の画像を取得する画像取得手段と、
取得された前記第１の画像のそれぞれに対して、前記第１の画像に含まれる前記被写体に係る複数の要素についてのラベルを付与するラベル付与手段と、
前記ラベルが付与された前記第１の画像に基づいて前記要素毎の前記学習済みモデルを生成するモデル生成手段と、
生成された前記要素毎の前記学習済みモデルに基づいて前記型式の判定処理を行う被写体を含む第２の画像の各要素を判定し、前記各要素の判定結果の組み合わせと、前記型式との対応を示す判定情報を用いて、各要素の判定結果の組み合わせに対応する前記型式を判定する判定手段とを有することを特徴とする情報処理装置。

【請求項2】

前記判定手段は、同一の被写体を含む複数の前記第２の画像を用いて複数回の前記判定処理を行うことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

複数の要素毎の学習済みモデルを用いて判定対象の画像における各要素の判定を行い得られた各要素の判定結果の組み合わせから型式を特定する、画像認識による型式の判定処理に用いる前記学習済みモデルを生成する情報処理装置であって、
対象となる被写体を含む複数の第１の画像を取得する画像取得手段と、
取得された前記第１の画像のそれぞれに対して、前記第１の画像に含まれる前記被写体に係る複数の要素についてのラベルを付与するラベル付与手段と、
前記ラベルが付与された前記第１の画像に基づいて前記要素毎の前記学習済みモデルを生成するモデル生成手段とを有することを特徴とする情報処理装置。

【請求項4】

前記ラベル付与手段は、前記第１の画像に対して付与する各要素のラベルの情報の入力を受け付けて前記ラベルを付与することを特徴とする請求項１～３の何れか１項に記載の情報処理装置。

【請求項5】

前記ラベル付与手段は、前記第１の画像における前記被写体の型式を示す情報の入力を受け付けて、入力された前記型式を示す情報に対応する前記ラベルを付与することを特徴とする請求項１～３の何れか１項に記載の情報処理装置。

【請求項6】

前記モデル生成手段は、前記ラベルが付与された前記第１の画像を用いて教師あり機械学習を行い前記学習済みモデルを生成することを特徴とする請求項１～５の何れか１項に記載の情報処理装置。

【請求項7】

前記モデル生成手段は、前記ラベルが付与された前記第１の画像を用いて深層学習を行い前記学習済みモデルを生成することを特徴とする請求項１～５の何れか１項に記載の情報処理装置。

【請求項8】

前記被写体は梱包済みコイルであり、前記型式は前記梱包済みコイルの梱包型式であることを特徴とする請求項１～７の何れか１項に記載の情報処理装置。

【請求項9】

前記複数の要素は、前記梱包済みコイルにおける結束数、内リング部材、及び外リング部材のうちの少なくとも１つを含むことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

画像認識による型式の判定処理に用いる学習済みモデルを生成する情報処理装置の情報処理方法であって、
対象となる被写体を含む複数の第１の画像を取得する画像取得工程と、
取得された前記第１の画像のそれぞれに対して、前記第１の画像に含まれる前記被写体に係る複数の要素についてのラベルを付与するラベル付与工程と、
前記ラベルが付与された前記第１の画像に基づいて前記要素毎の前記学習済みモデルを生成するモデル生成工程と、
生成された前記要素毎の前記学習済みモデルに基づいて前記型式の判定処理を行う被写体を含む第２の画像の各要素を判定し、前記各要素の判定結果の組み合わせと、前記型式との対応を示す判定情報を用いて、各要素の判定結果の組み合わせに対応する前記型式を判定する判定工程とを有することを特徴とする情報処理方法。

【請求項11】

複数の要素毎の学習済みモデルを用いて判定対象の画像における各要素の判定を行い得られた各要素の判定結果の組み合わせから型式を特定する、画像認識による型式の判定処理に用いる前記学習済みモデルを生成する情報処理装置の情報処理方法であって、
対象となる被写体を含む複数の第１の画像を取得する画像取得工程と、
取得された前記第１の画像のそれぞれに対して、前記第１の画像に含まれる前記被写体に係る複数の要素についてのラベルを付与するラベル付与工程と、
前記ラベルが付与された前記第１の画像に基づいて前記要素毎の前記学習済みモデルを生成するモデル生成工程とを有することを特徴とする情報処理方法。

【請求項12】

画像認識による型式の判定処理に用いる学習済みモデルを生成する情報処理装置のコンピュータに、
対象となる被写体を含む複数の第１の画像を取得する画像取得ステップと、
取得された前記第１の画像のそれぞれに対して、前記第１の画像に含まれる前記被写体に係る複数の要素についてのラベルを付与するラベル付与ステップと、
前記ラベルが付与された前記第１の画像に基づいて前記要素毎の前記学習済みモデルを生成するモデル生成ステップと、
生成された前記要素毎の前記学習済みモデルに基づいて前記型式の判定処理を行う被写体を含む第２の画像の各要素を判定し、前記各要素の判定結果の組み合わせと、前記型式との対応を示す判定情報を用いて、各要素の判定結果の組み合わせに対応する前記型式を判定する判定ステップとを実行させるためのプログラム。

【請求項13】

複数の要素毎の学習済みモデルを用いて判定対象の画像における各要素の判定を行い得られた各要素の判定結果の組み合わせから型式を特定する、画像認識による型式の判定処理に用いる前記学習済みモデルを生成する情報処理装置のコンピュータに、
対象となる被写体を含む複数の第１の画像を取得する画像取得ステップと、
取得された前記第１の画像のそれぞれに対して、前記第１の画像に含まれる前記被写体に係る複数の要素についてのラベルを付与するラベル付与ステップと、
前記ラベルが付与された前記第１の画像に基づいて前記要素毎の前記学習済みモデルを生成するモデル生成ステップとを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を利用した画像認識が行われている。例えば、写真に写っている動物が何であるのか画像認識により判定することができるが、この判定を行わせるためには、認識対象となる物の特徴をあらわす特徴量を使ってコンピュータ等の情報処理装置に予め学習させておく必要がある。そして、この学習に用いる教師データ（ラベル付きの学習データ）の量がＡＩによる画像認識の認識精度に大きく影響を及ぼす。

【0003】

しかし、十分な学習を行うためのデータを用意することが困難な場合もあり、不十分な学習状況のもと画像認識を行うと、認識精度が低下して適切な結果が得られないこともある。また、未学習のものや認識対象外のものについては、学習済みの結果から一番近いものを選ぶ動作をするため、未学習や認識対象外の画像を正しく判定させることは非常に困難である。

【0004】

特許文献１には、顔判別に係る教師データを作成する技術が開示されている。特許文献１には、対象画像中の種々の方向を向いた顔を判別器を用いて検出することが記載されており、検出対象画像上で順次切り出した部分画像に対して左右反転処理や９０度単位の回転処理を施すことにより、部分画像の反転／回転画像を生成し、これらの画像に対して所定の種類の判別器を用いて当該画像が所定の顔の向きおよび天地方向にある顔であるか否かを判別する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－３５０７０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の技術では、部分画像の反転や回転により教師データとなる画像を生成しており、反転処理や回転処理により得られる画像には限りがあるため必ずしも十分な量の教師データが得られるものではない。本発明は、このような事情に鑑みてなされたものであり、より多くの教師データを作成し、画像認識の認識精度を高めることを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る情報処理装置は、画像認識による型式の判定処理に用いる学習済みモデルを生成する情報処理装置であって、対象となる被写体を含む複数の第１の画像を取得する画像取得手段と、取得された前記第１の画像のそれぞれに対して、前記第１の画像に含まれる前記被写体に係る複数の要素についてのラベルを付与するラベル付与手段と、前記ラベルが付与された前記第１の画像に基づいて前記要素毎の前記学習済みモデルを生成するモデル生成手段と、生成された前記要素毎の前記学習済みモデルに基づいて前記型式の判定処理を行う被写体を含む第２の画像の各要素を判定し、前記各要素の判定結果の組み合わせと、前記型式との対応を示す判定情報を用いて、各要素の判定結果の組み合わせに対応する前記型式を判定する判定手段とを有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、より多くの教師データを作成でき、画像認識の認識精度を高めることが可能となる。

【図面の簡単な説明】

【0009】

【図1】本実施形態における情報処理装置のハードウェア構成の例を示す図である。

【図2】本実施形態における情報処理装置の機能構成の例を示す図である。

【図3】処理対象の一例を説明する図である。

【図4】本実施形態における判定情報の例を示す図である。

【図5】本実施形態における情報処理装置の動作を説明する図である。

【図6】本実施形態における情報処理装置の処理例を示すフローチャートである。

【図7】本実施形態における梱包型式判定を説明する図である。

【図8】本実施形態における情報処理装置の処理例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を図面に基づいて説明する。

【0011】

図１は、本発明の一実施形態における情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、例えばパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット端末等の情報処理装置である。情報処理装置１００は、ＣＰＵ１０１、主記憶装置１０２、補助記憶装置１０３、入力Ｉ／Ｆ１０４、出力Ｉ／Ｆ１０５、及びネットワークＩ／Ｆ１０６を有する。ＣＰＵ１０１、主記憶装置１０２、補助記憶装置１０３、入力Ｉ／Ｆ１０４、出力Ｉ／Ｆ１０５、及びネットワークＩ／Ｆ１０６は、システムバス１０７を介して、互いに通信可能に接続されている。

【0012】

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、情報処理装置１００を制御する中央演算装置である。主記憶装置１０２は、ＣＰＵ１０１のワークエリアやデータの一時的な記憶場所として機能する記憶装置である。主記憶装置１０２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いて実装される。補助記憶装置１０３は、プログラム、画像データ、各種処理に係る情報等を記憶する記憶装置である。補助記憶装置１０３は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等を用いて実装される。

【0013】

入力Ｉ／Ｆ１０４は、マウス、キーボード、タッチパネルの操作部、撮像装置（カメラ）等の入力装置との接続に利用されるインターフェースである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０４を介して、入力Ｉ／Ｆ１０４に接続された入力装置からの入力を受け付ける。出力Ｉ／Ｆ１０５は、モニタ、スピーカ、タッチパネルの表示部等の出力装置との接続に利用されるインターフェースである。ネットワークＩ／Ｆ１０６は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介した、外部のサーバや装置等との通信に利用されるインターフェースである。

【0014】

ＣＰＵ１０１が、補助記憶装置１０３に記憶されたプログラムに基づいて処理を実行することによって、図２に示す情報処理装置１００の各機能、及び後述するフローチャートに示す各処理等が実現される。

【0015】

図２は、本実施形態における情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、画像取得部２０１、ラベル付与部２０２、モデル生成部２０３、判定部２０４、及び記憶部２０５を有する。

【0016】

画像取得部２０１は、撮像装置等により撮影された対象となる被写体を含む画像を、外部の撮像装置や記憶装置等から取得する。画像取得部２０１により取得される画像には、学習に用いる画像や判定処理される画像を含む。

【0017】

ラベル付与部２０２は、画像取得部２０１により取得された、学習に用いる画像に対して、画像に含まれる各要素に係るラベルを付与する。ラベル付与部２０２は、学習に用いる画像に対して付与するラベルの情報の入力を受け付け、入力されるラベルを画像に付与する。ラベル付与部２０２は、学習に用いる画像の各画像に対して、複数の要素、すなわち複数の項目からなるラベル情報を付与する。以下では、学習に用いる画像について、画像に対するラベル付与の有無に応じて、ラベルが付与されていない画像を「学習データ」とも称し、ラベル付与部２０２によりラベルが付与された画像を「教師データ」とも称する。

【0018】

モデル生成部２０３は、ラベル付与部２０２によりラベルが付与された、学習に用いる画像である教師データを用いて学習を行い、学習済みモデルを生成する。モデル生成部２０３は、教師データとなる画像から特徴量を抽出し、抽出した特徴量に基づいて学習し学習済みモデルを生成する。モデル生成部２０３は、ラベルとして付与された各要素のそれぞれについて、学習済みモデルを生成する。

【0019】

判定部２０４は、画像取得部２０１により取得された、判定対象の画像について、モデル生成部２０３により生成された学習済みモデルを用いて、各要素に係る判定処理を行う。また、判定部２０４は、判定処理により得られた各要素の判定結果の組み合わせに基づいて、判定対象の画像に含まれる被写体の種別を判定する。

【0020】

記憶部２０５は、画像取得部２０１により取得された画像（学習データとしての画像や判定処理される画像等）やラベル付与部２０２によりラベルが付与された画像（教師データ）等を記憶する。また、記憶部２０５は、モデル生成部２０３により生成された学習済みモデルや判定部２０４での被写体の種別の判定に用いる判定情報等を記憶する。

【0021】

なお、図２に示した例では、画像取得部２０１、ラベル付与部２０２、モデル生成部２０３、判定部２０４、及び記憶部２０５を有する情報処理装置１００を一例として示したが、これに限定されるものではない。例えば、学習に係る機能部、すなわち学習に用いる画像（学習データ）を取得する画像取得部２０１、ラベル付与部２０２、及びモデル生成部２０３と、判定に係る機能部、すなわち判定部２０４とは、異なる情報処理装置が有するような構成であってもよい。また、記憶部２０５が、情報処理装置と接続される外部の記憶装置であってもよい。

【0022】

図３に示すような「コイル」を梱包材で梱包した「梱包済みコイル」の梱包型式の判定を例に、本実施形態における情報処理装置１００の動作について説明する。図３（Ａ）に、コイルの一例を示す。図３（Ａ）に示すように、コイル３０１は、鋼板等の金属材を巻き取ったものである。なお、コイルは、金属材に限らず、板状の樹脂シートやゴムシートを巻き取ったものなどであってもよい。図３（Ｂ）は梱包済みコイルの一例を示す図であり、図３（Ｂ）には、図３（Ａ）に示したようなコイルを、梱包紙で覆い、リング部材及び結束バンドを施した例を示している。図３（Ｂ）において、３１１は梱包済みコイルにおける内リング部材（内周梱包部材）であり、３１２は梱包済みコイルにおける外リング部材（外周梱包部材）であり、３１３は梱包済みコイルにおける結束バンド（フープ）である。なお、図３（Ｂ）に示した梱包済みコイルは一例であり、このような梱包に限定されるものではない。例えば、コイルを、梱包紙、リング部材、及び結束バンドの内の少なくとも１つを用いて梱包したものであってもよい。以下においては、梱包済みコイルにおける結束数、内リング部材、及び外リング部材に基づいて梱包型式の判定を行うものとするが、これは一例であり、梱包型式を判定するための要素は適宜設定することが可能である。

【0023】

本実施形態における情報処理装置１００を梱包型式の判定に適用する場合、図２に示した各機能部は、下記のように動作する。以下の説明において「コイル画像」とは、梱包済みコイルを被写体として含む画像を示すものとする。画像取得部２０１は、学習データとしてのコイル画像や判定処理される（判定対象の）コイル画像を取得する。ラベル付与部２０２は、画像取得部２０１により取得された学習データとしての画像のそれぞれに対して、結束数、内リング部材、及び外リング部材に関するラベル情報を付与する。例えば、ラベル付与部２０２は、学習データのある画像に対して“結束数：３、内リング部材：Ａ、外リング部材：α”といったラベル情報を付与する。

【0024】

ここで、結束数は、梱包済みコイルにおける縦方向及び横方向のすべての結束数であってもよいし、縦方向又は横方向の一方向の結束数であってもよい。また、縦方向と横方向の結束数を区別してラベルとして付与するようにしてもよい。内リング部材及び外リング部材については、例えば部材の色を示す情報や部材の有無を示す情報をラベルとして付与する。本実施形態では、ラベル付与部２０２は、学習データとしての画像のそれぞれに対して、結束数、内リング部材、及び外リング部材に関するラベル情報を付与するものとしたが、これに限らず、他の要素についてのラベル情報を含んでもよい。

【0025】

モデル生成部２０３は、ラベル付与部２０２によりラベルが付与された教師データに基づいて学習機を用いた学習を行って、結束数、内リング部材、及び外リング部材のそれぞれについての学習済みモデルを生成する。モデル生成部２０３は、教師データとなるコイル画像から特徴量を抽出し、抽出した特徴量に基づいて学習し、結束数、内リング部材、及び外リング部材の各要素についての学習済みモデルを生成する。判定部２０４は、生成された結束数、内リング部材、及び外リング部材の各学習済みモデルを用いて、画像取得部２０１により取得された判定対象の画像における各要素（結束数、内リング部材、及び外リング部材）の判定処理を行う。また、判定部２０４は、図４に示すような判定情報（判定テーブル）に基づいて、判定対象のコイルの梱包型式を判定する。

【0026】

図４は、コイルの梱包型式を判定する判定情報（判定テーブル）の例を示す図である。図４に一例を示す判定情報（判定テーブル）は、例えば記憶部２０５に記憶され、判定部２０４は、記憶された判定情報（判定テーブル）を参照して処理を行う。図４には、結束数が３又は４を判定可能な学習済みモデルを有し、内リング部材がＡ、Ｂ、又はＣを判定可能な学習済みモデルを有し、外リング部材がα又はβを判定可能な学習済みモデルを有する場合の判定情報（判定テーブル）を示している。

【0027】

例えば、判定部２０４は、結束数が３、内リング部材がＡ、及び外リング部材がαとの判定結果が得られた場合には、梱包済みコイルの梱包型式が型式１であると判定する。また、例えば、判定部２０４は、結束数が４、内リング部材がＡ、及び外リング部材がαとの判定結果が得られた場合には、梱包済みコイルの梱包型式が未知の型式であると判定する。また、判定部２０４は、結束数が４、内リング部材がＢとの判定結果が得られた場合には、外リング部材の判定結果にかかわらず梱包済みコイルの梱包型式が未知の型式であると判定する。なお、図４においては、結束数及び外リング部材についてそれぞれ２種類、内リング部材について３種類の例を示したが、これは一例であり、各要素についての学習済みモデルが判定可能な種類の数に応じた判定情報（判定テーブル）を用意すればよい。

【0028】

図５を参照して、本実施形態における情報処理装置１００において梱包済みコイルの梱包型式を判定する動作について説明する。学習済みモデルを生成する学習フェーズにおいては、撮像装置５０１により梱包済みコイルを被写体として含む画像を撮影して、撮影されたコイル画像を画像取得部２０１が学習データ５０２として取得する。画像取得部２０１は、学習データ５０２として複数のコイル画像を取得する。なお、学習データ５０２としてのコイル画像は、撮像装置５０１から直接取得するものに限らず、予め撮影され記憶装置等に記憶されたコイル画像を取得するようにしてもよい。

【0029】

続いて、学習データ５０２として取得されたコイル画像のそれぞれに対して、ラベル付与部２０２が各要素（結束数、内リング部材、及び外リング部材）に係るラベルを付与して、ラベルが付与された画像である教師データ５０３を生成する。このように、本実施形態では、１つの学習データとしての画像に対して、結束数、内リング部材、及び外リング部材の３つのラベルを付与することにより、１つの学習データから３つの教師データを作成することができる。例えば、１つの学習データに対して、Ｍ種類のラベルを付与すれば、１つの学習データからＭ個の教師データを生成することができ、より多くの教師データを得ることが可能となる。

【0030】

次に、モデル生成部２０３が、作成された教師データ５０３を用いて学習機５０４で学習し、コイル画像に含まれる各要素についての学習済みモデル５０５を生成する。この生成された学習済みモデル５０５は、判定処理を行う判定フェーズにおいて、判定部２０４での判定処理に用いられる。

【0031】

判定対象のコイル画像から梱包型式を判定する判定フェーズでは、撮像装置５１１により梱包済みコイルを被写体として含む画像を撮影して、撮影されたコイル画像を画像取得部２０１が判定対象の画像データ５１２として取得する。なお、判定対象の画像は、梱包済みコイル全体が写り込んだ１つの画像に限られるものではなく、判定処理に適した部分が写り込むように複数の撮像装置５１１によって撮影された画像であってもよい。次に、判定部２０４が、取得された判定対象の画像データ５１２を、判定機５０６を用いて学習済みモデルにより各要素について判定処理を行い、判定結果を出力する。

【0032】

次に、図６を参照して、梱包済みコイルの梱包型式を判定する情報処理装置１００の処理例について説明する。まず、学習済みモデルを生成する学習フェーズにおいては、ステップＳ６０１にて、画像取得部２０１は、学習データとしての複数のコイル画像６１１を取得する。ステップＳ６０１において取得された学習データとしてのコイル画像６１１は、ラベル付与部２０２により、各要素についてのラベルが付与されて教師データとして例えば記憶部２０５に記憶される。

【0033】

次に、ステップＳ６０２にて、モデル生成部２０３は、ステップＳ６０１において生成された教師データを用いて、結束数の分類に係る深層学習（ディープラーニング）を行い、結束数の判定に用いる学習済みモデル６１２を生成する。ステップＳ６０３にて、モデル生成部２０３は、ステップＳ６０１において生成された教師データを用いて、内リング部材の分類に係る深層学習を行い、内リング部材の判定に用いる学習済みモデル６１３を生成する。

【0034】

ステップＳ６０４にて、モデル生成部２０３は、ステップＳ６０１において生成された教師データを用いて、外リング部材の分類に係る深層学習を行い、外リング部材の判定に用いる学習済みモデル６１４を生成し、学習フェーズの処理を終了する。ステップＳ６０２～Ｓ６０４において生成された学習済みモデル６１２～６１４は、例えば記憶部２０５に記憶される。なお、学習フェーズにおけるステップＳ６０２、Ｓ６０３、及びＳ６０４の処理を実行する順序は、図６に示した例に限定されるものではなく、任意である。本実施形態では各要素について深層学習を行って学習済みモデルを生成するようにしているが、深層学習に限らず、その他の教師あり機械学習でも学習済みモデルを生成することが可能である。学習済みモデルを生成するための教師あり機械学習としては、例えばニューラルネットワーク、Ｋ近傍法、線形回帰などがある。

【0035】

また、判定対象のコイル画像から梱包型式を判定する判定フェーズでは、ステップＳ６５１にて、画像取得部２０１は、判定対象のコイル画像６６１を取得する。次に、ステップＳ６５２にて、判定部２０４は、判定対象のコイル画像６６１と結束数を判定するための学習済みモデル６１２とを用いて判定処理を行い、判定対象のコイル画像６６１での梱包済みコイルにおける結束数を判定する。ステップＳ６５３にて、判定部２０４は、判定対象のコイル画像６６１と内リング部材を判定するための学習済みモデル６１３とを用いて判定処理を行い、判定対象のコイル画像６６１での梱包済みコイルにおける内リング部材を判定する。

【0036】

ステップＳ６５４にて、判定部２０４は、判定対象のコイル画像６６１と外リング部材を判定するための学習済みモデル６１４とを用いて判定処理を行い、判定対象のコイル画像６６１での梱包済みコイルにおける外リング部材を判定する。なお、判定フェーズにおいても、ステップＳ６５２、Ｓ６５３、及びＳ６５４の処理を実行する順序は、図６に示した例に限定されるものではなく、任意である。

【0037】

次に、ステップＳ６５５にて、判定部２０４は、前述したステップＳ６５２～Ｓ６５４での判定処理により得られた判定結果に基づいて、判定対象のコイル画像に含まれる梱包済みコイルの梱包型式を判定する。判定部２０４は、前述した判定処理により得られた判定結果の組み合わせと、判定情報（判定テーブル）とを比較して、判定対象のコイル画像での梱包済みコイルの梱包型式を判定する。

【0038】

次に、ステップＳ６５６において、梱包済みコイルの梱包型式についての追加学習が必要であるか否かを判定する。追加学習が必要であると判定した場合には、ステップＳ６５７にて、判定対象のコイル画像を学習データとして追加する追加学習準備処理を行い、学習フェーズに戻る。追加学習が不要であると判定した場合には、判定フェーズの処理を終了する。

【0039】

本実施形態によれば、学習データとしての複数の画像のそれぞれに対して、画像に含まれる各要素についてのラベルを付与して教師データを作成することで、学習データからより多くの教師データを作成することができ、より多くの教師データを用いて学習済みモデルを生成することで画像認識の認識精度を高めることが可能となる。

【0040】

また、本実施形態では、判定するための要素を学習可能なレベルに分解して各要素についての学習済みモデルを生成し、それらを用いて画像認識を行う。このように判定するための要素を学習可能なレベルにまで分け、各要素の判定結果の組み合わせに基づいて判定することで、未学習や認識対象外の画像を正しく判定することが可能となる。

【0041】

なお、ラベル付与部２０２による学習データへのラベルの付与は、各要素に付与するラベルの情報の入力を要素毎に受け付けて付与するようにしてもよいし、図４に示したような情報を保持しておき、梱包型式の入力を受け付けて入力された梱包型式に対応する各要素のラベルを付与するようにしてもよい。また、コイル画像に人等が写り込んでいる場合には、そのコイル画像は無効データにして処理に用いないようにしてもよい。また、梱包型式を判定する際、同一の判定対象に対して複数の画像を用いて複数回の判定を行い、判定結果の梱包型式が一致している場合、もしくは一致度が所定の閾値を越えた場合に、判定結果が正しいものであると判定するようにしてもよい。

【0042】

ここで、判定部２０４による判定処理を、結束数、内リング部材、外リング部材の順で行った場合、図４に例示した判定情報に基づく梱包済みコイルの梱包型式の判定過程は、図７に示すようになる。図７においては、梱包型式が特定できる判定結果を実線で示し、梱包型式が特定できない判定結果を破線で示している。

【0043】

判定部２０４による判定処理を、結束数、内リング部材、外リング部材の順で行った場合、図７に７０１で示したように、結束数の判定結果が４であり、内リング部材の判定結果がＢであると、外リング部材の判定結果にかかわらず、梱包済みコイルの梱包型式は特定できずに未知の型式とされる。そこで、図７に示した例のように、判定処理の結果が梱包済みコイルの梱包型式が特定できない状態となった場合には、それ以降の判定処理を行わないようにして処理量を低減するようにしてもよい。

【0044】

この場合、情報処理装置１００は、例えば図８に示すように判定フェーズの処理を実行すればよい。図８は、本実施形態における情報処理装置１００の他の処理例を示すフローチャートである。なお、学習フェーズの処理は前述した実施形態と同様であるので、図８には判定フェーズでの処理のみを示している。

【0045】

図８に示すように、ステップＳ８０１にて、画像取得部２０１は、判定対象のコイル画像を取得する。次に、ステップＳ８０２にて、判定部２０４は、判定対象のコイル画像と結束数を判定するための学習済みモデルとを用いて判定処理を行い、判定対象のコイル画像での梱包済みコイルにおける結束数を判定する。次に、ステップＳ８０３にて、判定部２０４は、判定結果として得られた結束数となる型式の候補があるか否かを判定する。判定部２０４は、判定結果として得られた結束数となる型式の候補があると判定した場合にはステップＳ８０４へ進み、型式の候補がないと判定した場合には未知の型式と判定してステップＳ８０９へ進む。

【0046】

ステップＳ８０４にて、判定部２０４は、判定対象のコイル画像と内リング部材を判定するための学習済みモデルとを用いて判定処理を行い、判定対象のコイル画像での梱包済みコイルにおける内リング部材を判定する。次に、ステップＳ８０５にて、判定部２０４は、判定結果として得られた結束数及び内リング部材の組み合わせとなる型式の候補があるか否かを判定する。判定部２０４は、判定結果として得られた結束数及び内リング部材の組み合わせとなる型式の候補があると判定した場合にはステップＳ８０６へ進み、型式の候補がないと判定した場合には未知の型式と判定してステップＳ８０９へ進む。

【0047】

ステップＳ８０６にて、判定部２０４は、判定対象のコイル画像と外リング部材を判定するための学習済みモデルとを用いて判定処理を行い、判定対象のコイル画像での梱包済みコイルにおける外リング部材を判定する。次に、ステップＳ８０７にて、判定部２０４は、判定結果として得られた結束数、内リング部材、及び外リング部材の組み合わせとなる型式の候補があるか否かを判定する。判定部２０４は、判定結果として得られた結束数、内リング部材、及び外リング部材の組み合わせとなる型式の候補があると判定した場合にはステップＳ８０８へ進み、型式の候補がないと判定した場合には未知の型式と判定してステップＳ８０９へ進む。

【0048】

ステップＳ８０８にて、判定部２０４は、前述したステップＳ８０２、Ｓ８０４、Ｓ８０６での判定処理により得られた判定結果に基づいて、判定対象のコイル画像に含まれる梱包済みコイルの梱包型式を判定する。判定部２０４は、前述した判定処理により得られた判定結果の組み合わせと、判定情報（判定テーブル）とを比較して、判定対象のコイル画像での梱包済みコイルの梱包型式を判定する。

【0049】

ステップＳ８０９において、梱包済みコイルの梱包型式についての追加学習が必要であるか否かを判定する。追加学習が必要であると判定した場合には、ステップＳ８１０にて、追加学習に係る処理を行い、追加学習が不要であると判定した場合には、判定フェーズの処理を終了する。このように判定結果の組み合わせに該当する型式の候補がない場合には、以降の判定処理を行わないことで、処理量を低減することができる。

【0050】

なお、判定処理を、結束数、内リング部材、外リング部材の順で行う場合を説明したが、これは一例であり、判定処理の実行順序は、梱包済みコイルの判定情報に基づいて、処理量を低減できる適切な順序となるように設定すればよい。

【0051】

前述した実施形態に対して、対象の梱包済みコイルを物体検出して画像から検出部位を切り出す方法や、梱包の部材を物体検出した抽出する方法などを適用するようにしてもよい。これらの方法を組み合わせることで、画像認識の認識精度の向上を図ることが可能となる。

【0052】

また、対象の梱包済みコイルの大きさが判定結果に影響を及ぼさない画像の学習について、大小さまざまな画像を学習させることにより、大きさによる違いがないことや周囲に写っている他の装置等がノイズであることを認識させてもよい。この場合、大小さまざまなサイズの画像を用意する必要があるため、画像処理や物体検出等で画像に占める対象物の大きさが常に同じになるように切り出して学習し、同様の処理を施した画像に対して判定処理を行うようにすれば、大小さまざまな画像を用意して大きさによる違いがないことを認識させる必要がないため、より少ない教師データでも効果を得ることができる。

【0053】

また、情報処理装置１００での画像認識による判定結果とユーザ（人）による判定結果とを組み合わせて型式の判定を行う場合、情報処理装置１００において、入力されたユーザによる判定結果とは異なる判定結果となったときには判定結果が相違している旨をユーザに報知するようにしてもよい。

【0054】

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0055】

１００ 情報処理装置
１０１ ＣＰＵ
１０２ 主記憶装置
１０３ 補助記憶装置
１０４ 入力Ｉ／Ｆ
１０５ 出力Ｉ／Ｆ
１０６ ネットワークＩ／Ｆ
１０７ システムバス
２０１ 画像取得部
２０２ ラベル付与部
２０３ モデル生成部
２０４ 判定部
２０５ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】