(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】検出装置及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240409BHJP
G06T 7/11 20170101ALI20240409BHJP
G06T 7/90 20170101ALI20240409BHJP
【FI】
G06T7/00 350C
G06T7/11
G06T7/90 C
(21)【出願番号】P 2020057704
(22)【出願日】2020-03-27
【審査請求日】2022-11-04
(73)【特許権者】
【識別番号】000102717
【氏名又は名称】NTTテクノクロス株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】今村 龍太
(72)【発明者】
【氏名】大庭 宏明
(72)【発明者】
【氏名】溝根 千紘
(72)【発明者】
【氏名】森川 高志
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開2007-287093(JP,A)
【文献】特開2007-156655(JP,A)
【文献】特開2019-008519(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G06V 10/00 - 20/90
(57)【特許請求の範囲】
【請求項1】
1以上の検出対象の物体を撮影した撮影画像から地色と異なる色を抽出することで色差分画像を作成する第1の作成手段と、
学習済みの第1のモデルを用いて、前記撮影画像中に含まれる物体を検出し、検出した物体の種類を判定する第1の判定手段と、
前記撮影画像中
に含まれる物体を
検出し
た結果と、前記色差分画像とを用いて、前
記結果で検出されなかった未検出物体を特定する特定手段と、
学習済みの第2のモデルを用いて、前記未検出物体の種類を判定する第2の判定手段と、
前記未検出物体が特定されなかった場合は前記第1の判定手段による判定結果から前記検出対象の物体の種類毎の物体数を算出し、前記未検出物体が特定された場合は前記第1の判定手段による判定結果と前記第2の判定手段による判定結果とから前記検出対象の物体の種類毎の物体数を算出する算出手段と、
を有することを特徴とする検出装置。
【請求項2】
前記第1の判定手段は、
検出した物体を、第1の種類を示すクラス又は第2の種類を示すクラスのいずれかに分類することで、前記物体の種類を判定する、ことを特徴とする請求項
1に記載の検出装置。
【請求項3】
前記第2の判定手段は、
前記未検出物体画像中に含まれる物体を、第1の種類を示すクラス、第2の種類を示すクラス又は前記検出対象以外を示すクラスのいずれかに分類することで、前記物体が検出対象であるか否かと前記物体が検出対象である場合における種類とを判定する、ことを特徴とする請求項
1又は2に記載の検出装置。
【請求項4】
前記撮影画像から学習用画像を作成する第
2の作成手段と、
前記学習用画像を用いて、前記第1の
モデルのモデルパラメータと前記第2の
モデルのモデルパラメータとを学習する学習手段と、を有し、
前記第
2の作成手段は、
所定の評価基準に基づいて、前記撮影画像に対して第1の種類を示すラベル又は第2の種類を示すラベルのいずれかを付与する、又は、前記撮影画像中に含まれる物体の画像領域を指定し、該画像領域に対して第一の種類を示すラベル又は第二の種類を示すラベルを付与するアノテーションを行うことで、前記学習用画像を作成する、ことを特徴とする請求項
1乃至3の何れか一項に記載の検出装置。
【請求項5】
前記第1のモデル及び前記第2のモデルは、ニューラルネットワークである、請求項4に記載の検出装置。
【請求項6】
コンピュータを、請求項1乃至
5の何れか一項に記載の検出装置における各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出装置及びプログラムに関する。
【背景技術】
【0002】
画像処理技術や機械学習技術を用いて、製品の検品や不良品の選別、物品数の計測等が従来から行われている(例えば、非特許文献1~3)。
【先行技術文献】
【非特許文献】
【0003】
【文献】"画像判定トータルソリューション|日立ソリューションズ『画像判定トータルソリューション』のシステム、サービス概要・価格や、解決出来る課題をご紹介",インターネット<URL:https://www.hitachi-solutions.co.jp/mfigazouhantei/>
【文献】"ブレインパッド、キユーピーの食品工場における不良品の検知をディープラーニングによる画像解析で支援 ブレインパッド",インターネット<URL:http://www.brainpad.co.jp/news/2016/10/25/3816>
【文献】"微小・軽量部品 数量カウント補助システム めばかり君|inrevium|東京エレクトロンデバイス株式会社",インターネット<URL:https://www.inrevium.com/product/mebakarikun/>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来では、例えば、検出対象の個体差等により画像から物品を検出できない場合があった。
【0005】
本発明の一実施形態は、上記の点に鑑みてなされたもので、画像中の検出対象を検出する際の検出率を向上させることを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するため、一実施形態に係る検出装置は、1以上の検出対象の物体を撮影した撮影画像を入力する入力手段と、前記撮影画像から地色と異なる色を抽出することで色差分画像を作成する第1の作成手段と、任意の方法により、前記撮影画像中の物体を検知した判定結果と、前記色差分画像とを用いて、前記判定結果で検出されなかった未検出物体を特定する特定手段と、前記未検出物体を含む所定の大きさの画像領域を前記撮影画像から切り出した未検出物体画像を作成する第2の作成手段と、を有することを特徴とする。
【発明の効果】
【0007】
画像中の検出対象を検出する際の検出率を向上させることができる。
【図面の簡単な説明】
【0008】
【
図1】推論時における物品判定装置の全体構成の一例を示す図である。
【
図2】本実施形態に係る物品判定処理の一例を示すフローチャートである。
【
図4】物体検出及びクラス分類結果の画像の一例を示す図である。
【
図5】色差分を抽出した画像の一例を示す図である。
【
図6】未検出物体を含む領域を切り出した画像の一例を示す図である。
【
図7】学習時における物品判定装置の全体構成の一例を示す図である。
【
図8】第1のモデルパラメータを学習するための学習用画像の作成を説明する図である。
【
図9】第2のモデルパラメータを学習するための学習用画像の作成を説明する図である。
【
図10】本実施形態に係る学習処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について説明する。本実施形態では、1以上の物品を撮影した画像からその物品の種類(例えば、物品名)を判定し、物品の種類毎の物品数を算出する物品判定装置10について説明する。本実施形態に係る物品判定装置10を用いることで、例えば、製品の検品や不良品の選別、物品数の計測等の際に、作業者個人の経験やスキルに依らずに画一的に物品の種類(良品又は不良品等)を判定したりその種類毎の物品数を算出したりすることが可能になる。また、作業者が一つ一つの物品を目視確認する必要がなくなり効率的に物品の種類を判定したりその種類毎の物品数を算出したりすることが可能になる。
【0010】
以降では、一例として、判定対象の物品は「ネジ」であり、その種類には「プラスネジ」と「マイナスネジ」とがあるものとする。ただし、これは一例であって、本実施形態は、外観上視認可能な任意の対象(例えば、任意の物品や物体、動植物、食品、物品や物体上の傷又は形状的な欠陥等)を判定対象として、その対象の種類(例えば、物品の機能又は用途等によって分類される種類、物品が良品又は不良品のいずれであるかを示す種類、傷の種類等)を判定する場合にも同様に適用することが可能である。
【0011】
ここで、本実施形態に係る物品判定装置10は、ニューラルネットワークでそれぞれ実現される2つの分類モデル(第1の分類モデル及び第2の分類モデル)により、画像中の物品の種類を判定する。このため、本実施形態に係る物品判定装置10には、第1の分類モデル及び第2の分類モデルをそれぞれ実現するニューラルネットワークのパラメータを学習する「学習時」と、学習済みのパラメータを用いて第1の分類モデル及び第2の分類モデルにより物品の種類を判定(推論)する「推論時」とがある。そこで、本実施形態では、物品判定装置10の学習時と推論時についてそれぞれ説明する。なお、以降では、第1の分類モデルを実現するニューラルネットワークのパラメータを「第1のモデルパラメータ」、第2の分類モデルを実現するニューラルネットワークのパラメータを「第2のモデルパラメータ」と表す。
【0012】
[推論時]
まず、第1のモデルパラメータ及び第2のモデルパラメータはそれぞれ学習済みであるものとして、第1のモデルパラメータ及び第2のモデルパラメータを用いて画像中の物品の種類とその数とを判定する推論時について説明する。
【0013】
<推論時における物品判定装置10の全体構成>
推論時における物品判定装置10の全体構成について、
図1を参照しながら説明する。
図1は、推論時における物品判定装置10の全体構成の一例を示す図である。
【0014】
図1に示すように、推論時における物品判定装置10は、入力部101と、第1の判定部102と、色差分抽出部103と、未検出物体特定部104と、画像切出部105と、第2の判定部106と、算出部107とを有する。これら各部は、例えば、物品判定装置10にインストールされた1以上のプログラムが、CPU(Central Processing Unit)等のプロセッサに実行させる処理により実現される。
【0015】
入力部101は、判定対象となる1以上の物品を撮影した画像(以下、「判定対象画像」という。)を入力する。
【0016】
第1の判定部102は判定対象画像に対して物体検出と当該物体のクラス分類とを行う第1の分類モデルであり、第1のモデルパラメータを用いて、判定対象画像中に含まれる物品の検出と当該物品(ネジ)が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかのクラス分類とを行う。これにより、判定対象画像に対して物体検出及びクラス分類を行った結果を示す画像(以下、「第1の分類結果画像」という。)が得られる。
【0017】
なお、第1のモデルパラメータは、後述するように、1以上の物品(ネジ)が含まれる画像に対して、画像領域指定を行い、それらの物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかを示すアノテーションを行った学習用画像を第1の分類モデルに入力し、各物品のクラス分類結果とアノテーションの結果との誤差を最小化するように学習されたものである。
【0018】
色差分抽出部103は、判定対象画像から地色(背景)と異なる色の部分を抽出した画像(以下、「色差分画像」という。)を作成する。
【0019】
未検出物体特定部104は、第1の分類結果画像と色差分画像とを用いて、判定対象画像中の物体のうち、第1の判定部102で検出されなかった物体(つまり、未検出物体)を特定する。
【0020】
画像切出部105は、判定対象画像中の未検出物体を含む部分領域を切り出した画像(以下、「未検出物体画像」という。)を作成する。
【0021】
第2の判定部106は未検出物体画像のクラス分類を行う第2の分類モデルであり、第2のモデルパラメータを用いて、未検出物体画像が「プラスネジ」、「マイナスネジ」又は「ネジ以外」のいずれのクラスに属するかのクラス分類を行う。これにより、未検出物体画像に対してクラス分類を行った結果を示す画像(以下、「第2の分類結果画像」という。)が得られる。
【0022】
ここで、第2の分類モデルには、未検出物体画像が「プラスネジ」又は「プラスネジ以外」のいずれのクラスに属するかのクラス分類を行う第3の分類モデルと、未検出物体画像が「マイナスネジ」又は「マイナスネジ以外」のいずれのクラスに属するかのクラス分類を行う第4の分類モデルとが含まれる。第2の判定部106は、第3の分類モデルにより未検出物体画像に対してクラス分類を行って「プラスネジ」又は「プラスネジ以外」のいずれであるかを判定し、「プラスネジ以外」であると判定された場合は第4の分類モデルにより未検出物体画像に対してクラス分類を行って「マイナスネジ」又は「マイナスネジ以外」のいずれであるかを判定し、「マイナスネジ以外」であると判定された場合は「ネジ以外」と判定する。これにより、未検出物体画像に含まれる物体が「プラスネジ」、「マイナスネジ」又は「ネジ以外」のいずれかに分類される。
【0023】
また、このとき、第2のモデルパラメータには、第3の分類モデルを実現するニューラルネットワークのパラメータである第3のモデルパラメータと、第4の分類モデルを実現するニューラルネットワークのパラメータである第4のパラメータとが含まれる。
【0024】
なお、第3のモデルパラメータは、後述するように、1つの物品(ネジ)が含まれる画像に対してその物品(ネジ)が「プラスネジ」又は「プラスネジ以外」のいずれのクラスに属するか示すラベルを付与した学習用画像を第3の分類モデルに入力し、当該物品のクラス分類結果とラベルとの誤差を最小化するように学習されたものである。同様に、第4のモデルパラメータは、後述するように、1つの物品(ネジ)が含まれる画像に対してその物品が「マイナスネジ」又は「マイナスネジ以外」のいずれのクラスに属するか示すラベルを付与した学習用画像を第4の分類モデルに入力し、当該物品のクラス分類結果とラベルとの誤差を最小化するように学習されたものである。
【0025】
算出部107は、未検出物体特定部104により未検出物体が特定されなかった場合は第1の分類結果画像から種類毎の物品数を算出し、未検出物体特定部104により未検出物体が特定された場合は第1の分類結果画像と第2の分類結果画像から種類毎の物品数を算出する。
【0026】
<物品判定処理>
次に、本実施形態に係る物品判定装置10により判定対象画像中の物品の種類を判定し、その種類毎の物品数を算出する処理について、
図2を参照しながら説明する。
図2は、本実施形態に係る物品判定処理の一例を示すフローチャートである。
【0027】
入力部101は、判定対象画像を入力する(ステップS101)。ここで、判定対象画像は少なくとも1以上の物品が含まれる画像であり、例えば、物品の製造工程や検品工程等を撮影することで生成された画像である。判定対象画像の一例を
図3に示す。
図3に示す判定対象画像1000には物品(ネジ)S1~S8が含まれる。なお、物品は一部が重なっていてもよいし、物品以外の物体(例えば、他の物品、塵や埃、異物等)が含まれていてもよい。
図3に示す例では、物品S6と物品S7とが一部重なっている。また、
図3に示す例では判定対象の物品(ネジ)以外の物品としてナットNが含まれている。
【0028】
次に、第1の判定部102は、第1のモデルパラメータを用いて、判定対象画像に対して物体検出と当該物体のクラス分類とを行って、判定対象画像中の物品(ネジ)を検出した上で、検出した物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかを分類する(ステップS102)。これにより、判定対象画像に対して物体検出及びクラス分類を行った結果を示す第1の分類結果画像が得られる。ここで、
図3に示す判定対象画像1000に対して物体検出及びクラス分類を行った結果を示す第1の分類結果画像の一例を
図4に示す。
図4に示す第1の分類結果画像2000では、物品S1~S2及びS4~S7の画像領域はプラスネジと分類された画像領域であり、物品S8の画像領域はマイナスネジと分類された画像領域である。これにより、物品S1~S2及びS4~S7はプラスネジ、物品S8はマイナスネジと判定される。
【0029】
一方で、
図4に示す第1の分類結果画像2000では、物品S3及びナットNは第1の判定部102では物体検出及びクラス分類されていない。このように、判定対象の物品(ネジ)であっても、何等かの原因(例えば、光の当たり方や物品の向き、物品の個体差、学習用画像の不足等)によっては第1の分類モデルで検出できないことがある。また、第1の分類モデルでは判定対象の物品(ネジ)以外の物体(例えば、他の物品、塵や埃、異物等)を検出する可能性は極めて低い。
【0030】
次に、色差分抽出部103は、判定対象画像から地色(背景)と異なる色の抽出した色差分画像を作成する(ステップS103)。ここで、
図3に示す判定対象画像1000から地色と異なる色を抽出した色差分画像の一例を
図5に示す。
図5に示す色差分画像3000では、判定対象画像1000中の全ての物体(つまり、物品(ネジ)S1~S8、ナットN)の画像領域が色差分領域として抽出される。
【0031】
次に、未検出物体特定部104は、第1の分類結果画像と色差分画像とを用いて、判定対象画像中の物体のうち、第1の判定部102で検出されなかった物体(つまり、未検出物体)を特定する(ステップS104)。未検出物体特定部104は、第1の分類結果画像と色差分画像とを重畳させた場合に、プラスネジの画像領域及びマイナスネジの画像領域と全く重ならない色差分領域を未検出物体の画像領域とすることで、未検出物体を特定する。より具体的には、未検出物体特定部104は、第1の分類結果画像におけるプラスネジ又はマイナスネジの各画像領域中の各画素の位置座標と、色差分画像における各色差分領域中の各画素の位置座標とを比較し、プラスネジ又はマイナスネジの画像領域に全く重ならない色差分領域を未検出物体の画像領域とすることで、未検出物体を特定する。
【0032】
例えば、
図4に示す第1の分類結果画像2000と
図5に示す色差分画像3000とを重畳させた場合、物品(ネジ)S3の色差分領域とナットNの色差分領域は共にプラスネジの画像領域及びマイナスネジの画像領域と全く重ならない。このため、この場合、物品S3とナットNとが未検出物体として特定される。
【0033】
上記のステップS104で未検出物体が特定されなかった場合(ステップS105でNO)、算出部107は、第1の分類結果画像から物品の種類毎の物品数を算出する(ステップS106)。すなわち、算出部107は、第1の分類結果画像中でプラスネジと判定された物品数とマイナスネジと判定された物品数とをそれぞれ算出する。これにより、判定対象画像中の物品の種類毎の数が得られる。
【0034】
一方で、上記のステップS104で未検出物体が特定された場合(ステップS105でYES)、画像切出部105は、判定対象画像中の未検出物体を含む部分領域をそれぞれ切り出して、未検出物体画像を作成する(ステップS107)。画像切出部105は、例えば、判定対象画像中の未検出物体を含み、かつ、所定の大きさ(サイズ)の矩形の画像領域をそれぞれ切り出することで、1以上の未検出物体画像を作成すればよい。具体的には、例えば、判定対象画像1000中の未検出物体である物品(ネジ)S3及びナットNをそれぞれ含み、かつ、所定の大きさの矩形の画像領域を切り出すことで、
図6(a)に示す未検出物体画像4100と
図6(b)に示す未検出物体画像4200とが作成される。
図6(a)に示す未検出物体画像4100は物品S3を含む所定の大きさの画像であり、
図6(b)に示す未検出物体画像4200はナットNを含む所定の大きさの画像である。
【0035】
次に、第2の判定部106は、第2のモデルパラメータを用いて、各未検出物体画像のクラス分類をそれぞれ行って、これら各未検出物体画像のそれぞれが「プラスネジ」、「マイナスネジ」又は「ネジ以外」のいずれのクラスに属するかを分類する(ステップS108)。
【0036】
具体的には、第2の判定部106は、まず、第3のモデルパラメータを用いて、未検出物体画像に対してクラス分類を行って、当該未検出物体画像が「プラスネジ」又は「プラスネジ以外」のいずれのクラスに属するかを分類する。「プラスネジ以外」と分類された場合は、第2の判定部106は、第4のモデルパラメータを用いて、当該未検出物体画像に対してクラス分類を行って、当該未検出物体画像が「マイナスネジ」又は「マイナスネジ以外」のいずれのクラスに属するかを分類する。「マイナスネジ以外」と分類された場合は、第2の判定部106は、当該未検出物体画像を「ネジ以外」のクラスに属すると分類する。これにより、未検出物体画像中の物体が「プラスネジ」、「マイナスネジ」又は「ネジ以外」のいずれかのクラスに分類される。具体的には、例えば、
図6(a)に示す未検出物体画像4100中の物体(ネジS3)は「プラスネジ」のクラスに分類され、
図6(a)に示す未検出物体画像4200中の物体(ナットN)は「ネジ以外」のクラスに分類される。
【0037】
なお、本実施形態では、一例として、「プラスネジ」及び「プラスネジ以外」の2クラス分類を行う第3の分類モデルと、「マイナスネジ」及び「マイナスネジ以外」の2クラス分類を行う第4の分類モデルとで第2の分類モデルが構成されている場合について説明したが、これに限られず、例えば、第2の分類モデルは「プラスネジ」、「マイナスネジ」及び「ネジ以外」の3クラス分類を行うモデルであってもよい。
【0038】
そして、算出部107は、第1の分類結果画像と第2の分類結果画像から物品の種類毎の物品数を算出する(ステップS109)。すなわち、算出部107は、第1の分類結果画像中でプラスネジと判定された物品数をa1、第1の分類結果画像中でマイナスネジと判定された物品数b1、画像中の物体がプラスネジと判定された第2の分類結果画像数をa2、画像中の物体がマイナスネジと判定された第2の分類結果画像数b2として、プラスネジの物体数をa1+a2で算出し、マイナスネジの物体数をb1+b2で算出する。これにより、判定対象画像中の物品の種類毎の数が得られる。
【0039】
以上のように、本実施形態に係る物品判定装置10は、1以上の物品を撮影した判定対象画像(例えば、物品の製造工程や検品工程等を撮影した画像)を入力として、これらの物品の種類(例えば、プラスネジ又はマイナスネジ)を判定し、その種類毎の物品数を算出することができる。しかも、本実施形態に係る物品判定装置10は、判定対象画像から色差分画像を作成して未検出物体を特定することで、第1の判定部102(第1の分類モデル)で検出されなかった物体のみを第2の判定部106(第2の分類モデル)で判定することが可能となる。これにより、物品の種類及びその種類毎の物体数を効率的かつ高い精度で判定することが可能になる(したがって、判定対象画像中の物品を検出する際の検出率を向上させることが可能になる。)。
【0040】
また、本実施形態に係る物品判定装置10は、ニューラルネットワークで実現される第1の分類モデル及び第2の分類モデルにより物品の種類を判定するため、例えば、画像中の物品同士の一部が重なっていたとしても高い精度でその種類で判定することが可能になると共に、1以上の物品を撮影する際の撮影環境に依存せずに高い精度で物品の種類を判定することが可能になる。このように、本実施形態に係る物品判定装置10は、ニューラルネットワークで実現される第1の分類モデル及び第2の分類モデルを用いることで、例えば、物品同士の重なりや撮影環境の変化等に対して高いロバスト性を獲得することができる。
【0041】
[学習時]
次に、第1のモデルパラメータ及び第2のモデルパラメータはそれぞれ学習済みでないものとして、これらの第1のモデルパラメータ及び第2のモデルパラメータを学習する学習時について説明する。
【0042】
<学習時における物品判定装置10の全体構成>
学習時における物品判定装置10の全体構成について、
図7を参照しながら説明する。
図7は、学習時における物品判定装置10の全体構成の一例を示す図である。
【0043】
図7に示すように、学習時における物品判定装置10は、入力部101と、第1の判定部102と、第2の判定部106と、学習用画像作成部108と、学習部109とを有する。これら各部は、例えば、物品判定装置10にインストールされた1以上のプログラムが、CPUやGPU(Graphics Processing Unit)等のプロセッサに実行させる処理により実現される。
【0044】
学習用画像作成部108は、種類が既知の1以上の物品を撮影した画像(以下、「撮影画像」という。)から学習用画像を作成する。
【0045】
ここで、第1のモデルパラメータを学習する際は、1以上の物品(ネジ)を撮影した撮影画像を用いて、この撮影画像に対して、画像領域指定を行い、これらの物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかを示すアノテーションを行った第1の学習用画像を作成する。具体的には、例えば、
図8に示すように、物品(ネジ)S11~S19を撮影した撮影画像5000を用いて、これらの物品S11~S19の画像領域に対してプラスネジ又はマイナスネジを示すアノテーションを行うことで第1の学習用画像6000を作成する。
図8に示す例では、物品S11、S13~S15及びS17~S18の画像領域にはプラスネジを示すアノテーションが行われ、物品S12、S16及びS19の画像領域にはマイナスネジを示すアノテーションが行われている。
【0046】
また、第3のモデルパラメータを学習する際は、プラスネジである物品を撮影した撮影画像を用いて、この撮影画像に対して当該物品が「プラスネジ」に属することを示すラベルを付与した第2の学習用画像を作成する。同様に、第4のモデルパラメータを学習する際は、マイナスネジである物品を撮影した撮影画像を用いて、この撮影画像に対して当該物品が「マイナスネジ」に属することを示すラベルを付与した第3の学習用画像を作成する。具体的には、
図9に示すように、プラスネジである物品S21を撮影した撮影画像6100を用いて、この撮影画像6100に対してプラスネジを示すラベルを付与することで第2の学習用画像7100を作成する。同様に、マイナスネジである物品S22を撮影した撮影画像6200を用いて、この撮影画像6200に対してマイナスネジを示すラベルを付与することで第3の学習用画像7200を作成する。
【0047】
なお、アノテーションには、画像領域を指定する処理と、ラベルを付与する処理とを含むが、画像領域を指定する作業は画素単位に手作業で行ってもよいし、プラスネジ又はマイナスネジのいずれかのラベル付与を手作業で行ってもよい。この際、例えば、プラスネジ又はマイナスネジのいずれのラベルを付与するかを複数の評価者が判断してもよい。これにより、物品(ネジ)の種類がプラスネジ又はマイナスネジのいずれであるかを判断する際のばらつきを抑制することができる。また、所定の評価基準に基づいて学習用画像作成部108が自動的にアノテーションを行ってもよい。
【0048】
撮影画像に対してラベルを付与する際も同様であり、手作業でラベルを付与してもよいし、所定の評価基準に基づいて学習用画像作成部108が自動的にラベルを付与してもよい。また、ラベルを手作業で付与する際には、同様に、いずれのラベルを付与するかを複数の評価者が判断してもよい。
【0049】
入力部101は、学習用画像作成部108により作成された学習用画像(第1の学習用画像、第2の学習用画像又は第3の学習用画像)を入力する。
【0050】
第1の判定部102は、第1のモデルパラメータを用いて、第1の学習用画像中に含まれる物品(ネジ)の検出と当該物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかのクラス分類とを行う。
【0051】
第2の判定部106は、第2のモデルパラメータを用いて、第2の学習用画像又は第3の学習用画像が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかのクラス分類を行う。
【0052】
学習部109は、第1の判定部102による検出結果及び判定結果と第1の学習用画像に対して行われたアノテーションの結果との誤差を用いて、この誤差が最小となるように第1のモデルパラメータを更新する。同様に、学習部109は、第2の判定部106による判定結果と第2の学習用画像又は第3の学習用画像に対して付与されたラベルとの誤差を用いて、この誤差が最小となるように第2のモデルパラメータに含まれる第3のモデルパラメータ又は第4のモデルパラメータを更新する。
【0053】
<学習処理>
次に、本実施形態に係る物品判定装置10により第1のモデルパラメータ又は第2のモデルパラメータに含まれる第3のモデルパラメータ若しくは第4のモデルパラメータを学習する処理について、
図10を参照しながら説明する。
図10は、本実施形態に係る学習処理の一例を示すフローチャートである。
【0054】
まず、入力部101は、学習用画像作成部108により作成された学習用画像(第1の学習用画像、第2の学習用画像又は第3の学習用画像)を入力する(ステップS201)。
【0055】
次に、第1の判定部102又は第2の判定部106は、学習用画像に対してクラス分類を行う(ステップS202)。すなわち、上記のステップS201で第1の学習用画像が入力された場合、第1の判定部102は、第1のモデルパラメータを用いて、第1の分類モデルにより第1の学習用画像中に含まれる物品(ネジ)の検出と当該物品が「プラスネジ」又は「マイナスネジ」のいずれのクラスに属するかのクラス分類とを行う。また、上記のステップS201で第2の学習用画像が入力された場合、第2の判定部106は、第3のモデルパラメータを用いて、第3の分類モデルにより第2の学習用画像が「プラスネジ」又は「プラスネジ以外」のいずれのクラスに属するかのクラス分類を行う。同様に、上記のステップS201で第3の学習用画像が入力された場合、第2の判定部106は、第4のモデルパラメータを用いて、第4の分類モデルにより第3の学習用画像が「マイナスネジ」又は「マイナスネジ以外」のいずれのクラスに属するかのクラス分類を行う。
【0056】
そして、学習部109は、第1の判定部102又は第2の判定部106による判定結果(クラス分類結果)と学習用画像に対して行われたアノテーションの結果又は学習用画像に付与されたラベルとの誤差を用いて、この誤差が最小となるように第1のモデルパラメータ又は第2のモデルパラメータを更新する(ステップS203)。すなわち、上記のステップS201で第1の学習用画像が入力された場合、学習部109は、第1の判定部102による各物品(ネジ)のクラス分類結果と当該物品の画像領域に対して行われたアノテーションの結果との誤差を算出し、算出した誤差が最小となるように第1のモデルパラメータを更新する。また、上記のステップS201で第2の学習用画像が入力された場合、学習部109は、第2の判定部106による第2の学習用画像のクラス分類結果と当該第2の学習用画像に付与されたラベルとの誤差を算出し、算出した誤差が最小となるように第3のモデルパラメータを更新する。同様に、上記のステップS201で第3の学習用画像が入力された場合、学習部109は、第2の判定部106による第3の学習用画像のクラス分類結果と当該第3の学習用画像に付与されたラベルとの誤差を算出し、算出した誤差が最小となるように第4のモデルパラメータを更新する。なお、第1のモデルパラメータと第2のモデルパラメータに含まれる第3のモデルパラメータ及び第4のモデルパラメータとの更新には既知の最適化手法を用いればよい。
【0057】
以上により、本実施形態に係る物品判定装置10は、第1のモデルパラメータと第2のモデルパラメータを学習することができる。なお、
図10に示す学習処理では、一例として、オンライン学習により第1のモデルパラメータと第2のモデルパラメータを学習する場合について説明したが、これに限られず、例えば、バッチ学習やミニバッチ学習等により第1のモデルパラメータと第2のモデルパラメータが学習されてもよい。
【0058】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
【符号の説明】
【0059】
10 物品判定装置
101 入力部
102 第1の判定部
103 色差分抽出部
104 未検出物体特定部
105 画像切出部
106 第2の判定部
107 算出部
108 学習用画像作成部
109 学習部