特開 2022-128310 計数装置、学習モデル生成装置、検査装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022128310

(43)【公開日】2022-09-01

(54)【発明の名称】計数装置、学習モデル生成装置、検査装置及びプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20220825BHJP

   G01N 23/10 20180101ALI20220825BHJP

   G06M 7/00 20060101ALI20220825BHJP

   G06T 7/00 20170101ALI20220825BHJP

【ＦＩ】

G06T7/60 110

G01N23/10

G06M7/00 301B

G06T7/00 350B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021026765

(22)【出願日】2021-02-22

(71)【出願人】

【識別番号】598105802

【氏名又は名称】株式会社 システムスクエア

(74)【代理人】

【識別番号】100166545

【弁理士】

【氏名又は名称】折坂 茂樹

(72)【発明者】

【氏名】中川 幸寛

【テーマコード（参考）】

2G001

5L096

【Ｆターム（参考）】

2G001AA01

2G001BA11

2G001CA01

2G001DA08

2G001HA07

2G001HA13

2G001JA09

2G001KA20

2G001LA20

2G001PA11

5L096CA16

5L096CA18

5L096DA02

5L096FA52

5L096FA66

5L096FA69

5L096FA76

5L096KA04

5L096KA15

(57)【要約】

【課題】包装物のＸ線透過画像に基づく収容個物の計数を、収容された個物が複数重なった状態であっても正しく行うことを可能とする。
【解決手段】本発明の計数装置は、一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する位置関係画像生成手段と、位置関係画像に基づき、一群に含まれる個物の個数を計数する計数手段と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

一群をなす複数の個物の画像が入力され、前記画像を、予め備える学習モデルに入力して出力された、それぞれの前記個物の注目領域及びそれぞれの前記注目領域の位置関係が表現された位置関係画像を出力する位置関係画像生成手段と、
前記位置関係画像に基づき、前記一群に含まれる前記個物の個数を計数する計数手段と、
を備える計数装置。

【請求項2】

前記個物の前記注目領域は、前記個物の所定の注目点から所定の距離の範囲であり、前記位置関係画像において前記注目点からの距離に応じた視覚効果で表現され、
前記位置関係画像において、２以上の前記注目領域が重なり合っている部分は、それぞれの前記注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、
前記計数手段は、前記視覚効果を加味して前記個数を計数する
ことを特徴とする請求項１に記載の計数装置。

【請求項3】

学習データである、一群をなす複数の個物の画像と、正解ラベルである、それぞれの前記個物の注目領域及びそれぞれの前記注目領域の位置関係が表現された位置関係画像と、を含む学習データセットを用いて機械学習を実行することにより、位置関係画像が未知である、一群をなす複数の個物の画像が入力されることによって、当該一群をなす複数の個物の画像に対応する位置関係画像を出力する学習モデルを生成する学習モデル生成手段を備える学習モデル生成装置。

【請求項4】

前記個物の前記注目領域は、前記個物の所定の注目点から所定の距離の範囲であり、前記位置関係画像において前記注目点からの距離に応じた視覚効果で表現され、
前記位置関係画像において、２以上の前記注目領域が重なり合っている部分は、それぞれの前記注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現されている
ことを特徴とする請求項３に記載の学習モデル生成装置。

【請求項5】

一群をなす複数の個物を搬送する搬送部と、
搬送されている前記一群をなす複数の個物に電磁波を照射する電磁波照射部と、
前記一群をなす複数の個物を経た電磁波を検出する電磁波検出部と、
前記電磁波検出部における電磁波の検出データに基づき、前記一群をなす複数の個物の画像を構成する画像構成手段と、
前記一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの前記個物の注目領域及びそれぞれの前記注目領域の位置関係が表現された位置関係画像を出力する位置関係画像生成手段と、
前記位置関係画像に基づき、前記一群に含まれる前記個物の個数を計数する計数手段と、
を備える検査装置。

【請求項6】

前記個物の前記注目領域は、前記個物の所定の注目点から所定の距離の範囲であり、前記位置関係画像において前記注目点からの距離に応じた視覚効果で表現され、
前記位置関係画像において、２以上の前記注目領域が重なり合っている部分は、それぞれの前記注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、
前記計数手段は、前記視覚効果を加味して前記個数を計数する
ことを特徴とする請求項５に記載の検査装置。

【請求項7】

コンピュータを請求項１から６のいずれか１項に記載の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、包装物に収容された個物の個数を検査に用いる計数装置、学習モデル生成装置、検査装置及びプログラムに関する。

【背景技術】

【0002】

菓子等の個物が複数収容された包装物について、収容された個物の個数を、当該包装物を開封することなく検査する方法として、例えば、包装物のＸ線透過画像に基づき計数する方法（例えば、特許文献１）や、包装物の質量が所定の質量範囲内に入っていることを確認する方法などが挙げられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－０２４０３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

収容された個物の個数を、包装物のＸ線透過画像に基づき計数する従来の方法の場合、収容された個物が複数重なって収容されていると、正しく計数することができない。また、包装物の質量が所定の質量範囲内に入っていることを確認する方法の場合、個物の一個一個の質量は必ずしも一定ではないため、個数がより少ない又はより多い場合でも所定の質量範囲内に入ってしまう可能性がある。

【0005】

本発明は上記の課題に鑑みてなされたものであり、包装物のＸ線透過画像に基づく収容個物の計数を、収容された個物が複数重なった状態であっても正しく行うことを可能とする計数装置、学習モデル生成装置、検査装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の計数装置は、一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する注目領域抽出手段と、位置関係画像に基づき、一群に含まれる個物の個数を計数する計数手段と、を備える。

【0007】

本発明の計数装置においては、個物の注目領域は、当該個物の所定の注目点から所定の距離の範囲であり、位置関係画像において注目点からの距離に応じた視覚効果で表現され、位置関係画像において、２以上の注目領域が重なり合っている部分は、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、計数手段は、当該視覚効果を加味して個数を計数してもよい。

【0008】

本発明の学習モデル生成装置は、学習データである、一群をなす複数の個物の画像と、正解ラベルである、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像と、からなるデータセットを用いて機械学習を実行することにより、位置関係画像が未知である、一群をなす複数の個物の画像が入力されることによって、当該一群をなす複数の個物の画像に対応する位置関係画像を出力する学習モデルを生成する学習モデル生成手段を備える。

【0009】

本発明の学習モデル生成装置においては、個物の注目領域は、当該個物の所定の注目点から所定の距離の範囲であり、位置関係画像において注目点からの距離に応じた視覚効果で表現され、位置関係画像において、２以上の注目領域が重なり合っている部分は、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、計数手段は、当該視覚効果を加味して個数を計数してもよい。

【0010】

本発明の検査装置は、一群をなす複数の個物を搬送する搬送部と、搬送されている一群をなす複数の個物に電磁波を照射する電磁波照射部と、一群をなす複数の個物を経た電磁波を検出する電磁波検出部と、電磁波検出部における電磁波の検出データに基づき、一群をなす複数の個物の画像を構成する画像構成手段と、一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する位置関係画像生成手段と、位置関係画像に基づき、一群に含まれる個物の個数を計数する計数手段と、を備える。

【0011】

本発明の検査装置においては、個物の注目領域は、当該個物の所定の注目点から所定の距離の範囲であり、位置関係画像において注目点からの距離に応じた視覚効果で表現され、位置関係画像において、２以上の注目領域が重なり合っている部分は、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、計数手段は、当該視覚効果を加味して個数を計数してもよい。

【0012】

本発明の計数装置、学習モデル生成装置及び検査装置は、各手段の機能が記述されたプログラムをコンピュータに実行させることにより実現してもよい。

【発明の効果】

【0013】

本発明の計数装置、学習モデル生成装置、検査装置及びプログラムによれば、包装物のＸ線透過画像に基づく収容個物の計数を、収容された個物が複数重なった状態であっても正しく行うことが可能となる。

【図面の簡単な説明】

【0014】

【図1】計数装置１０及び学習モデル生成装置２０の機能ブロック図である。

【図2】計数対象である一群をなす複数の個物の画像の一例を示す図である。

【図3】学習データである一群をなす複数の個物の画像の一例を示す図である。

【図4】個物Ｐ上に注目領域Ｒを描画する処理の一例を説明する図である。

【図5】個物Ｐ１～Ｐ１３上に注目領域Ｒ１～Ｒ１３を描画した例を示す図である。

【図6】学習データに付す正解ラベルである位置関係画像の一例を示す図である。

【図7】計数対象の画像を学習モデルに入力して出力された位置関係画像の一例を示す図である。

【図8】検査装置１００の機能ブロック図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

【0016】

図１は、包装物に収容された個物の個数を、包装物の画像に基づき計数する計数装置１０及び学習モデル生成装置２０の機能ブロック図である。

【0017】

計数装置１０は、位置関係画像生成手段１２と計数手段１４を備え、学習モデル生成装置２０は、学習モデル生成手段２２を備える。

【0018】

位置関係画像生成手段１２は、一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する。図２は、包装物Ａに収容されて一群をなす１２個の個物Ｐ１０１～Ｐ１１２の画像の一例を示す図である。

【0019】

学習モデルは、学習モデル生成手段２２において予め生成されたものを用いる。

【0020】

学習モデル生成手段２２は、学習データとして、一群をなす複数の個物の画像と、正解ラベルである、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像と、からなるデータセットを用いて機械学習を実行することで、位置関係画像が未知である、一群をなす複数の個物の画像の入力によって、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する学習モデルを生成する。

【0021】

一群をなす複数の個物の画像は、どのように生成されたものでもよく、例えば、包装物ＡにＸ線、赤外光、可視光など任意の電磁波を照射し、透過し又は反射された成分を受光して、画素ごとの受光強度の強弱の集合として生成されたものを用いる。また、一群をなす複数の個物の画像は、各個物の注目点を決定可能な程度に各個物の輪郭を確認できれば、部分的に不明瞭であっても構わない。

【0022】

注目領域とは、一群をなす複数の個物の画像に含まれるそれぞれの個物の画像において、所定のルールに従い設定される注目点を基準に、所定のルールに従い設定される領域をいう。注目点の設定ルール及び注目点を基準とした注目領域の設定ルールは任意である。例えば、個物の形状が矩形の場合に、注目点を対角線の交点として設定し、注目点を中心として或る半径の円形範囲を注目領域と設定するなどの方法が挙げられる。

【0023】

図３に、学習データの一例として、一群をなす１３個の矩形の個物Ｐ１～Ｐ１３の画像を示す。オペレータは、当該画像に含まれる各個物上に注目点を設定し注目領域を描画する所定の操作を行う。

【0024】

図４は、個物Ｐ上に注目領域Ｒを描画する処理の一例を説明する図である。まず、個物Ｐにおける注目点Ｃを所定のルールに従い設定する。図４(a)に、矩形の対角線の交点を注目点Ｃとして設定する例を示す。続いて、注目点Ｃを含む注目領域Ｒを所定のルールに従い設定した上で、注目領域Ｒ内を、注目点Ｃからの距離に応じてカラーやグレースケールの濃度が変化するヒートマップなどの任意の視覚効果で描画する。図４(b)に、注目点Ｃを中心とした所定の半径の範囲である円形領域を注目領域Ｒと設定し、注目点Ｃを最高濃度として注目点Ｃから離れるほど薄くなるグレースケールで描画する例を示す。

【0025】

図５に、図３に示す画像に含まれる個物Ｐ１～Ｐ１３上に、注目領域Ｒ１～Ｒ１３をそれぞれ描画した例を示す。オペレータは、例えば、計数装置１０に備えられている又は接続された任意の表示手段に当該画像を表示させ、当該画像を参照しながら手入力で注目点の設定及び注目領域の描画を行ってもよいし、予め用意された、当該画像が入力されることにより、当該画像に含まれる各個物上に注目点及び注目領域を自動設定するツールを用いて行ってもよい。

【0026】

なお、各個物に注目領域を描画した際、複数の注目領域の一部又は全部が重なり合う場合には、それぞれの注目領域の重なり合っている部分の視覚効果は重畳される。例えば、注目領域をグレースケールで描画し、最高濃度を１、最低濃度を０の値で表現するとき、２つの個物の注目領域の一部又は全部が重なり合っている場合には、重なり合っている部分の濃度は、重なり方に応じて最高で２、最低で０の値をとる。

【0027】

続いて、図５の画像から注目領域Ｒ１～Ｒ１３を位置関係画像として抽出する。抽出した位置関係画像を図６に示す。当該位置関係画像には、個物Ｐ１～Ｐ１３のそれぞれの注目領域Ｒ１～Ｒ１３、及び個物Ｐ１～Ｐ１３の位置関係に基づく注目領域Ｒ１～Ｒ１３のそれぞれの位置関係が表現されているとともに、注目領域が複数重なっている部分については、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現されている。

【0028】

そして、図３に示す一群をなす複数の個物の画像を学習データとし、図６に示す位置関係画像を正解ラベルとして、これらをデータセットとする。

【0029】

このようなデータセットを、個物の個数や位置関係が異なる多数用意し、学習モデル生成手段２２は、これらのデータセットを用いて機械学習を繰り返し実行することで、位置関係画像が未知である、一群をなす複数の個物の画像が入力されることによって、当該一群をなす複数の個物の画像に対応する位置関係画像を出力する学習モデルを生成する。機械学習は、人が特徴量を定義する一般的な機械学習であってもよいし、マシンが特徴量を定義するディープラーニングであってもよい。

【0030】

位置関係画像生成手段１２は、このように用意された学習モデルを用い、例えば図２に示す、位置関係画像が未知である、一群をなす１２個の個物Ｐ１０１～Ｐ１１２の画像が入力されると、図７に示す注目領域Ｒ１０１～Ｒ１１２の位置関係画像を出力する。

【0031】

計数手段１４は、位置関係画像生成手段１２が出力した位置関係画像に基づき、包装物Ａに収容されて一群をなす複数の個物の個数を計数する。

【0032】

位置関係画像からの個数の計数は、任意の方法により行ってよい。例えば、画像解析により行ってもよいし、学習データである位置関係画像と、正解ラベルである当該位置関係画像に含まれる個物の個数と、からなるデータセットを複数学習して生成された学習モデルに、計数対象の位置関係画像を入力して、出力された個数を計数結果としてもよい。

【0033】

画像解析で行う場合、例えば、各個物の注目領域に、注目点が最高濃度１で、注目点から遠ざかるほど濃度が０に近づくように濃淡がつけられているとき、注目領域が複数重なっている部分については、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果に基づき、重なっている数量を判定することが可能である。

【0034】

具体的には例えば、個物が複数あれば、位置関係画像には１以上の濃淡が存在することになるため、濃度がピークになっている部分及び濃度の値を検出し、それぞれのピーク部分の濃度の値が所定の値（例えば１）又は値の範囲内（例えば０．８以上～１．８未満）であれば１個、別の所定の値（例えば２）又は値の範囲内（例えば１．８以上）であれば２個というようにカウントして、合計個数を計数してもよい。

【0035】

また、個数のカウントを閾値のみに基づき行うのではなく、更に他の条件を加味してカウントしてもよい。例えば、あるピーク部分の濃度の値が１．８１だったとき、隣接するピーク部分間の距離を閾値と比較し、隣接するピーク部分までの距離が閾値以上であればそのまま２個とカウントし、閾値未満であれば隣接するピーク部分周辺の濃度の影響を受けて高濃度になっているとして１個とカウントしてもよい。また、ピーク部分周辺の画素の濃度の合計値を算出し、閾値未満であればそのまま２個とカウントし、閾値以上であれば隣接するピーク部分周辺の濃度の影響を受けて高濃度になっているとして１個とカウントしてもよい。また、ピーク部分周辺の一定濃度以上の画素の面積を特定し、閾値以上であればそのまま２個とカウントし、閾値未満であれば隣接するピーク部分との高濃度領域の重なりが大きいとして１個とカウントしてもよい。

【0036】

なお、上記の例では、個物の重なりが２個までの場合の閾値を例示したが、３個以上の場合には同様な考え方で閾値を設定すればよい。

【0037】

以上説明した本発明の計数装置及び学習モデル生成装置によれば、包装物のＸ線透過画像に基づく収容個物の計数を、収容された個物が複数重なった状態であっても正しく行うことが可能となる。

【0038】

また、一群をなす複数の個物の画像を学習モデルに入力して位置関係画像を抽出し、当該位置関係画像に基づき計数するという段階を踏むことで、計数値に誤りがあった場合に、いずれの段階に不都合があったかの切り分けを容易に行うことが可能となる。

【0039】

本発明の計数装置と、計数装置に入力する一群をなす複数の個物の画像を生成する各手段と、を組み合わせた検査装置を構成してもよい。

【0040】

図８にこのような検査装置１００の機能ブロック図を示す。検査装置１００は、搬送部１１０、電磁波照射部１２０、電磁波検出部１３０、画像構成手段１４０、及び計数装置１０を備える。

【0041】

搬送部１１０は、１または複数の各種コンベアで構成され、載置された一群をなす複数の個物Ｗｓを平面的に一定の方向に搬送（図において３次元座標系のＸＹ平面がＹ軸方向に移動）して所定の検査領域を通過させる。

【0042】

電磁波照射部１２０は、Ｘ線、紫外線、可視光、赤外線等の電磁波を、検査領域に向けて（図においてＺ軸方向に）照射する。

【0043】

電磁波検出部１３０は、搬送部１１０を挟んで電磁波照射部１２０と対向する位置に配置される。電磁波検出部１３０は、電磁波照射部１２０が照射した電磁波を検出可能な、搬送部１１０による搬送方向に直交する方向（図におけるＸ軸方向）に配列された複数の検出素子からなるラインセンサを少なくとも１列備え、検査領域を通過中の、一群をなす複数の個物Ｗｓを透過して電磁波検出部１３０に到達した電磁波の強度の分布を検出する。

【0044】

なお、電磁波照射部１２０が、検査領域を通過中の、一群をなす複数の個物Ｗｓに斜めに電磁波を照射し、反射した電磁波を検出可能な位置に電磁波検出部１３０を配置して、当該電磁波検出部１３０に到達した電磁波の強度の分布を検出してもよい。

【0045】

電磁波照射部１２０と電磁波検出部１３０の間の検査領域に一群をなす複数の個物Ｗｓが存在すると、電磁波照射部１２０から照射された電磁波は、一群をなす複数の個物Ｗｓの各位置における当該電磁波の透過率又は反射率に応じて減衰して電磁波検出部１３０に到達することになり、検査対象物の内部の状態が電磁波検出部１３０によって検出される電磁波の強度の分布として観測される。

【0046】

画像構成手段１４０は、電磁波検出部１３０で検出された一群をなす複数の個物Ｗｓを透過又は反射した電磁波の強度の分布を２次元の画像として構成する。

【0047】

計数装置１０は、位置関係画像生成手段１２と計数手段１４を備え、各手段の機能は、既述のとおりである。

【0048】

なお、検査装置１００は、図８に示す構成に加え、更に、画像構成手段１４０により構成された２次元画像を解析して異物検査等を行う機能を備えてもよい。

【0049】

本発明の計数装置、学習モデル生成装置及び検査装置は、各手段の機能が記述されたプログラムをコンピュータに実行させることにより実現してもよい。すなわち、コンピュータにおいて、任意の記憶手段に記憶させたプログラムをＣＰＵが読み出して実行することにより各手段の機能を実現してもよい。

【0050】

なお、本発明は上記各実施形態に限定されるものではない。各実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。すなわち、本発明において表現されている技術的思想の範囲内で適宜変更が可能であり、その様な変更や改良を加えた形態も本発明の技術的範囲に含む。

【符号の説明】

【0051】

１０ 計数装置
１２ 位置関係画像生成手段
１４ 計数手段
２０ 学習モデル生成装置
２２ 学習モデル生成手段
Ａ 包装物
Ｃ 注目点
Ｐ、Ｐ１～Ｐ１３、Ｐ１０１～Ｐ１１２ 個物
Ｒ、Ｒ１～Ｒ１３、Ｒ１０１～Ｒ１１２ 注目領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】