特開 2022-162751 異物検出方法及び異物検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022162751

(43)【公開日】2022-10-25

(54)【発明の名称】異物検出方法及び異物検出装置

(51)【国際特許分類】

   G01N 21/85 20060101AFI20221018BHJP

   G01V 8/10 20060101ALI20221018BHJP

   B07C 5/342 20060101ALI20221018BHJP

【ＦＩ】

G01N21/85 Z

G01V8/10 S

B07C5/342

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021067733

(22)【出願日】2021-04-13

(71)【出願人】

【識別番号】000227250

【氏名又は名称】日鉄鉱業株式会社

(71)【出願人】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100154612

【弁理士】

【氏名又は名称】今井 秀樹

(72)【発明者】

【氏名】上塘真一郎

(72)【発明者】

【氏名】渡丸智仁

【テーマコード（参考）】

2G051

2G105

3F079

【Ｆターム（参考）】

2G051AA01

2G051AB01

2G051AC04

2G051CA04

2G051DA06

2G051DA13

2G051EA14

2G051EC01

2G051ED11

2G105AA01

2G105BB17

2G105EE06

2G105FF04

2G105FF12

2G105GG03

2G105HH05

3F079AB01

3F079CB29

3F079CC07

3F079DA12

(57)【要約】

【課題】過大粒子などの異物の検出を高精度に実行できる装置を提供する。
【解決手段】搬送物１１を搬送する搬送手段１３と、搬送中の搬送物１１の画像を取得する画像取得手段１５と、画像取得手段１５に接続した電子計算機１７と、を有する異物検出装置１０において、電子計算機１７は、搬送物１１に異物が混入した画像が教師画像として記憶された記憶装置１８と、記憶装置１８における教師画像と画像取得手段１５で取得された対象画像とを比較し、対象画像に異物が混入しているかどうかを判断する人工知能部１９とを有することを特徴とする異物検出装置１０により解決される。
【選択図】図１

【特許請求の範囲】

【請求項1】

搬送物を搬送する搬送手段と、
搬送中の前記搬送物の画像を取得する画像取得手段と、
前記画像取得手段に接続した電子計算機と、を有する異物検出装置において、
前記電子計算機は、前記搬送物に異物が混入した画像が教師画像として記憶された記憶装置と、前記記憶装置における前記教師画像と前記画像取得手段で取得された対象画像とを比較し、前記対象画像に前記異物が混入しているかどうかを判断する人工知能部とを有することを特徴とする異物検出装置。

【請求項2】

前記人工知能部が前記対象画像に前記異物が混入していると判断した場合に、当該異物を前記搬送手段から除去する除去手段を有する、ことを特徴とする請求項１に記載の異物検出装置。

【請求項3】

前記搬送物は砕石であり、前記異物は製品としての粒子径より大きい過大粒子、着色導火管破片、ゴム片又は金属片である、ことを特徴とする請求項１又は２に記載の異物検出装置。

【請求項4】

搬送手段により搬送物を搬送し、
搬送中の前記搬送物の画像を画像取得手段により取得し、
前記画像取得手段に接続した電子計算機の人工知能部により、記憶装置に記憶された前記搬送物に異物が混入している教師画像と、前記画像取得手段で取得された対象画像とを比較し、前記対象画像に前記異物が混入しているかどうかを判断することを特徴とする異物検出方法。

【請求項5】

前記人工知能部が前記対象画像に前記異物が混入していると判断した場合に、除去手段によって当該異物を前記搬送手段から除去する、ことを特徴とする請求項４に記載の異物検出方法。

【請求項6】

前記搬送物は砕石であり、前記異物は製品としての粒子径より大きい過大粒子、着色導火管破片、ゴム片又は金属片である、ことを特徴とする請求項４又は５に記載の異物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、石灰石採掘鉱山等において発破により起砕された岩石を破砕して製造された砕石を選別する際に、砕石中に混入した選別サイズより大きな石や、発破に使用された雷管部材のビニール、プラスチック破片、ゴム片等の異物を検出する方法及びその装置に関するものである。

【背景技術】

【0002】

岩石及び鉱物を破砕して得られた砕石は、必要に応じた大きさに篩い分けされるが、篩い分けに用いられる篩い網が僅かでも破れると予定サイズ以上の石（以下、過大粒子という）が混じることがあり、選別品質、ひいては製品品質を損なうことになる。そこで、篩い網の破れを早期に見出して対策を講じる必要があるとともに、過大粒子が発生した時点で速やかに設備を停止し、不具合箇所の復旧を行う必要がある。

【0003】

また、過大粒子は、篩い網が破れた場合や磨耗した場合以外でも、前記篩い網が正常な状態においても発生することがある。つまり、発破による起砕後に破砕機によって破砕された砕石の形状は柱状となるが、前記柱状の砕石の断面が前記篩い網の目よりも小さい場合は、その長さが前記篩い網の目よりも長くても、前記柱状の砕石粒子は篩い網を通過してしまう。このようにして過大粒子が発生する。

【0004】

過大粒子の検出を速やかに実行するため、例えば特許文献１（特開平５－１７２５２５号公報）によれば、篩い分けされた岩石や鉱石等の砕石を、撮影装置を用いて撮影し、この撮影装置からの画像信号を画像処理装置に送り、画像処理装置にて個々の砕石の寸法を計測し、得られた計測値と予め設定された設定値とを演算装置により比較して、設定値よりも計測値が大きいときに過大粒子を認識することが行われている。

【0005】

特許文献２（特開平１０－１２２８２１号公報）は、撮影手段により監視対象の画像を映像信号として取り込み、その濃淡画像を２値化して最大図形を抽出し、面積又は径の基準値と比較して過大粒子の有無を検出する過大粒子検出時の誤検出判別方法を開示している。過大粒子が検出された場合は、抽出された最大図形の縦横比、複雑度及び図形最大長矩形に対する面積占有率の値単独もしくはそれらの組み合わせによって正常検出であるか誤検出であるかを判別する。抽出された最大図形の縦横比、複雑度及び図形最大長矩形に対する面積占有率の値が、それぞれ２未満、５０未満、０．５以上のとき「正常検出」と判別し、更に正常検出又は誤検出の判別に統計的判別を加味することにより判別精度を向上させている。

【0006】

採掘鉱山等において原石の発破に使用される雷管には様々なタイプのものがあり、大別すると導火線式雷管、電気式雷管、非電気式雷管に分けられるが、装薬作業中に発生する静電気の影響を考慮する必要がない非電気式雷管がトンネル工事や大規模鉱山で広く用いられている。非電気式雷管であるノネル雷管は、中空チューブの内壁に導火剤が塗布されていて、チューブの一端に点火することで爆轟伝播する火工品であり、多段発破に際しては爆轟波を分岐伝達させるために複数のコネクターも利用される。このようなコネクターは雷管、コネクターブロック、チューブで構成されている。

【0007】

原石を発破して起砕する場合、起砕岩石中にノネル雷管等に由来する破片が混じることになる。チューブやコネクターブロックのようなプラスチック部品は着色されており、その破片は、砕石の用途としてセメント原料や製鉄用副原料に供されるのであれば、高温処理に晒され溶融するので問題ないが、コンクリート用骨材として使用される場合、破片はそのまま残るため、建築エクステリアに用いられるコンクリートの骨材に砕石が供されると、コンクリート表面にプラスチック破片が現れることがある。その結果、プラスチック破片の色のために、建築エクステリアの装飾性を著しく損なう虞がある。

【0008】

特許文献３（特開２００１－２７２４７６号公報）には、ノネルチューブ等の着色導火管破片を簡便かつ効率的に検知し、それを簡便かつ効率的に除去するために、移動中の砕石をカラービデオカメラで撮影して、そのカメラで得たＲＧＢ信号に基づいてＨ（色相）信号を形成した後、そのＨ信号を着色導火管破片の色相域が画像化できるように２値化して得られた画像により砕石中に残存する着色導火管破片を検知し、その検知信号に基づいて、移動する砕石中から着色導火管破片が残存する部分を分別することが提案されている。

【0009】

更に、特許文献４（特開２０１６－１９４５０５号公報）では、単一の撮影装置により監視対象の画像を取得し、この画像から濃淡画像に変換して設定された閾値で２値化画像を得ると共に濃淡画像の境界線を抽出して、２値化画像と境界線抽出画像をＡＮＤ合成して境界線を強調し、個体を分離した画像を作成して、その画素領域から、設定されたサイズより大きな画像エリアがあるか否かによって大きさ判定処理を行い、設定されたサイズより大きなサイズの異物を検出する。一方で、取得された監視対象の画像のＲＧＢ信号の各値で指定される色画像が、設定された着色異物の色に相当するか否かを判定し、着色異物と同じ色である場合には、その色成分に対して設定されたサイズ以上のものであるか否かによって、大きさ判定処理を行い、設定されたサイズ以上の設定された色成分を有する異物を検出する。

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、従来技術による装置においては、篩い網による選別サイズより大きな過大粒子の検出と着色異物の検出とが別々の装置を用いて行われていた。

【0011】

また、装置に改良を加えて、過大粒子の検出と着色異物の検出とを単一の撮影装置により監視対象の画像を取得した装置においても、異物の検出方法は、撮影装置によって撮影された画像の濃淡を基に画像変換を行うことでなされていた。そのため、ゴム片、金属類などの砕石と類似の色彩を有する異物の検出は、判別結果に統計的な手段を加味しても充分とは言えず、過大粒子及び異物の検出率の向上が砕石の品質向上のために必要だった。

【0012】

特に、過大粒子の色彩が通常サイズ粒子の色彩と同じで、原石の採掘箇所や採掘時の天候により多彩に変化し、砕石表面の風合いも変化するうえ、砕石画像の撮影方向の変化に対応できない場合もある。そのため、過大粒子の検出のために砕石サイズを認識する際に最も重要な砕石の輪郭線が曖昧になり、過大粒子の検出が困難になる場合があり、砕石の品質向上を実現する新たな過大粒子の検出装置の開発が切望されていた。

【0013】

一方で、昨今人工知能（ＡＩ）が発達してきており、特許文献５（特開２０２０－１２０００４号公報）のような技術も知られている。

【0014】

そこで本発明は、過大粒子などの異物の検出を高精度に実行できる装置を提供することを目的とする。

【課題を解決するための手段】

【0015】

この課題は、搬送物を搬送する搬送手段と、搬送中の前記搬送物の画像を取得する画像取得手段と、前記画像取得手段に接続した電子計算機と、を有する異物検出装置において、前記電子計算機は、前記搬送物に異物が混入した画像が教師画像として記憶された記憶装置と、前記記憶装置における前記教師画像と前記画像取得手段で取得された対象画像とを比較し、前記対象画像に前記異物が混入しているかどうかを判断する人工知能部とを有することを特徴とする異物検出装置により解決される。

【発明の効果】

【0016】

本発明によれば、過大粒子、ノネルチューブ等の着色導火管破片、ゴム片、金属類などの異物混入による異常発生状態を定義する教師画像と対象画像とを人工知能部により比較、判断する。これにより、従来技術による装置において予め設定された処理フローのみに従った画一化された判断に陥ることなく、砕石製造などにおける異物の検出における判定精度を向上させることができる。
また、本発明による装置は、砕石製品の篩分けを行う網破れが発生した場合、製品への過大粒子の混入のほか、仮に、篩い網が正常な場合でも、破砕後の砕石の形状が柱状であって、その断面積が篩い網の目よりも小さな石が篩い網を通過することによって発生する過大粒子までをも精度よく検出することが可能となり、高品質の砕石製品の製造に資するものである。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係る過大粒子及びその他の異物を検出する装置を示す概略図である。

【図2】砕石に過大粒子を混入させた擬似的な異常発生状態の画像である。

【図3】砕石にノネルチューブを混入させた擬似的な異常発生状態の画像である。

【図4】砕石にゴム片又は金属類を混入させた擬似的な異常発生状態の画像である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を説明する。但し、本発明は以下の実施形態に限定されるものではない。
図１は、本発明の実施形態に係る過大粒子及びその他の異物を検出する装置（以下、異物検出装置１０という）を示す概略図である。この異物検出装置１０は、搬送物である砕石１１を搬送する搬送手段としてのベルトコンベア１３、搬送中の砕石１１の画像を取得する画像取得手段としてのビデオカメラ１５、ビデオカメラ１５に接続した電子計算機１７などを有する。なお、本明細書では、製品サイズの粒子径より大きい過大粒子も広義には異物として記載している。よって、異物には、過大粒子、ノネルチューブ等の着色導火管破片、ゴム片、金属類（金属片）などが含まれる。

【0019】

本例では、ビデオカメラ１５はベルトコンベア１３上の砕石１１を上方から鉛直下向きに撮影しているが、このような配置に限られず、ビデオカメラ１５は、ベルトコンベア１３上を搬送される砕石１１の輪郭が明確に捕えられるように配設されればよい。

【0020】

ビデオカメラ１５の視野の範囲は（９００ｍｍ×１０００ｍｍ）に設定されている。視野の範囲をベルトコンベア１３とベルトコンベア１３上の砕石１１に絞ることで、誤検知の原因となる余計な情報が撮影画像に入り込まない。

【0021】

また、ビデオカメラ１５は、自動的にベルトコンベア１３上の砕石１１を撮影するよう設定した。具体的には、シャッタ速度は４枚／秒または５枚／秒とし、照度は１０００ ｌｘまたは２０００ ｌｘとした。

【0022】

ビデオカメラ１５により撮影されたベルトコンベア１３上を運搬される砕石１１の画像（以下、対象画像という）は、電子計算機１７に伝送される。電子計算機１７は、ソフトウェアを実行する制御装置及び記憶装置を有するコンピュータである。電子計算機１７は、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶装置１８に記憶されているプログラムを実行することによって機能するソフトウェア機能部を有する。また、電子計算機１７は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部を有してもよい。電子計算機１７において情報を記憶する記憶装置１８は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等により実現される。また、記憶装置には、ファームウェアやアプリケーションプログラム等の各種プログラム、各種機能部による処理結果、及び外部から取得した情報などが記憶される。

【0023】

電子計算機１７は、ディープラーニングによって蓄積された複数の教師画像が記憶された記憶装置１８と、人工知能部１９とを有する。具体的には、電子計算機１７は、砕石１１に異物が混入した画像が教師画像として記憶された記憶装置１８と、記憶装置１８における教師画像とビデオカメラ１５で取得された対象画像とを比較し、対象画像に過大粒子やその他の異物が混入しているかどうかを判断する人工知能部１９とを有する。人工知能部１９は、複数の教師画像を蓄積するデータベース部や、教師画像と対象画像の対比により対象画像に過大粒子やその他の異物が混入しているかどうかの結論を引き出す推論部などを有する。よって、人工知能部１９により、対象画像に過大粒子やその他の異物が混入しているかどうかが判断される。

【0024】

また異物検出装置１０は、人工知能部１９が対象画像に異物が混入していると判断した場合に、異物をコンベアベルト１３から除去する除去手段としてのダンパー（不図示）を有する。ダンパーは、ビデオカメラ１５又は電子計算機１７からの信号を受信して自動的に作動でき、異物だけを除去してもよいし、異物及び異物の周りの砕石を除去してもよい。また、例えば過大粒子が頻繁に検出された場合には、コンベアベルト１３の稼働を停止して、人力で異物を除去してもよい。

【0025】

また本実施形態における異物検出装置１０では、搬送物は砕石１１であり、検出すべき異物は、製品としての粒子径より大きい過大粒子、着色導火管破片、ゴム片又は金属片である。

【0026】

しかしながら、本発明によれば、異物検出装置１０の検出対象は砕石に限定されず、造粒物、粉体、その他種々の物品に含有されている、製品としての粒子径より大きい過大粒子（過大物）やその他の異物及びコンベアベルト表面に生じた傷などであってもよい。

【0027】

また、本発明の実施形態に係る異物検出方法は、搬送手段としてのベルトコンベア１３により搬送物としての砕石１１を搬送し、搬送中の砕石１１の画像を画像取得手段としてのビデオカメラ１５により取得し、ビデオカメラ１５に接続した電子計算機１７の人工知能部１９により、記憶装置１８に記憶された砕石１１に異物が混入している教師画像と、ビデオカメラ１５で取得された対象画像とを比較し、対象画像に異物が混入しているかどうかを判断することを特徴とする。

【0028】

また、本発明の実施形態に係る異物検出方法は、人工知能部１９が対象画像に異物が混入していると判断した場合に、除去手段としてのダンパーによって異物をコンベアベルト１３から除去することを特徴とする。

【0029】

また、本発明の実施形態に係る異物検出方法は、搬送物は砕石１１であり、異物は、着色導火管破片、ゴム片又は金属片、製品篩分け網が破損した際に混入する製品粒子径より大きい過大粒子であることを特徴とする。

【0030】

ここで、本実施形態に係る装置における教師画像の学習について説明する。本発明者は、ベルトコンベア１３上を流下する砕石１１に、過大粒子や、ノネルチューブ等の着色導火管破片、ゴム片、金属類（金属片）などのその他の異物を作為的に混入させ、その擬似的な異常発生状態の画像や、ベルト断裂の原因となるベルト表面に生じた傷の画像を撮影した。そして、擬似的な異常発生状態の画像を実際の異常発生状態を判定するための教師画像として、異物検出装置１０の記憶装置１８に取り込み、人工知能部１９に学習させた。この学習は例えば機械学習であり、具体的には例えば教師あり学習である。この機械学習としては、ニューラルネットワークの教師あり学習（例えば、ディープラーニングの教師あり学習）であってもよいし、パターン認識モデルを用いた教師あり学習（例えば、サポートベクターマシーンの教師あり学習）であってもよいし、確率モデルを用いた教師あり学習（例えば、単純ベイズ分類器の教師あり学習）であってもよい。

【0031】

＜擬似的な異常発生状態の画像撮影による教師画像の学習＞
図２は、砕石に過大粒子を混入させた擬似的な異常発生状態の画像であり、図３は、砕石にノネルチューブを混入させた擬似的な異常発生状態の画像であり、図４は、砕石にゴム片又は金属類を混入させた擬似的な異常発生状態の画像である。

【0032】

図２（ａ），（ｂ）では、粒径範囲５～２０ｍｍの砕石中に、粒径範囲４０～６０ｍｍ程度の過大粒子を擬似的に混入させた。図３（ａ），（ｂ）では、粒径範囲５～２０ｍｍの砕石中に、長さ１５０ｍｍ程度であって赤色のノネルチューブを擬似的に混入させた。図４では、粒径範囲５～２０ｍｍの砕石中に、砕石よりも明らかに大きいゴム片、金属片（網やボルトなど）及びスポンジを擬似的に混入させた。

【0033】

表１は、ディープラーニングによる教師画像の学習における、擬似的な異常発生状態の画像の検出個数などを示す。

【0034】

【表1】

【0035】

過大粒子に関して撮影した画像について、１０５個の擬似的な異常発生状態のうち、８６個を教師画像の学習のために記憶装置１８に記憶させ、１９個を人工知能部１９に判定させた。ノネルチューブに関して撮影した画像について、１０７個の擬似的な異常発生状態のうち、８７個を教師画像の学習のために記憶装置１８に記憶させ、２０個を人工知能部１９に判定させた。ゴム片に関して撮影した画像について、４７個の擬似的な異常発生状態のうち、３８個を教師画像の学習のために記憶装置１８に記憶させ、９個を人工知能部１９に判定させた。金属に関して撮影した画像について、８８個の擬似的な異常発生状態のうち、６５個を教師画像の学習のために記憶装置１８に記憶させ、２３個を人工知能部１９に判定させた。同様に、スポンジおよびプラスチックに関して、撮影した擬似的な異常発生状態の画像の一部を教師画像の学習のために記憶装置１８に記憶させ、人工知能部１９に判定させた。

【0036】

このとき、過大粒子に関して、人工知能部１９による判定の正解率、すなわち、人工知能部１９が過大粒子を含む異常発生状態の画像を、過大粒子を含む異常発生状態の画像として認識した割合は、７５％だった。同様に、ノネルチューブでは９７％、ゴム片では９２％、および金属では１００％、スポンジでは５０％、プラスチックでは１００％だった。よって、本実施形態に係る異物検出装置１０が十分高精度に過大粒子及びその他の異物を検出できることが判明した。

【0037】

＜本実施形態に係る異物検出装置および従来技術による装置による過大粒子及びその他の異物検出試験＞
表１に示す教師画像データを取り込んだ異物検出装置１０により、粒径範囲５～２０ｍｍである砕石（製品）を生産する工程に見立てた模擬ラインにおいて、過大粒子及びその他の異物の検出試験を行った。

【0038】

従来技術による装置をコンベアベルト１３の一方の側に配置し、本実施形態に係る異物検出装置１０をコンベアベルト１３の他方の側に配置し、同時刻においてビデオカメラによりベルトコンベア１３上の砕石１１を同条件で撮影し、それぞれ比較した。なお、本実施形態に係る異物検出装置においては、異物の検出閾値を９５に設定し、また、過大粒子は本発明の検出装置上流部に配設された篩網が破れ、指定サイズ以上の粒子径が混入した場合を想定し、コンベア上流に於いて意図的に混入させて試験を行った。
表２は、従来技術による装置と本実施形態に係る異物検出装置１０による過大粒子及びその他の異物の検出試験の結果であって、模擬ラインにおける４０時間運転の結果を示す。

【0039】

【表2】

【0040】

表２に示すように、過大粒子に関して、従来技術による装置では４１個の過大粒子が検出され、４１個の過大粒子の画像が得られた（撮影された）のに対して、本実施形態に係る異物検出装置１０では２９６個の過大粒子が検出され、２９６個の過大粒子の画像が得られた。ここで、本発明者は目視により、前記４１個の過大粒子の画像と前記２９６個の過大粒子の画像を確認したところ、殆ど全ての画像に過大粒子が写っていることを確認した。すなわち、従来技術による装置と本実施形態に係る異物検出装置１０とで、高い正解率が得られた。

【0041】

従来技術による装置と本実施形態に係る異物検出装置１０による過大粒子及びその他の異物の検出試験では、同条件下で従来技術による装置と本実施形態に係る異物検出装置１０を同時に稼働させたため、過大粒子の取り逃しの可能性は否定できないものの、本実施形態に係る異物検出装置１０によれば従来よりも約７倍もの数の過大粒子を正しく検出することができた。

【0042】

同様に、本実施形態に係る異物検出装置１０によれば従来よりも約７倍もの数のノネルチューブを正しく検出することができた。また、本実施形態に係る異物検出装置１０によれば従来技術では検出することが出来なかったゴム片および木片を正しく検出することができた。

【0043】

なお、従来技術による装置として特許文献４に記載の技術を用いた装置を使用した。従来技術による装置では、取得した対象画像を処理する際の処理フローに従った画一化された判断しか行うことができず、また処理フローの実行に時間がかかったと考えられる。これに対して、本実施形態に係る異物検出装置１０によれば、対象画像とディープラーニングによって蓄積された教師画像の対比を瞬時に行うことで、過大粒子及びその他の異物が即時に且つ高精度で検出できたと考えられる。

【符号の説明】

【0044】

１０ 異物検出装置
１１ 砕石（搬送物）
１３ ベルトコンベア（搬送手段）
１５ ビデオカメラ（画像取得手段）
１７ 電子計算機

【先行技術文献】

【特許文献】

【0045】

【特許文献1】特開平５－１７２５２５号公報

【特許文献2】特開平１０－１２２８２１号公報

【特許文献3】特開２００１－２７２４７６号公報

【特許文献4】特開２０１６－１９４５０５号公報

【特許文献5】特開２０２０－１２０００４号公報

【図1】

【図2】

【図3】

【図4】