特開 2023-147555 異物識別装置、学習装置、異物識別システム、異物識別方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023147555

(43)【公開日】2023-10-13

(54)【発明の名称】異物識別装置、学習装置、異物識別システム、異物識別方法およびプログラム

(51)【国際特許分類】

   G01N 21/85 20060101AFI20231005BHJP

   G06T 7/00 20170101ALI20231005BHJP

   G06V 10/764 20220101ALI20231005BHJP

   G01N 21/95 20060101ALI20231005BHJP

【ＦＩ】

G01N21/85 Z

G06T7/00 610

G06V10/764

G06T7/00 350B

G01N21/95 Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022055120

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】000183303

【氏名又は名称】住友金属鉱山株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】帆保 駿吾

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB01

2G051CA04

2G051DA06

2G051EB05

2G051FA01

5L096BA03

5L096DA03

5L096KA04

(57)【要約】

【課題】鉱石に混入する異物の検知精度を向上させる。
【解決手段】異物識別装置は、鉱石が撮影された画像を取得する画像取得部と、前記画像を解析して、前記画像に撮影された前記鉱石に異物が含まれているか否かを識別する異物識別部と、前記鉱石に異物が含まれているか否かの識別の結果を提示する提示部と、を備える。
【選択図】図７

【特許請求の範囲】

【請求項1】

鉱石が撮影された画像を取得する画像取得部と、
前記画像を解析して、前記画像に撮影された前記鉱石に異物が含まれているか否かを識別する異物識別部と、
前記鉱石に異物が含まれているか否かの識別の結果を提示する提示部と、を備える、
異物識別装置。

【請求項2】

前記鉱石に異物が含まれていると識別された場合に、前記鉱石の搬送を停止するように搬送装置に指示する搬送停止指示部をさらに備える、
請求項１に記載の異物識別装置。

【請求項3】

前記異物識別部は、前記鉱石に異物が含まれている画像と、前記鉱石に異物が含まれていない画像とを含む学習データに基づく学習済みの学習モデルを使用して、前記鉱石に異物が含まれているか否かを識別する、
請求項１または２に記載の異物識別装置。

【請求項4】

前記画像取得部は、前記鉱石が搬送装置によって搬送中に撮影された画像を取得し、
前記学習モデルは、鉱石および異物が搬送されていない前記搬送装置を撮影された画像と、異物が含まれていない鉱石が搬送さている前記搬送装置を撮影された画像と、異物が含まれている鉱石が搬送されている前記搬送装置を撮影された画像とを含む学習データに基づいて学習されている、
請求項３に記載の異物識別装置。

【請求項5】

前記学習モデルを、前記学習データに基づいて学習する学習部をさらに備える、
請求項４に記載の異物識別装置。

【請求項6】

前記提示部は、前記鉱石に異物が含まれているか否かの識別の結果を画面に表示する、
請求項１または２に記載の異物識別装置。

【請求項7】

前記提示部は、前記鉱石に異物が含まれているか否かの識別の結果に応じて点灯装置に点灯を指示する、
請求項１または２に記載の異物識別装置。

【請求項8】

前記提示部は、前記鉱石に異物が含まれているか否かの識別の結果に応じて警報装置に警報音の発報を指示する、
請求項１または２に記載の異物識別装置。

【請求項9】

鉱石に異物が含まれている画像と、前記鉱石に異物が含まれていない画像とを含む学習データを取得する学習データ取得部と、
前記学習データに基づいて、前記画像に撮影された前記鉱石に異物が含まれているか否かを識別するための学習モデルを学習する学習部と、を備える、
学習装置。

【請求項10】

前記学習データ取得部は、鉱石および異物が搬送されていない搬送装置を撮影された画像と、異物が含まれていない鉱石が搬送さている前記搬送装置を撮影された画像と、異物が含まれている鉱石が搬送されている前記搬送装置を撮影された画像とを含む学習データを取得し、
前記学習部は、前記学習データに基づいて、前記学習モデルを学習する、
請求項９に記載の学習装置。

【請求項11】

異物識別装置と、撮像装置と、点灯装置または警報装置とを含む異物識別システムであって、
前記撮像装置は、鉱石を撮影し、
前記異物識別装置は、
前記撮像装置から前記鉱石が撮影された画像を取得する画像取得部と、
前記画像を解析して、前記画像に撮影された前記鉱石に異物が含まれているか否かを識別する異物識別部と、
前記鉱石に異物が含まれているか否かの識別の結果に応じて、前記点灯装置に点灯を指示するか、または前記警報装置に警報音の発報を指示する提示部と、を備える、
異物識別システム。

【請求項12】

コンピュータが実行する異物識別方法であって、
鉱石が撮影された画像を取得するステップと、
前記画像を解析して、前記画像に撮影された前記鉱石に異物が含まれているか否かを識別するステップと、
前記鉱石に異物が含まれているか否かの識別の結果を提示するステップと、を備える、
異物識別方法。

【請求項13】

コンピュータに、
鉱石が撮影された画像を取得するステップと、
前記画像を解析して、前記画像に撮影された前記鉱石に異物が含まれているか否かを識別するステップと、
前記鉱石に異物が含まれているか否かの識別の結果を提示するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異物識別装置、学習装置、異物識別システム、異物識別方法およびプログラムに関する。

【背景技術】

【0002】

食品や医薬品等の被検査物である対象物にＸ線を透過させて、その透過Ｘ線画像から対象物中の異物の有無を検査することが広く行われている。例えば、特許文献１には、対象物中に含まれる異物の組成の相違（例えば、食肉検査において骨なのか肉なのか、又は軟骨、異物なのかといった違い）や厚さの相違により、検出精度が低下するため、所定領域を挟んで複数の検出器を用いる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１９７１２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

鉱山から鉱石を収集する場合、ロックボルト、ポリエチレンパイプ等の異物が高い頻度で混入する。異物が混入したままの鉱石を収集すると、その後の工程における設備の破損を招き、設備の稼働率を低下させてしまう。従来は、異物の混入を防止するため、手選工（手選作業員）が破砕されて搬送されている鉱石を撮影した画像を監視しているが、異物が鉱石と同系色であることや作業場において撮影される画像が不鮮明であることから、人の目によって異物を完全に見つけることは困難である。

【0005】

そこで、人の目に頼らない高精度な異物検知を導入することが設備トラブルの低減に必要である。しかしながら、上述した従来のようなＸ線を使用した検出では、非金属の検知が難しく、異物の検出性能が十分ではないという問題がある。

【0006】

本発明は、上記事情に鑑みてなされたものであり、鉱石に混入する異物の検知精度を向上させることを目的としている。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一態様に係る異物識別装置は、鉱石が撮影された画像を取得する画像取得部と、
前記画像を解析して、前記画像に撮影された前記鉱石に異物が含まれているか否かを識別する異物識別部と、
前記鉱石に異物が含まれているか否かの識別の結果を提示する提示部と、を備える。

【発明の効果】

【0008】

鉱石に混入する異物の検知精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態に係る異物識別システムの全体構造の一例を示す図である。

【図2】本発明の実施の形態に係る学習装置の機能構成の一例を示す図である。

【図3】本発明の実施の形態に係る学習処理の流れの一例を示すフローチャートである。

【図4】教師データの画像の一例を示す第一の図である。

【図5】教師データの画像の一例を示す第二の図である。

【図6】教師データの画像の一例を示す第三の図である。

【図7】本発明の実施の形態に係る異物識別装置の機能構成の一例を示す図である。

【図8】本発明の実施の形態に係る異物識別処理の流れの一例を示すフローチャートである。

【図9】本発明の実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明の実施の形態（本実施の形態）について説明する。

【0011】

本実施の形態に係る異物識別システムは、鉱石に混入されたロックボルト等の異物を識別するためのシステムである。

【0012】

図１は、本発明の実施の形態に係る異物識別システム１の全体構造の一例を示す図である。異物識別システム１は、異物識別装置１０と、カメラ２０と、回転灯３０と、第一ベルトコンベア４０と、第二ベルトコンベア５０とを備える。

【0013】

鉱山等から収集され、破砕された鉱石は、第一ベルトコンベア４０によって搬送され、搬送中にカメラ２０によって撮影される。カメラ２０によって撮影された画像は、異物識別装置１０に入力される。カメラ２０は、鉱石を撮影するための撮像装置の一例である。

【0014】

異物識別装置１０は、撮影された画像に含まれる異物を識別するための装置である。異物識別装置１０は、画像に異物が含まれるか否かを判定し、異物が含まれると判定すると、回転灯３０に指示を送信する。回転灯３０は、異物識別装置１０からの指示を受けて、点灯または警報音の発報を行う。回転灯３０は、点灯装置または警報装置の一例である。

【0015】

第一ベルトコンベア４０によって搬送された鉱石は、第二ベルトコンベア５０によって搬送され、手選作業者によって選別される。手選作業者は、回転灯３０の点灯によって異物の混入を認識し、緊急停止の操作、各所への連絡等を行う。そして、破砕場における作業者は、鉱石に混入された異物の除去を行う。なお、第一ベルトコンベア４０および第二ベルトコンベア５０は、鉱石を搬送するための搬送装置の一例である。

【0016】

異物識別装置１０は、学習済みの学習モデルを使用して異物の識別を行ってもよい。そこで、学習モデルの学習に使用される学習装置について説明する。

【0017】

図２は、本発明の実施の形態に係る学習装置の機能構成の一例を示す図である。学習装置６０は、学習データ取得部６１と、学習部６２と、学習モデル６３とを備える。

【0018】

学習データ取得部６１は、学習の対象となる学習データを取得する。学習データは、第一ベルトコンベア４０をカメラ２０で撮影された画像を、手選作業者等によってラベル付けされたデータである。ラベル付けは、例えば、「鉱石なし」、「鉱石のみ」、「異物入り鉱石」の３つのラベルであってもよい。

【0019】

学習部６２は、学習データに基づく機械学習によって、学習モデル６３を学習する。学習モデル６３は、例えば、畳み込み層（１３層）と全結合層（３層）を含むＶＧＧ１６（Visual Geometry Group）であるが、これに限られず、ロジスティック回帰モデルまたはＳＶＭ（Support Vector Machine）でもよく、ランダムフォレスト、ｋ近傍法、ニューラルネットワーク等でもよい。具体的には、学習部６２は、学習データに含まれる画像を解析して、鉱石、異物、および第一ベルトコンベア４０の表面の特徴をそれぞれ把握し、これらを判別するための学習モデル６３のパラメータを調整する。

【0020】

図３は、本発明の実施の形態に係る学習処理の流れの一例を示すフローチャートである。学習データ取得部６１は、ユーザの操作等を受け付けて、学習データを取得する（ステップＳ１１）。そして、学習部６２は、機械学習を行い、学習モデル６３を更新する（ステップＳ１２）。異物識別装置１０は、学習済みの学習モデル６３を使用して、異物の識別を行う。

【0021】

次に、学習データについて説明する。

【0022】

図４は、学習データの画像の一例を示す第一の図である。図４に示される画像は、「鉱石なし」にラベル付けされる画像の一例である。「鉱石なし」にラベル付けされる画像は、鉱石が搬送されていない第一ベルトコンベア４０が撮影された画像である。

【0023】

図５は、学習データの画像の一例を示す第二の図である。図５に示される画像は、「鉱石のみ」にラベル付けされる画像の一例である。「鉱石のみ」にラベル付けされる画像は、異物が混入されていない鉱石が搬送されている第一ベルトコンベア４０が撮影された画像である。

【0024】

図６は、学習データの画像の一例を示す第三の図である。図６に示される画像は、「異物入り鉱石」にラベル付けされる画像の一例である。「異物入り鉱石」にラベル付けされる画像は、異物９０１が混入された鉱石が搬送されている第一ベルトコンベア４０が撮影された画像である。

【0025】

なお、第一ベルトコンベア４０の搬送面、鉱石および異物は、同系統の色である場合が多い。そこで、「鉱石のみ」、「異物入り鉱石」だけではなく、「鉱石なし」にラベルづけされる画像も用いた学習によって、第一ベルトコンベア４０の搬送面の識別の精度が向上し、異物の検出の識別を精度良く行うことができる。

【0026】

次に、異物識別装置の機能について説明する。

【0027】

図７は、本発明の実施の形態に係る異物識別装置の機能構成の一例を示す図である。異物識別装置１０は、画像取得部１１と、学習部１２と、異物識別部１３と、学習モデル１４と、提示部１５と、搬送停止指示部１６とを備える。

【0028】

画像取得部１１は、鉱石が搬送されている第一ベルトコンベア４０が撮影された画像をカメラ２０から取得する。

【0029】

学習部１２は、オンライン学習によって学習モデル１４を学習する。学習部１２による学習の方法は、学習装置６０の学習部６２と同様であってもよい。なお、学習装置６０によって学習された学習モデル１４を更新せずに使用する場合は、異物識別装置１０は、学習部１２を備えていなくてもよい。

【0030】

異物識別部１３は、学習モデル１４を使用して、撮影された画像に異物が含まれているか否かを識別する。提示部１５は、撮影された画像に異物が含まれている場合に、異物の混入をユーザに提示する。具体的には、提示部１５は、回転灯３０に点灯または警報の発報を指示する指示情報を送信する。提示部１５は、ディスプレイ等の画面に異物の混入を示す情報を表示してもよい。

【0031】

搬送停止指示部１６は、第一ベルトコンベア４０または第二ベルトコンベア５０に搬送停止を指示する。なお、異物識別装置１０は、搬送停止指示部１６を備えなくてもよい。その場合、提示部１５による提示を受けたユーザが、鉱石の搬送を停止してもよい。

【0032】

図８は、本発明の実施の形態に係る異物識別処理の流れの一例を示すフローチャートである。画像取得部１１は、鉱石を含む画像を取得する（ステップＳ２１）。異物識別部１３は、学習モデル１４に基づいて、異物を識別する（ステップＳ２２）。

【0033】

提示部１５は、識別結果を表示する（ステップＳ２３）。画像に基づいて、鉱石に異物があるか否かを判定する（ステップＳ２４）。提示部１５は、異物があると判定すると（ステップＳ２４：ＹＥＳ）、回転灯３０に点灯、警報音の発報のための指示を行い、搬送停止指示部１６は、搬送の停止等の指示を行う（ステップＳ２５）。

【0034】

提示部１５は、異物がないと判定すると（ステップＳ２４：ＮＯ）、ステップＳ２５の処理をスキップして、異物識別処理を終了する。

【0035】

異物識別装置１０は、カメラ２０から画像を例えば１秒ごとに取得し、この異物識別処理を１秒ごとに繰り返し実行してもよい。また、提示部１５は、ステップＳ２４において異物がないと判定した場合に、ステップＳ２５とは異なる指示情報を回転灯３０に送信してもよい。例えば、提示部１５は、異物がないと判定した場合には、回転灯３０の緑のランプを点灯させ、１回目に異物があると判定した場合に黄色のランプを点灯させ、２回連続で異物があると判定した場合に赤のランプを点灯させるとともに、警報音を発報させるようにしてもよい。

【0036】

同様に、搬送停止指示部１６は、異物があると判定された場合にすぐに搬送停止を指示してもよいし、１回目に異物があると判定した場合には何もせず、２回連続で異物があると判定された場合に搬送停止を指示してもよい。これによって、誤検知の確率を軽減させることができる。

【0037】

（異物識別装置のハードウェア構成）
次に、異物識別装置１０のハードウェア構成について説明する。

【0038】

図９は、本発明の実施の形態に係る異物識別装置のハードウェア構成の一例を示す図である。

【0039】

異物識別装置１０は、コンピュータによって構成され、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、主記憶装置１０２、補助記憶装置１０３、入力装置１０４、表示装置１０５、通信インターフェース装置１０６、ドライブ装置１０７を備える。これらの各装置は、バスで接続されている。

【0040】

ＣＰＵ１０１は、異物識別装置１０の動作を制御する主制御部であり、主記憶装置１０２に格納されたプログラムを読みだして実行することで、後述する各種の機能を実現する。

【0041】

主記憶装置１０２は、異物識別装置１０の起動時に補助記憶装置１０３からプログラムを読み出して格納する。補助記憶装置１０３は、インストールされたプログラムを格納すると共に、後述する各種機能に必要なファイル、データ等を格納する。

【0042】

入力装置１０４は、各種の情報の入力を行うための装置であり、例えばキーボードやポインティングデバイス等により実現される。表示装置１０５は、各種の情報の表示を行うためものであり、例えばディスプレイ等により実現される。通信インターフェース装置１０６は、ＬＡＮカード等を含み、他の装置等との接続の為に用いられる。

【0043】

本実施形態に係るプログラムは、異物識別装置１０を制御する各種プログラムの少なくとも一部である。プログラムは、例えば記憶媒体１０８の配布やネットワークからのダウンロード等によって提供される。プログラムを記録した記憶媒体１０８は、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記憶媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記憶媒体を用いることができる。

【0044】

また、プログラムは、プログラムを記録した記憶媒体１０８がドライブ装置１０７にセットされると、記憶媒体１０８からドライブ装置１０７を介して補助記憶装置１０３にインストールされる。ネットワークからダウンロードされたプログラムは、通信インターフェース装置１０６を介して補助記憶装置１０３にインストールされる。

【0045】

本実施の形態に係る異物識別システム１によれば、破砕された鉱石が撮影された画像を解析して、鉱石、異物および搬送装置を判別することによって、異物を識別する。これによって、鉱石に混入する異物の検知精度を向上させることができる。また、学習装置６０は、鉱石、異物、搬送装置がそれぞれ撮影された画像に基づく機械学習を行う。これによって、異物の検知制度をさらに向上させることができる。

【0046】

以上、本実施の形態に基づき本発明の説明を行ってきたが、上記実施の形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

【産業上の利用可能性】

【0047】

本発明は、鉱石処理場における異物の検知に適用することができる。

【符号の説明】

【0048】

１ 異物識別システム
１０ 異物識別装置
１１ 画像取得部
１２ 学習部
１３ 異物識別部
１４ 学習モデル
１５ 提示部
１６ 搬送停止指示部
２０ カメラ
３０ 回転灯
４０ 第一ベルトコンベア
５０ 第二ベルトコンベア
６０ 学習装置
６１ 学習データ取得部
６２ 学習部
６３ 学習モデル
１０１ ＣＰＵ
１０２ 主記憶装置
１０３ 補助記憶装置
１０４ 入力装置
１０５ 表示装置
１０６ 通信インターフェース装置
１０７ ドライブ装置
１０８ 記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】