特開 2024-73900 検知装置、検知方法及び検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024073900

(43)【公開日】2024-05-30

(54)【発明の名称】検知装置、検知方法及び検知プログラム

(51)【国際特許分類】

   G01N 21/89 20060101AFI20240523BHJP

   G06T 7/00 20170101ALI20240523BHJP

【ＦＩ】

G01N21/89 Z

G06T7/00 610Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022184877

(22)【出願日】2022-11-18

(71)【出願人】

【識別番号】000006655

【氏名又は名称】日本製鉄株式会社

(71)【出願人】

【識別番号】000191076

【氏名又は名称】日鉄ソリューションズ株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100134359

【弁理士】

【氏名又は名称】勝俣 智夫

(74)【代理人】

【識別番号】100188592

【弁理士】

【氏名又は名称】山口 洋

(74)【代理人】

【識別番号】100217249

【弁理士】

【氏名又は名称】堀田 耕一郎

(74)【代理人】

【識別番号】100221279

【弁理士】

【氏名又は名称】山口 健吾

(74)【代理人】

【識別番号】100207686

【弁理士】

【氏名又は名称】飯田 恭宏

(74)【代理人】

【識別番号】100224812

【弁理士】

【氏名又は名称】井口 翔太

(72)【発明者】

【氏名】中岡 佑生

(72)【発明者】

【氏名】品川 和之

(72)【発明者】

【氏名】淵上 知幸

(72)【発明者】

【氏名】後藤 孝一

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051CA04

2G051EB05

2G051ED11

2G051ED21

5L096BA03

5L096CA04

5L096GA19

5L096GA51

5L096HA07

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】製鉄原料の搬送設備において駆動するベルトに生じた異常部の位置を誤検知する可能性を低減させることが可能である検知装置、検知方法及び検知プログラムを提供する。
【解決手段】検知装置は、製鉄原料の搬送設備において駆動するベルトを固定視野で撮像する１以上のカメラによって生成された時系列の画像を、ベルトの幅方向の寸法が５００ミリメートル以下となるように分割することによって、複数の分割画像を生成する画像分割部と、正常画像の第１特徴量の代表値を決定する代表値決定部と、第２の時系列の画像から生成された複数の分割画像から、第２特徴量を抽出する特徴量抽出部と、第２特徴量と代表値との間の距離を、分割画像ごとに推定する距離推定部と、特定された分割画像の位置に基づいて、ベルトに生じた異常部の位置を検知する異常検知部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

製鉄原料の搬送設備において駆動するベルトを固定視野で撮像する１以上のカメラによって生成された時系列の画像を、前記ベルトの幅方向の寸法が５００ミリメートル以下となるように分割することによって、複数の分割画像を生成する画像分割部と、
第１の前記時系列の画像から生成された複数の前記分割画像のうちで、異常部が生じていない前記ベルトが撮像された１以上の正常画像に基づいて、前記正常画像の第１特徴量の代表値を決定する代表値決定部と、
第２の前記時系列の画像から生成された複数の前記分割画像から、第２の前記時系列の画像から生成された複数の前記分割画像の第２特徴量を抽出する特徴量抽出部と、
前記第２特徴量と前記代表値との間の距離を、第２の前記時系列の画像から生成された前記分割画像ごとに推定する距離推定部と、
第２の前記時系列の画像から生成された前記分割画像ごとに、前記距離が閾値以上である前記分割画像の位置を前記固定視野において特定し、特定された前記分割画像の位置に基づいて、前記ベルトに生じた前記異常部の位置を検知する異常検知部と、
前記異常部の位置が検知された場合、前記距離が前記閾値以上である前記分割画像と、前記ベルトに生じた前記異常部の位置とを通知する通知部と
を備える検知装置。

【請求項2】

前記距離は、マハラノビス距離、ユークリッド距離又はマンハッタン距離である、請求項１に記載の検知装置。

【請求項3】

検知された前記位置の前記異常部の種類を推定する種類推定部
を更に備える、請求項１又は請求項２に記載の検知装置。

【請求項4】

製鉄原料の搬送設備において駆動する前記ベルトに生じた前記異常部が撮像された画像を説明変数として、前記異常部の種類の名称を目的変数として用いる機械学習によって、学習済モデルを生成する学習処理部
を更に備える、請求項３に記載の検知装置。

【請求項5】

検知装置が実行する検知方法であって、
製鉄原料の搬送設備において駆動するベルトを固定視野で撮像する１以上のカメラによって生成された時系列の画像を、前記ベルトの幅方向の寸法が５００ミリメートル以下となるように分割することによって、複数の分割画像を生成するステップと、
第１の前記時系列の画像から生成された複数の前記分割画像のうちで、異常部が生じていない前記ベルトが撮像された１以上の正常画像に基づいて、前記正常画像の第１特徴量の代表値を決定するステップと、
第２の前記時系列の画像から生成された複数の前記分割画像から、第２の前記時系列の画像から生成された複数の前記分割画像の第２特徴量を抽出するステップと、
前記第２特徴量と前記代表値との間の距離を、第２の前記時系列の画像から生成された前記分割画像ごとに推定するステップと、
第２の前記時系列の画像から生成された前記分割画像ごとに、前記距離が閾値以上である前記分割画像の位置を前記固定視野において特定し、特定された前記分割画像の位置に基づいて、前記ベルトに生じた前記異常部の位置を検知するステップと、
前記異常部の位置が検知された場合、前記距離が前記閾値以上である前記分割画像と、前記ベルトに生じた前記異常部の位置とを通知するステップと
を含む検知方法。

【請求項6】

製鉄原料の搬送設備において駆動する前記ベルトに生じた前記異常部が撮像された画像を説明変数として、前記異常部の種類の名称を目的変数として用いる機械学習によって、学習済モデルを生成するステップ
を更に含む、請求項５に記載の検知方法。

【請求項7】

コンピュータに、
製鉄原料の搬送設備において駆動するベルトを固定視野で撮像する１以上のカメラによって生成された時系列の画像を、前記ベルトの幅方向の寸法が５００ミリメートル以下となるように分割することによって、複数の分割画像を生成する手順と、
第１の前記時系列の画像から生成された複数の前記分割画像のうちで、異常部が生じていない前記ベルトが撮像された１以上の正常画像に基づいて、前記正常画像の第１特徴量の代表値を決定する手順と、
第２の前記時系列の画像から生成された複数の前記分割画像から、第２の前記時系列の画像から生成された複数の前記分割画像の第２特徴量を抽出する手順と、
前記第２特徴量と前記代表値との間の距離を、第２の前記時系列の画像から生成された前記分割画像ごとに推定する手順と、
第２の前記時系列の画像から生成された前記分割画像ごとに、前記距離が閾値以上である前記分割画像の位置を前記固定視野において特定し、特定された前記分割画像の位置に基づいて、前記ベルトに生じた前記異常部の位置を検知する手順と、
前記異常部の位置が検知された場合、前記距離が前記閾値以上である前記分割画像と、前記ベルトに生じた前記異常部の位置とを通知する手順と
を実行させるための検知プログラム。

【請求項8】

製鉄原料の搬送設備において駆動する前記ベルトに生じた前記異常部が撮像された画像を説明変数として、前記異常部の種類の名称を目的変数として用いる機械学習によって、学習済モデルを生成する手順
を更に実行させるための、請求項７に記載の検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検知装置、検知方法及び検知プログラムに関する。

【背景技術】

【0002】

製鉄原料の搬送設備（ベルトコンベア）には、安定的な稼働と点検負荷の軽減とが求められている。また、製鉄原料の搬送設備のベルト表面に傷等の異常部が生じたことに起因して、ベルトが破断する場合がある。ベルトが破断した場合、又は、破断する直前のような著しい傷がベルトに発見された場合、後工程の焼結機が停止することがある。このような焼結機の停止を回避するため、搬送設備に生じた異常部は早期に発見されることが必要である。

【0003】

そこで、搬送設備に生じた異常部を早期に発見することを目的として、搬送設備が撮像された画像に基づいて異常部の有無を判定するシステムが、特許文献１に開示されている。また、搬送設備のベルトの端部の劣化レベルを画像に基づいて判定する異常監視装置が、特許文献２に開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１２８２８６号公報

【特許文献2】特開２０２１－０１７２９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、搬送設備のベルトに生じた異常部の位置を誤検知する可能性を低減させることができないという問題がある。

【0006】

上記事情に鑑み、本発明は、製鉄原料の搬送設備において駆動するベルトに生じた異常部の位置を誤検知する可能性を低減させることが可能である検知装置、検知方法及び検知プログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様は、製鉄原料の搬送設備において駆動するベルトを固定視野で撮像する１以上のカメラによって生成された時系列の画像を、前記ベルトの幅方向の寸法が５００ミリメートル以下となるように分割することによって、複数の分割画像を生成する画像分割部と、第１の前記時系列の画像から生成された複数の前記分割画像のうちで、異常部が生じていない前記ベルトが撮像された１以上の正常画像に基づいて、前記正常画像の第１特徴量の代表値を決定する代表値決定部と、第２の前記時系列の画像から生成された複数の前記分割画像から、第２の前記時系列の画像から生成された複数の前記分割画像の第２特徴量を抽出する特徴量抽出部と、前記第２特徴量と前記代表値との間の距離を、第２の前記時系列の画像から生成された前記分割画像ごとに推定する距離推定部と、第２の前記時系列の画像から生成された前記分割画像ごとに、前記距離が閾値以上である前記分割画像の位置を前記固定視野において特定し、特定された前記分割画像の位置に基づいて、前記ベルトに生じた前記異常部の位置を検知する異常検知部と、前記異常部の位置が検知された場合、前記距離が前記閾値以上である前記分割画像と、前記ベルトに生じた前記異常部の位置とを通知する通知部とを備える検知装置である。

【0008】

本発明の一態様は、検知装置が実行する検知方法であって、製鉄原料の搬送設備において駆動するベルトを固定視野で撮像する１以上のカメラによって生成された時系列の画像を、前記ベルトの幅方向の寸法が５００ミリメートル以下となるように分割することによって、複数の分割画像を生成するステップと、第１の前記時系列の画像から生成された複数の前記分割画像のうちで、異常部が生じていない前記ベルトが撮像された１以上の正常画像に基づいて、前記正常画像の第１特徴量の代表値を決定するステップと、第２の前記時系列の画像から生成された複数の前記分割画像から、第２の前記時系列の画像から生成された複数の前記分割画像の第２特徴量を抽出するステップと、前記第２特徴量と前記代表値との間の距離を、第２の前記時系列の画像から生成された前記分割画像ごとに推定するステップと、第２の前記時系列の画像から生成された前記分割画像ごとに、前記距離が閾値以上である前記分割画像の位置を前記固定視野において特定し、特定された前記分割画像の位置に基づいて、前記ベルトに生じた前記異常部の位置を検知するステップと、前記異常部の位置が検知された場合、前記距離が前記閾値以上である前記分割画像と、前記ベルトに生じた前記異常部の位置とを通知するステップとを含む検知方法である。

【0009】

本発明の一態様は、コンピュータに、製鉄原料の搬送設備において駆動するベルトを固定視野で撮像する１以上のカメラによって生成された時系列の画像を、前記ベルトの幅方向の寸法が５００ミリメートル以下となるように分割することによって、複数の分割画像を生成する手順と、第１の前記時系列の画像から生成された複数の前記分割画像のうちで、異常部が生じていない前記ベルトが撮像された１以上の正常画像に基づいて、前記正常画像の第１特徴量の代表値を決定する手順と、第２の前記時系列の画像から生成された複数の前記分割画像から、第２の前記時系列の画像から生成された複数の前記分割画像の第２特徴量を抽出する手順と、前記第２特徴量と前記代表値との間の距離を、第２の前記時系列の画像から生成された前記分割画像ごとに推定する手順と、第２の前記時系列の画像から生成された前記分割画像ごとに、前記距離が閾値以上である前記分割画像の位置を前記固定視野において特定し、特定された前記分割画像の位置に基づいて、前記ベルトに生じた前記異常部の位置を検知する手順と、前記異常部の位置が検知された場合、前記距離が前記閾値以上である前記分割画像と、前記ベルトに生じた前記異常部の位置とを通知する手順とを実行させるための検知プログラムである。

【発明の効果】

【0010】

本発明により、製鉄原料の搬送設備において駆動するベルトに生じた異常部の位置を誤検知する可能性を低減させることが可能である。

【図面の簡単な説明】

【0011】

【図1】実施形態における、検知システムの構成例を示す図である。

【図2】実施形態における、搬送設備の構成例を示す図である。

【図3】実施形態における、固定視野で撮像されたベルトの画像を含む画像（フレーム）の例を示す図である。

【図4】実施形態における、学習装置の動作例を示すフローチャートである。

【図5】実施形態における、代表値を決定する処理の動作例を示すフローチャートである。

【図6】実施形態における、異常部の位置を検知する処理の動作例を示すフローチャートである。

【図7】実施形態における、誤検知の発生率の第１例を示す図である。

【図8】実施形態における、誤検知の発生率の第２例を示す図である。

【発明を実施するための形態】

【0012】

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、実施形態における、検知システム１の構成例を示す図である。検知システム１は、製鉄原料の搬送設備（ベルトコンベア）において駆動するベルトに生じた異常部の位置（有無）を検知するシステムである。製鉄原料は、例えば、鉄鉱石、焼結鉱、石炭、コークス、石灰石、これらの２以上の混合物、これらの２以上の混練物、又は、当該混合物若しくは混練物の造粒物である。異常部は、例えば、傷（破損部）である。検知システム１は、撮像されたベルトの画像に基づいて、異常部の位置（有無）を検知する。検知システム１は、検知された異常部の種類の名称を推定してもよい。

【0013】

検知システム１は、１以上のカメラ２と、通信回線３と、学習装置４と、検知装置５と、通知用装置６とを備える。学習装置４は、学習通信部４０と、学習記憶装置４１と、学習記憶部４２と、学習処理部４３とを備える。検知装置５（推定装置）は、検知通信部５０と、検知記憶装置５１と、検知記憶部５２と、検知処理部５３とを備える。検知処理部５３は、画像分割部５３０と、代表値決定部５３１と、特徴量抽出部５３２と、距離推定部５３３と、異常検知部５３４と、種類推定部５３５と、通知部５３６とを備える。なお、学習装置４と検知装置５とは、一体でもよい。すなわち、検知装置５は、学習装置４を備えてもよい。

【0014】

通信回線３は、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等の回線である。

【0015】

学習装置４、検知装置５及び通知用装置６の各装置のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）である記憶装置から記憶部に展開されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。

【0016】

学習装置４、検知装置５及び通知用装置６の各装置のうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0017】

図２は、実施形態における、搬送設備１０の構成例を示す図（側面図）である。搬送設備１０は、ベルトコンベアを備える。搬送設備１０は、ベルト１１と、テールプーリ１２と、テンションプーリ１３とを備える。ベルト１１の幅の寸法（長さ）は、特定の寸法に限定されないが、例えば、６００ミリメートルから２５００ミリメートル程度である。搬送設備１０は、製鉄原料を載せたベルト１１を駆動することによって、ベルト１１の長手方向に製鉄原料を搬送する。

【0018】

例えば、製鉄原料の一つである鉄鉱石は、リクレーマ（不図示）によって、貯蔵ヤード（不図示）から払い出される。鉄鉱石は、複数の搬送設備１０を乗り継ぎ、焼結機（不図示）まで搬送される。搬送設備１０のベルト１１には、傷等の異常部が発生することがある。このため、異常部に起因してベルト１１が破断する前に、ベルト１１は補修される必要がある。

【0019】

カメラ２は、例えばテールプーリ１２又はテンションプーリ１３の近傍においてベルト１１の表面を撮像可能な位置に設置される。以下では、カメラ２は、テールプーリ１２の近傍においてベルト１１の表面を俯瞰する位置に設置される。カメラ２は、搬送設備１０において駆動するベルト１１を、固定視野２０で連続撮像する。固定視野２０は、ベルト１１の幅方向についてベルト１１の幅全体が収まるように、予め定められる。カメラ２は、固定視野２０内のベルト１１が撮像された動画データ（時系列の画像）を生成する。

【0020】

なお、固定視野２０内では、ベルト１１に製鉄原料１４が載っていなくてよい。また、ベルト１１の表面に残留した製鉄原料１４が、ベルト１１の長手方向に筋状の模様を描くように、ベルト１１の表面に付着してもよい。

【0021】

図３は、実施形態における、固定視野２０で撮像されたベルト１１の部分画像を含む画像１００（フレーム）の例を示す図である。画像１００は、カメラ２によって生成された時系列の画像のうちの任意の時刻の静止画である。画像１００は、固定視野２０におけるベルト１１の上面の画像を含む。また、画像１００は、固定視野２０におけるベルト１１の上面の画像の背景画像として、固定視野２０における搬送設備１０の一部の画像を含む。

【0022】

機械学習の学習段階において、カメラ２によって撮像された異常部の画像が、学習用画像として用いられる。この場合、カメラ２は、時系列の画像を学習装置４に送信する。学習装置４では、学習処理部４３が学習用画像を網目状に分割することによって、学習用画像の複数の分割画像が生成される。なお、カメラ２によって生成された画像の代わりに、異常部の画像として予め用意された画像が、学習用画像として用いられてもよい。

【0023】

学習段階後の推定段階（検知段階）において、ベルト１１が撮像された画像は、検知装置５によって検知用画像として用いられる。この場合、カメラ２は、時系列の画像を検知装置５に送信する。検知装置５では、画像分割部５３０が検知用画像を網目状に分割することによって、検知用画像の複数の分割画像が生成される。

【0024】

なお、１台のカメラ２によって所定の時刻に撮像された１枚の画像から複数の分割画像が生成されることに限らず、例えば、複数のカメラ２によって同時に撮像された複数の画像のそれぞれが、分割画像として用いられてもよい。この場合、複数のカメラ２によって同時に撮像された複数の画像のそれぞれを、画像分割部５３０は分割しなくてもよい。また、複数のカメラ２によって同時に撮像された複数の画像のうちの少なくとも一部の画像を、画像分割部５３０は分割してもよい。

【0025】

図１に戻り、学習装置４について説明する。
機械学習の学習段階において、学習通信部４０は、固定視野２０におけるベルト１１の画像を学習用画像として、カメラ２から取得する。学習通信部４０は、学習処理部４３によって生成された学習済モデルを、検知通信部５０に送信する。

【0026】

学習記憶装置４１は、学習処理部４３によって実行される学習プログラムを記憶する。学習記憶装置４１に記憶された学習プログラムは、学習装置４の起動時に、学習記憶部４２に展開される。

【0027】

学習記憶装置４１は、例えばディープラーニング等の機械学習（教師あり学習）に用いられる教師データを記憶する。教師データは、複数の学習用画像（学習データ（説明変数））と、複数の正解データ（目的変数）とを含む。教師データでは、学習用画像と、正解データとが対応付けられている。学習用画像は、ベルトに生じた異常部が撮像された画像である。正解データは、例えば、学習用画像に予め撮像された異常部の種類の名称（例えば、凹み又は亀裂）である。教師データは、例えば作成者（不図示）によって予め作成される。

【0028】

学習処理部４３は、複数の学習用画像と複数の正解データとを含む教師データを、学習記憶装置４１から取得する。学習処理部４３は、製鉄原料の搬送設備１０において駆動するベルト１１に生じた異常部が撮像された画像を説明変数として、異常部の種類の名称を目的変数として用いる機械学習（教師あり学習）によって、学習済モデルを生成する。

【0029】

次に、検知装置５について説明する。
学習段階又は推定段階（検知期間）において、検知通信部５０は、学習処理部４３によって生成された学習済モデルを、学習通信部４０から予め取得する。推定段階において、検知通信部５０は、固定視野２０（撮像視野）におけるベルト１１の時系列の画像を、検知用画像として、カメラ２から取得する。

【0030】

検知記憶装置５１は、検知処理部５３によって実行される検知プログラム（推定プログラム）と、学習済モデルとを記憶する。検知記憶装置５１に記憶された検知プログラム及び学習済モデルは、検知装置５の起動時に、検知記憶部５２に展開される。

【0031】

以下、推定段階前（学習段階等）における時系列を「第１の時系列」という。推定段階（検知期間）における時系列を「第２の時系列」という。

【0032】

学習段階において、画像分割部５３０は、学習用画像（第１の時系列の画像）を、カメラ２から取得する。推定段階（検知期間）において、画像分割部５３０は、検知用画像（第２の時系列の画像）を、カメラ２から取得する。

【0033】

学習段階及び推定段階において、画像分割部５３０は、ベルト１１を固定視野２０で撮像するカメラ２によって生成された時系列の画像を、ベルト１１の幅方向の寸法が５００ミリメートル以下となるように分割する。ベルト１１の幅方向に例えば５枚の分割画像が生成された場合、各分割画像に撮像されたベルト１１のエッジ（幅方向の端部）の本数は、０又は１本である。つまり、分割画像に撮像されたベルト１１のエッジの本数の平均は、０．４（＝（１＋０＋０＋０＋１）／５）本であり、固定視野２０の画像１００に撮像されたベルト１１のエッジの本数（２本）と比較して大幅に少ない。

【0034】

また、画像分割部５３０は、ベルト１１の長手方向について、分割画像の長さ（寸法）が予め定められた長さとなるように、分割画像を生成する。例えば、ベルト１１の長手方向の検知範囲の長さが、異常部の長さに基づいて例えば１００ミリメートルと予め定められた場合、分割画像の長手方向の長さも１００ミリメートルと定められてよい。

【0035】

推定段階前において、代表値決定部５３１は、異常部が生じていないベルト１１が撮像された正常画像（傷が無い部分の画像）を取得する。代表値決定部５３１又は特徴量抽出部５３２は、推定段階前（第１の時系列）の画像から生成された複数の分割画像のうちで、異常部が生じていないベルト１１が撮像された１以上（例えば、９５０枚）の正常画像から、正常画像の特徴量を抽出する。特徴量の抽出には、公知のツールを用いられてよい。例えば、犬が被写体として撮像された画像群と、猫が被写体として撮像された画像群と、各画像における被写体の種類（犬又は猫）との組み合わせを用いて学習（教師あり学習）された学習済モデルが、特徴量を画像から抽出する公知のツールとして公開されている。この学習済モデルは、推定対象として別途入力された画像における被写体の名称（犬又は猫）を出力する。当該学習済モデルについて、サンプル画像を用いて予め実行された推定処理の結果に基づいて、ニューラルネットワークにおける最適な階層条件が予め定められてもよい。ニューラルネットワークにおける１以上の中間層に入力された画像の特徴量が、それらの中間層から、最適な階層条件に基づく階層順で抽出及び出力されてもよい。なお、実施形態における学習済モデルは、このような学習済モデルに限定されるものではない。

【0036】

以下、異常部が生じていない正常画像から抽出された特徴量を「第１特徴量」という。第１特徴量は、例えば、ベルト１１の表面において異常部（傷）が生じていない領域における、画像特徴量を表す。代表値決定部５３１は、１以上の正常画像に基づいて、第１特徴量の代表値（例えば、平均値、重心値又は最頻値）を決定する。代表値決定部５３１は、決定された代表値を、検知記憶装置５１又は検知記憶部５２に記録する。

【0037】

推定段階において、特徴量抽出部５３２は、推定段階（第２の時系列）の画像から生成された複数の分割画像から、推定段階において撮像された画像から生成された複数の分割画像の特徴量（以下「第２特徴量」という。）を抽出する。

【0038】

推定段階において、距離推定部５３３は、第２特徴量と代表値との間の距離を、第２の時系列の画像から生成された分割画像ごとに推定する。距離は、例えば、マハラノビス距離、ユークリッド距離又はマンハッタン距離である。

【0039】

推定段階において、異常検知部５３４は、第２の時系列の画像から生成された分割画像ごとに、第２特徴量と代表値との間の距離が閾値以上である分割画像の位置（座標）を固定視野２０において特定する。閾値は、実験等に基づいて予め定められる。異常検知部５３４は、特定された分割画像の位置に基づいて、ベルト１１に生じた異常部の位置を検知する。

【0040】

固定視野２０において特定された分割画像の位置に基づいて異常部の位置を検知する方法は、特定の方法に限定されない。例えば、ベルト１１に予め定められた基準位置からの相対的な位置に基づいて、異常部の位置が検知される。基準位置は、例えば、ベルトの継ぎ目部の位置、又は、ベルト１１に予めマーキングされた着色部（不図示）の位置等である。また、基準位置がカメラ２に撮像された時刻（基準時刻）から、異常部が有ると判定された時系列の画像の撮像時刻までの時間長と、ベルト１１の駆動速度（搬送速度）とに基づいて、ベルト１１において異常部が生じた位置（基準位置からの相対位置）が検知されてもよい。

【0041】

推定段階において、種類推定部５３５は、検知された位置の異常部の種類（名称）を、学習済モデルを用いて推定する。例えば、種類推定部５３５は、第２特徴量と代表値との間の距離が閾値以上である分割画像（異常部が撮像された分割画像）を、学習済モデルに入力する。種類推定部５３５は、検知された位置の異常部の種類の名称を、学習済モデルから取得する。このようにして、種類推定部５３５は、検知された位置における異常部の種類の名称を推定する。

【0042】

通知部５３６は、異常部の位置（有無）が検知された場合、距離が閾値以上である分割画像と、ベルト１１に生じた異常部の位置とを、通知用装置６に通知する。種類推定部５３５は、異常部の種類（名称）が推定された場合、異常部の種類の名称を、通知用装置６に通知する。

【0043】

次に、検知システム１の動作例を説明する。
図４は、実施形態における、学習装置４の動作例を示すフローチャートである。学習段階において、学習処理部４３は、ベルト１１の異常部が撮像された画像を、説明変数（学習用画像）として取得する（ステップＳ１０１）。学習処理部４３は、異常部の種類の名称を、目的変数（正解データ）として取得する（ステップＳ１０２）。学習処理部４３は、説明変数及び目的変数を用いて、機械学習（例えば、教師あり学習）によって、学習済モデルを生成する（ステップＳ１０３）。学習処理部４３は、学習通信部４０を介して、学習済モデルを検知装置５に出力する（ステップＳ１０４）。

【0044】

図５は、実施形態における、代表値を決定する処理の動作例を示すフローチャートである。推定段階前において、代表値決定部５３１は、異常部が生じていないベルト１１が撮像された正常画像を取得する（ステップＳ２０１）。代表値決定部５３１又は特徴量抽出部５３２は、推定段階前（第１の時系列）の画像から生成された複数の分割画像のうちで、異常部が生じていないベルト１１が撮像された１以上の正常画像から、正常画像の特徴量（第１特徴量）を抽出する（ステップＳ２０２）。

【0045】

代表値決定部５３１は、１以上の正常画像に基づいて、正常画像の特徴量の代表値を決定する（ステップＳ２０３）。代表値決定部５３１は、決定された代表値を、検知記憶装置５１又は検知記憶部５２に記録する（ステップＳ２０４）。

【0046】

図６は、実施形態における、異常部の位置を検知する処理の動作例を示すフローチャートである。学習段階又は推定段階（検知期間）において、検知通信部５０は、学習済モデルを学習装置４から取得する（ステップＳ３０１）。画像分割部５３０は、推定段階における時系列（第２の時系列）の画像を、カメラ２から取得する（ステップＳ３０２）。画像分割部５３０は、ベルト１１を固定視野２０で撮像するカメラ２によって生成された時系列の画像を、ベルト１１の幅方向の寸法が５００ミリメートル以下となるように分割する（ステップＳ３０３）。

【0047】

特徴量抽出部５３２は、第２の時系列の画像から生成された複数の分割画像から、第２の時系列の画像から生成された複数の分割画像の第２特徴量を抽出する（ステップＳ３０４）。距離推定部５３３は、第２特徴量と代表値との間の距離を、第２の時系列の画像から生成された分割画像ごとに推定する（ステップＳ３０５）。異常検知部５３４は、固定視野２０において特定された分割画像の位置に基づいて、ベルト１１に生じた異常部の位置を検知する（ステップＳ３０６）。

【0048】

通知部５３６は、異常部の位置が検知されたか否か（距離が閾値以上であるか否か）を、第２の時系列の画像から生成された分割画像ごとに判定する（ステップＳ３０７）。異常部の位置が検知されていないと判定された場合（ステップＳ３０７：ＮＯ）、通知部５３６は、ステップＳ３１１に処理を進める。

【0049】

異常部の位置が検知されたと判定された場合（ステップＳ３０７：ＹＥＳ）、通知部５３６は、距離が閾値以上である分割画像と、ベルト１１に生じた異常部の位置とを、通知用装置６に通知する（ステップＳ３０８）。種類推定部５３５は、距離が閾値以上である分割画像を、学習済モデルに入力する。種類推定部５３５は、検知された位置の異常部の種類の名称を、学習済モデルから取得する（ステップＳ３０９）。種類推定部５３５は、異常部の種類の名称（学習済モデルの出力）を、通知用装置６に通知する（ステップＳ３１０）。

【0050】

検知処理部５３は、検知処理を終了するか否かを判定する（ステップＳ３１１）。検知処理を継続すると判定された場合（例えば、ベルト１１が駆動中である場合）（ステップＳ３１１：ＮＯ）、検知処理部５３は、ステップＳ３０２に処理を戻す。検知処理を終了すると判定された場合（例えば、ベルト１１が停止中である場合）（ステップＳ３１１：ＮＯ）、検知処理部５３は、検知処理を終了する。

【0051】

以上のように、画像分割部５３０は、製鉄原料の搬送設備１０において駆動するベルト１１を固定視野２０で撮像するカメラ２によって生成された時系列の画像（フレーム）を、ベルト１１の幅方向の寸法が５００ミリメートル以下となるように分割することによって、複数の分割画像を生成する。

【0052】

代表値決定部５３１は、第１の時系列の画像から生成された複数の分割画像のうちで、異常部が生じていないベルト１１が撮像された１以上の正常画像に基づいて、正常画像の第１特徴量の代表値を決定する。特徴量抽出部５３２は、第２の時系列の画像から生成された複数の分割画像から、第２の時系列の画像から生成された複数の分割画像の第２特徴量を抽出する。

【0053】

距離推定部５３３は、第２特徴量と代表値との間の距離を、第２の時系列の画像から生成された分割画像ごとに推定する。異常検知部５３４は、第２の時系列の画像から生成された分割画像ごとに、距離が閾値以上である分割画像の位置を固定視野において特定する。異常検知部５３４は、特定された分割画像の位置に基づいて、ベルト１１に生じた異常部の位置を検知する。通知部５３６は、異常部の位置が検知された場合、距離が閾値以上である分割画像と、ベルト１１に生じた異常部の位置とを通知する。種類推定部５３５は、検知された位置の異常部の種類（名称）を推定してもよい。

【0054】

これによって、製鉄原料の搬送設備において駆動するベルトに生じた異常部の位置を誤検知する可能性を低減させることが可能である。

【0055】

幅方向の寸法が５００ミリメートル以下となるように画像１００が分割される前では、画像１００に含まれるエッジ及び模様の本数の合計は、２本以上となる。これに対して、撮像された画像１００が分割されたことによって、画像１００の分割画像に含まれるエッジの本数が、２本よりも少なくなる。また、幅方向の寸法が５００ミリメートル以下となるように画像１００が分割されたことによって、画像１００の分割画像に含まれる筋状の模様の本数は、固定視野２０の画像１００に含まれる筋状の模様の本数よりも少なくなる。ベルト１１のエッジと、ベルト１１の表面の模様とは、異常部の検知にとってノイズとなる。このようなノイズが少ないほど、異常部の位置を誤検知する可能性を低減させることが可能である。

【0056】

ベルト１１の幅方向における分割画像の寸法が短いほど、異常部の位置の検知精度が向上する。しかしながら、ベルト１１の幅方向における分割画像の寸法が例えば１０ミリメートル以下である場合には、誤検知を低減する効果が飽和することから、誤検知の発生率はあまり低減しない。このため、異常部の位置の検知精度と、誤検知を低減する効果との関係に基づいて、ベルト１１の幅方向における分割画像の寸法の下限値が定められる。また、ベルト１１の幅方向における分割画像の寸法（最適値）は、下限値未満とならないように定められる。

【0057】

次に、効果例について説明する。
図７は、実施形態における、誤検知の発生率の第１例を示す図である。以下では、ベルトの幅の長さ（寸法）は、一例として、４５０ミリメートル、９００ミリメートル及び１２００ミリメートルである。異常部が撮像されていない検知用画像の枚数は、一例として９５０枚である。また、異常部が撮像されている検知用画像の枚数は、一例として５０枚である。図７に記載の「誤検知の発生率」は、異常（傷）の有無の誤検知の発生率（割合）を表す。この誤検知の内容は、異常部あり（傷あり）と判定された検知用画像に実際には傷がなかったという内容である。なお、異常部なし（傷なし）と判定された検知用画像に実際には傷があったという事例は無かった。

【0058】

（１）第１の比較例と第１の実施例との比較
第１の比較例では、ベルトの幅の長さは、４５０ミリメートルである。固定視野の画像の幅の長さは、５００ミリメートルである。また、固定視野の画像の分割は実行されない。すなわち、分割画像は生成されない。正常画像の枚数は、一例として９５０枚である。

【0059】

第１の実施例では、ベルトの幅の長さは、９００ミリメートルである。固定視野の画像の幅の長さは、５００ミリメートルである。また、ベルトの幅方向に２枚の分割画像が生成される。正常画像の枚数は、一例として９５０枚である。

【0060】

９５０枚の正常画像（異常部が撮像されていない検知用画像）と、５０枚の異常画像（異常部が撮像されている検知用画像）とについて、異常部の有無が判定される場合、第１の実施例では、第１の比較例と比較して検知精度が向上した。第１の比較例における固定視野の幅の長さと、第１の実施例における分割画像の幅の長さとが同じでも、分割画像に含まれるエッジの本数が１本に減少することによって、異常部の位置（有無）を誤検知する可能性が減少した。

【0061】

（２）第２の比較例と第１の実施例の比較
第２の比較例では、ベルトの幅の長さは、９００ミリメートルである。固定視野の画像の幅の長さは、１０００ミリメートルである。また、固定視野の画像の分割は実行されない。すなわち、分割画像は生成されない。正常画像の枚数は、一例として９５０枚である。

【0062】

９５０枚の正常画像と、５０枚の異常画像とについて、異常部の有無が判定される場合、第２の比較例における誤検知の発生率は、約８割と高い。第１の実施例では、第２の比較例と比較して検知精度が向上した。第２の比較例におけるベルトの幅の長さと、第１の実施例におけるベルトの幅の長さとが同じでも、分割画像に含まれるエッジの本数が１本に減少することによって、異常部の位置（有無）を誤検知する可能性が減少した。

【0063】

（３）第３の比較例と第１の実施例の比較
第３の比較例では、ベルトの幅の長さは、１２００ミリメートルである。分割画像の幅の長さは、６５０ミリメートルである。固定視野の画像が幅方向に分割され、幅方向に２枚の分割画像が生成された。正常画像の枚数は、一例として９５０枚である。

【0064】

９５０枚の正常画像と、５０枚の異常画像とについて、異常部の有無が判定される場合、第３の比較例における誤検知の発生率は、約４割と高い。第１の実施例では、第３の比較例と比較して検知精度が向上した。分割画像の幅の長さが５００ミリメートルを超えた場合、そのような分割画像に含まれる筋状の模様の本数が多くなることで、異常部の位置の誤検知が生じ易くなった。

【0065】

（４）第１の実施例と第２の実施例の比較
第２の実施例では、ベルトの幅の長さは、１２００ミリメートルである。分割画像の幅の長さは、２５０ミリメートルである。固定視野の画像が幅方向に分割され、幅方向に５枚の分割画像が生成された。正常画像の枚数は、一例として９５０枚である。

【0066】

９５０枚の正常画像と、５０枚の異常画像とについて、異常部の有無が判定される場合、第２の実施例における誤検知の発生率は、約１割と低い。第２の実施例では、第１の比較例と比較して検知精度が更に向上した。第２の実施例の分割画像に含まれる筋状の模様の本数が、第１の実施例の分割画像に含まれる筋状の模様の本数よりも少ないので、第２の実施例では、異常部の位置（有無）を誤検知する可能性が更に減少した。

【0067】

（５）第４の比較例と、第１の実施例及び第２の実施例との比較
上記（１）から（４）では、正常画像を用いて、正常画像の特徴量（第１特徴量）の代表値が決定された。すなわち、異常部が撮像された学習用画像（説明変数）と、異常部が有ることを表す正解データ（目的変数）とを含む教師データは、用いられていない。

【0068】

これに対して、第４の比較例では、異常部が撮像された学習用画像（説明変数）と、異常部が有ることを表す正解データ（目的変数）とを含む教師データを用いて、教師あり学習が実行された。学習用画像の枚数は、一例として５０枚である。第４の比較例では、第１の実施例及び第２の実施例と比較して、検知精度が低下した。

【0069】

また例えば、固定視野２０における時系列の１０００枚の学習用画像が準備された場合、実際には、異常部が撮像された学習用画像は５枚以下であることが多い。第１の実施例及び第２の実施例では、異常部が撮像された学習用画像が１０００枚あたり５枚以下と少なかったとしても、異常部が撮像された学習用画像を異常部の検知の機械学習に用いていないので、異常部を精度よく検知することができる。

【0070】

これに対して、第４の比較例では、異常部が含まれている学習用画像が１０００枚あたり５枚以下と少なかった場合には、十分な学習が実行されず、学習済モデルの精度を向上させることができないので、異常部を検知することができない。

【0071】

図８は、実施形態における、誤検知の発生率の第２例（異常部の種類の検知精度）を示す図である。第３の実施例と第５の比較例とにおいて、ベルトの幅の長さ（寸法）は、一例として１２００ミリメートルである。分割画像の幅の長さは、一例として２５０ミリメートルである。固定視野の画像が幅方向に分割され、幅方向に５枚の分割画像が生成された。正常画像は用いられなくてよい。正常画像が用いられる代わりに、異常部が撮像された学習用画像（説明変数）と、異常部の種類の名称（例えば、凹み大、凹み小、亀裂大、亀裂小、耳切れ、等）を表す正解データ（目的変数）とを含む教師データを用いて、教師あり学習が実行された。学習用画像の枚数は、一例として５０枚である。

【0072】

第３の実施例では、種類推定部５３５が、一例として５５枚の検知用画像を取得した。ここで、５５枚の検知用画像のうちの５０枚の検知用画像は異常部（傷）が撮像されている画像であり、異常部の位置（有無）の検知結果は正しい。これに対して、５５枚の検知用画像のうちの残りの５枚の検知用画像は異常部（傷）が撮像されていない画像であり、異常部の位置（有無）の検知結果は誤りである。種類推定部５３５は、このように検知された位置の異常部の種類（名称）を推定した。

【0073】

その結果、異常部の位置（有無）の検知結果が正しい５０枚の検知用画像について、異常部の種類の名称の正答率は１０割となった。すなわち、異常部の位置（有無）の検知結果が正しい５０枚の検知用画像について、異常部の種類の名称の誤答率は０割（＝０枚）となった。これに対して、異常部の位置（有無）の検知結果がそもそも正しくない５枚の検知用画像について、異常部の種類の名称の正答率は０割となった。すなわち、異常部の位置（有無）の検知結果がそもそも正しくない５枚の検知用画像について、異常部の種類の名称の誤答率は１０割（＝５枚）となった。したがって、第３の実施例における誤検知の発生率（異常部の種類の名称を誤る割合）は、第２の実施例と同様に、約１割となった。

【0074】

第５の比較例では、第３の実施例の教師あり学習によって生成された学習済モデルが用いられた。異常部が撮像された検知用画像の枚数は、一例として５０枚である。また、異常部が撮像されていない検知用画像の枚数は、一例として９５０枚である。合計１０００枚の検知用画像が、学習済モデルに入力された。

【0075】

その結果、異常部が撮像された５０枚の検知用画像について、学習済モデルは、正答率「５割」で、異常部の種類の正しい名称を出力した。すなわち、異常部が撮像された５０枚の検知用画像について、学習済モデルは、誤答率「５割」（２５枚＝５０×０．５）で、異常部の種類の誤った名称を出力した。

【0076】

これに対して、異常部が撮像されていない９５０枚の検知用画像について、学習済モデルは、異常部の種類の正しい名称「名称なし」を、正答率「６割」で出力した。すなわち、異常部が撮像されていない９５０枚の検知用画像について、学習済モデルは、異常部の種類の誤った名称を、誤答率「４割」（３８０枚＝９５０×０．４）で出力した。したがって、第５の比較例における誤検知の発生率（異常部の種類の名称の誤答率）は、約４割（＝（２５＋３８０）／１０００）と高い。このように、第１の実施例、第２の実施例及び第３の実施例と比較して、第５の比較例における検知精度（正答率）が低下した。

【0077】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0078】

１…検知システム、２…カメラ、３…通信回線、４…学習装置、５…検知装置、６…通知用装置、１０…搬送設備、１１…ベルト、１２…テールプーリ、１３…テンションプーリ、１４…製鉄原料、２０…固定視野、４０…学習通信部、４１…学習記憶装置、４２…学習記憶部、４３…学習処理部、５０…検知通信部、５１…検知記憶装置、５２…検知記憶部、５３…検知処理部、１００…画像、５３０…画像分割部、５３１…代表値決定部、５３２…特徴量抽出部、５３３…距離推定部、５３４…異常検知部、５３５…種類推定部、５３６…通知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】