特開 2023-181006 推定装置、学習装置、推定方法、学習方法、推定プログラム及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181006

(43)【公開日】2023-12-21

(54)【発明の名称】推定装置、学習装置、推定方法、学習方法、推定プログラム及び学習プログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20231214BHJP

   G06T 7/00 20170101ALI20231214BHJP

【ＦＩ】

G06T7/11

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022094730

(22)【出願日】2022-06-10

(71)【出願人】

【識別番号】000006655

【氏名又は名称】日本製鉄株式会社

(71)【出願人】

【識別番号】000191076

【氏名又は名称】日鉄ソリューションズ株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100134359

【弁理士】

【氏名又は名称】勝俣 智夫

(74)【代理人】

【識別番号】100188592

【弁理士】

【氏名又は名称】山口 洋

(74)【代理人】

【識別番号】100217249

【弁理士】

【氏名又は名称】堀田 耕一郎

(74)【代理人】

【識別番号】100221279

【弁理士】

【氏名又は名称】山口 健吾

(74)【代理人】

【識別番号】100207686

【弁理士】

【氏名又は名称】飯田 恭宏

(74)【代理人】

【識別番号】100224812

【弁理士】

【氏名又は名称】井口 翔太

(72)【発明者】

【氏名】品川 和之

(72)【発明者】

【氏名】淵上 知幸

(72)【発明者】

【氏名】酒井 厚彦

(72)【発明者】

【氏名】後藤 孝一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA06

5L096HA11

5L096KA04

(57)【要約】

【課題】搬送設備から落下した原料の堆積山の高さの推定精度を更に向上させることが可能である推定装置、学習装置、推定方法、学習方法、推定プログラム及び学習プログラムを提供する。
【解決手段】推定装置は、石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数とし、学習用画像における原料の堆積山の領域又は輪郭を目的変数として機械学習された学習済モデルと、範囲が撮像された推定用画像とに基づいて、推定用画像における堆積山の領域又は輪郭を推定する領域推定部と、堆積山の領域又は輪郭に基づいて堆積山の高さを推定する高さ推定部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数とし、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として機械学習された学習済モデルと、前記範囲が撮像された推定用画像とに基づいて、前記推定用画像における前記堆積山の領域又は輪郭を推定する領域推定部と、
前記堆積山の領域又は輪郭に基づいて前記堆積山の高さを推定する高さ推定部と
を備える推定装置。

【請求項2】

前記領域推定部は、前記堆積山の領域又は輪郭の形状を推定する、請求項１に記載の推定装置。

【請求項3】

石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数として、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として用いる機械学習によって、学習済モデルを生成する学習処理部
を備える学習装置。

【請求項4】

前記学習用画像は、前記範囲における水溜まりの画像と、前記範囲における所定輝度以上の明部の画像と、前記範囲における構造物の影部の画像とのうちの少なくとも一つを含む、請求項３に記載の学習装置。

【請求項5】

推定装置が実行する推定方法であって、
石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数とし、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として機械学習された学習済モデルと、前記範囲が撮像された推定用画像とに基づいて、前記推定用画像における前記堆積山の領域又は輪郭を推定するステップと、
前記堆積山の領域又は輪郭に基づいて前記堆積山の高さを推定するステップと
を含む推定方法。

【請求項6】

学習装置が実行する学習方法であって、
石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数として、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として用いる機械学習によって、学習済モデルを生成するステップ
を含む学習方法。

【請求項7】

前記学習用画像は、前記範囲における水溜まりの画像と、前記範囲における所定輝度以上の明部の画像と、前記範囲における構造物の影部の画像とのうちの少なくとも一つを含む、請求項６に記載の学習方法。

【請求項8】

コンピュータに、
石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数とし、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として機械学習された学習済モデルと、前記範囲が撮像された推定用画像とに基づいて、前記推定用画像における前記堆積山の領域又は輪郭を推定する手順と、
前記堆積山の領域又は輪郭に基づいて前記堆積山の高さを推定する手順と
を実行させるための推定プログラム。

【請求項9】

コンピュータに、
石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数として、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として用いる機械学習によって、学習済モデルを生成する手順
を実行させるための学習プログラム。

【請求項10】

前記学習用画像は、前記範囲における水溜まりの画像と、前記範囲における所定輝度以上の明部の画像と、前記範囲における構造物の影部の画像とのうちの少なくとも一つを含む、請求項９に記載の学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定装置、学習装置、推定方法、学習方法、推定プログラム及び学習プログラムに関する。

【背景技術】

【0002】

製鉄プロセス（特に、製銑プロセス）では、石炭、コークス又は鉱石等が、原料として使用される。鉱石としては、使用量の概ね８割以上を占める鉄鉱石以外に、石灰石、橄欖（かんらん）岩、硅石、ドロマイト鉱石、等がある。製鉄プロセスでは、このような原料を、搬送設備が処理設備の間で搬送する。処理設備の間の累計距離は長距離である。このため、複数のベルトコンベアと複数の乗り継ぎ設備とを有する搬送設備を用いて、原料が搬送される。

【0003】

ベルトコンベアを有する搬送設備のリターンベルトに付着した原料粉が、リターンベルトから剥離し、搬送設備から落下することがある。剥離落下には様々な原因がある。例えば、原料の剥離落下は、リターンベルトを下支えするロールとリターンベルトとの接触によって発生することがある。また、リターンベルトの振動等によって剥離落下が発生する場合には、リターンベルトに付着した原料の乾燥度に応じて、剥離落下が発生する。このため、原料が落下する位置（堆積山が形成される位置）は不定である。

【0004】

また、搬送設備から床面に原料が落下し、高さが一定以上になった堆積山の頂点が搬送設備の下部に接触することがある。原料の堆積山が搬送設備に接触することは、搬送作業の支障となる。このため、原料の堆積山は定期的に除去される必要がある。

【0005】

点検者は、搬送設備に沿って長距離を定期的に歩行しながら、原料の堆積山の高さを確認する。ここで、堆積山が形成される位置は不定であり、搬送距離も長距離であることから、点検の負荷は多大となっている。そこで、搬送設備の全体をカバーするように１台以上のカメラが搬送設備を撮像し、各カメラによって撮像された画像に基づいて堆積山の高さを判定する技術が検討されている。

【0006】

特許文献１には、原料の堆積をベルトコンベアの不良と見做し、画像による不良監視を行うことが記載されている。また、可視画像を用いて、コンベアベルトの下端から堆積山までの距離を算出することが、特許文献１に記載されている。さらに、カメラの取り付け位置の工夫によって堆積山の上端の位置を検出することが、特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－０１８９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

搬送設備から落下した原料（石炭、コークス又は鉱石）は、粉状であることが多い。このため、原料の堆積山の形状は不定である。また、堆積山の高さが増す速度は一定でない。

【0009】

仮に、堆積山が撮像された画像に基づいて人が堆積山の高さを推定する場合でも、その推定には特有の技量が必要である。例えば、原料の色は黒色又は灰色であることが多く、且つ、堆積山が形成される位置は搬送設備の影部となることが多いので、黒色又は灰色の原料と影部とが見分けづらく、堆積山の高さの推定には特有の技量が必要である。また、堆積山が形成される位置が照らされても新たな影部が生じるので、黒色又は灰色の原料と新たな影部とが見分けづらく、堆積山の高さを推定することは困難である。

【0010】

特許文献１の方法でも、堆積山の上端の位置が精度よく特定できるとは限らないので、堆積山の高さを精度よく算出できるとは限らない。また、機械学習（教師あり学習）された学習済モデルを単に用いて画像認識が実行され、画像認識の結果に基づいて堆積山の高さが推定される場合も同様である。

【0011】

画像認識用の画像を生成するために設置されたカメラは、堆積山が形成される位置を含む所定の撮像範囲を、動画（時系列の静止画）で撮像する。１台のカメラの撮像範囲は、搬送設備の側面の一部と、搬送設備の背面（上部）の一部と、搬送設備の下部の一部と、搬送設備が設置された床面の一部とを含む。

【0012】

教師データは、学習データと正解ラベルとの組み合わせである。学習データは、堆積山が形成される位置を含む所定の撮像範囲が撮像された静止画である。また、正解ラベルは、堆積山の高さである。正解ラベルにおける堆積山の高さは、堆積山の高さの実測値でもよいし、堆積山の画像に基づいて人が算出した高さでもよい。

【0013】

しかしながら、このような教師データを用いて学習された学習済モデルでは、堆積山の高さの推定精度を向上させることができない。なぜなら、堆積山の頂点以外の位置が堆積物の頂点の位置として、学習済モデルによって誤認識されることがあるからである。このような誤認識の検証実験の一例として、計１０箇所の各堆積山が撮影され、堆積山ごとに５０～１５０枚の静止画（計１０００枚の静止画）が用意された。また、教師データを用いて機械学習（ディープラーニング）された学習済モデルが、堆積山の画像に基づいて堆積山の高さを推定する画像認識モデルとして生成された。このような検証実験では、高さの推定誤差が３割以内となる確率（正答率）は、一例として、わずか２割以下であった。このように、搬送設備から落下した原料の堆積山の高さの推定精度を向上させることができないという問題がある。

【0014】

上記事情に鑑み、本発明は、搬送設備から落下した原料の堆積山の高さの推定精度を向上させることが可能である推定装置、学習装置、推定方法、学習方法、推定プログラム及び学習プログラムを提供することを目的としている。

【課題を解決するための手段】

【0015】

本発明の一態様は、石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数とし、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として機械学習された学習済モデルと、前記範囲が撮像された推定用画像とに基づいて、前記推定用画像における前記堆積山の領域又は輪郭を推定する領域推定部と、前記堆積山の領域又は輪郭に基づいて前記堆積山の高さを推定する高さ推定部とを備える推定装置である。

【0016】

本発明の一態様は、上記の推定装置であって、前記領域推定部は、前記堆積山の領域又は輪郭の形状を推定する。

【0017】

本発明の一態様は、石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数として、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として用いる機械学習によって、学習済モデルを生成する学習処理部を備える学習装置である。

【0018】

本発明の一態様は、上記の推定装置が実行する推定方法であって、石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数とし、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として機械学習された学習済モデルと、前記範囲が撮像された推定用画像とに基づいて、前記推定用画像における前記堆積山の領域又は輪郭を推定するステップと、前記堆積山の領域又は輪郭に基づいて前記堆積山の高さを推定するステップとを含む推定方法である。

【0019】

本発明の一態様は、上記の学習装置が実行する学習方法であって、石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数として、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として用いる機械学習によって、学習済モデルを生成するステップを含む学習方法である。

【0020】

本発明の一態様は、コンピュータに、石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数とし、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として機械学習された学習済モデルと、前記範囲が撮像された推定用画像とに基づいて、前記推定用画像における前記堆積山の領域又は輪郭を推定する手順と、前記堆積山の領域又は輪郭に基づいて前記堆積山の高さを推定する手順とを実行させるための推定プログラムである。

【0021】

本発明の一態様は、コンピュータに、石炭、コークス又は鉱石である原料の搬送設備の側面の少なくとも一部を含む範囲が撮像された学習用画像を説明変数として、前記学習用画像における前記原料の堆積山の領域又は輪郭を目的変数として用いる機械学習によって、学習済モデルを生成する手順を実行させるための学習プログラムである。

【発明の効果】

【0022】

本発明により、搬送設備から落下した原料の堆積山の高さの推定精度を向上させることが可能である。

【図面の簡単な説明】

【0023】

【図1】第１実施形態における、推定システムの構成例を示す図である。

【図2】第１実施形態における、撮像範囲の例を示す図である。

【図3】第１実施形態における、学習用画像の例を示す図である。

【図4】第１実施形態における、正解ラベルの例を示す図である。

【図5】第１実施形態における、推定用画像の例を示す図である。

【図6】第１実施形態における、出力画像の例を示す図である。

【図7】第１実施形態における、学習装置の動作例を示すフローチャートである。

【図8】第１実施形態における、推定装置の動作例を示すフローチャートである。

【図9】第２実施形態における、学習用画像の例を示す図である。

【発明を実施するための形態】

【0024】

本発明の実施形態について、図面を参照して詳細に説明する。
（概要）
教師データでは、学習データ（学習用画像）と正解ラベルとが対応付けられている。以下では、正解ラベルは、学習用画像における堆積山（堆積山画像）の領域の形状を表すラベル情報である。正解ラベルは、学習用画像における堆積山の領域の形状及び位置（分布）を表すラベル情報でもよい。正解ラベルは、学習用画像における堆積山の領域の面積を表すラベル情報でもよい。堆積山の領域の面積と、堆積山の領域の高さとには、ある程度の相関があるからである。すなわち、領域の面積が大きいほどその領域の高さが高くなるという相関がある。また、堆積山の高さは、学習用画像における堆積山の領域の形状に基づいて、算術的な手法（例えば、画像における長さと実測された高さとの比例計算）で導出される。

【0025】

更に、正解ラベルは、堆積山の高さを表すラベル情報を含んでもよい。この場合、堆積山の高さは、学習用画像における堆積山の領域の形状に基づいて、機械学習された学習済モデルの出力として導出されてもよい。

【0026】

（第１実施形態）
図１は、実施形態における、推定システム１の構成例を示す図である。推定システム１は、原料の堆積山が撮像された画像を用いて堆積山の高さを推定するシステムである。原料は、例えば、石炭、コークス又は鉱石である。鉱石としては、鉄鉱石、石灰石、橄欖（かんらん）岩、硅石、ドロマイト鉱石、等が例示される。

【0027】

推定システム１は、Ｎ台（Ｎは、１以上の整数）のカメラ２と、通信回線３と、学習装置４と、推定装置５と、通知用装置６とを備える。学習装置４は、学習用通信部４０と、学習用記憶装置４１と、学習用記憶部４２と、学習処理部４３とを備える。推定装置５は、推定用通信部５０と、推定用記憶装置５１と、推定用記憶部５２と、推定処理部５３とを備える。推定処理部５３は、領域推定部５３０と、高さ推定部５３１と、通知部５３２とを備える。

【0028】

通信回線３は、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等の回線である。

【0029】

学習装置４、推定装置５及び通知用装置６の各装置のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）である記憶装置から記憶部に展開されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。

【0030】

学習装置４、推定装置５及び通知用装置６の各装置のうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0031】

カメラ２は、搬送設備１０の側面方向に所定距離だけ離れた位置において、搬送設備１０に向けて設置される。カメラ２は、所定の撮像範囲を、例えば動画で撮像する。動画は、時系列の静止画（フレーム）を含む。撮像範囲は、例えば、搬送設備１０の側面の少なくとも一部を含む範囲である。カメラ２は、撮像範囲を定期的に静止画で撮像してもよい。カメラ２は、可視光領域について撮像範囲を撮像してもよいし、赤外線領域について撮像範囲を撮像してもよい。カメラ２は、通信回線３を介して、撮像範囲の画像を推定装置５に送信する。

【0032】

学習段階において、撮像範囲の画像は、学習装置４によって学習用画像として用いられる。カメラ２は、通信回線３を介して、撮像範囲の画像を学習装置４に送信する。また、学習段階後の推定段階において、撮像範囲の画像は、推定装置５によって推定用画像として用いられる。

【0033】

図２は、第１実施形態における、撮像範囲１００の例を示す図である。搬送設備１０は、ベルトコンベアを備える。ベルトコンベアの全長は、例えば５０ｍである。搬送設備１０は、ベルト１１と、キャリアローラ１２と、ヘッドプーリ１３と、ベルトクリーナ１４と、テンションプーリ１５と、リターンローラ１６と、テールプーリ１７とを備える。夜間において、撮像範囲１００は、照明装置（不図示）によって照明されてもよい。

【0034】

搬送設備１０は、石炭、コークス又は鉱石等の原料を、ベルト１１に載せて搬送する。ここで、原料の一部がベルト１１から落下する場合がある。落下した原料は、搬送設備１０が設置されている床面に堆積する。これによって、床面の一部には原料の堆積山が形成される。堆積山が形成される位置は不定である。また、堆積山の形状も不定である。

【0035】

図２では、一例として、堆積山１０１と堆積山１０２とが、床面の一部に形成される。図２では、撮像範囲１００は、搬送設備１０の側面の少なくとも一部を含む範囲である。カメラごとの撮像範囲１００は、搬送設備１０の側面の一部と、搬送設備１０の背面（上部）の一部と、搬送設備１０の下部の一部と、搬送設備１０が設置された床面の一部とを含む。図２では、撮像範囲１００－１は、カメラ２－１によって撮像される範囲である。撮像範囲１００－Ｎは、カメラ２－Ｎによって撮像される範囲である。

【0036】

例えば堆積山１０１の高さが閾値（例えば、２ｍ）を超えた場合、堆積山１０１の頂点が例えばベルト１１の下部に接触することがある。高さが閾値を超えた堆積山１０１の頂点がベルト１１の下部に接触する前に、堆積山１０１は作業者（不図示）によって除去される必要がある。

【0037】

そこで、推定装置５は、各撮像範囲１００における堆積山の高さを推定する。例えば、推定装置５は、堆積山１０１の高さ（推定値）が閾値以上である場合、所定の情報を通知用装置６に通知する。所定の情報とは、例えば、堆積山１０１の高さが閾値以上であることを表す警報情報である。作業者（不図示）は、通知用装置６に通知された警報情報を確認することによって、撮像範囲１００－１における堆積山１０１が除去される必要があることを認識する。

【0038】

＜学習段階＞
カメラ２－ｎ（ｎは、１からＮまでのいずれかの整数）は、搬送設備１０の側面の少なくとも一部を含む撮像範囲１００－ｎを撮像する。カメラ２－ｎは、撮像範囲１００－ｎの画像を、学習用通信部４０に送信する。学習用通信部４０は、撮像範囲１００－ｎの画像を学習用画像として、カメラ２－ｎから取得する。

【0039】

図１に示された学習用記憶装置４１は、機械学習（教師あり学習）に用いられる教師データを記憶する。教師データは、複数の学習用画像（説明変数）と、複数の正解ラベル（目的変数）とを含む。教師データでは、学習用画像（学習データ）と、正解ラベルとが対応付けられている。教師データは、例えば作成者（不図示）によって予め作成される。学習用記憶装置４１は、学習処理部４３によって実行される学習プログラムを記憶する。学習用記憶装置４１に記憶された学習プログラムは、学習装置４の起動時に、学習用記憶部４２に展開される。学習処理部４３は、複数の学習用画像と複数の正解ラベルとを含む教師データを、学習用記憶装置４１から取得する。

【0040】

図３は、第１実施形態における、学習用画像１１０の例を示す図である。カメラ２－１は、学習用画像１１０を生成する。学習用画像１１０は、撮像範囲１００における搬送設備１０の側面の画像と、撮像範囲１００－１における堆積山１０１（堆積山画像１０３）とを含む。

【0041】

図４は、第１実施形態における、正解ラベル１１１の例を示す図である。正解ラベル１１１は、学習用画像１１０における堆積山１０１（堆積山画像１０３）の領域の形状及び位置を表すラベル情報である。正解ラベル１１１は、領域画像２００を含む。ここで、堆積山１０１の領域の形状と、領域画像２００の形状とが一致するように、領域画像２００の形状は予め定められる。また、学習用画像１１０における堆積山１０１の領域の位置と、正解ラベル１１１における領域画像２００の位置とが一致するように、正解ラベル１１１における領域画像２００の位置は予め定められる。

【0042】

正解ラベル１１１は、学習用画像１１０における堆積山１０１（堆積山画像１０３）の輪郭（輪郭線）を表すラベル情報でもよい。ここで、堆積山画像１０３の輪郭の形状と領域画像２００の輪郭の形状とが一致するように、領域画像２００の輪郭の形状は予め定められる。

【0043】

なお、正解ラベル１１１は、堆積山１０１の高さ情報を含んでもよい。これによって、学習済モデル（画像認識モデル）の出力として、堆積山の高さの推定結果を得ることが可能である。また、正解ラベル１１１は、正解ラベル１１１における領域画像２００の頂点２０１（上端）及び下端の位置情報（座標）を含んでもよい。

【0044】

図１に示された学習処理部４３は、学習用画像（説明変数）及び正解ラベル（目的変数）を教師データとして用いる機械学習（教師あり学習）によって、学習済モデルを画像認識モデルとして生成する。機械学習の手法として、例えば、深層学習（ディープラーニング）が用いられる。学習処理部４３は、学習モデルのニューラルネットワークのパラメータを例えば誤差逆伝播法で更新することによって、学習済モデルを生成する。例えば、学習用画像１１０における堆積山１０１（堆積山画像１０３）の領域の形状及び位置の推定結果が、正解ラベル１１１における領域画像２００の領域の形状及び位置に対して誤差を有する場合、学習処理部４３は、その誤差が少なくなるように、学習モデルのニューラルネットワークのパラメータを更新する。ニューラルネットワークは、例えば、畳み込みニューラルネットワークである。

【0045】

機械学習は、１台のカメラ２（撮像範囲１００）ごとに実行されてもよいし、複数のカメラ２（複数の撮像範囲１００）ごとに実行されてもよい。学習処理部４３は、学習用通信部４０を介して、学習済モデルを推定装置５に送信する。

【0046】

＜推定段階＞
カメラ２－ｎは、搬送設備１０の側面の少なくとも一部を含む撮像範囲１００－ｎを撮像する。カメラ２－ｎは、撮像範囲１００－ｎの画像を、推定用通信部５０に送信する。推定用通信部５０は、撮像範囲１００－ｎの画像を推定用画像として、カメラ２－ｎから取得する。

【0047】

推定用画像は、推定用画像における堆積山の領域又は輪郭の推定に用いられる。堆積山の領域又は輪郭の推定結果は、実空間における堆積山の高さの推定に用いられる。実空間における堆積山の高さの推定には、算術的な手法が用いられてもよいし、機械学習の手法が用いられてもよい。

【0048】

なお、推定用画像には、堆積山の画像が含まれていてもよいし、堆積山の画像が含まれていなくてもよい。推定用画像に堆積山の画像が含まれていない場合、その推定用画像に対応付けられた撮像範囲には堆積山が形成されていないので、堆積山の高さの推定値は零である。

【0049】

推定用記憶装置５１は、推定処理部５３によって実行される推定プログラムと、学習済モデルとを記憶する。推定用記憶装置５１に記憶された推定プログラム及び学習済モデルは、推定装置５の起動時に、推定用記憶部５２に展開される。

【0050】

図５は、第１実施形態における、推定用画像１２０の例を示す図である。カメラ２－１は、推定用画像１２０を生成する。推定用画像１２０の撮影時刻は、学習用画像１１０の撮影時刻よりも後である。推定用画像１２０は、撮像範囲１００－１における搬送設備１０の側面の画像と、撮像範囲１００－１における堆積山（堆積山画像１０４）とを含む。

【0051】

領域推定部５３０は、撮像範囲１００が撮像された推定用画像１２０を、推定用記憶装置５１から取得する。領域推定部５３０は、学習済モデル及び推定用画像１２０に基づいて、推定用画像１２０における堆積山（堆積山画像１０４）の領域又は輪郭を推定する。ここで、領域推定部５３０は、学習済モデルに推定用画像１２０を入力する。領域推定部５３０は、堆積山の領域又は輪郭の推定結果である出力画像を、学習済モデルから取得する。

【0052】

図６は、第１実施形態における、出力画像１３０の例を示す図である。出力画像１３０は、領域画像２０２を含む。領域画像２０２の形状は、堆積山（堆積山画像１０４）の領域の形状の推定結果である。出力画像１３０における領域画像２０２の位置は、推定用画像１２０における堆積山の領域の位置の推定結果である。推定用画像１２０における堆積山の領域の形状及び位置と、出力画像１３０における領域画像２０２の形状及び位置とは、機械学習の成果として一致している。

【0053】

高さ推定部５３１は、出力画像１３０における領域画像２０２の高さに基づいて、堆積山の高さを推定する。高さ推定部５３１は、例えば、領域画像２０２に対する算術的な手法を用いて堆積山の高さを推定する。算術的な手法とは、例えば、比例計算である。出力画像１３０における頂点２０３（上端）から下端までの長さは、実空間における堆積山の高さに比例する。

【0054】

なお、正解ラベルが堆積山の高さ情報を含んでいる場合、高さ推定部５３１は、推定用画像を入力として高さを出力する学習済モデルを用いて、堆積山の高さを推定してもよい。

【0055】

通知部５３２は、堆積山の高さが閾値以上であるか否かを判定する。通知部５３２は、堆積山の高さが閾値以上である場合、所定の情報を通知用装置６に通知する。通知部５３２は、例えば、堆積山の高さが閾値以上であることを表す警報情報を、所定の情報として通知用装置６に通知する。

【0056】

次に、推定システム１の動作例を説明する。
図７は、第１実施形態における、学習装置４の動作例を示すフローチャートである。学習段階において、学習処理部４３は、学習用画像を説明変数として、学習用記憶装置４１から取得する（ステップＳ１０１）。学習処理部４３は、原料の堆積山の領域又は輪郭を目的変数として、学習用記憶装置４１から取得する（ステップＳ１０２）。

【0057】

学習処理部４３は、学習用画像を説明変数とし、学習用画像における原料の堆積山の領域又は輪郭を目的変数として用いる機械学習によって、学習済モデルを生成する（ステップＳ１０３）。学習処理部４３は、学習用通信部４０を介して、学習済モデルを推定装置５に出力する（ステップＳ１０４）。

【0058】

図８は、第１実施形態における、推定装置５の動作例を示すフローチャートである。推定段階において、領域推定部５３０は、学習済モデルを推定用記憶装置５１から取得する（ステップＳ２０１）。領域推定部５３０は、撮像範囲１００が撮像された推定用画像を、推定用記憶装置５１から取得する（ステップＳ２０２）。

【0059】

領域推定部５３０は、学習済モデルに推定用画像１２０を入力する（ステップＳ２０３）。領域推定部５３０は、学習済モデルの出力画像１３０の領域画像２０２に基づいて、推定用画像１２０における堆積山（堆積山画像１０４）の領域を推定する。領域推定部５３０は、学習済モデルの出力画像１３０の領域画像２０２の輪郭に基づいて、推定用画像１２０における堆積山の領域の輪郭を推定してもよい（ステップＳ２０４）。高さ推定部５３１は、堆積山の領域又は輪郭の推定結果に基づいて、堆積山の高さを推定する（ステップＳ２０５）。

【0060】

通知部５３２は、堆積山の高さが閾値以上であるか否かを判定する（ステップＳ２０６）。堆積山の高さが閾値未満であると判定された場合（ステップＳ２０６：ＮＯ）、推定処理部５３は、ステップＳ２０２に処理を戻す。堆積山の高さが閾値以上であると判定された場合（ステップＳ２０６：ＹＥＳ）、通知部５３２は、所定の情報を通知用装置６に通知する（ステップＳ２０７）。

【0061】

以上のように、学習処理部４３は、原料の搬送設備１０の側面の少なくとも一部を含む範囲が撮像された学習用画像（例えば、学習用画像１１０等の複数の画像）を説明変数として、学習用画像における原料の堆積山の領域又は輪郭を目的変数として用いる機械学習によって、学習済モデルを生成する。領域推定部５３０は、このような学習済モデルを取得する。領域推定部５３０は、搬送設備１０の側面の少なくとも一部を含む範囲が撮像された推定用画像（例えば、推定用画像１２０）と学習済モデルとに基づいて、推定用画像における堆積山の領域又は輪郭を推定する。高さ推定部５３１は、堆積山の領域又は輪郭に基づいて堆積山の高さを推定する。

【0062】

これによって、搬送設備から落下した原料の堆積山の高さの推定精度を向上させることが可能である。例えば、高さの推定誤差が３割以内となる確率（正答率）を、一例として８割以上に向上させることが可能である。清掃が必要になった場合に堆積物を除去することが可能であることから、清掃の監視負荷及び頻度を低減することが可能である。

【0063】

（第２実施形態）
第２実施形態では、教師データにおける複数の学習用画像のうちの１枚以上の学習用画像に所定の外乱因子が撮像されている点が、第１実施形態との相違点である。第２実施形態では、第１実施形態との相違点を中心に説明する。

【0064】

図９は、第２実施形態における、学習用画像１１２の例を示す図である。学習用画像１１２は、堆積山の高さの推定に関する外乱因子を含む。例えば、風で原料が舞い上がることを防止する目的で、搬送設備１０が設置されている床面に大量の水がまかれることがある。外乱因子は、例えば、撮像範囲１００における水溜まりの画像である。水溜まり（水面）に反射された画像には、明部と構造物の暗部と映り込むことがある。構造物の暗部と原料の堆積山の色とがいずれも黒色系であることから、構造物の暗部と原料の堆積山の黒色との識別は困難である。また、時間の経過とともに水溜まりが床面に吸収され、水溜まりの形状が縮小することから、水溜まりは堆積山の領域の形状の推定における外乱因子となる。

【0065】

外乱因子は、撮像範囲１００における所定輝度以上の明部の画像でもよい。明部は、日照による明部でもよいし、昼間又は夜間の照明による明部でもよいし、撮像時のフラッシュ光源による明部でもよい。外乱因子は、撮像範囲１００における構造物の影部の画像でもよい。

【0066】

以上のように、学習用画像１１２は、撮像範囲１００における水溜まりの画像と、撮像範囲１００における所定輝度以上の明部の画像と、撮像範囲１００における構造物の影部の画像とのうちの少なくとも一つを含む。

【0067】

これによって、学習済モデルが外乱因子に対する耐性を獲得するので、搬送設備から落下した原料の堆積山の高さの推定精度を更に向上させることが可能である。

【0068】

例えば、教師データにおける複数（計１０００枚）の学習用画像のうちの１００枚の学習用画像は、床面における明部（日照部）と、その明部に隣接する影部（ケーブルの影部）とが撮像されている画像でもよい。また、教師データにおける複数（計１０００枚）の学習用画像のうちの他の１００枚の学習用画像は、水溜まりが撮像されている画像でもよい。このような教師データを用いて機械学習された学習済モデルでは、正答率は、一例として９割を超える。

【0069】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0070】

１…推定システム、２…カメラ、３…通信回線、４…学習装置、５…推定装置、６…通知用装置、１０…搬送設備、１１…ベルト、１２…キャリアローラ、１３…ヘッドプーリ、１４…ベルトクリーナ、１５…テンションプーリ、１６…リターンローラ、１７…テールプーリ、４０…学習用通信部、４１…学習用記憶装置、４２…学習用記憶部、４３…学習処理部、５０…推定用通信部、５１…推定用記憶装置、５２…推定用記憶部、５３…推定処理部、１００…撮像範囲、１０１…堆積山、１０２…堆積山、１０３…堆積山画像、１０４…堆積山画像、１１０…学習用画像、１１１…正解ラベル、１１２…学習用画像、１２０…推定用画像、１３０…出力画像、２００…領域画像、２０１…頂点、２０２…領域画像、２０３…頂点、３００…水溜まり画像、５３０…領域推定部、５３１…高さ推定部、５３２…通知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】