特開 2024-30224 情報処理装置、情報処理装置の制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024030224

(43)【公開日】2024-03-07

(54)【発明の名称】情報処理装置、情報処理装置の制御方法およびプログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240229BHJP

   G06T 7/00 20170101ALI20240229BHJP

   G06Q 50/10 20120101ALI20240229BHJP

【ＦＩ】

G06T7/11

G06T7/00 350C

G06Q50/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022132926

(22)【出願日】2022-08-24

(71)【出願人】

【識別番号】591063202

【氏名又は名称】産業振興株式会社

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】河村 圭造

(72)【発明者】

【氏名】池田 健児

(72)【発明者】

【氏名】小泉 真志

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】佐々木 均

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC12

5L096AA09

5L096BA08

5L096DA02

5L096FA02

5L096FA69

5L096FA70

5L096HA11

5L096KA04

(57)【要約】

【課題】スクラップをより定量的な区分で管理できるようにする。
【解決手段】形態の異なる複数のスクラップが混在したスクラップ集合体を撮影した撮影画像を取得する画像取得手段と、画像内におけるスクラップの形態ごとの特徴領域の位置および当該形態の嵩比重を教師データとして学習された学習済みモデルを用いて、前記画像取得手段によって取得された撮影画像において形態ごとに領域を区分けするとともに、形態ごとの嵩比重を推定する推定手段と、前記推定手段の推定結果を用いて、前記画像取得手段によって取得された撮影画像のスクラップ集合体全体の嵩比重を出力する出力手段と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

形態の異なる複数のスクラップが混在したスクラップ集合体を撮影した撮影画像を取得する画像取得手段と、
画像内におけるスクラップの形態ごとの特徴領域の位置および当該形態の嵩比重を教師データとして学習された学習済みモデルを用いて、前記画像取得手段によって取得された撮影画像において形態ごとに領域を区分けするとともに、形態ごとの嵩比重を推定する推定手段と、
前記推定手段の推定結果を用いて、前記画像取得手段によって取得された撮影画像のスクラップ集合体全体の嵩比重を出力する出力手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記撮影したスクラップ集合体の三次元位置測定によって得られた前記スクラップ集合体の形状から当該スクラップ集合体の体積を算出する体積取得手段をさらに備え、
前記出力手段は、前記スクラップ集合体全体の嵩比重と、前記体積取得手段によって取得された体積とを用いて、当該スクラップ集合体の重量を算出することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記撮影画像は、スクラップ山を構成するスクラップ集合体を撮影した画像であり、
前記出力手段は、前記スクラップ山の重量を在庫として算出することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記学習済みモデルを更新する更新手段をさらに備え、
前記体積取得手段は、スクラップ山から積み込みを行ったことによるスクラップ山の体積の減少分を算出し、
前記出力手段は、前記積み込みされた積荷の重量と前記体積の減少分とから、前記積荷の嵩比重を算出し、
前記更新手段は、前記出力手段によって算出された嵩比重に基づいて前記学習済みモデルを更新することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記撮影画像は、スクラップ山から吊り上げられたスクラップ集合体を撮影した画像であり、
前記出力手段は、前記スクラップ山から吊り上げられたスクラップ集合体の重量を算出することにより、積み込み量を通知することを特徴とする請求項２に記載の情報処理装置。

【請求項6】

スクラップ集合体の撮影画像を入力データとし、前記教師データを用いて機械学習することにより前記学習済みモデルを生成する学習手段をさらに備えることを特徴とする請求項１～５の何れか１項に記載の情報処理装置。

【請求項7】

形態の異なる複数のスクラップが混在したスクラップ集合体を撮影した撮影画像を取得する画像取得工程と、
画像内におけるスクラップの形態ごとの特徴領域の位置および当該形態の嵩比重を教師データとして学習された学習済みモデルを用いて、前記画像取得工程において取得された撮影画像において形態ごとに領域を区分けするとともに、形態ごとの嵩比重を推定する推定工程と、
前記推定工程の推定結果を用いて、前記画像取得工程において取得された撮影画像のスクラップ集合体全体の嵩比重を出力する出力工程と、
を備えることを特徴とする情報処理装置の制御方法。

【請求項8】

形態の異なる複数のスクラップが混在したスクラップ集合体を撮影した撮影画像を取得する画像取得工程と、
画像内におけるスクラップの形態ごとの特徴領域の位置および当該形態の嵩比重を教師データとして学習された学習済みモデルを用いて、前記画像取得工程において取得された撮影画像において形態ごとに領域を区分けするとともに、形態ごとの嵩比重を推定する推定工程と、
前記推定工程の推定結果を用いて、前記画像取得工程において取得された撮影画像のスクラップ集合体全体の嵩比重を出力する出力工程と、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特に、スクラップを管理するために用いて好適な情報処理装置、情報処理装置の制御方法およびプログラムに関する。

【背景技術】

【0002】

近年、カーボンニュートラルといった社会の実現に向けて、高級鋼の製造に適した技術として、高炉法による製鉄技術から二酸化炭素の排出量の少ない電気炉法による鉄鋼製造技術へのニーズが高まってきている。電気炉法においては、鉄系スクラップを再利用することから、スクラップの需要も高くなってきている。こうしたスクラップの需要の高まりを受けて、スクラップの価格が上昇しており、今後も価格が高位で推移することが予測されている。

【0003】

また、電気炉法による鉄鋼製造技術へのニーズの高まりに伴い、スクラップを管理するシステムの構築も重要になっている。図３には、スクラップを管理する区分の例を示す。スクラップの品種の一例としては、ヘビー屑、プレス屑、シュレッダー屑、新断などが挙げられ、これ以外の品種も数多く存在する。また、これらの品種は、それぞれスクラップのサイズによって２～５種類程度の等級に分けられる。このように区分で管理されたスクラップを配合調整することにより、スクラップが再利用される。

【0004】

一方で、スクラップの区分は操業オペレーターの経験に頼っており、大まかで、定量的な評価がないのが実態であり、スクラップの検定員や検収員、操業オペレーターの経験に基づいた等級の管理や工場操業の長年の経験に基づいた配合調整が行われているのが現状である。そこで特許文献１には、鉄スクラップの集合の画像を入力データとし、各等級の割合を教師データとして機械学習により予め構築された学習済みモデルを用い、カメラにより生成された画像から、鉄スクラップに含まれる各等級の割合を推定するスクラップ等級判定システムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－９５７０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一般的に、電気炉に供給するスクラップの嵩比重が電気炉ならびに製鋼工場の操業に大きく影響することが知られている。嵩比重によって炉当たりの出鋼量が左右され、エネルギー原単位にも大きな影響を及ぼすが、電気炉に投入する前にスクラップの嵩比重を定量的に把握してないのが現状であり、スクラップの形態の区分や重量の精度については依然としてオペレーターの経験に頼っている。

【0007】

また、スクラップヤードに於いては、体積を目視で測定し、品種や等級別に長年の経験により積み上げた嵩比重を用いて在庫の棚卸が行われる。しかしながら、等級は同じでも形態が異なることによって嵩比重は大きく異なり、在庫棚卸の精度には大きな問題があった。そこで、積み上げた嵩比重データに信ぴょう性が低い場合は、在庫山から一定量のスクラップの集合を取り出し、内法の判明している容器に入れ、毎回、嵩比重を計測する必要があった。また、嵩比重の計測を、代表するスクラップの集合で行っても、スクラップの等級や区分が同じでも当該山のスクラップが同じ形態で同じような嵩比重である保証はなく、在庫山の体積測定を行っても、在庫重量の精度は低いものであった。

【0008】

特許文献１に記載の技術では、スクラップ山もしくはクレーン等で積み上げたスクラップの集合から、上述した品種および等級の割合を推定するための技術であるが、等級内の形態の違いや形態の違いによる嵩比重の違いは判定することができない。また、特許文献１に記載の技術では、重量を推定する学習モデルを機械学習により構築するとしているが、スクラップの集合を撮影した画像を学習しても重量を推定することは困難であり、スクラップの重量を推定するには精度が不十分である。

【0009】

本発明は前述の問題点に鑑み、スクラップをより定量的な区分で管理できるようにすることを目的とする。

【課題を解決するための手段】

【0010】

本発明に係る情報処理装置は、形態の異なる複数のスクラップが混在したスクラップ集合体を撮影した撮影画像を取得する画像取得手段と、画像内におけるスクラップの形態ごとの特徴領域の位置および当該形態の嵩比重を教師データとして学習された学習済みモデルを用いて、前記画像取得手段によって取得された撮影画像において形態ごとに領域を区分けするとともに、形態ごとの嵩比重を推定する推定手段と、前記推定手段の推定結果を用いて、前記画像取得手段によって取得された撮影画像のスクラップ集合体全体の嵩比重を出力する出力手段と、を備えることを特徴とする。

【0011】

本発明に係る情報処理装置の制御方法は、形態の異なる複数のスクラップが混在したスクラップ集合体を撮影した撮影画像を取得する画像取得工程と、画像内におけるスクラップの形態ごとの特徴領域の位置および当該形態の嵩比重を教師データとして学習された学習済みモデルを用いて、前記画像取得工程において取得された撮影画像において形態ごとに領域を区分けするとともに、形態ごとの嵩比重を推定する推定工程と、前記推定工程の推定結果を用いて、前記画像取得工程において取得された撮影画像のスクラップ集合体全体の嵩比重を出力する出力工程と、を備えることを特徴とする。

【0012】

本発明に係るプログラムは、形態の異なる複数のスクラップが混在したスクラップ集合体を撮影した撮影画像を取得する画像取得工程と、画像内におけるスクラップの形態ごとの特徴領域の位置および当該形態の嵩比重を教師データとして学習された学習済みモデルを用いて、前記画像取得工程において取得された撮影画像において形態ごとに領域を区分けするとともに、形態ごとの嵩比重を推定する推定工程と、前記推定工程の推定結果を用いて、前記画像取得工程において取得された撮影画像のスクラップ集合体全体の嵩比重を出力する出力工程と、をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0013】

本発明によれば、スクラップをより定量的な区分で管理することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係るスクラップ推定システムの概略を説明するための図である。

【図2】本発明の実施形態における情報処理装置の機能構成例を示すブロック図である。

【図3】品種および等級によるスクラップの区分を説明するための図である。

【図4】同一等級内での嵩比重のばらつきを説明するための図である。

【図5】本発明の実施形態において、撮影画像内の同一形態と嵩比重とを紐付ける学習済みモデルを生成する処理手順の一例を示すフローチャートである。

【図6】同一形態の部分が区分けされた撮影画像の例を示す図である。

【図7】本発明の実施形態において、スクラップ山全体の嵩比重を推定して出力する処理手順の一例を示すフローチャートである。

【図8】品種、等級および嵩比重によるスクラップの区分けを説明するための図である。

【図9】本発明の実施形態において、学習済みモデルを更新する処理手順の一例を示すフローチャートである。

【図10】本発明の実施形態において、ダンプへの積込み量を通知する処理手順の一例を示すフローチャートである。

【図11】本発明の実施形態において、在庫であるスクラップ山の重量を算出する処理手順の一例を示すフローチャートである。

【図12】本発明の実施形態における情報処理装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

本実施形態では、スクラップの集合体の形態別の嵩比重を学習した上、正確な体積を三次元位置測定装置で測定した形状に基づいて算出してその体積と嵩比重から重量を算出する。更には、その重量と体積とから嵩比重を逆算して機械学習により学習済みモデルを更新していくことを繰り返す。これにより、形態と嵩比重とを紐付けし、形態別の嵩比重を精度よく把握し、嵩比重をスクラップの等級判定に定量的指標として導入することを特徴とする。かかる嵩比重は三次元位置測定と組み合わせることで精度の高い在庫重量を提供するものである。また、ダンプ等への積み込みを行う際にも、体積から積み込み重量を算定でき、積載重量上限以下に効率的に積み込むことも可能とする。

【0016】

本実施形態では、重機やクレーンに架装されたリフティングマグネットに、同一性の高いスクラップの集合体を吊り上げ、複数の方向からスクラップを撮影するカメラから、同一性の高いスクラップの集合体の画像を撮影する。そして、内法を正確に測定したダンプ等に、スクラップの形態に同一性が高いスクラップの集合体を積み込み、スクラップヤードの入り口に備えられた車両ごと重量を測定する秤量機にかけて秤量して嵩比重を求め、形態の画像と嵩比重との関係を機械学習させることにより、形態と嵩比重との関係を連続的な相関をもって把握させる。

【0017】

また、在庫としてスクラップ山の重量を測定する際には、従前は目視の体積測定と経験的に把握していた嵩比重によって山の重量を求めていたが、極めて精度が低く、同じ品種区分内でも、形態が異なるスクラップの集合体であるため、形態によって嵩比重に差が生じ、在庫山の重量に誤差を生じていた。そこで本実施形態では、在庫であるスクラップ山の体積を、ドローンなどを活用して三次元位置測定し、機械学習した形態別の嵩比重を用いて形態別の重量を把握し、加重平均することによってスクラップ山の重量を高精度に把握することができる。

【0018】

さらに本実施形態では、秤量機によって重量の判明している積荷と、スクラップ山の三次元位置測定を継続的に実施することによって測定されるスクラップ山の体積の増減との関係によって逆算した嵩比重を用い、その学習の軽重によって機械学習によって生成された学習済みモデルを常時更新するようにしている。これにより、連続した形態と嵩比重との関係性に於いて、より嵩比重の精度を向上させることができる。

【0019】

また、ダンプ等にスクラップを積み込む際にスクラップの輸送効率を向上させるためには、最大積載量の基準を守りつつ、目標以上の積み込み重量を確保することが重要である。従来は、オペレーターがリフティングマグネットで積み込んだ回数をカウントして調整するなど勘に頼った操業が行われており、秤量機で重量を測定して目標の積み込み重量に達していない場合には、積み込み場所に戻って、再積み込みの調整が必要であった。そこで本実施形態では、積み込みの都度、リフティングマグネットに吊り上げられたスクラップ集合体の嵩比重を推定するとともに三次元位置測定などの方法を用いて積荷の体積を算出し、リアルタイムに積み付け重量を算出することで目標重量範囲に精度よく調整し、秤量機で重量を測定するまでの積み込み重量の調整を最小限とすることを可能とする。

【0020】

また、図３に示したように、スクラップの品種区分は極めて定性的で大雑把なものであり、従来は区分けや配合は検定員やオペレーターの勘に頼ったものであった。そこで本実施形態では、スクラップ山の集合体において、撮影画像から常にリアルタイムでスクラップ山の集合体の嵩比重を提供することができ、客先に納入するスクラップの集合体の嵩比重を品種区分に付加して提供することができる。本実施形態では、品種区分を定量的に細分化するものであり、定量的な嵩比重により品種区分をさらに細分化して客先に販売を行うことができる。このように、嵩比重によって定量的な品種区分を細分化した販売方法は、客先において当該スクラップの品位を定量的に把握することができることを意味する。結果、客先は、当該嵩比重と炉の操業との相関を定量的に把握することができ、炉の操業を最適化する所要の嵩比重を定量的に把握することができる。

【0021】

以下、本発明の実施形態の詳細について、図面を参照しながら説明する。

【0022】

［システム概要］
図１は、本実施形態に係るスクラップ推定システム１００の概略を説明するための図である。
図１に示すように、スクラップヤード内においてスクラップ山１０１をカメラ１０２ａが常時撮影を行っている。なお、図１においては、スクラップ山は１つしか図示していないが、スクラップ山は複数存在し、それぞれのスクラップ山を撮影するカメラも複数存在するものとする。また、スクラップ山を撮影するカメラは１台に限らず、１つのスクラップ山に対して複数のカメラを設置し、複数の角度からスクラップ山を撮影できるようにしてもよい。

【0023】

ダンプ１０４にスクラップを積み組む際には、スクラップヤードの上部に設置されているリフティングマグネット１０３を用いてスクラップ山１０１からスクラップを吊り上げ、スクラップをダンプ１０４に積み込む。また、リフティングマグネット１０３で吊り上げられたスクラップ集合体を撮影するカメラ１０２ｂ、およびダンプ１０４積み込まれたスクラップ集合体を撮影するカメラ１０２ｃも設置されている。

【0024】

秤量機１０５は、スクラップヤードの入り口付近に埋設された踏板センサーであり、スクラップを積み込んだ状態でダンプ１０４の重量を測定する。空のダンプ１０４の重量を秤量機１０５で予め測定しておくことにより、積み込んだスクラップの重量を測定することができる。また、本実施形態に係るスクラップ推定システム１００では、三次元位置測定装置１０６を用いてスクラップ山１０１やリフティングマグネット１０３で吊り上げられたスクラップ集合体の形状を測定する。

【0025】

ここで、三次元位置測定装置１０６による測定は、スクラップ集合体の体積を算出できるものであれば、どのような方法を用いてもよい。例えば、スクラップ山１０１の形状を測定する場合には、バックパック型のＬｉＤＡＲ（GreenValley International社製）の装置を作業員が担ぐか、もしくはスクラップヤード内を動く車の天井に設置し、スクラップ山やの周囲を移動してスクラップの集合体の形状を測定する方法が挙げられる。ＬｉＤＡＲの装置を用いる場合には、スクラップ集合体に向けてレーザーを照射してスクラップの表面からの反射波が戻ってくるまでの時間を測定することにより表面の位置を特定する。また、リフティングマグネット１０３で吊り上げられたスクラップ集合体の形状を測定する場合には、ドローンを用いてもよい。ドローンを用いる場合には、ドローンを飛ばして複数の高度でスクラップ集合体を撮影し、立体写真から形状を測定する方法を用いてもよく、ドローンを飛ばしてスクラップ集合体にレーザーを照射して形状を測定する方法を用いてもよい。

【0026】

スクラップ山１０１に積み上げられたスクラップは、通常、目視判定や発生形態によってほぼ同一の品種で区分されているが、混在している場合も多い。図３に示すように、スクラップは、例えばヘビー屑やプレス屑などの品種によって区別され、さらに同一品種の中で大きさ（具体的には、厚さ、幅又は高さ、長さ）及び重さに応じた等級が定められている。また、スクラップ山１０１は同一の品種のスクラップだけで構成されていても、等級の異なるスクラップが混在している場合もあり、さらに同一の等級であっても、図３に示すように、等級は非常に大まかな区分であることから、様々な形態のスクラップが混在している。

【0027】

図４は、ヘビー屑のＨ２等級における嵩比重のばらつきを説明するための図である。図４に示す例では、同一の等級であっても嵩比重にばらつきがあること示しており、このばらつきはスクラップの形態の違いに依存しており、嵩比重を特定することにより、逆に形態区分を詳細に表すことができる。

【0028】

［情報処理装置の構成］
図１２は、本実施形態において、嵩比重を推定する情報処理装置２０１のハードウェア構成例を示すブロック図である。
図１２に示すように、情報処理装置２０１は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、記憶装置３０４と、入出力Ｉ／Ｆ３０５と、通信Ｉ／Ｆ３０６とを備えており、これらはバス３０７によって接続されている。

【0029】

ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。記憶装置３０４は、各種データや各種プログラム等を記憶する。表示装置４０５は、各種情報を表示する。入出力Ｉ／Ｆ３０５は、キーボードやマウスからユーザによる各種操作を受け付けたり、不図示の表示装置に演算結果を表示させたりするためのインターフェースである。

【0030】

通信Ｉ／Ｆ３０６は、ネットワークを介して外部装置から情報を取得するためのインターフェースである。カメラ１０２ａ、１０２ｂ、１０２ｃで撮影されたスクラップ集合体の撮影画像は、有線または無線通信により、通信Ｉ／Ｆ３０６を介して本実施形態の情報処理装置２０１に受信される。また、秤量機１０５および三次元位置測定装置１０６の測定結果も、有線または無線通信により、通信Ｉ／Ｆ３０６を介して本実施形態の情報処理装置２０１に受信される。

【0031】

図２は、本実施形態において、嵩比重を推定する情報処理装置２０１の機能構成例を示すブロック図である。
図２に示すように、情報処理装置２０１は、形状判定部２０２、重量換算部２０３、体積換算部２０４、嵩比重換算部２０５、入力部２０６、出力部２０７および記憶部２２０を備えている。また、形状判定部２０２はさらに、画像取得部２１１、学習部２１２、推論部２１３および照合部２１４を備えている。

【0032】

画像取得部２１１は、図１に示したカメラ１０２ａ、１０２ｂ、１０２ｃからなるカメラ群１０２からスクラップ集合体の撮影画像を取得する。学習部２１２は、後述する機械学習によりスクラップ集合体の中の同じ形態の部分とその部分のスクラップの嵩比重とを紐付けた学習済みモデルを生成する。学習方法の詳細については後述する。

【0033】

推論部２１３は、学習部２１２で生成した学習モデルを用いて、スクラップ山を撮影した撮影画像内のスクラップ集合体で同一形態ごとに嵩比重を紐付ける。照合部２１４は、撮影画像から同一形態ごとの体積比率を推定し、スクラップ集合体全体の嵩比重を算出する。また、照合部２１４は、推論部２１３で推定された嵩比重と、体積換算部２０４から出力されるスクラップ集合体の体積とを用いて、スクラップ集合体の重量を算出する。

【0034】

重量換算部２０３は、秤量機１０５から出力される重量から空のダンプの重量を差し引いて、ダンプに積み込まれたスクラップ集合体の重量を算出する。なお、秤量機１０５もしくはそれ以外の外部装置でスクラップ集合体の重量を算出し、その情報を情報処理装置２０１が受信するようにしてもよい。体積換算部２０４は、三次元位置測定装置１０６で測定されたスクラップ集合体の形状から、スクラップ集合体の体積を算出する。なお、その他の外部装置でスクラップ集合体の体積を算出し、その情報を情報処理装置２０１が受信するようにしてもよい。

【0035】

嵩比重換算部２０５は、重量換算部２０３で算出されたスクラップ集合体の重量と、体積換算部２０４で算出されたスクラップ集合体の体積とから、スクラップ集合体の嵩比重を算出する。なお、ここで算出される嵩比重は、学習済みデータに含まれる嵩比重を補正する際などに用いられる。

【0036】

入力部２０６は、学習フェーズにおいて学習済みモデルを生成する際に、ユーザの操作により、撮影画像内で同一形態の区分を入力する。また、入力部２０６は、ユーザの操作によりその他必要な情報を入力する。出力部２０７は、照合部２１４によって得られた結果（嵩比重や重量）を不図示の表示装置に表示する。記憶部２２０は、学習部２１２で生成された学習済みモデルや、学習済みモデルを生成するのに必要な同一形態のスクラップ集合体からなる撮影画像など、その他必要な情報を記憶する。なお、記憶部２２０の一部は、データベースとして外部の装置に設けてもよい。

【0037】

［学習フェーズの処理］
まず、学習済みモデルを生成する手順について、図５のフローチャートを参照しながら説明する。図５は、本実施形態において、撮影画像内の同一形態と嵩比重とを紐付ける学習済みモデルを生成する処理手順の一例を示すフローチャートである。図５に示す各処理は、ＲＯＭ３０２または記憶装置３０４に記憶されたプログラムをＲＡＭ３０３に展開し、ＣＰＵ３０１がそのプログラムを実行することにより行われる。

【0038】

まず、ステップＳ５０１において、画像取得部２１１は、スクラップ集合体の撮影画像を記憶部２２０から取得する。ここで取得する撮影画像は、予め同一形態のスクラップに仕分けされたスクラップ集合体を撮影した撮影画像であることが好ましいが、数種類の形態が含まれたスクラップ集合体を撮影した撮影画像でもよい。これらのスクラップ集合体は、どの状態で撮影されてもよく、例えば、リフティングマグネットに吊り下げられた状態で撮影されてもよく、スクラップ山とは異なる小さい山として撮影されてもよい。

【0039】

次に、ステップＳ５０２において、形状判定部２０２は、ステップＳ５０１で得られた撮影画像の中から同一形態のスクラップに該当する部分を区分けする。この処理では、出力部２０７により撮影画像を表示装置に表示し、ユーザが撮影画像を見ながら同一形態の部分を指定することによって区分けする。なお、区分けした際に、形態の名称などを区分けした部分に関連付けておいてもよい。

【0040】

図６は、同一形態のスクラップに該当する部分を区分けした状態を説明するための図である。図６（ａ）～図６（ｃ）は、それぞれスクラップ山から同一形態のスクラップに該当する部分が区分けされた例を示している。この区分けは学習フェーズにおいてはユーザの操作により手動で行い、後述する推論フェーズでは、学習済みモデルを用いて自動で区分けを行うようにする。

【0041】

続いてステップＳ５０３において、形状判定部２０２は、ステップＳ５０２で区分けした部分に該当する形態における嵩比重を取得する。本実施形態においては、スクラップの形態ごとに嵩比重が予め測定されており、形態とそれに対応する嵩比重とのテーブルが記憶部２２０に記憶されている。形状判定部２０２は、当該テーブルから該当する形態の嵩比重を取得する。

【0042】

ここで、嵩比重の測定方法について説明する。まず、ダンプに同一形態のスクラップを摺切り一杯積み込む。ダンプに積み込む際に容積が予め判明しているので、この段階でダンプに積み込んだスクラップ集合体の体積が判明する。そして、スクラップを積み込んだダンプの重量を秤量機で測定し、ダンプ本体の重量を差し引くことによりスクラップ集合体の重量が判明する。そして、その重量を体積で割ることにより嵩比重を測定することができる。なお、これ以外の方法で形態ごとに嵩比重を測定してもよい。

【0043】

次に、ステップＳ５０４において、形状判定部２０２は、撮影画像名の区分けした部分と、ステップＳ５０３で取得した嵩比重とを紐付けする。そして、ステップＳ５０５において、形状判定部２０２は、撮影画像内での区分けされた形態と嵩比重とが紐付けされた撮影画像の数が所定数に達したか否かを判定する。この判定の結果、所定数に達していない場合はステップＳ５０１に戻り、処理を繰り返す。

【0044】

一方、ステップＳ５０５の判定の結果、所定数に達した場合は、ステップＳ５０６において、学習部２１２は、機械学習を実行し、学習済みモデルを生成する。本実施形態においては、同一形態の部分を区分けする必要があることから、撮影画像から自動的に特徴を抽出可能なディープニューラルネットワークや畳み込みニューラルネットワークを用いた機械学習を行う。

【0045】

機械学習では、スクラップ集合体を撮影した撮影画像を入力データとし、形態ごとの特徴領域の位置およびその形態の嵩比重を教師データとする。例えば図６に示した例の場合では、図６（ａ）～図６（ｃ）の太枠に囲まれた領域の各画素に対して、嵩比重の数値を関連付けて学習させ、スクラップに該当しないその他の部分についてはマスキングを行って学習の対象外とする。嵩比重の数値を関連付ける際には、区分けされた領域内でスクラップの形態（鉄の部分と空気の部分の比率）を見極めるように学習させ、その比率によって嵩比重との相関を導き出せるようにする。このように機械学習を繰り返すことにより、スクラップ集合体を撮影した撮影画像から、形態ごとに区分けしてそれらの部分での嵩比重を推定するための学習済みモデルを生成する。

【0046】

次に、ステップＳ５０７において、学習部２１２は、テストデータを用いて学習済みモデルの評価を行う。ここで用いるテストデータは、撮影画像と、その撮影画像における形態ごとの区分けおよび区分けされた部分の嵩比重からなる正解データとを含む。なお、ここで用いる撮影画像は学習に用いた撮影画像であってもよく、学習に用いなかった撮影画像であってもよい。また、テストデータは、学習済みモデルを評価できる程度の数を予め用意しておくものとする。

【0047】

また、学習済みモデルの評価方法としては、撮影画像内での同一形態の区分けの重複率およびそれぞれの形態で正しい嵩比重の正解率に応じたスコアを算出する。例えば、学習済みモデルで推定した同一形態での区分けと正解データとを比較して重複率が高いほどスコアが高くなるようにし、正しい嵩比重を推定した場合は加算し、誤った嵩比重を推定した場合は減算して最終的なスコアを算出する。

【0048】

次に、ステップＳ５０８において、学習部２１２は、ステップＳ５０８で算出したスコアの平均値が所定値以上であるか否かを判定する。この判定の結果、スコアの平均値が所定値未満である場合は、学習済みモデルはまだ学習不足であることからステップＳ５０１に戻る。一方、ステップＳ５０８の判定の結果、スコアの平均値が所定値以上である場合は、ステップＳ５０９において、学習部２１２は、生成した学習済みモデルを記憶部２２０に記憶し、学習フェーズでの処理を終了する。

【0049】

［推論フェーズ］
次に、撮影画像内において同一形態ごとに嵩比重を推定する処理について、図７を参照しながら説明する。図７は、本実施形態において、スクラップ山全体の嵩比重を推定して出力する処理手順の一例を示すフローチャートである。図７に示す各処理は、ＲＯＭ３０２または記憶装置３０４に記憶されたプログラムをＲＡＭ３０３に展開し、ＣＰＵ３０１がそのプログラムを実行することにより行われる。

【0050】

まず、ステップＳ７０１において、画像取得部２１１は、カメラ１０２ａからスクラップ山を撮影した撮影画像を取得する。１つのスクラップ山に対して複数のカメラから撮影可能である場合には、それぞれのカメラから同一のスクラップ山を撮影した撮影画像を取得する。

【0051】

次に、ステップＳ７０２において、推論部２１３は、記憶部２２０に記憶された学習済みモデルを用いて、ステップＳ７０１で取得した撮影画像内のスクラップ集合体において、同一形態で区分けを行う。そして、ステップＳ７０３において、推論部２１３は、学習済みモデルを用いてステップＳ７０２で区分けした各形態において嵩比重を推定する。

【0052】

続いてステップＳ７０４において、照合部２１４は、スクラップ山におけるそれぞれの形態の体積割合を単純計算し、体積割合に従って嵩比重を加重平均し、スクラップ山（スクラップ集合体）全体の嵩比重を算出する。なお、体積割合を単純計算する際に、２方向以上からスクラップ山が撮影された場合には、それぞれの撮影画像内で単純計算された体積割合の平均値を用いるものとする。なお、算出したスクラップ山（スクラップ集合体）全体の嵩比重は記憶部２２０に現在の嵩比重として記憶するようにする。

【0053】

次に、ステップＳ７０５において、形状判定部２０２は、入力部２０６から出力の指示を受けたか否かを判定する。この判定の結果、出力の指示を受けていない場合は、ステップＳ７０１に戻り、所定の期間が経過した後にステップＳ７０１の処理を行うようにする。スクラップ山はダンプへの積み込みやダンプからの搬入によって同一形態の割合が変化する可能性がある。出力が指示されたときに最新の情報を提供する必要があるため、出力の指示がない場合はステップＳ７０１～Ｓ７０４の処理を繰り返すようにしている。

【0054】

一方、ステップＳ７０５の判定の結果、出力の指示があった場合は、ステップＳ７０６において、照合部２１４は、ステップＳ７０４で算出したスクラップ集合体全体の嵩比重を、現在のスクラップ山の嵩比重として決定する。そして、ステップＳ７０６において、出力部２０７は、撮影画像とともにスクラップ山の嵩比重と、必要に応じて各形態の嵩比重の情報を表示装置に表示し、処理を終了する。

【0055】

図８は、本実施形態において、等級区分をさらに細分化した例を説明するための図である。例えば等級「Ｈ２」では、ヘビー屑の品種で、厚さが３ｍｍ以上６ｍｍ未満で、かつ幅又は高さ×長さが５００ｍｍ以下×１２００ｍｍ以下であれば、どのような形態であっても等級「Ｈ２」として従来は一括に管理されていた。これに対して本実施形態では、等級「Ｈ２」において、さらに嵩比重でより細分化して管理することができる。これにより、客先に納入するスクラップの品位を嵩比重の一定範囲にあるものとして特定して品種区分を細分化した形でデータを提供することができる。また、実質的に細分化した品種区分を提供することにより、スクラップ品位の向上に寄与することができる。

【0056】

［学習済みモデルの更新］
次に、学習フェーズにて生成した学習済みモデルを更新する手順について、図９のフローチャートを参照しながら説明する。本実施形態では、学習済みモデルの精度をさらに改善するために、秤量機によって重量が判明している積荷と、三次元位置測定を用いてスクラップ山の体積の増減とから嵩比重を逆算することにより、学習済みモデルを更新する。これにより、形態と嵩比重との関係性に於いて、学習済みモデルの推定精度をさらに向上させるようにしている。

【0057】

図９は、学習済みモデルを用いて推定されるスクラップ集合体の嵩密度を補正して学習済みモデルを更新する処理手順の一例を示すフローチャートである。図９に示す各処理は、ＲＯＭ３０２または記憶装置３０４に記憶されたプログラムをＲＡＭ３０３に展開し、ＣＰＵ３０１がそのプログラムを実行することにより行われる。

【0058】

本実施形態では、以下の図９に示す処理を行う前に、三次元位置測定装置によるスクラップ山の形状の測定や、ダンプに積み込んだ積荷の重量測定などが行われているものとする。具体的には、まず、ダンプへの積み込みが行われる前に、三次元位置測定装置を用いてスクラップ山の形状を測定し、体積Ｖ（Ａ）を算出しておく。また、ダンプへの積み込みを行う前に、空の状態でダンプの重量を秤量機１０５にて測定しておくものとする。

【0059】

そして、スクラップ山からダンプへ積み込みを行う際に、リフティングマグネットに吊り下げられたスクラップ集合体を吊り下げる度に撮影し、これらのスクラップ集合体の形態の情報を取得することによって、ダンプの積荷（スクラップ集合体）全体の形態として平均化する。この場合、推論部２１３において、リフティングマグネットに吊り下げられたスクラップ集合体の撮影画像からスクラップ集合体の形態（鉄の部分と空気の部分の比率）を特定する。そして、リフティングマグネットに吊り下げられたスクラップ集合体の形態の情報を平均化して最終的にダンプの積荷全体の形態の情報とする。

【0060】

なお、リフティングマグネットにスクラップを吊り下げる際に、同じ形態のスクラップのみを吊り上げることが理想であるが、実際に全く同じ形態のスクラップを積み込むことはほぼ不可能である、そこで、なるべく似た形態のスクラップを積み込むことにより、スクラップ集合体の形態を平均化し、積荷全体の形態とする。

【0061】

以上の手順によりダンプへの積み込みが完了すると、続いて積み込み終了後のスクラップ山について、三次元位置測定装置を用いてスクラップ山の形状を測定し、体積Ｖ（Ｂ）を算出しておく。一方で、積荷を載せた状態でダンプの重量を秤量機１０５にて測定し、重量換算部２０３は、ダンプ本体の重量を差し引くことによって積荷の重量Ｗを算出しておく。以上の方法によって得られた情報は、記憶部２２０に記憶される。

【0062】

まず、ステップＳ９０１において、照合部２１４は、記憶部２２０からダンプへの積み込み前のスクラップ山全体の体積Ｖ（Ａ）の情報を取得する。

【0063】

次に、ステップＳ９０２において、照合部２１４は、記憶部２２０から積荷の形態の情報を取得する。そして、ステップＳ９０３において、照合部２１４は、記憶部２２０からダンプへの積み込みが完了した後のスクラップ山全体の体積Ｖ（Ｂ）の情報を取得する。続いてステップＳ９０４において、照合部２１４は、スクラップ山の体積の差分から、積荷の体積Ｖを算出する。つまり、積み込み前のスクラップ山の体積Ｖ（Ａ）から積み込み後のスクラップ山の体積Ｖ（Ｂ）を減算することにより、積荷の体積Ｖを算出する。

【0064】

次に、ステップＳ９０５において、照合部２１４は、記憶部２２０から積荷の重量Ｗの情報を取得する。そして、ステップＳ９０６において、照合部２１４は、積荷の重量Ｗを積荷の体積Ｖで除算することにより積荷の嵩比重Ｂを算出する。

【0065】

次に、ステップＳ９０７において、形状判定部２０２は、ステップＳ９０２で取得した積荷（スクラップ集合体）の形態と、ステップＳ９０６で算出した積荷の嵩比重Ｂとを紐付けたデータ（以下、紐付けデータ）を生成し、記憶部２２０に記憶する。なお、ステップＳ９０２で取得した積荷の形態は、リフティングマグネットに吊り下げられたスクラップ集合体の形態を平均化した形態であるが、鉄の部分と空気の部分との比率そのものが平均化されているだけであるため、積荷全体の形態であっても、嵩比重とを紐付けて学習済みデータの補正に利用することができる。そして、ステップＳ９０８において、形状判定部２０２は、記憶部２２０に記憶されている紐付けデータがある一定数に達しているか否かを判定する。この判定の結果、紐付けデータがある一定数に到達していない場合は、学習済みモデルを見直す段階ではないため、そのまま処理を終了する。

【0066】

一方、ステップＳ９０８の判定の結果、記憶部２２０に記憶されている紐付けデータがある一定数に到達した場合は、ステップＳ９０９において、ある一定数の紐付けデータを用いて学習済みモデルの更新を行う。具体的には、一定数の紐付けたデータを用いて、嵩比重と紐付いているスクラップ集合体の形態（鉄の部分と空気の部分の比率）の画像認識を微調整する。

【0067】

［積み込み量の制御］
続いて、学習済みモデルを用いてダンプへの積み込み量を制御する例について、図１０のフローチャートを参照しながら説明する。ダンプ等にスクラップを積み込む際に、最大積載量の基準を守りつつ、目標以上の積み込み重量を確保することは、スクラップの輸送効率を向上させるに必須である。従来は、積み込みオペレーターがリフティングマグネットで積み付けた回数をカウントして調整するなど積み込み量の精度が低く、秤量機で積み込み重量が目標値に達していなかった場合には、積み込み場所に戻って、再積み込みの調整が必要であった。そこで本実施形態では、リフティングマグネットに吊り下げられたスクラップ集合体を三次元位置測定によって体積を算出し、さらには学習済みモデルを用いて嵩比重を推定することによってリアルタイムにスクラップ集合体の重量を算出することにより、ダンプにスクラップを積み込む際の重量をより高精度に把握できるようにしている。

【0068】

図１０は、本実施形態において、ダンプへの積み込み量を通知する処理手順の一例を示すフローチャートである。図１０に示す各処理は、ＲＯＭ３０２または記憶装置３０４に記憶されたプログラムをＲＡＭ３０３に展開し、ＣＰＵ３０１がそのプログラムを実行することにより行われる。この処理は、スクラップ山からリフティングマグネットを用いてダンプにスクラップを積み込む際に行われる。また、リフティングマグネットでスクラップ集合体が吊り下げられている状態で、その都度、三次元位置測定装置１０６で形状の測定が行われるものとする。

【0069】

まず、ステップＳ１００１において、ダンプへ積み込む回数Ｎに１を追加する。そして、ステップＳ１００２において、画像取得部２１１は、カメラ１０２ｂからリフティングマグネットに吊り下げられたスクラップ集合体を撮影した撮影画像を取得する。１つのリフティングマグネットに対して複数のカメラから撮影可能である場合には、それぞれのカメラから同一のスクラップ集合体を撮影した撮影画像を取得する。

【0070】

次に、ステップＳ１００３において、推論部２１３は、学習済みモデルを用いて撮影画像内の形態別の区分けおよび各形態の嵩比重を推定する。そして、照合部２１４は、それぞれの形態の体積割合を推定し、体積割合に従って嵩比重を加重平均し、リフティングマグネット下のスクラップ集合体全体の嵩比重を算出する。なお、この処理はステップＳ７０２～Ｓ７０４の流れと同様である。

【0071】

次に、ステップＳ１００４において、体積換算部２０４は、三次元位置測定装置１０６からスクラップ集合体の形状の測定結果を取得し、スクラップ集合体の体積を算出する。そして、ステップＳ１００５において、照合部２１４は、ステップＳ１００３で推定したスクラップ集合体の嵩密度に、ステップＳ１００４で算出した体積を乗算することにより、リフティングマグネット下のスクラップ集合体の重量を算出する。

【0072】

その後、リフティングマグネットによりダンプにスクラップが積み込まれると、ステップＳ１００６において、照合部２１４は、１～Ｎ回の積み込み重量の合計（以下、積荷重量）が目標値以上であるか否かを判定する。つまり、１回目からＮ回目でステップＳ１００５において算出されたスクラップ集合体の重量の合計が目標値以上であるか否かを判定する。この判定の結果、積荷重量が目標値未満である場合は、さらにスクラップを積み込むだけの余裕があることから、ステップＳ１００７に進む。そして、ステップＳ１００７において、出力部２０７は、現在の積荷重量を通知する。具体的には、例えばスクラップ山付近の不図示のスピーカーから現在の積荷重量およびまだ積載に余裕がある旨を音声により通知してもよく、スクラップ山付近にある不図示の表示装置に、現在の積荷重量およびまだ積載に余裕がある旨の情報を表示させるようにしてもよい。

【0073】

一方、ステップＳ１００６の判定の結果、積荷重量が目標値以上である場合は、ステップＳ１００８において、照合部２１４は、積荷重量がダンプの最大積載量以下であるか否かを判定する。この判定の結果、積荷重量が最大積載量を超えている場合は、ステップＳ１００９において、出力部２０７は、積荷重量が最大積載量を超えているため、積荷の一部を減らすためのガイダンスを行う。そして、積荷の重量調整が行われた後に、ダンプから降ろした積荷の重量を入力部２０６から入力することにより、再度ステップＳ１００８において、同様の判定を行うものとする。

【0074】

一方、ステップＳ１００８の判定の結果、積荷重量が最大積載量以下である場合は、ステップＳ１０１０において、出力部２０７は、秤量機１０５にて重量を測定するための通知を行い、処理を終了する。これにより、秤量機と積み込み場所との往復をなくすことができ、大幅に積み込み効率を向上させることができる。

【0075】

［棚卸手順］
次に、スクラップヤードにあるスクラップ山の棚卸の手順について、図１１のフローチャートを参照しながら説明する。本実施形態において、棚卸時に三次元位置測定装置を用いてスクラップ山の形状を測定することによりスクラップ山の体積を算出し、学習済みモデルを用いて推定したスクラップ山全体の嵩比重をその体積に乗算することにより、スクラップ山の重量を算出することができる。

【0076】

図１１は、在庫であるスクラップ山の重量を算出する処理手順の一例を示すフローチャートである。図１１に示す各処理は、ＲＯＭ３０２または記憶装置３０４に記憶されたプログラムをＲＡＭ３０３に展開し、ＣＰＵ３０１がそのプログラムを実行することにより行われる。前述したように、スクラップ山全体の嵩比重は図７に示した手順により記憶部２２０に記憶されており、随時更新される。そこで、現在のスクラップ山の体積を算出することにより、現在のスクラップ山の重量を概ね知ることができる。

【0077】

まず、ステップＳ１１０１において、三次元位置測定装置１０６を用いてスクラップ山の形状を測定することにより、体積換算部２０４は、その形状の測定結果からスクラップ山の体積を算出する。そして、ステップＳ１１０２において、照合部２１４は、記憶部２２０に記憶されている現在のスクラップ山全体の嵩比重を読み出し、ステップＳ１１０１で算出された体積に乗算することにより、現在のスクラップ山の重量を算出する。

【0078】

続いて、ステップＳ１１０３において、出力部２０７は、ステップＳ１１０２で算出した重量を現在のスクラップ山の在庫重量として表示装置等に出力し、処理を終了する。以上のような手順で、スクラップヤードで管理しているスクラップ山ごとに重量を算出することにより、棚卸を行うことができる。

【0079】

以上のように本実施形態によれば、撮影画像内の同一形態と嵩比重とを紐付けた学習済みモデルを用いてスクラップ集合体全体の嵩比重を推定するようにしたので、同一等級であっても、嵩比重の違いによってより細分化してスクラップの管理を行うことができる。これにより、客先において当該スクラップの品位を定量的に把握することができ、その結果、客先で当該嵩比重と炉の操業との相関を定量的に把握することができる。このように、客先側で炉の操業を最適化する所要の嵩比重を定量的に把握して要求することができ、本実施形態のようなシステムを用いて、適正に配合し所要の嵩比重のスクラップ配合品を提供することができる。

【0080】

（その他の実施形態）
なお、以上述べた実施形態の操業演算装置は、具体的にはコンピュータシステム或いは装置により構成されるものである。したがって、前述した機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

【0081】

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

【0082】

以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0083】

２０１ 情報処理装置
２０２ 形状判定部
２０３ 重量換算部
２０４ 体積換算部
２０５ 嵩比重換算部
２０６ 入力部
２０７ 出力部
２１１ 画像取得部
２１２ 学習部
２１３ 推論部
２１４ 照合部
２２０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】