(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-10
(45)【発行日】2025-03-18
(54)【発明の名称】電気炉の操業方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20250311BHJP
G06T 7/187 20170101ALI20250311BHJP
F27D 19/00 20060101ALI20250311BHJP
F27D 21/00 20060101ALI20250311BHJP
【FI】
G06T7/00 610
G06T7/187
F27D19/00 A
F27D21/00 Z
(21)【出願番号】P 2022005403
(22)【出願日】2022-01-18
【審査請求日】2023-08-29
【前置審査】
(73)【特許権者】
【識別番号】000001258
【氏名又は名称】JFEスチール株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】松永 有仁
【審査官】山田 辰美
(56)【参考文献】
【文献】国際公開第2010/084902(WO,A1)
【文献】特開2015-095897(JP,A)
【文献】特開2002-049920(JP,A)
【文献】特開2021-067380(JP,A)
【文献】Emmanuel J. Candes at.el.,Robust Principal Component Analysis?,arXiv,米国,Cornell University,2009年12月18日,p.1ーp.39,https://arxiv.org/pdf/0912.3599v1
【文献】田中敏幸,画像情処理の基礎,画像情報処理の基礎 初版,株式会社コロナ社,2019年06月13日,PP86-88
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
F27D 19/00
F27D 21/00
(57)【特許請求の範囲】
【請求項1】
移動物体の動画データを2次元のデータ行列に変換するステップと、前記2次元のデータ行列に対してロバスト主成分分析を実行することにより、スパース行列を求めるステップと、前記スパース行列の要素値を所定の閾値で2値化することにより、2値化画像を生成するステップと、前記2値化画像に対して所定の画素値の領域を膨張させた後に所定の画素値の領域を収縮させるモルフォロジ変換を実行することにより、修正2値化画像を生成するステップと、前記修正2値化画像に対して所定の画素値の領域を収縮させた後に所定の画素値の領域を膨張させるモルフォロジ変換を実行することにより、マスク画像を生成するステップと、移動物体の動画データから前記マスク画像に対応する画像を前記移動物体の画像として抽出するステップと、を含む、移動物体識別方法を用いて
、スクラップヤードにあるスクラップ鉄が映りこんでいる背景画像から該スクラップヤード付近にある装入台車内のスクラップ鉄の形状を識別し、識別された形状に応じて電気炉を制御するステップを含むことを特徴とする電気炉の操業方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動物体識別装置、移動物体識別方法、及び電気炉の操業方法に関する。
【背景技術】
【0002】
製鉄業においては、CO2排出量の削減に向けてスクラップ鉄の利用量増加が見込まれている。スクラップ鉄は、廃棄された自動車、レール、建材等の鉄鋼利用製品や製鉄工程時に発生した鉄等であり、その形状は板状、棒状、ブロック状等と様々である。スクラップ鉄の多くは、電気炉においてアーク放電を利用して溶解し、各種成分調整等を施し、目的の形状に加工した上で再び利用される。電気炉においては、スクラップ鉄の形状が様々であるために、スクラップ鉄の形状に応じて操業状態が変化することが想定される。例えば板状の薄物のスクラップ鉄であれば、溶解温度に達する迄の時間が短く、溶解が早期に生じるため、熱の入りを抑える必要がある。これに対して、ブロック状のスクラップ鉄であれば、中心部に熱が伝達する迄に時間がかかるため、長時間の昇温が必要となる。スクラップ鉄は形状毎に分別されていることもあるが、様々な形状のスクラップ鉄が混在して存在することが多い。このため、より効率的な操業を行うためには、電気炉に装入されるスクラップ鉄の形状を認識し、スクラップ鉄の形状に応じて電気炉の操業状態を制御する技術が必要になる。ここで、スクラップ鉄の形状を識別する方法としては、電気炉に装入されるスクラップ鉄の画像からスクラップ鉄の形状を識別する方法が有効である。具体的には、スクラップ鉄の画像からスクラップ鉄の形状を識別する方法として、特許文献1に記載されているような画像セグメンテーションを利用することが考えられる。画像セグメンテーションでは、物体が映る教師画像とその教師画像中の物体が映る画素に対して物体の形状に応じたラベルを付けたラベル画像とを用意し、教師画像とラベル画像を用いて物体の形状をモデル学習させる。そして、学習済みモデルを利用することにより物体の形状を識別する。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【文献】EMMANUEL J. Candes, XIAODONG LI, YI MA, JOHN WRIGHT, Journal of the ACM, Vol.58, No3, Article 11
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、電気炉がある工場においてスクラップ鉄が撮影された画像では、画像セグメンテーションを利用してスクラップ鉄の形状を識別することは難しい。詳しくは、電気炉がある工場では、スクラップヤードに大量のスクラップ鉄が貯蔵されている。スクラップ鉄の画像の撮影箇所として望ましい電気炉に装入するスクラップ鉄を運搬する装入台車付近はスクラップヤードの近くであることが多いために、スクラップヤードにあるスクラップ鉄が背景画像に映りこむ。背景画像に映りこんだスクラップ鉄と装入台車内のスクラップ鉄は同じスクラップ鉄であるため、画像セグメンテーションでは区別することができない。そのため、画像セグメンテーションを利用してもスクラップ鉄の形状を適切に識別できず、スクラップ鉄の形状を誤検知する可能性がある。
【0006】
本発明は、上記課題を解決すべくなされたものであり、その目的は、移動物体の形状を精度よく識別可能な移動物体識別装置及び移動物体識別方法を提供することにある。また、本発明の他の目的は、電気炉を効率よく操業可能な電気炉の操業方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明に係る移動物体識別装置は、移動物体の動画データを2次元のデータ行列に変換する前処理部と、前記2次元のデータ行列に対してロバスト主成分分析を実行することにより、スパース行列を求める演算部と、前記スパース行列の要素値を所定の閾値で2値化することにより、2値化画像を生成する2値化画像処理部と、前記2値化画像に対して所定の画素値の領域を膨張させた後に所定の画素値の領域を収縮させるモルフォロジ変換を実行することにより、修正2値化画像を生成する第1画像修正部と、前記修正2値化画像に対して所定の画素値の領域を収縮させた後に所定の画素値の領域を膨張させるモルフォロジ変換を実行することにより、マスク画像を生成する第2画像修正部と、移動物体の動画データから前記マスク画像に対応する画像を前記移動物体の画像として抽出するマスク処理部と、を備えることを特徴とする。
【0008】
本発明に係る移動物体識別方法は、移動物体の動画データを2次元のデータ行列に変換するステップと、前記2次元のデータ行列に対してロバスト主成分分析を実行することにより、スパース行列を求めるステップと、前記スパース行列の要素値を所定の閾値で2値化することにより、2値化画像を生成するステップと、前記2値化画像に対して所定の画素値の領域を膨張させた後に所定の画素値の領域を収縮させるモルフォロジ変換を実行することにより、修正2値化画像を生成するステップと、前記修正2値化画像に対して所定の画素値の領域を収縮させた後に所定の画素値の領域を膨張させるモルフォロジ変換を実行することにより、マスク画像を生成するステップと、移動物体の動画データから前記マスク画像に対応する画像を前記移動物体の画像として抽出するステップと、を含むことを特徴とする。
【0009】
本発明に係る電気炉の操業方法は、本発明に係る移動物体識別方法を用いてスクラップ鉄の形状を識別し、識別された形状に応じて電気炉を制御するステップを含むことを特徴とする。
【発明の効果】
【0010】
本発明に係る移動物体識別装置及び移動物体識別方法によれば、移動物体の形状を精度よく識別することができる。また、本発明に係る電気炉の操業方法によれば、電気炉を効率よく操業することができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、本発明の一実施形態である形状識別システムが適用されるスクラップ鉄の再利用工場の構成を示す模式図である。
【
図2】
図2は、本発明の一実施形態である形状識別システムの構成を示すブロック図である。
【
図3】
図3は、本発明の一実施形態である形状識別処理の流れを示すフローチャートである。
【
図4】
図4は、スパース行列値のヒストグラムの一例を示す図である。
【
図5】
図5は、実施例における形状識別処理を説明するための図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の一実施形態について形状識別システムについて説明する。なお、本実施形態は、スクラップ鉄の形状を識別するものであるが、形状を識別する対象物はスクラップ鉄に限定されることはなく、移動物体であればよい。また、移動物体の動画を撮影できれば、形状識別システムの設置場所はどのような場所であってもよい。
【0013】
〔再利用工場の構成〕
まず、
図1を参照して、本発明の一実施形態である形状識別システムが適用されるスクラップ鉄の再利用工場の構成について説明する。
【0014】
図1は、本発明の一実施形態である形状識別システムが適用されるスクラップ鉄の再利用工場を示す模式図である。
図1に示すように、本発明の一実施形態である形状識別システムが適用されるスクラップ鉄の再利用工場では、スクラップヤード100に様々な形状のスクラップ鉄Sが貯蔵されており、スクラップ鉄Sはクレーン等の搬送設備101によって装入台車102内に搬送される。そして、装入台車102は内部のスクラップ鉄Sを電気炉103内に装入し、電気炉103は内部に装入されたスクラップ鉄Sを溶解して再利用する。
【0015】
〔形状識別システムの構成〕
次に、
図2を参照して、本発明の一実施形態である形状識別システムの構成について説明する。
【0016】
図2は、本発明の一実施形態である形状識別システムの構成を示すブロック図である。本発明の一実施形態である形状識別システムは、搬送設備101によって装入台車102内に搬送されるスクラップ鉄Sの動画を撮影し、撮影された動画からスクラップ鉄Sの形状を識別する情報処理システムである。
図2に示すように、本発明の一実施形態である形状識別システム1は、撮影装置2、入力装置3、出力装置4、及び画像処理装置5を備えている。
【0017】
撮影装置2は、ビデオカメラ等の動画撮影装置によって構成されており、搬送設備101によって装入台車102内に搬送されるスクラップ鉄Sの動画を撮影可能な位置(
図1参照)に設置されている。撮影装置2は、搬送設備101によって装入台車102内に搬送されるスクラップ鉄Sの画像を含む動画を撮影し、撮影された動画データを画像処理装置5に出力する。
【0018】
入力装置3は、キーボード、マウスポインタ、タッチペン等の入力装置によって構成され、操作入力情報を画像処理装置5に入力する。
【0019】
出力装置4は、液晶ディスプレイ、プリンタ、スピーカー等の出力装置によって構成され、画像処理装置5からの出力制御信号に従って各種情報を出力する。
【0020】
画像処理装置5は、パーソナルコンピュータやワークステーション等の情報処理装置によって構成され、情報処理装置内のCPU(Central Processing Unit)等の演算処理装置がコンピュータプログラムを実行することにより、前処理部5a、演算部5b、2値化画像処理部5c、第1画像修正部5d、第2画像修正部5e、及びマスク処理部5fとして機能する。これら各部の機能については後述する。
【0021】
このような形状識別システム1は、以下に示す形状識別処理を実行することにより、スクラップの形状を精度よく識別する。以下、
図3に示すフローチャートを参照して、形状識別処理を実行する際の形状識別システム1の動作について説明する。
【0022】
〔形状識別処理〕
図3は、本発明の一実施形態である形状識別処理の流れを示すフローチャートである。
図3に示す形状識別処理は、入力装置3を介して画像処理装置5に形状識別処理の実行指令が入力されたタイミングで開始となり、形状識別処理はステップS1の処理に進む。
【0023】
ステップS1の処理では、撮影装置2が、搬送設備101によって装入台車102内に搬送されるスクラップ鉄Sの画像を含む動画を撮影し、撮影された動画データを画像処理装置5に出力する。動画データには移動物体であるスクラップ鉄Sの画像データと移動しない背景画像データが含まれる。これにより、ステップS1の処理は完了し、形状識別処理はステップS2の処理に進む。
【0024】
ステップS2の処理では、前処理部5aが、ステップS1の処理において撮影された動画データをグレースケールの動画データに変換し、グレースケールの動画データから2次元のデータ行列を作成する。具体的には、ステップS1の処理において撮影された動画データは、カラー動画データであってもグレースケール動画データであっても構わないが、カラー動画データである場合、前処理部5aは、動画データをグレースケール化して各画素に輝度値が1つある動画データとする。また、ステップS1の処理において撮影された動画データには、スクラップ鉄Sを含まない画像が含まれていることがあるので、前処理部5aは入力装置3等によって指定された期間の動画データを処理対象期間動画データとして切り出す。そして、処理対象期間動画データは、時系列方向に並んだ2次元画像の3次元行列となっているため、前処理部5aは、2次元画像を1次元画像に変換し、3次元行列である処理対象期間動画データを時系列方向に1次元画像が並んだ2次元のデータ行列へ変換する。2次元画像を1次元画像する方法は、例えば2次元画像の上端から画素値を行方向に並べ、次に1つ下の行にその下の画素値を並べるといったように、復元可能な規則性のある変換規則で変換すればその方法は問わない。これにより、ステップS2の処理は完了し、形状識別処理はステップS3の処理に進む。
【0025】
ステップS3の処理では、演算部5bが、ステップS2の処理によって得られた2次元行列のデータ行列に対して非特許文献1に記載のロバスト主成分分析を行うことにより、スパース行列を求める。詳しくは、主成分分析は、データ行列に対して分散が最大になる方向(主成分ベクトル)と主成分を求める方法であり、データから特徴を求める手法である。主成分分析では、外れ値を含むデータ行列については、外れ値が分散を大きくするため、外れ値に大きく影響を受けた主成分ベクトルと主成分を求めることになる。これに対して、ロバスト主成分分析は、外れ値耐性を強くしたし主成分分析であり、外れ値をスパース行列として取り除き、主成分を含む低ランク行列を計算する方法である。
【0026】
本実施形態の形状識別処理では外れ値を示すスパース行列を利用する。すなわち、背景にスクラップ鉄Sが映る動画では、背景はどの画像にも映っているため、背景を主成分とみなすことができる。一方、スクラップ鉄Sは、背景に対して移動しているため、各画素で存在する時としないときがある。このため、背景から見るとスクラップ鉄Sは外れ値とみなすことができる。つまり、データ行列に対してロバスト主成分分析で求めたスパース行列がスクラップ鉄Sを示すことになる。本実施形態で利用したロバスト主成分分析のアルゴリズムは、非特許文献1に記載のPrincipal Component Pursuitと呼ばれる方法であるが、主成分に対し外れ値を検知できる方法であれば他の方法であってもよい。データ行列に対してロバスト主成分分析で求められたスパース行列は、背景を示す要素が0となり、スクラップ鉄Sを示す要素が0以外の値となっている。これにより、ステップS3の処理は完了し、形状識別処理はステップS4の処理に進む。
【0027】
ステップS4の処理では、2値化画像処理部5cが、ステップS3の処理において求められたスクラップ鉄Sを示すスパース行列を所定の閾値で2値化することにより2値化画像を作成する。具体的には、スパース行列の各要素値をヒストグラムにすると
図4に示すような0を頂点とした山状の分布を有する。前述したように、スパース行列では、0が背景、0以外の値がスクラップ鉄Sを示している。このため、背景とスクラップ鉄Sとを明瞭に区別するため、撮影画像のi画素に対応するスパース行列の要素値をS
i、閾値をaとして、以下の数式(1)に示す条件式に従ってスパース行列を2値化する。
【0028】
【0029】
例えば2値化画像処理部5cは、数式(1)に示す条件を満足するスパース行列の要素値は1、数式(1)に示す条件を満足しないスパース行列の要素値は0として2値化行列を作成する。なお、本実施形態では、スクラップ鉄Sを示すスパース行列の要素値は1、背景を示す要素値0としたが、スクラップ鉄Sと背景を明瞭に区別できれば、その区別のための数値は問わない。また、数式(1)の閾値aは、スパース行列の標準偏差σを計算し、0.1σから3σの範囲内で設定するとよい。そして、2値化画像処理部5cは、前処理部5aで2次元画像を1次元画像にした変換規則の反対の操作を行うことにより2値化行列を2値化画像へ変換する。これにより、ステップS4の処理は完了し、形状識別処理はステップS5の処理に進む。
【0030】
ステップS5の処理では、第1画像修正部5dが、ステップS4の処理によって作成された2値化画像に対して、スクラップ鉄Sを示す画素値1の連結を行うモルフォロジ変換を行うことにより修正2値化画像を作成する。具体的には、ステップS4の処理によって作成された2値化画像では、スクラップ鉄Sを示す画素値1同士が連結せずに欠損していたり、スクラップ鉄Sでない点がノイズとして画素値1であったりすることがある。このため、第1画像修正部5dは2値化画像に対してモルフォロジ変換を行う。ここで、モルフォロジ変換は、画像に対してある画素値の領域の膨張と収縮を行い、欠損箇所の復元やノイズの除去を行う画像処理手法である。第1画像修正部5dは、カーネル行列に基づいて画素値1の箇所を膨張させ、その後収縮させることにより、スクラップ鉄Sを示す画素値1の箇所の欠損部を補い、スクラップ鉄Sを含む領域が画素値1となる処理を行う。カーネル行列は、どの大きさで膨張と収縮を行うかを示す行列であり、カーネル行列が大きいと離れた領域の画素値1の領域を膨張により連結する。カーネル行列の大きさは、欠損部を補い、ノイズ同士が連結しない大きさであるとよい。具体的には、カーネル行列の大きさは3×3の正方行列から11×11の正方行列の間の大きさであるとよい。なお、この処理の際、ノイズとなる画素値1の箇所においても膨張と収縮の操作が行われるが、ノイズの場合には、画素値1の箇所がそれぞれ離れているため、ノイズの領域同士が連結されることはない。これにより、ステップS5の処理は完了し、形状識別処理はステップS6の処理に進む。
【0031】
ステップS6の処理では、第2画像修正部5eが、ステップS5の処理において作成された修正2値化画像に対して、画素値1の領域に対して先に収縮を行い、その後膨張させるモルフォロジ変換を行うことによってマスク画像を作成する。カーネル行列の大きさに基づいて画素値1の領域を収縮させる操作を行うと、点在する画素値1の点は除去される。その後領域を膨張させると、ノイズ以外の大きい画素値1の領域は復元される。カーネル行列の大きさは、収縮時にノイズ以外の画素値1の領域が除去されない大きさであるとよく、具体的にはステップS5の処理において用いたカーネル行列の大きさと同様、3×3の正方行列から11×11の正方行列の大きさの間に設定するとよい。これにより、ステップS6の処理は完了し、形状識別処理はステップS7の処理に進む。
【0032】
ステップS7の処理では、マスク処理部5fが、ステップS6の処理において作成されたマスク画像を用いて撮影装置2によって撮影された動画データからスクラップ鉄Sの画像を抽出する。具体的には、マスク処理部5fは、撮影画像の対象フレームに相当するマスク画像を利用して、マスク画像で画素値1の位置に対応する撮影画像の画素をそのままの画素値で、マスク画像で数値0の位置に対応する撮影画像の画素に画素値0を埋めるマスク操作を行い、スクラップ鉄Sの画像を抽出する。以後、セマンティックセグメンテーションやインスタンスセグメンテーション等で事前にスクラップ鉄の形状を学習した機械学習モデルに抽出画像を適用すれば、スクラップ鉄の形状を精度よく識別することができる。また、抽出画像を出力装置4に出力し、目視でスクラップ鉄の形状を識別してもよい。これにより、ステップS7の処理は完了し、一連の形状識別処理は終了する。
【実施例】
【0033】
実験による模擬スクラップ鉄が落下している動画に対して、本発明の手法を適用した実施例を示す。撮影動画のフレームレートは30fps、フレーム数は40フレームとした。
図5(a)に20フレーム目であり、中央部に落下する模擬スクラップ鉄が映されたグレースケール画像を示す。この撮影画像に対して、前処理部5aで前処理を行った上で、演算部5bでロバスト主成分分析を行うことによりスパース行列を求めた。スパース行列を画像化したものを
図5(b)に示す。
図5(b)のスパース行列に対して、標準偏差σを求め、0.5σの領域で2値化画像を作成すると
図5(c)に示すようになり、模擬スクラップ鉄を示す白色部を求めることができた。
図5(c)では、模擬スクラップ鉄と考えられる領域に欠損部分があるため、第1画像修正部5dにて5×5のカーネルにより白色部を膨張して収縮させるモルフォロジ変換を行い、修正2値化画像を作成した。修正2値化画像は
図5(d)に示すようであり、欠損を補い、模擬スクラップ鉄を示す白色部の領域を連結させることができた。次に、
図5(d)に示す修正2値化画像にはノイズである点在する白色部が存在するため、第2画像修正部5eにて収縮させて膨張させるモルフォロジ変換を行うと
図5(e)に示すようになった。修正2値化画像である
図5(d)にあったノイズが除去でき、これによりマスク画像を作成できた。そして、マスク処理部5fにて、マスク画像を用いて撮影画像の模擬スクラップ鉄箇所を抽出すると、
図5(f)となり、落下している模擬スクラップのみが映された抽出画像を作成することができた。この抽出画像には、移動物体と特徴を持った模擬スクラップ鉄のみしか映されていないため、事前に学習させた画像セグメンテーション等の機械学習モデルに適用すると、模擬スクラップ鉄の識別精度を向上させることができる。
【0034】
以上の説明から明らかなように、本発明の一実施形態である形状識別処理では、画像処理装置5が、スクラップ鉄Sの動画データを2次元のデータ行列に変換し、2次元のデータ行列に対してロバスト主成分分析を実行することによりスパース行列を求め、スパース行列の要素値を所定の閾値で2値化することにより2値化画像を生成し、2値化画像に対して所定の画素値の領域を膨張させた後に所定の画素値の領域を収縮させるモルフォロジ変換を実行することにより修正2値化画像を生成し、修正2値化画像に対して所定の画素値の領域を収縮させた後に所定の画素値の領域を膨張させるモルフォロジ変換を実行することによりマスク画像を生成し、スクラップ鉄Sの動画データからマスク画像に対応する画像をスクラップ鉄Sの画像として抽出する。これにより、スクラップ鉄Sの形状を精度よく識別することができる。また、識別されたスクラップ鉄Sの形状に応じて電気炉を制御することにより、電気炉を効率よく操業することができる。
【0035】
なお、2値化画像に対して所定の画素値の領域を収縮させた後に所定の画素値の領域を膨張させるモルフォロジ変換を実行することにより修正2値化画像を生成し、修正2値化画像に対して所定の画素値の領域を膨張させた後に所定の画素値の領域を収縮させるモルフォロジ変換を実行することによりマスク画像を生成した場合には、2値化画像に欠損領域があるため、修正2値化画像の生成時に必要箇所がノイズとして認識されて除去されることがある。このため、マスク画像の生成時に欠損領域を補完することができず、移動物体箇所が欠落したマスク画像が生成される可能性がある。これに対して、本実施形態では、2値化画像に対して所定の画素値の領域を膨張させた後に所定の画素値の領域を収縮させるモルフォロジ変換を実行することにより修正2値化画像を生成し、修正2値化画像に対して所定の画素値の領域を収縮させた後に所定の画素値の領域を膨張させるモルフォロジ変換を実行することによりマスク画像を生成する。すなわち、本実施形態では、初回のモルフォロジ変換で欠損領域を補完し、2回目のモルフォロジ変換でノイズを除去する。これにより、必要な画像の情報を欠落させずにノイズを除去することができる。
【0036】
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例、及び運用技術等は全て本発明の範疇に含まれる。
【符号の説明】
【0037】
1 形状識別システム
2 撮影装置
3 入力装置
4 出力装置
5 画像処理装置
5a 前処理部
5b 演算部
5c 2値化画像処理部
5d 第1画像修正部
5e 第2画像修正部
5f マスク処理部
100 スクラップヤード
101 搬送設備
102 装入台車
103 電気炉
S スクラップ鉄