(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-07-29
(45)【発行日】2022-08-08
(54)【発明の名称】画像の補正方法および異常の検出方法、ならびに画像補正装置および異常検出装置
(51)【国際特許分類】
B21B 38/00 20060101AFI20220801BHJP
G06T 7/00 20170101ALI20220801BHJP
G06T 1/00 20060101ALI20220801BHJP
【FI】
B21B38/00 F
G06T7/00 610
G06T1/00 305A
(21)【出願番号】P 2022049551
(22)【出願日】2022-03-25
【審査請求日】2022-03-25
【早期審査対象出願】
(73)【特許権者】
【識別番号】314017543
【氏名又は名称】Primetals Technologies Japan株式会社
(74)【代理人】
【識別番号】110001829
【氏名又は名称】弁理士法人開知
(72)【発明者】
【氏名】望月 智俊
(72)【発明者】
【氏名】金森 信弥
【審査官】池ノ谷 秀行
(56)【参考文献】
【文献】特開2008-304306(JP,A)
【文献】特開2002-148196(JP,A)
【文献】特開2003-030651(JP,A)
【文献】特開平02-236689(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B21B 38/00
B21C 51/00
(57)【特許請求の範囲】
【請求項1】
圧延機により圧延され
ている定常状態の金属帯板の表面
を少なくとも一部分に含む画像であって、
所定位置の一つのカメラにより異なる照明条件又は撮影条件
ごとに撮影された
前記金属帯板が映る画像を複数取得する取得工程と、
前記取得工程で取得された複数の前記画像
に対して、前記金属帯板
が映る部分に含まれる参照ピクセル点、または参照ピクセル範囲を選択する選択工程と、
前記取得工程で取得された複数の前記画像の中から、前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値、G値、B値の何れかの輝度が最大
の輝度となる参照ピクセル点、または前記参照ピクセル範囲を含む画像を第1画像
として決定する決定工程と、
前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値、G値、B値と、前記第1画像以外の他の全ての画像
のうち前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲と同じ領域の
参照ピクセル点、または
参照ピクセル範囲の平均におけるR値、G値、B値との各々の輝度差を計算する計算工程と、
前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲の平均における各々のR値、G値、B値に、前記他の全ての画像の
参照ピクセル点、または
参照ピクセル範囲の平均における各々のR値、G値、B値を合わせるように、前記他の全ての画像の全てのピクセル点における各々のR値、G値、B値に、各々の前記輝度差の絶対値を加算または減算する補正工程と、を備える
ことを特徴とする画像の補正方法。
【請求項2】
請求項1に記載の画像の補正方法において、
前記選択工程では、前記金属帯板
が映る部分であって
、前記部分のR値、G値、B値の輝度の最大値の0.9倍以上の領域である反射光領域以外の部分から前記参照ピクセル点、または前記参照ピクセル範囲を選択する
ことを特徴とする画像の補正方法。
【請求項3】
請求項1または2に記載の画像の補正方法において、
前記取得工程で取得される複数の前記画像は、前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値との前記輝度差が51以下となるように調整されている
ことを特徴とする画像の補正方法。
【請求項4】
請求項1乃至3のいずれか1項に記載の画像の補正方法において、
前記補正工程では、前記輝度差の絶対値が加算または減算された後のR値、G値、B値のうち、値が255を超えたときは、該当するR値、G値、B値の値を255に修正する
ことを特徴とする画像の補正方法。
【請求項5】
請求項1乃至4のいずれか1項に記載の画像の補正方法と、
前記第1画像
を用いて圧延時異常検出判定閾値を求める工程と、
前記取得工程で取得され
、請求項1乃至4のいずれか1項に記載の画像の補正方法により補正された画像に対して、前記閾値に基づいて前記金属帯板の表面の異常を検出する工程と、を備える
ことを特徴とする異常の検出方法。
【請求項6】
圧延機により圧延され
ている定常状態の金属帯板の表面
を少なくとも一部分に含む画像であって、
所定位置の一つのカメラにより異なる照明条件又は撮影条件
ごとに撮影された
前記金属帯板が映る画像を複数取得する取得部と、
前記取得部で取得された複数の前記画像
に対して、前記金属帯板
が映る部分に含まれる参照ピクセル点、または参照ピクセル範囲を選択する選択部と、
前記取得部で取得された複数の前記画像の中から、前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値、G値、B値の何れかの輝度が最大
の輝度となる参照ピクセル点、または前記参照ピクセル範囲を含む画像を第1画像
として決定する決定部と、
前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値、G値、B値と、前記第1画像以外の他の全ての画像
のうち前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲と同じ領域の
参照ピクセル点、または
参照ピクセル範囲の平均におけるR値、G値、B値との各々の輝度差を計算する計算部と、
前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲の平均における各々のR値、G値、B値に、前記他の全ての画像の
参照ピクセル点、または
参照ピクセル範囲の平均における各々のR値、G値、B値を合わせるように、前記他の全ての画像の全てのピクセル点における各々のR値、G値、B値に、各々の前記輝度差の絶対値を加算または減算する補正部と、を備える
ことを特徴とする画像補正装置。
【請求項7】
請求項6に記載の画像補正装置において、
前記選択部は、前記金属帯板
が映る部分であって
、前記部分のR値、G値、B値の輝度の最大値の0.9倍以上の領域である反射光領域以外の部分から前記参照ピクセル点、または前記参照ピクセル範囲を選択する
ことを特徴とする画像補正装置。
【請求項8】
請求項6または7に記載の画像補正装置において、
前記取得部は、取得する複数の前記画像は、前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値との前記輝度差が51以下となるように調整されているものとする
ことを特徴とする画像補正装置。
【請求項9】
請求項6乃至8のいずれか1項に記載の画像補正装置において、
前記補正部は、前記輝度差の絶対値が加算または減算された後のR値、G値、B値のうち、値が255を超えたときは、該当するR値、G値、B値の値を255に修正する
ことを特徴とする画像補正装置。
【請求項10】
請求項6乃至9のいずれか1項に記載の画像補正装置と、
前記第1画像を用いて
圧延時異常検出判定閾値を求める閾値演算部と、
前記取得部で取得され
、請求項6乃至9のいずれか1項に記載の画像補正装置により補正された画像に対して、前記閾値に基づいて前記金属帯板の表面の異常を検出する異常検出部と、を備える
ことを特徴とする異常検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の補正方法および異常の検出方法、ならびに画像補正装置および異常検出装置に関する。
【背景技術】
【0002】
帯板処理ラインにおいて、付着間紙を確実に検出する技術の一例として、特許文献1には、帯板を処理ラインに搬送する際に帯板に付着している間紙を検出する方法において、帯材の色成分を光学的に検出し、検出光の色成分間の比率と基準色の色成分間の比率に基づき、間紙を検出する、ことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
圧延ラインでは、板の表面の画像を監視し、ある閾値を超える信号が検出された場合に板の異常と判定することが多い。このような技術の一例として、上述の特許文献1に記載のような技術がある。
【0005】
また、特許文献1では、鋼板の色を読み込む際に、鋼板の形状やパスライン変動などが外乱として働き、同種の鋼板でも色成分間の比率に違いが生じる。このため、その外乱による色成分間の比率の違いを補正すべく、鋼板の走行中に各色成分信号を数十回サンプリングし、そのサンプリングされた色信号の各色についての平均値を、基準色の代表値として読み込むことも開示されている。
【0006】
ここで、照明条件によっては画像毎に明るさが変化し、明るさが変化すると同じ画像でもR値、G値、B値の各輝度の値も変化する。また、カメラの撮影条件によっては、画像の明るさだけでなく、R値、G値、B値の各輝度の値も変化する。
【0007】
これに対し、上記の従来技術は、画像の明るさに応じて基準色の代表値を設定し直すことが考慮されていないので、画像処理の精度について改良の余地がある。
【0008】
本発明は、照明条件やカメラの撮影条件が異なる場合でも、板の画像処理による異常検出の精度を向上することが可能な画像の補正方法および異常の検出方法、ならびに画像補正装置および異常検出装置を提供する。
【課題を解決するための手段】
【0009】
本発明は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、圧延機により圧延されている定常状態の金属帯板の表面を少なくとも一部分に含む画像であって、所定位置の一つのカメラにより異なる照明条件又は撮影条件ごとに撮影された前記金属帯板が映る画像を複数取得する取得工程と、前記取得工程で取得された複数の前記画像に対して、前記金属帯板が映る部分に含まれる参照ピクセル点、または参照ピクセル範囲を選択する選択工程と、前記取得工程で取得された複数の前記画像の中から、前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値、G値、B値の何れかの輝度が最大の輝度となる参照ピクセル点、または前記参照ピクセル範囲を含む画像を第1画像として決定する決定工程と、前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値、G値、B値と、前記第1画像以外の他の全ての画像のうち前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲と同じ領域の参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値との各々の輝度差を計算する計算工程と、前記第1画像の前記参照ピクセル点、または前記参照ピクセル範囲の平均における各々のR値、G値、B値に、前記他の全ての画像の参照ピクセル点、または参照ピクセル範囲の平均における各々のR値、G値、B値を合わせるように、前記他の全ての画像の全てのピクセル点における各々のR値、G値、B値に、各々の前記輝度差の絶対値を加算または減算する補正工程と、を備えることを特徴とする。
【発明の効果】
【0010】
本発明によれば、照明条件やカメラの撮影条件が異なる場合でも、板の画像処理による異常検出の精度を向上することができる。上記した以外の課題、構成および効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施例の画像補正装置および異常検出装置を備えた圧延設備の概要を示す図。
【
図2】金属帯板を撮影した画像((A):第1画像、(B):第2画像)の色調の違いの一例を示す図。
【
図3】金属帯板を撮影した画像の板表面の圧延方向でのR値、G値またはB値の輝度の様子を示す図。
【
図4】金属帯板を撮影した画像の圧延方向でのR値、G値またはB値の輝度の補正の一例を示す図。(A)は、第1画像と第2画像(参照ピクセル箇所で、第1画像の輝度から第2画像の輝度を引いた時の輝度差が正の値の場合)の圧延方向のR値、G値、B値の輝度分布。(B)は、第1画像と補正後の第2画像の圧延方向のR値、G値、B値の輝度分布。
【
図5】金属帯板を撮影した画像の圧延方向でのR値、G値またはB値の輝度の補正の一例を示す図。(A)は、第1画像と第3画像(参照ピクセル箇所で、第1画像の輝度から第3画像の輝度を引いた時の輝度差が負の値の場合)の圧延方向のR値、G値、B値の輝度分布。(B)は、第1画像と補正後の第3画像の圧延方向のR値、G値、B値の輝度分布。
【
図6】金属帯板を撮影した各画像の
図2中B点でのR値、G値、B値を示す図。
【
図7】
図6における金属帯板を撮影した各画像のR値、G値、B値と画像No.8のR値、G値、B値との輝度差を示す図。
【
図8】金属帯板を撮影した各画像の
図2中D点でのR値、G値、B値を示す図。
【
図9】
図8における金属帯板を撮影した各画像のR値、G値、B値と画像No.8のR値、G値、B値との輝度差を示す図。
【
図10】実施例の異常検出装置における、1つの画像に対する板範囲内のピクセル点(画素)の輝度(R値、G値、B値)ヒストグラムの一例を示す図。
【
図11】実施例の異常検出装置における、輝度基準値(R値)の算出方法の一例を示す輝度のヒストグラムの図。
【
図12】実施例の異常検出装置における、輝度基準値(R値)の算出方法の他の一例を示す輝度のヒストグラムとその頻度分布の積分値合計比率の図。
【
図13】実施例の異常検出装置における、輝度基準値(R値)の算出方法の更に他の一例を示す輝度のヒストグラムとその頻度分布の積分値合計比率の図。
【発明を実施するための形態】
【0012】
本発明の画像の補正方法および異常の検出方法、ならびに画像補正装置および異常検出装置の実施例について
図1乃至
図12を用いて説明する。なお、本明細書で用いる図面において、同一のまたは対応する構成要素には同一、または類似の符号を付け、これらの構成要素については繰り返しの説明を省略する場合がある。
【0013】
最初に、画像補正装置および異常検出装置を含めた圧延設備の全体構成について
図1を用いて説明する。
図1は本実施例の画像補正装置および異常検出装置とそれらを備えた圧延設備の構成を示す概略図である。
【0014】
図1に示す金属帯板1を圧延する圧延設備100は、F1スタンド10、F2スタンド20、F3スタンド30、F4スタンド40、F5スタンド50、カメラ61,62,63,64,65、張力制御用のルーパー71,72,73,74、異常検出装置80、制御装置85、モニタ87等を備えている。また、F1スタンド10、F2スタンド20、F3スタンド30、F4スタンド40、F5スタンド50、カメラ61,62,63,64、65、異常検出装置80、制御装置85は、通信線90により接続されている。
【0015】
なお、圧延設備100については、
図1に示すような5つの圧延スタンドが設置されている形態に限られず、最低2スタンド以上であればよい。また、本発明の画像の補正方法および異常の検出方法、ならびに画像補正装置および異常検出装置が好適に適用されるのは2スタンド以上の圧延設備である必要は無く、1スタンドの圧延機であってもよい。
【0016】
F1スタンド10や、F2スタンド20、F3スタンド30、F4スタンド40、F5スタンド50の各々は、上ワークロールおよび下ワークロール、これら上ワークロールおよび下ワークロールにそれぞれ接触することで支持する上バックアップロール、下バックアップロール、上バックアップロールの上部に設けられた圧下シリンダ11,21,31,41,51、荷重検出器12,22,32,42,52を備えている。なお、各ワークロールと各バックアップロールとの間に、更に中間ロールを設けた6段の構成とすることができる。
【0017】
ルーパー71はF1スタンド10とF2スタンド20との間に設置されている張力制御用のロールである。このルーパー71は、走行する金属帯板1が載るように、その回転軸が金属帯板1の幅方向に延びて配置されており、金属帯板1を上方に持ち上げて保持するようにして設置されている。
【0018】
なお、ルーパー71は、例えば、ばね等で上方に付勢するものや、油圧シリンダ、またはモータ駆動等で持ち上げるもの等が考えられる。
【0019】
カメラ61は、F1スタンド10とF2スタンド20との間の位置周辺(張力制御用のルーパー71が設置されている位置周辺)の圧延された金属帯板1の板表面を撮影するように設置されている。カメラ61が撮影した画像のデータは、通信線90を介して異常検出装置80に送信される。
【0020】
同様に、張力制御用のルーパー72がF2スタンド20とF3スタンド30との間に、張力制御用のルーパー73がF3スタンド30とF4スタンド40との間に、張力制御用のルーパー74がF4スタンド40とF5スタンド50との間に、それぞれ設置されている。
【0021】
また、カメラ62はルーパー72により鉛直方向上方側に持ち上げられた金属帯板1の持ち上げられた周辺領域で金属帯板1の板表面の画像を撮影する位置に、カメラ63はルーパー73により上方側に持ち上げられた金属帯板1の持ち上げられた周辺領域で金属帯板1の板表面の画像を撮影する位置に、カメラ64はルーパー74により上方側に持ち上げられた金属帯板1の持ち上げられた周辺領域で金属帯板1の板表面の画像を撮影する位置に、カメラ65はF5スタンド50の下流側の位置で、金属帯板1の板表面の画像を撮影する位置に、それぞれ設置されている。カメラ62,63,64,65により撮影された画像のデータは、通信線90を介して異常検出装置80に送信される。
【0022】
カメラ61,62,63,64,65の設置位置は、それぞれ、好適には、金属帯板1を上面視した際に、金属帯板1の板幅方向の外側であり、前記カメラの撮影位置は、F1スタンド10、F2スタンド20、F3スタンド30、F4スタンド40、F5スタンド50の下流側であり、圧延機下流側にさらに圧延機がある場合は、2つの圧延機スタンド間の中間位置(ルーパー位置と略同じ位置)、圧延機下流側に圧延機がない場合は、その最終圧延機スタンドの下流側直近位置であることが望ましい。
【0023】
カメラ61,62,63,64が主に撮影する、ロールにより上方側に持ち上げられた金属帯板1の持ち上げられた撮影領域、またカメラ65が主に撮影する、F5スタンド50の下流側(圧延機の下流側にルーパーがない場合)の金属帯板1の撮影領域を照らす照明を更に設けることができる。この照明は、圧延設備100が設置されている圧延工場の天井などに適宜配置される一般的な照明でよく、本発明では特段新たな照明設備は不要であるが、棒状光源などの専用の照明を設けても良い。
【0024】
異常検出装置80は、カメラ61,62,63,64,65が撮影する画像に基づき、金属帯板1の板形状の異常の有無を判断するための各種処理を実行する装置であり、画像補正部81、閾値演算部82、異常検出部83を有する。
【0025】
このうち、画像補正部81は、圧延設備100により圧延された定常状態の金属帯板1の表面の画像であって、異なる照明条件又は撮影条件で撮影された画像を複数取得する部分であり、好適には取得工程の実行主体となる。
【0026】
ここで、この取得部81aで取得する複数の画像は、後述する第1画像の参照ピクセル点、または参照ピクセル範囲の平均における輝度(以下R値、G値、B値と称する)と、第1画像以外の前記参照ピクセル点、または前記参照ピクセル範囲の平均におけるR値、G値、B値との各々の輝度差が51以下となるように調整されているものとすることができる。
【0027】
なお、ここでいう「定常状態の金属帯板の表面」とは、先端部や尾端部ではない正常な圧延が行われている状態の金属帯板1の板が圧延方向に湾曲していない平坦な部位での板表面である。
【0028】
また、「異なる照明条件又は撮影条件」とは、圧延設備100が設置されている施設に設けられている照明の形状、輝度、照度、色調、設置位置のいずれか一つ以上の条件、あるいはカメラ61,62,63,64,65の設置位置やカメラアングル、絞り値、シャッタースピード、ISO感度、撮像素子のデジタル設定のうちいずれか一つ以上の条件が異なる場合のことを意味する。
【0029】
「複数取得する」とは、予め撮影されていた金属帯板1の写る画像を記憶装置から取得する形態、あるいはカメラ61,62,63,64,65により撮影される画像データをカメラ61,62,63,64,65から入力を受ける形態、その両方、のいずれかでよく、特に限定されない。
【0030】
選択部81bは、取得部81aで取得された複数の画像の中の1つの画像から、金属帯板1を示す部分に含まれる参照ピクセル点、または参照ピクセル範囲を選択する部分であり、好適には選択工程の実行主体となる。ここで選択される参照ピクセル範囲を構成するピクセル点の点数に特に限定は無いが、数点から数百点程度とすることができる。
【0031】
ここで、選択部81bは、金属帯板1を示す部分であって、反射光領域1A以外の部分から参照ピクセル点、または参照ピクセル範囲を選択することができる。また、選択される参照ピクセル点、または参照ピクセル範囲は、その周囲の所定範囲の輝度との差分が所定値より小さいとみなせる輝度が安定した領域とすることが望ましく、例えば後述する
図3に示すように、金属帯板1の板表面の圧延方向の輝度分布を示す部分のうち、反射光領域から離れているとみなせる領域から選択されることが望ましい。
【0032】
そのために、選択部81bは、例えば、金属帯板1の持ち上げられた領域を含む画像を画像処理にて、画像に映る板表面の反射光の輝度が特定の輝度の値よりも大きい箇所の圧延方向に対する上流側・下流側の境界を含む範囲を反射光領域として特定する。
【0033】
ここで、反射光領域とは、金属帯板1が映っている範囲のうち、他の部分よりも強い反射光が得られる領域で、ルーパー71,72,73,74で持ち上げられた箇所を主にして現れる。撮影画像に反射光領域が含まれるように、カメラ61,62,63,64,65が配置される。
【0034】
例えば、金属帯板1の画像のR値、G値、B値の輝度の最大値の0.9倍以上の領域を反射光領域として特定することができる。なお、R値、G値、B値の輝度の最大値が255のときは輝度が230以上の輝度となっている領域、輝度の最大値が255未満のときはその最大値の0.9倍以上の輝度となっている領域を、反射光領域とみなすものとすることができる。しかしながら、反射光領域の定義は上述の定義のみに限定されず、適宜変更可能である。
【0035】
決定部81cは、取得部81aで取得された複数の画像の中から、参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値の何れかの輝度が最大である第1画像を決定する部分であり、好適には決定工程の実行主体となる。この決定部81cでは、参照ピクセル点、または参照ピクセル範囲の平均として、あるピクセル点を中心に数点から数百点くらいのピクセル点を含むものとしても良く、特に限定されない。
【0036】
計算部81dは、第1画像の参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値と、第1画像以外の他の全ての画像の参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値との各々の輝度差を計算する部分であり、好適には計算工程の実行主体となる。
【0037】
補正部81eは、第1画像の参照ピクセル点、または参照ピクセル範囲の平均における各々のR値、G値、B値に、他の全ての画像の参照ピクセル点、または参照ピクセル範囲の平均における各々のR値、G値、B値を合わせるように、他の全ての画像の全てのピクセル点における各々のR値、G値、B値に、計算部81dで求めた各々の輝度差の絶対値を加算または減算する部分であり、好適には補正工程の実行主体となる。
【0038】
この補正部81eでは、輝度差が補正された後のR値、G値、B値のうち、輝度が255を超えたときは、該当するR値、G値、B値の輝度を255に修正することができる。
【0039】
閾値演算部82は、画像補正部81で補正された画像に対して第1画像のR値、G値、B値を用いて各種閾値を求める部分であり、好適には閾値演算工程の実行主体となる。なお、繰り返し圧延が行われる場合、同じ第1画像を継続して使用すれば、その間、各種閾値は求め直す必要がなく、同じ値を継続使用することができる。
【0040】
異常検出部83は、閾値演算部82で設定された閾値と、カメラ61,62,63,64,65で撮影され、画像補正部81で輝度が補正された画像とに基づいて、金属帯板1の表面の異常を検出する部分であり、好適には異常検出工程の実行主体となる。
【0041】
本実施例における異常検出部83は、例えば、画像内の反射光領域を金属帯板1の範囲内のピクセル点の輝度データをR値、G値、B値に分け、前記R値から基準R値を、前記G値から基準G値を、前記B値から基準B値を各々減算して各々の輝度差を求め、各々の前記輝度差のうち、2成分の前記輝度差の両方が各々の輝度差閾値以上となる場合に圧延異常として検出する。
【0042】
異常検出部83による異常検出処理は、圧延設備100による金属帯板1の圧延時に実行することが望ましい。
【0043】
また、画像補正部81による画像の補正処理は、圧延設備100のメンテナンス実行後または、照明設備のメンテナンス実行後、特にはカメラ61,62,63,64,65の設置位置やカメラアングル、露光度、露光時間、ホワイトバランス、撮像素子のデジタル設定等の撮影条件の変更後に実行することが望ましい。
【0044】
これに対し、閾値演算部82による閾値を求める処理は、第1画像の変更後に実行することが望ましく、同じ第1画像を継続して使用する場合は、圧延設備100による金属帯板1の圧延時は、先に求めた閾値を使うため、特段実行する必要はない。
【0045】
制御装置85は、圧延設備100内の各機器の動作を制御する装置であり、本実施例では、異常検出装置80の異常検出部83での金属帯板1の板形状の判断に応じた各種制御を実行する装置である。
【0046】
これら異常検出装置80や制御装置85は、後述する液晶ディスプレイ等のモニタ87や入力機器、記憶装置、CPU、メモリなどを有するコンピュータで構成されるものとすることができ、1つのコンピュータで構成されるものとして別のコンピュータで構成されるものとしてもよく、特に限定されない。
【0047】
異常検出装置80や制御装置85による各機器の動作の制御は、記憶装置に記録された各種プログラムに基づき実行される。なお、異常検出装置80や制御装置85で実行される動作の制御処理は、1つのプログラムにまとめられていても、それぞれが複数のプログラムに別れていてもよく、それらの組み合わせでもよい。また、プログラムの一部または全ては専用ハードウェアで実現してもよく、モジュール化されていてもよい。
【0048】
モニタ87は、ディスプレイなどの表示機器や警報機などの音響機器であり、例えば異常検出装置80が板形状不良発生や板絞り込み発生等の問題が発生していると判断したときに、その対処作業についてオペレータに対して伝えるための装置であることから、このようなモニタ87としては、ディスプレイが用いられることが多い。
【0049】
ここで、上述の異常検出装置80は表示信号部を含んでおり、モニタ87に表示する内容に関する信号をモニタ87に送信する。
【0050】
オペレータは、操業中、モニタ87の表示画面や各スタンド自体、各スタンド間を目視することで板形状の状態を確認することができる。
【0051】
なお、オペレータに板形状不良の発生を伝えるとともに板形状不良を改善する操作を制御装置85により自動で行う形態に限られず、モニタ87に表示するのみの形態や、モニタ87への表示を省略して板形状不良を改善する操作を制御装置85により自動で行うのみの形態とすることができる。なお、板形状不良の発生のみならず、板絞り込みの発生の場合も、同様である。
【0052】
次いで、本発明における画像補正部81における画像の補正処理の流れ(画像の補正方法)の具体例について
図2以降を用いて説明する。
【0053】
図2は金属帯板1を撮影した画像の色調の違いがある場合の一例を示す模式図である。
【0054】
図2に示している金属帯板1は、
図2中(A)が金属帯板1を実際に撮影した画像(第1画像)、
図2中(B)は元画像を異なる撮影条件によりカメラで撮影した画像(第2画像)の模式図を表している。
【0055】
図2の模式図に示すように、第1画像と第2画像とでは、両者とも同じ被写体であるが、画像の明るさや色調が若干異なっていることがある。
【0056】
図2に示した模式図と同様の実際の画像を用いて、画像を構成するピクセル点の輝度を調べた結果を以下に示す。第1画像および第2画像中、A1およびA2(A点:金属帯板1の範囲外の位置=背景)、B1およびB2(B点:反射光領域1Aではない、金属帯板1の範囲内の定常状態の表面位置)、C1およびC2(C点:金属帯板1範囲内の反射光領域1A内の位置)、D1およびD2(D点:反射光領域1Aではない、金属帯板1の範囲内の定常状態の表面位置)は、画像の同じ場所であるが、第1画像と第2画像とで色調が同じではないので、各点について、両者の画像の実際の輝度(R値、G値、B値)を調べた。
【0057】
第1画像と第2画像のA点(A1、A2)、B点(B1、B2)、C点(C1、C2)、D点(D1、D2)の各点を計測した輝度(R値、G値、B値)、またA点、B点、C点、D点の第1画像と第2画像の各輝度の差(A1-A2、B1-B2、C1-C2、D1-D2)、及び各平均値は、以下の表1の通りである。
【0058】
【0059】
上記のR値、G値、B値の計測値から、反射光領域内の位置(C点:C1,C2)を除いて、金属帯板1範囲内のR値、G値、B値、および背景(金属帯板1範囲外)のR値、G値、B値、すなわちA点、B点、D点の第1画像と第2画像の各輝度差が近い値であることがわかる。
【0060】
従って、第2画像の金属帯板1の範囲内の定常状態の表面位置(例えばB2点、またはD2点)の色調を第1画像の金属帯板1の範囲内の定常状態の表面位置(例えばB1点、またはD1点)の色調と合わせる以下のような手法で、異常検出のための画像処理を行う元になる画像を構成する全ピクセル点のR値、G値、B値を事前に補正処理して、その後で画像解析による異常検出処理を行うようにする。このやり方によって、常に、同じ閾値を用いて、画像解析を行うことができる。
【0061】
また、画像に映る金属帯板1の圧延方向の板表面の輝度変化を模式的に示すと、
図3のようになる。
図3は金属帯板1を圧延機スタンド間のルーパー部で撮影した画像の圧延方向でのR値、G値またはB値の輝度変化の様子を示す図である。ルーパー部では金属帯板1が圧延方向(高さ方向)に湾曲しているため、他より高い輝度を示す反射光領域が存在する。また、金属帯板1が圧延方向に湾曲していない定常状態の金属帯板の表面の位置に、参照ピクセル点、または参照ピクセル範囲(
図2中のB点、またはD点)を設定する。金属帯板1を圧延機スタンド間のルーパー部でない位置、すなわち、例えば最終圧延機スタンドの下流で撮影した画像では、最終圧延機スタンド直近の下流で、定常状態の金属帯板の表面の位置を、参照ピクセル点、または参照ピクセル範囲に設定する。
【0062】
ここで、R値、G値、B値の輝度の最大値は255なので、どのように撮影をしても、反射光領域(C点やその周囲に相当する領域)では輝度が高いため、輝度の値は255となり頭打ちになる場合がある。つまり、反射光領域での最大値は、R値=255、G値=255、B値=255(白色)となる。
【0063】
前記補正処理は、例えば、表1に示す輝度データの場合、以下のように行う。
【0064】
まず、金属帯板1範囲内の位置(B点:B1,B2)の色調は、どの画像も、常に、第1画像(B1)のRGB値(R=190、G=145、B=116)に、修正して固定する。
【0065】
つまり、第2画像の金属帯板1範囲内の位置B2点での色調を、第1画像のB1点の色調に合わせるように画像を加工する。この場合、B点が参照ピクセル点、または参照ピクセル範囲の位置となる。
次いで、2つの画像(第1画像と第2画像)の金属帯板1範囲内の位置(B点:B1,B2)でのR値、G値、B値の輝度差を調べる。第1画像の輝度のR値、G値、B値のいずれかまたはすべてが第2画像の輝度のR値、G値、B値のいずれかまたはすべてより大きい場合、その大きいと判断されたR値、またはG値、またはB値の輝度差の絶対値を、第2画像の全体のピクセル点の対応するR値、またはG値、またはB値に足す。第1画像のR値、G値、B値のいずれかまたはすべてが第2画像のR値、G値、B値のいずれかまたはすべてより小さい場合、その小さいと判断されたR値、またはG値、またはB値の輝度差の絶対値を、第2画像の全体のピクセル点の対応するR値、またはG値、またはB値から引く。
【0066】
図4および
図5は金属帯板1を撮影した画像の圧延方向でのR値、G値またはB値の輝度の補正処理の一例を示す模式的な図である。
【0067】
例えば
図4に示すように、第1画像と第2画像における参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値の各輝度の差分が正の値であり、上記の輝度差の絶対値を第2画像に加えた補正後の第2画像では最大値(255)を超えることが考えられる。その場合は、補正後の第2画像のうち、255を超えた値を255に修正することが望ましい。
【0068】
また、例えば
図5に示すように、第1画像と第3画像における参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値の各輝度の差分が負の値であり、上記の輝度差の絶対値を第3画像から引いた補正後の第3画像で、反射光領域では白色を示していた各R値、G値、B値が255から引かれ、例えば補正後の第3画像に示されるように、反射光領域での輝度の最大値が255より大幅に低くなるケースもあり得る。このケースでは、反射光領域の判定が正しくできない可能性も考えられる。
【0069】
図5のように、画像の輝度のR値、G値、B値の減算により、反射光領域の輝度の補正処理において反射光領域の判定が正しくできなくなる可能性がある。そこで、なるべく参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値の各輝度差が負の値にならないように、金属帯板1の範囲内の定常状態の表面の輝度が比較的高い画像を第1画像として決めることが望ましい。
【0070】
すなわち、金属帯板1が熱間圧延鋼板の場合は、参照ピクセル点の輝度、または参照ピクセル範囲の平均輝度のうち、金属帯板1の色調でR値の輝度が過去の実績から最大値を示した画像を第1画像として採用するのが好ましい。最大値の実績のR値は、詳しくは
図6乃至
図8を用いて説明する。
【0071】
図6は、実際の圧延設備100で実際に金属帯板1を圧延した際の画像データを無作為に10ケース選び、前記B点に相当する領域のR値、G値、B値を調べたものである。また、
図7は、上記の画像No.8を第1画像として、その他の画像のB点でのR値、G値、B値との輝度差を示したものである。
【0072】
図6に示す画像データを確認した結果、画像No.8のR値が、最大値を示していることがわかる。
【0073】
例えば、
図6に示す画像No.8を第1画像とすると、前記B点での輝度は、R値=210であった。この場合、他の画像との輝度差があまり大きくないことが望ましいので、取得部81aで取得する金属帯板1の他の複数の画像の前記B点での輝度は、R値=159~210の範囲に入っている画像から選択されることが好ましい。
【0074】
つまり、後述される
図9の実績から、他の複数の画像は、第1画像の参照ピクセル点の輝度のR値、または参照ピクセル範囲の輝度の平均R値とのR値の輝度差が、51以下であることが好ましいと考える。この範囲(R値=159~210)を外れている場合は、カメラ61,62,63,64,65の撮影時の設定で、R値が159~210の範囲内に入るように、画像の明るさを予め調整しておくようにすることが好ましい。
【0075】
また、G値、あるいはB値の方がR値より値が大きい場合、最も輝度値が高い成分を第1画像の選択基準にするが、圧延設備100が熱間圧延用である場合は、金属帯板1の色調はR値が基本的に高いことから、R値を第1画像の選択基準にすることが望ましい。
【0076】
この結果であれば、第1画像とした画像No.8の前記B点のR値、G値、B値を基準として、その他の画像のB点のR値、G値、B値を画像No.8のB点のR値、G値、B値になるように、B点でのR値、G値、B値との輝度差を求め、その他の画像の全てのピクセル点の輝度に前記輝度差の絶対値を加算または減算して、その他の画像のB点の金属帯板1の色調を、常に、画像No.8のB点の金属帯板1の色調と同じになるように補正処理する。
【0077】
このやり方により、画像処理の閾値(パラメータ)は、常に、同じ値を用いることができ、画像によって、閾値を変更する必要はなくなる。
【0078】
上記のやり方で問題がないか、前記D点についても調べてみた。
図8は、上記と同じ画像データで、D点のR値、G値、B値を調べたものである。また、
図9は、上記の画像No.8を第1画像として、その他の画像のD点でのR値、G値、B値との輝度差を示したものである。
【0079】
これら
図8に示すように、前記D点においても、画像No.8のR値が最も高く、またその値も前記B点のR値とほぼ同じであった。
【0080】
更に、
図7および
図9に示すように、先に無作為に選んだ10種の画像のうち、これらの各々の画像のR値、G値、B値と画像No.8のR値、G値、B値との輝度差がB点とD点とでどのくらい差があるかを調べた。その結果、R値の輝度差はD点の場合(
図9)、最大で51であり、画像No.8の場合の金属帯板1の色調のR値、G値、B値はB点、D点ともほぼ近い値であることが判った。従って、参照ピクセル点、または参照ピクセル範囲は、金属帯板1のうち、反射光領域の外、すなわち定常状態の金属帯板1の表面の位置から選択すればよいことがわかった。また、
図9の実績から、他の複数の画像は、第1画像の参照ピクセル点の輝度のR値、または参照ピクセル範囲の輝度の平均R値とのR値の輝度差が、51以下であれば、実績から問題ないと考えられ、51以下が好ましいと考える。
【0081】
したがって、第1画像として選んだ金属帯板1の定常状態の金属帯板1の表面の位置を参照ピクセル点、または参照ピクセル範囲とし、その位置またはその範囲におけるR値、G値、B値を基準として、他の画像について、参照ピクセル点、または参照ピクセル範囲における輝度を常に同じR値、G値、B値に固定するように、画像全体のピクセル点の輝度を補正処理加工すれば、画像処理の際に設定している閾値(パラメータ)の値は常に一定の値とでき、閾値設定を変える必要はない、といえることが判った。
【0082】
次に、閾値演算部82での閾値の求め方の一例について
図10以降を用いて説明する。
図10は1つの画像に対する板範囲内のピクセル点の輝度(R値、G値、B値)ヒストグラムの一例を示す図、
図11乃至
図13は異常がない板であると判断される画像処理の際に設定している閾値(パラメータ)に関係する輝度基準値の算出方法の一例を示す図である。
【0083】
まず、好適には、圧延設備100の据付時、あるいは圧延設備100のメンテナンス実行後、特にはカメラ61,62,63,64,65の撮影条件の変更後に、カメラ61,62,63,64,65により、金属帯板1を含む画像を取得する。
【0084】
異常検出装置80では、閾値演算部82において、画像補正部81により補正処理加工された圧延時の金属帯板1が映っている画像を二値化処理にて、背景と金属帯板1が存在する領域とに分離するように、ある閾値以上の輝度領域から金属帯板1の範囲を抽出する。
【0085】
次いで、閾値演算部82において、金属帯板1の範囲内側のピクセル点の輝度分布を求め、板絞り込み発生等の異常がない板であると判断するための輝度基準値を算出する。ここでは、閾値演算部82は、輝度データをR値、G値、B値の3成分に分け、輝度基準値として基準R値(R0値)、基準G値(G0値)、および基準B値(B0値)の3つの値を求めるものとする。
【0086】
なお、前記輝度基準値のうち、2つの値(R0値およびG0値、R0値およびB0値、B0値およびG0値のうちいずれかの組み合わせ)を求めるものとしてもよい。
【0087】
具体的には、閾値演算部82は、カメラ61,62,63,64,65にて撮影された1つの画像に対して、抽出した範囲の全ピクセルにおけるR値、G値、B値に対する計測点数で示される各々のR値、G値、B値の輝度の度数分布(ヒストグラム)を求める。ここで、R値、G値、B値はいずれも0から255までの範囲内の値を取る。
図10に、1つの画像に対する板範囲の輝度(R値、G値、B値)ヒストグラムの一例を示す。
【0088】
次いで、閾値演算部82では、
図11に示すように、画像のR値を例にとると、全ピクセル点についての各輝度に対するヒストグラムが得られ、ヒストグラムの下位からX%の輝度以上、Y%の輝度以下の範囲内で、R値を異常がない板であると判断される輝度基準値と決めることができ、前記ヒストグラムで同じ輝度のピクセル数がもっとも多い最頻値(ヒストグラムの下位からZ%の輝度)のR値を異常がない板であると判断される輝度基準値と決めることができる。例えば、
図12に示すように、R値の頻度分布の積分値で示される面積を2分割する値(輝度の頻度分布積分値の合計比率が50%)のR値を異常がない板であると判断される輝度基準値とする。また、輝度の頻度分布積分値の合計比率50%から±20%以内の許容範囲内で1つの値を選定し、R値の輝度基準値とすることができる。なお、許容範囲は「±20%」である必要は無く、適宜変更可能である。またこのような手法は、G値、B値にも適用される。
【0089】
この輝度基準値を求めるために用いる値(輝度の頻度分布積分値の合計比率)は、異常検出対象の金属帯板1を圧延前にオペレータが指定する形式でも、装置のプリセットの値を用いる形式でもよく、更には機械学習により最適な値を適宜学習する形式でもよい。
【0090】
また、前記R値の頻度分布の積分値で示される面積を2分割する値を用いる代わりに、
図13に示すように、R値の頻度分布の中で最も多い計測点数である輝度(最頻値、すなわち輝度の頻度分布積分値の合計比率がZ%)を異常がない板であると判断される輝度基準値とすることができる。更に、前記最頻値から±30%以内の許容範囲内で1つの値を選定し、R値の輝度基準値とすることができる。なお、許容範囲は「±30%」である必要は無く、適宜変更可能である。またこのような手法は、G値、B値にも適用される。
【0091】
次に、本実施例の効果について説明する。
【0092】
上述した本実施例の画像補正部81は、圧延設備100により圧延された定常状態の金属帯板1の表面の画像であって、異なる照明条件又は撮影条件で撮影された画像を複数取得する取得部81aと、取得部81aで取得された複数の画像の中の1つの画像から、金属帯板1を示す部分に含まれる参照ピクセル点、または参照ピクセル範囲を選択する選択部81bと、取得部81aで取得された複数の画像の中から、参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値の何れかの輝度が最大である第1画像を決定する決定部81cと、第1画像の参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値と、第1画像以外の他の全ての画像の参照ピクセル点、または参照ピクセル範囲の平均におけるR値、G値、B値との各々の輝度差を計算する計算部81dと、第1画像の参照ピクセル点、または参照ピクセル範囲の平均における各々のR値、G値、B値に、他の全ての画像の参照ピクセル点、または参照ピクセル範囲の平均における各々のR値、G値、B値を合わせるように、他の全ての画像の全てのピクセル点における各々のR値、G値、B値に、各々の輝度差の絶対値を加算または減算する補正部81eと、を備える。
【0093】
これにより、複数の画像の全てについて同じ照明条件やカメラの撮影条件で撮影したものとして模擬できる。従って、異なった条件の照明条件や撮影条件で得られた画像に対しても、画像処理で判断が求められる同じ種々の閾値が使えるので、照明条件や撮影条件を変えるたびに異常判定用の種々の閾値を求め直すことが不要になり、迅速でかつ安定したな画像処理ができる。
【0094】
また、特に、圧延機スタンド間のルーパー部での金属帯板1の画像の場合、反射光領域が映り込んでおり、反射光領域のR値、G値、B値は最大値(255)に近い白色に近く、実際に金属帯板1の色調を適切に示していないことがほとんどである。そこで、選択部81bは、金属帯板1を示す部分であって反射光領域以外の部分、すなわち定常状態の金属帯板1の表面の位置から参照ピクセル点、または参照ピクセル範囲を選択することにより、他の全ての画像の参照ピクセル点、または参照ピクセル範囲の色調を同じ色調に補正処理することが可能となる。なお、圧延機下流側に圧延機がない場合は、その最終圧延機スタンドの下流側直近位置から参照ピクセル点、または参照ピクセル範囲を選択することにより、他の全ての画像の参照ピクセル点、または参照ピクセル範囲の色調を同じ色調に補正処理することが可能となる。
【0095】
更に、参照ピクセル点、または参照ピクセル範囲でのR値の輝度差が51を超えるような場合は、補正工程において、反射光領域の値がR値、G値、B値の全てで255を超えることに引きずられて白色を示す反射光領域と判定する領域が広がりやすくなる。そこで、取得部81aは、取得する複数の画像を、輝度差が51以下となるように調整されているものとすることで、反射光領域の判定の精度が低下することを抑制することができる。
【0096】
また、補正部81eは、前記輝度差の絶対値が加算または減算された後のR値、G値、B値のうち、輝度の値が255を超えたときは、該当するR値、G値、B値の輝度の値を255に修正することにより、判定可能な数値範囲は0~255であることに対応してピクセルの輝度値を正常な数値範囲とすることができ、より正確な補正処理を行うことができるようになる。
【0097】
更に、異常検出装置80は、画像補正部81と、第1画像のR値、G値、B値を用いて閾値を求める閾値演算部82と、閾値に基づいて金属帯板1の表面の異常を検出する異常検出部83と、を備えることで、第1画像で使用した照明条件や撮影条件で得られる画像に対して可否を示すR値、G値、B値の閾値を求め、照明条件や撮影条件を考慮した補正後の画像に、第1画像で使用した閾値を適用して金属帯板1の表面の異常を検出することができるので、種々の閾値を求めなおすことが不要になり、金属帯板1の異常検出の精度を向上させることができる。また、閾値を何度も求める必要がなくなるため。操業時のオペレータの負担の軽減を図ることができる。
【0098】
<その他>
なお、本発明は上記の実施例に限られず、種々の変形、応用が可能なものである。上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。
【符号の説明】
【0099】
1…金属帯板
10…F1スタンド(圧延機)
11,21,31,41,51…圧下シリンダ
12,22,32,42,52…荷重検出器
20…F2スタンド(圧延機)
30…F3スタンド(圧延機)
40…F4スタンド(圧延機)
50…F5スタンド(圧延機)
55…ハウジング
61,62,63,64,65…カメラ
71,72,73,74…ルーパー
80…異常検出装置
81…画像補正部
81a…取得部
81b…選択部
81c…決定部
81d…計算部
81e…補正部
82…閾値演算部
83…異常検出部
85…制御装置
87…モニタ
90…通信線
100…圧延設備
【要約】
【課題】照明条件やカメラの撮影条件が異なる場合でも、板の画像処理による異常検出の精度を向上させる。
【解決手段】定常状態の金属帯板1の表面の画像であって、異なる照明条件又は撮影条件で撮影された画像を複数取得する取得部81aと、複数の画像の中から、金属帯板1を示す部分に含まれる参照ピクセル点/範囲を選択する選択部81bと、複数の画像の中から、参照ピクセル点/範囲の平均におけるR値、G値、B値の何れかの輝度が最大である第1画像を決定する決定部81cと、第1画像の参照ピクセル点/範囲の平均におけるR値、G値、B値から、第1画像以外の他の全ての画像の参照ピクセル点/範囲の平均におけるR値、G値、B値を引いた各々の輝度差を計算する計算部81dと、他の全ての画像の全てのピクセル点における各々のR値、G値、B値に各々の輝度差の絶対値を加算または減算する補正部81eと、を備える。
【選択図】
図4