IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 新日鐵住金株式会社の特許一覧 ▶ 新日鉄住金ソリューションズ株式会社の特許一覧

特開2023-140789蛇行監視方法および蛇行監視システム
<>
  • 特開-蛇行監視方法および蛇行監視システム 図1
  • 特開-蛇行監視方法および蛇行監視システム 図2
  • 特開-蛇行監視方法および蛇行監視システム 図3
  • 特開-蛇行監視方法および蛇行監視システム 図4
  • 特開-蛇行監視方法および蛇行監視システム 図5
  • 特開-蛇行監視方法および蛇行監視システム 図6
  • 特開-蛇行監視方法および蛇行監視システム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023140789
(43)【公開日】2023-10-05
(54)【発明の名称】蛇行監視方法および蛇行監視システム
(51)【国際特許分類】
   G01N 21/892 20060101AFI20230928BHJP
   G06T 7/00 20170101ALI20230928BHJP
   G06V 10/82 20220101ALI20230928BHJP
【FI】
G01N21/892 B
G06T7/00 350B
G06V10/82
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2022046807
(22)【出願日】2022-03-23
(71)【出願人】
【識別番号】000006655
【氏名又は名称】日本製鉄株式会社
(71)【出願人】
【識別番号】000191076
【氏名又は名称】日鉄ソリューションズ株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100134359
【弁理士】
【氏名又は名称】勝俣 智夫
(74)【代理人】
【識別番号】100188592
【弁理士】
【氏名又は名称】山口 洋
(74)【代理人】
【識別番号】100217249
【弁理士】
【氏名又は名称】堀田 耕一郎
(74)【代理人】
【識別番号】100221279
【弁理士】
【氏名又は名称】山口 健吾
(74)【代理人】
【識別番号】100207686
【弁理士】
【氏名又は名称】飯田 恭宏
(74)【代理人】
【識別番号】100224812
【弁理士】
【氏名又は名称】井口 翔太
(72)【発明者】
【氏名】岡田 慎哉
(72)【発明者】
【氏名】中松 智昭
(72)【発明者】
【氏名】田中 宏和
(72)【発明者】
【氏名】後藤 孝一
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA37
2G051AB10
2G051BA20
2G051CA04
2G051CB01
2G051EB05
5L096AA06
5L096BA02
5L096CA02
5L096DA02
5L096GA30
5L096HA11
5L096KA04
(57)【要約】
【課題】連続焼鈍炉内のストリップの蛇行の発生を簡便かつより高い精度で予知する。
【解決手段】連続焼鈍炉内を走行するストリップの蛇行の発生を監視する蛇行監視方法であって、前記ストリップの板幅方向について前記ストリップの板幅以上の領域を撮像する撮像ステップと、前記ストリップの表面の反射光の反射形状として前記ストリップの板幅方向に広がるハイライト部を前記撮像ステップによる撮像が可能なように前記ストリップを拡散光によって照明する発光ステップと、前記撮像ステップによって撮像された撮像画像を用いて前記ストリップの蛇行の発生を監視する蛇行監視ステップとを有し、前記蛇行監視ステップは、前記撮像画像と教師データである前記ストリップの蛇行有無とによって学習された学習済モデルの出力結果に基づいて前記ストリップの蛇行の発生を予知する。
【選択図】図1
【特許請求の範囲】
【請求項1】
連続焼鈍炉内を走行するストリップの蛇行の発生を監視する蛇行監視方法であって、
前記ストリップの板幅方向について前記ストリップの板幅以上の領域を撮像する撮像ステップと、
前記ストリップの表面の反射光の反射形状として前記ストリップの板幅方向に広がるハイライト部を前記撮像ステップによる撮像が可能なように前記ストリップを拡散光によって照明する発光ステップと、
前記撮像ステップによって撮像された撮像画像を用いて前記ストリップの蛇行の発生を監視する蛇行監視ステップと
を有し、
前記蛇行監視ステップは、
前記撮像画像と教師データである前記ストリップの蛇行有無とによって学習された学習済モデルの出力結果に基づいて前記ストリップの蛇行の発生を予知する
ことを特徴とする蛇行監視方法。
【請求項2】
前記撮像ステップは、
前記ストリップの通板方向について前記ストリップの板幅の0.4倍以上の領域を撮像する
ことを特徴とする請求項1に記載の蛇行監視方法。
【請求項3】
前記学習済モデルは、
前記ストリップの蛇行発生確率を出力し、
前記蛇行監視ステップは、
前記学習済モデルに前記撮像画像を順次入力し前記学習済モデルから順次出力された前記蛇行発生確率の移動平均値を順次算出し、当該移動平均値と所定の閾値とを比較し、前記ストリップの蛇行の発生を予知する
ことを特徴とする請求項1又は請求項2に記載の蛇行監視方法。
【請求項4】
連続焼鈍炉内を走行するストリップの蛇行の発生を監視する蛇行監視システムであって、
前記ストリップの板幅方向について前記ストリップの板幅以上の領域を撮像する撮像手段と、
前記ストリップの表面の反射光の反射形状として前記ストリップの板幅方向に広がるハイライト部を前記撮像手段が撮像可能なように前記ストリップを拡散光によって照明する発光手段と、
前記撮像手段によって撮像された撮像画像を用いて前記ストリップの蛇行の発生を監視する蛇行監視手段と
を備え、
前記蛇行監視手段は、
前記撮像画像と前記ストリップの蛇行有無とを教師データとして学習した学習済モデルによる判定結果に基づいて前記ストリップの蛇行の発生を予知する
ことを特徴とする蛇行監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、蛇行監視方法および蛇行監視システムに関する。
【背景技術】
【0002】
連続焼鈍炉の通板では、炉内においてストリップが蛇行(ウォークと称する場合もある)する場合がある。蛇行量(発生した蛇行の程度)が多い場合、ストリップの炉内壁への接触や破断に繋がる。このため、遅くとも蛇行量が顕著になる前に蛇行を抑制する必要がある。
【0003】
一般に、ストリップ張力を高張力とすると蛇行の発生を抑止できるものの、ストリップのバックリング(ストリップ幅方向の中央付近のストリップ通板方向に皺が発生し、著しい場合は破断すること。ヒートバックルと称する場合もある)が発生する。このため、バックリングが発生しない程度のストリップ張力値に設定した上で、蛇行発生時に、通板速度を低減して蛇行を抑制する操作(通板速度低減操作)や、ロール上のストリップのセンタリングを行うステアリングロールを用いて蛇行を抑制する操作(ステアリングロール操作)等が行われることもある。しかしながら、通板速度低減操作やステアリングロール操作は、蛇行発生時、すなわち蛇行発生後に行われるため、操作時する時点では既に蛇行量が顕著になっている場合もあり、ストリップの炉内壁への接触や破断を十分に防ぐことはできない。
【0004】
また、連続焼鈍炉を走行するストリップは、デッドフラット(精緻な平坦)となっていることが望ましいが、実際にはC反りや凹凸(後述)等が発生する場合がある。
【0005】
特許文献1、2には、ストリップの幅方向に線状のレーザー光を照射し、照射部分を撮像して得られた画像信号に基づいてヒートバックルを検出する技術が開示されている。特許文献1、2では、ヒートバックルの認識にとって雑音となる成分としてストリップのC反りについて言及している。特許文献3には、連続焼鈍炉内においてステアリングロールの付近で走行するストリップを撮像して得られるストリップの蛇行量に基づく蛇行校正量と連続焼鈍工程前の冷間圧延した後のストリップの形状の解析結果に基づく蛇行校正量とを合成したデータを用いて、発生が予測される連続焼鈍炉内のストリップの蛇行を矯正する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開昭63-062825号公報
【特許文献2】特開昭63-274806号公報
【特許文献3】特開平5-017831号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1、2には、蛇行発生や蛇行抑止に関する記載はなく、特許文献1、2に開示された技術では、当然に、連続焼鈍炉内の蛇行発生を予知することはできない。特許文献3の技術は、蛇行を矯正する前提として蛇行の発生を予測するものの、冷間圧延後のストリップの形状は連続焼鈍炉内で平坦化され(ヒートフラットニング)、しかも平坦化の度合いも一様ではないため(平坦化が進む場合もあれば平坦化が進まない場合があるため)、特許文献3の技術では、蛇行の発生を精度よく予測できない。つまり、特許文献に挙げたような従来の技術では、連続焼鈍炉内の蛇行発生を精度よく予知できないという問題がある。なお、特許文献1、2の技術は、線状のレーザー光を用いる技術であるため、ストリップに生じ得る凹凸(後述)を検出するのは困難である。また、特許文献3の技術は、連続焼鈍炉内のストリップに関しては、ストリップの蛇行量を直接的に検出する技術であり、連続焼鈍炉内のストリップに生じ得る凹凸(後述)には言及していない。
本発明の目的は、上述した課題を解決する技術、すなわち、連続焼鈍炉内のストリップの蛇行の発生を簡便かつより高い精度で予知する技術を提供することにある。
【課題を解決するための手段】
【0008】
本発明の一態様は、連続焼鈍炉内を走行するストリップの蛇行の発生を監視する蛇行監視方法であって、前記ストリップの板幅方向について前記ストリップの板幅以上の領域を撮像する撮像ステップと、前記ストリップの表面の反射光の反射形状として前記ストリップの板幅方向に広がるハイライト部を前記撮像ステップによる撮像が可能なように前記ストリップを拡散光によって照明する発光ステップと、前記撮像ステップによって撮像された撮像画像を用いて前記ストリップの蛇行の発生を監視する蛇行監視ステップとを有し、前記蛇行監視ステップは、前記撮像画像と教師データである前記ストリップの蛇行有無とによって学習された学習済モデルの出力結果に基づいて前記ストリップの蛇行の発生を予知することを特徴とする蛇行監視方法である。
【0009】
本発明の他の態様は、連続焼鈍炉内を走行するストリップの蛇行の発生を監視する蛇行監視システムであって、前記ストリップの板幅方向について前記ストリップの板幅以上の領域を撮像する撮像手段と、前記ストリップの表面の反射光の反射形状として前記ストリップの板幅方向に広がるハイライト部を前記撮像手段が撮像可能なように前記ストリップを拡散光によって照明する発光手段と、前記撮像手段によって撮像された撮像画像を用いて前記ストリップの蛇行の発生を監視する蛇行監視手段とを備え、前記蛇行監視手段は、前記撮像画像と前記ストリップの蛇行有無とを教師データとして学習した学習済モデルによる判定結果に基づいて前記ストリップの蛇行の発生を予知することを特徴とする蛇行監視システムである。
【発明の効果】
【0010】
本発明によれば、連続焼鈍炉内のストリップの蛇行の発生を簡便かつより高い精度で予知する。
【図面の簡単な説明】
【0011】
図1】蛇行監視システム1の構成例を示す図である。
図2】画像の一例である。
図3】学習済モデル300について説明する図である。
図4】モデル生成装置30の構成例を示す図である。
図5】蛇行監視装置40の動作の一例を示すフローチャートである。
図6】蛇行監視システム1の評価結果の一例を説明する図である。
図7】蛇行監視システム1の特長について確認的に説明する図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図1は、蛇行監視システム1の構成例を示す図である。図2は、画像の一例である。具体的には、図2(A)~図2(C)の夫々は、撮像装置10による撮像画像の一部分(蛇行監視装置40におけるトリミング後の画像)である。図3は、学習済モデル300について説明する図である。蛇行監視システム1は、ストリップ(鋼板)を溶接して連続処理するラインにおける熱処理炉(連続焼鈍炉。例えば、縦型連続焼鈍炉)内を走行するストリップの蛇行の発生を監視するシステムである。
【0013】
連続焼鈍炉内を走行するストリップの板幅は、例えば、800mm~1200mmである。連続焼鈍炉内を走行するストリップの板厚は、例えば、0.50mm以下(下限値は0.10mm程度)である。ストリップの走行速度は、例えば、200(m/分)~500(m/分)である。なお、ストリップは、連続焼鈍炉内に入る前の工程において、例えば、冷延圧下率([冷延原板厚さ-鋼板厚さ]/冷延原板厚さ)80%以上で冷間圧延され、アルカリ洗浄液等によって洗浄されたものであってもよい。また、ストリップは、ブリキ原板であってもよい。
【0014】
蛇行監視システム1は、ストリップにおける蛇行の発生を予知する。具体的には、蛇行監視システム1は、ストリップにおける危険水準以上の蛇行量の蛇行の発生を予知する。危険水準の蛇行量は、例えば、ストリップが炉内壁に接触するに至る蛇行量であってもよい。例えば、ストリップが炉内壁に接触するに至る蛇行量が200mmであるとした場合、50mmの蛇行量を危険水準の蛇行量としてもよい。つまり、蛇行監視システム1は、ストリップの蛇行が発生する前の段階(蛇行量が0mmの段階)又は蛇行量が小さい段階(蛇行量が50mm程度未満の段階)において蛇行量の増加(50mm以上への蛇行量の増加)を予知する。蛇行監視システム1は、ストリップにおける蛇行の発生(具体的には、危険水準以上の蛇行量の蛇行の発生。以下、同様)を予知した場合、アラームを出力する。
【0015】
蛇行監視システム1は、図1に示すように、撮像装置10、光源20、蛇行監視装置40及び表示装置50を備える。なお、図1では、説明の便宜上、蛇行監視装置40(学習済モデル記憶部149)に記憶される学習済モデル300(後述)も示している。
【0016】
撮像装置10は、連続焼鈍炉内のストリップを撮像する炉内カメラである。撮像装置10は、ストリップの板幅方向について板幅以上(例えば板幅が1000mmの場合には1000mm以上)の領域を撮像する。すなわち、撮像装置10は、ストリップの板幅方向について板幅以上となる領域を撮像可能な位置/角度で設置される。
【0017】
また、撮像装置10は、ストリップの通板方向(走行方向)についてストリップの板幅の0.4倍以上(例えば板幅が1000mmの場合には400mm以上)の領域を撮像するものであってもよい。すなわち、撮像装置10は、ストリップの板幅方向について板幅以上、かつ、ストリップの通板方向についてストリップの板幅の0.4倍以上となる領域を撮像可能な位置/角度で設置されてもよい。
【0018】
なお、撮像装置10は、ロール上のストリップ(ロールに巻き付いた状態のストリップ)を撮像してもよいし、ロール間のストリップ(縦型連続焼鈍炉であれば上ロールと下ロールの間に存在するストリップ)を撮像してもよい。ロール間のストリップを撮像すると、ストリップに生じ得る凹凸(凹凸部)がより顕著に撮像できるため、好適である。
【0019】
撮像装置10による撮像方法は、例えば、所定のフレームレート(例えば1フレーム1/30秒)で動画を撮像してもよい。撮像装置10は、有線又は無線によって、撮像画像を蛇行監視装置40に送信(出力)する。例えば、撮像装置10は、1フレーム(1/30秒)毎に(リアルタイムに)、撮像画像を蛇行監視装置40に送信する。
【0020】
なお、撮像装置10は、蛇行監視装置40に撮像画像を送信する専用の装置であってもよいし、蛇行監視装置40にも他の装置(例えば、非図示の炉内映像表示装置(炉内映像モニタ))にも撮像画像を送信する装置であってもよい。すなわち、撮像装置10は、専ら蛇行監視装置40に撮像画像を送信してもよいし、蛇行監視装置40にも他の装置にも撮像画像を送信する装置であってもよい。後者の場合、例えば、分配器(非図示)等を用いて、蛇行監視装置40にも他の装置にも同様に撮像画像が送信されるようにしてもよいし、撮像装置10において撮像画像の送信先(宛先)として蛇行監視装置40及び他の装置の両方を指定することにより、蛇行監視装置40にも他の装置にも同様に撮像画像が送信されるようにしてもよい。
【0021】
光源20は、LED、白熱灯等の拡散光源(指向性があるレーザー光、例えば線状レーザー光を除く光源)である。光源20は、ストリップを拡散光によって照明(照射)する。光源20は、ストリップ表面における反射光が撮像装置10によって撮像されるように、具体的には、ストリップの表面の反射光の形状(反射形状)としてストリップの板幅方向に広がるハイライト部が撮像装置10によって撮像され得るように、ストリップを拡散光によって照明する。
【0022】
連続焼鈍炉を通板するストリップには、C反り、耳波、中延等の波状形状(ストリップが波打ち状の凹凸形状を呈すること)が知られており、波状形状を構成する凹凸形状(例えば、図2(B)の符号Bや符号C)の発生部位(凸部の発生部位や凹部の発生部位)は、例えば、板幅方向中央部、板幅方向の一方の端部、板幅方向の他方の端部等の種々の位置に発生し得る。また、凹凸形状は、例えば、凸部や凹部の斜面の傾斜度合いが急峻であったり緩慢であったり、凸部や凹部を形成する領域が広い場合や狭い場合や、凹部や凸部の板幅方向の発生個数も1個の場合や複数個の場合がある。つまり、ストリップの凹凸形状には、発生部位、傾斜度合い、形成領域、発生個数等の種々の特徴がある。
蛇行発生有無については、例えば、板幅方向の端部に凹凸形状が存在する場合に蛇行発生を観察するケースも、板幅方向の中央部に凹凸形状が存在する場合に蛇行発生を観察するケースもあり、特定の因果関係に結び付けることが困難であることを本願発明者ら知見し、上記した種々の特徴が相互に影響して蛇行発生有無を決定しているものと考えられた。
そこで、本願発明者らは、特許文献1、2記載の様な線状レーザー光を用いてストリップの波状形状の凹凸を板幅方向で把握し、蛇行発生を検知することを検討したが、未検知、誤検知、過検知が発生し、実用には問題があることを知見した。
【0023】
なお、皺(バックリング)は、一般に、板幅方向に波状(板幅方向に表面が上下する形状)を呈し、塑性変形を伴う場合もあるが、通板方向には波状(通板方向に表面が上下する形状)を呈さない。これに対し、凹凸は、板幅方向にも通板方向にも波状を呈するが、塑性変形は一般には起こらない。
【0024】
撮像装置10によって撮像される撮像画像に現れる反射形状は、光源20の位置/角度が一定であっても(光源20が固定されていても)、ストリップの凹凸形状に応じて変化する。つまり、蛇行監視装置40は、撮像画像内の反射形状から、ストリップの凹凸形状の種々の特徴(上述した凹部や凸部の急峻度合い等)を認識可能である。
本願発明者らは、ストリップの表面における凹凸の発生と、ストリップの蛇行発生との間に関連性を見出し、ストリップの蛇行発生の監視(予知)において、ストリップの凹凸形状の詳細に着目した。
【0025】
図2(A)に示した画像は、ストリップの表面が平坦であるとき(凹凸がないとき)の画像である。図2(A)に示した画像には、ストリップ表面の反射形状としてストリップの板幅方向に広がるハイライト部(図中の符号A)が撮像されている。換言すれば、光源20は、ストリップの表面形状が平坦であるときに、ストリップ表面の反射形状としてストリップの板幅方向に広がるハイライト部が撮像装置10によって撮像される位置/角度に設置される。
【0026】
図2(B)に示した画像は、ストリップの表面に凸凹があるときの画像であって、ストリップが耳波形状を呈する状況を示している。図2(B)に示した画像において、符号Bは、板幅方向及び通板方向に広がる凸部による反射形状を示し、符号Cは、板幅方向及び通板方向に広がる凹部による反射形状を示している。
【0027】
図2(C)に示した画像は、ストリップの表面に凸凹があるときの画像である。図2(B)に示した画像には、単純な凸部や凹部による反射形状が撮像されているのに対し、図2(C)に示した画像には、複雑な凸部や凹部による反射形状が撮像されている。図2(C)に示した画像において、符号Dは、板幅方向及び通板方向に広がる凸部による反射形状を示し、符号Eは、凸部頂部付近に発生した凹部による反射形状を示している。
【0028】
また、図2(B)や図2(C)に示すように、凹凸は、比較的近傍に複数個の観察される場合もある。また、凹凸の形状には、発生部位、傾斜度合い、形成領域、発生個数、等の種々のバリエーションがある。
【0029】
なお、図2(B)に示した単純な凹凸と、図2(C)に示した複雑な凹凸とを区別し、前者を単純凹凸(単純凹凸部)と称し、後者を(複雑凹凸)複雑凹凸部と称する場合がある。また、図2(C)の符号Eのような凸部頂部に発生した凹部(複雑凹凸部)は、発生と消滅が連続して起こるので、動画で確認すると、「(ストリップが)ばたつく」と表現できる動きとなる。本願発明者らは、図2(C)のような複雑な凹凸形状を呈することと、蛇行発生とには、密接な関連があることを見出した。よって、板幅方向のストリップの波形状(凹凸)のみではなく、ストリップ進行方向の波形状(凹凸)が発生している領域の大きさ及び凹凸がいりくむ状況、すなわち複雑凹凸部の発生、が蛇行発生に関係し、ストリップ進行方向の波形状も検知することで蛇行発生検知が高精度となることに着目した。
上記は、実態の観察によって、複雑凹凸部(ばたつき)が発生している場合は、ストリップ進行方向の凹凸の発生領域が拡大したり、凸部頂部付近に凹部が発生するような複雑な形状が発生したり消滅したりと凹凸の形状が変化するが、このようなばたつき特有の凹凸の形状の変化について知見を得たことによる。このようなばたつき特有の凹凸の形状変化は、ストリップ幅方向かつストリップ進行方向の凹凸を把握しなければ確認できない。
なお、特許文献1~3記載の方法は、連続焼鈍炉内の板幅方向全体かつストリップ通板方向の波状形状を評価していないため、すなわち複雑凹凸部特有の形状を評価していないため、蛇行発生の精度が低いものと考えられた。
【0030】
蛇行監視装置40は、撮像装置10によって撮像された撮像画像(具体的には、ストリップの表面形状に応じた反射形状)に基づいて、連続焼鈍炉内を走行するストリップの蛇行の発生を監視(予知)する。蛇行監視装置40は、例えば、1台のサーバ、又は、1台のパーソナルコンピュータによって構成される。蛇行監視装置40は、図1に示すように、取得部141、切出部142、蛇行監視部143、グラフ化部147、出力部148及び学習済モデル記憶部149を備える。蛇行監視部143は、確率算出部144、平均値算出部145及び判定部146から構成される。
【0031】
取得部141は、撮像装置10から撮像画像を取得し、取得した撮像画像を切出部142に出力(供給)する。具体的には、取得部141は、撮像装置10から撮像画像を取得する度に、取得した撮像画像を切出部142に出力する。例えば、取得部141は、1フレーム単位(1/30秒毎)に撮像画像を取得する場合、1/30秒毎に、取得した撮像画像を切出部142に出力する。なお、撮像装置10は有線又は無線によって撮像画像を蛇行監視装置40に送信すると説明したが、取得部141は、撮像装置10の送信態様(有線、無線)に応じた受信態様(有線、無線)で撮像画像を取得する。
【0032】
切出部142は、取得部141から撮像画像を取得し、取得した撮像画像から静止画像を切り出し、切り出した静止画像をトリミングし、トリミング後の静止画像(図2(A)~図2(C)に示したような画像)を蛇行監視部143に出力する。切出部142は、取得部141から撮像画像を取得する度に(例えば、1/30秒毎に)、静止画像を切り出し、切り出した静止画像をトリミングし、トリミング後の静止画像を蛇行監視部143に出力する。なお、切出部142は、取得部141から撮像画像を取得する度に、静止画像をトリミングするサイズで切り出し、切り出した静止画像を蛇行監視部143に出力してもよい。
【0033】
学習済モデル記憶部149は、学習済モデル300を記憶する。学習済モデル記憶部149は、ハードディスクやSSD(Solid State Drive)などであってもよい。学習済モデル300は、モデル生成装置30(後述)によって生成され、通信により、又は、記憶媒体(CD-ROM、USBメモリ等)を介して、学習済モデル記憶部149に記憶される。なお、訓練(学習)によって最適化されたパラメータ(学習済パラメータ)によって表される学習モデルを学習済モデルと称する。学習済モデルは、学習モデルを訓練し、訓練によってパラメータが最適化され、生成される。
【0034】
学習済モデル300は、撮像装置10によって撮像された撮像画像(具体的には、切出部142による処理後の画像)を入力し、ストリップの蛇行発生に関する判定結果を出力する。具体的には、学習済モデル300は、判定結果として、切出部142から画像を取得する毎に、ストリップに蛇行(具体的には、危険水準以上の蛇行量の蛇行)が発生する確率(蛇行発生確率)を出力可能なモデルである。
【0035】
学習済モデル300は、例えば、図3に示すような、ニューラルネットワークを用いて表されるモデルである。学習済モデル300は、例えば、DNN(Deep Neural Network)であってもよい。学習済パラメータは、例えば、ニューラルネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロン間の結合の重み(結合荷重)、及び各ニューロンの閾値を含む。図3に示した学習済モデル300は、入力層301、1以上の中間層302(隠れ層)、及び出力層303を含む。各層301、302、303は、1以上のニューロンを備えている。中間層302の層数、各層におけるニューロンの個数等は、学習済パラメータによって設定されている。
【0036】
入力層301には、切出部142による処理後の画像が入力される。出力層303には、ストリップに蛇行が発生する確率(0.00~1.00)、ストリップに蛇行が発生しない確率(0.00~1.00)を示した出力値が出力される。ストリップに蛇行が発生する確率とストリップに蛇行が発生しない確率の和は1である。なお、確率「0.00」は0%、確率「1.00」は100%である。
【0037】
なお、上述したように、学習済モデル300はモデル生成装置30(後述)によって生成されるが、モデル生成装置30(後述)については後述する。
【0038】
蛇行監視部143は、撮像装置10によって撮像された撮像画像(具体的には、切出部142による処理後の画像)と、学習済モデル記憶部149に記憶されている学習済モデル300とに基づいてストリップの蛇行の発生を監視する。
【0039】
蛇行監視部143の確率算出部144は、切出部142から画像を取得し、学習済モデル300を用いて、ストリップに蛇行が発生する確率を算出し、算出した確率を平均値算出部145に出力する。つまり、確率算出部144は、切出部142から取得した画像を学習済モデル300に入力し、学習済モデル300からの出力として、ストリップに蛇行が発生する確率を取得し、取得した確率を平均値算出部145に出力する。確率算出部144は、切出部142から画像を取得する度に(例えば、1/30秒毎に)、確率を算出(取得)し、平均値算出部145に出力する。
【0040】
蛇行監視部143の平均値算出部145は、確率算出部144から確率を取得し、取得した確率の移動平均(移動平均値)を算出し、算出した移動平均値を判定部146及びグラフ化部147に出力する。平均値算出部145は、今回取得した確率を含む直前の所定数(例えば、10~12000)の確率の移動平均値を算出する。つまり、平均値算出部145は、確率算出部144が今回取得した画像を含む直前の所定数の画像(10画像~12000画像)の夫々から算出された確率の移動平均値を算出する。確率算出部144が1/30秒毎に確率を算出する場合、平均値算出部145は、1/3秒(10画像分)~400秒(12000画像分)の時間範囲の画像(10画像~12000画像)の夫々から算出された確率の移動平均値を算出する。平均値算出部145は、確率算出部144から確率を取得する度に(例えば、1/30秒毎に)、移動平均値を算出し、算出した移動平均値を判定部146及びグラフ化部147に出力する。
【0041】
蛇行監視部143の判定部146は、平均値算出部145から移動平均値を取得し、取得した移動平均値と所定の閾値とを比較し、ストリップの蛇行の発生を監視する。具体的には、判定部146は、移動平均値が所定の閾値を超えている場合には蛇行に関して警告するアラーム情報を出力部148に出力し、移動平均値が所定の閾値を以下である場合にはアラーム情報を出力部148に出力しない。判定部146は、平均値算出部145から移動平均値を取得する度に(例えば、1/30秒毎に)、移動平均値と所定の閾値とを比較し、移動平均値が所定の閾値を超えている場合にはアラーム情報を出力部148に出力する。
【0042】
なお、蛇行監視部143の動作を制御する制御パラメータ(具体的には、平均値算出部145が移動平均値を算出する範囲(確率の数/画像数/時間)、判定部146が移動平均値と比較する所定の閾値)は、適宜設定可能である。例えば、誤報知(アラームを出力したが実際には蛇行が発生しなかったこと)の頻度や誤報知の許容範囲に応じて、制御パラメータを決定してもよい。一例として、平均値算出部145が移動平均値を算出する範囲として30個の確率(つまり1秒間に相当する30画像)を設定し、判定部146が移動平均値と比較する所定の閾値として0.5を設定してもよい。
【0043】
なお、平均値算出部145が移動平均値を算出する範囲として30個の確率を設定し、判定部146が移動平均値と比較する所定の閾値として0.5を設定した場合、平均値算出部145が、あるタイミング(タイミングT)になる前は確率算出部144から確率「0.00」を取得し続け、タイミングTを境に確率算出部144から確率「1.00」を取得し続けた場合であっても、平均値算出部145が算出する移動平均値が「0.5」を超えるのは、あるタイミングTから16個目の確率「1.00」を取得したときである。つまり、移動平均値の性質上当然ではあるが、判定部146による判定において、移動平均値が所定の閾値を超える場合、急に所定の閾値を超えるのではなく、所定の閾値に近づいて(ときには一旦離れて)所定の閾値を超えることとなる。
【0044】
グラフ化部147は、平均値算出部145から移動平均値を取得し、取得した移動平均値をグラフ化(例えば、折れ線グラフ、棒グラフにグラフ化)して表示するためのグラフ化表示情報を生成し、グラフ化表示情報を出力部148に出力する。グラフ化部147は、平均値算出部145から移動平均値を取得する度に(例えば、1/30秒毎に)、グラフ化表示情報を出力部148に出力する。
【0045】
出力部148は、グラフ化部147からグラフ化表示情報を取得し、取得したグラフ化表示情報を表示装置50に出力する。出力部148は、グラフ化部147からグラフ化表示情報を取得する度に(例えば、1/30秒毎に)、グラフ化表示情報を表示装置50に出力する。また、出力部148は、判定部146からアラーム情報を取得した場合、取得したアラーム情報を表示装置50に出力する。
【0046】
表示装置50は、ストリップの蛇行に関する予兆を表示する予兆表示モニタである。具体的には、表示装置50は、出力部148からグラフ化表示情報を取得し、取得したグラフ化表示情報に基づいてグラフ(例えば、移動平均値の折れ線グラフ、移動平均値の棒グラフ)を表示する。また、表示装置50は、出力部148からアラーム情報を取得した場合には、取得したアラーム情報に基づくアラームを表示(例えば、グラフと同一画面上に表示)する。なお、表示装置50は、アラーム情報を取得した場合、アラームを表示することに代えて又は加えてアラームを音声出力してもよい。
【0047】
上記のように、表示装置50は、常に(移動平均値が0.00~1.00の何れの場合であっても)グラフを表示するとともに、アラーム情報を取得した場合にはアラームを出力する。なお、アラームを確認したオペレータは、例えば、蛇行の発生に対する対策(例えば、ストリップの通板速度の変更(減速)やストリップ張力の変更(張力増))を検討し、必要に応じて実施する。
【0048】
図4は、モデル生成装置30の構成例を示す図である。モデル生成装置30は、蛇行監視装置40にて用いられる学習済モデル300を生成する。モデル生成装置30は、例えば、1台のサーバ、又は、1台のパーソナルコンピュータによって構成される。モデル生成装置30は、図4に示すように、モデル生成部133及び記憶部139を備える。なお、図4では、説明の便宜上、学習用データセット250(後述)や学習済モデル300も示している。
【0049】
モデル生成装置30は、学習用データセット250を用いて学習モデルを訓練し、学習済モデル300を生成する。学習用データセット250は、入力サンプルと出力サンプルとを含む。入力サンプルとは、学習モデルの訓練時に入力層(図3の入力層301)に入力されるデータである。出力サンプルとは、学習モデルの訓練時に出力層(図3の出力層303)からの出力値と比較するための正解となるデータ(教師データ、正解ラベルとも称する)である。
【0050】
学習用データセット250における入力サンプルは、撮像装置10によって撮像された撮像画像に基づく画像(撮像装置10によって撮像された撮像画像から得られた静止画像(例えばトリミング後の画像))である。具体的には、実際に蛇行(具体的には、危険水準以上の蛇行量の蛇行)が発生したときの当該蛇行発生前の撮像画像に基づく画像(以下、蛇行発生有画像と称する)と、蛇行が発生しなかったときの撮像画像に基づく画像(以下、「蛇行発生無画像」と称する)とを、入力サンプルとしている。
【0051】
学習用データセット250における出力サンプルは、入力サンプルの夫々に対するストリップの蛇行有無(蛇行発生有無)に関する情報である。具体的には、入力サンプル「蛇行発生有画像」に対し、蛇行発生有(蛇行発生有を示した情報)を出力サンプルとし、入力サンプル「蛇行発生無画像」に対し、蛇行発生無(蛇行発生無を示した情報)を出力サンプルとしている。つまり、「入力サンプル-出力サンプル」の組は、「蛇行発生有画像-蛇行発生有」及び「蛇行発生無画像-蛇行発生無」である。
【0052】
なお、蛇行発生有画像にストリップの反射形状として複雑凹凸部が撮像されている割合(可能性)は、蛇行発生無画像にストリップの反射形状として複雑凹凸部が撮像されている割合(可能性)よりも高いと考えられる。
【0053】
(学習用データセット250(入力サンプル、出力サンプル)の具体例)
実際に蛇行(具体的には、危険水準以上の蛇行量の蛇行)が発生した場面(蛇行発生時)における当該蛇行発生前の1000枚の画像(蛇行発生有画像)を入力サンプルとし、夫々に対する出力サンプルとして蛇行発生有(蛇行発生有を示した情報)を付してもよい。例えば、蛇行(例えば、50mm以上の蛇行量の蛇行)が発生したある時点(時刻Ta3)の6分前の時点(時刻Ta1)~時刻Ta3の4分前の時点(時刻Ta2)の2分間(120秒間)に撮像された3600枚の画像(蛇行発生有画像)のなかから1000枚を抽出(例えば、類似した画像は集約してバリエーションが多くなるように1000枚を抽出)して入力サンプルとし、夫々に対する出力サンプルとして蛇行発生有を付してもよい。
【0054】
蛇行が発生していない場面(蛇行非発生時)における1000枚の画像(蛇行発生無画像)を入力サンプルとし、夫々に対する出力サンプルとして蛇行発生無(蛇行発生無を示した情報)を付してもよい。例えば、蛇行が発生していない任意の6分間(時刻Tb1~時刻Tb2)のなかから最初の2分間(時刻Tb1から2分間)に撮像された3600枚の画像(蛇行発生無画像)のなかから1000枚を抽出(例えば、類似した画像は集約してバリエーションが多くなるように1000枚を抽出)して入力サンプルとし、夫々に対する出力サンプルとして蛇行発生無を付してもよい。
【0055】
なお、N回(Nは2以上)の蛇行発生から(N×1000)枚の蛇行発生有画像を入力サンプルとして用意してもよい。(N×1000)枚の蛇行発生有画像を入力サンプル(蛇行発生有画像)として用意する場合には、同数、すなわち、(N×1000)枚の蛇行発生無画像を入力サンプルとして用意することが好ましい。
【0056】
記憶部139は、学習用データセット250を記憶する。記憶部139は、ハードディスクやSSD(Solid State Drive)などであってもよい。学習用データセット250は、通信により、又は、記憶媒体(CD-ROM、USBメモリ等)を介して、記憶部139に記憶される。また、記憶部139は、学習モデルとパラメータとを記憶する。
【0057】
モデル生成部133は、記憶部139に記憶されている学習用データセット250を用いて学習モデルを訓練し、学習済モデル300を生成する。例えば、モデル生成部133は、モデル生成指示操作を受け付けた場合(非図示の操作部を介してモデル生成指示操作を受け付けた場合、非図示の通信部を介してモデル生成指示命令を受信した場合)、記憶部139に記憶されている学習用データセット250を用いて学習モデルを訓練し、学習済モデル300を生成する。つまり、学習済モデル300は、モデル生成部133によって記憶部139内に生成される。
【0058】
例えば、モデル生成部133は、夫々の入力サンプルを入力層301に入力して出力層303から得られる出力値と夫々の出力サンプル(正解ラベル)との差が少なくなるように、学習モデルのパラメータを更新し、学習済モデル300を生成する。一例として、モデル生成部133は、下記(1)~(5)に示すように、誤差逆伝播法(バックプロパゲーション)を用いて、学習済モデル300を生成してもよい。なお、モデル生成部133が用いる学習モデルは、誤差逆伝播法の他、Feedback Alignment、Target Propagationを採用してもよい。
【0059】
(1)モデル生成部133は、記憶部139に記憶されている学習用データセット250の入力サンプル(画像1、画像2、画像3、…)を入力層301に入力し、学習モデルの順伝播方向の演算処理を行うことにより、出力層303から出力値(画像1の出力値、画像2の出力値、画像3の出力値、…)を得る。出力層303からの出力値は、ストリップに蛇行が発生する確率及びストリップに蛇行が発生しない確率である。
(2)モデル生成部133は、入力サンプルの夫々(画像1、画像2、画像3、…)について、例えば誤差逆伝播法により、出力層303からの出力値と出力サンプルとの誤差を算出する。出力サンプルは、蛇行発生有(蛇行発生有を示した情報)又は蛇行発生無(蛇行発生無を示した情報)である。例えば、ある画像が、蛇行発生有画像である場合、当該画像を入力層301に入力して出力層303からストリップに蛇行が発生する確率「1.00」が出力された場合(ストリップに蛇行が発生しない確率「0.00」が出力された場合)、当該画像に関する誤差はゼロである。また、ある画像が、蛇行発生無画像である場合、当該画像を入力層301に入力して出力層303からストリップに蛇行が発生する確率「0.00」が出力された場合(ストリップに蛇行が発生しない確率「1.00」が出力された場合)、当該画像に関する誤差はゼロである。
(3)モデル生成部133は、算出した誤差が所定値以内であるか否かを判断する。
(4)モデル生成部133は、算出した誤差が所定値以内であれば、各ニューロン間の結合の重み等の各種パラメータ(各ニューロン間の結合の重み、各ニューロンの閾値等)は最適化されていると判断し、学習(訓練)を終了する。つまり、モデル生成部133による学習済モデル300の生成は完了する(当該各種パラメータを学習済パラメータとした学習モデルを学習済モデル300とする)。
(5)モデル生成部133は、算出した誤差が所定値以内でなければ、算出した各誤差に基づいて各種パラメータを更新する。以下、モデル生成部133は、各種パラメータを更新した学習モデルに対し、再度、入力サンプルを入力層301に入力し、上記誤差が所定値以内になる迄、繰り返し、各種パラメータを更新する。
【0060】
モデル生成部133によって記憶部139内に生成される学習済モデル300は、通信により、又は、記憶媒体を介して、蛇行監視装置40(学習済モデル記憶部149)に記憶される。
【0061】
図5は、蛇行監視装置40の動作の一例を示すフローチャートである。図5のフローチャートは、繰り返し(例えば、1/30秒毎)に開始する。また、平均値算出部145が移動平均値を算出する範囲は30個の確率であるものとする。また、判定部146が移動平均値と比較する所定の閾値は0.5であるものとする。また、学習済モデル記憶部149は、学習済モデルを記憶しているものとする。
【0062】
取得部141は、撮像装置10によって撮像された撮像画像(動画)を取得する(ステップS1)。取得部141は、撮像画像を切出部142に出力する。続いてステップS2に進む。
【0063】
切出部142は、取得部141から撮像画像を取得し、撮像画像から静止画像を切り出し、トリミングする(ステップS2)。切出部142は、トリミングした静止画像を確率算出部144に出力する。続いてステップS3に進む。
【0064】
確率算出部144は、切出部142から画像を取得し、学習済モデル300を用いて、ストリップに蛇行が発生する確率(蛇行発生確率)を算出する(ステップS3)。確率算出部144は、算出した確率を平均値算出部145に出力する。続いてステップS4に進む。
【0065】
平均値算出部145は、確率算出部144から確率を取得し、取得した確率の移動平均(移動平均値)を算出する(ステップS4)。具体的には、平均値算出部145は、直近に取得した30個の確率の移動平均値を算出する。平均値算出部145は、算出した移動平均値を判定部146及びグラフ化部147に出力する。続いてステップS5に進む。
【0066】
グラフ化部147は、平均値算出部145から移動平均値を取得し、取得した移動平均値のグラフ化表示情報を生成する(ステップS5)。グラフ化部147は、生成したグラフ化表示情報を出力部148に出力する。続いてステップS6に進む。
【0067】
出力部148は、グラフ化部147からグラフ化表示情報を取得し、取得したグラフ化表示情報を表示装置50に出力する(ステップS5)。続いてステップS7に進む。なお、出力部148からグラフ化表示情報を取得した表示装置50は、取得したグラフ化表示情報に基づいてグラフを表示する。
【0068】
判定部146は、平均値算出部145から移動平均値を取得し、取得した移動平均値が所定の閾値(0.5)を超えているか否かを判断する(ステップS7)。移動平均値が所定の閾値(0.5)を超えている場合(ステップS7:YES)、ステップS8に進む。移動平均値が所定の閾値(0.5)を超えていない場合(ステップS7:NO)、本フローチャートは終了する(ステップS1に戻る)。
【0069】
出力部148は、判定部146からアラーム情報を取得し、取得したアラーム情報を表示装置50に出力する(ステップS8)。そして本フローチャートは終了する(ステップS1に戻る)。なお、出力部148からアラーム情報を取得した表示装置50は、取得したアラーム情報に基づいてアラームを出力(表示、音声出力)する。
【0070】
図6は、蛇行監視システム1の評価結果の一例を説明する図である。具体的には、図6は、撮像条件別(撮像装置10の通板方向の撮像範囲別)の実操業の蛇行発生時におけるアラーム出力の有無等に関する評価結果を示している。撮像条件は下記の4つ(撮像条件a~撮像条件d)である。
【0071】
(撮像条件a)
板幅方向が板幅以上かつ通板方向が板幅の0.6倍(例えば板幅が1000mmの場合には600mm)となるように撮像装置10の撮像範囲を設定する(撮像条件a)。
【0072】
(撮像条件b)
板幅方向が板幅以上かつ通板方向が板幅の0.4倍(例えば板幅が1000mmの場合には400mm)となるように撮像装置10の撮像範囲を設定する(撮像条件b)。
【0073】
(撮像条件c)
板幅方向が板幅以上かつ通板方向が板幅の0.2倍(例えば板幅が1000mmの場合には200mm)となるように撮像装置10の撮像範囲を設定する(撮像条件c)。なお、撮像装置10のレンズ前にマスキングを施すなどして、通板方向の実質的な撮像範囲が板幅の0.2倍となるようにしてもよい。
【0074】
(撮像条件d)
板幅方向が板幅以上かつ通板方向が板幅の0.02倍(例えば板幅が1000mmの場合には20mm)となるように撮像装置10の撮像範囲を設定する(撮像条件d)。なお、撮像装置10のレンズ前にマスキングを施すなどして、通板方向の実質的な撮像範囲が板幅の0.02倍となるようにしてもよい。
【0075】
モデル生成装置30は、夫々の撮像条件による学習済モデル300を生成するものとする。例えば、撮像条件aの場合、モデル生成装置30は、撮像条件aのように設定した撮像装置10から取得した撮像画像、つまり、板幅方向は板幅以上かつ通板方向は板幅の0.6倍の撮像範囲の撮像画像を用いて(上記「具体例」で示したように蛇行発生有画像、蛇行発生無画像を各1000枚ずつ用いて)、学習済モデル300(学習済モデル300aと称する)を生成するものとする。撮像条件bの場合、モデル生成装置30は、撮像条件bのように設定した撮像装置10から取得した撮像画像、つまり、板幅方向は板幅以上かつ通板方向は板幅の0.4倍の撮像範囲の撮像画像を用いて(上記「具体例」で示したように蛇行発生有画像、蛇行発生無画像を各1000枚ずつ用いて)、学習済モデル300(学習済モデル300bと称する)を生成するものとする。撮像条件cの場合、モデル生成装置30は、撮像条件cのように設定した撮像装置10から取得した撮像画像、つまり、板幅方向は板幅以上かつ通板方向は板幅の0.2倍の撮像範囲の撮像画像を用いて(上記「具体例」で示したように蛇行発生有画像、蛇行発生無画像を各1000枚ずつ用いて)、学習済モデル300(学習済モデル300cと称する)を生成するものとする。撮像条件dの場合、モデル生成装置30は、撮像条件dのように設定した撮像装置10から取得した撮像画像、つまり、板幅方向は板幅以上かつ通板方向は板幅の0.02倍の撮像範囲の撮像画像を用いて(上記「具体例」で示したように蛇行発生有画像、蛇行発生無画像を各1000枚ずつ用いて)、学習済モデル300(学習済モデル300dと称する)を生成するものとする。
【0076】
図6の表において、一番左側の列は、撮像条件を示している。左から2番目の列は、撮像装置10の撮像範囲(具体的には、通板方向が板幅の何倍であるか。なお、板幅方向については各撮像条件共通で板幅以上)を示している。左から3番目の列は、蛇行発生時点(オペレータの目視による蛇行発生確認時点)のアラーム出現率(表示装置50でのアラームの表示率)を示している。一番右側の列は、蛇行発生3分前時点(オペレータの目視による蛇行発生確認時の3分前の時点)のアラーム出現率を示している。
【0077】
(撮像条件aの評価)
蛇行監視装置40は、撮像条件aのように設定した撮像装置10による撮像画像(板幅方向は板幅以上かつ通板方向は板幅の0.6倍の撮像範囲の撮像画像)を学習済モデル300aに入力して得られる出力結果(蛇行発生確率)に基づいて(蛇行発生確率の移動平均値と所定の閾値とを比較し)、蛇行発生時、及び、蛇行発生3分前におけるアラームの有無を確認した。この結果、図6に示すように、蛇行発生時にはアラームが100%出力され、蛇行発生3分前にはアラームが83%出力された。
【0078】
なお、各撮像条件(撮像条件a~撮像条件d)に共通するが、平均値算出部145は、確率算出部144から出力された30個の蛇行発生確率の移動平均値を算出し、判定部146は、平均値算出部145から出力される移動平均値と0.5(所定の閾値)を比較した。
【0079】
(撮像条件bの評価)
蛇行監視装置40は、撮像条件bのように設定した撮像装置10による撮像画像(板幅方向は板幅以上かつ通板方向は板幅の0.4倍の撮像範囲の撮像画像)を学習済モデル300bに入力して得られる出力結果(蛇行発生確率)に基づいて(蛇行発生確率の移動平均値と所定の閾値とを比較し)、蛇行発生時、及び、蛇行発生3分前におけるアラームの有無を確認した。この結果、図6に示すように、蛇行発生時にはアラームが100%出力され、蛇行発生3分前にはアラームが83%出力された。
【0080】
(撮像条件cの評価)
蛇行監視装置40は、撮像条件cのように設定した撮像装置10による撮像画像(板幅方向は板幅以上かつ通板方向は板幅の0.2倍の撮像範囲の撮像画像)を学習済モデル300cに入力して得られる出力結果(蛇行発生確率)に基づいて(蛇行発生確率の移動平均値と所定の閾値とを比較し)、蛇行発生時、及び、蛇行発生3分前におけるアラームの有無を確認した。この結果、図6に示すように、蛇行発生時にはアラームが60%出力され、蛇行発生3分前にはアラームが20%出力された。
【0081】
(撮像条件dの評価)
撮像条件dの場合、通板方向の撮像範囲が板幅の0.02倍と狭いため、後述する光環状や半光環状の反射光が確認できず、板幅方向のハイライト部が点線状に見えるのみであり、有効な学習用データセット250(教師データ等)が得られないため(従って有効な学習済モデル300dが生成されなかったため)、評価ができなかった。なお、レーザー光を用いた場合には、同様の結果となるものと考えられる。
【0082】
図6によれば、撮像装置10の撮像範囲が板幅方向は板幅以上かつ通板方向は板幅の0.4倍以上であれば、例えば、3分後に発生する蛇行の8割以上を予知することができる。また、図6によれば、通板方向が板幅の0.4倍であっても0.6倍であっても予知の性能は変わらない。
【0083】
図7は、蛇行監視システム1の特長について確認的に説明する図である。図7(A)は、ストリップに凹凸が発生した様子を模式的に示している。図7(A)において、Dは、ストリップに発生した凹凸(単純凹凸部の凸部)を模式的に示している。
【0084】
図7(B)及び図7(C)は、凹凸が発生したストリップ表面の上下方向(ストリップ表面に垂直な方向)の位置を模式的に示している。図7(B)は、図7(A)に示した板幅方向の一点鎖線L1-R1上のストリップ表面の上下方向の位置を示している。図7(C)は、図7(A)に示した斜め方向の一点鎖線L2-R2上のストリップ表面の上下方向の位置を示している。図7(B)及び図7(C)においてdは凹凸Dを横切る部分である。換言すれば、図7(B)は凹凸Dを含むストリップの板幅方向の断面(一点鎖線L1-R1による断面)の模式図であり、図7(C)は凹凸Dを含むストリップの斜め方向の断面(一点鎖線L2-R2による断面)の模式図である。
【0085】
図7(D)は、ストリップに皺(バックリング)が発生した様子を模式的に示している。図7(D)において、Sは、ストリップに発生した皺(上方向の皺)を示している。S内の破線は、皺の端部を示し、実線は頂部を示している。図7(D)において、皺Sを含むストリップの板幅方向の断面(一点鎖線L1-R1による断面)は、概ね図7(B)のよう示される。また、図7(D)において、皺Sを含むストリップの斜め方向の断面(一点鎖線L2-R2による断面)は、概ね図7(C)のよう示される。
【0086】
つまり、ストリップの表面には凹凸が発生する場合も皺が発生する場合もあるが、板幅方向(一点鎖線L1-R1)であっても斜め方向(一点鎖線L2-R2)であってもストリップの表面を「線」で捉えた場合には、ストリップの表面に凹凸が発生しているのか皺が発生しているのかを区別するのが困難である。
【0087】
図7(E)及び図7(F)は、撮像装置10の撮像範囲を示している。図7(E)は、図7(A)に示したストリップ(凹凸が発生したストリップ)の撮像装置10の撮像範囲Pを示している。図7(F)は、図7(C)に示したストリップ(皺が発生したストリップ)の撮像装置10の撮像範囲Pを示している。ストリップの表面を「面」で捉えた場合には、ストリップの表面に凹凸が発生しているのか皺が発生しているのかを区別することができる。
【0088】
つまり、レーザー光等を用いた場合には凹凸の認識は困難であるが、蛇行監視システム1では、光源20(拡散光源)と撮像装置10(カメラ)を用いているため、凹凸の認識は容易である。蛇行監視システム1では、ストリップの反射形状として凹凸が撮像されている可能性が比較的高いと思われる蛇行発生有画像と、ストリップの反射形状として凹凸が撮像されている可能性が比較的低いと思われる蛇行発生無画像と用いて学習された学習済モデル300の出力結果(蛇行発生確率)に基づいて蛇行の発生を予知している。
【0089】
本実施形態では、ストリップの表面に凹凸があれば、ハイライト部が、板幅方向の途中で途切れたり(撮像できない方向に反射したり)、凹凸の曲面の状況に応じて、光環状や半光環状の形状を呈したり、曲面の頂点から裾野にかけて反射光の輝度が徐々に低減する状況を呈したり、等の特徴が捉えることが可能となる。凹凸領域の大小は、光環状や半光環状の大きさや輝度が徐々に低減していく距離となって観察することが可能である。つまり、ストリップに凹凸が生じた場合(ストリップに複雑凹凸部が生じてストリップがばたついた場合であっても)、ストリップに凹凸が生じた旨を簡便に捉えることができる。
【0090】
なお、本実施形態では、光源20を用いるが、ストリップの表面が鏡の様な平滑面であれば、ハイライト部を捉えることは困難である。しかし、ストリップの表面には冷間圧延によって微視的には凹凸(実施形態において注目している凹凸とは異なる、表面粗さや粗度で表現される凹凸)があるため、ハイライト部を捉えることができる(図2)。本実施形態では、拡散光源(指向性があるレーザー光、例えば線状レーザー光を除く光源)を用いるが、拡散光源ではなく線状レーザー光を用いる場合、ストリップに凹凸が存在しても、指向性が高いため、光環状、半光環状等の特徴が出ず、凹凸の急峻度合いに応じた輝度の変化(減少)も捉えにくい。板幅方向に照射した線状レーザー光の太さ(ストリップ進行方向の光の幅)を太くしても太くするには限界があり、上記と同様な結果となる。
【0091】
また、レーザー光による「線」を繋ぎ合わせ(合成し)、撮像装置10の撮像範囲(例えば、通板方向についてストリップの板幅の0.4倍以上)と同様に「面」の情報を得るように構成することも考えられる。しかしながら、ストリップの走行速度(200(m/分)以上)や、合成の処理負荷や要件(リアルタイムにアラーム報知)を考えれば、レーザー光から撮像装置10の撮像範囲と同様の「面」の情報を得ることは容易でない。
【0092】
また、上述したように、蛇行監視システム1の撮像装置10は、蛇行監視装置40にも他の装置(例えば、炉内映像モニタ)にも撮像画像を送信する装置であってもよく、他の目的(他の装置に撮像画像を送信する目的)で既に設置しているカメラを撮像装置10として用いることができる。つまり、蛇行監視システム1では、新たにレーザー光等の設備を導入せずに、ストリップの蛇行の発生を監視することができる。
【0093】
なお、本実施形態では、蛇行監視システム1が、ストリップにおける危険水準以上の蛇行量の蛇行の発生を予知(監視)する例を説明したが、蛇行監視システム1は、ストリップにおける危険水準を超える蛇行量の蛇行の発生を予知してもよい。また、蛇行監視システム1は、ストリップにおける所定基準以上の蛇行量(又は所定基準を超える蛇行量)の蛇行の発生を予知してもよい。所定基準の蛇行量は、危険水準の蛇行量よりも小さい蛇行量(すなわち、蛇行量ゼロ(蛇行無)<所定基準の蛇行量<危険水準の蛇行量)である。具体的には、予知対象の蛇行量(危険水準を超える蛇行量、所定基準以上の蛇行量、所定基準を超える蛇行量)に応じた学習用データセットを用意し、予知対象の蛇行量に応じた学習済データを生成し、該学習用済モデルを用いて、予知対象の蛇行量の蛇行の発生を予知すればよい。
【0094】
以上、本実施形態に係る蛇行監視システム1について説明したが、蛇行監視システム1によれば、連続焼鈍炉内のストリップの蛇行の発生を簡便かつより高い精度で予知することができる。
【0095】
以上、本発明の実施形態について説明したが、本発明の実施形態は、少なくともの構成を含む。
(1)連続焼鈍炉内を走行するストリップの蛇行の発生を監視する蛇行監視方法(蛇行監視システム1による蛇行監視方法)であって、前記ストリップの板幅方向について前記ストリップの板幅以上の領域を撮像(撮像装置10によって撮像)する撮像ステップと、前記ストリップの表面の反射光の反射形状として前記ストリップの板幅方向に広がるハイライト部を前記撮像ステップによる撮像が可能なように前記ストリップを拡散光(光源20による拡散光)によって照明する発光ステップと、前記撮像ステップによって撮像された撮像画像を用いて前記ストリップの蛇行の発生を監視(蛇行監視装置40によって監視)する蛇行監視ステップとを有し、前記蛇行監視ステップは、前記撮像画像と教師データである前記ストリップの蛇行有無とによって学習された学習済モデル(学習済モデル300)の出力結果(蛇行発生確率)に基づいて前記ストリップの蛇行の発生を予知することを特徴とする蛇行監視方法。
(2)連続焼鈍炉内を走行するストリップの蛇行の発生を監視する蛇行監視システム(蛇行監視システム1)であって、前記ストリップの板幅方向について前記ストリップの板幅以上の領域を撮像する撮像手段(撮像装置10)と、前記ストリップの表面の反射光の反射形状として前記ストリップの板幅方向に広がるハイライト部を前記撮像手段が撮像可能なように前記ストリップを拡散光によって照明する発光手段(光源20)と、前記撮像手段によって撮像された撮像画像を用いて前記ストリップの蛇行の発生を監視する蛇行監視手段(蛇行監視装置40)とを備え、前記蛇行監視手段は、前記撮像画像と前記ストリップの蛇行有無とを教師データとして学習した学習済モデル(学習済モデル300)による判定結果に基づいて前記ストリップの蛇行の発生を予知することを特徴とする蛇行監視システム。
【0096】
なお、上記(1)(2)において、「前記撮像画像と教師データである前記ストリップの蛇行有無とによって学習された学習済モデル」は、「前記撮像画像を入力し、前記ストリップの蛇行発生に関する判定結果を出力する学習済モデル」と言い換えてもよいし、学習済モデルはアルゴリズムの一種であるため、「前記反射光の反射形状を含む前記撮像ステップ(前記撮像手段)の撮像結果と、前記ストリップの蛇行有無を教師データとして生成され、前記ストリップの蛇行の発生の有無を判定するアルゴリズム」などと言い換えてもよい。
【0097】
以上、実施形態について説明したが、上記実施形態は、一例であって具体的な構成は上記実施形態に限られるものではなく、発明の要旨を逸脱しない範囲の設計等も含まれる。
【0098】
例えば、上記実施形態では、1フレーム(1/30秒)毎に処理する例を説明したが、複数フーム毎に処理してもよい。
【0099】
また、上記実施形態では、蛇行監視装置40は1台の装置(1台のサーバ、又は、1台のパーソナルコンピュータ)によって夫々構成される例を説明したが、蛇行監視装置40は2台以上の装置によって構成されてもよい。また、上記実施形態では、モデル生成装置30は、1台の装置(1台のサーバ、又は、1台のパーソナルコンピュータ)によって夫々構成される例を説明したが、モデル生成装置30は2台以上の装置によって構成されてもよい。
【0100】
また、上記実施形態では、モデル生成装置30と蛇行監視装置40とが夫々異なる装置によって構成される例を説明したが、モデル生成装置30と蛇行監視装置40とは同一の装置によって構成されてもよい。つまり、蛇行監視装置40がモデル生成装置30の機能を兼ね備えてもよい(あるいは、モデル生成装置30が蛇行監視装置40の機能を兼ね備えてもよい)。
【0101】
また、上記実施形態では、蛇行監視装置40と表示装置50とが夫々異なる装置によって構成される例を説明したが、蛇行監視装置40と表示装置50とは同一の装置によって構成されてもよい。つまり、蛇行監視装置40が表示装置50の機能を兼ね備えてもよい。
【0102】
なお、以上に説明した蛇行監視システム1、モデル生成装置30、蛇行監視装置40等を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【符号の説明】
【0103】
1 蛇行監視システム
10 撮像装置
20 光源
30 モデル生成装置
133 モデル生成部
139 記憶部
40 蛇行監視装置
141 取得部
142 切出部
143 蛇行監視部
144 確率算出部
145 平均値算出部
146 判定部
147 グラフ化部
148 出力部
149 学習済モデル記憶部
50 表示装置
250 学習用データセット
300 学習済モデル
図1
図2
図3
図4
図5
図6
図7