知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025028801
(43)【公開日】2025-03-04
(54)【発明の名称】処理装置、処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20250225BHJP
G06T 7/00 20170101ALI20250225BHJP
G01B 11/24 20060101ALI20250225BHJP
B21B 38/02 20060101ALN20250225BHJP
【ＦＩ】
G06T7/60 150Z
G06T7/00 350B
G01B11/24 K
B21B38/02
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
【公開請求】
(21)【出願番号】P 2024072476
(22)【出願日】2024-04-26
(71)【出願人】
【識別番号】000006655
【氏名又は名称】日本製鉄株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】有元 克
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA51
2F065BB15
2F065DD13
2F065FF04
2F065JJ19
2F065JJ26
2F065MM02
2F065QQ04
2F065RR08
5L096BA03
5L096CA02
5L096DA02
5L096FA64
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】 搬送中の物体の形状に関する情報の算出の高精度化と、搬送中の物体の形状に関する情報の算出の時間遅れの抑制とを両立させる。
【解決手段】 撮影装置１４０の撮影領域を搬送中の鋼材１００があると判定した場合に、当該判定したタイミング以降のタイミングで撮影された物体撮影用画像に基づいて、撮影装置１４０の撮影領域を撮影した画像と物体形状情報との関係性を学習した学習済みモデルを用いて、鋼材１００の形状に関する情報である物体形状情報を算出する。
【選択図】 図１
【解決手段】 撮影装置１４０の撮影領域を搬送中の鋼材１００があると判定した場合に、当該判定したタイミング以降のタイミングで撮影された物体撮影用画像に基づいて、撮影装置１４０の撮影領域を撮影した画像と物体形状情報との関係性を学習した学習済みモデルを用いて、鋼材１００の形状に関する情報である物体形状情報を算出する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
物体の搬送路を含む領域であって、前記物体の側面の少なくとも一部を撮影可能な領域を撮影領域として撮影された画像を取得する取得部と、
前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定部と、
前記物体有無判定部により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出部と、
を備え、
前記算出部は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する、処理装置。
前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定部と、
前記物体有無判定部により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出部と、
を備え、
前記算出部は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する、処理装置。
【請求項2】
前記物体有無判定部は、前記画像に前記物体が含まれているか否かにより、前記撮影領域を搬送中の前記物体があるか否かを判定する、請求項１に記載の処理装置。
【請求項3】
前記画像に対する画像処理を行う画像処理部をさらに備え、
前記物体有無判定部は、前記画像処理の結果に基づいて、前記画像に前記物体が含まれているか否かを判定する、請求項２に記載の処理装置。
前記物体有無判定部は、前記画像処理の結果に基づいて、前記画像に前記物体が含まれているか否かを判定する、請求項２に記載の処理装置。
【請求項4】
前記画像処理部は、前記画像を分割した複数の領域ごとに前記画像処理を行い、
前記物体有無判定部は、前記複数の領域ごとの前記画像処理の結果に基づいて、前記画像に前記物体が含まれているか否かを判定する、請求項３に記載の処理装置。
前記物体有無判定部は、前記複数の領域ごとの前記画像処理の結果に基づいて、前記画像に前記物体が含まれているか否かを判定する、請求項３に記載の処理装置。
【請求項5】
前記複数の領域は、前記物体の搬送方向における上流側の領域および下流側の領域を含む、請求項４に記載の処理装置。
【請求項6】
前記物体形状情報の算出開始条件が成立したか否かを判定する算出開始条件判定部をさらに備え、
前記算出部は、前記算出開始条件判定部により前記算出開始条件が成立したと判定された場合に、前記物体形状情報を算出する、請求項１～５のいずれか１項に記載の処理装置。
前記算出部は、前記算出開始条件判定部により前記算出開始条件が成立したと判定された場合に、前記物体形状情報を算出する、請求項１～５のいずれか１項に記載の処理装置。
【請求項7】
前記算出開始条件は、前記物体形状情報の算出対象の前記物体の１つ前に搬送される前記物体が前記撮影領域よりも下流側に搬送されていると見なせる条件を含む、請求項６に記載の処理装置。
【請求項8】
前記物体形状情報は、前記物体の長手方向に沿った形状を表す情報と、前記物体の位置の時間変化を示す情報と、のうちの少なくとも一方を含む、請求項１～５のいずれか１項に記載の処理装置。
【請求項9】
前記撮影領域は、前記物体の側面の端部のうち、前記物体の搬送方向の下流側における端部を撮影可能な領域である、請求項１～５のいずれか１項に記載の処理装置。
【請求項10】
物体の搬送路を含む領域であって、前記物体の側面の少なくとも一部を撮影可能な領域を撮影領域として撮影された画像を取得する取得工程と、
前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定工程と、
前記物体有無判定工程により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出工程と、
を備え、
前記算出工程は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する、処理方法。
前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定工程と、
前記物体有無判定工程により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出工程と、
を備え、
前記算出工程は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する、処理方法。
【請求項11】
請求項１～５のいずれか１項に記載の処理装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、処理方法、およびプログラムに関する。
【背景技術】
【0002】
圧延ラインにおける被圧延材等、搬送中の物体の形状に関する情報を自動で算出する技術が望まれる。
この種の技術として特許文献１には、被圧延材の長手方向の一端を含むように被圧延材の側面を撮影した画像から、当該一端の輪郭線を抽出し、抽出した輪郭線から当該一端の反り形状を表すパラメータを測定することが開示されている。
この種の技術として特許文献１には、被圧延材の長手方向の一端を含むように被圧延材の側面を撮影した画像から、当該一端の輪郭線を抽出し、抽出した輪郭線から当該一端の反り形状を表すパラメータを測定することが開示されている。
【0003】
また、特許文献２には、圧延機により圧延された鋼板を撮影した画像を入力データとし、鋼板の形状を判別する形状判別情報を出力データとする機械学習により生成された形状判別モデルを用いて、鋼板の形状を判別することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平１－３２０４１９号公報
【特許文献2】特開２０２２－１８１１６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の技術では、２値化等の画像処理により物体の輪郭線を抽出する。したがって、例えば、撮影環境によっては物体の形状の検出精度が低下する虞がある。例えば、圧延ラインにおいては多量の水蒸気等の外乱が発生する場合がある。このようなタイミングで被圧延材の画像を撮影すると、被圧延材の輪郭線を高精度に抽出することは容易ではない。
【0006】
また、特許文献２に記載の技術では、撮影装置の撮影領域に物体が搬送されたタイミングで画像が撮影されることを前提としている。したがって、例えば、搬送中の物体の撮影タイミングを逃す虞がある。例えば、圧延ラインにおいては一般に複数の被圧延材が順次搬送される。この場合、撮影装置の撮影領域に被圧延材が搬送されるタイミングを正確に特定することは容易ではない。したがって、被圧延材の撮影と、機械学習モデルを用いた形状判別情報の算出と、を常に行う必要がある。また、機械学習モデルのアルゴリズムによっては物体の形状を検出するのに要する時間が長くなる虞がある。よって、先行する被圧延材の形状を検出するために撮影した画像に基づいて被圧延材の形状を検出するための処理が終了する前に、後行する被圧延材が撮影領域を通過する虞がある。
【0007】
本発明は、以上のような問題点に鑑みてなされたものであり、搬送中の物体の形状に関する情報の算出の高精度化と、搬送中の物体の形状に関する情報の算出の時間遅れの抑制とを両立させることを目的とする。
【課題を解決するための手段】
【0008】
本発明の処理装置は、物体の搬送路を含む領域であって、前記物体の側面の少なくとも一部を撮影可能な領域を撮影領域として撮影された画像を取得する取得部と、前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定部と、前記物体有無判定部により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出部と、を備え、前記算出部は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する。
【0009】
本発明の処理方法は、物体の搬送路を含む領域であって、前記物体の側面の少なくとも一部を撮影可能な領域を撮影領域として撮影された画像を取得する取得工程と、前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定工程と、前記物体有無判定工程により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出工程と、を備え、前記算出工程は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する。
【0010】
本発明のプログラムは、前記処理装置の各部としてコンピュータを機能させる。
【発明の効果】
【0011】
本発明によれば、搬送中の物体の形状に関する情報の算出精度の向上と算出速度の向上とを両立させることができる。
【図面の簡単な説明】
【0012】
【図1】圧延機の出側の位置を搬送中の鋼材の一例を示す図である。
【図2】処理装置の機能的な構成の一例を示す図である。
【図3】物体撮影用画像の一例を示す図である。
【図4】上流側エリアと下流側エリアの一例を示す図である。
【図5】画像処理部の１画像当たりの処理時間と、算出部の１画像当たりの処理時間と、の関係の一例を説明する図である。
【図6】鋼材の上反り量の算出方法の一例を説明する図である。
【図7】鋼材先端部の軌跡の算出方法の一例を説明する図である。
【図8】鋼材先端部の軌跡の一例を示す図である。
【図9】鋼材の反りに応じて鋼材先端部の軌跡が変わることを説明する図である。
【図10A】処理方法の一例を説明するフローチャートである。
【図10B】ステップＳ１００２の一例を説明するフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら、本発明の一実施形態を説明する。
なお、長さ、位置、大きさ、間隔等、比較対象が同じであることは、厳密に同じである場合の他、発明の主旨を逸脱しない範囲で異なるもの（例えば、設計時に定められる公差の範囲内で異なるもの）も含むものとする。また、各図に示すＸ－Ｙ－Ｚ座標は、各図における向きの関係を示すものである。Ｘ－Ｙ－Ｚ座標の原点の位置は、各図に示す位置に限定されない。また、Ｘ－Ｙ－Ｚ座標の１つの軸を表す記号として、白丸（○）の中に黒丸（●）を付した記号と、白丸（○）の中にクロスマーク（×）を付した記号と、を用いる。白丸（○）の中に黒丸（●）を付した記号は、紙面の奥側から手前側に向かう矢印線（軸）を表す。白丸（○）の中にクロスマーク（×）を付した記号は、紙面の手前側から奥側に向かう矢印線（軸）を表す。また、説明および表記の都合上、各図において構成を必要に応じて、省略、簡略化、およびデフォルメして示す。
なお、長さ、位置、大きさ、間隔等、比較対象が同じであることは、厳密に同じである場合の他、発明の主旨を逸脱しない範囲で異なるもの（例えば、設計時に定められる公差の範囲内で異なるもの）も含むものとする。また、各図に示すＸ－Ｙ－Ｚ座標は、各図における向きの関係を示すものである。Ｘ－Ｙ－Ｚ座標の原点の位置は、各図に示す位置に限定されない。また、Ｘ－Ｙ－Ｚ座標の１つの軸を表す記号として、白丸（○）の中に黒丸（●）を付した記号と、白丸（○）の中にクロスマーク（×）を付した記号と、を用いる。白丸（○）の中に黒丸（●）を付した記号は、紙面の奥側から手前側に向かう矢印線（軸）を表す。白丸（○）の中にクロスマーク（×）を付した記号は、紙面の手前側から奥側に向かう矢印線（軸）を表す。また、説明および表記の都合上、各図において構成を必要に応じて、省略、簡略化、およびデフォルメして示す。
【0014】
［搬送中の物体］
詳細は後述するが本実施形態では、搬送路を搬送中の物体の画像を撮影し、撮影した画像に基づいて、当該搬送中の物体の形状に関する情報である物体形状情報を算出する。搬送中の物体は限定されないが、本実施形態では、熱間圧延圧延ラインにおける粗圧延機の出側の位置を搬送中の鋼材（例えばスラブ）が、搬送中の物体である場合を例示する。
詳細は後述するが本実施形態では、搬送路を搬送中の物体の画像を撮影し、撮影した画像に基づいて、当該搬送中の物体の形状に関する情報である物体形状情報を算出する。搬送中の物体は限定されないが、本実施形態では、熱間圧延圧延ラインにおける粗圧延機の出側の位置を搬送中の鋼材（例えばスラブ）が、搬送中の物体である場合を例示する。
【0015】
図１は、圧延機１１０の出側の位置を搬送中の鋼材１００の一例を示す図である。以下、図１の圧延機１１０は、粗圧延機を構成する圧延機のうちの１つであるリバース圧延機であるものとして説明する。なお、圧延機の出側とは、当該圧延機よりも、鋼材１００の搬送方向における下流側を指す。また、圧延機の入側とは、当該圧延機よりも、鋼材１００の搬送方向における上流側を指す。
【0016】
各図において、Ｘ軸の正の方向に向かって鋼材１００が搬送される場合を例示する。したがって、圧延機１１０の出側の位置は、圧延機１１０よりもＸ軸の正の方向側の位置である。また、圧延機１１０の入側の位置は、圧延機１１０よりもＸ軸の負の方向側（原点側）の位置である。以下の説明では、鋼材１００の搬送方向における下流側を、必要に応じて、下流側と略称する。同様に、鋼材１００の搬送方向における上流側を、必要に応じて、上流側と略称する（なお、各図において、Ｘ軸の負の方向側（原点側）が上流側である）。また、以下の説明では、鋼材１００の下流側の端部１００ａを、必要に応じて、鋼材１００の先端部１００ａと称し、鋼材１００の上流側の端部１００ｂを、必要に応じて、鋼材１００の後端部１００ｂと称する。
【0017】
図１では、搬送テーブル１２０ａ～１２０ｆに備わる搬送ロールによって鋼材１００が搬送される場合を例示する。したがって、図１では、搬送路１３０が、搬送テーブル１２０ａ～１２０ｆの上方の空間のうち、鋼材１００が通過することが想定される空間である場合を例示する。
【0018】
図１の圧延機１１０は、搬送方向（Ｘ軸方向）において鋼材１００を往復させて、鋼材１００に対して複数回の圧延を行うリバース圧延機である。各回の圧延をパスと称する。圧延機１１０により鋼材１００に対して３回の圧延（パス）を行う場合、例えば、圧延機１１０よりも上流側から圧延機１１０の上下のワークロール１１０ａ、１１０ｂの間に鋼材１００を通して１回目のパスを行う。１回目のパスが終了した時点で、鋼材１００の後端部１００ｂは、圧延機１１０の出側の位置に到達しても良いし、到達していなくても良い。その後、圧延機１１０よりも下流側から圧延機１１０の上下のワークロール１１０ａ、１１０ｂの間に鋼材１００を通して２回目のパスを行う。２回目のパスが終了した時点で、鋼材１００の先端部１００ａは、圧延機１１０の入側の位置に到達しても良いし、到達していなくても良い。その後、圧延機１１０よりも上流側から圧延機１１０の上下のワークロール１１０ａ、１１０ｂの間に鋼材１００を通して３回目のパスを行う。３回目のパスが終了した時点では、鋼材１００の後端部１００ｂは、圧延機１１０の出側の位置に到達する。３回目のパスが終了すると、鋼材１００は下流側に搬送される。
【0019】
なお、各パスにおいて、上下のワークロール１１０ａ、１１０ｂは回転しながら鋼材１００と接する。上下のワークロール１１０ａ、１１０ｂの回転方向は、鋼材１００と接する領域において、鋼材１００の進行方向とは逆向きになる。例えば、奇数回目のパスにおいては、ワークロール１１０ａ、１１０ｂはそれぞれ、図１の紙面に向かって左回り、右回りに回転し、偶数回目のパスにおいては、ワークロール１１０ａ、１１０ｂはそれぞれ、図１の紙面に向かって右回り、左回りに回転する。
【0020】
リバース圧延機およびリバース圧延の方法自体は公知の技術で実現され、前述したものに限定されない。例えば、リバース圧延におけるパスの回数は３回に限定されない。また、圧延機１１０よりも上流側および下流側のうちの少なくとも一方側に、粗圧延機を構成する他の圧延機が設置されていても良い。当該他の圧延機の数は１つであっても良いし、複数であっても良い。また、当該他の圧延機は、リバース圧延機でなくても良いし、リバース圧延機であっても良い。また、図１の実施形態では圧延機１１０はリバース圧延機であるが、リバース圧延機に代えて、通常の圧延機（下流側に向かう方向のみに鋼材１００を搬送させながら圧延を行う圧延機）が用いられても良い。
【0021】
また、熱間圧延ライン自体も公知の技術で実現される。例えば、粗圧延機よりも上流側に、ヤードから搬送された鋼材１００を加熱する不図示の加熱炉と、当該加熱炉で加熱後の鋼材１００の幅方向の形状および長さを矯正する不図示のサイジングプレスと、が設置されていても良い。また、粗圧延機よりも下流側に、粗圧延後の鋼材１００を仕上圧延する仕上圧延機と、仕上圧延後の鋼材１００をランアウトテーブル上で冷却する冷却装置と、当該冷却装置で冷却後の鋼材１００を巻き取る巻取装置と、が設置されていても良い。
【0022】
前述したように本実施形態では、搬送路を搬送中の物体の画像を撮影する。その際、搬送路を含む領域であって、物体の側面の少なくとも一部を撮影可能な領域を撮影領域とする。物体の側面の形状から物体の形状を判定するためである。
【0023】
物体の側面の全ての領域が撮影領域に含まれても良い。しかしながら、例えば、物体が長い場合には物体の側面の全ての領域を撮影領域に含めるのが容易ではない場合がある。また、物体の側面のうちの一部の領域の形状を判定することができれば良い場合がある。例えば、物体の端部のうち、搬送方向における物体の一端部を含む領域の形状を判定することができれば良い場合がある。したがって、物体の側面の一部を撮影可能な領域を撮影領域としても良い。
【0024】
図１に示す例では、鋼材１００の側面１００ｃ、１００ｄは、鋼材１００の幅方向（Ｙ軸方向）の端部である。本実施形態では、撮影装置１４０を用いて、搬送路１３０を搬送中の鋼材１００の１つの側面１００ｃの一部の領域の画像を撮影する場合を例示する。詳細は後述するが、本実施形態では、搬送中の物体の形状に関する情報である物体形状情報が、鋼材１００の先端部１００ａの反り量を含む場合を例示する。したがって、本実施形態では、撮影装置１４０の撮影領域が、鋼材１００の側面１００ｃの一部の領域であって、鋼材１００の先端部１００ａを含む領域を撮影可能な領域である場合を例示する。なお、撮影装置１４０で撮影される鋼材１００は、赤熱により発光している。
【0025】
本実施形態では、リバース圧延における最後のパス（本実施形態では３回目のパス）が終了する前においては撮影装置１４０の撮影領域に鋼材１００が進入せず、且つ、最後のパスが終了して下流側に搬送された鋼材１００が撮影領域に含まれるように撮影装置１４０が設置される場合を例示する。このようにすれば、例えば、撮影装置１４０で撮影された画像に写し出される鋼材１００を、リバース圧延が終了した後（全てのパスが終了した後）の鋼材１００のみとすることができる。したがって、撮影装置１４０で撮影された画像に写し出される鋼材１００が、何回目のパスが終了した後の鋼材１００であるのかを判定する必要がなくなる。しかしながら、必ずしもこのようにする必要はない。例えば、各パスが終了した後の鋼材１００がその都度撮影領域に含まれるように撮影装置１４０が設置されても良い。また、例えば、各パスが終了した後の鋼材１００を撮影する撮影装置１４０として複数の撮影装置１４０が設置されても良い。
【0026】
本実施形態では、鋼材１００の側面１００ｃが略その正面（好ましくは正面）から撮影される（すなわち、撮影装置１４０が鋼材１００の側面１００ｃと略正対（好ましくは正対）する）ように、撮影装置１４０が設置される場合を例示する。また、本実施形態では、撮影装置１４０で撮影される画像の水平方向と鋼材１００の搬送方向とが略平行（好ましくは平行）になるように、撮影装置１４０が設置される場合を例示する。以上のようにすれば、例えば、撮影装置１４０で撮影された画像の向きを変更する等の処理を省略しても良くなる。また、撮影装置１４０で撮影された画像に写し出されている鋼材１００の様子を点検員が確認し易くなる。しかしながら、必ずしもこのようにする必要はない。この場合、例えば、撮影装置１４０で撮影された画像を射影変換することにより、撮影装置１４０で撮影された画像が、鋼材１００の側面１００ｃを略その正面（好ましくは正面）から撮影された画像になるようにすることと、撮影装置１４０で撮影される画像の水平方向と鋼材１００の搬送方向とが略平行（好ましくは平行）になるようにすることと、のうちの少なくとも一方を行っても良い。
【0027】
また、本実施形態では、鋼材１００の搬送が妨げられない範囲で撮影装置１４０の撮影領域を囲う囲いが設置されていない場合を例示する。このようにすれば、例えば、設備を低コスト化することができる。しかしながら、このような囲いが設置されていても良い。後述するように本実施形態では、このような囲いがなくても、鋼材１００の形状に関する情報（物体形状情報）の算出結果に、水蒸気等の外乱が影響を及ぼすことを低減することができる。しかしながら、このような囲いを設置すれば、当該影響をより一層低減することができる。
【0028】
また、本実施形態では、撮影装置１４０が所定のフレームレート（ｆｐｓ：１秒当たりのフレーム数）で動画像を撮影する場合を例示する。しかしながら、必ずしもこのようにする必要はない。例えば、撮影装置１４０は、所定の時間隔で静止画像を撮影しても良い。また、本実施形態では、撮影装置１４０がカラーの画像を撮影する場合を例示する。しかしながら、必ずしもこのようにする必要はなく、例えば、撮影装置１４０は、グレースケールの画像を撮影しても良い。
また、本実施形態では、撮影装置１４０がネットワークカメラ（ＩＰカメラ）である場合を例示する。しかしながら、撮影装置１４０は、ネットワークカメラ以外のカメラであっても良い。
また、本実施形態では、撮影装置１４０がネットワークカメラ（ＩＰカメラ）である場合を例示する。しかしながら、撮影装置１４０は、ネットワークカメラ以外のカメラであっても良い。
【0029】
また、図１（ｂ）に示すように本実施形態では、圧延機１１０と撮影装置１４０との間の領域を搬送中の鋼材１００の先端部１００ａの通過を検知するセンサ１５０が設置される場合を例示する。センサ１５０は、例えば、ＨＭＤ（Hot Metal Detector）でも良いし、発光部および受光部を備えるセンサでも良い。本実施形態では、１回目のパスが終了した鋼材１００の先端部１００ａの通過を検知することができる位置にセンサ１５０が設置される場合を例示する。
【0030】
なお、前述したように搬送中の物体は、熱間圧延圧延ラインにおける粗圧延機で粗圧延中の鋼材（例えばスラブ）に限定されない。例えば、搬送中の物体は、冷間圧延ラインにおける圧延機で圧延中の鋼材であっても良い。また、搬送中の物体は、連続鋳造ラインにおいて搬送中の鋼片（連続鋳造機で連続鋳造された鋳片を切断した鋼材）であっても良い。また、搬送中の物体は、鋼材にも限定されない。
【0031】
［処理装置］
図２は、処理装置２００の機能的な構成の一例を示す図である。処理装置２００は、例えば、ＣＰＵ（Central Processing Unit）等、一またはそれ以上の数のハードウェアプロセッサと、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等、一またはそれ以上の数のメモリと、をハードウェアとして有し、メモリに格納される一またはそれ以上の数のプログラムを一またはそれ以上の数のハードウェアプロセッサにより実行することで各種の演算を実行する。さらに、処理装置２００は、入力装置および出力装置をハードウェアとして有する。
図２は、処理装置２００の機能的な構成の一例を示す図である。処理装置２００は、例えば、ＣＰＵ（Central Processing Unit）等、一またはそれ以上の数のハードウェアプロセッサと、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等、一またはそれ以上の数のメモリと、をハードウェアとして有し、メモリに格納される一またはそれ以上の数のプログラムを一またはそれ以上の数のハードウェアプロセッサにより実行することで各種の演算を実行する。さらに、処理装置２００は、入力装置および出力装置をハードウェアとして有する。
【0032】
図２において本実施形態では、処理装置２００が、取得部２１０と、画像処理部２２０と、物体有無判定部２３０と、算出開始条件判定部２４０と、蓄積部２５０と、算出部２６０と、出力部２７０と、を備える場合を例示する。以下に、各部が有する機能の一例を説明する。
【0033】
＜取得部２１０＞
取得部２１０は、処理装置２００が鋼材１００の物体形状情報を算出するために必要な各種の情報を取得する。本実施形態では、取得部２１０が取得する情報に、撮影装置１４０で撮影された画像と、物体識別情報と、が含まれる場合を例示する。以下の説明では、物体形状情報の算出対象の鋼材１００の画像を得るために撮影装置１４０で撮影される画像を、必要に応じて物体撮影用画像と称する。
取得部２１０は、処理装置２００が鋼材１００の物体形状情報を算出するために必要な各種の情報を取得する。本実施形態では、取得部２１０が取得する情報に、撮影装置１４０で撮影された画像と、物体識別情報と、が含まれる場合を例示する。以下の説明では、物体形状情報の算出対象の鋼材１００の画像を得るために撮影装置１４０で撮影される画像を、必要に応じて物体撮影用画像と称する。
【0034】
前述したように本実施形態では、撮影装置１４０がネットワークカメラであり、また、撮影装置１４０が所定のフレームレートでカラーの動画像を撮影する場合を例示する。そこで、本実施形態では、撮影装置１４０が、所定のフレームレートで撮影したカラーの動画像（フレーム画像）を処理装置２００に送信する場合を例示し、取得部２１０が、撮影装置１４０から送信された各フレーム画像を受信することにより、物体撮影用画像を取得する場合を例示する。
【0035】
図３は、物体撮影用画像（１枚のフレーム画像）の一例を示す図である。図３（ａ）は、撮影装置１４０の撮影領域を搬送中の鋼材１００が写し出されている物体撮影用画像３００ａの一例を示す図である。図３（ｂ）は、撮影装置１４０の撮影領域に鋼材１００が存在していない時の物体撮影用画像３００ｂの一例を示す図である。このように本実施形態では、撮影装置１４０の撮影領域に鋼材１００があるか否かに関わらず撮影装置１４０が物体撮影用画像３００ａ、３００ｂを撮影する場合を例示する。したがって本実施形態では、取得部２１０が取得する物体撮影用画像に、鋼材１００が含まれている物体撮影用画像３００ａと、鋼材１００が含まれていない物体撮影用画像３００ｂと、がある場合を例示する。
【0036】
また、後述するように本実施形態では、背景差分法を用いた画像処理を行う場合を例示する。したがって、本実施形態では、取得部２１０が、撮影装置１４０の撮影領域に鋼材１００が存在していない時に撮影装置１４０で撮影される画像として、物体撮影用画像３００ａ、３００ｂとは別の背景画像を事前（物体撮影用画像を取得する前）に取得する場合を例示する。なお、背景画像は、検出対象のオブジェクト（本実施形態では鋼材１００）を含まない背景（撮影装置１４０の撮影領域）の画像である。また、背景画像は、例えば、定期的に更新されても良いし、操業条件と、物体（本実施形態では鋼材１００）の周囲の環境（例えば、天候と、照明の有無と、のうちの少なくとも１つ）と、鋼材１００の属性（例えば、種類、幅、長さ、および厚みのうちの少なくとも１つ）と、のうちの少なくとも１つが変わった場合に更新されても良い。なお、物体（本実施形態では鋼材１００）の周囲の環境は、例えば、撮影された画像に写る物体に影響を与える要因であり、物体の周囲の雰囲気の状態に関する情報が含まれる。
【0037】
物体識別情報は、物体形状情報の算出対象の物体の識別情報である。本実施形態では、物体識別情報が、圧延機１１０で圧延が行われている鋼材１００の識別情報である場合を例示する。以下の説明では、鋼材１００の識別情報を、必要に応じて、鋼材Ｎｏ．と称する。
【0038】
本実施形態では、熱間圧延ラインにおける操業を管理する不図示の操業管理装置（外部装置）によって、どの鋼材１００が熱間圧延ラインのどの位置にあるのかが管理される場合を例示する。鋼材１００の熱間圧延ラインにおける位置は、例えば、いわゆるトラッキングにより特定される。トラッキングは、例えば、鋼材１００の搬送速度と、熱間圧延ラインにおける鋼材１００の搬送開始時刻からの経過時間と、に基づいて、熱間圧延ラインの最上流の位置から、鋼材１００の所定の部位の位置（例えば先端部１００ａ）までの距離を、所定の時間周期で算出することにより行われる。例えば、操業管理装置は、鋼材Ｎｏ．と、当該鋼材Ｎｏ．の鋼材１００の熱間圧延ラインにおける位置と、を相互に関連付けて記憶することにより、どの鋼材１００が熱間圧延ラインのどの位置にあるのかを管理する。なお、トラッキングによる鋼材１００の位置の管理自体は公知の技術で実現することができ、トラッキングの手法は前述した手法に限定されない。
【0039】
本実施形態では、操業管理装置が、トラッキングにより、圧延機１１０（リバース圧延機）において１回目のパスが行われる鋼材１００の鋼材Ｎｏ．を特定し、その後、センサ１５０で鋼材１００の先端部１００ａが初めて検知されると、当該鋼材Ｎｏ．を処理装置２００に送信する場合を例示する。また、本実施形態では、取得部２１０が、このようにして操業管理装置から送信された鋼材Ｎｏ．を受信することにより、鋼材Ｎｏ．（物体識別情報）を取得する場合を例示する。
【0040】
なお、取得部２１０が取得する情報は、物体撮影用画像および物体識別情報（鋼材撮影画像および鋼材Ｎｏ．）に限定されない。例えば、取得部２１０は、物体識別情報（鋼材Ｎｏ．）に加えてトラッキング情報（前述したトラッキングの内容を示す情報）を取得しても良いし、センサ１５０における検知信号を取得しても良い。また、操業管理装置は、例えば、センサ１５０の検知結果を用いずにトラッキングの結果に基づいて、鋼材１００の先端部１００ａが、圧延機１１０と撮影装置１４０との間の位置を初めて通過したことを判定しても良い。また、処理装置２００が前述した操業管理装置が有する機能の少なくとも一部の機能を有していても良い。
【0041】
＜画像処理部２２０＞
画像処理部２２０は、物体撮影用画像に対する画像処理を行う。本実施形態では画像処理部２２０が、１枚の物体撮影用画像に対する画像処理を、物体撮影用画像のフレームレートと同じ速度または物体撮影用画像のフレームレート以上の速度で行うことができる場合を例示する。例えば、物体撮影用画像のフレームレートが６０ｆｐｓである場合、画像処理部２２０は、１／６０ｓｅｃ、または１／６０ｓｅｃよりも短い時間で、１枚の物体撮影用画像に対する画像処理を行う。しかしながら、必ずしもこのようにする必要はない。すなわち、画像処理部２２０は、１枚の物体撮影用画像に対する画像処理を、物体撮影用画像のフレームレートよりも遅い速度で行っても良い。ただし、このようにする場合、物体形状情報の算出対象の鋼材１００の次の鋼材１００の圧延機１１０によるリバース圧延が開始する前に、物体形状情報の算出対象の鋼材１００がリバース圧延されている時に撮影装置１４０で撮影された全ての物体撮影用画像に対する画像処理が終了するようにするのが好ましい。
画像処理部２２０は、物体撮影用画像に対する画像処理を行う。本実施形態では画像処理部２２０が、１枚の物体撮影用画像に対する画像処理を、物体撮影用画像のフレームレートと同じ速度または物体撮影用画像のフレームレート以上の速度で行うことができる場合を例示する。例えば、物体撮影用画像のフレームレートが６０ｆｐｓである場合、画像処理部２２０は、１／６０ｓｅｃ、または１／６０ｓｅｃよりも短い時間で、１枚の物体撮影用画像に対する画像処理を行う。しかしながら、必ずしもこのようにする必要はない。すなわち、画像処理部２２０は、１枚の物体撮影用画像に対する画像処理を、物体撮影用画像のフレームレートよりも遅い速度で行っても良い。ただし、このようにする場合、物体形状情報の算出対象の鋼材１００の次の鋼材１００の圧延機１１０によるリバース圧延が開始する前に、物体形状情報の算出対象の鋼材１００がリバース圧延されている時に撮影装置１４０で撮影された全ての物体撮影用画像に対する画像処理が終了するようにするのが好ましい。
【0042】
前述したように本実施形態では、取得部２１０が取得する物体撮影用画像に、鋼材１００が含まれている物体撮影用画像と、鋼材１００が含まれていない物体撮影用画像と、がある場合を例示する。したがって、本実施形態では画像処理部２２０が、物体撮影用画像に鋼材１００が含まれているか否かに関わらず、各物体撮影用画像に対する画像処理を行う場合を例示する。そして、本実施形態では、物体撮影用画像に鋼材１００が含まれているか否かを後述する物体有無判定部２３０によって判定する際の判定精度を高めるための画像処理を画像処理部２２０が行う場合を例示する。そこで、本実施形態では画像処理部２２０が、物体撮影用画像から、鋼材１００の領域と、鋼材１００以外の領域と、のうちの少なくとも一方の領域を抽出するための画像処理を行う場合を例示する。このような画像処理の具体例を以下に説明する。
【0043】
まず、画像処理部２２０は、物体撮影用画像および背景画像をグレースケール画像に変換する。なお、物体撮影用画像および背景画像がグレースケール画像である場合には、この処理は不要である。以下の画像処理部２２０における画像処理の具体例の説明では、物体撮影用画像および背景画像は、グレースケール画像であるものとする。
【0044】
次に、画像処理部２２０は、物体撮影用画像および背景画像の差分画像を作成する。例えば、画像処理部２２０は、物体撮影用画像の画素の画素値（階調値）から、当該画素に対応する背景画像の画素の画素値を減算した画素値を、差分画像における当該画素の画素値として算出することを、各画素に対して行うことにより差分画像を作成する。差分画像自体は、公知の技術で実現されるので、ここではその詳細な説明を省略する。
【0045】
次に、画像処理部２２０は、差分画像を平滑化する。平滑化に用いる平滑化フィルタとして、例えば、ガウシアンフィルタが挙げられるが、平滑化に用いる平滑化フィルタはガウシアンフィルタに限定されない。平滑化処理自体は、公知の技術で実現されるので、ここではその詳細な説明を省略する。
【0046】
次に、画像処理部２２０は、平滑化後の差分画像の各画素値を２値化した２値化画像を作成する。例えば、画像処理部２２０は、画素値が２値化閾値を上回る場合、当該画素値を「１」とし、そうでない場合、当該画素値を「０」とすることを、各画素に対して行うことにより２値化画像を作成する。２値化処理自体は、公知の技術で実現されるので、ここではその詳細な説明を省略する。
【0047】
次に、画像処理部２２０は、２値化画像に含まれるノイズを低減するノイズ低減処理を行う。ノイズ低減処理として、例えば、モルフォロジー変換が挙げられる。画像処理部２２０は、モルフォロジー変換として、例えば、膨張、収縮、オープニング、およびクロージングのうちの少なくとも１つを行っても良い。また、画像処理部２２０は、トップハット処理やブラックハット処理を行っても良い。モルフォロジー変換自体は、公知の技術で実現されるので、ここではその詳細な説明を省略する。以下の画像処理部２２０における画像処理の具体例の説明では、２値化画像は、ノイズ低減処理後の２値化画像であるものとする。
【0048】
次に、画像処理部２２０は、撮影装置１４０で撮影された画像（本実施形態では２値化画像）を分割した複数の領域を１つずつ抽出する。複数の領域の位置および数は、例えば、物体（本実施形態では鋼材１００）の周囲の環境と、画像における物体の搬送方向と、に基づいて予め定められる。本実施形態では、鋼材１００の搬送方向（Ｘ軸方向）と物体撮影用画像の水平方向とが略平行である場合を例示する。また、圧延（リバース圧延）が終了して鋼材１００が鋼材１００の撮影領域よりも下流側（Ｘ軸の正の方向側）に搬送されると、鋼材１００の表面のスケール（酸化物）の除去等によって、鋼材１００の撮影領域よりも下流側から鋼材１００の撮影領域に向かう水蒸気が発生する場合がある。そこで本実施形態では、この水蒸気と、鋼材１００と、を区別し易くするために、図４に示すように、上流側エリア４１０（Ｘ軸の負の方向側の領域）と下流側エリア４２０（Ｘ軸の正の方向側の領域）との２つの領域に２値化画像４００を分割する場合を例示する。なお、図４では、表記の都合上、２値化画像４００において黒い領域（鋼材１００の領域）の画素値が「１」であり、白い領域の画素値が「０」である場合を例示する。
【0049】
例えば、図４に例示するように、上流側エリア４１０において画素値が「１」の領域（図４では黒の領域）として大きな領域があり、且つ、下流側エリア４２０において画素値が「１」の領域として大きな領域がない場合、２値化画像４００に鋼材１００が含まれていると判定することができる。２値化画像４００に鋼材１００が含まれている場合、画素値が「１」の領域の大きさは、上流側エリア４１０＞下流側エリア４２０、上流側エリア４１０＝下流側エリア４２０、下流側エリア４２０＞上流側エリア４１０の順で時間変化するからである。一方、下流側エリア４２０において画素値が「１」の領域として大きな領域があり、且つ、上流側エリア４１０において画素値が「１」の領域として大きな領域がない場合、２値化画像４００に鋼材１００が含まれていないと判定することができる。この場合、水蒸気が発生していると判定することができる。水蒸気が発生している場合、画素値が「１」の領域の大きさは、下流側エリア４２０＞上流側エリア４１０、上流側エリア４１０＝下流側エリア４２０、上流側エリア４１０＞下流側エリア４２０の順で時間変化するからである。
【0050】
画像処理部２２０は、撮影装置１４０で撮影された画像（２値化画像）を分割した複数の領域ごとにブロブ面積を算出する。ブロブ面積は、ブロブの面積の総和である。ブロブは、２値化画像において、検出対象のオブジェクトに対応する画素値を有する画素（例えば、２値化画像において画素値が「１」の画素（図４では黒い領域の画素））の塊りである。２値化処理においては、一般に、ブロブ解析（各ブロブの特徴量の算出、および各ブロブに対するラベリング等）が行われる。ただし、本実施形態では、例えば、２値化画像４００において画素値が「１」の画素数をブロブ面積として算出すれば良いので、ブロブ解析を行わなくても良い。
【0051】
本実施形態では、このようなブロブ面積として、画像処理部２２０が、上流側エリア４１０におけるブロブ面積と、下流側エリア４２０におけるブロブ面積と、を算出する場合を例示する。
なお、例えば、物体（本実施形態では鋼材１００）の周囲の環境が良好（撮影された画像に物体が明確に写し出される環境）である場合には、撮影装置１４０で撮影された画像（２値化画像）を複数の領域に分割しなくても良い。この場合、画像処理部２２０は、例えば、撮影装置１４０で撮影された画像（２値化画像）の全体のブロブ面積を算出しても良い。
なお、例えば、物体（本実施形態では鋼材１００）の周囲の環境が良好（撮影された画像に物体が明確に写し出される環境）である場合には、撮影装置１４０で撮影された画像（２値化画像）を複数の領域に分割しなくても良い。この場合、画像処理部２２０は、例えば、撮影装置１４０で撮影された画像（２値化画像）の全体のブロブ面積を算出しても良い。
【0052】
＜物体有無判定部２３０＞
物体有無判定部２３０は、撮影装置１４０の撮影領域を搬送中の物体があるか否かを判定する。本実施形態では、物体有無判定部２３０が、撮影装置１４０で撮影された画像に物体が含まれているか否かにより、撮影装置１４０の撮影領域を搬送中の物体があるか否かを判定する場合を例示する。撮影装置１４０で撮影された画像そのものを用いて、撮影装置１４０の撮影領域を搬送中の物体があるか否かを判定しても良いが、判定精度が低下する虞がある。そこで本実施形態では、物体有無判定部２３０が、画像処理部２２０による画像処理の結果に基づいて、撮影装置１４０で撮影された画像に物体が含まれているか否かを判定する場合を例示する。また、判定精度をより高めるため、本実施形態では、物体有無判定部２３０が、撮影装置１４０で撮影された画像（２値化画像）を分割した複数の領域ごとの画像処理の結果に基づいて、撮影装置１４０で撮影された画像に物体が含まれているか否かを判定する場合を例示する。このようにする場合の物体有無判定部２３０の処理の具体例を以下に説明する。
物体有無判定部２３０は、撮影装置１４０の撮影領域を搬送中の物体があるか否かを判定する。本実施形態では、物体有無判定部２３０が、撮影装置１４０で撮影された画像に物体が含まれているか否かにより、撮影装置１４０の撮影領域を搬送中の物体があるか否かを判定する場合を例示する。撮影装置１４０で撮影された画像そのものを用いて、撮影装置１４０の撮影領域を搬送中の物体があるか否かを判定しても良いが、判定精度が低下する虞がある。そこで本実施形態では、物体有無判定部２３０が、画像処理部２２０による画像処理の結果に基づいて、撮影装置１４０で撮影された画像に物体が含まれているか否かを判定する場合を例示する。また、判定精度をより高めるため、本実施形態では、物体有無判定部２３０が、撮影装置１４０で撮影された画像（２値化画像）を分割した複数の領域ごとの画像処理の結果に基づいて、撮影装置１４０で撮影された画像に物体が含まれているか否かを判定する場合を例示する。このようにする場合の物体有無判定部２３０の処理の具体例を以下に説明する。
【0053】
物体有無判定部２３０は、物体撮影用画像（２値化画像）を分割した複数の領域ごとにブロブ面積が所定範囲内であるか否かを判定する。所定範囲は、例えば、物体（本実施形態では鋼材１００）の周囲の環境や、物体の大きさ等に基づいて、当該複数の領域ごとに予め定められる。
【0054】
本実施形態では、上流側エリア４１０におけるブロブ面積が上流側エリア４１０に対して定められた所定範囲内であるか否かを判定することと、下流側エリア４２０におけるブロブ面積が下流側エリア４２０に対して定められた所定範囲内であるか否かを判定することと、を物体有無判定部２３０が行う場合を例示する。
【0055】
前述したように本実施形態では、上流側エリア４１０において画素値が「１」の領域（図４では黒の領域）として大きな領域があり、且つ、下流側エリア４２０において画素値が「１」の領域として大きな領域がない場合、２値化画像４００に鋼材１００が含まれていると判定することができる。一方、下流側エリア４２０において画素値が「１」の領域として大きな領域があり、且つ、上流側エリア４１０において画素値が「１」の領域として大きな領域がない場合、２値化画像４００に鋼材１００が含まれていないと判定することができる。
【0056】
そこで、本実施形態では、上流側エリア４１０における所定範囲の下限値が、下流側エリア４２０における所定範囲の下限値よりも大きい値を有するように、上流側エリア４１０における所定範囲および下流側エリア４２０における所定範囲がそれぞれ定められる場合を例示する。また、多量の水蒸気が含まれることにより画素値が「１」の領域が異常に大きい場合に、２値化画像４００に鋼材１００が含まれていると判定することを抑制することができるように、上流側エリア４１０および下流側エリア４２０における所定範囲の上限値が定められる場合を例示する。
【0057】
次に、物体有無判定部２３０は、物体撮影用画像（２値化画像）を分割した複数の領域の全てにおいてブロブ面積が所定範囲内であるか否かを判定する。
本実施形態では、物体有無判定部２３０が、上流側エリア４１０におけるブロブ面積が上流側エリア４１０に対して定められた所定範囲内であることと、下流側エリア４２０におけるブロブ面積が下流側エリア４２０に対して定められた所定範囲内であることと、の双方が成り立つか否かを判定する場合を例示する。
本実施形態では、物体有無判定部２３０が、上流側エリア４１０におけるブロブ面積が上流側エリア４１０に対して定められた所定範囲内であることと、下流側エリア４２０におけるブロブ面積が下流側エリア４２０に対して定められた所定範囲内であることと、の双方が成り立つか否かを判定する場合を例示する。
【0058】
この判定の結果、物体撮影用画像（２値化画像）を分割した複数の領域の全てにおいてブロブ面積が所定範囲内である場合、物体有無判定部２３０は、物体撮影用画像（２値化画像）に物体が含まれていると判定する。一方、物体撮影用画像（２値化画像）を分割した複数の領域のうちの少なくとも１つの領域においてブロブ面積が所定範囲内でない場合、物体有無判定部２３０は、物体撮影用画像（２値化画像）に物体が含まれていないと判定する。
【0059】
本実施形態では、上流側エリア４１０におけるブロブ面積が上流側エリア４１０に対して定められた所定範囲内であり、且つ、下流側エリア４２０におけるブロブ面積が下流側エリア４２０に対して定められた所定範囲内である場合に、物体撮影用画像（２値化画像）に鋼材１００が含まれていると物体有無判定部２３０が判定する場合を例示する。一方、上流側エリア４１０におけるブロブ面積が上流側エリア４１０に対して定められた所定範囲内でないことと、下流側エリア４２０におけるブロブ面積が下流側エリア４２０に対して定められた所定範囲内でないことと、のうちの少なくとも一方が成り立つ場合には、物体撮影用画像（２値化画像）に鋼材１００が含まれていないと物体有無判定部２３０が判定する場合を例示する。
【0060】
以上のように本実施形態では、物体有無判定部２３０が、物体撮影用画像に対する画像処理の結果に基づいて、撮影装置１４０の撮影領域を搬送中の鋼材１００があるか否かを判定する場合を例示する。このようにすれば、撮影装置１４０の撮影領域を搬送中の鋼材１００があるか否かを、短周期（例えば撮影装置１４０のフレームレートの周期）、且つ、高精度に判定することができる。しかしながら、必ずしもこのようにする必要はない。例えば、物体有無判定部２３０は、前述したトラッキングの結果に基づいて、撮影装置１４０の撮影領域を搬送中の鋼材１００があるか否かを判定しても良い。また、搬送中の鋼材１００の先端部１００ａが、撮影装置１４０の撮影領域の再上流の位置を通過したことを検知するセンサを設置しても良い。この場合、物体有無判定部２３０は、当該センサの検知信号に基づいて、撮影装置１４０の撮影領域を搬送中の鋼材１００があるか否かを判定しても良い。以上のようにして、撮影装置１４０の撮影領域を搬送中の鋼材１００があるか否かを判定する際に、物体撮影用画像に対する画像処理の結果を用いない場合、処理装置２００は、画像処理部２２０を備えていなくても良い。
【0061】
＜算出開始条件判定部２４０＞
算出開始条件判定部２４０は、後述する算出部２６０による物体形状情報の算出開始条件（後述する算出部２６０により物体形状情報の算出を開始する条件）が成立したか否かを判定する。
算出開始条件判定部２４０は、後述する算出部２６０による物体形状情報の算出開始条件（後述する算出部２６０により物体形状情報の算出を開始する条件）が成立したか否かを判定する。
【0062】
算出開始条件には、例えば、物体形状情報の算出対象の物体（本実施形態では鋼材１００）の１つ前に搬送される物体の後端部が撮影装置１４０の撮影領域よりも下流側に搬送されていると見なせる条件が含まれる。本実施形態では、算出開始条件が、物体形状情報の算出対象の物体（本実施形態では鋼材１００）が撮影装置１４０の撮影領域よりも上流側の所定の位置で検知されてから一定時間が経過したことである場合を例示する。前述したように本実施形態では、操業管理装置が、１回目のパスが行われる鋼材１００の鋼材Ｎｏ．を特定した後、センサ１５０で鋼材１００の先端部１００ａが初めて検知されると、当該鋼材Ｎｏ．を処理装置２００に送信する場合を例示する。そこで、本実施形態では、取得部２１０により物体識別情報（鋼材Ｎｏ．）が（新たに）取得され、且つ、当該物体識別情報（鋼材Ｎｏ．）が取得されてから一定時間が経過したことが算出開始条件である場合を例示する。
【0063】
一定時間は、例えば、圧延機１１０で鋼材１００を圧延するのに要する時間として想定される時間に基づいて予め定められる。リバース圧延の場合には、当該時間として、例えば、１回目のパスにおいてセンサ１５０で鋼材１００の先端部１００ａが初めて検知されてから、最後のパスにおいてセンサ１５０で鋼材１００の後端部１００ｂが検知されなくなるまでの時間を用いても良い。例えば、操業実績、模擬実験、およびコンピュータシミュレーションのうちの少なくとも１つに基づいて、圧延機１１０で鋼材１００を圧延（リバース圧延）するのに要する時間として想定される時間として最短の時間を導出し、当該最短の時間、または、当該最短の時間よりも余裕時間だけ短い時間を、一定時間として定めても良い。また、一定時間は、操業条件（例えば、搬送速度）と、鋼材１００の属性（例えば、種類、幅、長さ、厚みのうちの少なくとも１つ）と、のうちの少なくとも一方ごとに定められても良いし、これらに関わらず同一の時間であっても良い。
【0064】
このように算出開始条件判定部２４０によって算出開始条件が成立したか否かを判定することにより、取得部２１０により取得された物体識別情報（鋼材Ｎｏ．）で識別される物体（本実施形態では鋼材１００）の１つ前に搬送された物体の物体撮影用画像に基づいて、当該物体識別情報（鋼材Ｎｏ．）で識別される物体の物体形状情報が算出部２６０により算出されることを抑制することができる。
【0065】
なお、算出開始条件は、物体形状情報の算出対象の物体（本実施形態では鋼材１００）が撮影装置１４０の撮影領域よりも上流側の所定の位置で検知されてから一定時間が経過したことに限定されない。例えば、撮影装置１４０の撮影領域よりも下流側の位置を搬送中の鋼材１００の後端部１００ｂの通過を検知するセンサを設置しても良い。この場合、算出開始条件は、当該センサにより、鋼材１００の後端部１００ｂの通過が検知されたこと（例えば、当該センサにより鋼材１００が検知されている状態から検知されない状態になったこと）であっても良い。
【0066】
また、例えば、搬送順が連続する２つの物体の間隔が長い場合等、取得部２１０が物体識別情報（鋼材Ｎｏ．）を取得したタイミングで、当該物体識別情報で識別される物体（本実施形態では鋼材１００）の１つ前に搬送される物体の後端部が撮影装置１４０の撮影領域よりも下流側に搬送されていることが確実である場合、例えば、算出開始条件は、取得部２１０により物体識別情報（鋼材Ｎｏ．）が（新たに）取得されたことのみであっても良い。また、例えば、物体識別情報と物体形状情報との関連付けが必要でない場合には、算出開始条件が成立するか否かの判定自体を行わなくても良い。この場合、処理装置２００は、算出開始条件判定部２４０を備えていなくても良い。
【0067】
＜蓄積部２５０＞
蓄積部２５０は、物体有無判定部２３０により撮影装置１４０の撮影領域を搬送中の物体があると判定されたタイミング以降に撮影された（取得部２１０で取得された）画像を蓄積（録画）する。本実施形態では、蓄積部２５０が、物体有無判定部２３０により撮影装置１４０の撮影領域を搬送中の物体があると判定されたタイミング以降に撮影された（取得部２１０で取得された）物体撮影用画像を蓄積する場合を例示する。また、本実施形態では、算出開始条件判定部２４０により算出開始条件が成立していると判定された場合に、蓄積部２５０が、取得部２１０で取得された物体撮影用画像の蓄積を開始する場合を例示する。この場合、算出開始条件判定部２４０により算出開始条件が成立していると判定されていなければ、蓄積部２５０は、取得部２１０で取得された物体撮影用画像の蓄積を開始しない。
蓄積部２５０は、物体有無判定部２３０により撮影装置１４０の撮影領域を搬送中の物体があると判定されたタイミング以降に撮影された（取得部２１０で取得された）画像を蓄積（録画）する。本実施形態では、蓄積部２５０が、物体有無判定部２３０により撮影装置１４０の撮影領域を搬送中の物体があると判定されたタイミング以降に撮影された（取得部２１０で取得された）物体撮影用画像を蓄積する場合を例示する。また、本実施形態では、算出開始条件判定部２４０により算出開始条件が成立していると判定された場合に、蓄積部２５０が、取得部２１０で取得された物体撮影用画像の蓄積を開始する場合を例示する。この場合、算出開始条件判定部２４０により算出開始条件が成立していると判定されていなければ、蓄積部２５０は、取得部２１０で取得された物体撮影用画像の蓄積を開始しない。
【0068】
蓄積部２５０により蓄積された画像（物体撮影用画像）は、後述する算出部２６０による物体形状情報の算出に用いられる。したがって、蓄積部２５０は、物体形状情報の算出対象となる物体の部位（本実施形態では鋼材１００の先端部１００ａを含む領域）を撮影している画像（物体撮影用画像）を蓄積すれば良い。そこで、本実施形態では、蓄積部２５０が、所定の時間分（所定のフレーム数）の物体撮影用画像を蓄積する場合を例示する。所定の時間は、例えば、物体形状情報の算出対象となる物体の部位の長さと、物体の搬送速度と、フレームレートと、に基づいて予め定められる。以下の説明では、この所定の時間を、必要に応じて、蓄積時間と称する。
【0069】
＜算出部２６０＞
算出部２６０は、物体有無判定部２３０により撮影装置１４０の撮影領域に物体があると判定された場合に、取得部２１０で取得された画像に基づいて、物体の形状に関する情報である物体形状情報を算出する。算出部２６０は、物体形状情報の算出に、撮影装置１４０の撮影領域を撮影した画像と物体形状情報との関係性を学習した学習済みモデルを用いる。本実施形態では、学習済みモデルが、ＹＯＬＯ（You Only Look Once） ｖ５である場合を例示する。しかしながら、学習済みモデルは、ＹＯＬＯ（より具体的にはＹＯＬＯ ｖ５）に限定されない。例えば、学習済みモデルは、Ｒ－ＣＮＮ（Region convolutional neural network）やＳＳＤ（Single Shot MultiBox Detector）等のその他の物体検出アルゴリズムであっても良い。また、学習済みモデルは、その他の人工知能、深層学習モデル、機械学習モデルであっても良い。学習済みモデルは、分類器であっても良い。なお、学習済みモデルの学習方法自体は公知の技術で実現することができるので、ここでは、その詳細な説明を省略する。
算出部２６０は、物体有無判定部２３０により撮影装置１４０の撮影領域に物体があると判定された場合に、取得部２１０で取得された画像に基づいて、物体の形状に関する情報である物体形状情報を算出する。算出部２６０は、物体形状情報の算出に、撮影装置１４０の撮影領域を撮影した画像と物体形状情報との関係性を学習した学習済みモデルを用いる。本実施形態では、学習済みモデルが、ＹＯＬＯ（You Only Look Once） ｖ５である場合を例示する。しかしながら、学習済みモデルは、ＹＯＬＯ（より具体的にはＹＯＬＯ ｖ５）に限定されない。例えば、学習済みモデルは、Ｒ－ＣＮＮ（Region convolutional neural network）やＳＳＤ（Single Shot MultiBox Detector）等のその他の物体検出アルゴリズムであっても良い。また、学習済みモデルは、その他の人工知能、深層学習モデル、機械学習モデルであっても良い。学習済みモデルは、分類器であっても良い。なお、学習済みモデルの学習方法自体は公知の技術で実現することができるので、ここでは、その詳細な説明を省略する。
【0070】
また、本実施形態では、算出部２６０が、算出開始条件判定部２４０により算出開始条件が成立したと判定されたタイミング以降に蓄積部２５０により蓄積された物体撮影用画像のそれぞれに基づいて、物体形状情報を算出する場合を例示する。また、本実施形態では、算出部２６０が１枚の物体撮影用画像に基づいて物体形状情報を算出するのに要する時間の方が、画像処理部２２０が１枚の物体撮影用画像に対する画像処理を行うのに要する時間（グレースケール画像の作成からブロブ面積の算出までに要する時間）よりも長い場合を例示する。以下の説明では、算出部２６０が１枚の物体撮影用画像に基づいて物体形状情報を算出するのに要する時間を、必要に応じて、算出部２６０の１画像当たりの処理時間と称する。また、画像処理部２２０が１枚の物体撮影用画像に対する画像処理を行うのに要する時間を、必要に応じて、画像処理部２２０の１画像当たりの処理時間と称する。
【0071】
図５は、画像処理部２２０の１画像当たりの処理時間Δｔ１と、算出部２６０の１画像当たりの処理時間Δｔ２と、の関係の一例を説明する図である。
【0072】
ＹＯＬＯ ｖ５等の学習済みモデルを用いることにより、（画像処理により物体の形状を抽出する場合に比べて）鋼材１００の形状に関する情報（物体形状情報）の算出結果に、水蒸気等の外乱が影響を及ぼすことを低減することができる。一方で、ＹＯＬＯ ｖ５等の学習済みモデルを用いると、（画像処理により物体の形状を抽出する場合に比べて）計算時間が長くなる。
【0073】
画像処理部２２０が、１枚の物体撮影用画像に対する画像処理を、物体撮影用画像のフレームレートと同じ速度で行う場合、画像処理部２２０の１画像当たりの処理時間Δｔ１は、例えば、物体撮影用画像のフレームレートの逆数である。この場合、図５に示す例では、算出部２６０の１画像当たりの処理時間Δｔ２は、物体撮影用画像のフレームレートの逆数の３倍の時間である。
【0074】
したがって、取得部２１０により物体撮影用画像が取得されるたびに算出部２６０が当該物体撮影用画像に基づいて物体形状情報を算出すると、物体形状情報の算出対象の鋼材１００に対する全ての物体撮影用画像に基づく物体形状情報の算出が終了する前に、当該鋼材１００の次の鋼材１００の圧延が開始される虞がある。したがって、物体形状情報の算出に時間遅れが生じる。このような時間遅れが生じないようにするために、算出部２６０が、取得部２１０により取得された物体撮影用画像の一部（例えば、算出部２６０の１画像当たりの処理時間Δｔ２の時間隔で取得された物体撮影用画像）のみに基づいて物体形状情報を算出することが考えられる。例えば、図５に示す例では、算出部２６０が、時刻ｔ１、ｔ４、ｔ７において取得部２１０により取得された物体撮影用画像に基づいて、物体形状情報を算出することが考えられる。しかしながら、このようにすると、物体形状情報を算出する時間隔（周期）が長くなる。そうすると、本来算出すべき物体形状情報（時刻ｔ２、ｔ３、ｔ５、ｔ６において撮影（取得部２１０により取得）された物体撮影用画像に基づく物体形状情報）を算出することができない。したがって、本来検出すべきタイミングで物体の形状を検出することができない。よって、物体の形状の検出精度が低下する虞がある。
【0075】
そこで、本実施形態では、算出部２６０が、物体有無判定部２３０により撮影装置１４０の撮影領域に物体（本実施形態では鋼材１００）があると判定されたタイミング以降のタイミングで撮影（取得部２１０で取得された）物体撮影用画像に基づいて、物体形状情報を算出する。このようにすれば、物体形状情報の算出対象の物体撮影用画像を、物体（本実施形態では鋼材１００）が含まれる物体形状情報に限定することができる。したがって、物体形状情報の算出対象の物体（本実施形態では鋼材１００）の次の物体が撮影装置１４０の撮影領域に搬送される前に、物体形状情報の算出対象の物体が含まれる全ての物体撮影用画像に基づく物体形状情報を算出することができる可能性を高めることができる（好ましくは当該可能性を０（零）にすることができる）。よって、本来検出すべきタイミングで物体の形状を検出することができない可能性を低減することができる（好ましくは当該可能性を０（零）にすることができる）。また、算出部２６０が、算出開始条件判定部２４０により算出開始条件が成立したと判定されたタイミング以降に撮影された（取得部２１０で取得された）物体撮影用画像に基づいて物体形状情報を算出することにより、物体形状情報の算出精度を、より向上させることができる。
【0076】
なお、物体形状情報の算出精度が向上するとは、物体形状情報に基づいて（定量的または定性的に）表される形状の情報と、実際の形状と、の乖離が小さくなることに対応する。
また、図５では、表記の都合上、算出部２６０の１画像当たりの処理時間Δｔ２を、画像処理部２２０の１画像当たりの処理時間Δｔ１の３倍の時間としている。しかしながら、算出部２６０の１画像当たりの処理時間Δｔ２は、物体撮影用画像のフレームレートの逆数の３倍に限定されない。
また、図５では、表記の都合上、算出部２６０の１画像当たりの処理時間Δｔ２を、画像処理部２２０の１画像当たりの処理時間Δｔ１の３倍の時間としている。しかしながら、算出部２６０の１画像当たりの処理時間Δｔ２は、物体撮影用画像のフレームレートの逆数の３倍に限定されない。
【0077】
前述したように物体形状情報は、物体の形状に関する情報である。本実施形態では、物体形状情報が、物体（本実施形態では鋼材１００）の長手方向に沿った形状を定量化して表す情報と、物体（本実施形態では鋼材１００）の位置の時間変化を示す情報と、を含む場合を例示する。
【0078】
物体（本実施形態では鋼材１００）の長手方向に沿った形状を定量化して表す情報には、例えば、形状を特定するためのパラメータ（数値）が含まれる。具体的に、物体（本実施形態では鋼材１００）の長手方向に沿った形状を定量化して表す情報には、例えば、物体の表面の平面からの乖離の程度（例えば平坦度）を定量化して表す情報がある。物体の表面の平坦の程度を定量化して表す情報には、例えば、上反りおよび下反り等の反りの程度を定量化して表す情報がある。上反りは、物体の先端部（本実施形態では鋼材１００の先端部１００ａ）に向かって徐々に位置が高くなり、物体の先端部の位置が最も高くなるような反りである。下反りは、物体の先端部（本実施形態では鋼材１００の先端部１００ａ）に向かって徐々に位置が低くなり、物体の先端部の位置が最も低くなるような反りである。この他、物体の先端部よりも後端部側（本実施形態では鋼材１００の先端部１００ａよりも後端部１００ｂ側）において位置が最も低くまたは高くなり、物体の先端部に向かって位置が高くまたは低くなるような反り（いわゆる鎌形の反り）もある。また、物体の長手方向に沿った形状を定量化して表す情報は、物体の先端部における形状を定量化して表す情報に限定されない。例えば、物体の長手方向に沿った形状を定量化して表す情報は、物体の後端部における形状を定量化して表す情報であっても良いし、物体の中間部（長手方向において先端部および後端部から離れた部分）における形状を定量化して表す情報であっても良い。例えば、物体の長手方向に沿った形状を定量化して表す情報は、耳波や中伸びの程度を示す情報であっても良い。
【0079】
本実施形態では、物体の長手方向に沿った形状を定量化して表す情報が、鋼材１００の上反り量（上反りの程度）を示す情報である場合を例示する。図６は、鋼材１００の上反り量の算出方法の一例を説明する図である。図６において、物体撮影用画像６００に対して基準線６１０が設定される。基準線６１０は、例えば、鋼材１００が平坦であると仮定した場合の鋼材１００の上面（上側の表面）の位置として想定される位置を示す線である。基準線６１０は、処理装置２００の入力装置に対して、点検員が基準線６１０を示す情報を入力することによって設定されても良い。また、算出部２６０が自動的に基準線６１０を設定しても良い。例えば、算出部２６０は、物体撮影用画像における位置であって、搬送路１３０の最も低い位置に対応する位置から、鋼材１００の厚みに対応する長さだけ上の位置に基準線６１０を設定しても良い。このようにする場合、取得部２１０は、例えば、操業管理装置から、圧延後の鋼材１００の厚みの想定値を示す情報を取得しても良い。そして、算出部２６０は、当該想定値を物体撮影用画像における長さに換算した値を、鋼材１００の厚みに対応する長さとして用いることにより、前述したようにして基準線６１０を設定しても良い。
【0080】
算出部２６０は、基準線６１０を基準とした場合の鋼材１００の先端部１００ａの高さを、鋼材１００の上反り量Δｙとして算出する。本実施形態では、学習済みモデルが、ＹＯＬＯ ｖ５である場合を例示する。ＹＯＬＯでは、バウンディングボックス６２０を用いて検出された物体が表される。バウンディングボックス６２０は、検出した物体を囲む矩形（例えば外接矩形）状の領域である。そこで、算出部２６０は、例えば、バウンディングボックス６２０の４つの頂点のうち、鋼材１００の搬送方向の下流側（Ｘ軸の正の方向側）、且つ、上側（Ｚ軸の正の方向側）の頂点６３０の画素を特定する。この場合、算出部２６０は、バウンディングボックスの頂点６３０が位置する画素から、基準線６１０が位置する画素までの、画像の垂直方向（Ｚ軸方向）における長さ（画素数）を実空間における長さに換算した長さを、鋼材１００の上反り量Δｙとして算出する。なお、上反りが生じている場合には、鋼材１００の先端部１００ａの高さが最も高い。したがって、算出部２６０は、バウンディングボックス６２０の最上部の位置（最もＺ軸の正の方向側の位置）の画素から、基準線６１０が位置する画素までの、画像の垂直方向（Ｚ軸方向）における長さ（画素数）を実空間における長さに換算した長さを、鋼材１００の上反り量Δｙとして算出しても良い。なお、バウンディングボックス６２０の頂点の位置は、例えば、バウンディングボックスの中心位置と、バウンディングボックスの縦横の長さと、に基づいて算出される。なお、鋼材１００の上反り量Δｙは、バウンディングボックスの頂点６３０が位置する画素から、基準線６１０が位置する画素までの、画像の垂直方向（Ｚ軸方向）における長さ（画素数）を実空間における長さに換算したものでなくても良い。例えば、バウンディングボックスの頂点６３０が位置する画素から、基準線６１０が位置する画素までの、画像の垂直方向（Ｚ軸方向）における長さ（画素数）を、鋼材１００の上反り量Δｙとしても良い。図６では、このような場合の鋼材１００の上反り量Δｙを例示する。
【0081】
ここでは、物体（本実施形態では鋼材１００）の長手方向に沿った形状を定量化して表す情報を例示した。しかしながら、必ずしも、物体（本実施形態では鋼材１００）の長手方向に沿った形状を定量化して表す必要はない。例えば、物体の長手方向に沿った形状は定量化して表されなくても良い（すなわち、形状に対応する数値情報でなくても良い）。例えば、物体の長手方向に沿った形状を表す情報は、物体の長手方向に沿った形状を定性的に表す情報であっても良い。例えば、物体の長手方向に沿った形状を定性的に表す情報は、物体の長手方向に沿った形状が、第１の形状、第２の形状、・・・第ｎの形状のうちのいずれの形状であるのかを示す情報であっても良い。「第１の形状、第２の形状、・・・第ｎの形状」は、例えば、上反り、下反り、鎌形の反りでも良い。また、物体の長手方向に沿った形状を定性的に表す情報は、物体の長手方向に沿った形状が、大きな上反り、中程度の上反り、および軽微な上反りのうちのいずれであるのかを示す情報であっても良い。
【0082】
物体（本実施形態では鋼材１００）の位置の時間変化を示す情報は、各物体撮影用画像（各フレーム画像）における物体の位置を追跡することにより得られる。物体のどの部位の位置を追跡するのかは予め設定されても良い（物体の位置は、物体の所定の部位の位置であっても良い）し、算出部２６０が自動的に設定しても良い。例えば、算出部２６０は、物体撮影用画像において平坦な状態から乖離している物体の部位を特定し、特定した部位の位置の時間変化を示す情報を算出しても良い。物体の位置は、先端部の位置でも良いし、後端部の位置でも良いし、中間部の位置でも良い。
【0083】
本実施形態では、物体の位置の時間変化を示す情報が、鋼材１００の先端部１００ａの位置の時間変化を示す情報である場合を例示する。以下の説明では、鋼材１００の先端部１００ａの位置の時間変化を示す情報を、必要に応じて、鋼材先端部の軌跡と称する。
【0084】
図７は、鋼材先端部の軌跡の算出方法の一例を説明する図である。図８は、鋼材先端部の軌跡の一例を示す図である。
図７において、物体撮影用画像７００ａ、７００ｂ、７００ｃは、時刻ｔａ、ｔｂ、ｔｃにおける物体撮影用画像である。時刻ｔｂは時刻ｔｂよりも後の時刻であり、時刻ｔｃは時刻ｔｂよりも後の時刻であるものとする（すなわち、ｔａ＜ｔｂ＜ｔｃであるものとする）。なお、物体撮影用画像７００ａ、７００ｂ、７００ｃの間に示す「・・・」は、物体撮影用画像７００ａ、７００ｂ、７００ｃの間にも物体撮影用画像が撮影されていることを表す。
図７において、物体撮影用画像７００ａ、７００ｂ、７００ｃは、時刻ｔａ、ｔｂ、ｔｃにおける物体撮影用画像である。時刻ｔｂは時刻ｔｂよりも後の時刻であり、時刻ｔｃは時刻ｔｂよりも後の時刻であるものとする（すなわち、ｔａ＜ｔｂ＜ｔｃであるものとする）。なお、物体撮影用画像７００ａ、７００ｂ、７００ｃの間に示す「・・・」は、物体撮影用画像７００ａ、７００ｂ、７００ｃの間にも物体撮影用画像が撮影されていることを表す。
【0085】
算出部２６０は、鋼材１００の先端部１００ａの位置（の代表値）を、各物体撮影用画像７００ａ～７００ｃのそれぞれにおいて算出し、算出したそれぞれの位置を示す情報を鋼材先端部の軌跡８１０として算出する。本実施形態では、学習済みモデルが、ＹＯＬＯ ｖ５である場合を例示する。そこで、算出部２６０は、例えば、バウンディングボックス７１０ａ、７１０ｂ、７１０ｃの４つの頂点のうち、鋼材１００の搬送方向の下流側（Ｘ軸の正の方向側）、且つ、上側（Ｚ軸の正の方向側）の頂点７２０ａ、７２０ｂ、７２０ｃの画素を特定する。そして、算出部２６０は、特定した頂点７２０ａ、７２０ｂ、７２０ｃの位置を示す情報として、例えば、特定した頂点７２０ａ、７２０ｂ、７２０ｃのうち時間的に相互に隣接する２つの頂点を結ぶ線を、鋼材先端部の軌跡８１０として算出しても良い。また、画像の垂直方向における鋼材１００の先端部１００ａの位置（Ｚ座標）を時間の関数とし、頂点７２０ａ、７２０ｂ、７２０ｃの位置と時刻ｔａ、ｔｂ、ｔｃと、に基づいて、最小二乗法等により、当該関数の係数および定数（切片）を算出し、当該係数および定数を有する関数を、鋼材先端部の軌跡８１０として算出しても良い。また、図８に示すように、算出部２６０は、蓄積部２５０に蓄積されている物体撮影用画像（例えば、最後に蓄積された物体撮影用画像）８００に、鋼材先端部の軌跡８１０が重畳表示される画像データを生成しても良い。
【0086】
なお、ＹＯＬＯ ｖ５においては、検出した物体の検出の信頼性を示す信頼度スコアが検出した物体（バウンディングボックス）ごとに算出される。算出部２６０は、信頼度スコアが閾値を上回るバウンディングボックスについて、物体の長手方向に沿った形状を定量化して表す情報と、物体の位置の時間変化を示す情報と、のうちの少なくとも一方を算出し、そうでないバウンディングボックスについては、物体の長手方向に沿った形状を定量化して表す情報と、物体の位置の時間変化を示す情報と、のうちの少なくとも一方を算出しなくても良い。
【0087】
図９は、鋼材１００の反りに応じて鋼材先端部の軌跡が変わることを説明する図である。
図９（ａ）は、鋼材１００が上反りである場合の鋼材先端部の軌跡９００ａの一例を示す図である。図９（ｂ）は、鋼材１００が下反りまたは鎌形の反りである場合の鋼材先端部の軌跡９００ｂの一例を示す図である。図９（ａ）に示すように、鋼材１００が上反りである場合、鋼材先端部の軌跡９００ａ（鋼材１００の先端部１００ａの高さ位置）は、時間ｔが経過しても大きく変化しない（鋼材１００は大きく上下動せずに搬送される）。これに対し、図９（ｂ）に示すように、鋼材１００が下反りまたは鎌形の反りである場合、鋼材先端部の軌跡９００ｂ（鋼材１００の先端部１００ａの高さ位置）は、時間ｔの経過に伴い上下に大きく変化する（鋼材１００は大きく上下動しながら搬送される）。これは、鋼材１００が下反りまたは鎌形の反りである場合、鋼材１００の先端部１００ａが搬送テーブル１２０ａ～１２０ｆに対して接触することにより鋼材１００が弾みながら搬送されることに対応する。したがって、鋼材先端部の軌跡９００ａ、９００ｂを参照することで、鋼材１００の反りの形態を推定することができる。鋼材先端部の軌跡９００ｂ（例えば、最大値と最小値との差）に基づいて、当該反りの程度を推定することができる。
このように、物体形状情報（物体の形状に関する情報）は、物体の形状を評価することができる情報であれば良く、物体の形状の推定に資する情報でも良い。
図９（ａ）は、鋼材１００が上反りである場合の鋼材先端部の軌跡９００ａの一例を示す図である。図９（ｂ）は、鋼材１００が下反りまたは鎌形の反りである場合の鋼材先端部の軌跡９００ｂの一例を示す図である。図９（ａ）に示すように、鋼材１００が上反りである場合、鋼材先端部の軌跡９００ａ（鋼材１００の先端部１００ａの高さ位置）は、時間ｔが経過しても大きく変化しない（鋼材１００は大きく上下動せずに搬送される）。これに対し、図９（ｂ）に示すように、鋼材１００が下反りまたは鎌形の反りである場合、鋼材先端部の軌跡９００ｂ（鋼材１００の先端部１００ａの高さ位置）は、時間ｔの経過に伴い上下に大きく変化する（鋼材１００は大きく上下動しながら搬送される）。これは、鋼材１００が下反りまたは鎌形の反りである場合、鋼材１００の先端部１００ａが搬送テーブル１２０ａ～１２０ｆに対して接触することにより鋼材１００が弾みながら搬送されることに対応する。したがって、鋼材先端部の軌跡９００ａ、９００ｂを参照することで、鋼材１００の反りの形態を推定することができる。鋼材先端部の軌跡９００ｂ（例えば、最大値と最小値との差）に基づいて、当該反りの程度を推定することができる。
このように、物体形状情報（物体の形状に関する情報）は、物体の形状を評価することができる情報であれば良く、物体の形状の推定に資する情報でも良い。
【0088】
＜出力部２７０＞
出力部２７０は、算出部２６０で算出された物体形状情報を出力する。また、出力部２７０は、蓄積部２５０により蓄積された物体撮影用画像のうちの少なくとも１つ（少なくとも１つのフレーム画像）を出力しても良い。出力部２７０による情報の出力先は、操業管理装置であっても良い。この場合、操業管理装置は、例えば、処理装置２００に送信した鋼材１００の識別情報（鋼材Ｎｏ．）と、処理装置２００（出力部２７０）から受信した物体形状情報および物体撮影用画像と、を相互に関連付けて記憶しても良い。例えば、鋼材１００の識別情報（鋼材Ｎｏ．）の送信時刻と、物体形状情報および物体撮影用画像の受信時刻と、に基づいて、鋼材１００の識別情報（鋼材Ｎｏ．）に対して関連付ける物体形状情報および物体撮影用画像を特定しても良い。また、このような関連付けは処理装置２００で行われても良い。また、出力部２７０による情報の出力形態は、コンピュータディスプレイへの表示であっても良いし、処理装置２００の内部または外部の記憶媒体への記憶であっても良いし、操業管理装置以外の外部の情報処理装置への送信であっても良い。
出力部２７０は、算出部２６０で算出された物体形状情報を出力する。また、出力部２７０は、蓄積部２５０により蓄積された物体撮影用画像のうちの少なくとも１つ（少なくとも１つのフレーム画像）を出力しても良い。出力部２７０による情報の出力先は、操業管理装置であっても良い。この場合、操業管理装置は、例えば、処理装置２００に送信した鋼材１００の識別情報（鋼材Ｎｏ．）と、処理装置２００（出力部２７０）から受信した物体形状情報および物体撮影用画像と、を相互に関連付けて記憶しても良い。例えば、鋼材１００の識別情報（鋼材Ｎｏ．）の送信時刻と、物体形状情報および物体撮影用画像の受信時刻と、に基づいて、鋼材１００の識別情報（鋼材Ｎｏ．）に対して関連付ける物体形状情報および物体撮影用画像を特定しても良い。また、このような関連付けは処理装置２００で行われても良い。また、出力部２７０による情報の出力形態は、コンピュータディスプレイへの表示であっても良いし、処理装置２００の内部または外部の記憶媒体への記憶であっても良いし、操業管理装置以外の外部の情報処理装置への送信であっても良い。
【0089】
［フローチャート］
次に、図１０Ａ～図１０Ｂのフローチャートを参照しながら、本実施形態の処理装置２００を用いた処理方法の一例を説明する。なお、ここでは説明を簡単にするために、図１０Ａ～図１０Ｂのフローチャートにおいて明示する情報の他、処理装置２００が物体形状情報を算出するために事前に取得しておく必要がある情報は、図１０Ａまたは図１０Ｂのフローチャートによる処理が開始する前に取得部２１０が取得しているものとする。
次に、図１０Ａ～図１０Ｂのフローチャートを参照しながら、本実施形態の処理装置２００を用いた処理方法の一例を説明する。なお、ここでは説明を簡単にするために、図１０Ａ～図１０Ｂのフローチャートにおいて明示する情報の他、処理装置２００が物体形状情報を算出するために事前に取得しておく必要がある情報は、図１０Ａまたは図１０Ｂのフローチャートによる処理が開始する前に取得部２１０が取得しているものとする。
【0090】
図１０ＡのステップＳ１００１において、取得部２１０は、物体撮影用画像３００ａ～３００ｂを取得する。物体撮影用画像３００ａ～３００ｂは、撮影装置１４０の撮影領域を搬送中の物体があるか否か（本実施形態では、撮影装置１４０で撮影された画像に物体が含まれているか否か）を判定するために用いられる。なお、ここでは、ステップＳ１００１において１枚の物体撮影用画像（フレーム画像）が取得される場合を例示する。ステップＳ１００１～Ｓ１００４の処理の繰り返しの周期は、例えば、撮影装置１４０におけるフレームレートの逆数と同じ時間である。なお、ステップＳ１００１において取得される物体撮影用画像（フレーム画像）は１枚に限定されない。例えば、ステップＳ１００１～Ｓ１００４の処理は、複数枚の物体撮影用画像に対する並列処理であっても良い。
【0091】
次に、ステップＳ１００２において、画像処理部２２０は、物体撮影用画像３００ａ～３００ｂに対して画像処理を行う。本実施形態では、ステップＳ１００２の画像処理の結果として、上流側エリア４１０におけるブロブ面積と、下流側エリア４２０におけるブロブ面積と、が得られる場合を例示する（図４を参照）。ステップＳ１００２の詳細については図１０Ｂを参照しながら後述する。
【0092】
次に、ステップＳ１００３において、物体有無判定部２３０は、撮影装置１４０の撮影領域を搬送中の物体があるか否かを判定する。本実施形態では、上流側エリア４１０におけるブロブ面積が上流側エリア４１０に対して定められた所定範囲内であり、且つ、下流側エリア４２０におけるブロブ面積が下流側エリア４２０に対して定められた所定範囲内である場合に、撮影装置１４０の撮影領域を搬送中の物体があると判定し、そうでない場合に、撮影装置１４０の撮影領域を搬送中の物体がないと判定する場合を例示する。
【0093】
ステップＳ１００３の判定の結果、撮影装置１４０の撮影領域を搬送中の物体がない場合（ステップＳ１００３でＮＯの場合）、ステップＳ１００１の処理が再び行われる。一方、ステップＳ１００３の判定の結果、撮影装置１４０の撮影領域を搬送中の物体がある場合（ステップＳ１００３でＹＥＳの場合）、ステップＳ１００４の処理が行われる。
【0094】
ステップＳ１００４において、算出開始条件判定部２４０は、物体形状情報の算出開始条件が成立しているか否かを判定する。本実施形態では、取得部２１０により物体識別情報（鋼材Ｎｏ．）が（新たに）取得され、且つ、当該物体識別情報（鋼材Ｎｏ．）が取得されてから一定時間が経過した場合に、算出開始条件が成立していると判定される場合を例示する。
【0095】
ステップＳ１００４の判定の結果、物体形状情報の算出開始条件が成立していない場合（ステップＳ１００４でＮＯの場合）、ステップＳ１００１の処理が再び行われる。一方、ステップＳ１００４の判定の結果、物体形状情報の算出開始条件が成立している場合（ステップＳ１００３でＹＥＳの場合）、ステップＳ１００５の処理が行われる。
【0096】
ステップＳ１００５において、蓄積部２５０は、ステップＳ１００４において物体形状情報の算出開始条件が成立したと判定されたタイミング以降のタイミングにおいて取得部２１０により取得された物体撮影用画像６００を蓄積する。物体撮影用画像６００は、物体形状情報を算出するために用いられる。
【0097】
次に、ステップＳ１００６において、蓄積部２５０は、予め定められている蓄積時間分の物体撮影用画像６００を蓄積したか否かを判定する。例えば、蓄積部２５０は、ステップＳ１００４において物体形状情報の算出開始条件が成立したと判定されたタイミングから計数される時間が、予め定められている蓄積時間以上の時間であるか否かを判定する。この判定の結果、蓄積時間分の物体撮影用画像６００を蓄積していない場合（ステップＳ１００６でＮＯの場合）、ステップＳ１００５の処理が再び行われる。
【0098】
一方、蓄積時間分の物体撮影用画像６００を蓄積した場合（ステップＳ１００６でＹＥＳの場合）、ステップＳ１００７の処理が行われる。ステップＳ１００７において、算出部２６０は、ステップＳ１００５で蓄積された物体撮影用画像６００に基づいて、物体形状情報を算出する。本実施形態では、算出部２６０が、物体形状情報として、鋼材１００の上反り量Δｙと、鋼材先端部の軌跡８１０と、を算出する場合を例示する（図６、図８を参照）。なお、鋼材１００の上反り量Δｙは、例えば、１枚の物体撮影用画像６００（１枚のフレーム画像）ごとに算出される。
【0099】
次に、ステップＳ１００８において、出力部２７０は、ステップＳ１００７で算出された物体形状情報を出力する。ステップＳ１００８の処理が終了すると、図１０Ａのフローチャートによる処理は終了する。
【0100】
【0101】
まず、ステップＳ１０２１において、画像処理部２２０は、図１０ＡのステップＳ１００１で取得された（１枚の）物体撮影用画像と、背景画像と、をそれぞれグレースケール画像に変換する。なお、ここでは背景画像が、図１０Ｂのフローチャートが開始する前に取得部２１０により取得されている場合を例示する。
【0102】
次に、ステップＳ１０２２において、画像処理部２２０は、ステップＳ１０２１でグレースケール化された物体撮影用画像および背景画像の差分画像を作成する。
次に、ステップＳ１０２３において、画像処理部２２０は、ステップＳ１０２２で作成された背景画像を平滑化する。
次に、ステップＳ１０２３において、画像処理部２２０は、ステップＳ１０２２で作成された背景画像を平滑化する。
【0103】
次に、ステップＳ１０２４において、画像処理部２２０は、平滑化後の差分画像の各画素値を２値化した２値化画像を作成する。
次に、ステップＳ１０２５において、画像処理部２２０は、２値化画像に含まれるノイズを低減するノイズ低減処理を行う。
次に、ステップＳ１０２５において、画像処理部２２０は、２値化画像に含まれるノイズを低減するノイズ低減処理を行う。
【0104】
次に、ステップＳ１０２６において、画像処理部２２０は、ノイズが低減された２値化画像４００の上流側エリア４１０を抽出する（図４を参照）。
次に、ステップＳ１０２７において、画像処理部２２０は、上流側エリア４１０におけるブロブ面積を算出する。
次に、ステップＳ１０２７において、画像処理部２２０は、上流側エリア４１０におけるブロブ面積を算出する。
【0105】
次に、ステップＳ１０２８において、画像処理部２２０は、ノイズが低減された２値化画像４００の下流側エリア４２０を抽出する（図４を参照）。
次に、ステップＳ１０２９において、画像処理部２２０は、下流側エリア４２０におけるブロブ面積を算出する。ステップＳ１０２９の処理が終了すると、図１０Ｂのフローチャートによる処理は終了する。そして、図１０ＡのステップＳ１００３の処理が行われる。
次に、ステップＳ１０２９において、画像処理部２２０は、下流側エリア４２０におけるブロブ面積を算出する。ステップＳ１０２９の処理が終了すると、図１０Ｂのフローチャートによる処理は終了する。そして、図１０ＡのステップＳ１００３の処理が行われる。
【0106】
［まとめ］
以上のように本実施形態では、処理装置２００は、撮影装置１４０の撮影領域を搬送中の鋼材１００があると判定した場合に、当該判定したタイミング以降のタイミングで撮影された物体撮影用画像に基づいて、撮影装置１４０の撮影領域を撮影した画像と物体形状情報との関係性を学習した学習済みモデルを用いて、鋼材１００の形状に関する情報である物体形状情報を算出する。したがって、鋼材１００が含まれていない物体撮影用画像に基づいて、学習済みモデルを用いた物体形状情報の算出が行われることを抑制することができる。したがって、学習済みモデルを用いることによる物体形状情報の算出の高精度化と、学習済みモデルを用いることによる物体形状情報の算出の時間遅れの抑制と、を両立させることができる。
以上のように本実施形態では、処理装置２００は、撮影装置１４０の撮影領域を搬送中の鋼材１００があると判定した場合に、当該判定したタイミング以降のタイミングで撮影された物体撮影用画像に基づいて、撮影装置１４０の撮影領域を撮影した画像と物体形状情報との関係性を学習した学習済みモデルを用いて、鋼材１００の形状に関する情報である物体形状情報を算出する。したがって、鋼材１００が含まれていない物体撮影用画像に基づいて、学習済みモデルを用いた物体形状情報の算出が行われることを抑制することができる。したがって、学習済みモデルを用いることによる物体形状情報の算出の高精度化と、学習済みモデルを用いることによる物体形状情報の算出の時間遅れの抑制と、を両立させることができる。
【0107】
また、本実施形態では、処理装置２００は、物体撮影用画像３００ａ、３００ｂに鋼材１００が含まれているか否かにより、撮影装置１４０の撮影領域を搬送中の鋼材１００があるか否かを判定する。したがって、撮影装置１４０の撮影領域を搬送中の鋼材１００があるか否かを、短周期（例えば撮影装置１４０のフレームレートの周期）、且つ、高精度に判定することができる。
【0108】
また、本実施形態では、処理装置２００は、物体撮影用画像３００ａ、３００ｂに対する画像処理の結果に基づいて、物体撮影用画像３００ａ、３００ｂに鋼材１００が含まれているか否かを判定する。したがって、物体撮影用画像３００ａ、３００ｂにおいて鋼材１００の領域とその他の領域との差を明確にすることができる。よって、撮影装置１４０の撮影領域を搬送中の鋼材１００があるか否かを、より高精度に判定することができる。
【0109】
また、本実施形態では、処理装置２００は、物体撮影用画像（２値化画像４００）を分割した複数の領域（例えば、上流側エリア４１０および下流側エリア４２０）ごとに画像処理を行い、当該複数の領域ごとの画像処理の結果に基づいて、物体撮影用画像（２値化画像４００）に鋼材１００が含まれているか否かを判定する。したがって、物体撮影用画像（２値化画像４００）に鋼材１００が含まれているか否かの判定精度が、鋼材１００の周囲の環境等によって低下することを複雑な処理を行うことなく抑制することができる。
【0110】
また、本実施形態では、処理装置２００は、物体形状情報の算出開始条件が成立した場合に、物体形状情報を算出する。したがって、物体形状情報が不適切なタイミングで算出されることを抑制することができる。例えば、物体形状情報の算出対象の鋼材１００の１つ前に搬送される鋼材１００が撮影装置１４０の撮影領域よりも下流側に搬送されていると見なせる条件を、物体形状情報の算出開始条件に含めることにより、物体識別情報（鋼材Ｎｏ．）で識別される鋼材１００の１つ前に搬送された鋼材１００の物体撮影用画像に基づいて算出した物体形状情報が、当該物体識別情報（鋼材Ｎｏ．）で識別される鋼材１００の物体形状情報として扱われることを抑制することができる。
【0111】
（その他の実施形態）
なお、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。また、本発明の実施形態は、ＰＬＣ（Programmable Logic Controller）により実現されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用のハードウェアにより実現されてもよい。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
なお、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。また、本発明の実施形態は、ＰＬＣ（Programmable Logic Controller）により実現されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用のハードウェアにより実現されてもよい。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0112】
なお、以上の実施形態の開示は、例えば以下のようになる。
［開示１］
物体の搬送路を含む領域であって、前記物体の側面の少なくとも一部を撮影可能な領域を撮影領域として撮影された画像を取得する取得部と、
前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定部と、
前記物体有無判定部により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出部と、
を備え、
前記算出部は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する、処理装置。
［開示２］
前記物体有無判定部は、前記画像に前記物体が含まれているか否かにより、前記撮影領域を搬送中の前記物体があるか否かを判定する、開示１に記載の処理装置。
［開示３］
前記画像に対する画像処理を行う画像処理部をさらに備え、
前記物体有無判定部は、前記画像処理の結果に基づいて、前記画像に前記物体が含まれているか否かを判定する、開示２に記載の処理装置。
［開示４］
前記画像処理部は、前記画像を分割した複数の領域ごとに前記画像処理を行い、
前記物体有無判定部は、前記複数の領域ごとの前記画像処理の結果に基づいて、前記画像に前記物体が含まれているか否かを判定する、開示３に記載の処理装置。
［開示５］
前記複数の領域は、前記物体の搬送方向における上流側の領域および下流側の領域を含む、開示４に記載の処理装置。
［開示６］
前記物体形状情報の算出開始条件が成立したか否かを判定する算出開始条件判定部をさらに備え、
前記算出部は、前記算出開始条件判定部により前記算出開始条件が成立したと判定された場合に、前記物体形状情報を算出する、開示１～５のいずれか１項に記載の処理装置。
［開示７］
前記算出開始条件は、前記物体形状情報の算出対象の前記物体の１つ前に搬送される前記物体が前記撮影領域よりも下流側に搬送されていると見なせる条件を含む、開示６に記載の処理装置。
［開示８］
前記物体形状情報は、前記物体の長手方向に沿った形状を表す情報と、前記物体の位置の時間変化を示す情報と、のうちの少なくとも一方を含む、開示１～７のいずれか１項に記載の処理装置。
［開示９］
前記撮影領域は、前記物体の側面の端部のうち、前記物体の搬送方向の下流側における端部を撮影可能な領域である、開示１～８のいずれか１項に記載の処理装置。
［開示１０］
物体の搬送路を含む領域であって、前記物体の側面の少なくとも一部を撮影可能な領域を撮影領域として撮影された画像を取得する取得工程と、
前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定工程と、
前記物体有無判定工程により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出工程と、
を備え、
前記算出工程は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する、処理方法。
［開示１１］
開示１～９のいずれか１項に記載の処理装置の各部としてコンピュータを機能させるためのプログラム。
［開示１］
物体の搬送路を含む領域であって、前記物体の側面の少なくとも一部を撮影可能な領域を撮影領域として撮影された画像を取得する取得部と、
前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定部と、
前記物体有無判定部により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出部と、
を備え、
前記算出部は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する、処理装置。
［開示２］
前記物体有無判定部は、前記画像に前記物体が含まれているか否かにより、前記撮影領域を搬送中の前記物体があるか否かを判定する、開示１に記載の処理装置。
［開示３］
前記画像に対する画像処理を行う画像処理部をさらに備え、
前記物体有無判定部は、前記画像処理の結果に基づいて、前記画像に前記物体が含まれているか否かを判定する、開示２に記載の処理装置。
［開示４］
前記画像処理部は、前記画像を分割した複数の領域ごとに前記画像処理を行い、
前記物体有無判定部は、前記複数の領域ごとの前記画像処理の結果に基づいて、前記画像に前記物体が含まれているか否かを判定する、開示３に記載の処理装置。
［開示５］
前記複数の領域は、前記物体の搬送方向における上流側の領域および下流側の領域を含む、開示４に記載の処理装置。
［開示６］
前記物体形状情報の算出開始条件が成立したか否かを判定する算出開始条件判定部をさらに備え、
前記算出部は、前記算出開始条件判定部により前記算出開始条件が成立したと判定された場合に、前記物体形状情報を算出する、開示１～５のいずれか１項に記載の処理装置。
［開示７］
前記算出開始条件は、前記物体形状情報の算出対象の前記物体の１つ前に搬送される前記物体が前記撮影領域よりも下流側に搬送されていると見なせる条件を含む、開示６に記載の処理装置。
［開示８］
前記物体形状情報は、前記物体の長手方向に沿った形状を表す情報と、前記物体の位置の時間変化を示す情報と、のうちの少なくとも一方を含む、開示１～７のいずれか１項に記載の処理装置。
［開示９］
前記撮影領域は、前記物体の側面の端部のうち、前記物体の搬送方向の下流側における端部を撮影可能な領域である、開示１～８のいずれか１項に記載の処理装置。
［開示１０］
物体の搬送路を含む領域であって、前記物体の側面の少なくとも一部を撮影可能な領域を撮影領域として撮影された画像を取得する取得工程と、
前記撮影領域を搬送中の前記物体があるか否かを判定する物体有無判定工程と、
前記物体有無判定工程により前記撮影領域に前記物体があると判定されたタイミング以降のタイミングにおいて撮影された前記画像に基づいて、前記物体の形状に関する情報である物体形状情報を算出する算出工程と、
を備え、
前記算出工程は、前記撮影領域を撮影した画像と前記物体形状情報との関係性を学習した学習済みモデルを用いて、前記物体形状情報を算出する、処理方法。
［開示１１］
開示１～９のいずれか１項に記載の処理装置の各部としてコンピュータを機能させるためのプログラム。
【符号の説明】
【0113】
１００ 鋼材
１００ａ 先端部
１００ｂ 後端部
１００ｃ～１００ｄ 側面
１１０ 圧延機
１１０ａ～１１０ｂ ワークロール
１２０ａ～１２０ｆ 搬送テーブル
１３０ 搬送路
１４０ 撮影装置
１５０ センサ
２００ 処理装置
２１０ 取得部
２２０ 画像処理部
２３０ 物体有無判定部
２４０ 算出開始条件判定部
２５０ 蓄積部
２６０ 算出部
２７０ 出力部
３００ａ～３００ｂ 物体撮影用画像
４００ ２値化画像
４１０ 上流側エリア
４２０ 下流側エリア
６００ 物体撮影用画像
６１０ 基準線
６２０ バウンディングボックス
６３０ バウンディングボックスの頂点
７００ａ～７００ｃ 物体撮影用画像
７１０ａ～７１０ｃ バウンディングボックス
７２０ａ～７２０ｃ バウンディングボックスの頂点
８００ 物体撮影用画像
８１０ 鋼材先端部の軌跡
９００ａ～９００ｂ 鋼材先端部の軌跡
ｔ１～ｔ７ 物体撮影用画像の撮影時刻（取得時刻）
Δｔ１ 画像処理部の１画像当たりの処理時間
Δｔ２ 算出部の１画像当たりの処理時間
Δｙ 鋼材の上反り量
１００ａ 先端部
１００ｂ 後端部
１００ｃ～１００ｄ 側面
１１０ 圧延機
１１０ａ～１１０ｂ ワークロール
１２０ａ～１２０ｆ 搬送テーブル
１３０ 搬送路
１４０ 撮影装置
１５０ センサ
２００ 処理装置
２１０ 取得部
２２０ 画像処理部
２３０ 物体有無判定部
２４０ 算出開始条件判定部
２５０ 蓄積部
２６０ 算出部
２７０ 出力部
３００ａ～３００ｂ 物体撮影用画像
４００ ２値化画像
４１０ 上流側エリア
４２０ 下流側エリア
６００ 物体撮影用画像
６１０ 基準線
６２０ バウンディングボックス
６３０ バウンディングボックスの頂点
７００ａ～７００ｃ 物体撮影用画像
７１０ａ～７１０ｃ バウンディングボックス
７２０ａ～７２０ｃ バウンディングボックスの頂点
８００ 物体撮影用画像
８１０ 鋼材先端部の軌跡
９００ａ～９００ｂ 鋼材先端部の軌跡
ｔ１～ｔ７ 物体撮影用画像の撮影時刻（取得時刻）
Δｔ１ 画像処理部の１画像当たりの処理時間
Δｔ２ 算出部の１画像当たりの処理時間
Δｙ 鋼材の上反り量
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】