特開 2024-99486 鋼材の疵検出装置及び、鋼材の疵検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024099486

(43)【公開日】2024-07-25

(54)【発明の名称】鋼材の疵検出装置及び、鋼材の疵検出方法

(51)【国際特許分類】

   G01N 21/892 20060101AFI20240718BHJP

   G06T 7/00 20170101ALI20240718BHJP

   G01N 21/89 20060101ALI20240718BHJP

【ＦＩ】

G01N21/892 B

G06T7/00 610B

G06T7/00 350B

G01N21/89 T

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023219094

(22)【出願日】2023-12-26

(31)【優先権主張番号】P 2023003000

(32)【優先日】2023-01-12

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000001258

【氏名又は名称】ＪＦＥスチール株式会社

(74)【代理人】

【識別番号】100184859

【弁理士】

【氏名又は名称】磯村 哲朗

(74)【代理人】

【識別番号】100123386

【弁理士】

【氏名又は名称】熊坂 晃

(74)【代理人】

【識別番号】100196667

【弁理士】

【氏名又は名称】坂井 哲也

(74)【代理人】

【識別番号】100130834

【弁理士】

【氏名又は名称】森 和弘

(72)【発明者】

【氏名】飯尾 秀一郎

(72)【発明者】

【氏名】剱持 光俊

(72)【発明者】

【氏名】石山 和誉

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA37

2G051AB02

2G051CA04

2G051CA06

2G051DA06

2G051EB05

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096EA02

5L096EA05

5L096EA43

5L096FA06

5L096FA17

5L096FA59

5L096FA64

5L096FA65

5L096FA67

5L096HA11

5L096KA04

(57)【要約】

【課題】 搬送装置によって搬送された鋼材の疵の検査を容易に行うことが可能な鋼材の疵検出装置及び、鋼材の疵検出方法を提供する。
【解決手段】
搬送装置によって搬送された鋼材の疵検出装置である。鋼材の疵検出装置は、下面を有する鋼材の前記下面を臨むように設けられた撮像部と、前記撮像部が撮像した前記鋼材の前記下面を含む撮像データを取得する撮像データ取得部と、前記撮像データに基づいて、前記鋼材の前記下面の疵の検出に関する検出データを生成する検出データ生成部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

搬送装置によって搬送された鋼材の疵検出装置であって、
下面を有する鋼材の前記下面を臨むように設けられた撮像部と、
前記撮像部が撮像した前記鋼材の前記下面を含む撮像データを取得する撮像データ取得部と、
前記撮像データに基づいて、前記鋼材の前記下面の疵の検出に関する検出データを生成する検出データ生成部と、
を有する、鋼材の疵検出装置。

【請求項2】

前記鋼材の疵の基準となる基準データを取得する基準データ取得部を有し、
前記検出データ生成部は、前記撮像データ及び、前記基準データに基づいて、前記検出データを生成する、請求項１に記載の鋼材の疵検出装置。

【請求項3】

前記基準データは、前記疵として検出される優先度が前記疵の形態に応じて設定され、
前記検出データ生成部は、前記撮像データ及び、前記基準データの一致度に応じて前記検出データを生成しかつ、優先度が高い前記基準データから順に前記一致度を求める、請求項２に記載の鋼材の疵検出装置。

【請求項4】

前記鋼材は、前記搬送装置によって一の方向に搬送され、
前記優先度は、前記一の方向に沿って形成された前記疵が、他の形態の前記疵よりも高く設定されている、請求項３に記載の鋼材の疵検出装置。

【請求項5】

前記鋼材は、複数のテーブルロールを有する搬送テーブルで搬送され、
前記優先度は、前記テーブルロールの形状に応じた形状の前記疵が、他の形態の前記疵よりも高く設定されている、請求項３に記載の鋼材の疵検出装置。

【請求項6】

前記基準データは、前記検出データの生成に用いられた前記撮像データのうち、前記鋼材の前記下面に前記疵が検出された前記撮像データを用いて生成される、請求項２に記載の鋼材の疵検出装置。

【請求項7】

前記基準データは、前記検出データの生成に用いられた前記撮像データのうち、前記鋼材の前記下面に前記疵が検出された前記撮像データを用いて生成される、請求項３に記載の鋼材の疵検出装置。

【請求項8】

前記検出データ生成部は、
前記撮像データを入力とし、前記検出データを出力する機械学習モデルを有する、請求項１に記載の鋼材の疵検出装置。

【請求項9】

前記機械学習モデルは、
前記撮像データを入力とし、前記鋼材の前記下面の画像を出力する第１機械学習モデルと、
前記鋼材の前記下面の画像を入力とし、前記検出データを出力する第２機械学習モデルと、を有する、請求項８に記載の鋼材の疵検出装置。

【請求項10】

前記機械学習モデルは、前記鋼材の前記下面が前記疵を有する画像及び、前記鋼材の前記下面が前記疵を有しないとする画像が教師データとして用いられて生成され、
前記鋼材の前記下面が前記疵を有しない前記画像の前記教師データとして、前記鋼材の前記下面の形態が含まれている画像を用いて生成される、請求項８に記載の鋼材の疵検出装置。

【請求項11】

前記第２機械学習モデルは、前記鋼材の前記下面が前記疵を有する画像及び、前記鋼材の前記下面が前記疵を有しないとする画像が教師データとして用いられて生成され、
前記鋼材の前記下面が前記疵を有しないとする前記教師データとして、前記鋼材の前記下面の形態が含まれている画像を用いて生成される、請求項９に記載の鋼材の疵検出装置。

【請求項12】

前記撮像部は、前記鋼材の形状に沿って移動する駆動部を有する、請求項１～１１のいずれかに記載の鋼材の疵検出装置。

【請求項13】

前記検出データの生成に用いられた前記撮像データのうち、前記鋼材の前記下面に前記疵が検出された前記撮像データを表示する表示部を有する、請求項１～１１のいずれかに記載の鋼材の疵検出装置。

【請求項14】

前記検出データの生成に用いられた前記撮像データのうち、前記鋼材の前記下面に前記疵が検出された前記撮像データを表示する表示部を有する、請求項１３に記載の鋼材の疵検出装置。

【請求項15】

搬送装置によって搬送された鋼材の疵検出方法であって、
下面を有する鋼材の前記下面を撮像する撮像工程と、
前記撮像工程において撮像された前記鋼材の前記下面を含む撮像データを取得する撮像データ取得工程と、
前記撮像データに基づいて、前記鋼材の前記下面の疵の検出に関する検出データを生成する検出データ生成工程と、
を有する、鋼材の疵検出方法。

【請求項16】

前記鋼材の疵の基準となる基準データを取得する基準データ取得工程を有し、
検出データ生成工程は、前記撮像データ及び、前記基準データに基づいて、前記検出データを生成する、請求項１５に記載の鋼材の疵検出方法。

【請求項17】

前記検出データ生成工程では、
前記撮像データを入力とし、前記検出データを出力する機械学習モデルを用いて前記検出データが生成される、請求項１５に記載の鋼材の疵検出方法。

【請求項18】

前記機械学習モデルは、
前記撮像データを入力とし、前記鋼材の前記下面の画像を出力する第１機械学習モデルと、
前記鋼材の前記下面の画像を入力とし、前記検出データを出力する第２機械学習モデルと、を有する、請求項１７に記載の鋼材の疵検出方法。

【請求項19】

前記機械学習モデルは、前記鋼材の前記下面が前記疵を有しないとする、前記検出データの教師データとして、前記鋼材の前記下面の形態が含まれている画像を用いて生成される、請求項１７に記載の鋼材の疵検出方法。

【請求項20】

前記第２機械学習モデルは、前記鋼材の前記下面が前記疵を有しないとする、前記検出データの教師データとして、前記鋼材の前記下面の形態が含まれている画像を用いて生成される、請求項１８に記載の鋼材の疵検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、搬送装置によって搬送された鋼材の疵を検出する鋼材の疵検出装置及び、鋼材の疵検出方法に関する。

【背景技術】

【0002】

厚鋼板等の鋼材を製造するプロセスでは、製造時に発生した表面の疵の有無を確認するために鋼材の疵を検査することが行われている。このような検査に用いる装置としては、例えば、レーザ投光器で鋼材の表面に向けてレーザ光を照射し、その反射光を受光器で受けて電圧強度信号に変換する疵検査装置が特許文献１に開示されている。特許文献１においては、当該疵検査装置が製造ライン上に設置され、当該製造ライン上の鋼材に対して疵検査が行われている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平５－３４６４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

製造ラインで疵検査が行われた鋼材は、搬送装置によって保管場所まで搬送されて保管される。鋼材が一定の品質であることを確保するためには、製造ラインで疵検査が行われてから保管場所に到着するまでの間に鋼材に新たな疵が形成されていないか確認する必要がある。

【0005】

このため、従来では保管場所に鋼材が到着すると再度鋼材に疵が形成されていないか検査することが行われている。保管場所における鋼材の疵の検査は、鋼材の下面が搬送装置と接触した状態で搬送されるため、上面については検査を容易に行えるが、下面については鋼材を反転しなければ行うことができない問題がある。

【0006】

鋼材の反転には、反転機と呼ばれる機械を用いて行われている。しかしながら、反転機まで鋼材を移動させるために多くの時間を要し鋼材の疵の検査が長くなる問題がある。したがって、商品が発注されてから納品されるまでの時間や日数である、いわゆるリードタイムも長くなる問題がある。

【0007】

また、保管場所のスペースには限りがあるため大掛かりな検査装置を設けることは困難である。このため、保管場所ではユーザの目視にて鋼材の疵を確認することが行われており、ユーザの技量に応じて検査の精度が低くなる問題がある。また、ユーザの目視による検査では、鋼材の表面性状（色味、薄い疵等）によっては疵の視認が困難となる問題がある。

【0008】

本発明は、上記問題に鑑みてなされたものであり、搬送装置によって搬送された鋼材の疵の検査を容易に行うことが可能な鋼材の疵検出装置及び、鋼材の疵検出方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、本発明は以下の特徴を有する。

【0010】

［１］
搬送装置によって搬送された鋼材の疵検出装置であって、
下面を有する鋼材の前記下面を臨むように設けられた撮像部と、
前記撮像部が撮像した前記鋼材の前記下面を含む撮像データを取得する撮像データ取得部と、
前記撮像データに基づいて、前記鋼材の前記下面の疵の検出に関する検出データを生成する検出データ生成部と、
を有する、鋼材の疵検出装置。
［２］
前記鋼材の疵の基準となる基準データを取得する基準データ取得部を有し、
前記検出データ生成部は、前記撮像データ及び、前記基準データに基づいて、前記検出データを生成する、［１］に記載の鋼材の疵検出装置。
［３］
前記基準データは、前記疵として検出される優先度が前記疵の形態に応じて設定され、
前記検出データ生成部は、前記撮像データ及び、前記基準データの一致度に応じて前記検出データを生成しかつ、優先度が高い前記基準データから順に前記一致度を求める、［２］に記載の鋼材の疵検出装置。
［４］
前記鋼材は、前記搬送装置によって一の方向に搬送され、
前記優先度は、前記一の方向に沿って形成された前記疵が、他の形態の前記疵よりも高く設定されている、［３］に記載の鋼材の疵検出装置。
［５］
前記鋼材は、複数のテーブルロールを有する搬送テーブルで搬送され、
前記優先度は、前記テーブルロールの形状に応じた形状の前記疵が、他の形態の前記疵よりも高く設定されている、［３］に記載の鋼材の疵検出装置。
［６］
前記基準データは、前記検出データの生成に用いられた前記撮像データのうち、前記鋼材の前記下面に前記疵が検出された前記撮像データを用いて生成される、［２］又は［３］に記載の鋼材の疵検出装置。
［７］
前記検出データ生成部は、
前記撮像データを入力とし、前記検出データを出力する機械学習モデルを有する、［１］に記載の鋼材の疵検出装置。
［８］
前記機械学習モデルは、
前記撮像データを入力とし、前記鋼材の前記下面の画像を出力する第１機械学習モデルと、
前記鋼材の前記下面の画像を入力とし、前記検出データを出力する第２機械学習モデルと、を有する、［７］に記載の鋼材の疵検出装置。
［９］
前記機械学習モデルは、前記鋼材の前記下面が前記疵を有する画像及び、前記鋼材の前記下面が前記疵を有しないとする画像が教師データとして用いられて生成され、
前記鋼材の前記下面が前記疵を有しない前記画像の前記教師データとして、前記鋼材の前記下面の形態が含まれている画像を用いて生成される、［７］に記載の鋼材の疵検出装置。
［１０］
前記第２機械学習モデルは、前記鋼材の前記下面が前記疵を有する画像及び、前記鋼材の前記下面が前記疵を有しないとする画像が教師データとして用いられて生成され、
前記鋼材の前記下面が前記疵を有しないとする前記教師データとして、前記鋼材の前記下面の形態が含まれている画像を用いて生成される、［８］に記載の鋼材の疵検出装置。
［１１］
前記撮像部は、前記鋼材の形状に沿って移動する駆動部を有する、［１］～［１０］のいずれかに記載の鋼材の疵検出装置。
［１２］
前記検出データの生成に用いられた前記撮像データのうち、前記鋼材の前記下面に前記疵が検出された前記撮像データを表示する表示部を有する、［１］～［１１］のいずれかに記載の鋼材の疵検出装置。
［１３］
前記検出データの生成に用いられた前記撮像データのうち、前記鋼材の前記下面に前記疵が検出された前記撮像データを表示する表示部を有する、［１２］に記載の鋼材の疵検出装置。
［１４］
搬送装置によって搬送された鋼材の疵検出方法であって、
下面を有する鋼材の前記下面を撮像する撮像工程と、
前記撮像工程において撮像された前記鋼材の前記下面を含む撮像データを取得する撮像データ取得工程と、
前記撮像データに基づいて、前記鋼材の前記下面の疵の検出に関する検出データを生成する検出データ生成工程と、
を有する、鋼材の疵検出方法。
［１５］
前記鋼材の疵の基準となる基準データを取得する基準データ取得工程を有し、
検出データ生成工程は、前記撮像データ及び、前記基準データに基づいて、前記検出データを生成する、［１４］に記載の鋼材の疵検出方法。
［１６］
前記検出データ生成工程では、
前記撮像データを入力とし、前記検出データを出力する機械学習モデルを用いて前記検出データが生成される、［１４］に記載の鋼材の疵検出方法。
［１７］
前記機械学習モデルは、
前記撮像データを入力とし、前記鋼材の前記下面の画像を出力する第１機械学習モデルと、
前記鋼材の前記下面の画像を入力とし、前記検出データを出力する第２機械学習モデルと、を有する、［１６］に記載の鋼材の疵検出方法。
［１８］
前記機械学習モデルは、前記鋼材の前記下面が前記疵を有しないとする、前記検出データの教師データとして、前記鋼材の前記下面の形態が含まれている画像を用いて生成される、［１６］に記載の鋼材の疵検出方法。
［１９］
前記第２機械学習モデルは、前記鋼材の前記下面が前記疵を有しないとする、前記検出データの教師データとして、前記鋼材の前記下面の形態が含まれている画像を用いて生成される、［１７］に記載の鋼材の疵検出方法。

【発明の効果】

【0011】

本発明の鋼材の疵検出装置によれば、鋼材の下面を臨むように設けられた撮像部によって撮像された鋼材の下面を含む撮像データに基づいて、鋼材の下面の疵の検出に関する検出データが生成される。このため、ユーザは、鋼材を反転させずに疵の検査を行うことが可能となる。したがって、鋼材の疵の検査を容易に行うことができ、鋼材の疵の検査時間の短縮を図ることができる。その結果、いわゆるリードタイムの短縮を図ることができる。また、鋼材の疵の検査がユーザの目視のみでは行われなくなるため、疵の検出精度が偏ることを抑止することができる。さらに、撮像データを用いて検出データが生成されるため、鋼材の表面性状（色味、薄い疵等）によらず疵を検出することが可能となる。

【図面の簡単な説明】

【0012】

【図1】鋼材の疵検出装置の概要を示す説明図である。

【図2】鋼材の疵検出装置の機能ブロックを示すブロック図である。

【図3】鋼材の疵検出方法の処理を示すフロー図である。

【図4】表示部に撮像データが表示される態様を示す説明図である。

【図5】図１の撮像部の構成を示す説明図である。

【図6】第２実施形態に係る鋼材の疵検出装置の機能ブロックを示すブロック図である。

【図7】第２機械学習モデルに学習させる教師データの一例を示す説明図である。

【図8】第２機械学習モデルに学習させる教師データの一例を示す説明図である。

【図9】第２機械学習モデルに学習させる教師データの一例を示す説明図である。

【図10】第２実施形態に係る鋼材の疵検出方法の処理を示すフロー図である。

【図11】実施例及び、比較例の鋼材の下面の疵検出試験に要した時間を示すグラフである。

【発明を実施するための形態】

【0013】

（第１実施形態）
以下、本発明の実施の形態を図面に基づいて説明する。図１は、鋼材の疵検出装置の概要を示している。図１に示すように、鋼材の疵検出装置１００は、搬送装置１０によって搬送された鋼材２０の疵を検出する。

【0014】

鋼材２０は、下面を有するものであれば、特には限定されない。鋼材２０としては、例えば、鋼板、形鋼、レール、棒鋼、鋼管等が挙げられる。本実施形態においては、鋼材２０として上面及び、下面を有する鋼板が用いられる例を説明する。

【0015】

搬送装置１０は、例えば、製造ラインＰＬの終端から所定の保管場所までの間に敷設される。搬送装置１０としては、いわゆるトランスファーと称される装置を用いることができる。

【0016】

搬送装置１０は、上面視が矩形状に形成された基部１１と、基部１１において一の方向Ｄ１に沿って形成された搬送駆動部１２を有する。搬送駆動部１２は、チェーン等の環状部材及び、当該環状部材と嵌合する複数の歯車（図示せず）を用いて形成され、一の方向Ｄ１において循環移動可能に設けられている。搬送駆動部１２は、基部１１の幅方向において、一の方向Ｄ１と平行にして複数敷設されている。したがって、搬送駆動部１２上に載置された鋼材２０は、搬送駆動部１２が稼働すると一の方向Ｄ１に沿って搬送される。

【0017】

搬送装置１０の終端側には、鋼材２０を上方に移動させる移動装置としてリフティングマグネット３０が設けられている。リフティングマグネット３０の下方には、撮像部４０が設けられている。言い換えれば、撮像部４０は、鋼材２０の下面を臨むように設けられている。

【0018】

尚、鋼材２０は、鋼材２０の周囲を囲むように枠状に形成された支持部を有する置台（図示せず）に載置される場合がある。このような場合、撮像部４０は、置台の支持部の下方において、鋼材２０の下面を臨むように設けられるようにしてもよい。

【0019】

撮像部４０は、例えば、静止画像を撮像データとして生成可能なカメラを用いることができる。撮像部４０は、静止画像を撮像可能なカメラに限られず、動画を撮像可能なカメラを用いてもよい。

【0020】

鋼材の疵検出装置１００は、撮像部４０によって生成された撮像データを表示する表示部５０を有する。表示部５０は、撮像データを表示することができるものであればよく、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等を用いることができる。

【0021】

鋼材の疵検出装置１００は、装置全体を制御する制御部６０を有する。制御部６０は、撮像部４０及び、表示部５０と通信可能に接続されている。

【0022】

図２は、鋼材の疵検出装置１００の機能ブロックを示している。図２に示すように、鋼材の疵検出装置１００は、撮像部４０と、表示部５０と、制御部６０と、画像データベース（以下、データベースをＤＢと記載する）７０と、を有する。撮像部４０と、表示部５０と、制御部６０と、画像ＤＢ７０と、は、伝送路８０を介して互いに通信可能に接続されている。

【0023】

画像ＤＢ７０は、特には限定されないが、ＨＤＤ（hard disk drive）、ＳＳＤ(solid state drive)等の公知の記憶手段を用いることができる。画像ＤＢ７０には、撮像部４０が撮像した撮像データが記憶されている。

【0024】

撮像データは、鋼材２０を特定可能に生成されるとよい。例えば、撮像データは、撮像部４０によって撮像された際の時刻と紐づけられているとよい。また、撮像データは、当該撮像データが生成された際の、照明器具の台数、照明器具の照度等の照明環境情報と紐づいて記録されているとよい。

【0025】

また、画像ＤＢ７０には、鋼材２０の疵の基準となる基準データが記憶されている。基準データは、疵が鋼材２０に形成された画像データである。基準データは、例えば、鋼材２０の疵が検出された撮像データを用いることができる。基準データは、鋼材２０の疵の形態ごとに設けられている。

【0026】

基準データは、基準データが生成された際の時刻と紐づけられているとよい。また、基準データは、当該基準データが生成された際の照明環境情報や撮像自体のホワイトバランスと紐づいて記録されているとよい。

【0027】

基準データは、疵の形態に応じて検出する優先度を定められているとよい。例えば、優先度は、一の方向Ｄ１に沿って形成された鋼材２０の疵が、他の形態の疵よりも高く設定されているとよい。このような疵としては、線疵が挙げられる。線疵は、例えば、トランスファーの複数の搬送駆動部１２のうちの少なくとも１の搬送駆動部１２の動作に不備がある場合に形成される。

【0028】

また、鋼材２０は、複数のテーブルロール（図示せず）を有する搬送テーブル（図示せず）で搬送され場合には、優先度は、テーブルロールの形状に応じた形状の疵が、他の形態の疵よりも高く設定されているとよい。このような疵としては、凹み疵が挙げられる。例えば、鋼材２０がテーブルロールの表面に突き当たって抉られて凸部が形成された場合、鋼材２０が搬送される際に凸部が鋼材２０の表面に押し付けられることにより凹状の凹み疵が形成される。

【0029】

制御部６０は、ＣＰＵ，ＲＯＭ，ＲＡＭを含むコンピュータである。制御部６０は、撮像部４０が撮像した鋼材２０の下面の撮像データを取得する撮像データ取得部６１と、鋼材２０の疵の基準となる基準データを取得する基準データ取得部６２と、を有する。制御部６０は、撮像データ及び、基準データに基づいて、鋼材２０の下面の疵の検出に関する検出データを生成する検出データ生成部６３と、を有する。

【0030】

撮像データ取得部６１、基準データ取得部６２及び、検出データ生成部６３は、ＲＯＭに格納されているデータ及び、プログラム（コンピュータソフトウェア）を読み取り、当該データに基づき、当該プログラムにしたがって演算処理を実行することにより実現する。

【0031】

撮像データ取得部６１は、画像ＤＢ７０に記憶されている撮像データを読み出すことにより取得する。撮像データ取得部６１は、撮像データに記録されている撮像データが撮像された時刻及び、照明環境情報を取得するとよい。

【0032】

基準データ取得部６２は、画像ＤＢ７０に記憶されている基準データを読み出すことにより取得する。具体的には、基準データ取得部６２は、撮像データに記録されている撮像データが撮像された時刻及び、照明環境情報に近い基準データを取得するとよい。

【0033】

検出データ生成部６３は、例えば、撮像データ及び、基準データから特徴点を抽出し、その類似性に応じて一致度を求め、当該一致度に応じて検出データを生成する。特徴点は、例えば、撮像データの各画素の周辺に対する変化量を基準として設定される。具体的には、特徴点としては、特定の画素の値が当該特定画素の周辺の画素の値よりも変化量が大きい画素を用いることができる。特徴点の抽出は、例えばＳＩＦＴ（Scale Invariant Feature Transform）等のアルゴリズムを用いることができる。

【0034】

検出データ生成部６３は、一致度が予め定められた基準を越えている場合、鋼材２０に疵が形成されているとする検出データを生成する。また、検出データ生成部６３は、一致度が予め定められた基準以下である場合、他の基準データについて同様の判定を行う。検出データ生成部６３は、全ての基準データについて一致度が予め定められた基準以下である場合、鋼材２０に疵が形成されていないとする検出データを生成する。

【0035】

検出データ生成部６３は、優先度が高い基準データから順に一致度を求めるとよい。このようにして優先度が高い順に一致度を判定することにより、鋼材２０の疵の検出を効率的にかつ、精度よく行うことができる。

【0036】

検出データ生成部６３は、検出データを生成する際に、疵の種類や程度も含めて生成するとよい。具体的には、検出データ生成部６３は、疵の形態（幅、長さ、面積、方向性、輪郭、輪郭の周長）や、鋼材２０における疵の位置や、疵と判定された画素の濃度（輝度）の分布等を含めて検出データを生成するとよい。検出データ生成部６３としては、例えば、画像認識ソフトを用いることができる。

【0037】

図３は、鋼材の疵検出方法のフローを示している。鋼材の疵検出方法のフローは、例えば、リフティングマグネット３０が稼動すると開始される。図３に示すように、撮像部４０は、鋼材２０の下面を撮像して撮像データを生成する（ステップＳ１１）。撮像部４０は、ステップＳ１１の撮像工程で生成した撮像データを制御部６０に送信する。

【0038】

制御部６０は、撮像データを受信すると画像ＤＢ７０に格納する。撮像データ取得部６１は、画像ＤＢ７０から撮像データを読み出して取得する（ステップＳ２１）。

【0039】

尚、ステップＳ２１の撮像データ取得ステップは、予め画像処理が行われた撮像データが取得されるとよい。画像処理の一例としては、例えば、適応的２値化処理、クロージング・オープニング処理等が挙げられる。

【0040】

適応的２値化処理は、画素ごとに定められた閾値で２値化処理を行う画像処理である。適応的２値化処理においては、例えば、閾値の設定対象となる画素の周囲の画素値の平均値を閾値として設定することができる。適応的２値化処理では、このように閾値が設定されることで、例えば、部分的に明るさが変化するような画像であっても、当該明るさの変動による影響を低減させて２値化処理をすることができる。

【0041】

すなわち、一般的な２値化処理では、１つの画像につき１つの閾値を用いて画像処理がなされる。このため、部分的に明るさが変化するような画像では、当該明るさの変動により、疵以外の領域が強調される不適切な２値化処理がなされるおそれがある。したがって、適応的２値化処理を用いることで、良好な２値化処理画像が得られ、鋼材の疵検出精度の向上を図ることが可能となる。

【0042】

クロージング・オープニング処理は、２値化処理がなされた画像に対して、膨張処理と収縮処理とが複数回なされる画像処理である。具体的には、膨張処理から収縮処理がなされる過程では、黒いノイズ等を除去することができる。また、収縮処理から膨張処理がなされる過程では、白いノイズ等を除去することができる。クロージング・オープニング処理がなされることによって、このようなノイズ等を除去することができるため、鋼材の疵検出精度の向上を図ることが可能となる。

【0043】

基準データ取得部６２は、画像ＤＢ７０から基準データを読み出して取得する（ステップＳ２２）。基準データ取得部６２は、例えば、ステップＳ２１の撮像データ取得工程で取得された撮像データの撮像時刻及び、照明環境情報に近い基準データを取得する。

【0044】

検出データ生成部６３は、ステップＳ２１の撮像データ取得工程で取得された撮像データ及び、ステップＳ２２の基準データ取得工程で取得された基準データに基づいて、検出データを生成する（ステップＳ２３）。検出データ生成部６３は、生成した検出データが鋼材２０に疵が形成されているデータであるかを判定する（ステップＳ２４）。

【0045】

ステップＳ２４の判定において、生成した検出データが鋼材２０に疵が形成されていないデータである場合（ステップＳ２４：ＮＯ）、処理を終了する。

【0046】

ステップＳ２４の判定において、生成した検出データが鋼材２０に疵が形成されているデータである場合（ステップＳ２４：ＹＥＳ）、検出データ生成部６３は、当該検出データの生成に用いられた撮像データを表示部５０に送信する。

【0047】

表示部５０は、撮像データを受信すると、そのデータを表示する（ステップＳ３１）。言い換えれば、表示部５０は、検出データの生成に用いられた撮像データのうち、鋼材２０の下面に疵が検出された撮像データを表示する。表示部５０は、例えば、表示面に確認終了ボタンを表示し、ユーザによって当該ボタンが選択されると、処理を終了する。

【0048】

このように、表示部５０に撮像データが表示されることにより、ユーザは、疵が検出された鋼材２０の撮像データを目視することができる。したがって、ユーザは当該検出の正誤を確認すればよいため、検査の負荷が大幅に軽減される。尚、ユーザによる確認結果は、基準データにフィードバックさせるとよい。このようにすることで、鋼材の疵検出装置１００の疵の検出精度を高めることができる。

【0049】

言い換えれば、基準データは、ステップＳ２３の検出データ生成工程で用いられた撮像データのうち、鋼材２０の下面に疵が検出された撮像データ、すなわちステップＳ２４の判定において、「疵があり」と判定された撮像データを用いて生成されるとよい。このように基準データが生成されることにより、基準データの信頼性を高めることができ、疵の検出精度を高めることが可能となる。

【0050】

図４は、図３のステップＳ３１の表示工程において表示部５０に撮像データが表示される態様が示されている。図４に示されているように、表示部５０においては、鋼材２０の下面を映した撮像データが表示されている。

【0051】

撮像データには、例えば、図において白の破線の円で示されている画像領域を、疵が形成されている領域として示されている。また、撮像データの下方には、疵が形成されている領域の拡大画像が表示されている。このように表示することで、ユーザは、疵が形成されている位置及び、その形態、表面性状の確認を容易に行うことが可能となる。

【0052】

また、撮像データは、照明環境によって鋼材２０の下面の映り方が異なる。図４においては、照明装置の台数を４台用いて撮像データが生成された例が示されている。図中の左側には、日中の時間帯において生成された撮像データが示され、右側には、夜間の時間帯において生成された撮像データが示されている。このように、照明環境によっては撮像データの背景の写り方が異なる。

【0053】

尚、撮像部４０は、鋼材２０の大きさや形状や、撮像部４０の視野によっては、一の位置においてはその全体を写すことができない場合がある。このような場合には、撮像部４０を複数の位置に設け、各々の撮像データを合成して１の撮像データを得るようにしてもよい。

【0054】

また、撮像部４０を鋼材２０の形状に沿って移動させることにより、複数の位置で撮像した撮像データを合成して１の撮像データを得るようにしてもよい。例えば、撮像部４０に駆動部を設けることにより撮像部４０を移動させてもよい。

【0055】

図５は、駆動部を有する撮像部４０の構成を示している。図５に示すように、撮像部４０の下方には駆動部４１が設けられている。駆動部４１は、例えば、レール９０の溝に嵌合するローラ４２を有する。したがって、駆動部４１が稼働すると、ローラ４２が回転してレール９０の敷設方向に撮像部４０が移動する。

【0056】

レール９０は、鋼材２０の形状に応じて敷設するとよい。例えば、鋼材２０が矩形の板状である場合には、鋼材２０の長手方向に沿ってレール９０を敷設するとよい。また、鋼材２０が円板状である場合には、環状にレール９０を敷設するとよい。このように、レール９０を敷設することで撮像部４０を鋼材２０の形状に沿って移動させることができる。

【0057】

尚、駆動部４１はこのような態様に限られず、例えば、複数の車輪で構成してもよい。このように駆動部４１を構成した場合には、レール９０の代わりに駆動部４１を移動させる方向に沿って壁部を設けて移動コースを形成し、撮像部４０の移動を移動コースによってガイドさせるようにしてもよい。

【0058】

以上のように本発明の鋼材の疵検出装置１００によれば、撮像部４０によって撮像された鋼材２０の下面の撮像データと、鋼材２０の疵の基準となる基準データと、に基づいて、検出データが生成される。このため、ユーザは、鋼材２０を反転させずに疵の検査を行うことが可能となる。したがって、鋼材２０の疵の検査を容易に行うことができ、鋼材２０の疵の検査時間の短縮を図ることができる。その結果、いわゆるリードタイムの短縮を図ることができる。

【0059】

具体的には、鋼材の疵検出装置１００は、従来の方法よりも半日以上も検査に要する時間を短縮することが可能となる。鋼材の疵検出装置１００によって鋼材２０の検出を行うことができるため、ユーザの力量に依らず疵の有無を確認することができる。

【0060】

また、本発明の鋼材の疵検出装置１００によれば、撮像部４０を鋼材２０の下面を臨むように設ければ、他の部材については撮像部４０と近接した位置に設けなくてもよい。このため、鋼材２０の疵検出に使用する保管場所のスペースを最小限とすることができる。さらに、鋼材２０の疵の検査がユーザの目視のみでは行われなくなるため、疵の検出精度が偏ることを抑止することができる。さらにまた、撮像データを用いて検出データが生成されるため、鋼材２０の表面性状（色味、薄い疵等）によらず疵を検出することが可能となる。具体的には、撮像データは、鋼材２０の表面性状（色味、薄い疵等）に応じて、拡大、縮小、画素値の補正等の処理を行うことができ、ユーザの目視による確認よりも精度よく疵を検出することが可能となる。尚、鋼材２０の表面性状（色味、薄い疵）に応じて撮像部４０の撮影条件（照明、絞りなど）の調整等が適宜行われるとよい。例えば、鋼材２０の色味が暗い場合には、撮影条件の絞り値（ｆ値）を低くする調整や、撮影条件の照明の光度を明るくする調整等が行われるとよい。

【0061】

尚、表示部５０による撮像データの表示は、任意に行うことができる工程である。例えば、表示部５０による撮像データの表示は、鋼材の疵検出装置１００による鋼材２０の下面の疵の検出精度が高い場合には行わないようにしてもよい。

【0062】

鋼材２０の下面の疵の検出精度が高い場合、ステップＳ２４の判定において、「疵があり」と判定された際に、表示部５０による撮像データの表示に変えて、スピーカから音声を出力してユーザに知らせるようにしてもよい。

【0063】

（第２実施形態）
上述の実施形態においては、検出データ生成部６３は、撮像データ及び、基準データに基づいて、検出データを生成する例を説明した。検出データ生成部は、このような態様に限られず、撮像データを入力とし、検出データを出力する機械学習モデルを含んで構成してもよい。尚、第１実施形態と同一の構成については、同一の符号を付して説明を省略する。

【0064】

図６は、第２実施形態に係る鋼材の疵検出装置２００の構成を示している。図６に示すように、制御部６０は、検出データ生成部６５を有する。検出データ生成部６５は、撮像データを入力とし、鋼材の下面の画像を出力する第１機械学習モデル６５ａと、鋼材の下面の画像を入力とし、検出データを出力する第２機械学習モデル６５ｂと、を有する。

【0065】

第１機械学習モデル６５ａ及び、第２機械学習モデル６５ｂは、ニューラルネットワークやディープラーニングなどの公知の機械学習モデルを挙げることができる。第１機械学習モデル６５ａ及び、第２機械学習モデル６５ｂは、例えば、記憶装置に格納されているデータセットを教師データとして機械学習される。

【0066】

第１機械学習モデル６５ａは、鋼板の下面を含有する含有画像及び、鋼材の下面を含有しない非含有画像を教師データとして用いて生成される。これらの画像が教師データとして用いられて学習されることにより、第１機械学習モデル６５ａは、鋼材の下面の形状の特徴を学習することができる。

【0067】

したがって、第１機械学習モデル６５ａは、画像において鋼材の下面の特徴に合致する領域を当該下面として認識することで、入力データの撮像データから下面を抽出した画像として出力することが可能となる。

【0068】

鋼材の下面のみを撮像した画像では、鋼材と非鋼材との境界を撮像することは困難である。すなわち、第１機械学習モデル６５ａが下面を抽出した画像を出力することで、鋼材と非鋼材との境界を含んだ状態で画像を出力することが可能となる。これにより、鋼材の端部に形成されている疵を検出することが可能となる。

【0069】

第２機械学習モデル６５ｂは、鋼材の下面が疵を有する画像及び、鋼材の下面が疵を有しないとする画像を教師データとして用いて生成される。これらの画像が教師データとして用いて学習されることにより、第２機械学習モデル６５ｂは、鋼材の下面が疵の特徴を学習することができる。

【0070】

鋼材の下面が疵を有する教師データとしては、例えば、オペレーターによる過去の検査において、任意に定められた基準を満たす疵があるものとして選定された画像が挙げられる。

【0071】

鋼材の下面が疵を有しないとする教師データとしては、例えば、オペレーターによる過去の検査において、任意に定められた基準を満たす疵がないものとして選定された画像が挙げられる。また、当該教師データとしては、当該基準を満たさないものの、目視できる程度の模様や形状が視認された画像を用いることができる。尚、疵の基準は、例えば、深さＮ（Ｎは任意の数値）ｍｍ以上、幅Ｍ（Ｍは任意の数値）ｍｍ以上等によって定めることができる。

【0072】

図７は、第２機械学習モデル６５ｂの学習に用いられる教師データの一例を示している。図７において、白い点線で囲まれた領域には、点状の模様ＰＴ１が鋼材の下面に生成している。点状の模様ＰＴ１は、任意に定められた疵の基準を満たさないものの、目視できる程度の模様や形状が視認された画像の例である。点状の模様ＰＴ１は、例えば、搬送設備との接触に起因するものや、鋼材のスケール剥離等に起因するものと考えられる。

【0073】

図８は、第２機械学習モデル６５ｂの学習に用いられる教師データの一例を示している。図８において、黒い点線で囲まれた領域には、斑状の模様ＰＴ２が鋼材の下面に生成している。斑状の模様ＰＴ２は、任意に定められた疵の基準を満たさないものの、目視できる程度の模様や形状が視認された画像の例である。斑状の模様ＰＴ２は、例えば、搬送設備との接触に起因するものや、鋼材のスケール剥離等に起因するものと考えられる。

【0074】

図９は、第２機械学習モデル６５ｂの学習に用いられる教師データの一例を示している。図９において、白い点線で囲まれた領域には、線状の形状ＰＴ３が鋼材の下面に生成している。線状の形状ＰＴ３は、任意に定められた疵の基準を満たさないものの、目視できる程度の模様や形状が視認されたものの例である。線状の形状ＰＴ３は、搬送設備との接触に起因するものや、鋼材のスケール剥離等に起因するものと考えられる。

【0075】

図１０は、第２実施形態に係る疵検出方法の処理を示している。図１０に示すように、撮像部４０は、鋼材２０の下面を撮像して撮像データを生成する（ステップＳ１１）。撮像部４０は、ステップＳ１１の撮像工程で生成した撮像データを制御部６０に送信する。

【0076】

制御部６０は、撮像データを受信すると画像ＤＢ７０に格納する。撮像データ取得部６１は、画像ＤＢ７０から撮像データを読み出して取得する（ステップＳ４１）。

【0077】

検出データ生成部６５は、ステップＳ４１の撮像データ取得工程で取得された撮像データに基づいて、検出データを生成する（ステップＳ４２）。

【0078】

具体的には、検出データ生成部６５は、第１機械学習モデル６５ａを用いて、ステップＳ４１で取得した撮像データを入力とし、鋼材の下面の画像を出力する。また、検出データ生成部６５は、第２機械学習モデル６５ｂを用いて、第１機械学習モデル６５ａから出力された鋼材の下面の画像を入力とし、検出データを出力する。

【0079】

検出データ生成部６５は、ステップＳ４２で生成された検出データが鋼材２０に疵が形成されているデータであるかを判定する（ステップＳ４３）。

【0080】

ステップＳ４３の判定において、鋼材２０に疵が形成されていないデータである場合（ステップＳ４３：ＮＯ）、処理を終了する。

【0081】

ステップＳ４３の判定において、生成した検出データが鋼材２０に疵が形成されているデータである場合（ステップＳ４３：ＹＥＳ）、検出データ生成部６５は、当該検出データの生成に用いられた撮像データを表示部５０に送信する。

【0082】

表示部５０は、撮像データを受信すると、そのデータを表示する（ステップＳ３１）。表示部５０は、例えば、表示面に確認終了ボタンを表示し、ユーザによって当該ボタンが選択されると、処理を終了する。

【0083】

尚、上述の実施形態で説明した第１機械学習モデル６５ａは、任意に用いることができる。すなわち、第１機械学習モデル６５ａを用いずに、第２機械学習モデル６５ｂのみで検出データを生成するようにしてもよい。

【0084】

（試験例１）
鋼材の下面の疵検出試験を行った。第１実施形態で説明した鋼材の疵検出装置１００を使用した例を実施例とした。また、反転機を用いて鋼材を反転させてユーザの目視により検査を行った例を比較例とした。

【0085】

図１１は、実施例及び、比較例の鋼材の下面の疵検出試験に要した時間を示している。図１１に示すように、実施例の時間は１１分であり、比較例の時間は２５１分である。このように、実施例では、比較例よりも検査時間を２４０分短縮することができる。

【0086】

（試験例２）
第２実施形態で説明した鋼材の疵検出装置２００を用いて、鋼材の下面の疵の検出率を確認した。第１機械学習モデル及び、第２機械学習モデルの生成に用いられる教師データを変えて、実施例２～４の鋼材の疵検出装置２００を作製した。

【0087】

実施例２は、鋼板の下面を含有する含有画像として、鋼材の下面のみが撮像された画像を教師データに用いて生成された第１機械学習モデル６５ａを用いた例である。

【0088】

実施例３は、鋼板の下面を含有する含有画像として、鋼材の下面を含む画像及び、非鋼材の画像を含む画像を教師データに用いて生成された第１機械学習モデル６５ａを用いた例である。

【0089】

実施例４は、鋼板の下面を含有する含有画像として、鋼材の下面を含む画像及び、非鋼材の画像を含む画像を教師データに用いて生成された第１機械学習モデル６５ａを用いた例である。

【0090】

また、実施例４は、鋼材の下面が疵を有しないとする教師データとしては、任意に定められた疵の基準を満たさないものの、目視できる程度の模様や形状が視認されたものを教師データとして用い生成された第２機械学習モデル６５ｂを用いた例である。

【0091】

実施例２～４の鋼材の疵検出装置２００で鋼材の下面を撮像した撮像データについて、疵の検出試験を行い、各々の鋼材の疵検出装置２００について疵の検出率（％）を求めた。その結果を表１に示す。尚、実施例２～４の疵の検出率（％）は、鋼材の疵検出装置２００によって検出された疵の数を、対象鋼材の仕様で定められた条件に従って疵として検出されるべき疵の数で除することによって求めた。

【0092】

また、実施例２～４では、対象鋼材の仕様で定められた条件に従って、疵には該当しない形態（以下、非疵形態とも称する）に対して、疵として検出（過検出）された割合を疵の過検出率（％）として求めた。疵の過検出率（％）は、過検出が発生した画像の数を、非疵形態を含む画像の数で除することによって求めた。

【0093】

【表1】

【0094】

検出率の改善率（％）は、実施例２の検出率（％）を基準とし、実施例３又は、実施例４の検出率（％）の当該基準に対する増加割合（％）として求めた。
また、過検出の改善率（％）は、実施例２の過検出率（％）を基準とし、実施例３又は、実施例４の過検出率（％）の当該基準に対する減少割合（％）として求めた。

【0095】

表１に示されるように、実施例３及び、４は、検出率が実施例２よりも高くなることが分かった。実施例３及び、４の第１機械学習モデルにおいては、鋼板の下面を含有する含有画像として、非鋼材の画像を含む画像をも教師データに用いたので、鋼材の下面を含む画像のみを学習データにする場合に比べてデータ数が多い。このため、実施例３及び、４においては検出精度が向上し、実施例３及び、４の検出率が実施例２よりも高くなると考えられる。

【0096】

また、実施例４は、過検出率が実施例２、３よりも低くなり、改善されることが分かった。実施例４の第２機械学習モデルは、鋼材の下面が疵を有しないとする教師データとして、任意に定められた疵の基準を満たさないものの、目視できる程度の模様や形状が視認されたものを教師データとして用い生成されている。したがって、第２機械学習モデルは、疵と模様等の形態とを区分けして認識することができるため、過検出率が改善されたものと考えられる。

【符号の説明】

【0097】

１００ 鋼材の疵検出装置
２００ 鋼材の疵検出装置
１０ 搬送装置
２０ 鋼材
４０ 撮像部
４１ 駆動部
５０表示部
６０ 制御部
６１ 撮像データ取得部
６２ 基準データ取得部
６３ 検出データ生成部
６５ 検出データ生成部
６５ａ 第１機械学習モデル
６５ｂ 第２機械学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】