IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社神戸製鋼所の特許一覧

特許7372017鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム
<>
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図1
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図2
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図3
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図4
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図5
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図6
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図7
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図8
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図9
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図10
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図11
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図12
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図13
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図14
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図15
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図16
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図17
  • 特許-鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-23
(45)【発行日】2023-10-31
(54)【発明の名称】鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20231024BHJP
   G01N 33/202 20190101ALI20231024BHJP
【FI】
G06T7/00 350C
G01N33/202
【請求項の数】 7
(21)【出願番号】P 2019119679
(22)【出願日】2019-06-27
(65)【公開番号】P2020009435
(43)【公開日】2020-01-16
【審査請求日】2021-10-26
(31)【優先権主張番号】P 2018126532
(32)【優先日】2018-07-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】100125645
【弁理士】
【氏名又は名称】是枝 洋介
(74)【代理人】
【識別番号】100145609
【弁理士】
【氏名又は名称】楠屋 宏行
(74)【代理人】
【識別番号】100149490
【弁理士】
【氏名又は名称】羽柴 拓司
(72)【発明者】
【氏名】尾崎 圭太
(72)【発明者】
【氏名】岡本 陽
【審査官】山田 辰美
(56)【参考文献】
【文献】特開2018-018153(JP,A)
【文献】特開2015-210651(JP,A)
【文献】特開2016-206909(JP,A)
【文献】特開2016-099126(JP,A)
【文献】Kaiming He, Georgia Gkioxari, Piotr Doll´ar, Ross Girshick,Mask R-CNN,2017 IEEE International Conference on Computer Vision (ICCV),米国,IEEE,2017年10月22日,p.2980-p.2988,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8237584
【文献】進藤 智則,映像から人の動作認識するディープラーニング手法 3次元CNNをFacebook社やNTTコムなどが実装,NIKKEI Robotics,第5号,日本,日経BP社,2015年11月10日,p.6-p.8
【文献】中野 智文 他,3D Convolutional Neural Networkを用いた飲用動作からの満足感推定,電子情報通信学会技術研究報告,Vol.117 No.109,日本,一般社団法人電子情報通信学会,2017年06月16日,p.33-p.38
【文献】鉄鋼材料検査通則及び試験方法,JISハンドブック▲1▼鉄鋼I(用語・検査・試験) ,第1版,日本,板倉 省吾 財団法人日本規格協会,2003年01月31日,p.508-p.523
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G01N 33/202
(57)【特許請求の範囲】
【請求項1】
鋼材を研削したときに発生する火花の画像データを取得する取得手段と、
画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する推論手段と、
を備え、
炭素量に応じてグループ分けされた複数の鋼材グループのそれぞれについて、鋼材に含まれる合金元素を教師データとして構築された複数の前記学習済みモデルから、1の鋼材グループ用の学習済みモデルを選択する選択手段をさらに備え、
前記推論手段は、前記選択された1の鋼材グループ用の学習済みモデルを用い、前記取得手段により取得された画像データから鋼材に含まれる合金元素を推定し、
画像データを入力データとし、鋼材の炭素量を教師データとして機械学習により予め構築された炭素量推定用学習済みモデルを用い、前記取得手段により取得された画像データから前記鋼材の炭素量を推定する予備推論手段をさらに備え、
前記選択手段は、前記予備推論手段により推定された鋼材の炭素量に基づいて、前記1の鋼材グループ用の学習済みモデルを選択し、
前記火花を撮影して得られる時系列の複数の画像データのそれぞれから前記学習済みモデルにより推定される複数の推定結果に基づいて、前記鋼材に含まれる合金元素を判定する判定手段をさらに備える、
鋼材成分推定装置。
【請求項2】
鋼材の鋼種情報又は成分情報の入力を受け付ける入力受付部と、
前記入力受付部に入力された情報と、請求項に記載の鋼材成分推定装置により推定された鋼材の成分とに基づいて、鋼種を判定する鋼種判定部と、
を備える、鋼種判定装置。
【請求項3】
前記鋼種情報は、鋼種規格の上位の規格情報であり、
前記鋼種判定部は、前記上位の規格情報の下位に属する鋼種を判定する、
請求項に記載の鋼種判定装置。
【請求項4】
鋼材を研削したときに発生する火花の画像データを取得し、
画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する、
鋼材成分推定方法であって、
さらに、炭素量に応じてグループ分けされた複数の鋼材グループのそれぞれについて、鋼材に含まれる合金元素を教師データとして構築された複数の前記学習済みモデルから、1の鋼材グループ用の学習済みモデルを選択し、
前記鋼材の成分の推定では、前記選択された1の鋼材グループ用の学習済みモデルを用い、前記取得された画像データから鋼材に含まれる合金元素を推定し、
さらに、画像データを入力データとし、鋼材の炭素量を教師データとして機械学習により予め構築された炭素量推定用学習済みモデルを用い、前記取得された画像データから前記鋼材の炭素量を推定し、
前記学習済みモデルの選択では、前記推定された鋼材の炭素量に基づいて、前記1の鋼材グループ用の学習済みモデルを選択し、
さらに、前記火花を撮影して得られる時系列の複数の画像データのそれぞれから前記学習済みモデルにより推定される複数の推定結果に基づいて、前記鋼材に含まれる合金元素を判定する、
鋼材成分推定方法。
【請求項5】
鋼材の鋼種情報又は成分情報の入力を受け付け、
入力された情報と、請求項に記載の鋼材成分推定方法により推定された鋼材の成分とに基づいて、鋼種を判定する、
鋼種判定方法。
【請求項6】
鋼材を研削したときに発生する火花の画像データを取得する取得手段、及び、
画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する推論手段、
としてコンピュータを機能させ、
炭素量に応じてグループ分けされた複数の鋼材グループのそれぞれについて、鋼材に含まれる合金元素を教師データとして構築された複数の前記学習済みモデルから、1の鋼材グループ用の学習済みモデルを選択する選択手段としてコンピュータをさらに機能させ、
前記推論手段は、前記選択された1の鋼材グループ用の学習済みモデルを用い、前記取得手段により取得された画像データから鋼材に含まれる合金元素を推定し、
画像データを入力データとし、鋼材の炭素量を教師データとして機械学習により予め構築された炭素量推定用学習済みモデルを用い、前記取得手段により取得された画像データから前記鋼材の炭素量を推定する予備推論手段としてコンピュータをさらに機能させ、
前記選択手段は、前記予備推論手段により推定された鋼材の炭素量に基づいて、前記1の鋼材グループ用の学習済みモデルを選択し、
前記火花を撮影して得られる時系列の複数の画像データのそれぞれから前記学習済みモデルにより推定される複数の推定結果に基づいて、前記鋼材に含まれる合金元素を判定する判定手段としてコンピュータをさらに機能させる、
プログラム。
【請求項7】
鋼材の鋼種情報又は成分情報の入力を受け付ける入力受付部、及び、
前記入力受付部に入力された情報と、請求項に記載のプログラムにより機能する推論手段により推定された鋼材の成分とに基づいて、鋼種を判定する鋼種判定部、
としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、火花画像に対して画素毎の二値化処理を行い、テンプレートマッチングにより火花の短直線数及び破裂数を算出し、「破裂密度」(=破裂数/短直線数)という評価基準により鋼材中の炭素量を判定する技術が開示されている。
【0003】
特許文献2には、火花画像を画像処理して破裂画像に変換してから、破裂画像に含まれる特徴量を抽出して分析することで鋼材中の所定の元素の含有量を検査する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-99126号公報
【文献】特開平9-145599号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に用いられるテンプレートマッチングは、撮影環境の照度変化や振動などの外乱ノイズに弱く、炭素量の判定精度が十分でないおそれがある。
【0006】
また、特許文献2に開示される技術では、火花画像に対して予め破裂に対応する特徴を抽出できるように画像変換を行う必要があるため、破裂画像には特徴の現れない合金成分を見落としてしまうおそれがある。
【0007】
本発明は、上記課題に鑑みてなされたものであり、その主な目的は、鋼材成分の推定精度を向上させることが可能な鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の一の態様の鋼材成分学習装置は、鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得する取得手段と、前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する学習手段と、を備える。
【0009】
また、本発明の他の態様の鋼材成分推定装置は、鋼材を研削したときに発生する火花の画像データを取得する取得手段と、画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する推論手段と、を備える。
【0010】
また、本発明の他の態様の鋼種判定装置は、鋼材の鋼種情報又は成分情報の入力を受け付ける入力受付部と、前記入力受付部に入力された情報と、上記鋼材成分推定装置により推定された鋼材の成分とに基づいて、鋼種を判定する鋼種判定部と、を備える。
【0011】
また、本発明の他の態様の鋼材成分学習方法は、鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得し、前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する。
【0012】
また、本発明の他の態様の鋼材成分推定方法は、鋼材を研削したときに発生する火花の画像データを取得し、画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する。
【0013】
また、本発明の他の態様の鋼種判定方法は、鋼材の鋼種情報又は成分情報の入力を受け付け、入力された情報と、上記鋼材成分推定方法により推定された鋼材の成分とに基づいて、鋼種を判定する。
【0014】
また、本発明の他の態様のプログラムは、鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得する取得手段、及び、前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する学習手段、としてコンピュータを機能させる。
【0015】
また、本発明の他の態様のプログラムは、鋼材を研削したときに発生する火花の画像データを取得する取得手段、及び、画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する推論手段、としてコンピュータを機能させる。
【0016】
また、本発明の他の態様のプログラムは、鋼材の鋼種情報又は成分情報の入力を受け付ける入力受付部、及び、前記入力受付部に入力された情報と、上記プログラムにより機能する推論手段により推定された鋼材の成分とに基づいて、鋼種を判定する鋼種判定部、としてコンピュータを機能させる。
【発明の効果】
【0017】
本発明によれば、鋼材成分の推定精度を向上させることが可能となる。
【図面の簡単な説明】
【0018】
図1】鋼材成分学習推定装置の構成例を示すブロック図である。
図2】火花画像の例を示す図である。
図3】火花画像と成分情報との対応例を示す図である。
図4】学習フェーズの手順例を示すフロー図である。
図5】学習済みモデルの構築例を説明するための図である。
図6】推論フェーズの手順例を示すフロー図である。
図7】鋼種と成分情報との対応例を示す図である。
図8】カメラの配置例を示す図である。
図9】学習済みモデルの構築例を説明するための図である。
図10】学習済みモデルの構築例を説明するための図である。
図11】3次元畳み込みフィルタを説明するための図である。
図12】マスク画像の例を示す図である。
図13】鋼材成分学習推定装置の構成例を示すブロック図である。
図14】火花画像と鋼種との対応例を示す図である。
図15】推論フェーズの手順例を示すフロー図である。
図16】合金元素の判定手法の例を説明するための図である。
図17】合金元素の判定手法の例を説明するための図である。
図18】合金元素の判定手法の例を説明するための図である。
【発明を実施するための形態】
【0019】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。
【0020】
図1は、鋼材成分学習推定装置1の構成例を示すブロック図である。鋼材成分学習推定装置1は、鋼材成分学習装置の一態様であり、鋼材成分推定装置の一態様でもあり、鋼種判定装置の一態様でもある。
【0021】
鋼材成分学習推定装置1は、CPU、RAM、ROM、不揮発性メモリ及び入出力インターフェース等を含む制御部10を備えるコンピュータである。制御部10は、取得部11、学習部13、推論部15及び鋼種判定部17を含んでいる。これらの機能部は、制御部10のCPUがROM又は不揮発性メモリからRAMにロードされたプログラムに従って情報処理を実行することによって実現される。
【0022】
プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット等の通信ネットワークを介して供給されてもよい。
【0023】
制御部10は、データベース2にアクセス可能である。データベース2は、鋼材成分学習推定装置1の内部に設けられてもよいし、外部に設けられてもよい。
【0024】
カメラ3は、鋼材SをグラインダGで研削したときに発生する火花を撮影して画像データを生成し、制御部10に出力する。カメラ3は、鋼材Sを上方から見下ろし、かつ火花を見送る方向を向くように配置され、火花全体が写るように焦点距離や被写界深度が調整される。鋼材Sを研削して火花を発生させる方法は、例えば火花試験(JIS G 0566)に定められた方法に準ずる。
【0025】
カメラ3により生成された画像データは、後述する学習部13による学習フェーズと推論部15による推論フェーズとで入力データとして利用される。以下、火花を撮影することにより生成される画像データを「火花画像」という。
【0026】
図2は、火花画像4の例を示す図である。鋼材Sを研削したときに発生する火花は、根本部、中途部、先端部における流線や破裂などの特徴(例えば形状、量、色など)が鋼材Sの成分に応じて変化する。例えば鋼材中の炭素の量が多くなると、火花は早く破裂し、流線の数が多くなる。
【0027】
カメラ3から制御部10に出力された火花画像4は、データベース2に保存される。また、図3に示すような火花画像4の識別情報と鋼材Sの成分情報とを対応付けたテーブルも、データベース2に保存される。鋼材Sの成分情報は、例えば鋼材Sに含まれる炭素量又は合金元素で表される。鋼材Sの成分情報は、後述する学習部13による学習フェーズで教師データとして利用される。
【0028】
火花画像4は、画素サイズが大きいと学習に時間が掛かるため、情報が欠落しない程度(例えば、縦300×横100画素程度)に縮小することが好ましい。また、火花画像4は、鋼材SをグラインダGに押し当てる強さや位置などの研削条件、温度や湿度などの環境条件などの条件を変えて多数用意することが好ましい。また、後述するように火花画像4に部分的にマスクを設定したマスク画像を加えてもよい。
【0029】
[学習フェーズ]
図4は、学習フェーズの手順例を示すフロー図である。制御部10は、同図に示す情報処理をプログラムに従って実行することにより、取得部11及び学習部13として機能する。
【0030】
まず、制御部10は、火花画像4及び鋼材Sの成分情報を取得する(S11、取得部11としての処理)。学習フェーズでは、火花画像4とそれに対応付けられた鋼材Sの成分情報とがデータベース2から読み出される。
【0031】
次に、制御部10は、複数用意された火花画像4及び成分情報の組から一部を機械学習用のトレーニングデータとして抽出し(S12)、抽出したトレーニングデータを用いて機械学習を実行する(S13)。機械学習は、火花画像4を入力データとし、成分情報を教師データとして行われる。これにより、火花画像4から鋼材Sの成分を推定するための学習済みモデルが構築される。
【0032】
次に、制御部10は、複数用意された火花画像4及び成分情報の組からトレーニングデータとは別の一部をテストデータとして抽出し(S14)、抽出したテストデータを用いて学習済みモデルを評価する(S15)。その後、制御部10は、評価が所定以上であった学習済みモデルをデータベース2に保存し(S16)、学習フェーズを終了する。
【0033】
図5は、学習済みモデルの構築例を説明するための図である。学習済みモデルは、畳み込みニューラルネットワークであり、畳み込みフィルタ、プーリング層、全結合層、及び出力層を含んでいる。特には、ニューロンを多段に組み合わせたディープニューラルネットワークが好適である。火花画像4が、例えば縦300×横100画素のカラー画像である場合、入力は90000要素となる。
【0034】
鋼材Sの炭素量を推定する場合には、畳み込みニューラルネットワークの出力層は1要素となる。すなわち、畳み込みニューラルネットワークを鋼材Sの炭素量の回帰に用いる。例えば、炭素鋼の一種であるSC鋼は、炭素量が0.1~0.6%程度のものがよく生産されるので、炭素量が0.1~0.6%の間の様々なSC鋼の火花画像4を用意し、学習させることで、火花画像4から炭素量を推定する学習済みモデルが構築される。
【0035】
鋼材Sに含まれる合金元素(N種類)を推定する場合には、畳み込みニューラルネットワークの出力層はN要素となる。すなわち、畳み込みニューラルネットワークを鋼材Sに含まれる合金元素の分類に用いる。例えば、合金元素を含む鋼材であるモリブデン鋼やクロム鋼の火花画像4を用意し、学習させることで、火花画像4から鋼材中に含まれるモリブデンやクロムといった合金元素を推定する学習モデル済みモデルが構築される。
【0036】
鋼材Sの炭素量の回帰を行う畳み込みニューラルネットワークと、鋼材Sの合金元素の分類を行う畳み込みニューラルネットワークとを個別に構築してもよいし、鋼材Sの炭素量の回帰と鋼材Sの合金元素の分類とを同時に行う畳み込みニューラルネットワークを構築してもよい。
【0037】
なお、図5に示す畳み込みニューラルネットワークはあくまでも一例であり、層構造はこれに限られず、畳み込み層、プーリング層、及び全結合層はそれぞれ複数あってもよい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習を用いてもよい。
【0038】
[推論フェーズ]
図6は、推論フェーズの手順例を示すフロー図である。制御部10は、同図に示す情報処理をプログラムに従って実行することにより、取得部11、推論部15及び鋼種判定部17として機能する。
【0039】
まず、制御部10は、火花画像4を取得する(S21、取得部11としての処理)。推論フェーズでは、取得部11がカメラ3から取得した火花画像4が推論部15に直接的に入力される。これに限らず、火花画像4は、データベース2に一旦保存され、データベース2から読み出されてもよい。
【0040】
次に、制御部10は、取得された火花画像4を入力データとし、学習フェーズで作成された学習済みモデルを用いて、鋼材Sの成分を推定する(S22、推論部15としての処理)。
【0041】
次に、制御部10は、推定された鋼材Sの成分に基づいて鋼材Sの鋼種を判定する(S23、鋼種判定部17としての処理)。鋼種の判定は、例えば数秒の推定結果を平均した上で行われる。データベース2には、図7に示すような鋼種と成分情報とを対応付けたテーブルが保存されており、制御部10は、推定された鋼材Sの成分に対応する鋼種をテーブルから読み出す。
【0042】
例えば、炭素鋼の一種であるSC鋼の検査をする場合においては、火花画像4から鋼材Sの炭素量を推定することで、例えばS10C、S35C等の鋼種を判定することができる。例えば、制御部10は、JIS等の鋼種規格の上位の規格情報(例えばSC鋼)の入力を受け付けて(入力受付部としての処理)、その下位に属する鋼種(例えばS10C、S35C等)を判定してもよい。
【0043】
また、鋼材の含有金属を検査する場合においては、火花画像4から鋼材Sに含まれる合金元素を推定することで、例えばモリブデン鋼、クロム鋼などの鋼種を判定することができる。例えば、制御部10は、合金元素を含む鋼材である旨の情報を成分情報として受け付けて、合金元素の推定結果から、例えばモリブデン鋼、クロム鋼などの鋼種を判定してもよい。
【0044】
また、炭素量の推定と合金元素の推定とを組み合わせることで、未知の鋼材Sであっても鋼種を判定することができる。
【0045】
以上に説明した実施形態によれば、機械学習により作成された学習済みモデルを用いて火花画像4から鋼材Sの成分を推定することで、推定精度を向上させることが可能となる。また、試験毎に取得される火花画像4及び成分情報を利用して機械学習を重ねることで、推定精度を益々向上させることが可能となる。
【0046】
また、実施形態によれば、特許文献1や特許文献2に開示された画像処理や画像変換などを行わなくても、火花画像4から鋼材Sの成分を推定することが可能となる。
【0047】
また、これまで検査員の熟練度に依存していた官能検査を、実施形態の高精度で定量的な成分推定に置き換えることが可能となる。また、実施形態によれば、研削条件や環境条件が変わっても成分推定を高精度に維持することが可能となる。
【0048】
また、実施形態によれば、短時間での異材混入検査や鋼種判定が求められる工場ラインにおいて、迅速な検査・判定が可能となる。また、実施形態によれば、蛍光X線分析では難しい鋼材の炭素量の判定が容易に実現する。
【0049】
[複数カメラ]
図8及び図9は、複数のカメラ3,31,32を用いた変形例を示す図である。本変形例では、複数のカメラ3,31,32により火花を互いに異なる複数の方向から撮影して得られる複数の火花画像4,41,42を、畳み込みニューラルネットワークの入力データとする。
【0050】
特に、鋼材Sを研削したときに発生する火花は根本部、中央部、先端部において特徴を持つことから、火花の全体を撮影して得られる火花画像4に加えて、火花の根元部、中途部又は先端部を撮影して得られる1以上の部分画像41,42を用いることで、成分推定の更なる精度向上を図ることが可能となる。
【0051】
図示の例では、カメラ3により火花の全体を撮影して得られる火花画像4に加えて、カメラ31により火花の中途部を撮影して得られる部分画像41と、カメラ32により火花の先端部を撮影して得られる部分画像42とが用いられる。部分画像41,42では、着目部分が火花画像4よりも拡大されている。
【0052】
なお、これに限らず、火花画像4を省略して、火花の根元部、中途部又は先端部を撮影して得られる2以上の部分画像41,42を用いてもよい。
【0053】
[時系列画像]
図10は、時系列の複数の火花画像4を用いた変形例を示す図である。本変形例では、カメラ3により火花を撮影して得られる時系列の複数の火花画像4を、畳み込みニューラルネットワークの入力データとする。時系列の複数の火花画像4は、例えば動画データに含まれる複数の静止画像であってもよいし、所定の時間間隔で撮影して個別に生成された複数の静止画像であってもよい。
【0054】
火花の状態は時間的に変化するため、時系列の複数の火花画像4を入力データとすることにより、1枚の火花画像4のみを入力データとする場合よりも、時間的に変化する火花の特徴が認識しやすくなり、成分推定の更なる精度向上を図ることが可能となる。
【0055】
特に、図11に示すような、火花画像4の垂直軸と水平軸の2次元に加えて、時系列の複数の火花画像4の時間軸を第3の次元とする3次元畳み込みフィルタを用いることにより、時間的に変化する火花の特徴がより認識しやすくなり、成分推定の更なる精度向上を図ることが可能となる。
【0056】
[マスク画像]
図12は、マスク画像4a~4cを用いた変形例を示す図である。本変形例では、火花画像4に部分的にマスクを設定したマスク画像4a~4cを、畳み込みニューラルネットワークの入力データに用いる火花画像4の1つとしてもよい。
【0057】
火花画像4にランダムにマスクを設定することにより、畳み込みニューラルネットワークの注目箇所を分散させることができるので、成分推定の更なる精度向上かつ汎化性能向上を図ることが可能となる。
【0058】
特に、鋼材Sを研削したときに発生する火花は根本部、中央部、先端部において特徴を持つことから、火花の根元部にマスクを設定したマスク画像4a、火花の中途部にマスクを設定したマスク画像4b、又は火花の先端部にマスクを設定したマスク画像4cを作成することで、畳み込みニューラルネットワークの注目箇所を根本部、中央部及び先端部に分散させ易くなる。
【0059】
マスク画像4a,4b又は4cのみを作成してもよいし、ランダムにマスクを設定したマスク画像を作成する際に、マスク画像4a,4b又は4cの割合を他よりも多くしてもよい。
【0060】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が当業者にとって可能であるのはもちろんである。
【0061】
上記実施形態では、鋼材成分学習推定装置1が学習フェーズに係る構成と推論フェーズに係る構成との両方を含んでいたが、これに限らず、学習フェーズに係る構成と推論フェーズに係る構成とを別個の装置で実現してもよい。
【0062】
また、上記実施形態では、火花画像4から鋼材Sの成分を推定する学習済みモデルを用い、推定された鋼材Sの成分から鋼種を判定していたが、これに限らず、火花画像4から鋼種を直接的に推定する学習済みモデルを構築してもよい。
【0063】
[他の実施形態]
以下、他の実施形態について説明する。上記実施形態と重複する構成及び手順については、同番号を付すことで詳細な説明を省略することがある。
【0064】
図13は、他の実施形態に係る鋼材成分学習推定装置1Bの構成例を示すブロック図である。制御部10は、取得部11、学習部13、推論部15、鋼種判定部17、予備推論部18、及びモデル選択部19を含んでいる。
【0065】
鋼材(鋼種)は、炭素量に応じて複数の鋼材グループにグループ分けすることができる。例えば、炭素量が0.3%以下の低炭素量グループ、炭素量が0.3%以上0.7%以下の中炭素量グループ、及び炭素量が0.7%以上の高炭素量グループにグループ分けすることができる。
【0066】
このようにグループ分けされた複数の鋼材グループのそれぞれには、種々の鋼種が含まれる。例えば、低炭素量グループ、中炭素量グループ、及び高炭素量グループのそれぞれには、炭素鋼に加えて、硫黄、モリブデン、クロム、又はニッケル等の鋼種が含まれる。
【0067】
図13に示すように、本実施形態では、制御部10B(学習部13)は、学習フェーズにおいて、各鋼材グループ用の学習済みモデル(低炭素量グループ用学習済みモデル、中炭素量グループ用学習済みモデル、及び高炭素量グループ用学習済みモデル)を構築する。
【0068】
低炭素量グループ用学習済みモデルは、低炭素量グループに属する鋼材に基づいて構築され、低炭素量グループに属する鋼材の合金元素を判定するために適用される。中炭素量グループ用学習済みモデル及び高炭素量グループ用学習済みモデルについても同様である。
【0069】
また、制御部10B(学習部13)は、学習フェーズにおいて、炭素量推定用学習済みモデルも構築する。この炭素量推定用学習済みモデルは、上述したような鋼材の炭素量を推定するための学習済みモデルであり、詳細な説明を省略する。
【0070】
図14に示すように、火花画像と鋼種(又は合金元素)とを対応付けたテーブルは、鋼材グループ毎に用意される。学習フェーズにおいて、火花画像は入力データとして利用され、合金元素は教師データとして利用される。なお、鋼種を教師データとしてもよい。
【0071】
図示の例では、低炭素量グループに属する鋼材に係る火花画像と、当該鋼材に含まれる合金元素を表す鋼種との対応例を示している。すなわち、低炭素量グループのテーブルに含まれる火花画像は、低炭素量グループに属する鋼材を研削したときに発生する火花を撮影することにより生成された画像データである。
【0072】
制御部10B(学習部13)は、このように鋼材グループ毎に用意された火花画像及び鋼種(又は合金元素)を含むデータセットを用い、上記図4に示した学習フェーズの処理を鋼材グループ毎に実行することで、各鋼材グループ用の学習済みモデルを構築する。
【0073】
図15は、推論フェーズの手順例を示すフロー図である。制御部10Bは、同図に示す情報処理をプログラムに従って実行することにより、取得部11、推論部15、鋼種判定部17、予備推論部18、及びモデル選択部19として機能する。
【0074】
制御部10Bは、火花画像を取得すると(S21、取得部11としての処理)、炭素量推定用学習済みモデルを用いて、取得した火花画像から鋼材の炭素量を推定する(S25、予備推論部18としての処理)。
【0075】
次に、制御部10Bは、推定された鋼材の炭素量に基づいて、複数の鋼材グループ用の学習済みモデルから1の鋼材グループ用の学習済みモデルを選択する(S26、モデル選択部19としての処理)。
【0076】
具体的には、制御部10Bは、推定された鋼材の炭素量が、低炭素量グループ(炭素量範囲:0.3%以下)、中炭素量グループ(炭素量範囲:0.3%以上0.7%以下)、及び高炭素量グループ(炭素量範囲:0.7%以上)の何れに該当するかを判定するとともに、低炭素量グループ用学習済みモデル、中炭素量グループ用学習済みモデル、及び高炭素量グループ用学習済みモデルから、該当するグループ用の学習済みモデルを選択する。
【0077】
次に、制御部10Bは、選択された鋼材グループ用の学習済みモデルを用いて、上記S21で取得した火花画像から鋼材に含まれる合金元素を推定する(S27、推論部15としての処理)。
【0078】
例えば、制御部10Bは、低炭素量グループ用学習済みモデルが選択された場合には、低炭素量グループ用学習済みモデルを用い、火花画像から鋼材に含まれる合金元素を推定する。中炭素量グループ用学習済みモデル及び高炭素量グループ用学習済みモデルについても同様である。
【0079】
次に、制御部10Bは、推定された合金元素に基づいて、鋼材の鋼種を判定する(S23、鋼種判定部17としての処理)。以上により、推論フェーズが終了する。
【0080】
以上に説明した実施形態によれば、鋼材の炭素量に応じた鋼材グループ用の学習済みモデルを用いて鋼材に含まれる合金元素を推定するので、合金元素の推定精度の向上を図ることが可能となる。
【0081】
また、炭素量推定用学習済みモデルにより鋼材の炭素量を推定し、その推定結果に基づいて鋼材グループ用の学習済みモデルを選択することで、鋼材の炭素量が不明であっても、鋼材の炭素量を推定し、さらに鋼材に含まれる合金元素を推定することが可能となる。
【0082】
なお、これに限らず、鋼材グループ用の学習済みモデルをユーザの操作に応じて選択してもよい。
【0083】
[合金元素判定]
以下に説明するように、鋼材に含まれる合金元素は、時系列の複数の火花画像のそれぞれから学習済みモデルによって推定される複数の推定結果に基づいて判定されてもよい。
【0084】
火花の状態は時間に応じて変化するため、合金元素を判別しうる特徴が常時出現している訳ではない。例えばSCM鋼(モリブデン)では火花の先端部に特徴が出現するが、常時出現するわけではないため、1枚の火花画像だけでは特徴を捉えられず、単なるSC鋼と判定されてしまうことがある。
【0085】
図16は、SCR鋼(クロム)の火花画像30枚の推定結果例を示す図である。これによると、クロムとの推定結果が最も多いものの、炭素鋼との推定結果がその半分弱ほどあり、さらにはモリブデン、ニッケル、及び硫黄との推定結果も僅かながら見られる。
【0086】
そこで、本変形例では、時系列の複数の火花画像のそれぞれから学習済みモデルにより推定される複数の推定結果に基づいて、多数決的に合金元素を判定する。これにより、時間的に変化する火花の特徴を捉え、合金元素の判定精度の向上を図ることが可能となる。
【0087】
具体的には、時系列の複数の火花画像を学習済みモデルに順次入力し、これにより順次推定される合金元素(推定結果)をカウントしていき、最も早く判定閾値に到達した合金元素を採用する。
【0088】
図17は、SNCM鋼(ニッケル)の推定結果例を示す図である。図18は、SCR鋼(クロム)の推定結果例を示す図である。横軸は火花画像の撮影時間(学習済みモデルへの入力枚数に対応)を表し、縦軸は累積判定枚数を表す。
【0089】
これによると、図17ではニッケルが最も早く判定閾値に到達しており、図18ではクロムが最も早く判定閾値に到達している。図示の例では、判定閾値は30枚である。1~2秒程度の撮影で判定可能な判定閾値を設定することが好ましい。
【0090】
これに限らず、所定期間に撮影される複数の火花画像のそれぞれから学習済みモデルにより推定された合金元素(推定結果)のうち、最も多い合金元素を採用してもよい。
【0091】
その他、k近傍法やSVM(サポートベクターマシーン)といった機械学習手法を用いて合金元素を判定してもよい。
【0092】
以上に説明した変形例によれば、時系列の複数の火花画像により、時間的に変化する火花の特徴を捉えて、合金元素の判定精度の向上を図ることが可能となる。さらに、合金元素の含有量が少ない鋼材や類似する火花特徴を持つ鋼種の判定精度の向上も図ることが可能となる。
【符号の説明】
【0093】
1 鋼材成分学習推定装置(鋼材成分学習装置、鋼材成分推定装置)、2 データベース、10 制御部、11 取得部、13 学習部、15 推論部、17 鋼種判定部、3,31,32 カメラ、4 火花画像、41,42 部分画像、4a~4c マスク画像

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18