特許 7189777 金属材料生産システムおよび金属材料生産方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-06

(45)【発行日】2022-12-14

(54)【発明の名称】金属材料生産システムおよび金属材料生産方法

(51)【国際特許分類】

   G05B 19/418 20060101AFI20221207BHJP

   G06Q 50/04 20120101ALI20221207BHJP

【ＦＩ】

G05B19/418 Z

G06Q50/04

【請求項の数】 6

(21)【出願番号】P 2019001383

(22)【出願日】2019-01-08

(65)【公開番号】P2020112882

(43)【公開日】2020-07-27

【審査請求日】2021-09-22

(73)【特許権者】

【識別番号】000005290

【氏名又は名称】古河電気工業株式会社

(74)【代理人】

【識別番号】100114292

【弁理士】

【氏名又は名称】来間 清志

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(72)【発明者】

【氏名】磯松 岳己

(72)【発明者】

【氏名】笠原 正靖

(72)【発明者】

【氏名】曹 勇

【審査官】石田 宏之

(56)【参考文献】

【文献】特開２０１７－０４２８８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１７８９５２（ＵＳ，Ａ１）

【文献】特開２０１１－２５８１１３（ＪＰ，Ａ）

【文献】特開平０９－２５８８０４（ＪＰ，Ａ）

【文献】特開２０１７－０３０１５２（ＪＰ，Ａ）

【文献】特開平０６－１４５９３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／４１８

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

金属材料生産部と機械学習部とを有する金属材料生産システムであって、
前記機械学習部は、
前記金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、
前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、
機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、
前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、
前記報酬計算部［Ｄ］で算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている生産条件に基づいて生産条件調整の機械学習を行う生産条件学習部［Ｅ］と、
前記生産条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、
前記生産条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の生産条件の調整量を決定して出力する生産条件出力部［Ｇ］と、を備え、
前記物理量データ記憶部［Ｂ］、前記報酬条件設定部［Ｃ］、前記報酬計算部［Ｄ］、前記生産条件学習部［Ｅ］および前記学習済み条件記憶部［Ｆ］の少なくともいずれか１つに、前記金属材料生産部で製造された金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性からなる外部データとして入力し、前記生産条件学習部［Ｅ］の学習に使用することを特徴とする、金属材料生産システム。

【請求項2】

前記学習済み記憶部［Ｆ］に記憶された学習結果を前記生産条件学習部［Ｅ］の学習に使用することを特徴とする、請求項１に記載の金属材料生産システム。

【請求項3】

前記生産条件学習部［Ｅ］で学習した結果を、前記生産条件出力部［Ｇ］に反映させて、前記金属材料生産部の制御ユニットに指示を出すことを特徴とする、請求項１または２に記載の金属材料生産システム。

【請求項4】

前記報酬計算部［Ｄ］は、前記物理量のデータにあらかじめ許容範囲が設定され、前記物理量のデータの数値が、前記許容範囲内に収まると、プラスの報酬を与えるように算出することを特徴とする、請求項１～３のいずれか１つに記載の金属材料生産システム。

【請求項5】

前記報酬計算部［Ｄ］は、前記物理量のデータにあらかじめ許容範囲値が設定され、前記物理量のデータの数値が、前記許容範囲外になると、前記許容範囲の限界値からの前記物理量のデータの数値のずれ幅に応じてマイナスの報酬を与えるように算出することを特徴とする、請求項１～４のいずれか１つに記載の金属材料生産システム。

【請求項6】

金属材料を生産するに際し、
状態観測部［Ａ］により、実行中の金属材料生産に関する物理量を観測する工程と、
物理量データ記憶部［Ｂ］に前記物理量をデータとして記憶する工程と、
報酬条件設定部［Ｃ］により、機械学習における報酬条件を設定する工程と、
報酬計算部［Ｄ］により、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する工程と、
生産条件学習部［Ｅ］により、前記報酬計算部［Ｄ］が算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている生産条件に基づいて生産条件調整の機械学習を行う工程と、
学習済み条件記憶部［Ｆ］に前記生産条件学習部［Ｅ］で機械学習した学習結果を記憶する工程と、
生産条件出力部［Ｇ］により、前記生産条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の生産条件の調整量を決定して出力する工程と、を備え、
前記物理量データ記憶部［Ｂ］、前記報酬条件設定部［Ｃ］、前記報酬計算部［Ｄ］、前記生産条件学習部［Ｅ］および前記学習済み条件記憶部［Ｆ］の少なくともいずれか１つに、前記金属材料生産部で製造された金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性からなる外部データとして入力し、前記生産条件学習部［Ｅ］の学習に使用することを特徴とする、金属材料生産方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、金属材料生産部と機械学習部とを有する金属材料生産システムおよび金属材料生産方法に関し、特に、金属材料生産部を構成する複数の設備において、各設備の生産条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な生産条件で安定して金属材料を製造することができる金属材料生産システムを実現する。

【背景技術】

【0002】

金属材料を製造するには、金属材料に求められる機械特性、電気的特性、形状、表面状態などの品質に応じて、その製造時における複数の設備に無数に存在する生産条件の中から、１つの生産条件を選択して製造する必要がある。また、その材質、幅、板厚などの設計も考慮して、生産条件（例えば圧延、熱処理、表面処理時などの条件）を決定する必要がある。したがって、製造する金属材料ごとに、生産条件の最適な値を決定する条件出し作業を行う必要がある。しかしながら、各工程の最適な生産条件を見出すには、熟練オペレータ（人）が、経験に基づいて加工後の形状や表面状態を、検出器や目視にて状況を確認しながら各種操作条件を調整し、最適になるよう操作する必要がある。そのため、オペレータが時間をかけて最適の生産条件を決定する必要がある。また、経験の少ないオペレータが、熟練オペレータのように各設備の最適な生産条件を決定できるようになるには、長期間の教育が必要であった。

【0003】

オペレータによる最適操作条件の条件出し作業を軽減するための従来技術として、一般に、検出器で検知した数値が規定を外れるとアラームが鳴る技術や、検出器で検出した表面欠陥部のサイズや位置をモニターで示す技術がある。

【0004】

また、特許文献１は、射出成形機の条件出し作業において、成形条件を変更した際にその変更した条件の履歴を保持しておき、適切な成形を達成していた特定の時点における過去の成形条件を再生する場合において、その変更履歴を現在から特定の時点の時点まで遡って読み出す技術が開示されている。このような技術によれば、過去の射出成形条件をデータの容量を小さくして、容易に再生することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平１１－３３３８９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

以上のような技術では、条件出し作業を軽減し得るものではあるが、作業を行うオペレータの技術レベルによっては、最適な操作条件を算出するまでに長時間を要することがある。また、複数のオペレータ同士でも、それぞれ最適な操作条件にずれ（差）が生じることがあり、オペレータが異なる場合には、同じ操作条件で同様の品質が担保されないこともある。

【0007】

本発明は、以上のような実情に鑑みなされたものであり、特に、金属材料生産部を構成する複数の設備において、各設備の生産条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な生産条件で安定して金属材料を製造することができる金属材料生産システムおよび金属材料生産方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明者らは、上述した課題を解決すべく鋭意検討を重ねた。その結果、金属材料生産部と機械学習部とを有する金属材料生産システムであって、前記機械学習部は、前記金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、前記報酬計算部［Ｄ］で算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている生産条件に基づいて生産条件調整の機械学習を行う生産条件学習部［Ｅ］と、前記生産条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、前記生産条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の生産条件の調整量を決定して出力する生産条件出力部［Ｇ］と、を備えることにより、特に、金属材料生産部を構成する複数の設備において、各設備の生産条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な生産条件で安定して金属材料を製造することができる金属材料生産システムを提供することができることを見出し、本発明を完成するに至った。

【0009】

すなわち、本発明の要旨構成は以下のとおりである。
［１］金属材料生産部と機械学習部とを有する金属材料生産システムであって、前記機械学習部は、前記金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、前記報酬計算部［Ｄ］で算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている生産条件に基づいて生産条件調整の機械学習を行う生産条件学習部［Ｅ］と、前記生産条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、前記生産条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の生産条件の調整量を決定して出力する生産条件出力部［Ｇ］と、を備え、前記物理量データ記憶部［Ｂ］、前記報酬条件設定部［Ｃ］、前記報酬計算部［Ｄ］、前記生産条件学習部［Ｅ］および前記学習済み条件記憶部［Ｆ］に、前記金属材料生産部で製造された金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性からなる外部データとして入力し、前記生産条件学習部［Ｅ］の学習に使用することを特徴とする、金属材料生産システム。
［２］前記学習済み記憶部［Ｆ］に記憶された学習結果を前記生産条件学習部［Ｅ］の学習に使用することを特徴とする、［１］に記載の金属材料生産システム。
［３］前記生産条件学習部［Ｅ］で学習した結果を、前記生産条件出力部［Ｇ］に反映させて、前記金属材料生産部の制御ユニットに指示を出すことを特徴とする、［１］または［２］に記載の金属材料生産システム。
［４］前記報酬計算部［Ｄ］は、前記物理量のデータにあらかじめ許容範囲が設定され、前記物理量のデータの数値が、前記許容範囲内に収まると、プラスの報酬を与えるように算出することを特徴とする、［１］～［３］のいずれか１つに記載の金属材料生産システム。
［５］前記報酬計算部［Ｄ］は、前記物理量のデータにあらかじめ許容範囲値が設定され、前記物理量のデータの数値が、前記許容範囲外になると、前記許容範囲の限界値からの前記物理量のデータの数値のずれ幅に応じてマイナスの報酬を与えるように算出することを特徴とする、［１］～［４］のいずれか１つに記載の金属材料生産システム。
［６］金属材料を生産するに際し、状態観測部［Ａ］により、実行中の金属材料生産に関する物理量を観測する工程と、物理量データ記憶部［Ｂ］に前記物理量をデータとして記憶する工程と、報酬条件設定部［Ｃ］により、機械学習における報酬条件を設定する工程と、報酬計算部［Ｄ］により、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する工程と、生産条件学習部［Ｅ］により、前記報酬計算部［Ｄ］が算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている生産条件に基づいて生産条件調整の機械学習を行う工程と、学習済み条件記憶部［Ｆ］に前記生産条件学習部［Ｅ］で機械学習した学習結果を記憶する工程と、生産条件出力部［Ｇ］により、前記生産条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の生産条件の調整量を決定して出力する工程と、を備え、前記物理量データ記憶部［Ｂ］、前記報酬条件設定部［Ｃ］、前記報酬計算部［Ｄ］、前記生産条件学習部［Ｅ］および前記学習済み条件記憶部［Ｆ］に、前記金属材料生産部で製造された金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性からなる外部データとして入力し、前記生産条件学習部［Ｅ］の学習に使用することを特徴とする、金属材料生産方法。

【発明の効果】

【0010】

本発明によれば、特に、金属材料生産部を構成する複数の設備において、各設備の生産条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な生産条件で安定して金属材料を製造することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る金属材料生産システムの概略模式図である。

【図2】本実施形態に係る金属材料生産部の概略模式図である。

【図3】機械学習モデルを説明するための概略図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態を、図面を参照しながら詳細に説明するが、本発明は以下の実施形態に何ら限定されるものではない。

【0013】

＜金属材料生産システム＞
本実施形態の金属材料生産システムは、金属材料生産部と機械学習部とを有する金属材料生産システムであって、前記機械学習部は、前記金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］で設定された前記報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、前記報酬計算部［Ｄ］で算出した前記報酬、前記物理量データ、および前記金属材料生産部で設定されている生産条件に基づいて生産条件調整の機械学習を行う生産条件学習部［Ｅ］と、前記生産条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、前記生産条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部を構成する各設備の生産条件の調整量を決定して出力する生産条件出力部［Ｇ］と、を備えることを特徴とするものである。図１は、本実施形態に係る金属材料生産システムの概略模式図である。

【0014】

このような金属材料生産システムによれば、特に、金属材料生産部を構成する複数の設備において、各設備の生産条件を、熟練オペレータ（人）による調整を行なわなくても、常に最適な生産条件で安定して金属材料を製造することができる。また、条件出し作業が少なくなることから、金属材料の原料のロスが低減され、また、製造される金属材料の物性のばらつきも小さくなるため、コスト面での利点も非常に大きい。

【0015】

〔金属材料生産部〕
金属材料生産部は、金属材料の生産を行うシステムである。このような金属材料生産システムは、例えば溶解・鋳造、均質化熱処理、熱間圧延、表面切削（面削）、冷間圧延、熱処理、表面研磨、防錆処理などを行うことができるそれぞれの工程を有している。そして、これらの装置には、各々多種の条件が存在する。しかも、製造すべき金属材料の機械特性、電気的特性、形状、表面状態などの品質や、材質、幅、板厚などの設計も考慮して、その条件を設計する必要があることから、通常、金属材料の最適な生産条件を決定するには多大な労力やコストを要するが、後述する機械学習部により、各生産工程における最適な生産条件についての機械学習を行うことにより、金属材料の最適な生産条件を決定することができる。

【0016】

具体的に、金属材料生産部において、Ｃｕ－Ｎｉ－Ｓｉ合金の製造を行う場合について図２を用いて説明する。図２は、本実施形態に係る金属材料生産部の概略模式図である。Ｃｕ－Ｎｉ－Ｓｉ合金の生産方法を構成する工程は、まずＣｕに対してＮｉを１．０～５．０質量％、Ｓｉを０．２５～１．２５質量％添加して、溶解鋳造［１］し、その後、保持温度９００℃以上で均質化熱処理［２］を行う。次いで、熱間圧延［３］を行い、鋳塊の約１／１０の板厚に圧延後、水焼き入れ［４］する。次に、表面の酸化膜を除去する面削［５］を行った後、合計の加工率が７０％以上となるよう冷間圧延［６］し、保持温度７００～１０００℃で１秒～６０分の溶体化熱処理［７］を施して急冷を行う。次に、保持温度４００～６００℃で１０分～１２時間の時効析出熱処理［８］を行い、析出強化を行う。その度、表面の酸洗および研磨工程［９］、仕上冷間圧延［１０］、調質焼鈍［１１］の順に行い、０．０５～０．８ｍｍ程度の板厚に仕上げて金属材料製品とする。このようなＣｕ－Ｎｉ－Ｓｉ合金を製造する金属材料生産部は、１１の生産工程が存在する。そして、ほぼ全ての生産工程における生産条件により、生産される金属材料の品質が変化する。

【0017】

本実施形態の金属材料生産システムで製造する金属材料としては、特に限定されず、多種の金属を製造することができる。特に段取り替えが多い生産工程では、段取り替えごとに生産条件の条件出しが必要となるため、本実施形態の金属材料生産システムの導入による、労力やコストの削減効果が大きい。したがって、本実施形態の金属材料生産システムは、少品種大量生産よりも中品種中量生産、ロット生産および多品種少量生産において効果をより発揮し得る。ただし、段取り替えが少ない工程では、オペレータの教育の機会も少なくなるために、生産条件の条件出し作業にかえって大幅な時間を要することが想定される。このような場合などには、本実施形態の金属材料生産システムを導入することで一定の効果が得られる。

【0018】

具体的に、金属材料生産部は、例えば銅合金材料の生産を行うことが好ましい。銅合金材料の製造は、一般に成分系の異なる合金（例えばりん青銅、純銅、Ｃｕ－Ｎｉ－Ｓｉ系合金等）を同じ設備で量産する。多品種少量生産であるため、特定の製品専用の製造ラインを作らずに共通の設備で順番や条件を変更して量産している。したがって、段取り替えが必然的に多くなり、本実施形態の金属材料生産システムの導入による、労力やコストの削減効果が大きい。一方で、例えば、鉄鋼材料の製造は、溶解鋳造から最終の板材に至るまで一貫して連続的に行われる。鉄鋼材料の製造では１つの品種の生産数量が極めて多いために、鋳造機から圧延機などの設備を特定の製品専用の連続製造ライン（単一ライン）として用いて、少品種大量生産を行っている。このような生産では段取り替えは多くない。

【0019】

〔機械学習部〕
機械学習部は、金属材料生産部において実行中の金属材料生産に関する物理量を観測する状態観測部［Ａ］と、状態観測部［Ａ］で観測した物理量を、データとして記憶する物理量データ記憶部［Ｂ］と、機械学習における報酬条件を設定する報酬条件設定部［Ｃ］と、状態観測部［Ａ］で観測した物理量のデータ、および報酬条件設定部［Ｃ］に設定された報酬条件に基づいて報酬を算出する報酬計算部［Ｄ］と、報酬計算部［Ｄ］で算出した報酬、物理量データ、および金属材料生産部で設定されている生産条件に基づいて生産条件調整の機械学習を行う生産条件学習部［Ｅ］と、生産条件学習部［Ｅ］で機械学習した学習結果を記憶する学習済み条件記憶部［Ｆ］と、生産条件学習部［Ｅ］での学習結果に基づいて、金属材料生産部を構成する各設備の生産条件の調整量を決定して出力する生産条件出力部［Ｇ］と、を備えるものである。この機械学習部により、上述した金属材料生産部の各設備における生産条件を機械学習して、最適な生産条件を決定することができる。以下、各部の動作について説明する。

【0020】

（状態観測部［Ａ］）
状態観測部［Ａ］は、金属材料生産部において実行中の金属材料生産に関する物理量を観測するものである。

【0021】

状態観測部［Ａ］は、物理量のデータを送信可能な状態で物理量データ記憶部［Ｂ］に接続される。また、状態観測部［Ａ］は、物理量のデータを送信可能な状態で報酬計算部［Ｄ］および生産条件学習部［Ｅ］に接続されてもよい。

【0022】

ここで、物理量は、各設備における処理対象の材料の物性値であればよく、例えば処理対象の材料の形状、寸法、厚さ、表面状態、板材のテンション等が挙げられる。状態観測部［Ａ］においては、これらをセンサー等により測定する。測定したデータは、後述する物理量データ記憶部［Ｂ］に送信されるとともに、報酬計算部［Ｄ］、生産条件学習部［Ｅ］にも送信される。物理量のデータを報酬計算部［Ｄ］、生産条件学習部［Ｅ］に送信する場合において、物理量データ記憶部［Ｂ］を経由してもしなくてもよい。

【0023】

（物理量データ記憶部［Ｂ］）
物理量データ記憶部［Ｂ］は、前記状態観測部［Ａ］で観測した前記物理量を、データとして記憶するものである。物理量データ記憶部は、例えば各種記録媒体（各種メモリ等）であってもよい。

【0024】

物理量データ記憶部［Ｂ］は、物理量のデータを受信可能な状態で状態観測部［Ａ］に接続される。また、物理量データ記憶部［Ｂ］は、物理量のデータを送信可能な状態で報酬計算部［Ｄ］および生産条件学習部［Ｅ］に接続されてもよい。

【0025】

（報酬条件設定部［Ｃ］）
報酬条件設定部［Ｃ］は、機械学習における報酬条件を設定するものである。この報酬条件設定部［Ｃ］で設定した報酬条件を基に、後述する報酬計算部［Ｄ］で報酬が計算され、その報酬を基に、生産条件学習部［Ｅ］において生産条件を学習して、最適な生産条件を決定する。

【0026】

報酬条件設定部［Ｃ］は、報酬条件を送信可能な状態で少なくとも報酬計算部［Ｄ］に接続される。

【0027】

報酬条件としては、例えば、処理対象の材料の形状、寸法、厚さ、表面状態、板材のテンションなど物理量のデータの許容範囲や、それらのばらつきの許容範囲などが挙げられる。なお、報酬条件は、例えば寸法、厚さ、テンションなどの定量的なデータに基づくものであってもよく、また、例えば表面状態の画像データによる良否など定性的なデータに基づくものであってもよい。

【0028】

また、報酬条件は、例えば金属加工を行う際に金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性などの外部データに基づいて判断される条件を更に加えてもよい。ここで、「外部データ」とは、当該金属材料生産システムの内部すなわち状態観測部［Ａ］で測定されるような材料の物性とは異なるものであり、その金属材料生産システムで生産し終えた後の金属材料の物性である。

【0029】

なお、報酬条件設定部における報酬条件の設定は、作業者のこれまでの経験やこれまで機械学習した結果に基づいて、作業者による手入力又は自動入力で設定を行う。

【0030】

（報酬計算部［Ｄ］）
報酬計算部［Ｄ］は、前記状態観測部［Ａ］で観測した前記物理量のデータ、および前記報酬条件設定部［Ｃ］に設定された前記報酬条件に基づいて報酬を算出するものである。すなわち、報酬計算部［Ｄ］は、前記状態観測部［Ａ］で観測した前記物理量のデータが、前記報酬条件設定部［Ｃ］で設定された前記報酬条件の充足の成否を判断し、または報酬条件の充足・不足の程度を算出し、そしてその報酬条件の充足の成否、または充足・不足の程度に応じてあらかじめ設定された報酬を与えるように算出する。なお、報酬計算部［Ｄ］における報酬の決定方法の詳細は後述する。

【0031】

報酬計算部［Ｄ］は、物理量のデータを受信可能な状態で状態観測部［Ａ］または物理量データ記憶部［Ｂ］に接続される。また、報酬計算部［Ｄ］は、報酬条件を受信可能な状態で報酬条件設定部［Ｄ］に接続される。さらに、報酬計算部［Ｄ］は、報酬を送信可能な状態で生産条件学習部［Ｅ］に接続される。

【0032】

報酬計算部［Ｄ］は、例えば、前記物理量のデータにあらかじめ許容範囲が設定され、前記物理量のデータの数値が、前記許容範囲内に収まると、プラスの報酬を与えるように算出し、一方で、前記物理量のデータの数値が、前記許容範囲外になると、前記許容範囲の限界値からの前記物理量のデータの数値のずれ幅に応じてマイナスの報酬を与えるように算出することができる。

【0033】

報酬計算部［Ｄ］は、例えば、良好な表面状態の画像データ、厚さのばらつきが小さいデータおよび板材のテンションのばらつきが小さいデータのうちの少なくとも１つのデータを、その寄与の程度に応じてプラスの報酬を与えるように算出する。一方で、報酬計算部［Ｄ］が、表面状態の粗い画像データ、厚さのばらつきが大きいデータおよび板材のテンションのばらつきが大きいデータのうちの少なくとも１つのデータを、その寄与の程度に応じてマイナスの報酬を与えるように算出する。

【0034】

（生産条件学習部［Ｅ］）
生産条件学習部［Ｅ］は、報酬計算部［Ｄ］で算出した報酬、物理量データ、および金属材料生産部で設定されている生産条件に基づいて生産条件調整の機械学習を行うものである。このようにして、生産条件学習部［Ｅ］は、報酬計算部［Ｄ］で重みづけした報酬の計算結果と、物理量データ記憶部で記憶したデータを基に、その金属材料を生産したときの生産条件によって機械学習を行う。

【0035】

生産条件学習部［Ｅ］は、物理量のデータを受信可能な状態で状態観測部［Ａ］または物理量データ記憶部［Ｂ］に接続される。また、生産条件学習部［Ｅ］は、報酬を受信可能な状態で報酬計算部［Ｄ］に接続される。さらに、生産条件学習部［Ｅ］は、学習結果を送信可能な状態で学習済み条件記憶部［Ｆ］および生産条件出力部［Ｇ］に接続される。なお、生産条件学習部［Ｅ］は、学習結果を送信可能な状態で学習済み条件記憶部［Ｆ］に受信可能な状態で報酬計算部［Ｄ］に接続されてもよい。

【0036】

前記物理量データ記憶部［Ｂ］、前記報酬条件設定部［Ｃ］、前記報酬計算部［Ｄ］、前記生産条件学習部［Ｅ］および前記学習済み条件記憶部［Ｆ］の少なくともいずれか１つに、前記金属材料生産部で製造された金属材料を用いて測定した金属材料の表面状態、形状、材料強度および曲げ加工性からなる外部データとして入力し、前記生産条件学習部［Ｅ］の学習に使用することもできる。

【0037】

また、下記で説明する学習済み記憶部［Ｆ］に記憶された学習結果を前記生産条件学習部［Ｅ］の学習に使用することができる。

【0038】

なお、金属材料の生産時において、状態観測部［Ａ］の物理量の観測にともなう生産条件の更新は、逐次に行ってもよく、また、一定の時期に行ってもよい。

【0039】

（学習済み条件記憶部［Ｆ］）
学習済み条件記憶部［Ｆ］は、前記生産条件学習部［Ｅ］で機械学習した学習結果を記憶するものである。また、好ましくは、前記生産条件学習部［Ｅ］に学習結果を送信して、反映させることができるものである。学習済み条件記憶部［Ｆ］は、例えば各種記録媒体（各種メモリ等）であってよい。また、学習済み条件記憶部［Ｆ］は、物理量データ記憶部［Ｂ］と同一のものであってもよい。

【0040】

学習済み条件記憶部［Ｆ］は、学習結果を受信可能な状態で少なくとも生産条件学習部［Ｅ］に接続される。また、学習済み条件記憶部［Ｆ］は、学習結果を送信可能な状態で少なくとも生産条件学習部［Ｅ］に接続されてもよい。

【0041】

学習済み条件記憶部において記憶するデータは、生産された金属材料の報酬の計算結果と、物理量データ記憶部と、その金属材料を生産したときに金属材料生産部に設定されている生産条件の対応関係であってよい。

【0042】

（生産条件出力部［Ｇ］）
生産条件出力部［Ｇ］は、前記生産条件学習部［Ｅ］での前記学習結果に基づいて、前記金属材料生産部で製造される金属材料の生産条件の調整量を決定して出力するものである。

【0043】

生産条件出力部［Ｇ］は、学習結果を受信可能な状態で少なくとも生産条件学習部［Ｅ］に接続される。また、生産条件出力部［Ｇ］は、生産条件の調整量を送信可能な状態で金属材料生産部の各工程の設備に接続される。

【0044】

この生産条件出力部［Ｇ］は、金属材料生産部の制御ユニットと通信可能な状態で接続するなどして、前記金属材料生産部の制御ユニットに指示を出すように構成してもよい。このような構成とすることで、金属材料生産システムの自動化を達成することができる。

【0045】

なお、機械学習部の状態観測部［Ａ］、物理量データ記憶部［Ｂ］、報酬条件設定部［Ｃ］、報酬計算部［Ｄ］、生産条件学習部［Ｅ］、学習済み条件記憶部［Ｆ］および生産条件出力部［Ｇ］は、各々が通信可能な状態で接続されていてよい。

【0046】

〔機械学習〕
以下、本実施形態の金属材料生産システムにおける報酬条件設定部［Ｃ］、報酬計算部［Ｄ］および生産条件学習部［Ｅ］で行う機械学習について、状態価値関数と行動価値関数を使用して説明する。

【0047】

強化学習では、環境から得られる最終的な累積報酬を最大化することで学習を行う。累積報酬は下記の式で与えられる。図３は、機械学習モデルを説明するための概略図である。

【数1】

（ここで、Ｔは最終時刻、γは遠い将来に得られる報酬ほど割り引いて評価するための割引率であり、０≦γ≦１である。）

【0048】

強化学習では、報酬を評価してその評価を最大化することで学習を行う。ここでは、現在の状態がどのくらい良いのかを測る関数として価値関数を考える。どのくらい良いのか、ということを、将来にわたって得られる報酬によって定義する。

【0049】

方策πは、状態ｓ∈Ｓで行動ａ∈Ａ（ｓ）をとることであり、π（ｓ，a）と表す。
方策πのもとで、状態ｓの価値は下記の状態価値関数（ｓｔａｔｅ ｖａｌｕｅ ｆｕｎｃｔｉｏｎ ｆｏｒ ｐｏｌｉｃｙ π）で定式化できる。

【数2】

【0050】

状態価値関数Ｖ^π（ｓ）は、ある状態ｓがどのくらい良い状態であるのかを示す価値関数である。状態価値関数は、状態を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態の価値などに基づいて更新される。

【0051】

方策πのもとで、状態ｓにおいて行動ａをとることの価値は、下記の行動価値関数（ａｃｔｉｏｎ ｖａｌｕｅ ｆｕｎｃｔｉｏｎ ｆｏｒ ｐｏｌｉｃｙ π）によって定義できる。

【数3】

【0052】

行動価値関数Ｑ^π（ｓ，ａ）は、ある状態ｓにおいて行動ａがどのくらい良い行動であるのかを示す価値関数である。行動価値関数は、状態と行動を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態における行動の価値などに基づいて更新される。

【0053】

個の価値関数を記憶する方法としては、近似関数を用いる方法や、配列を用いる方法以外にも、例えば状態ｓが多くの状態をとるような場合には状態ｓ_ｔ、行動ａ_ｔを入力として価値(評価)を出力する多値出力のサポートベクターマシン（ＳＶＭ）やニューラルネットワークなどの教師あり学習器を用いるようにしてもよい。

【0054】

機械学習は、以下の（１）～（５）の繰り返しによって進められる。
（１）環境の状態ｓ（ｓを観測）
（２）行動ａ（観測結果と過去の学習に基づいて自分が取れる行動ａ_ｔを選択して行動ａ_ｔを実行）
（３）環境の状態ｓの変化（行動ａ_ｔが実行されることで、環境の状態ｓ_ｔが次の状態ｓ_ｔ＋１へ変化）
（４）報酬ｒ（行動ａ_ｔの結果としての状態変化に基づいて、機械学習器が報酬ｒ_ｔ＋１を受け取る）
（５）報酬ｒに基づく学習（エージェントが状態ｓ_ｔ、行動ａ_ｔ、報酬ｒ_ｔ＋１および過去の学習結果に基づいて学習を進める。）

【0055】

ある環境において、学習が終了した後に、新たな環境に置かれた場合でも追加の学習を行うことでその環境に適応するように学習を進めることができる。よって、本発明のように生産設備（金属材料生産部）の最適条件の算出に適応することで、これまでにないような金属材料の厚さ、長さ、幅、硬さ、表面状態などから最適な加工条件を条件出しなどによって決める必要がなくなり、大幅な時間短縮が可能となる。

【0056】

そして、以上のような金属材料生産システムにおいては、金属材料の生産時には、金属材料生産部の各工程で測定した物理量データを観測する状態観測部［Ａ］によって機械学習を行う。また、生産終了後出荷前の最終製品の引張試験の結果や表面状態からなる外部データや、出荷後の金属材料加工後の金属材料の表面状態、形状、材料強度（引張試験の結果など）および曲げ加工性からなる外部データを用いて機械学習を行う。このようにしてより多くのデータを用いることで、設備履歴と性能、表面状態などのパラメータが追加され、より最適な加工条件を算出することができ、製造時間とオフゲージを大幅に低減することができる。なお、このような場合において、物理量データや外部データは一度物理量データ記憶部［Ｂ］に保存してもよい。また、外部データは逐次にインターネットを経由して金属材料生産システムの各部で授受してもよい。

【0057】

〔金属材料生産システムの動作の具体例〕
上述したＣｕ－Ｎｉ－Ｓｉ合金の工程を一例として、本実施形態の金属材料生産システムの動作をより具体的に説明する。

【0058】

金属材料生産システムの導入前において、工場の作業日誌または設備の端末に記録したデータ、すなわち入力溶解鋳造［１］の溶解温度、均質化熱処理［２］の測定温度および保持時間、熱間圧延［３］の圧延速度および各圧延パスの圧延加工率、水焼き入れ［４］時の水の流量、面削［５］の回数および面削寸法、冷間圧延［６］の圧延加工率、圧延パス数および圧延速度、溶体化熱処理［７］の昇温速度、到達温度および冷却速度、時効析出熱処理［８］の到達温度、保持時間および冷却速度、研磨工程［９］の研磨速度および研磨紙の番手、仕上冷間圧延［１０］の圧延加工率、圧延パス数および圧延速度、ならびに調質焼鈍［１１］の昇温速度および到達温度について、機械学習させる。生産条件学習済み記憶部から生産条件をオンラインまたはオフラインのいずれかで各設備に指示し、条件をセットし、金属材料生産を行う。

【0059】

このようにして金属材料生産を行なっている際に、例えば冷間圧延［６］における圧延後の形状や板厚（物理量）が不均一となった場合に、この変化を複数のセンサー（状態観測部［Ａ］）で読み取り、報酬計算部［Ｄ］および生産条件学習部［Ｅ］に伝達する。報酬計算部［Ｄ］では、圧延後の形状や板厚の不均一性に対しマイナスの報酬を与えるように算出し、生産条件学習部［Ｅ］に送信する。生産条件学習部［Ｅ］では、報酬、圧延後の形状や板厚の不均一性および冷間圧延［６］を行ったときに設定されている圧延条件（圧延機やその他設備の設定）に基づいて機械学習を行い、最適化する。より具体的には、冷間圧延では、板材の幅方向の張力や幅方向での圧延ロールのギャップなどを微調整することで、最適な形状の金属材料を得ることができる。主に圧延速度や圧延ロールの幅方向でのギャップ制御を最適化する。そしてこの最適化後の生産条件を、圧延機やその他設備にフィードバックし、次の製造ロットから条件を最適化する。ここで、生産条件学習部［Ｅ］においては、金属材料の表面状態、形状、材料強度、曲げ加工性からなる外部データをさらに用いてもよい。

【0060】

次に、同一の金属材料生産システムで、Ｃｕ－Ｎｉ－Ｓｉ合金とは異なる組成の銅合金を生産する場合について説明する。Ｃｕ－Ｎｉ－Ｓｉ合金を例に説明したことと同様に、工場の作業日誌または設備の端末に記録したデータ（検査成績のデータ）を学習する。このような学習を複数種の組成・添加元素の合金で繰り返すことにより、各工程の最適な生産条件を機械学習するとともに、それぞれの合金の組成・添加元素の分量をその差異的な生産条件と関連付け、その結果を学習済み条件記憶部［Ｆ］に記憶することができる。そして、生産開始後、合金の組成および添加元素の分量を報酬条件設定部［Ｃ］に入力し、その合金の組成および添加元素の分量のデータより、学習済み条件記憶部［Ｆ］に最も近い学習済み生産条件を呼び出す。学習済み条件記憶部から生産条件をオフラインまたはオンラインのいずれかで各設備に指示し、生産条件をセットし、金属材料生産を行う。

【0061】

＜金属材料生産方法＞
本実施形態の金属材料生産方法は、金属材料を生産するに際し、状態観測部［Ａ］により、実行中の金属材料生産に関する物理量を観測する工程と、物理量データ記憶部［Ｂ］に物理量をデータとして記憶する工程と、報酬条件設定部［Ｃ］により、機械学習における報酬条件を設定する工程と、報酬計算部［Ｄ］により、状態観測部［Ａ］で観測した物理量のデータ、および報酬条件設定部［Ｃ］に設定された報酬条件に基づいて報酬を算出する工程と、生産条件学習部［Ｅ］により、報酬計算部［Ｄ］が算出した報酬、物理量データ、および金属材料生産部に設定されている生産条件に基づいて生産条件調整の機械学習を行う工程と、学習済み条件記憶部［Ｆ］に生産条件学習部［Ｅ］で機械学習した学習結果を記憶する工程と、生産条件出力部［Ｇ］により、生産条件学習部［Ｅ］での学習結果に基づいて、金属材料生産部を構成する各設備の生産条件の調整量を決定して出力する工程と、を備えることを特徴とするものである。

【0062】

すなわち、このような金属材料生産方法によれば、上記の金属材料生産システムにより、金属材料の生産工程において、金属材料の最適な生産条件を決定することができ、人間による生産条件の調整の手間を抑制することができる。また、条件出し作業が少なくなることから、金属材料の原料のロスが低減され、また、製造される金属材料の物性のばらつきも小さくなるため、コスト面での利点も非常に大きい。

【実施例】

【0063】

次に、本発明の効果をさらに明確にするために、本発明例について説明するが、本発明はこれら実施例に限定されるものではない。

【0064】

金属材料メーカーＡ社では、図２に示す金属材料生産部を用いてＣｕ－Ｎｉ－Ｓｉ合金を断続的に製造している。Ｃｕ－Ｎｉ－Ｓｉ合金の生産工程は、まずＣｕに対してＮｉを１．０～５．０質量％、Ｓｉを０．２５～１．２５質量％添加して、溶解鋳造［１］し、その後、保持温度９００℃以上で均質化熱処理［２］を行う。次いで、熱間圧延［３］を行い、鋳塊の約１／１０の板厚に圧延後、水焼き入れ［４］する。次に、表面の酸化膜を除去する面削［５］を行った後、合計の加工率が７０％以上となるよう冷間圧延［６］し、保持温度７００～１０００℃で１秒～６０分の溶体化熱処理［７］を施して急冷を行う。次に、保持温度４００～６００℃で１０分～１２時間の時効析出熱処理［８］を行い、析出強化を行う。その度、表面の酸洗および研磨工程［９］、仕上冷間圧延［１０］、調質焼鈍［１１］の順に行い、０．０５～０．８ｍｍ程度の板厚に仕上げて金属材料製品とする。

【0065】

Ａ社は、このＣｕ－Ｎｉ－Ｓｉ合金以外にも同一の設備で複数のＣｕ系合金を製造しており、Ｃｕ－Ｎｉ－Ｓｉ合金の製造開始にあたっては、都度、製造工程の条件出し作業を行っている。

【0066】

本発明の金属材料生産システムの導入前、Ａ社では、製造工程の条件出し作業として、各条件についてオペレータが確認を行っていた。この場合における、Ｃｕ－Ｎｉ－Ｓｉ合金の製造開始から出荷までの合計時間は平均して８日間であった。また、各設備での条件出し時に発生する材料の端部の材料ロス（オフゲージ）は５％であった。さらに、オペレータにより生産条件に大きな差異が生じていた。

【0067】

その後、金属材料メーカーＡ社では、本発明の金属材料生産システムを導入した。この金属材料生産システムでは、外部データを使用せずに、これまでの工場の作業日誌または設備の端末に記録したデータ、すなわち入力溶解鋳造［１］の溶解温度、均質化熱処理［２］の測定温度および保持時間、熱間圧延［３］の圧延速度および各圧延パスの圧延加工率、水焼き入れ［４］時の水の流量、面削［５］の回数および面削寸法、冷間圧延［６］の圧延加工率、圧延パス数および圧延速度、溶体化熱処理［７］の昇温速度、到達温度および冷却速度、時効析出熱処理［８］の到達温度、保持時間および冷却速度、研磨工程［９］の研磨速度および研磨紙の番手、仕上冷間圧延［１０］の圧延加工率、圧延パス数および圧延速度、ならびに調質焼鈍［１１］の昇温速度および到達温度について、機械学習させた。生産条件学習済み記憶部から生産条件をオンラインで各設備に指示し、条件をセットし、金属材料生産を行った。

【0068】

この結果、製造工程の条件出し作業としての、溶体化熱処理［７］や冷間圧延［６］の条件についてオペレータによる目視での確認作業や台帳を見て過去の条件との詳細な確認作業、手作業による圧延ロールギャップや焼鈍速度の調整の条件についての検出器による確認作業が短縮され、Ｃｕ－Ｎｉ－Ｓｉ合金の製造開始から出荷までの合計時間は平均して７日間に短縮された。また、各設備での条件出し時に発生する材料の端部の材料ロス（オフゲージ）が４％に減少した。さらに、オペレータにより生産条件に大きな差異が生じなかった。

【0069】

その後、金属材料メーカーＡ社では、さらに金属材料の表面、金属材料の形状、材料強度および曲げ加工性のデータを外部データとして用いて、金属材料の生産を行なった。この結果、製造工程の条件出し作業としての、Ｃｕ－Ｎｉ－Ｓｉ合金の製造開始から出荷までの合計時間は平均して４日間に短縮された。また、各設備での条件出し時に発生する材料の端部の材料ロス（オフゲージ）が１％に減少した。さらに、オペレータにより生産条件に大きな差異が生じなかった。

【図1】

【図2】

【図3】