特許 7129673 制御システム、および学習済モデルの作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-25

(45)【発行日】2022-09-02

(54)【発明の名称】制御システム、および学習済モデルの作成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220826BHJP

   G05B 19/42 20060101ALI20220826BHJP

   G05B 19/4155 20060101ALI20220826BHJP

【ＦＩ】

G06T7/00 350B

G05B19/42 J

G05B19/4155 V

【請求項の数】 8

(21)【出願番号】P 2020218011

(22)【出願日】2020-12-25

(65)【公開番号】P2022102930

(43)【公開日】2022-07-07

【審査請求日】2020-12-25

(73)【特許権者】

【識別番号】521244189

【氏名又は名称】矢原 肇也

(73)【特許権者】

【識別番号】520514805

【氏名又は名称】中野 雅俊

(73)【特許権者】

【識別番号】520514816

【氏名又は名称】新家 遼士

(73)【特許権者】

【識別番号】520513772

【氏名又は名称】川合 誠

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100135301

【弁理士】

【氏名又は名称】梶井 良訓

(72)【発明者】

【氏名】矢原 肇也

(72)【発明者】

【氏名】中野 雅俊

(72)【発明者】

【氏名】新家 遼士

(72)【発明者】

【氏名】川合 誠

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１８－２０６２８６（ＪＰ，Ａ）

【文献】国際公開第２０２０／０７５４２３（ＷＯ，Ａ１）

【文献】特開２０２０－０５２５３９（ＪＰ，Ａ）

【文献】国際公開第２０２０／２３５４７１（ＷＯ，Ａ１）

【文献】特開２０１７－１３８２８２（ＪＰ，Ａ）

【文献】特開２０１４－０８３５７２（ＪＰ，Ａ）

【文献】特開２００２－０６６６２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－９／４０

Ｇ０５Ｂ １９／４２

Ｇ０５Ｂ １９／４１５５

(57)【特許請求の範囲】

【請求項1】

コイル状に巻かれた状態から搬送路に引き出され、搬送方向に直交する方向に切断されることなく、長手方向に沿って搬送中のシート状部材の端部を搬送方向に沿って切断する切断位置を含む所定エリアを撮像するカメラから画像のデータを取得すると共に、前記切断位置よりも搬送方向の上流側において前記シート状部材の搬送位置を調整する調整装置を操作した内容を示す操作信号のデータを取得する取得部と、
前記切断位置において熟練作業者が着目する所定のエリアを撮像した複数の画像のデータを学習データ、前記操作信号のデータを教師データとして学習された学習済モデルに、前記取得部により取得された画像のデータを入力することで、前記調整装置を操作するための信号を生成する推論部と、
前記推論部により推定された操作内容に基づいて、前記調整装置を制御する制御部と、 を備える制御システム。

【請求項2】

前記画像のデータを学習データ、前記操作信号のデータを教師データとして前記学習済モデルを学習する学習処理部を更に備える、
請求項１記載の制御システム。

【請求項3】

前記制御部は、前記画像のデータを、前記調整装置を操作する操作者が目視可能な表示部に表示させ、
前記取得部は、さらに、前記表示部に前記画像のデータが表示されている期間において入力された前記熟練作業者と別の熟練作業者が前記調整装置を操作した内容を示す操作信号のデータを取得し、
前記学習処理部は、前記画像のデータを学習データとし、前記別の熟練作業者が前記調整装置を操作した内容を示す操作信号のデータを教師データとして学習済モデルを学習する、
請求項２に記載の制御システム。

【請求項4】

前記制御部は、前記調整装置を操作する操作者が目視可能な表示部に、前記推論部により推定された操作内容を表示させる、
請求項１に記載の制御システム。

【請求項5】

操作部をさらに備え、
前記制御部は、複数の前記画像のうち前記操作部を介して熟練作業者により選択された画像に対して、良好な教師データであることを示すラベリング情報を付与する、
請求項１に記載の制御システム。

【請求項6】

前記制御部は、前記推論部により推定された操作内容に基づく制御が規定範囲内であるか否かを判定し、規定範囲内でない場合、前記規定範囲内の制御を実行する、
請求項１に記載の制御システム。

【請求項7】

前記制御部は、前記推論部により推定された操作内容に基づく自動制御を実行中に、操作部を介して操作を受け付けた場合、前記操作部を介して受け付けた操作に基づく手動制御に切り替える、
請求項１に記載の制御システム。

【請求項8】

コイル状に巻かれた状態から搬送路に引き出され、搬送方向に直交する方向に切断されることなく、長手方向に沿って搬送中のシート状部材の端部を搬送方向に沿って切断する切断位置において熟練作業者が着目する所定のエリアを撮像した複数の撮像画像を取得し、
前記切断位置よりも搬送方向の上流側において前記シート状部材の搬送位置を調整する調整装置に対する操作履歴を示す情報を取得し、
前記複数の撮像画像に基づき得られた情報を学習データとし、前記操作履歴を示す情報とを教師データとして、前記調整装置に対する操作と前記シート状部材の搬送状況との関係性を学習させた学習モデルを作成する、
学習済モデルの作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御システム、および学習済モデルの作成方法に関する。

【背景技術】

【0002】

熟練作業が必要な工場作業労働の現場では、少子高齢化の影響で、熟練者の多くが退職し、新入社員数も少なくなってきている。熟練者の育成も困難なことから、熟練者が担ってきた熟練作業の継承が大きな課題となっている。熟練者が保有する熟練技能は、暗黙知と呼ばれる。暗黙知には、勘やコツなどの言語で表せない技能が数多く含まれており、ロジックに置き換えて機械を制御することが極めて困難であった。

【0003】

一方、ＦＡ研究の専門家や研究者の間では、熟練者の知見を学んだＡＩ（Artificial Intelligence）ではＦＡ制御は困難であるという先入観が、長い間通説になっていた。その背景には、１９８０年代からから１９９０年代にかけて、熟練者の知識を学び、熟練者の様に判断できるエキスパートシステムなど当時のＡＩ研究が、熟練者の暗黙知の壁に阻まれて期待通りの成果が得られないまま、実用化に繋がらなかったことの影響が大きい。例えば、エキスパートシステムを使った熟練者の知識ベース生成方法が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平４－２６２４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記先行技術文献などの公知技術は、ルールベースでの推論を用いているため、熟練者の暗黙知には対応が困難であった。また近い将来、減り続ける数少ない熟練作業者のもとに、遠隔で複数の熟練作業を集約することが求められる中、複数の熟練作業者が分散して保有している暗黙知をどのように集約するかについて、十分に検討されていなかった。また、どのようにして熟練者の暗黙知である熟練技能を一般作業者や新人作業者に教育するかについて十分に検討されていなかった。

【0006】

本発明は、このような事情を考慮してなされたものであり、熟練作業者が保有している暗黙知に着目して得られた学習済モデルを用いて機械を制御することができる制御システム、および学習済モデルの作成方法を提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

実施形態の制御システムは、熟練作業者の対象物の着目点を撮像するカメラによって撮像された画像のデータを取得すると共に、前記熟練作業者が機械を操作した内容を示す操作信号のデータを取得する取得部と、前記画像のデータを学習データ、前記操作信号のデータを教師データとして学習された学習済モデルに、前記画像のデータを入力することで、前記機械を操作するための信号を生成する推論部と、前記推論部によって生成された信号を前記機械に与える制御部と、を備える。

【発明の効果】

【0008】

熟練作業者が保有している暗黙知に着目して得られた学習済モデルを用いて、機械を制御することができる。

【図面の簡単な説明】

【0009】

【図1】制御システムの一例である鋼材加工システム１の概略図である。

【図2】学習済モデルを作成する際の熟練作業者によるセンタリング作業の一例を示す図である。

【図3】鋼材加工ＡＩシステム２の機能構成を断面的に示す図である。

【図4】制御装置１００の機能構成の一例を示すブロック図である。

【図5】学習シーンにおける制御装置の処理の一例を示す図である。

【図6】制御シーンにおける制御装置の処理の一例を示す図である。

【図7】学習済モデル作成装置２００の機能構成の一例を示すブロック図である。

【図8】第２カメラ７２の画像データから抽出される学習データの一例を示す図である。

【図9】ＣＮＮの構成例を示す図である。

【図10】学習処理部２４３による学習ソフトウェア構成の概念図の一例を示す図である。

【図11】学習処理部２４３が使用したＲＮＮモデルの概略構成の一例を示す図である。

【図12】シミュレーションを行った結果の一例を示す図である。

【図13】画像データから抽出される学習済モデルへの入力データの一例を示す図である。

【図14】制御装置１００による推定処理における概念図である。

【図15】制御装置１００による推定処理の一例を示すフローチャートである。

【図16】制御装置１００における自動制御の処理フローの一例を示すフローチャートである。

【図17】制御装置１００におけるフェイルセーフとTake Overの処理フローの一例を示すフローチャートである。

【図18】制御装置１００における自動出力許可の処理フローの一例を示すフローチャートである。

【図19】推定結果に基づく制御信号と熟練作業者の操作タイミングとの比較を示す図である。

【図20】インタラクティブ・ユーザ・インタフェース部１９０における表示画面の一例を示す図である。

【図21】インタラクティブ・ユーザ・インタフェース部１９０における表示画面の他の例を示す図である。

【図22】センタリング作業の比較について説明するための図である。

【発明を実施するための形態】

【0010】

以下、実施形態の制御システム、および学習済モデルの作成方法を、図面を参照して説明する。

【0011】

［第１実施形態］
図１は、制御システムの一例である鋼材加工システム１の概略図である。鋼材加工システム１は、例えば、コイル支持部１０と、アンコイラ２０と、ラフレベラ３０と、サイドトリマ４０と、第１カメラ７１と、第２カメラ７２と、制御装置１００と、学習済モデル作成装置２００とを備える。ここでは、制御装置１００と学習済モデル作成装置２００とが別体の装置としているが、これに限られない。制御装置１００と学習済モデル作成装置２００とは一体的に形成されてもよい。

【0012】

鋼材加工システム１は、コイル状の鋼材１０Ａ（対象物の一例）を引き出して、ベルトコンベアなどの搬送手段（図示を省略）により搬送し、所定サイズの平面状の鋼材に加工するための装置である。搬送方向の上流側から下流側に向かって配置される順番に並べると、コイル支持部１０、アンコイラ２０、ラフレベラ３０、サイドトリマ４０の順である。以下、制御システムの対象物が鋼材である例について説明するが、これに限られない。制御システムの対象物は、コイル状に巻き付けられたシート状の部材であれば、ゴムや紙などの材質の部材であってもよい。

【0013】

コイル支持部１０は、コイル状の鋼材１０Ａの中心軸に沿った空洞に挿入され、鋼材１０Ａを回転可能に支持する。また、コイル支持部１０は、制御装置１００と接続されており、制御装置１００により軸方向に回転させられることで、鋼材１０Ａを引き出したり、引き戻したりする。

【0014】

コイル支持部１０の周辺には、調整装置１２が設けられており、調整装置１２は制御装置１００と接続されている。調整装置１２は、例えば、コイル支持部１０の一方の端１０Ｒと他方の端１０Ｌの両方に設けられたアクチュエータを含む。調整装置１２は、制御装置１００からの制御信号に基づいて動作し、コイル支持部１０を軸方向に動かす。つまり、調整装置１２は、コイル支持部１０を一方の端１０Ｒに向けて所定量動かす、あるいは、コイル支持部１０を一方の端１０Ｌに向けて所定量動かす。コイル支持部１０が軸方向に動かされることにより、鋼材１０Ａのセンタリングがなされる。センタリングとは、アンコイラ２０に引き出される鋼材１０Ａの中央（幅方向の中心）を、搬送手段による搬送方向と直交する方向の中央（以下、搬送中央線と記す）に合わせるために、鋼材１０Ａの搬送方向の姿勢を調整することである。このセンタリングは、作業者による手動制御であってもよく、学習済モデル作成装置２００によって作成された学習済モデルを用いて自動制御であってもよい。

【0015】

アンコイラ作業者Ａは、制御装置１００による調整装置１２の自動制御を監視する。また、アンコイラ作業者Ａは、制御装置１００の操作レバー１１０Ａを操作して調整装置１２を動作させ、鋼材１０Ａの搬送方向の姿勢を調整することで、手動のセンタリング作業を行ってもよい。詳細については後述する。

【0016】

センタリング作業の重要な目的として、サイドトリマ４０による工程において耳切れが発生しないようにすることがある。耳切れとは、サイドトリマ４０によって切り落とされた鋼材１０Ａの端部分（耳）の幅が少なすぎて耳が歪な形状に切断されることや、耳が切断できないことである。耳切れは、例えば、鋼材１０Ａの搬送方向の姿勢がずれることで発生する。耳切れが発生することで、鋼材１０Ａの幅方向が規定のサイズに切断されていないことを意味している。耳切れが発生した場合、鋼材加工システム１を停止させる必要があり、製造効率が悪くなる。また、耳切れが発生した部分の鋼材は商品とならないため、損失が発生する。このように、上流側の状況だけでなく、下流側の状況から耳切れを予兆しつつ、上流側でのセンタリング作業を行う必要があり、熟練作業者の暗黙知によるところが大きかった。学習済モデル作成装置２００は、この熟練作業者の暗黙知を学習させた学習済モデルを作成するものである。

【0017】

アンコイラ２０は、上下から鋼材１０Ａを挟む複数のローラを備え、コイル状に巻かれた鋼材１０Ａを搬送路に向けて引き出す装置である。ラフレベラ３０は、上下から鋼材１０Ａを挟む複数のローラを備え、アンコイラ２０により引き出された鋼材１０Ａのひずみを軽減させる装置である。サイドトリマ４０は、鋼材１０Ａの両サイドを切断して幅方向（搬送方向と直行する方向）の長さを、規定のサイズに切り揃える装置である。本実施形態において、サイドトリマ４０は、鋼材１０Ａの両端を搬送方向に沿って切断する。これに限られず、サイドトリマ４０は、鋼材１０Ａの片方の端部を搬送方向に沿って切断するものでもよい。

【0018】

サイドトリマ４０の周辺には、サイドトリマ４０による切断位置Ｐ１を含む所定のエリアを撮像する第１カメラ７１が取り付けられている。切断位置Ｐ１は、搬送中の鋼材１０Ａの両端（一方の端１０Ｐ１Ｒと他方の端Ｐ１Ｌ）をサイドトリマ４０が切断する位置である。第１カメラ７１は、例えば、一方の端Ｐ１Ｒを含む所定エリアと、他方の端Ｐ１Ｌを含む所定エリアとを撮像する。

【0019】

ラフレベラ３０の周辺には、ラフレベラ３０の入り口のアンコイラ位置Ｐ２（ラフレベラ３０の搬送方向上流側）を含む所定エリアを撮像する第２カメラ７２が取り付けられている。第２カメラ７２は、例えば、鋼材１０Ａの一方の端部１０Ｒとラフレベラ３０とが接触する部分を含む所定エリアを撮像する。

【0020】

第１カメラ７１と第２カメラ７２は、熟練作業者の対象物の着目点を撮像するカメラの一例である。着目点とは、熟練作業者がセンタリング作業を行う際に着目する物理的な場所である。例えば、第１カメラ７１が撮像する着目点は切断位置Ｐ１であり、第２カメラ７２が撮像する着目点はアンコイラ位置Ｐ２である。なお、着目点の決定方法や具体例などについては後述する。第１カメラ７１や第２カメラ７２は、例えば、防水防塵加工されたカメラである。第１カメラ７１や第２カメラ７２は、それぞれ一台であってもよく、複数台であってもよい。

【0021】

なお、第１カメラ７１や第２カメラ７２により撮像されたタイミングと、制御装置１００が操作を受け付けたタイミングとは、例えば日本標準時で表されるタイムスタンプで対応付けられている。つまり、時刻情報をキーとして、操作が受け付けられた事実と、画像データとが対応づけられている。

【0022】

制御装置１００は、例えば、産業用Ｒａｓｐｂｅｒｒｙ Ｐｉ（登録商標）や、デジタルＩ/Ｏ入出力モジュールを含む装置である。制御装置１００は、工場ラインで使用されている信号のうち、レバー操作など機械学習に必要な信号を入力するとともに、調整装置１２を制御する制御信号を出力する。

【0023】

学習済モデル作成装置２００は、収集した情報に基づいて学習済モデルを作成し、作成した学習済モデルのデータを制御装置１００に出力する。この学習済モデルは、調整装置１２に対する熟練作業者の操作と鋼材１０Ａの搬送状況との関係性を学習させたモデルであり、例えば後述する熟練作業者Ｘの手振りの指示を参考にしたセンタリング作業や、後述する熟練作業者Ｙによるセンタリング作業などを事前に学習した学習済モデルである。

【0024】

図２を参照して、学習済モデルを作成する際の熟練作業者によるセンタリング作業の一例について、以下説明する。図２（Ａ）は、サイドトリマ４０の近傍で耳切れを注視している熟練作業者Ｘと、熟練作業者Ｘによる補助を参考にして制御装置１００を操作する熟練作業者Ｙとがいる例を示す。熟練作業者Ｘは、耳切れ予兆を察知して、熟練作業者Ｙに、耳切れを防止するために必要なセンタリング作業を補正するための合図を手振りで行う。また、熟練作業者Ｘは、同じラインの熟練作業者Ｙの方に合図するためのブザーを操作してもよい。このブザーが操作されたことを示す情報（ブザー信号）は、制御装置１００に出力される。これは、騒音の中で遠方にいる、アンコイラ作業者Ａに注意をうながし早期に耳切れの予兆に気づかせるための手法である。一方、熟練作業者Ｘが存在しない場合には、センタリング作業の精度が低下し、耳切れが発生する可能性が高まる。熟練作業者Ｘが補助することにより、熟練作業者Ｙは自身のアンコイラ工程でのセンタリング作業だけでなく、サイドトリマ工程での耳切れ予兆を監視する熟練者Ｘの着目点に基づく作業を行うことが可能となる。このようにして、熟練作業者Ｘが補助し、熟練作業者Ｙが調整装置１２を操作する学習シーンにおいて学習データと教師データを取得する方法を、一つ目の学習方法と記す。

【0025】

また、アンコイラ操作者自身が熟練した技能を有する場合、熟練作業者Ｘのような補助者が必要ない。図２（Ｂ）は、熟練作業者Ｙのみで制御装置１００を操作する例を示す。例えば、熟練作業者Ｙが、サイドトリマ４０の周辺を撮像した画像をモニタリングしながら、制御装置１００を自ら操作して、センタリング作業を行う。熟練作業者Ｙは、アンコイラ２０に引き出される鋼材１０Ａの搬送方向（搬送姿勢）を目視で確認するとともに、下流側でのサイドトリマ４０の周辺での耳幅をモニタを介して確認しながら、耳切れ予兆を察知して、耳切れを防止するために必要な補正をしながら、センタリング作業を行う。このように、熟練作業者Ｙがモニタでサイドトリマ４０付近を監視しながら調整装置１２を操作する学習シーンにおいて学習データと教師データを取得する方法を、以下、二つ目の学習方法と記す。

【0026】

図２（Ｃ）は、サイドトリマ４０の近傍で耳切れを注視している熟練作業者Ｘと、熟練作業者Ｘによる補助を参考にして制御装置１００を操作する非熟練作業者Ｂとがいる例を示す。非熟練作業者Ｂは、熟練作業者Ｘによる補助を受けながら、調整装置１２を操作する。このような学習シーンにおいて学習データと教師データを取得する方法を、以下、三つ目の学習方法と記す。学習済モデル作成装置２００は、上述のいずれか一つの学習シーンの下で学習済モデルを作成してもよく、異なるシーンにおいて得られた情報を組み合わせて学習済モデルを作成してもよい。

【0027】

制御装置１００は、学習済モデル作成装置２００により作成された学習済モデルを用いて、例えば熟練作業者Ｘの指示を模倣するように調整装置１２を自動制御する。こうすることで、熟練作業者Ｘが不在の場合であっても、耳切れの発生を防止することができる。また、制御装置１００は、学習済モデル作成装置２００により作成された学習済モデルを用いて、例えば熟練作業者Ｙの操作を模倣するように調整装置１２を自動制御する。こうすることで、アンコイラ作業者Ａが未熟な作業者であっても、耳切れの発生を防止することができる。

【0028】

制御装置１００は、例えば、上記の学習済モデルを使用し、第１カメラ７１からの画像データや第２カメラ７２からの画像データに基づき、切断位置に向かって搬送される鋼材１０Ａの搬送姿勢（搬送位置）を調整する調整装置１２を操作するための信号（以下、自動センタリング・アシスト信号と記す）を生成する。自動センタリング・アシスト信号は、例えば、類似操作に従った制御を調整装置１２に実行させるためのコマンド信号である。制御装置１００は、生成した自動センタリング・アシスト信号を調整装置１２に出力して、鋼材１０Ａの軸方向のずれを調整するように調整装置１２を制御する。そして、制御装置１００は、生成した自動センタリング・アシスト信号を、調整装置１２に対して制御信号を出力し、鋼材１０Ａの軸方向のずれを調整する。

【0029】

図３は、鋼材加工ＡＩシステム２の機能構成を断面的に示す図である。図３には、図１で図示を省略した複数のローラの一例を示す。また、図１では省略したが、サイドトリマ４０よりも下流側には、メインレベラ５０と、剪断部６０とが設けられていてもよい。メインレベラ５０は、ラフレベラ３０と同様に、上下から鋼材１０Ａを挟む複数のローラを備え、鋼材１０Ａのひずみを軽減させる装置である。剪断部６０は、鋼材１０Ａをコイルの軸方向両（犯行方向と直交する方向）で切断して、鋼材１０Ａを規定のサイズに切り出す装置である。

【0030】

［制御装置］
図４は、制御装置１００の機能構成の一例を示すブロック図である。制御装置１００は、例えば、機械操作部１１０と、機械表示部１２０と、取得部１３０と、処理部１４０と、記憶部１５０と、制御部１６０と、通信部１７０と、インタラクティブ・ユーザ・インターフェイス部１９０とを備える。制御装置１００は、第１カメラ７１および第２カメラ７２と有線で接続されている。

【0031】

機械操作部１１０は、例えば、上述した操作レバー１１０Ａ、各種キー、ボタン、ダイヤルスイッチ、マウスなどのうち一部または全部を含む。機械表示部１２０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置などである。機械操作部１１０と機械表示部１２０とは一体として形成されるタッチパネルＴＰであってもよい。

【0032】

インタラクティブ・ユーザ・インターフェイス部１９０は、例えばタブレット端末であり、操作部１９１と表示部１９２とを備える。インタラクティブ・ユーザ・インターフェイス部１９０は、熟練作業者の操作の仕方を表示したり、別工程での熟練作業者の着目点を表示したり、作業者がデータに付与するラベリング情報を受け付ける。また、インタラクティブ・ユーザ・インターフェイス部１９０は、システムの起動操作と停止操作、鋼材１０Ａの種類を選択する操作、鋼材１０Ａの厚みを選択する操作（例えば、３．２ｍｍと４．５ｍｍの厚みに応じた選択する操作を受け付け、操作内容を示す情報を出力する。インタラクティブ・ユーザ・インターフェイス部１９０は、調整装置１２を操作する操作者が目視可能な位置に設置されている。

【0033】

記憶部１５０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＤカード、レジスタ、ハードディスクドライブなどによって実現される。記憶部１５０には、例えば、画像データ１５１と、操作履歴情報１５２と、学習済モデルデータ１５３とが格納されている。画像データ１５１は、第１カメラ７１から出力された画像データと、第２カメラ７２から出力された画像データとを含む。画像データには、例えば、タイムスタンプが付与されている。操作履歴情報１５２は、機械操作部１１０が受け付けた操作内容を示す情報を含み、上述した通り、これらの情報には画像データのタイムスタンプと同期しているタイムスタンプが付与されている。学習済モデルデータ１５３は、学習済モデル作成装置２００により作成された学習済モデルのパラメータや接続構造、関数特性などを示すデータである。

【0034】

通信部１７０は、セルラー網やＷｉ－Ｆｉ網等を用いて、ネットワークＮＷに接続するためのハードウェアを有する。例えば、通信部１７０は、アンテナおよび送受信装置などを有する。通信部１７０は、ネットワークＮＷを介して、学習済モデル作成装置２００と、外部サーバ３００と通信する。これに限られず、通信部１７０は、有線で学習済モデル作成装置２００と接続され、通信するものであってもよい。

【0035】

取得部１３０は、例えば、画像取得部１３１と、電気信号取得部１３２とを備える。処理部１４０は、例えば、データストレージ部１４１と、ストリーミング映像送信部１４２と、表示制御部１４３と、推論部１４４とを備える。制御部１６０は、例えば、手動制御部１６１と、自動制御部１６２とを備える。処理部１４０および制御部１６０の機能のうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが、自身の記憶部に記憶されたプログラム（ソフトウェア）を実行することで実現される。また、これらの構成要素の機能のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部：circuitryを含む）によって実現されていてもよいし、ソフトウェアとハードウェアの協働によって実現されていてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0036】

画像取得部１３１は、例えば、第１カメラ７１から画像データを取得し、画像データ１５１の一部として記憶部１５０に格納する。また、画像取得部１３１は、第２カメラ７２から画像データを取得し、画像データ１５１の一部として記憶部１５０に格納する。例えば、学習済モデル作成装置２００によって学習済モデルを作成する場合、画像取得部１３１は、画像データを、学習済モデルを作成する学習データとして取得する。一方、調整装置１２を自動制御する場合、画像取得部１３１は、リアルタイムに取得した画像データを、学習済モデルの入力データとして推論部１４４に出力する。また、操作者のモニタリングのため、画像取得部１３１は、リアルタイムに取得した画像データを、ストリーミング映像送信部１４２に出力する。

【0037】

画像取得部１３１は、取得した画像データのうち熟練作業者により選択された画像データに対して、良好な学習データであることを示すラベリング情報を付与してもよい。ラベリング情報が付与される（熟練作業者により良好な学習データとして選択される）タイミングは、撮像された画像がリアルタイムにインタラクティブ・ユーザ・インターフェイス部１９０に表示されているときであってもよく、撮像された画像を後で読み出してインタラクティブ・ユーザ・インターフェイス部１９０に表示しているときであってもよい。こうすることにより、学習データを取得する際のデータ・クレンジングを容易にすることができる。なお、ラベリング情報に関するこれらの処理は、学習済モデル作成装置２００において実行されてもよい。

【0038】

電気信号取得部１３２は、機械操作部１１０を介して受け付けた調整装置１２に対する操作内容を示す情報（以下、操作履歴情報と記す）を取得し、操作履歴情報１５２の一部として、記憶部１５０に格納する。操作履歴情報には、例えば、センタリング作業において操作レバー１１０Ａを操作したときの電気信号であるセンタリング信号が含まれる。また、操作履歴情報には、センタリング作業をしながら熟練作業者Ｘや熟練作業者Ｙが着目した着目点の画像内の位置情報を第１カメラ７１や第２カメラ７２により撮像された画像のデータに付与した情報が含まれてよい。

【0039】

例えば、学習済モデル作成装置２００によって学習済モデルを作成する場合、電気信号取得部１３２は、学習データとしての画像データと同じタイムスタンプが付与された操作履歴情報を、教師データとして取得する。一方、調整装置１２を手動制御する場合、電気信号取得部１３２は、リアルタイムに取得した操作内容を示す情報を、手動制御部１６１に出力する。

【0040】

例えば、操作履歴情報は、例えば、熟練作業者Ｙが、第１カメラ７１により撮像された画像が機械表示部１２０やインタラクティブ・ユーザ・インターフェイス部１９０に表示されている状態で、ラフレベラ３０の入り口のアンコイラ位置Ｐ２を目視で確認しながら、機械表示部１２０やインタラクティブ・ユーザ・インターフェイス部１９０を監視しながら操作した操作の履歴である。これに限られず、第１カメラ７１により撮像された画像と、第２カメラ７２により撮像された画像との両方が機械表示部１２０に表示されている状態で、機械表示部１２０やインタラクティブ・ユーザ・インターフェイス部１９０を監視しながら熟練作業者Ｙが操作した操作の履歴であってもよい。これらいずれも、上述した二つ目の学習方法における操作履歴情報の一例である。これに限られず、操作履歴情報は、上述した一つ目の学習方法や三つ目の学習方法における操作履歴の情報であってもよい。

【0041】

また、電気信号取得部１３２は、熟練作業者Ｘが操作する操作部（図示を省略）からの出力に基づいて、同じラインの（熟練していない）アンコイラ作業者Ａの方に合図するためのブザー信号を取得し、操作履歴情報に含めてもよい。さらに、電気信号取得部１３２は、ライン停止時に不要なデータを取得することによるメモリ逼迫を防止するため、機械操作部１１０を介して取得したライン停止を判断する信号を、操作履歴情報に含めてもよい。また、電気信号取得部１３２は、最初のコイル巻き出し時に、作業者が機械操作部１１０を操作しなくても安定して鋼材１０Ａが流れるようになった時点で、機械操作部１１０に含まれる自動ボタンが押されると、その時の鋼材１０Ａの位置を安定に流動できる初期基準位置として取得し、操作履歴情報に含めてもよい。また、電気信号取得部１３２は、ラインが動いているかを検知するセンサからのセンサ信号や、遠方の熟練作業者同志で、緊急時に連絡をとりあう際のきっかけの合図を受け付けるブザーからのブザー信号を取得し、操作履歴情報に含めてもよい。

【0042】

データストレージ部１４１は、画像取得部１３１が取得したこれらの画像データや電気信号取得部１３２が取得した操作履歴情報を、通信部１７０を介して学習済モデル作成装置２００や外部サーバ３００に送信し、格納させる。

【0043】

ストリーミング映像送信部１４２は、画像取得部１３１によりリアルタイムに取得された画像データを、インタラクティブ・ユーザ・インターフェイス部１９０に出力する。インタラクティブ・ユーザ・インターフェイス部１９０が入力された画像データを表示部１９２に表示させることで、リアルタイムに第１カメラ７１（あるいは第２カメラ７２も含む）により撮像された画像を操作者に提供することができる。

【0044】

表示制御部１４３は、所定情報を機械表示部１２０に表示させる。また、表示制御部１４３は、所定情報をインタラクティブ・ユーザ・インターフェイス部１９０に出力し、各種操作画面や案内画像等を表示部１９２に表示させる。

【0045】

推論部１４４は、学習済モデルを使って、少なくとも第１カメラ７１からの画像データに基づき、調整装置１２に対する自動センタリング・アシスト信号を生成する。推論部１４４は、さらに第２カメラ７２からの画像データに基づき、学習済モデルを使って、調整装置１２に対する自動センタリング・アシスト信号を生成してもよい。

【0046】

また、推論部１４４は、リアルタイムに取得された画像データ（あるいは画像データから取得された情報）を学習済モデルに入力することで、調整装置１２に対する熟練作業者の操作に類似した操作（以下、類似操作と記す）を推定してもよい。類似操作は、例えば、切断位置よりも搬送方向の上流側において、搬送方向と直行する幅方向の鋼材１０Ａの位置ずれに対する調整量を調整するための操作内容である。具体的には、幅方向の右側に〇〇ｃｍ動かすために操作レバー１１０Ａを右側に××度傾けることなどが含まれる。推論部１４４による具体的な処理については、学習済モデル作成装置２００による処理を説明した後で、詳細に説明する。

【0047】

表示制御部１４３は、学習済モデルを用いて推論部１４４により推定された類似操作（熟練作業者の操作の仕方）を機械表示部１２０やインタラクティブ・ユーザ・インターフェイス部１９０に表示させる。こうすることで、手動制御に切り替えられた場合であっても、熟練者でないアンコイラ作業者Ａが、推奨手動レバー操作を参考にして、調整装置１２を制御することができる。

【0048】

また、推論部１４４は、リアルタイムに取得された画像データ（あるいは画像データから取得された情報）を学習済モデルに入力することで、調整装置１２に対する熟練作業者の着目点を推定してもよい。この場合の学習済モデルは、教師データとして、例えば、センタリング作業をしながら熟練作業者Ｘや熟練作業者Ｙが着目した着目点の画像内の位置情報を第１カメラ７１や第２カメラ７２により撮像された画像のデータに付与した情報が用いられる。表示制御部１４３は、学習済モデルを用いて推論部１４４により推定された熟練作業者の着目点を機械表示部１２０やインタラクティブ・ユーザ・インターフェイス部１９０に表示させる。

【0049】

手動制御部１６１は、操作レバー１１０Ａやその他の機械操作部１１０が受け付けた情報に基づいて、調整装置１２を制御する。なお、手動制御部１６１は、自動制御部１６２による自動制御が実行されている状態において、機械操作部１１０を介して作業者による操作が入力された場合、自動制御から手動制御に切り替える。

【0050】

自動制御部１６２は、推論部１４４により生成された自動センタリング・アシスト信号に基づいて、調整装置１２を自動的に制御する。例えば、自動制御部１６２は、自動センタリング・アシスト信号を、ＰＬＣ（Programmable Logic Controller：プログラマブルロジックコントローラ）に出力することにより、調整装置１２を制御して、自動センタリング制御を行う。例えば、推定される熟練作業者の操作が操作レバー１１０Ａを右側に××度傾けることである場合、幅方向の右側に〇〇ｃｍ動かすための自動センタリング・アシスト信号を生成し、調整装置１２に出力する。こうすることで、熟練作業者が機械操作部１１０を介して操作したときの制御を自動化で再現することができる。

【0051】

また、自動制御部１６２は、自動制御の開始タイミングと終了タイミングとを判定し、開始タイミングに到達した場合に自動制御を開始し、終了タイミングに到達した場合に自動制御を終了する。例えば、自動制御部１６２は、機械操作部１１０に含まれる自動ボタンが押された場合、自動制御を開始する。コイル状の鋼材１０Ａが終端に近づき、機械操作部１１０に含まれる手動ボタンが押された場合、自動制御部１６２は、自動制御を解除し、手動操作に戻る。制御装置１００は、自動制御が開始されてから終了されるまで、推論部１４４による推定処理と、自動制御部１６２による制御信号出力とを繰り返す。なお、自動制御の終了タイミングには、手動制御への切替条件を満たす場合も含まれる。

【0052】

なお、自動制御部１６２は、推論部１４４により生成された自動センタリング・アシスト信号に基づく制御が規定範囲内であるか否かを判定し、規定範囲内である場合、推論部１４４により推定された自動センタリング・アシスト信号に基づいて調整装置１２を自動的に制御する。一方、規定範囲内でない場合、自動制御部１６２は、規定範囲内の制御を実行する。この規定範囲内の制御は、事前に設定されていてもよく、推論部１４４により生成された自動センタリング・アシスト信号に基づく制御を規定範囲内の制御に変更したものであってもよい。こうすることにより、未知の入力データに対しても出力を保証することが可能であり、深層学習による推論結果から得られる出力が規定範囲内で限定されるように制限することができる。つまり、自動制御部１６２は、フェイルセーフ（fail safe）機能を有し、誤操作・誤動作による障害が発生した場合であっても安全に制御することができ、信頼性を向上させることができる。そのため、推論部１４４による推論結果で制御を実施するためには、推論結果から得られる出力が規定範囲内で限定されるように制限するなどフェイルセーフが不可欠となる。詳細については、後述する。

【0053】

また、自動制御部１６２は、フェイルセーフ機能と同様の理由で、推論部１４４の出力結果が想定外の動きをした場合に、動作を監視している作業者が手動で正しく操作を補正できるようにするためTake Over機能を有する。例えば、自動制御部１６２は、推論部１４４により推定された操作内容に基づく自動制御を実行中に、機械操作部１１０を介して操作を受け付けた場合、機械操作部１１０を介して受け付けた操作に基づく手動制御に切り替える。

【0054】

例えば、自動制御部１６２は、自動センタリング・アシスト信号の出力時に誤って過大なレバー操作信号が調整装置１２に出力されないよう設定された、制御出力の時間と回数に関するリミッタに基づいて、各部を制御してよい。例えば、自動制御中に、アンコイラ作業者Ａが手動で操作レバー１１０Ａを操作した場合、自動制御部１６２は、人との衝突を避けるために直ちに自動センタリング制御のゲインを落として自動制御を中断し、手動を優先するTake overを実施する。また、緊急時に緊急停止ボタンが押された場合、自動制御部１６２は、直ちに自動制御を停止し手動に復帰させてよい。

【0055】

図５は、学習シーンにおける制御装置の処理の一例を示す図である。例えば、画像取得部１３１は、第１カメラ７１により撮像された画像のデータと第２カメラ７２により撮像された画像のデータを、学習済モデルを作成するための学習データとして取得する。同時に、電気信号取得部１３２は、機械操作部位１１０を操作した結果である電気信号（操作履歴情報）を、教師データとして取得する。データストレージ部１４１は、画像取得部１３１が取得したこれらの画像データや電気信号取得部１３２が取得した操作履歴情報を、通信部１７０を介して学習済モデル作成装置２００や外部サーバ３００に送信し、格納させる。

【0056】

また、データストレージ部１４１は、画像取得部１３１が取得した画像データをストリーミング映像送信部１４２に出力する。ストリーミング映像送信部１４２は、入力された画像データを、インタラクティブ・ユーザ・インターフェイス部１９０に出力し、表示部１９２に表示させる。また、インタラクティブ・ユーザ・インターフェイス部１９０は、操作部１９１を介して入力された熟練作業者の操作内容を出力し、電気信号取得部１３２が操作履歴情報の一部として取得し、教師データに含めてもよい。

【0057】

図６は、制御シーンにおける制御装置の処理の一例を示す図である。例えば、画像取得部１３１は、第１カメラ７１や第２カメラ７２からリアルタイムに取得した画像データを、学習済モデルの入力データとして推論部１４４に出力する。自動制御が実行中である場合、推論部１４４は、学習済モデルを使って、入力した画像データに基づき自動センタリング・アシスト信号を生成し、自動制御部１６２に出力する。自動制御部１６２は、推論部１４４により生成された自動センタリング・アシスト信号に基づいて、調整装置１２を自動的に制御する。

【0058】

また、推論部１４４は、リアルタイムに取得された画像データを学習済モデルに入力することで、調整装置１２に対する熟練作業者の操作に類似した類似操作を推定する。表示制御部１４３は、推定された類似操作を機械表示部１２０やインタラクティブ・ユーザ・インターフェイス部１９０に表示させる。類似操作は、自動制御の実行中も、手動制御の実行中も、表示されてよい。

【0059】

手動制御が実行中である場合、電気信号取得部１３２は、リアルタイムに取得した操作内容を示す情報を、手動制御部１６１に出力する。手動制御部１６１は、入力された操作内容に従って調整装置１２を制御する。

【0060】

［学習済モデル作成装置］
図７は、学習済モデル作成装置２００の機能構成の一例を示すブロック図である。学習済モデル作成装置２００は、例えば、処理部２４０と、記憶部２５０と、通信部２７０とを備える。記憶部２５０と通信部２７０は、上述した記憶部１５０と通信部１７０と同様の構成であってよく、詳細な説明は省略する。また、学習済モデル作成装置２００は、上述したインタラクティブ・ユーザ・インターフェイス部１９０と同様の構成を備えていてもよい。また、学習済モデル作成装置２００は、第１カメラ７１、第２カメラ７２、および機械操作部１１０と直接接続されていてもよい。

【0061】

処理部２４０は、例えば、取得部２４１と、データ収集部２４２と、学習処理部２４３と、検証部２４４と、を備える。これらの機能部のうち一部または全部は、例えば、ＣＰＵなどのプロセッサが、自身の記憶部に記憶されたプログラム（ソフトウェア）を実行することで実現される。また、これらの構成要素の機能のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部：circuitryを含む）によって実現されていてもよいし、ソフトウェアとハードウェアの協働によって実現されていてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0062】

取得部２４１は、熟練作業者が着目するポイントに関する情報（以下、着目情報と記す）を取得し、記憶部２５０の着目情報２５２に格納する。例えば、取得部２４１は、熟練作業者からのヒアリングによって、熟練作業者が制御装置１００と鋼材１０Ａの何処に注意を払い、何に着目しているかについて話を聞いた内容の情報（以下、ヒアリング内容情報と記す）を着目情報として取得する。また、取得部２４１は、視線検知装置（図示を省略）で、熟練作業者の視線を検知することで、熟練作業者が着目している箇所を示す情報（以下、視線情報と記す）を着目情報として取得してもよい。さらに、取得部２４１は、記録された上記視線検知装置による熟練者の視線情報を元に、熟練作業者にヒアリングすることにより、着目した理由も含め、ヒアリング内容情報を取得してもよい。このように、視線検知装置による検知結果と熟練作業者からのヒアリングとを組み合わせることにより、なぜそこに熟練作業者が着目したのかの理由を含む着目情報を取得することができ、より正確な着目点の情報を取得することもできる。

【0063】

また、取得部２４１は、第１カメラ７１や第２カメラ７２により撮像された画像に、熟練作業者が着目している箇所を示す情報を対応付けた情報を着目情報として取得してもよい。なお、ここでいう熟練作業者には、サイドトリマ４０の近傍で耳切れを注視しながらアンコイラ作業者Ａに指示する技術が優れている熟練作業者Ｘと、制御装置１００を操作してセンタリングする技術が優れている熟練作業者Ｙのうち少なくとも一方が含まれる。

【0064】

例えば、熟練作業者Ｘは、切断位置における耳の幅方向の長さの変化、左右の耳の幅方向のバランスの変化、切断された耳の歪みなどの変化に着目している。例えば、熟練作業者Ｙは、鋼材１０Ａの搬送時の基準位置を示すレーザ光線と鋼材１０Ａとの相対的な位置関係や、ラフレベラ３０のローラと鋼材１０Ａとの接点の変化に着目している。

【0065】

なお、第１カメラ７１や第２カメラ７２を設置する管理者は、取得部２４１により取得された情報に基づいて、熟練作業者が着目する箇所（注視している箇所を含む）を撮像するように、第１カメラ７１や第２カメラ７２の設置位置を決定する。

【0066】

例えば、第１カメラ７１は、切断位置において熟練作業者が着目する所定のエリア（以下、第１着目エリアと記す）を撮像するように設置される。第２カメラ７２は、センタリング作業において熟練作業者が着目する所定のエリア（以下、第２着目エリアと記す）を撮像するように設置される。第１着目エリアは、例えば、サイドトリマ４０により切断された両端の耳の幅方向の長さを取得可能なエリアである。第２着目エリアは、例えば、ラフレベラ３０のローラと鋼材１０Ａの接点にあたる鋼板エッジ位置を含むエリアである。詳細については後述する。

【0067】

第１着目エリアや第２着目エリアは、例えば、熟練作業者Ｘや熟練作業者Ｙからのヒアリングや視線検知テスト結果により管理者によって決定される。熟練作業者Ｘや熟練作業者Ｙが、機械と素材（鋼材）の何処に注意を払い、何に着目しているかについて話を聞くことで、着目エリアが決定される。なお、着目エリアは、ヒアリング以外の上述した着目情報に基づいて、管理者により決定されてもよい。

【0068】

なお、着目エリアは、第１カメラ７１からの画像データや第２カメラ７２からの画像データなどの画像処理結果や着目情報を入力情報として、学習処理部２４３がディープラーニングにより決定してもよい。例えば、学習処理部２４３は、画像データの画像認識結果に基づいて、着目情報が示す特徴点やルールを抽出し、抽出結果に基づいて着目エリアを決定する。

【0069】

また、取得部２４１は、学習済モデルを作成するための生データを取得する。例えば、取得部２４１は、第１カメラ７１の撮像により得られた画像データを外部サーバ３００から取得し、データ収集部２４２に出力する。また、取得部２４１は、第２カメラ７２の撮像により得られた画像データを外部サーバ３００から取得し、データ収集部２４２に出力する。また、取得部２４１は、調整装置１２に対する操作内容を示す情報を外部サーバ３００から取得し、データ収集部２４２に出力する。

【0070】

なお、第１カメラ７１から出力された画像データと、第２カメラ７２から出力された画像データと、制御装置１００の機械操作部１１０が受け付けた操作履歴情報とは、上述した通り、同期しているタイムスタンプが付与されている。

【0071】

データ収集部２４２は、取得部２４１により取得された生データを、生データ２５１の一部として記憶部２５０に格納する。また、データ収集部２４２は、取得部２４１により取得された画像データから、熟練作業者が着目している着目点の遷移を示す情報を学習データとして抽出し、学習データ２５３の一部として格納する。また、データ収集部２４２は、取得部２４１により取得された操作機歴情報から、熟練作業者によるセンタリング信号を教師データとして抽出し、教師データ２５４の一部として格納する。こうすることにより、学習処理部２４３は、熟練者が保有する熟練技能（暗黙知）を学習させた学習済モデルを生成することができる。

【0072】

なお、データ収集部２４２は、取得した生データや抽出した学習データや教師データを外部サーバ３００に送信して格納しておき、学習済モデルを作成する際に外部サーバ３００から読み出してもよい。また、データ収集部２４２は、例えばラベリング情報に基づいて、生データのうち、有効なデータをクレンジングで抽出した後、抽出された画像データに前処理を行った後、Ｄ.Ｌ.（Deep Learning）で画像認識し、学習データとしてニューラルネットワークモデルに与えてもよい。

【0073】

例えば、データ収集部２４２は、第１カメラ７１の撮像により得られた画像データから特徴（着目点）をつかみやすい位置を求めるＣＮＮ（Convolutional Neural Network）による画像前処理を実行する。例えば、データ収集部２４２は、画像データからカットした左右の耳幅の長さを示す複数の位置を求めるＣＮＮモデル（以下、ＣＮＮ２モデルと記す）で鋼板エッジとサイドトリマ４０の刃でカットした左右の耳幅値を示す情報（以下、耳幅値情報と記す）を画像認識により得て、耳幅値情報にタイムスタンプを付与した情報を、学習データ２５３の一部として記憶部２５０に格納する。

【0074】

また、データ収集部２４２は、例えば、第２カメラ７２の撮像により得られた画像データから特徴をつかみやすい位置を求めるＣＮＮモデル（以下、ＣＮＮ１モデルと記す）による画像前処理を実行する。例えば、第２カメラ７２として、鋼材１０Ａのコイル支持部１０の軸方向の変位量が明確に判明でき、かつ光の映り込みや、影にならず、作業者の作業の支障にならない場所にレイアウトされた工業用ＧｉｇＥカメラを使用する。

【0075】

図８は、第２カメラ７２の画像データから抽出される学習データの一例を示す図である。データ収集部２４２は、画像の特徴量が鮮明になり学習しやすいように、第２カメラ７２の画像データＤ１を適正なサイズに切り取り、正規化データＤ２を生成する。例えば、データ収集部２４２は、例えば、着目情報２５２を参照し、熟練作業者による着目点を含む所定サイズを切り出すように、正規化データＤ２のサイズや位置を決定し、決定されたサイズや位置で正規化された正規化データＤ２を取得する。

【0076】

例えば、データ収集部２４２は、ラフレベラ３０のローラと鋼材１０Ａの接点にあたる鋼板エッジ位置をＣＮＮ２モデルで画像認識した情報（以下、エッジ位置情報と記す）を生成する。例えば、データ収集部２４２は、鋼板エッジ位置のみが白となっている二値化画像Ｄ３に基づいて、画像データＤ１における鋼板エッジ位置を示すエッジ位置情報を取得する。データ収集部２４２は、生成した正規化データＤ２と、生成したエッジ位置情報に、それぞれ画像データＤ１に付与されていたタイムスタンプを付与して、学習データ２５３の一部として記憶部２５０に格納する。

【0077】

図９は、ＣＮＮモデルの構成例を示す図である。学習済モデルとなる機械学習モデルとして、領域分割に優れたエンコーダ・デコーダ方式のＣＮＮモデルを使用した。

【0078】

学習処理部２４３は、例えば、切断位置において熟練作業者が着目する所定のエリア（第１着目エリア）を撮像した複数の画像を用いて学習された学習済モデルを作成する。

【0079】

例えば、学習処理部２４３は、アンコイラ工程とトリマ工程という無駄時間の異なる２つの系によって概略構成される学習済モデルを作成する。図１０は、学習処理部２４３による学習ソフトウェア構成の概念図の一例を示す図である。

【0080】

まず、学習処理部２４３は、それぞれ同じタイムスタンプが付与されたエッジ位置情報を学習データ、センタリング信号Ｔ１を教師データとして、ＲＮＮ１モデルに入力し、無駄時間の短いアンコイラ系モデルを生成する。ＲＮＮ１モデルは、例えば、アンコイラ側の熟練作業者Ｙの着目点が反映された自動センタリング・アシスト信号を予測するためのモデルである。センタリング信号Ｔ１は、上述した学習方法のいずれかにおいて熟練操作者等が操作した操作内容の履歴である。なお、学習処理部２４３は、学習データとしてさらに、コイル支持部１０の回転速度を、ＲＮＮ１モデルに入力してもよい。

【0081】

次いで、学習処理部２４３は、例えば、熟練作業者Ｙが、遠方にあるサイドトリマの画像モニタを観察し耳切れ予兆を画像から予見して、耳切れを回避するために操作レバー１１０Ａを手動で操作している時のセンタリング信号Ｔ２を、生データ２５１から読み出す。なお、センタリング信号Ｔ２は、上述した学習方法のいずれかにおいて熟練操作者等が操作した操作内容の履歴であってもよい。

【0082】

そして、学習処理部２４３は、それぞれ同じタイムスタンプが付与された耳幅情報を学習データ、センタリング信号Ｔ２を教師データとして、ＲＮＮ２モデルに入力し、推論して自動センタリング補正用の耳切防止信号を予測するサイドトリマ系モデルを生成する。ＲＮＮ２モデルは、例えば、サイドトリマ側の熟練作業者Ｘの着目点が反映された自動センタリング・アシスト信号を予測するためのモデルである。

【0083】

制御装置１００による推定工程において、アンコイラ系モデルによる推定結果と、サイドトリマ系モデルによる推定結果とを合成することにより、自動センタリング・アシスト信号を生成する。

【0084】

学習処理部２４３は、アンコイラ工程とサイドトリマ工程とをそれぞれ独立したモデルで扱い、２つのモデルで構成される学習済モデルを生成し、それぞれのモデルによる推定結果を合成することにより、無駄時間の異なる制御系を１つのモデルとして取り扱うことができる。詳細については後述する。

【0085】

これに限られず、学習処理部２４３は、シミュレーション結果に基づいて、学習済モデルを生成してもよい。上述したように作成したＲＮＮモデルに学習データを入力し、推論させても正答率があがらない場合がある。この場合、まず正解の判明している実験データに合致するように、学習処理部２４３は、合成した入出力学習データセットでＲＮＮモデルのシミュレーションを行い、正答率をあげるように、モデル構成やハイパーパラメータを見直してもよい。入出力学習データセットとは、同じタイムスタンプの学習データと教師データのセットである。

【0086】

さらに、実データを使って実施したシミュレーション結果が、実際の作業者のレバー操作の操作内容により近似するように、短い時間での鋼材位置の変化を無視して、長い時間の位置変化にのみ予測出力できるようＬＳＴＭのタイムステップのチューニングを行ってもよい。

【0087】

また、学習に必要なデータ数に関しても、シミュレーションによって確認を行ってもよい。図１１は、学習処理部２４３が使用したＲＮＮモデルの概略構成の一例を示す図である。図示の通り、中間層にはＬＳＴＭ（Long short-term memory）層を用い、より過去の情報を学習に用いることを可能にしている。

【0088】

検証部２４４は、使用したＲＮＮモデルの妥当性を確認するために、あらかじめ答えの判明しているデータセットをシミュレーションデータとして与えて学習したＲＮＮの推論結果を正解と確かめることにより、モデルの妥当性を示す情報を算出する。シミュレーションデータについては、シミュレーション鋼板エッジをランダムに移動させ、操作なし範囲から閾値を超えた場合に閾値内に移動させるための入力を行うこととし、物理条件での算出式から信号入力データを作成した。

【0089】

図１２は、シミュレーションを行った結果の一例を示す図である。実線がシミュレーション理想データ、破線がＡＩ推論結果である。図示の結果からわかるように、信号の入力方向、入力時間や入力タイミングが、ほぼ一致していることが分かる。

【0090】

一方、検証部２４４は、最低必要な学習データ数をシミュレーションによって見極めると共に、実データが正しくセンタリングのための操作なのかを検証してもよい。こうすることで、典型的なお手本データとみなせるデータに、インタラクティブ・ユーザ・インターフェイス部１９０を使って作業者にラベリングしてもらうことにより、データ・クレンジングの時間を短縮することが可能である。また、鋼材が安定して流れていると判断した時にアンコイラ作業者Ａがインタラクティブ・ユーザ・インターフェイス部１９０に含まれる自動ボタンをＯＮし、この操作内容を示す情報を学習データや教師データに含めることにより、基準位置を取り込むようにしてもよい。

【0091】

［制御装置１００による推定処理］
次に、制御装置１００による推定処理について詳細に説明する。図１３は、画像データから抽出される学習済モデルへの入力データの一例を示す図である。図１４は、制御装置１００による推定処理における概念図である。図１５は、制御装置１００による推定処理の一例を示すフローチャートである。先に、操作者はインタラクティブ・ユーザ・インターフェイス部１９０を介して、鋼材１０Ａの種類を選択しておく。こうすることで、鋼材の種類ごとに取得されたデータに基づいて、鋼材の種類ごとに学習済モデルを作成することができる。

【0092】

まず、推論部１４４は、第２カメラ７２の撮像により得られた画像データから特徴をつかみやすい位置を求めるＣＮＮによる画像前処理を実行する。例えば、推論部１４４は、画像の特徴量が鮮明になり学習しやすいように、画像データＤ１１を適正なサイズに切り取り、正規化データＤ１２を取得する。さらに、推論部１４４は、鋼板エッジ位置のみが白となっている二値化画像Ｄ１３に基づいて、ラフレベラ３０のローラと鋼材１０Ａの接点にあたる鋼板エッジ位置をＣＮＮで画像認識した情報（エッジ位置情報）を取得し、画像データＤ１１にエッジ位置情報を示す二値化画像Ｄ１４を生成する。つまり、二値化画像Ｄ１４は、元データサイズに復元した推論結果である。推論部１４４は、二値化画像Ｄ１４にタイムスタンプを付与した情報を、入力データとして取得する（ステップＳ１）。

【0093】

次いで、推論部１４４は、ステップＳ１で取得した入力データを、ＲＮＮのアンコイラ系モデル（学習済モデル）に与えて推定結果を取得する。

【0094】

また、推論部１４４は、第１カメラ７１の撮像により得られた左側の耳の画像データから特徴をつかみやすい位置を求めるＣＮＮによる画像前処理を実行する。例えば、推論部１４４は、左側の耳の画像データからＣＮＮで鋼板エッジとサイドトリマ４０の刃でカットした左の耳幅値を画像認識により得て、認識結果（左側耳幅値情報）にタイムスタンプを付与した情報を、入力データとして取得する（ステップＳ２）。

【0095】

さらに、推論部１４４は、第１カメラ７１の撮像により得られた右側の耳の画像データから特徴をつかみやすい位置を求めるＣＮＮによる画像前処理を実行する。例えば、推論部１４４は、右側の耳の画像データからＣＮＮで鋼板エッジとサイドトリマ４０の刃でカットした右の耳幅値を画像認識により得て、認識結果（右側耳幅値情報）にタイムスタンプを付与した情報を、入力データとして取得する（ステップＳ３）。

【0096】

次いで、推論部１４４は、ステップＳ２で取得した入力データと、ステップＳ３で取得した入力データとを、ＲＮＮのサイドトリマ系モデル（学習済モデル）に与えて、推定結果を取得する。

【0097】

そして、推論部１４４は、アンコイラ系モデルによる推定結果と、サイドトリマ系モデルによる推定結果とを合成することにより、ＲＮＮ推論による自動センタリング・アシスト信号を生成する（ステップＳ４）。

【0098】

なお、同様にして、推論部１４４は、類似操作内容を推定してもよい。

【0099】

図１６は、制御装置１００における自動制御の処理フローの一例を示すフローチャートである。自動制御部１６２は、自動制御の開始タイミングに到達した場合に自動制御を開始する（ステップＳ１１）。自動制御部１６２により自動制御が開始されると、推論部１４４は学習済モデルにリアルタイムで取得された画像データ等を入力し、自動センタリング・アシスト信号を生成する（ステップＳ１２）。次いで、自動制御部１６２は、推論部１４４により生成された自動センタリング・アシスト信号に基づき、調整装置１２を制御する（ステップＳ１３）。そして、自動制御部１６２は、自動制御の終了タイミングに到達した場合に自動制御を終了する（ステップＳ１４）。一方、自動制御の終了タイミングに到達しない場合、自動制御部１６２は、ステップＳ１１に戻って処理を繰り返す。

【0100】

図１７は、制御装置１００におけるフェイルセーフとTake Overの処理フローの一例を示すフローチャートである。制御装置１００は、学習済モデルの推定に基づく自動センタリング・アシスト信号を、そのまま出力してしまわない様に何重にもインターロックをかけてもよい。

【0101】

例えば、推論部１４４により推定された自動センタリング・アシスト信号が入力された場合（ステップＳ２１）、自動制御部１６２は、（１）出力許可状態であるか否かを判定する（ステップＳ２２）。出力許可状態である場合、自動制御部１６２は、（２）自動出力自体が異常ではないか否かを判定する（ステップＳ２３）。自動出力自体が異常ではない場合、自動制御部１６２は、（３）人の操作が入った時の入力と自動出力が同じであるか否かを判定する（ステップＳ２４）。人の操作が入った時の入力と自動出力が同じである場合、自動制御部１６２は、これら（１）～（３）のすべての条件を満たすため、推論部１４４により推定された操作内容に基づく自動制御の制御信号をそのまま使用する（ステップＳ２５）。

【0102】

一方、ステップＳ２２の判定において出力許可状態でない場合、自動制御部１６２は、ステップＳ２１に戻って処理を繰り返す。この場合、許可状態にする必要がある。

【0103】

また、ステップＳ２３の判定において自動出力自体が異常である場合、ステップＳ２４の判定において人の操作が入った時の入力と自動出力が同じでない場合（人の操作がない場合も含む）、自動制御部１６２は、出力許可を解除し（ステップＳ２６）、制御出力による異常な動作を防ぐことができる。

【0104】

図１８は、制御装置１００における自動出力許可の処理フローの一例を示すフローチャートである。自動出力の許可を簡単にできない様にするため、所定の手順を踏んで行う必要がある。所定の手順については、例えば、操作者が機械操作部１１０を介して特定のパターンデータを所定の順に入力する方法や、操作者が機械操作部１１０を介して自動制御の許可を指示した時から一定時間が経過するまでに自動制御を開始する方法等が含まれる。

【0105】

まず、自動制御部１６２は、自動出力を許可するための手順を実行し（ステップＳ３１）、所定の許可手順の通り設定されたか否かを判定する（ステップＳ３２）。ステップＳ３２の判定において、所定の許可手順の通り設定されていた場合、自動制御部１６２は、自動制御の出力許可状態とする（ステップＳ３３）。一方、ステップＳ３２の判定において、所定の許可手順の通り設定されていなかった場合、自動制御部１６２は、自動制御の出力不許可状態とする（ステップＳ３４）。

【0106】

こうすることで、手順通りに出力許可の設定が行われた時に初めて、自動出力を許可することができるようになる。つまり、手順を踏んで設定を行わなかった場合は自動出力が許可されない。また自動出力許可の解除は、手順を踏まずに容易にできるようにする。

【0107】

図１９は、推定結果に基づく制御信号と熟練作業者の操作タイミングとの比較を示す図である。細い実線は、第２カメラ７２の撮像画像から学習済モデルを使って画像認識した特徴点（ラフレベラ３０のローラと鋼材１０Ａの接点にあたる鋼板エッジ位置）を示す情報である。太い実線は、学習済モデルで推定した結果に基づく制御信号を示す情報である。太い破線は、熟練作業者Ｙによる操作履歴を示す情報である。マークＭ１～Ｍ３において、熟練者の操作とほぼ近似したタイミングで推論結果による制御信号が出力されていることがわかる。

【0108】

［インタラクティブ・ユーザ・インタフェース］
まず、インタラクティブ・ユーザ・インタフェース部１９０に含まれる操作機能の一例について説明する。インタラクティブ・ユーザ・インタフェース部１９０は、鋼板選択ボタンと、お手本ＯＫボタンと、自動ボタンと、手動ボタンとを含む。鋼板選択ボタンは、作業者がデータに鋼板種類をラベリングするボタン押すと、ＯＮでＳＷ.点灯、更に押すとＯＦＦで消灯となる。お手本ＯＫボタンは、作業者が正しいデータであると認定するボタン押すとＯＮでＳＷ.点灯、板抜けセンサ信号でＯＦＦ消灯となる。自動ボタンは、コイル巻き出しはじめに頻繁にレバー操作しなくても鋼板が流れるようになった時に、自動センタリング・アシストを開始するためのボタンであり、押すと自動になり点灯、コイル終端信号で点滅し、再度押すと手動に切り替わり消灯となる。手動ボタンは、緊急時のシステム動作を停止し手動に戻すボタンであり、押すとＯＮでＳＷ.点灯、もう一度押すとＯＦＦでＳＷ.消灯となる。

【0109】

次いで、インタラクティブ・ユーザ・インタフェース部１９０に含まれる表示機能の一例について説明する。以下に説明する表示機能は、表示制御部１４３による制御により実行される。

【0110】

例えば、自動センタリング時において、インタラクティブ・ユーザ・インタフェース部１９０は、レバー操作を表示し、作業者にレバー操作方向を教示する情報を表示する。インタラクティブ・ユーザ・インタフェース部１９０は、トリマ耳切画像モニタ部分に、作業者にトリマ耳切画像を表示する。インタラクティブ・ユーザ・インタフェース部１９０は、コイル終端を表示し、作業者にコイル終端が近いことを知らせる情報を表示する。インタラクティブ・ユーザ・インタフェース部１９０は、データ取得ステイタスを表示し、開始と、データ取り込み中と、終了のステイタスとを表示する。インタラクティブ・ユーザ・インタフェース部１９０は、エラーを表示し、データ取得時のエラー発生を知らせる情報を表示する。

【0111】

図２０は、インタラクティブ・ユーザ・インタフェース部１９０における表示画面の一例を示す図である。表示画面４００は、左側画面の上段に板仕様の選択ボタン４０１を備え、下段に手動制御と自動制御との切り替えボタン４０３を備える。表示画面４００の左側画面の中段は、熟練者から学んだ機械操作信号の向きを示す表示エリア４０２である。表示画面４００は、右側画面に、遠方のサイドトリマ工程におけるＷ.Ｓ.とＤ.Ｓ.のトリマによって切断された鋼材の切れ端（通称/耳）の幅をモニタできる画面を配置している。

【0112】

図２１は、インタラクティブ・ユーザ・インタフェース部１９０における表示画面の他の例を示す図である。表示画面４１０には、予測される耳幅の変化及びオペレータの操作によって、これからどのように耳幅が変化していくかの予測を、モニタ画像にオーバーレイしたＡＲで表示することもできる。この表示画面４１０を使って、熟練作業者に、現在取得したデータが、作業のお手本として適切な場合にお手本データとしてよいかを確認する、お手本ＯＫボタンを画面上に設けた。例えば、お手本ＯＫボタンが操作された時に表示画面４１０に表示されている画面データに対してラベリング情報が付与される。これにより、膨大な収集データの中から、熟練作業者が正しいと認めた学習データのみを抽出でき、学習データをクレンジングする際に有効となる。

【0113】

図２２は、センタリング作業の比較について説明するための図である。図２２（Ａ）は、従来のセンタリング作業を説明するための図である。従来のセンタリング作業では、熟練作業者Ｘが、サイドトリマ４０の着目点を映すモニターカメラの映像から、サイドトリマ４０による切断位置Ｐ１付近を目視で監視し、耳切れの予兆を認知して、鋼材をどちらに寄せるべきかを判断し、右方向、左方向を手振りの連続動作で熟練作業者Ｙに知らせていた。この熟練作業者Ｘの手振りを熟練作業者Ｙが解釈することにより、センタリングを補正して、耳切れを回避していた。

【0114】

図２２（Ｂ）は、教師データを収集する際のセンタリング作業を説明するための図である。ここでは、熟練作業者Ｘは必要なく、熟練作業者Ｙだけでよい。制御装置１００のインタラクティブ・ユーザ・インターフェイス部１９０には、サイドトリマ４０による切断位置Ｐ１付近を撮像した画像が表示されている。熟練作業者Ｙは、このインタラクティブ・ユーザ・インターフェイス部１９０を監視しながら、ラフレベラ３０の入り口のアンコイラ位置Ｐ２を目視で確認しつつ、操作レバー１１０Ａを操作する。このときの操作履歴情報が教師データの一部となる。

【0115】

図２２（Ｃ）は、制御装置１００による自動制御で行うセンタリング作業を説明するための図である。制御装置１００には、学習済モデルが格納されているため、サイドトリマ４０による切断位置Ｐ１付近を撮像した画像と、ラフレベラ３０の入り口のアンコイラ位置Ｐ２を撮像した画像に基づく情報を、学習済モデルに入力することで、熟練作業者による操作を推定し、推定された操作内容に従って調整装置１２を制御する。

【0116】

以上説明した実施形態によれば、熟練作業者が保有している暗黙知に着目して得られた学習済モデルを用いて制御を行うことができる。

【0117】

また、熟練作業者の技能の大半は暗黙知であり、言語化できないために、従来からあるエキスパートシステムでは、多くの重要な熟練者の技能を獲得することができない。本実施形態によれば、深層学習の特徴量を自動で学習する特徴を生かして、熟練者の暗黙知をそのまま学習して、熟練者に、ならって機械を制御することができる。また、複数の熟練作業者が分散して保有している暗黙知を学習して、複数の熟練者の作業を集約して機械を制御することができる。

【0118】

（第２実施形態）
制御装置１００は、教師データとする操作履歴情報を取得する際に、熟練作業者の鋼材１０Ａの着目点に関する情報（例えば、上述の着目情報）をインタラクティブ・ユーザ・インタフェース部１９０に表示させてもよい。インタラクティブ・ユーザ・インタフェース部１９０に表示される着目情報は、テキスト情報であってもよく、第１カメラ７１（あるいは第２カメラ７２）により撮像された画像をリアルタイムに表示する画面上に重畳して、着目箇所を目立たせるマーカ等であってもよい。

【0119】

また、制御装置１００は、教師データとする操作履歴情報を取得する際に、熟練作業者による過去の操作履歴に基づく推奨手動レバー操作をインタラクティブ・ユーザ・インタフェース部１９０に表示させてもよい。推奨手動レバー操作は、耳切れを防止するために過去に熟練作業者が実行した操作である。インタラクティブ・ユーザ・インタフェース部１９０に表示される操作履歴報は、テキスト情報であってもよく、第１カメラ７１（あるいは第２カメラ７２）により撮像された画像をリアルタイムに表示する画面上に重畳して、操作履歴所を目立たせるマーカ等であってもよい。

【0120】

本実施形態において、制御装置１００は、熟練作業者による着目情報、あるいは、熟練作業者による過去の操作履歴に基づく推奨手動レバー操作がインタラクティブ・ユーザ・インタフェース部１９０に表示されている状態で、アンコイラ作業者Ａや熟練作業者Ｙがインタラクティブ・ユーザ・インタフェース部１９０を監視しながら操作した操作履歴を取得し、学習済モデル作成装置２００は、この操作履歴を教師データとして学習済モデルを作成する。

【0121】

こうすることにより、一以上の熟練作業者が保有する熟練技能（暗黙知）を学習させた学習済モデルを生成することができ、複数の熟練者が分散して暗黙知として保有していた一連の熟練技能を統合して習得することできる。

【0122】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0123】

１…鋼材加工システム、１０…コイル支持部、２０…アンコイラ、３０…ラフレベラ、４０…サイドトリマ、７１…第１カメラ、７２…第２カメラ、１００…制御装置、２００…学習済モデル作成装置、１１０…機械操作部、１２０…機械表示部、１３０…取得部、１３１…画像取得部、１３２…電気信号取得部、１４０…処理部、１４１…データストレージ部、１４２…ストリーミング映像送信部、１４３…表示制御部、１４４…推論部、１５０…記憶部、１６０…制御部、１７０…通信部、１９０…インタラクティブ・ユーザ・インターフェイス部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】