特開2019-130559(P2019-130559A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ファナック株式会社の特許一覧
特開2019-130559レーザ装置の故障発生メカニズムを学習する機械学習装置
<>
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000006
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000007
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000008
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000009
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000010
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000011
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000012
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000013
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000014
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000015
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000016
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000017
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000018
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000019
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000020
  • 特開2019130559-レーザ装置の故障発生メカニズムを学習する機械学習装置 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-130559(P2019-130559A)
(43)【公開日】2019年8月8日
(54)【発明の名称】レーザ装置の故障発生メカニズムを学習する機械学習装置
(51)【国際特許分類】
   B23K 26/00 20140101AFI20190712BHJP
   G05B 23/02 20060101ALI20190712BHJP
【FI】
   B23K26/00 Q
   G05B23/02 T
   B23K26/00 M
【審査請求】有
【請求項の数】15
【出願形態】OL
【全頁数】37
(21)【出願番号】特願2018-14132(P2018-14132)
(22)【出願日】2018年1月30日
(71)【出願人】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】110001151
【氏名又は名称】あいわ特許業務法人
(72)【発明者】
【氏名】瀧川 宏
(72)【発明者】
【氏名】▲高▼實 哲久
【テーマコード(参考)】
3C223
4E168
【Fターム(参考)】
3C223AA11
3C223BA03
3C223CC02
3C223DD03
3C223EB01
3C223FF13
3C223FF15
3C223FF16
3C223FF22
3C223FF26
3C223FF35
3C223FF45
3C223FF46
3C223GG01
3C223HH29
4E168CA02
4E168DA13
4E168DA26
4E168EA17
4E168KA15
(57)【要約】
【課題】高出力レーザ装置における故障について、比較的少ない故障データによってでも、故障発生原因や故障発生条件の学習と、適確な予防保全が可能な機械学習装置を提供すること。
【解決手段】本発明の機械学習装置は、レーザ装置の制御部を通じて、出力光センサによって検出された光出力の時系列データと光出力指令を含むレーザ装置の内外の状態変数を観測する状態観測部と、レーザ装置における各故障に対して出力した定量的故障発生メカニズムに対する正否の判定結果を取得する判定結果取得部と、各故障に対応した定量的故障発生メカニズムを状態変数と定量的故障発生メカニズムに対する正否の判定結果とに関連付けて学習する学習部と、各故障の発生が検知された時に、出力すべき定量的故障発生メカニズムを決定する意思決定部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
少なくとも一つのレーザ発振器と、
前記レーザ発振器に駆動電流を供給する電源部と、
前記レーザ発振器から出射したレーザ光の光出力を検出する少なくとも一つの出力光センサと、
少なくとも、前記電源部に光出力指令に応じた電流出力指令を出力し、前記出力光センサからの検出信号を受取る制御部と、
を備える、少なくとも1台のレーザ装置とネットワークを通じて相互に情報通信が可能な状態に接続された機械学習装置であって、
前記レーザ装置の前記制御部を通じて、前記出力光センサによって検出された光出力の時系列データと前記光出力指令を含む前記レーザ装置の内外の状態変数を観測する状態観測部と、
前記レーザ装置における各故障に対して前記機械学習装置から出力された定量的故障発生メカニズムに対する正否の判定結果を取得する判定結果取得部と、
前記状態観測部からの出力および前記判定結果取得部からの出力を受取り、前記各故障に対応した前記定量的故障発生メカニズムを、前記状態観測部により観測された前記レーザ装置の状態変数と、前記判定結果取得部により取得された前記定量的故障発生メカニズムに対する正否の判定結果とに関連付けて学習する学習部と、
少なくとも前記光出力の時系列データと前記光出力指令との照合から前記各故障の発生が検知された時には、前記学習部の学習結果を参照して、前記機械学習装置から出力すべき前記定量的故障発生メカニズムを決定する意思決定部と、
を備えることを特徴とする機械学習装置。
【請求項2】
前記状態観測部が観測する前記レーザ装置の前記状態変数に、前記レーザ装置の加工ヘッドを含むハードウェア構成と、
前記レーザ装置あるいは前記レーザ装置を構成するユニットや部品の製造情報と、
前記レーザ装置の駆動条件あるいは駆動状況を表し、前記レーザ装置の内部あるいは外部に設置されたセンサからの出力データである、前記レーザ装置あるいは前記レーザ発振器からの光出力と、光ファイバを含むレーザ光学系内をレーザ出力光とは逆方向に伝搬する反射光強度と、前記レーザ発振器の励起光源であるレーザダイオードモジュールの駆動電流あるいは駆動電力と、前記レーザダイオードモジュールあるいは前記レーザダイオードモジュールと熱的に接続した部位の温度と、前記レーザダイオードモジュールの温度上昇を抑えるためのヒートシンクの温度と、ヒートシンクを冷却する冷媒の種類、特性、温度、流量、圧力と、レーザ装置に加わる振動強度、加速度、衝撃強度と、レーザ装置の周辺空気の温度、湿度、クリーン度、オイルミスト含有濃度、浮遊粒子含有濃度と、
前記駆動条件あるいは前記駆動状況の履歴と、
前記レーザ装置の修理履歴と、
前記レーザ装置を制御する制御ソフトウェアの内部データと、
前記出力データあるいは前記内部データに基づいて得られる計算データとの内の少なくとも一つ以上が含まれる、
ことを特徴とする請求項1に記載の機械学習装置。
【請求項3】
請求項1または2に記載の機械学習装置であって、前記レーザ装置における各故障に対応した、故障発生の引き金になる故障原因とその大きさから、前記故障原因によって引き起こされる前記レーザ装置の前記状態変数の内の特定の前記状態変数の値あるいは変化、前記特定の前記状態変数の前記値あるいは前記変化に伴い、損傷が発生する物理現象あるいは物理メカニズム、前記物理現象あるいは前記物理メカニズムによって損傷する場所あるいは部品とその損傷の状態や程度を表す故障状況に至るまでの一連の物理的な因果関係が含まれる定量的故障発生メカニズムの少なくともその一部を表現した少なくとも一つ以上の物理モデルを記録していると共に、前記物理モデルを参照して、前記各故障に対応した前記定量的故障発生メカニズムの推定と、前記各故障に対応した前記定量的故障発生メカニズムの学習との内、少なくとも一方を行う、
ことを特徴とする機械学習装置。
【請求項4】
前記機械学習装置は、前記レーザ装置における各故障に対して出力された前記定量的故障発生メカニズムに対する正否の判定は、前記レーザ装置の管理者あるいは操作者あるいは修理担当者によって確認された故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる故障発生状況との同一性の有無と、前記物理モデルを参照して検証される、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムとの整合性の有無との内の少なくとも一方の合致性の有無によって行われる、
ことを特徴とする請求項3に記載の機械学習装置。
【請求項5】
前記学習部が、学習結果を反映した少なくとも一つ以上の学習モデルを有すると共に、誤差計算部と学習モデル更新部を備え、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とに差異がある場合に、前記差異の大きさに応じて誤差を計算し、前記学習モデル更新部で前記誤差に応じて前記学習モデルを更新すると共に、前記確認された故障発生状況と前記出力された定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムが前記物理モデルに照合すると矛盾している場合は、前者より更に大きな誤差が生じたとして誤差を計算し、前記学習モデル更新部が前記誤差の大きさに応じて前記学習モデルを更新する、
ことを特徴とする請求項4に記載の機械学習装置。
【請求項6】
前記学習部が、学習結果を反映した少なくとも一つ以上の価値関数を有すると共に、報酬計算部と価値関数更新部を備え、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とが一致する場合は、前記報酬計算部はプラスの報酬を設定し、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とに差異がある場合に、差異の大きさに応じて前記報酬計算部はマイナスの報酬を設定し、確認された故障発生状況と推定した定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムが前記物理モデルと照合すると矛盾している場合は、前記報酬計算部は前者より大きなマイナスの報酬を設定し、前記価値関数更新部が、前記報酬計算部が設定した前記報酬に応じて、前記価値関数を更新する、
ことを特徴とする請求項4に記載の機械学習装置。
【請求項7】
請求項6に記載の機械学習装置であって、前記学習部が、前記レーザ装置における故障を検知した時に、前記故障に対して、単一の第1候補の前記定量的故障発生メカニズムだけでなく、第2候補の前記定量的故障発生メカニズムや、第3候補の前記定量的故障発生メカニズムなど、複数の前記定量的故障発生メカニズムを、前記意思決定部を通じて出力し、前記報酬計算部は、各候補の定量的故障発生メカニズムに対して、プラスあるいはマイナスの報酬を設定する際に、前記定量的故障発生メカニズムの候補順位が上位であるほど、相対的に絶対値の大きな報酬を設定し、前記定量的故障発生メカニズムの候補順位が下位であるほど、相対的に絶対値の小さな報酬を設定し、前記価値関数更新部が、前記報酬計算部が設定した前記報酬に応じて、前記価値関数を更新する、
ことを特徴とする機械学習装置。
【請求項8】
請求項1から7のいずれか1つに記載の機械学習装置であって、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、前記ネットワークを通じて相互に情報通信が可能な状態に接続されたいずれかの前記レーザ装置のいずれかの前記状態変数の値が、あるいは複数のいずれかの前記状態変数の値を座標値とする点が、いずれかの前記定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付くと、当該レーザ装置の前記制御部に対して、故障の発生を未然に防ぐための駆動条件である故障回避駆動条件を指令する予防保全装置としての機能も有する、
こと特徴とする機械学習装置。
【請求項9】
請求項8に記載の機械学習装置であって、前記機械学習装置が、前記レーザ装置の前記制御部に対して、所定のスケジュールに従って、所定駆動条件で、前記レーザ装置を駆動するように指令し、前記所定駆動条件で駆動した時毎の前記レーザ装置の光出力特性データを含む前記状態変数を前記レーザ装置の前記状態変数の履歴データとして記録し、記録した前記履歴データを前記状態観測部が観測する状態変数に含める、
ことを特徴とする機械学習装置。
【請求項10】
請求項9に記載の機械学習装置であって、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、前記履歴データに含まれるいずれかの状態変数の値の推移から、あるいは複数のいずれかの前記状態変数の値を座標値とする点の移動推移から、いずれかの前記定量的故障発生メカニズムによって故障が発生する前記故障発生領域に漸近していることを観測した場合には、前記レーザ装置を標準的な駆動条件で駆動した時に、前記故障発生領域に漸近している前記状態変数の値、あるいは前記状態変数の値を座標値とする点が、前記故障発生領域に到達するまでの時間、すなわち、故障発生までの残存時間を予測し、前記残存時間が所定時間より短くなると、前記残存時間と、前記残存時間の経過後に発生すると予測される前記定量的故障発生メカニズムの内、少なくとも一方の情報を出力する予防保全装置としての機能も有する、
ことを特徴とする機械学習装置。
【請求項11】
請求項1から10のいずれか1つに記載の機械学習装置であって、前記ネットワークを通じて相互に情報通信が可能な状態に接続されたいずれかの前記レーザ装置が、新たに前記ネットワークに接続された、設置場所が移動された、所定休止期間より長期間駆動されていない、構成する部品が交換された、構成する部品の調整が行われた状態の内のいずれかの状態に該当し、前記レーザ装置の状態変数が、不明であったり、前回駆動した時より変化している可能性があったりする場合には、該当するレーザ装置の前記制御部に対して、標準的な駆動条件あるいは高負荷な駆動条件で駆動する前に、所定の低負荷駆動条件での駆動を指令し、前記低負荷駆動条件で駆動した時の状態変数を、前記状態観測部を通じて観測し、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、標準的な駆動条件あるいは高負荷な駆動条件で駆動した場合に、故障の発生が予想される場合は、発生が予想される故障の定量的故障発生メカニズムを出力する、
ことを特徴とする機械学習装置。
【請求項12】
請求項1から11のいずれか1つに記載の機械学習装置であって、学習によって取得した各故障に対応した定量的故障発生メカニズムと各定量的故障発生メカニズムに対応した故障の発生頻度を参照して、前記レーザ装置における故障の発生頻度を低減するために、改善が望ましい項目のリストを出力する機能を有する、
ことを特徴とする機械学習装置。
【請求項13】
請求項1から12のいずれか1つに記載の機械学習装置であって、第1ネットワークを介して、少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも一つのセルを制御するフォグサーバ上に存在する、
ことを特徴とする機械学習装置。
【請求項14】
請求項13に記載の機械学習装置であって、第1ネットワークを介して少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも1つのセルを制御するフォグサーバの少なくとも一つを、第2ネットワークを介して制御するクラウドサーバ上に存在する、
ことを特徴とする機械学習装置。
【請求項15】
前記機械学習装置が複数存在し、複数の前記機械学習装置の間で、機械学習の結果を相互に交換または共有する、
ことを特徴とする請求項1から14のいずれか1つに記載の機械学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多数の多数のレーザダイオードモジュールを発光源あるいは励起光源として使用したレーザ発振器から出射されたレーザ光を、光ファイバを経由して、加工ヘッドからワークに照射してレーザ加工を行う高出力レーザ装置における定量的な故障発生メカニズムを学習する機械学習装置に関する。詳しくは、多数のレーザダイオードモジュールを発光源するダイレクトダイオードレーザ発振器や、あるいは多数のレーザダイオードモジュールを励起光源とするファイバレーザ発振器等から出射されたレーザ光をファイバで伝搬する高出力レーザ装置における故障について、故障が発生した時点やその前後のレーザ装置の状態から故障発生の原因や故障が発生する条件を学習するだけでなく、故障発生の引き金となる故障原因とその大きさから故障原因によって引き起こされたレーザ装置の状態の定量的な変化、レーザ装置の状態の変化に伴い損傷が発生する物理的なメカニズム、その物理的メカニズムによって損傷する場所や損傷状態や程度といった故障状況に至るまでの一連の因果関係も含むレーザ装置の定量的故障発生メカニズムを、ネットワークを通じて接続されたレーザ装置から取得したデータを用いて学習し、学習結果を参照して、レーザ装置に対して故障回避駆動条件を指令する、故障発生までの残存時間を出力する等の予防保全装置としての機能も備える機械学習装置に関する。
【背景技術】
【0002】
レーザ装置の故障発生原因や故障発生条件に関係すると考えられるレーザ装置の状態変数には、ハードウェア構成,製造情報,履歴も含めた駆動条件や駆動状況、複数の光検出センサや各部の温度センサや湿度センサから出力、温度や湿度や振動や標高や空気清浄度などの周囲環境条件等、多岐に亘っている。一方、故障は頻発する現象ではないので、充分な量のデータが得ることが困難である。
【0003】
その結果、故障状態という結果と、故障が発生した時点およびその前後のレーザ装置の状態変数とを関連付けて故障発生原因や故障発生条件を機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題があった。
【0004】
例えば、対象とする装置がレーザ装置ではないが、特許文献1には、射出成形機の内的外的な状態データを入力し、機械学習器によって射出成形機の異常を診断する異常診断装置であって、前記機械学習器の内部パラメータは、異常が発生した時に得られた前記状態データと、異常が発生しなかった時に得られた前記状態データとを用いて機械学習を行うことで得られたものであることを特徴とする異常診断装置が開示されており、更に、異常発生の予測時に、前記状態変数の中から異常の原因となる状態変数を特定することを特徴とする異常診断装置が開示されている。しかし、異常の原因となる状態変数を特定するとしているが、定量的故障発生メカニズムを機械学習しておらず、異常原因と異常現象を結び付ける物理的な裏付けに言及していないので、多くの状態変数が存在し、故障発生事例が少ないために、機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題に対する解決策を示していない。
【0005】
また、特許文献2には、産業機械の故障に関連付けられる条件を学習する機械学習装置であって、前記産業機械又は周囲環境の状態を検出するセンサの出力データ、前記産業機械を制御する制御ソフトウェアの内部データ、及び、前記出力データ又は前記内部データに基づいて得られる計算データの少なくとも1つを含む状態変数を前記産業機械の動作中又は静止中に観測する状態観測部と、前記産業機械の故障の有無又は故障の度合いを判定した判定データを取得する判定データ取得部と、前記状態変数及び前記判定データの組合せに基づいて作成される訓練データセットに従って、前記産業機械の故障に関連付けられる条件を学習する学習部と、を備えることを特徴とする機械学習装置が開示されている。しかし、やはり、故障に関連付けられる条件を学習するとしているが、定量的故障発生メカニズムを機械学習しておらず、異常原因と異常現象を結び付ける物理的な裏付けに言及していないので、多くの状態変数が存在し、故障発生事例が少ないために、機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題に対する解決策を示していない。
【0006】
また、特許文献3には、機械設備の健康状態を監視するヘルスマネージメントシステムであって、前記機械設備に設置された複数のセンサから取得したセンサデータ、又は前記センサデータ及び前記機械設備の設置環境を表す環境データを、時系列データとして取得する時系列データ取得部と、前記機械設備が正常な状態のときに取得した前記時系列データである正常データを学習データとして用いた統計的手法により前記機械設備の設備状態及び前記機械設備の性能又は品質の状態を示す健康状態を定量化する状態定量化部と、前記定量化した設備状態及び前記定量化した健康状態を、表示又は/及び外部に出力する出力部と、を備えることを特徴とするヘルスマネージメントシステムが開示されている。しかし、正常データを学習データとして用いた統計的手法により機械設備の健康状態を定量化しているが、定量的故障発生メカニズムを機械学習しておらず、異常原因と異常現象を結び付ける物理的な裏付けに言及していないので、多くの状態変数が存在し、故障発生事例が少ないために、機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題に対する解決策を示していない。
【0007】
以上のように、いずれの従来技術においても、異常や故障が発生した時の装置の状態を表すデータと異常や故障が発生していない時の装置の状態を表すデータから、異常診断や異常原因の特定、故障に関連付けられる条件の学習、あるいは、機械設備の健康状態の定量化等を行う技術には言及しているが、多くの状態変数が存在し、故障発生事例が少ないために、機械学習で学習しても、充分な精度が得られなかったり、多くの故障データが集まって精度が上がるまでに多くの時間を要したりするという問題に対する解決策を示していない。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2017−030221号公報
【特許文献2】特開2017−033526号公報
【特許文献2】特開2015−088079号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
高出力レーザ装置は、細いファイバのコア内を大きなエネルギーの光が伝搬するので、一般的な機械装置における機械的な故障モード以外にその高密度な光エネルギーが関連した故障、高密度な光エネルギーが伝搬する光学部品に関連した故障、高出力のレーザダイオードモジュールを多数使用していることから生じるレーザダイオードモジュールに関連した故障、レーザダイオードモジュールに大電力を供給する電源に関連した故障等、多くの故障モードが存在する。また、故障発生原因や故障発生条件に関係すると考えられるレーザ装置の状態変数には、装置に使用されているレーザダイオードモジュール、光結合器(コンバイナ)、増幅用ファイバ、デリバリファイバ、加工ヘッド、電源部、センサの種類や型格等のハードウェア構成のデータ,使用部品のロット番号、製造条件、製造日、出荷試験結果等の製造情報、どのような駆動条件でどれほどの期間に亘って駆動されたかという履歴も含めた駆動条件や駆動状況のデータ、レーザ発振器から出力光やワークやレーザ光学系等からの反射光を検出するための複数の光検出センサや、レーザ発振器やレーザ発振器を冷却するための冷却部等の各部の温度センサや、装置内の空気の湿度を検出する湿度センサ等の多数のセンサから出力データ、温度や湿度や振動や標高や空気清浄度などの周囲環境条件等、多岐に亘っている。
【0010】
その結果、故障が発生した時に、人間が上記の全てデータや条件を把握し、その影響を考慮して、故障診断や故障原因の特定を行うことは容易ではなく、何処が故障したのかが分からず、修復に時間を要する、故障発生原因が把握できず、同様の故障が再発する、故障発生条件が分かっていないので故障を未然に防止することができない、といった問題が生じている。
【0011】
人間が行うことが困難である、多くの条件やデータを把握し、その影響を考慮して、故障診断や故障原因の特定、故障発生条件の把握をするのに、機械学習を応用することが考えられるが、故障は頻発する現象ではなく、また、高出力レーザ装置は高価であり強制的に故障するまで負荷を上げて駆動するといった限界特性試験を多数回繰り返し行うことは現実的ではないため、機械学習に必要な故障に関するデータを得ること自体が困難である。
【0012】
その結果、上記のように、故障状態という結果と、故障が発生した時点およびその前後のレーザ装置の状態変数とを関連付けて故障発生原因や故障発生条件を機械学習で学習しても、充分な精度の学習結果が得られなかったり、多くの故障データが集まって学習の精度が上がるまでに多くの時間を要したりするという問題があった。
【0013】
従って、本発明が解決しようとする課題は、多くの故障モードがあり、従来の方法では故障発生原因や故障発生条件の把握が困難である高出力レーザ装置における故障について、比較的少ない故障データによってでも、精度良く、故障発生原因や故障発生条件を学習でき、その学習結果を利用して適確な予防保全ができる機械学習装置を提供することにある。
【課題を解決するための手段】
【0014】
本発明に係る機械学習装置は、少なくとも一つのレーザ発振器と、前記レーザ発振器に駆動電流を供給する電源部と、前記レーザ発振器から出射したレーザ光の光出力を検出する少なくとも一つの出力光センサと、少なくとも、前記電源部に光出力指令に応じた電流出力指令を出力し、前記出力光センサからの検出信号を受取る制御部と、を備える、少なくとも1台のレーザ装置とネットワークを通じて相互に情報通信が可能な状態に接続された機械学習装置であって、前記レーザ装置の前記制御部を通じて、前記出力光センサによって検出された光出力の時系列データと前記光出力指令を含む前記レーザ装置の内外の状態変数を観測する状態観測部と、前記レーザ装置における各故障に対して前記機械学習装置から出力された定量的故障発生メカニズムに対する正否の判定結果を取得する判定結果取得部と、前記状態観測部からの出力および前記判定結果取得部からの出力を受取り、前記各故障に対応した前記定量的故障発生メカニズムを、前記状態観測部により観測された前記装置の状態変数と、前記判定結果取得部により取得された前記定量的故障発生メカニズムに対する正否の判定結果とに関連付けて学習する学習部と、少なくとも前記光出力の時系列データと前記光出力指令との照合から前記各故障の発生が検知された時には、前記学習部の学習結果を参照して、前記機械学習装置から出力すべき前記定量的故障発生メカニズムを決定する意思決定部と、を備えるものである。
【0015】
上記した構成により、様々な故障の各故障に対して故障原因から故障発生状況までの一連の定量的故障発生メカニズムを学習することによって、状態変数の統計的処理等から故障原因や故障発生条件を推定する学習方法よりも、物理現象や物理的メカニズムと整合性のある適確な推定がより確実に行えるようになる。
【0016】
本発明に係る機械学習装置の他の態様では、前記状態観測部が観測する前記レーザ装置の前記状態変数に、前記レーザ装置の加工ヘッドを含むハードウェア構成と、前記レーザ装置あるいは前記レーザ装置を構成するユニットや部品の製造情報と、前記レーザ装置の駆動条件あるいは駆動状況を表し、前記レーザ装置の内部あるいは外部に設置されたセンサからの出力データである、前記レーザ装置あるいは前記レーザ発振器からの光出力と、光ファイバを含むレーザ光学系内をレーザ出力光とは逆方向に伝搬する反射光強度と、前記レーザ発振器の励起光源であるレーザダイオードモジュールの駆動電流あるいは駆動電力と、前記レーザダイオードモジュールあるいは前記レーザダイオードモジュールと熱的に接続した部位の温度と、前記レーザダイオードモジュールの温度上昇を抑えるためのヒートシンクの温度と、ヒートシンクを冷却する冷媒の種類、特性、温度、流量、圧力と、レーザ装置に加わる振動強度、加速度、衝撃強度と、レーザ装置の周辺空気の温度、湿度、クリーン度、オイルミスト含有濃度、浮遊粒子含有濃度と、前記駆動条件あるいは前記駆動状況の履歴と、前記レーザ装置の修理履歴と、前記レーザ装置を制御する制御ソフトウェアの内部データと、前記出力データあるいは前記内部データに基づいて得られる計算データとの内の少なくとも一つ以上が含まれていてもよい。
【0017】
上記した構成により、多くの状態変数を観測することによって、種々の故障に対応した定量的故障発生メカニズムを正確に学習することができる。
【0018】
本発明に係る機械学習装置の他の態様では、前記レーザ装置における各故障に対応した、故障発生の引き金になる故障原因とその大きさから、前記故障原因によって引き起こされる前記レーザ装置の前記状態変数の内の特定の前記状態変数の値あるいは変化、前記特定の前記状態変数の前記値あるいは前記変化に伴い、損傷が発生する物理現象あるいは物理メカニズム、前記物理現象あるいは前記物理メカニズムによって損傷する場所あるいは部品とその損傷の状態や程度を表す故障状況に至るまでの一連の物理的な因果関係が含まれる定量的故障発生メカニズムの少なくともその一部を表現した少なくとも一つ以上の物理モデルを記録していると共に、前記物理モデルを参照して、前記各故障に対応した前記定量的故障発生メカニズムの推定と、前記各故障に対応した前記定量的故障発生メカニズムの学習との内、少なくとも一方を行うようにしてもよい。
【0019】
上記した構成により、物理モデルを参照することによって、比較的初期の内から、物理的に合理的な定量的故障発生メカニズムが推定できる確率が高くなる。
【0020】
本発明に係る機械学習装置の他の態様では、前記機械学習装置は、前記レーザ装置における各故障に対して出力された前記定量的故障発生メカニズムに対する正否の判定は、前記レーザ装置の管理者あるいは操作者あるいは修理担当者によって確認された故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる故障発生状況との同一性の有無と、前記物理モデルを参照して検証される、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムとの整合性の有無との内の少なくとも一方の合致性の有無によって行われてもよい。
【0021】
上記した構成により、物理現象あるいは物理メカニズムとの整合性の有無も正否の判定に加えることによって、物理モデルに矛盾するような推定が排除され、種々の故障に対して合理的な定量的故障発生メカニズムを学習することができる。
【0022】
本発明に係る機械学習装置の他の態様では、前記学習部が、学習結果を反映した少なくとも一つ以上の学習モデルを有すると共に、誤差計算部と学習モデル更新部を備え、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とに差異がある場合に、前記差異の大きさに応じて誤差を計算し、前記学習モデル更新部で前記誤差に応じて前記学習モデルを更新すると共に、前記確認された故障発生状況と前記出力された定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムが前記物理モデルに照合すると矛盾している場合は、前者より更に大きな誤差が生じたとして誤差を計算し、前記学習モデル更新部が前記誤差の大きさに応じて前記学習モデルを更新するようにしてもよい。
【0023】
上記した構成により、確認した故障発生状況が、出力された定量的故障発生メカニズムに含まれる故障発生状況と異なるだけでなく、出力された定量的故障発生メカニズムに含まれる物理現象や物理メカニズムと整合せず矛盾する場合は、その故障に対する定量的故障発生メカニズムの学習結果の誤差がより大きいとして、学習モデルを更新することによって、様々な故障の中の各故障に対して物理モデルに適合した合理的な定量的故障発生メカニズムを学習することができる。
【0024】
本発明に係る機械学習装置の他の態様では、前記学習部が、学習結果を反映した少なくとも一つ以上の価値関数を有すると共に、報酬計算部と価値関数更新部を備え、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とが一致する場合は、前記報酬計算部はプラスの報酬を設定し、前記確認された前記故障発生状況と前記出力された前記定量的故障発生メカニズムに含まれる前記故障発生状況とに差異がある場合に、差異の大きさに応じて前記報酬計算部はマイナスの報酬を設定し、確認された故障発生状況と推定した定量的故障発生メカニズムに含まれる前記物理現象あるいは前記物理メカニズムが前記物理モデルと照合すると矛盾している場合は、前記報酬計算部は前者より大きなマイナスの報酬を設定し、前記価値関数更新部が、前記報酬計算部が設定した前記報酬に応じて、前記価値関数を更新するようにしてもよい。
【0025】
上記した構成により、教師あり学習で様々な故障の中の各故障に対応した定量的故障発生メカニズムを機械学習した結果を初期状態として強化学習を行うことで学習をより深化させることができる。確認した故障発生状況が、出力された定量的故障発生メカニズムに含まれる故障発生状況と異なる場合より、出力された定量的故障発生メカニズムに含まれる物理現象や物理メカニズムと整合せずに矛盾する場合は、より大きなマイナスの報酬を設定することによって、種々の故障に対して物理モデルに適合したより合理的な定量的故障発生メカニズムを学習することができる。
【0026】
本発明に係る機械学習装置の他の態様では、前記学習部が、前記レーザ装置における故障を検知した時に、前記故障に対して、単一の第1候補の前記定量的故障発生メカニズムだけでなく、第2候補の前記定量的故障発生メカニズムや、第3候補の前記定量的故障発生メカニズムなど、複数の前記定量的故障発生メカニズムを、前記意思決定部を通じて出力し、前記報酬計算部は、各候補の定量的故障発生メカニズムに対して、プラスあるいはマイナスの報酬を設定する際に、前記定量的故障発生メカニズムの候補順位が上位であるほど、相対的に絶対値の大きな報酬を設定し、前記定量的故障発生メカニズムの候補順位が下位であるほど、相対的に絶対値の小さな報酬を設定し、前記価値関数更新部が、前記報酬計算部が設定した前記報酬に応じて、前記価値関数を更新するようにしてもよい。
【0027】
上記した構成により、少ない故障発生データを有効利用して学習を進めることができる。また、第1候補の定量的故障発生メカニズムに含まれる故障場所あるいは故障部品が間違っていても、すぐ次の候補の定量的故障発生メカニズムに含まれる故障場所あるいは故障部品をチェックできるので、故障個所が分からないために復旧に長時間を要するという問題の発生確率が低減できる。
【0028】
本発明に係る機械学習装置の他の態様では、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、前記ネットワークを通じて相互に情報通信が可能な状態に接続されたいずれかの前記レーザ装置の前記状態変数の値が、あるいは複数のいずれかの前記状態変数の値を座標値とする点が、いずれかの前記定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付くと、当該レーザ装置の前記制御部に対して、故障の発生を未然に防ぐための駆動条件である故障回避駆動条件を指令する予防保全装置としての機能も有してもよい。
【0029】
上記した構成により、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、レーザ装置の状態変数の値が、あるいは複数のいずれかの前記状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に近付いた時に、故障が発生する前に、レーザ装置の制御部に故障回避駆動条件を指令することによって、レーザ装置の故障が未然に防止できる。
【0030】
本発明に係る機械学習装置の他の態様では、前記機械学習装置が、前記レーザ装置の前記制御部に対して、所定のスケジュールに従って、所定駆動条件で、前記レーザ装置を駆動するように指令し、前記所定駆動条件で駆動した時毎の前記レーザ装置の光出力特性データを含む前記状態変数を前記レーザ装置の前記状態変数の履歴データとして記録し、記録した前記履歴データを前記状態観測部が観測する状態変数に含めてもよい。
【0031】
上記した構成により、定期的に所定の同一駆動条件で駆動した時のレーザ装置の状態変数を記録しておくことによって、レーザ装置の状態変数の推移が把握でき、摩耗故障による故障の定量的故障発生メカニズムの学習に役立てることができる。
【0032】
本発明に係る機械学習装置の他の態様では、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、前記履歴データに含まれるいずれかの状態変数の値の推移から、あるいは複数のいずれかの前記状態変数の値を座標値とする点の移動推移から、いずれかの前記定量的故障発生メカニズムによって故障が発生する前記故障発生領域に漸近していることを観測した場合には、前記レーザ装置を標準的な駆動条件で駆動した時に、前記故障発生領域に漸近している前記状態変数の値、あるいは前記状態変数の値を座標値とする点が、前記故障発生領域に到達するまでの時間、すなわち、故障発生までの残存時間を予測し、前記残存時間が所定時間より短くなると、前記残存時間と、前記残存時間経過後に発生すると予測される前記定量的故障発生メカニズムの内、少なくとも一方の情報を出力する予防保全装置としての機能も有してもよい。
【0033】
上記した構成により、時間的にゆっくり変化する状態変数の値が故障発生領域に近付いていく場合の予防保全機能を有するようになり、摩耗故障による故障発生等を故障発生前に知ることができ、適確な予防保全を行うことができ、レーザ装置の保守時間を最小限に抑えることができる。
【0034】
本発明に係る機械学習装置の他の態様では、前記ネットワークを通じて相互に情報通信が可能な状態に接続されたいずれかの前記レーザ装置が、新たに前記ネットワークに接続された、設置場所が移動された、所定休止期間より長期間駆動されていない、構成する部品が交換された、構成する部品の調整が行われた状態の内のいずれかの状態に該当し、前記レーザ装置の状態変数が、不明であったり、前回駆動した時より変化している可能性があったりする場合には、該当するレーザ装置の前記制御部に対して、標準的な駆動条件あるいは高負荷な駆動条件で駆動する前に、所定の低負荷駆動条件での駆動を指令し、前記低負荷駆動条件で駆動した時の状態変数を、前記状態観測部を通じて観測し、学習によって習得した各故障に対応した前記定量的故障発生メカニズムを参照して、標準的な駆動条件あるいは高負荷な駆動条件で駆動した場合に、故障の発生が予想される場合は、発生が予想される故障の定量的故障発生メカニズムを出力するようにしてもよい。
【0035】
上記した構成により、長期休止中に加工ヘッドの保護ウィンドウが汚染しており、保護ウィンドウからの反射光で故障が発生したり、光軸調整が不充分で意図していない場所にレーザ出力光や反射光が照射して故障が発生したり、一瞬の内に故障が発生してしまうことが防止できるようになる。低負荷駆動だけでは判定できない場合、もう少し高い負荷駆動条件での駆動を試行するようにしても良い。
【0036】
本発明に係る機械学習装置の他の態様では、学習によって習得した各故障に対応した定量的故障発生メカニズムと各定量的故障発生メカニズムに対応した故障の発生頻度を参照して、前記レーザ装置における故障の発生頻度を低減するために、改善が望ましい項目のリストを出力する機能を有するようにしてもよい。
【0037】
上記した構成により、学習によって様々な故障の中の各故障に対応した定量的故障発生メカニズムを習得すると、故障の発生頻度を低減するために有効な改善点が分かってくるので、その情報が出力されると、レーザ装置の信頼性向上に対する有効な知見が得られ、高信頼・長寿命レーザ装置の開発が可能になる。各改善項目にスコアや優先順位が付記されるようにしても良い。
【0038】
本発明に係る機械学習装置の他の態様では、第1ネットワークを介して、少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも一つのセルを制御するフォグサーバ上に存在するようにしてもよい。
【0039】
上記したように、比較的小規模のセルを制御するフォグサーバ上に存在させることでレーザ装置の状態変数の観測、故障回避駆動条件の指令等、リアルタイム性が重要な情報の交換を遅滞なく行うことができる。
【0040】
本発明に係る機械学習装置の他の態様では、第1ネットワークを介して少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも1つのセルを制御するフォグサーバの少なくとも一つを、第2ネットワークを介して制御するクラウドサーバ上に存在するようにしてもよい。
【0041】
上記したように、大規模な記録容量を備え、大規模な信号処理を高速で行うことが可能なクラウドサーバ上に存在させることで、ニューラルネットワーク等のよる機械学習に伴う信号処理を高速で行うことが可能になる。
【0042】
本発明に係る機械学習装置の他の態様では、前記機械学習装置が複数存在し、複数の前記機械学習装置の間で、機械学習の結果を相互に交換または共有するようにしてもよい。
【0043】
故障発生は、それほど頻繁に発生しないため、学習の進行に時間が掛かり易いが、上記構成により、学習結果を交換または共有することによって、学習の進行速度を速めることができる。また学習の精度も向上する。
【発明の効果】
【0044】
本発明によれば、多くの故障モードがあり、従来の方法では故障発生原因や故障発生条件の把握が困難である高出力レーザ装置における故障について、物理モデルを参照して、検知された故障に対して、「何が原因(複数を含む)で、どの状態変数(複数を含む)がどのような値になったために、どのような物理現象によって、何処(複数を含む)が、どのような状態になる損傷を受けた」という一連の物理的な因果関係が含まれた定量的故障発生メカニズムを学習することにより、比較的少ない故障データによってでも、故障の原因から故障状況まで一貫して物理モデルと整合性のある定量的故障発生メカニズムを推定できるように学習し、また、その学習結果を利用して、レーザ装置の故障発生を未然に防ぐための適確な予防保全情報を出力できる機械学習装置を提供することができる。
【0045】
また、本発明の機械学習装置にネットワークを通じて接続されたレーザ装置においては、故障の発生を未然に防ぐことができ、信頼性の高いレーザ装置を提供できる。
【図面の簡単な説明】
【0046】
図1】本発明の第1実施形態の機械学習装置の概念的な構成を示すブロック図であり、ネットワークよって接続しているレーザ装置の概念的な構成を示すブロック図を付記している。
図2図1に示す機械学習装置の動作の一例を示すフローチャートである。
図3図1に示す機械学習装置の動作の他の一例を示すフローチャートである。
図4】本発明の第2実施形態の機械学習装置の概念的な構成を示すブロック図であり、ネットワークによって接続しているレーザ装置の概念的な構成を示すブロック図を付記している。
図5図4に示す機械学習装置の動作の一例を示すフローチャートである。
図6図4に示す機械学習装置の動作の他の一例を示すフローチャートである。
図7】ニューロンのモデルを模式的に示す図である。
図8図7に示すニューロンを組合せて構成した3層のニューラルネットワークを模式的に示す図である。
図9】本発明の第3実施形態の機械学習装置の動作の一例を示すフローチャートである。
図10】状態変数を座標軸とする二次元空間における、故障発生領域故障と、状態変数の値を座標値とする点の移動の様子の一例を模式的に示した図である。
図11】状態変数を座標軸とする二次元空間における、故障発生領域故障と、状態変数の値を座標値とする点の移動の様子の他の一例を模式的に示した図である。
図12】本発明の第4実施形態の機械学習装置の動作の一例を示すフローチャートである。
図13】本発明の第5実施形態の機械学習装置の動作の一例を示すフローチャートである。
図14】本発明の第6実施形態の機械学習装置の動作の一例を示すフローチャートである。
図15】本発明の第7実施形態の機械学習装置が出力する定量的故障発生メカニズムのリストのフォーマットの一例である。
図16】本発明の第8実施形態の機械学習装置のネットワーク上の位置やネットワークへの接続状態の一例を示すブロック図である。
【発明を実施するための形態】
【0047】
以下、本発明に係る機械学習装置の実施例を、図面を参照して説明する。各図面において、同じ部材には同じ参照符号を付している。また、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。なお、これらの図面は見易くするために、縮尺を適宜変更している。
【0048】
<第1実施形態>
図1は、本発明の第1実施形態の機械学習装置1の概念的な構成を示すブロック図であり、ネットワーク3によって3台のレーザ装置2と接続されている状態を示している。3台のレーザ装置2の内、右端の1台のレーザ装置2については、レーザ装置の概念的な構成を示すブロック図で示している。レーザ装置2は、レーザ発振器4と、レーザ発振器に駆動電流を供給する電源部5と、レーザ発振器から出射したレーザ光を、光ファイバを経由して、図示していないが、レーザ加工対象であるワークに照射するための加工ヘッドを含むレーザ光学系6と、レーザ発振器から出射するレーザ光10の光出力を検出する出力光センサ7と、ワークあるいはレーザ光学系に含まれる透過ウィンドウやファイバコネクタの端面等からレーザ発振器やレーザ光学系に戻ってきた反射光を検出する反射光センサ8と、電源部5に光出力指令に応じた電流出力指令を出力する等、レーザ装置2の各部に対応した指令を出力し、出力光センサ7から検出信号等、レーザ装置2の各部からの信号を受取る制御部9を備えており、制御部9がネットワーク3を通じて接続している機械学習装置1と情報のやり取りを行うことができるようになっている。
【0049】
また、制御部9は、内部あるいは外部にメモリを備え、対応するレーザ装置2の加工ヘッドのような付属部品も含めた構造、型格、図番、仕様等のハードウェア構成に関する情報や、製造日、製造ロット、製造場所、製品番号、製造条件等を含む前記レーザ装置2の製造情報を記録しておき、ネットワーク3を通じて、機械学習装置1に出力することができるようにしてもよい。
【0050】
なお、レーザ発振器4、電源部5、出力光センサ7、反射光センサ8は1台のレーザ装置2に複数含んでいても良く、例えば、レーザ光学系6が複数のレーザ光を結合する光結合器(コンバイナ)を含み、複数のレーザ発振器4に対して対応するレーザ発振器4にそれぞれ独立に駆動電流を供給できる複数の電源部5、各レーザ発振器の光出力と結合されたレーザ光の光出力を検出する複数の出力光センサ7、レーザ発振器とレーザ光学系の各部に戻ってくる反射光を検出するための複数の反射光センサ8を備えていてもよい。
【0051】
一方、機械学習装置1は、ネットワークを通じて、レーザ装置2の制御部9から出力された、前記出力光センサ7によって検出された光出力の時系列データと前記光出力指令を含む前記レーザ装置2の内外の状態変数を観測する状態観測部13と、前記レーザ装置における各故障に対して前記機械学習装置から出力された定量的故障発生メカニズム(=故障発生の定量的なメカニズム)に対する正否の判定結果を取得する判定結果取得部12と、前記状態観測部13からの出力および前記判定結果取得部12からの出力を受取り、前記各故障の各故障に対応した前記定量的故障発生メカニズムを、前記状態観測部13により観測された前記装置の状態変数と、前記判定結果取得部12により取得された前記定量的故障発生メカニズムに対する正否の判定結果とに関連付けて学習する学習部11と、前記光出力の時系列データと前記光出力指令との照合等から前記故障の発生が検知された時には、前記学習部11の学習結果を参照して、前記機械学習装置1から出力すべき前記定量的故障発生メカニズムを決定する意思決定部14と、を備えている。
【0052】
機械学習装置1の状態観測部13が観測して学習部11の出力する各レーザ装置の状態変数としては、主に、レーザ装置2の制御部9が、レーザ装置の各部に出す指令や、レーザ装置の各部から受ける信号や、制御部9が記録している情報であり、具体的には、出力光センサ7によって検出された光出力の時系列データと光出力指令以外に、レーザ装置の加工ヘッドを含む前記のようなハードウェア構成、前記レーザ装置あるいは前記レーザ装置を構成するユニットや部品の製造情報と、前記レーザ装置の駆動条件あるいは駆動状況を表し、前記レーザ装置の内部あるいは外部に設置されたセンサからの出力データである、前記レーザ装置あるいは前記レーザ発振器からの光出力、光ファイバを含むレーザ光学系内をレーザ出力光とは逆方向に伝搬する反射光強度、前記レーザ発振器の励起光源であるレーザダイオードモジュールの駆動電流あるいは駆動電力、前記レーザダイオードモジュールあるいは前記レーザダイオードモジュールと熱的に接続した部位の温度、前記レーザダイオードモジュールの温度上昇を抑えるためのヒートシンクの温度、ヒートシンクを冷却する冷媒の種類、特性、温度、流量、圧力、レーザ装置に加わる振動強度、加速度、衝撃強度、レーザ装置2の周辺空気の温度、湿度、クリーン度、オイルミスト含有濃度、浮遊粒子含有濃度、前記駆動条件あるいは前記駆動状況の履歴と、前記レーザ装置の修理履歴と、前記レーザ装置を制御する制御ソフトウェアの内部データと、前記出力データあるいは前記内部データに基づいて得られる計算データ等を含むことができる。このように状態変数という用語は、本願では、状態変数を状態変数群という意味で使用している場合がある。なお、レーザ装置2の周辺環境の検出するセンサの検出信号は、制御部9を経由しないで観測されるようになっていてもよい。
【0053】
学習部11は、状態観測部13から出力された各レーザ装置の状態変数において、レーザ装置2への光出力指令と出力光センサ7による検出結果等から求められた光出力との差が所定範囲より大きくなった場合や、所定制御範囲内に制御されるべき各センサによる検出結果が所定制御範囲から逸脱した場合に、故障が発生したと判定して、前記レーザ装置の故障発生の引き金になる故障原因から、前記故障原因によって引き起こされる前記レーザ装置の前記状態変数の内の特定の前記状態変数の値あるいは変化、前記特定の前記状態変数の前記値あるいは前記変化に伴い、損傷が発生する物理現象あるいは物理メカニズム、前記物理現象あるいは前記物理メカニズムによって損傷する場所あるいは部品とその損傷の状態を表す故障状況に至るまでの一連の物理的な因果関係が含まれる定量的故障発生メカニズムを推定して、推定した定量的故障発生メカニズムを意志決定部から出力する。
【0054】
故障が発生した判定されると、当該レーザ装置を停止して修理を行うことになるが、機械学習装置から出力された定量的故障発生メカニズムに含まれる損傷場所を調査・確認して、実際に損傷している場所や部品、実際の損傷の状態が、出力された定量的故障発生メカニズムに含まれている損傷場所や損傷状態や損傷の程度と一致しているか、不一致な点があるかを修理担当者等が判定した判定結果が判定結果取得部12を通して、学習部に出力される。
【0055】
なお、機械学習においては、本来は判定結果も人間が介在することなく自動的に行わるのが望ましく、画像センサ等で自動的に判定することも考えられるが、画像センサ等で全ての故障箇所について故障状態を確認することは困難であり、前述のように故障は頻発する現象ではなく、故障の修理には通常人間が介在するので、本発明の機械学習の一環に人間が介在することによる付加的工数の発生や処理時間の遅れは少ないので、人間が介在して故障状況を詳細に確認した方がより適確に学習できると考えられる。
【0056】
学習部11は、状態観測部13からの出力および判定結果取得部12からの出力を受取り、状態観測部13により観測されたレーザ装置2の状態変数と、判定結果取得部に12より取得された意思決定部14から出力した定量的故障発生メカニズムの推定結果に対する正否の判定結果とに関連付けて、発生した故障に対応した定量的故障発生メカニズムを学習する。
【0057】
本実施形態では、教師あり学習を適用した機械学習装置の例を示しており、機械学習装置1は、更に、判定結果付きデータと定量的故障発生メカニズムに関連した物理モデルを記録した判定結果付きデータ・物理モデル記録部15を備え、前記学習部11は、前記機械学習装置1から出力された定量的故障発生メカニズムと実際に確認された故障状況との食い違いを誤差として計算する誤差計算部16と算出された誤差に応じて学習結果である学習モデルを更新する学習モデル更新部17を備えている。
【0058】
判定結果付きデータ・物理モデル記録部15は、それまでに得られているレーザ装置の状態変数とその状態変数に対して推定した定量的故障発生メカニズムに対する正否の判定結果が対になった判定結果付きデータと、故障に関連した物理モデルが記録されている。物理モデルとしては、例えば、レーザ加工中にワークに付着していた油成分が油煙となって加工ヘッドの保護ウィンドウに付着し、保護ウィンドウでレーザ光が反射される成分、すなわち反射光があるワット数まで増加し、デリバリファイバをレーザ光とは逆方向に伝搬してきた反射光がフィードファイバとの融着点でクラッドに散乱し、クラッドを囲む保護スリーブの温度が上昇して保護スリーブの発火温度を越えたために保護スリーブが燃焼してファイバの温度が更に上昇して屈折率等の物性が変化してレーザ光の透過率が低下し、レーザ光の吸収によってファイバが更に昇温して、コアが変質するファイバヒューズが発生してレーザ光がファイバを伝搬しなくなるというような定量的故障発生メカニズムがあるとすれば、この一連の物理的な因果関係が含まれる定量的故障発生メカニズム全体を物理モデルと記録しても良いし、その一部の物理現象である、ある反射光センサで検出されたクラッドを伝搬する反射光強度とファイバの温度上昇の関係や、保護スリーブの発火温度等を記録しておいても良い。
【0059】
学習部11は、判定結果付きデータ・物理モデル記録部15に記録されている判定結果付きデータあるいは記録されている判定結果付きデータに基づく学習結果と、物理モデルを参照して、故障が発生したと判定された時に、故障したレーザ装置2について観測した状態変数に対して、定量的故障発生メカニズムを推定して、推定結果を出力し、その推定に対する正否判定の結果を取得して学習を進める。
【0060】
なお、判定結果付きデータ・物理モデル記録部15は、機械学習装置1の内部に備える必要な無く、ネットワークやメモリカード等により、判定結果付きデータを学習部に提供することも可能であり、判定結果付きデータと物理モデルは、同じ記録部に記録される必要はなく、異なる記録部に記録されてもよい。
【0061】
図2は、図1に示した機械学習装置の動作の一例を示すフローチャートである。図2に示されるように、図1に示す機械学習装置1において、学習を開始すると、まず、判定結果付きデータ・物理モデル記録部15に記録されている判定結果付きデータと物理モデルを参照して学習部11は初期学習モデルを作成し(ステップS101)、機械学習装置1にネットワーク3で接続された各レーザ装置2の状態変数を観測し(ステップS102)、レーザ装置2への光出力指令と出力光センサ7による検出結果等から求められた光出力との差が所定範囲より大きくなる、所定制御範囲内に制御されるべき各センサによる検出結果が所定制御範囲から逸脱する等、故障が発生したと考えられる状態変数になっていないかを判定し(ステップS103)、故障が発生したと判定されない内は、ステップS102に戻ってレーザ装置2の状態変数を観測し続けるが、故障が発生したと判定された場合は、学習部11は学習モデルと物理モデルを参照して(ステップS104)、故障原因から故障発生状況までの一連の定量的故障発生メカニズムを推定し(ステップS105)、推定した定量的故障発生メカニズムを意思決定部から出力する(ステップS106)。故障したレーザ装置を診断して修理しようとする者は、故障の発生状況を確認して、機械学習装置1の判定結果取得部12に直接あるいはネットワークを通じて故障発生状況を入力する(ステップS107)。故障の発生状況を確認しても、故障の発生原因まで特定できない場合が多いので、故障箇所や故障部品と、故障あるいは損傷の状態、例えば、焼けているのか、熔けているのか、割れているのか、外れているのか、断線しているのか、短絡しているのか等、原則として修理時に確認できる内容を入力することになる。判定結果取得部12は推定結果に対する判定結果を取得して(ステップS108)、学習部11に出力する。学習部11は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し(ステップS109)、不一致点があれば、不一致の度合いに応じて、誤差計算部16で学習モデルの誤差を計算し(ステップS110)、誤差に応じて、学習モデル更新部17は学習モデルを更新する(ステップS111)。続いて、機械学習を終了する指令が出ているか否かを判定し(ステップS112)、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップS102に戻って、ネットワークを通じて接続している各レーザ装置2の状態変数の観測を継続する。なお、ステップS109で、推定した定量的故障発生メカニズムに含まれる故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に故障発生状況と一致している場合は、直接、ステップS112に進んで、機械学習を終了する指令が出ているか否かを判定する。以上のステップS101〜ステップS112を繰り返すことによって、学習部11は、学習モデルの更新を繰り返して、レーザ装置2の状態変数から定量的故障発生メカニズムを推定できるように学習する。
【0062】
故障原因から故障発生状況までの一連の定量的故障発生メカニズムを学習することによって、状態変数の統計的処理から故障原因や故障発生条件を推定する学習方法よりも、物理現象や物理的なメカニズムと整合性のある適確な推定がより確実に行えるようになる。また、物理モデルを参照することによって、物理的に不合理な学習結果は排除でき、学習の比較的初期の内から、すなわち、故障発生に関するデータが比較的少ない状況においても、物理的に合理的な定量的故障発生メカニズムが推定できる確率が高くなる。
なお、レーザ装置2に対しては、多くの状態変数を観測することによって、種々の故障に対応した定量的故障発生メカニズムを正確に学習することができるようになるので、故障に関連する可能性のある状態変数は、前述のように、できるだけ多く状態観測部13で観測することが望ましい。
【0063】
図3は、図1に示した機械学習装置の動作の他の一例を示すフローチャートであり、機械学習装置は、レーザ装置における故障に対して出力された定量的故障発生メカニズムに対する正否の判定に、前記レーザ装置の操作者あるいは修理担当者等によって確認された故障発生状況と出力された前記定量的故障発生メカニズムに含まれる故障発生状況との同一性の有無だけでなく、物理モデルを参照して検証される、確認された故障発生状況と出力された定量的故障発生メカニズムに含まれる物理現象あるいは物理メカニズムとの整合性の有無も含めている。図3のフローチャートの内、ステップS201〜ステップS208は、図2のフローチャートのステップS101〜ステップS108と同じである。ステップS209で、学習部11は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し(ステップS209)、一致している場合は、直接、ステップS214に進んで、機械学習を終了する指令が出ているか否かを判定する点も、図2のフローチャートと同じである。異なるのは、ステップS209で、推定した定量的故障発生メカニズムに含まれる故障発生状況が、実際に確認した故障発生状況と不一致点がある場合は、ステップS210に進んで、確認した故障発生状況と推定した定量的故障発生メカニズムと矛盾しているか否かを判定している点である。すなわち、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれる故障発生状況は、故障発生箇所の位置がずれているとか、焼損状態ではなく熔解状態であったとか、故障の発生状況は一致しないが、温度上昇によって故障しているという意味で、推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムに矛盾はしていないのか、それとも確認した故障発生状況は、推定した定量的故障発生メカニズムに含まれる温度上昇による故障とは考えられず、振動や衝撃による機械的破壊による故障であり、定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているのかを判定し、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、誤差計算部16は誤差1が生じたと計算し(ステップS211)、ステップS213で学習モデル更新部17が誤差1の大きさに応じて学習モデルを更新する。一方、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾していると判定された場合は、誤差計算部16は誤差1より大きな誤差2が生じたと計算して(ステップS212)、ステップS213で学習モデル更新部17は誤差2の大きさに応じて学習モデルを更新する。学習モデルを更新した後は、ステップS214に進んで、機械学習を終了する指令が出ているか否かを判定する点は、図2のフローチャートと同じである。以上のステップS201〜ステップS214を繰り返すことによって、学習部11は、学習モデルの更新を繰り返して、レーザ装置2の状態変数から定量的故障発生メカニズムを推定できるように学習する。一つの機械学習装置1が備える学習モデルは一つに限定されず、複数の学習モデルを備えることができる。
【0064】
物理現象あるいは物理メカニズムとの整合性の有無も正否の判定に加えることによって、物理モデルに矛盾するような推定が排除され、種々の故障に対して合理的な定量的故障発生メカニズムを学習することができるようになる。具体的には、図3のフローチャートに示した動作例のように、確認した故障発生状況が、出力された定量的故障発生メカニズムに含まれる故障発生状況と異なるだけでなく、出力された定量的故障発生メカニズムに含まれる物理現象や物理メカニズムと整合せず矛盾する場合は、その故障に対する定量的故障発生メカニズムの学習結果の誤差がより大きいとして、学習モデルを更新することによって、種々の故障に対して物理モデルに適合した合理的な定量的故障発生メカニズムを学習することができる。
【0065】
学習の結果、各故障に対応した定量的故障発生メカニズムを出力できるようになると、定量的故障発生メカニズムには故障発生状況として故障した場所あるいは部品が含まれているので、故障が発生した場合に、故障個所を修復するのに要する時間を短縮できる。
なお、教師あり学習を行う機械学習器の学習の一例として、例えば以下の数1式に示すような予測モデルの回帰式を設定し、学習の過程において各状態変数x1,x2,x3,…が取る値を回帰式に当てはめた時に、目的変数yの値が得られるように、各係数a0,a1,a2,a3,…の値を調整することにより学習が進められる。なお、学習の方法はこれに限られるものではなく、教師あり学習のアルゴリズム毎に異なる。
【0066】
【数1】
【0067】
教師あり学習のアルゴリズムとしては、ニューラルネットワーク、最小二乗法など様々な方法が周知となっており、本発明に適用する方法としていずれの教師あり学習アルゴリズムを採用してもよい。
【0068】
<第2実施形態>
図4は、本発明の第2実施形態の機械学習装置101の概念的な構成を示すブロック図であり、図1と同様に、ネットワーク3よって3台のレーザ装置と接続されている状態を示しており、3台のレーザ装置の内、右端の1台のレーザ装置については、レーザ装置の概念的な構成を示すブロック図で示している。レーザ装置の構成は、図1と同じであり、図1と異なるのは、本実施形態では、強化学習を適用した機械学習装置101の例を示しており、学習部111は、誤差計算部16と学習モデル更新部17に代って、報酬計算部19と価値関数更新部20を備えていることである。また、判定結果付きデータ・物理モデル記録部15は備えておらず、物理モデルは学習部に記録されているとしている。また、本実施形態の学習部111は、前述の教師有り学習による学習結果を初期状態として、学習を強化学習で進めるものとして、強化学習開始時点で既に初期価値関数を備えているものとしている。
【0069】
図5は、図4に示した機械学習装置の動作の一例を示すフローチャートである。図3に記載したフローチャートに対して、初期学習結果が学習部111に備えられているとしているので、ステップS201の初期学習モデルを作成というステップはないが、ステップS303で参照する学習結果が学習モデルではなく価値関数であることを除けば、ステップS301〜ステップS309は、図3のフローチャートのステップS202〜ステップS210は同じである。異なるのは、そのステップ以降であり、ステップS308で、学習部111は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し、一致している場合は、報酬計算部がプラスの報酬(報酬1)を設定し(ステップS310)、ステップS313で価値関数更新部20が報酬に応じて価値関数を更新する。次に、機械学習を終了する指令が出ているか否かを判定し(ステップS314)、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップS301に戻って、ネットワークを通じて接続している各レーザ装置2の状態変数の観測を継続する。ステップS308で、学習部111が、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致してないと判定した場合は、ステップS309に進み、図3のフローチャートのステップS210と同様に、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれる故障発生状況は一致しないが、確認した故障発生状況は、推定した定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているか否かを判定し、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、報酬計算部19は、比較的小さなマイナスの報酬(報酬2)を設定し(ステップS311)、報酬に応じて価値関数更新部20が価値関数を更新する(ステップS313)。一方、ステップS309で、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾していると判定された場合は、報酬計算部19は比較的大きなマイナスの報酬(報酬3)を設定し(ステップS312)、ステップS313で価値関数更新部20が設定された報酬に応じて価値関数を更新してからステップS314に進んで、機械学習を終了する指令が出ているか否かを判定し、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップS301に戻って、ネットワークを通じて接続している各レーザ装置2の状態変数の観測し、学習を継続する。ここで、上記の報酬1、報酬2、報酬3は、報酬3<報酬2<0<報酬1の関係にある。以上のステップS301〜ステップS314を繰り返すことによって、学習部111は、価値関数の更新を繰り返して、レーザ装置2の状態変数から定量的故障発生メカニズムを推定できるように学習する。
【0070】
図6は、図4に示した機械学習装置の動作の他の一例を示すフローチャートであり、機械学習装置101は、学習部111が、レーザ装置2における故障を検知した時に、故障に対して、単一の第1候補の定量的故障発生メカニズムだけでなく、第2候補の定量的故障発生メカニズムや、第3候補の定量的故障発生メカニズムなど、複数の定量的故障発生メカニズムを、意思決定部14を通じて出力し、報酬計算部19は、各候補の定量的故障発生メカニズムに対して、プラスあるいはマイナスの報酬を設定する際に、定量的故障発生メカニズムの候補順位が上位であるほど、相対的に絶対値の大きな報酬を設定するように動作する。図6のフローチャートの内、ステップS401〜ステップS407は、図5のフローチャートのステップS301〜ステップS307と同じである。ステップS407に続いて、カウンタの値(m)を1にリセット(ステップS408)した後に、学習部111は、実際に確認した故障発生状況と推定した第m候補(最初はm=1なので第1候補)の定量的故障発生メカニズムに含まれる故障発生状況と一致しているか否かを判定する(ステップS409)。一致している場合は、報酬計算部19は、プラスの報酬(+Am)の設定し(ステップS410)、設定された報酬に応じて、価値関数更新部20は、価値関数を更新し(ステップS416)、学習を終了する指令が出ているか否かを判定し(ステップS417)、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップS401に戻って、学習を継続する。ステップS409で実際に確認した故障発生状況と推定した第m候補(最初はm=1なので第1候補)の定量的故障発生メカニズムに含まれる故障発生状況と一致していないと判定された場合は、図5のステップS309と同様に、確認した故障発生状況が、推定した定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているか否かを判定し(ステップS411)、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、報酬計算部19はマイナスの報酬(−Bm)を設定し(ステップS412)、カウンタの値(m)が、設定した候補数(n)より小さいか否かを判定し(ステップS414)、m<nであれば、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれている故障発生状況が未だ一致しておらず、かつ、推定した定量的故障発生メカニズムの候補が未だ残っているので、カウンタの値を+1だけ増やして(ステップS415)、ステップS409に戻り、推定した定量的故障発生メカニズムの内の次の順位の候補の定量的故障発生メカニズムに含まれる故障発生状況が実際に確認した故障発生状況と一致しているか否かを判定する。ステップS411で、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾すると判定された場合は、報酬計算部19はマイナスの報酬(−Cm)を設定し(ステップS413)、ステップS414に進む。ステップS414で、m<nではないと判定された場合は、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれている故障発生状況が未だ一致していないが、推定した定量的故障発生メカニズムの候補が残っていないので、ステップS416に進んで、価値関数更新部20は、報酬計算部19で設定された報酬の合算値に応じて、価値関数を更新して(ステップS416)、学習を終了する指令が出ているか否かを判定し(ステップS417)、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップS401に戻って、学習を継続する。以上のステップS401〜ステップS417を繰り返すことによって、学習部111は、価値関数の更新を繰り返して、レーザ装置2の状態変数から定量的故障発生メカニズムを推定できるように学習する。価値関数についても、一つの機械学習装置101が複数の価値関数を備えることができる。
【0071】
ここで、Am、Bm、Cmは、A1>A2>・・・Am・・・>An>0,B1>B2>・・・>Bm>・・・>Bn>0,C1>C2>・・・>Cm>・・・>Cn>0,Bm<Cmの関係にある。但し、上記の動作において、マイナスの報酬(−Bm)と設定しているところをプラスの報酬(Bm)に設定して良い。その場合は、Am,Bm,Cmは、A1>A2>・・・Am・・・>An>0,B1>B2>・・・>Bm>・・・>Bn>0,C1>C2>・・・>Cm>・・・>Cn>0,Am>Bmの関係が成り立つように設定すれば良い。また、AmやBmやCmの値は、具体的には、例えば、Am=A1/m,Bm=B1/m,Cm=C1/m等のように設定しても良い。
【0072】
以上のように、本実施形態においては、教師あり学習で種々の故障に対応した定量的故障発生メカニズムを機械学習した結果を初期状態として強化学習を行うことで学習をより深化させることができる。確認した故障発生状況が、出力された定量的故障発生メカニズムに含まれる故障発生状況と異なる場合より、出力された定量的故障発生メカニズムに含まれる物理現象や物理メカニズムと整合せずに矛盾する場合は、より大きなマイナスの報酬を設定することによって、種々の故障に対して物理モデルに適合したより合理的な定量的故障発生メカニズムを学習することができる。
【0073】
本実施形態においても、第1実施形態と同様に、学習の結果、各故障に対応した定量的故障発生メカニズムを出力できるようになると、定量的故障発生メカニズムには故障発生状況として故障した場所あるいは部品が含まれているので、故障が発生した場合に、故障個所を修復するのに要する時間を短縮できる効果がある。また、特に、図6のフローチャートで示したように動作した場合には、少ない故障発生データを有効利用して学習を進めることができ、第1候補の定量的故障発生メカニズムに含まれる故障場所あるいは故障部品が間違っていても、すぐ次の候補の定量的故障発生メカニズムに含まれる故障場所あるいは故障部品をチェックできるので、故障個所が分からないために復旧に長時間を要するという問題の発生確率が低減できるという効果がある。
【0074】
なお、本実施形態において適用している強化学習では、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち将来的に得られる報酬を最大にするための学習する方法を学ぶものであり、例えば、後述のように、故障回避データを出力した結果、レーザ装置が反射光による故障を回避できたり、回避できなかったりして、未来に影響をおよぼすような行動を獲得できることを表している。
【0075】
価値関数更新部は、いわゆるQ学習を用いて強化学習を行うことができる。但し、強化学習の方法はQ学習に限定されるものではない。Q学習は、或る環境状態sの下で、行動aを選択する価値Q(s,a)を学習する方法であって、ある状態sのとき、価値Q(s,a)の最も高い行動aを最適な行動として選択すれば良い。しかし、最初は、状態sと行動aとの組合せについて、価値Q(s,a)の正しい値は全く分かっていないので、ある状態sの下で様々な行動aを選択し、その時の行動aに対して、報酬が与えられる。それにより、より良い行動の選択、すなわち、正しい価値Q(s,a)を学習していく。
【0076】
更に、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にQ(s,a)=E[Σ(γt)rt]となるようにすることを目指す。ここでE[]は期待値を表し、tは時刻、γは後述する割引率と呼ばれるパラメータ、rtは時刻tにおける報酬、Σは時刻tによる合計である。この式における期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Q(s,a)の更新式は、例えば、下記の数2式により表すことができる。即ち、前記価値関数更新部は、下記の数2式を用いて価値関数Q(st,at)を更新する。
【0077】
【数2】
【0078】
ここで、stは、時刻tにおける環境の状態を表し、atは、時刻tにおける行動を表す。行動atにより、状態はst+1に変化する。rt+1は、その状態の変化により得られる報酬を表している。また、maxの付いた項は、状態st+1の下で、その時に分かっている最もQ値の高い行動aを選択した場合のQ値にγを乗じたものになる。ここで、γは、0<γ≦1のパラメータで、割引率と呼ばれる。また、αは、学習係数で、0<α≦1の範囲とする。
【0079】
上述した数2式は、試行atの結果、帰ってきた報酬rt+1を元に、状態stにおける行動atの評価値Q(st,at)を更新する方法を表している。すなわち、状態sにおける行動aの評価値Q(st,at)よりも、報酬rt+1と行動aによる次の状態における最良の行動max aの評価値Q(st+1,max at+1)の合計の方が大きければ、Q(st,at)を大きくし、反対に小さければ、Q(st,at)を小さくすることを示している。つまり、ある状態におけるある行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるものである。
【0080】
ここで、Q(s,a)の計算機上での表現方法は、すべての状態行動ペア(s,a)に対して、その値を行動価値テーブルとして保持しておく方法と、Q(s,a)を近似するような関数を用意する方法がある。後者の方法では、前述の数2式は、確率勾配降下法などの手法で近似関数のパラメータを調整していくことにより、実現することができる。なお、近似関数としては、ニューラルネットワークを用いることができる。ニューラルネットワークは、ニューロンのモデルを模した演算装置およびメモリ等で構成される。
【0081】
上記のように、教師あり学習の学習アルゴリズムや、強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができるので、前記機械学習装置は、ニューラルネットワークを有することが好ましい。
【0082】
図7は、ニューロンのモデルを模式的に示す図であり、図8は、図7に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。ニューラルネットワークは、図7に示すようなニューロンのモデルを模した演算装置およびメモリ等で構成される。ニューロンは、複数の入力xに対する出力(結果)yを出力するものである。各入力x(x1〜x3)には、この入力xに対応する重みw(w1〜w3)が掛けられ、ニューロンは、以下の数3式により表現される結果yを出力する。なお、入力x、結果yおよび重みwは、すべてベクトルである。
【0083】
【数3】
【0084】
ここで、θは、バイアスであり、fkは、活性化関数である。
図8に示したように、ニューラルネットワークの左側から複数の入力x(x1〜x3)が入力され、右側から結果y(y1〜y3)が出力される。入力x1〜x3は、3つのニューロンN11〜N13の各々に対して、対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてw1と表記している。
【0085】
ニューロンN11〜N13は、それぞれ、z11〜z13を出力する。図8において、これらz11〜z13は、まとめて特徴ベクトルz1と表記され、入力ベクトルの特徴量を抽出したベクトルと見なすことができる。この特徴ベクトルz1は、重みw1と重みw2との間の特徴ベクトルである。z11〜z13は、2つのニューロンN21およびN22の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてw2と表記されている。ニューロンN21,N22は、それぞれz21,z22を出力する。図8において、これらz21,z22は、まとめて特徴ベクトルz2と標記されている。この特徴ベクトルz2は、重みw2と重みw3との間の特徴ベクトルである。z21,z22は、3つのニューロンN31〜N33の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてw3と標記している。
【0086】
最後に、ニューロンN31〜N33は、それぞれ、結果y1〜結果y3を出力する。ニューラルネットワークの動作には、学習モードと価値予測モードがあり、学習モードにおいて、学習データセットを用いて重みwを学習し、そのパラメータを用いて予測モードにおいて、レーザ加工条件データの出力の行動判断を行う。ここで、予測モードで実際にレーザ加工条件データの出力を行い、得られたデータを即時学習し、次の行動に反映させるオンライン学習も、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行うバッチ学習も行うこともできる。ある程度データが溜まるたびに学習モードを挟むということも可能である。
【0087】
また、重みw1〜w3は、誤差逆伝播法(Backpropagation)により学習可能である。なお、誤差の情報は、右側から入り左側に流れる。誤差逆伝播法は、各ニューロンについて、入力xが入力されたときの出力yと真の出力y(教師)との差分を小さくするように、それぞれの重みを調整(学習)する手法である。
【0088】
図8のニューラルネットワークの中間層(隠れ層)は一層だが、2層以上にすることも可能であり、中間層が2層以上の場合は深層学習と呼ばれている。
【0089】
以上、教師あり学習と強化学習の学習方法について簡単に述べたが、本発明に適用される機械学習方法は、これらの手法に限定されず、機械学習装置で用いることが出来る手法である「教師あり学習」、「教師なし学習」、「半教師あり学習」および「強化学習」等といった様々な手法が適用可能である。
【0090】
<第3実施形態>
図9は、本発明の第3実施形態の機械学習装置の動作の一例を示すフローチャートであり、本発明の第1実施形態の教師あり学習で学習を行う機械学習装置1が、学習によって習得した様々な故障の中の各故障に対応した定量的故障発生メカニズムを参照して、ネットワーク3を通じて相互に情報通信が可能な状態に接続されたいずれかのレーザ装置2のいずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付くと、当該レーザ装置2の制御部9に対して、故障の発生を未然に防ぐための駆動条件である故障回避駆動条件を指令する予防保全装置としての機能も有している場合の動作の一例を示すフローチャートである。
【0091】
なお、レーザ装置2のいずれかの状態変数の値、あるいは複数のいずれかの前記状態変数の値を座標値とする点として定義される点が、故障が発生する故障発生領域に所定範囲より近付くとは、どのような意味かを図10に模式的に示している。図10では、レーザ装置2の状態変数の内、αとβという2つの状態変数の値を座標値とする点が、二次元の故障発生領域に近付いて行く様子を模式的に示しており、tiは時間を表しており、t1よりt2の方が後の時間を表している。図10において、実線を境にして原点(α=β=0の点)から遠い領域が故障発生領域であり、実線を境にして原点に近い領域が故障発生領域外(=故障の発生しない領域)であり、実線と一点鎖線で挟まれた領域が故障発生領域に所定範囲より近付いたとする領域を表している。αとβの値を座標値とする点が、原点側から一点鎖線を越えると、故障発生領域に所定範囲より近付いたという判定される。図10の例では、故障発生領域に80%まで近付くと、故障発生領域に所定範囲より近付いたとしている。また、図10において、故障発生領域内に記された破線は、故障の状態や程度の境界線を示しており、αとβの値を座標値とする点が、故障発生領域内に少し入っただけなら、故障部位の破損状態は、溶解する程度だか、原点から遠ざかるについて、焼損から蒸発とより高温になったことを示す故障状態になることを示している。
【0092】
なお、状態観測部13が取得するレーザ装置2の状態変数には時系列データも含まれるので、図10における変数のαやβは時間であってもよく、仮に横軸を時間とすると、図11のような図になり、短時間であれば、γという状態変数の値がある程度大きくでも故障しないが、その状態が長く続くと故障発生領域に入るので、短時間の内に故障回避駆動条件に移行すれば故障を回避できるということになる。具体的な故障回避駆動条件としては、レーザ光出力を低減する、あるいは、レーザ発振を停止する等が考えられるが、これらに限定するものでなく、レーザ発振器を冷却している冷却機の冷却能力を上昇させる等であってもよい。図11との実線、破線、一点鎖線、t1、t2の意味は、図10と同じである。機械学習装置1,101が、学習によって習得する各故障に対応した定量的故障発生メカニズムには、図10図11のような情報も含まれている。
【0093】
但し、図10図11では、説明を簡単にするために、負の値をとらない状態変数の場合について示しているが、故障発生領域を画定する状態変数は、負の値をとり得る状態変数であってもよいことは言うまでもない。また、状態変数の値を座標値とする点は仮想的な点であり、図10図11のような二次元の面上の点を意味するだけでなく、一次元の線上の点であってもよいし、三次元の空間内の点であってもよいし、4次元や5次元等の仮想的空間内の点であってもよい。対応する故障発生領域も状態変数の値を座標値とする点と同じ次元の空間内に画定されることになる。
【0094】
図9のフローチャートの説明に戻って、学習を開始すると、まず、判定結果付きデータ・物理モデル記録部15に記録されている判定結果付きデータと物理モデルを参照して学習部11は初期学習モデルを作成し(ステップS501)、次に、故障回避機能がオンに設定されているか、オフに設定されているかを確認し(ステップS502)、経過時間を計測するためのタイマをリセットした後、新たにタイマで経過時間のカウントを開始する(ステップS503)。なお、故障回避機能のオンオフ設定は、レーザ装置毎に設定してもよく、限界特性試験用レーザ装置だけ故障回避機能をオフの設定のままにして、他のレーザ装置については故障回避機能をオンに設定する等の設定を行って良い。続いて、機械学習装置1にネットワーク3で接続された各レーザ装置2の状態変数を観測し(ステップS504)、故障回避機能のオンオフの設定状態を判定する(ステップS505)。故障回避機能がオフに設定されていると判定されたレーザ装置2については、故障回避動作は行わないが、前述のように、それまでの学習結果を参照して、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が、故障発生領域内に入ったか否かを判定する(ステップS506)。ステップS506で、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定した場合は、レーザ装置2への光出力指令と出力光センサ7による検出結果等から求められた光出力との差が所定範囲より大きくなる、所定制御範囲内に制御されるべき各センサによる検出結果が所定制御範囲から逸脱する等、故障が発生したと考えられる状態変数になっていないかを判定し(ステップS507)、故障が発生していないと判定された場合は、ステップS519に進み、故障が発生したと判定された場合は、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定したにも関わらず、故障が発生したと判定されたので、誤差計算部16は、学習結果(学習モデル)に誤差が生じているとして誤差3を計算する(ステップS508)。続いて、それまでの学習結果と記録されている物理モデルを参照して、故障原因から故障発生状況までの一連の内容を含む定量的故障発生メカニズムを推定し(ステップ509)、推定した定量的故障発生メカニズムを意思決定部14から出力する(ステップS512)。ステップS506で、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定した場合も、ステップS507と同様に、故障が発生したと考えられる状態変数になっていないかを判定し(ステップS510)、故障が発生したと判定された場合は、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定して、故障が発生したと判定されたので、学習結果に誤差は認められないので、直接ステップS509に進む。ステップS510で、故障が発生していないと判定された場合は、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定したにも関わらず、故障が発生していないと判定されたので、誤差計算部16は、学習モデルに誤差が生じているとして誤差4を計算して(ステップS511)、ステップS519に進む。
【0095】
図9のステップS512〜ステップS518は、図3のフローチャートのステップS206〜ステップS212とほぼ同じであり、レーザ装置2の管理担当者や修理担当者等によって確認された故障発生状況が入力され(ステップS513)、判定結果取得部12は、確認された故障発生状況を推定された定量的故障メカニズムに対する判定結果として取得して、学習部11に出力する(ステップS514)。学習部11は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し(ステップS515)、一致している場合は、ステップS519に進み、推定した定量的故障発生メカニズムに含まれる故障発生状況が、実際に確認した故障発生状況と不一致点がある場合は、ステップS516に進んで、確認した故障発生状況と推定した定量的故障発生メカニズムと矛盾しているか否かを判定する。前述のように、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれる故障発生状況は、故障発生箇所の位置がずれているとか、焼損状態ではなく熔解状態であったとか、故障の発生状況は一致しないが、温度上昇によって故障しているという意味で、推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムに矛盾はしていないのか、それとも確認した故障発生状況は、推定した定量的故障発生メカニズムに含まれる温度上昇による故障とは考えられず、振動や衝撃による機械的破壊による故障であり、定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているのかを判定し、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、誤差計算部16は誤差1が生じたと計算し(ステップS517)、ステップS519に進む。一方、ステップS516で、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾していると判定された場合は、誤差計算部16は誤差1より大きな誤差2が生じたと計算して(ステップS518)、ステップS519に進む。
【0096】
一方、ステップS505で、故障回避機能がオンに設定されていると判定されたレーザ装置2については、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いているか否かを判定し(ステップS521)、所定範囲より近付いていると判定された場合は、機械学習装置は、レーザ装置2の故障を回避するために、レーザ装置2に対して、故障回避駆動条件に駆動条件を切換えるように指令する(ステップS522)。その後、再度、レーザ装置2の状態変数を観測して(ステップS523)、故障が発生したと考えられる状態変数になっているか否を判定する(ステップS524)。もし、学習結果が正確で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定され、レーザ装置2に指令した故障回避駆動条件が適切であれば、故障は発生していないはずであるが、故障が発生していると判定された場合は、学習結果に誤差があり、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定されなかったか、指令した故障回避駆動条件が適切でなったことを示しているので、誤差計算部16で誤差5を計算して(ステップS525)、ステップS509に戻って、学習モデルと物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進む。ステップS524で故障が発生していないと判定された場合は、正しく故障回避が行えたことになり、ステップS519に進む。
【0097】
一方、ステップS521で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないと判定された場合は、再度、レーザ装置2の状態変数を観測して(ステップS526)、故障が発生したと考えられる状態変数になっているか否かを判定する(ステップS527)。もし、学習結果が正確で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないことが正しく判定されていれば、故障は発生していないはずであるが、故障が発生していると判定された場合は、学習結果に誤差があり、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定されなかったことを示しているので、誤差計算部16で誤差6を計算して(ステップS528)、先の場合と同様に、ステップS509に戻って、学習モデルと物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進む。ステップS527で、故障が発生していないと判定された場合は、状態変数の値、あるいは複数の状態変数の値を座標値とする点がいずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないと判定されて、故障は発生していないと判定されたので、学習結果に誤差は認められず、ステップS519に進む。
【0098】
以上のように、上記の全てのフローはステップS519に合流し、ステップS519では、誤差計算部16で計算された誤差(正確には、学習モデル更新後に新しく計算された誤差)の有無が判定され、計算された誤差が少なくとも一つ以上あると判定された場合は、計算された誤差の大きさに応じて、学習モデル更新部17が学習モデルを更新して(ステップS520)、経過時間を計測するタイマが設定した時間を越えていないか、即ち、タイムオーバーになっているか否かを判定する(ステップS529)。ステップS519で計算された誤差がないと判定された場合は、学習モデルの更新をパスして、ステップS529に進む。ステップS529でタイムオーバーになっていないと判定された場合は、機械学習を終了する指令が出ているか否かを判定し(ステップS530)、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップS504に戻って、レーザ装置2の状態変数の観測を継続する。ステップS529では、ステップS529で、タイムオーバーになっていると判定された場合は、ステップS502に戻って、故障回避機能がオンに設定されているか、オフに設定されているかを確認して、タイマをリセットした後、新たにタイマで経過時間のカウントを再開する(ステップS503)。このように、タイマで経過時間を計測しているのは、故障回避機能のオンオフの設定状態が変わっていないかを定期的に確認するためである。
【0099】
上記のように、少なくとも一つの誤差が計算された場合は、ステップS520で、計算された誤差の大きさに応じて学習モデル更新部17が学習モデルを更新するが、各誤差の大きさには、上述の誤差2>誤差1の関係の他に、次のような関係にあってもよい。まず、誤差3と誤差4は、故障発生領域と故障発生領域外との境界線の位置精度の問題であり、ステップS506での判定に使用した、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点が、この境界線から離れている程大きな誤差があると計算し、ステップS506での判定に使用した、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点とこの境界線との隔たりが同じなら誤差3と誤差4の大きさは同じとしてもよい。誤差5は、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点が故障発生領域に所定範囲より近付いたことを察知して、故障回避駆動条件を指令したが、故障が発生したことから、故障回避駆動条件が適切でなかったかも知れないが、前述の故障発生領域と故障発生領域外との境界線より安全サイドにあると推定されていた条件変数の値、あるいは複数の状態変数の値を座標値とする点の位置で故障が発生したので、誤差5は、通常は、誤差3や誤差4より大きいと計算されてもよい。一方、誤差6は、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いているのに気付かない内に故障が発生したという結果に対応した誤差であるので、誤差6は誤差5より更に大きい誤差と計算されるようにしてもよい。
【0100】
以上のステップS501〜ステップS530を繰り返すことによって、機械学習装置1は、学習モデルの更新を繰り返して、レーザ装置2の状態変数から定量的故障発生メカニズムを推定できるように学習を進めると共に、学習結果を参照して、レーザ装置に故障が発生しそうな状態になった時にレーザ装置に対して適確な故障回避駆動条件を指令できるようになる。その結果、レーザ装置をおける故障を次第に低減できるようになり、信頼性の高いレーザ装置を実現することができる。
【0101】
<第4実施形態>
図12は、本発明の第4実施形態の機械学習装置の動作の一例を示すフローチャートであり、本発明の第2実施形態の強化学習で学習を行う機械学習装置101が、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、ネットワーク3を通じて相互に情報通信が可能な状態に接続されたいずれかのレーザ装置2のいずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付くと、当該レーザ装置2の制御部9に対して、故障の発生を未然に防ぐための駆動条件である故障回避駆動条件を指令する予防保全装置としての機能も有している場合の動作の一例を示すフローチャートである。
【0102】
図12のフローチャートにおいて、ステップS601〜ステップ606は、図9のフローチャートのステップS502〜ステップS507とほぼ同じであり、学習を開始すると、故障回避機能がオンに設定されているか、オフに設定されているか否かを確認し(ステップS601)、経過時間を計測するためのタイマをリセットした後、新たにタイマで経過時間のカウントを開始する(ステップS602)。なお、故障回避機能のオンオフ設定は、第3実施形態と同様に、レーザ装置毎に設定してもよく、限界特性試験用レーザ装置だけ故障回避機能をオフの設定のままにして、他のレーザ装置については故障回避機能をオンに設定する等の設定を行って良い。続いて、機械学習装置101にネットワーク3で接続された各レーザ装置2の状態変数を観測し(ステップS603)、故障回避機能のオンオフの設定状態を判定する(ステップS604)。故障回避機能がオフに設定されていると判定されたレーザ装置2については、故障回避動作は行わないが、前述のように、それまでの学習結果(価値関数)を参照して、レーザ装置2の状態変数の値、あるいは複数の状態変数の値をとする点が、故障発生領域内に入ったか否かを判定する(ステップS605)。ステップS605で、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定した場合は、レーザ装置2への光出力指令と出力光センサ7による検出結果等から求められた光出力との差が所定範囲より大きくなる、所定制御範囲内に制御されるべき各センサによる検出結果が所定制御範囲から逸脱する等、故障が発生したと考えられる状態変数になっていないかを判定し(ステップS606)、故障が発生していないと判定された場合は、状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定して、故障が発生していないという通常の状態なので、機械学習装置101がレーザ装置2の状態を正しく認識しているという意味でごく小さなプラスの報酬を設定してもよいが、故障回避機能がオフに設定されているレーザ装置については、殆どの時間はこのような状態であるので過剰なプラスの報酬を設定することになる可能性が高いので、本実施形態では、特に報酬の設定は行わず、ステップS620に進み、故障が発生したと判定された場合は、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入っていないと判定したにも関わらず、故障が発生したと判定されたので、報酬計算部19は、マイナスの報酬(−Dの報酬)を設定する(ステップS607)。続いて、それまでの学習結果と記録されている物理モデルを参照して、故障原因から故障発生状況までの一連の内容を含む定量的故障発生メカニズムを推定し(ステップ608)、推定した定量的故障発生メカニズムを意思決定部14から出力する(ステップS612)。ステップS605で、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定した場合も、ステップS606と同様に、故障が発生したと考えられる状態変数になっていないかを判定し(ステップS609)、故障が発生したと判定された場合は、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定して、故障が発生したと判定されたので、正解であったので、報酬計算部19が、プラスの報酬(+Eの報酬)を設定してから(ステップS610)、ステップS608に進む。ステップS609で、故障が発生していないと判定された場合は、レーザ装置2の状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域内に入ったと判定したにも関わらず、故障が発生していないと判定されたので、報酬計算部19は、マイナスの報酬(−Fの報酬)を設定し(ステップS611)、ステップS620に進む。
【0103】
図12のステップS612〜ステップS619は、図5のフローチャートのステップS305〜ステップS312に類似しており、レーザ装置2の管理担当者や修理担当者等によって確認された故障発生状況が入力され(ステップS613)、判定結果取得部12は、確認された故障発生状況を推定された定量的故障メカニズムに対する判定結果として取得して、学習部11に出力する(ステップS614)。学習部111は、推定した定量的故障発生メカニズムに含まれる故障発生状況、すなわち故障した場所や部品、あるいは損傷を受けた場所や部品、故障あるいは損傷の状態が、実際に確認した故障発生状況と一致しているか否かを判定し(ステップS615)、一致している場合は、報酬計算部19はプラスの報酬(+Gの報酬)を設定し(ステップS616)、ステップS620に進む。ステップS615で、推定した定量的故障発生メカニズムに含まれる故障発生状況が、実際に確認した故障発生状況と不一致点があると判定された場合は、ステップS617に進んで、確認した故障発生状況と推定した定量的故障発生メカニズムと矛盾しているか否かを判定する。前述のように、確認した故障発生状況と推定した定量的故障発生メカニズムに含まれる故障発生状況は、故障発生箇所の位置がずれているとか、焼損状態ではなく熔解状態であったとか、故障の発生状況は一致しないが、温度上昇によって故障しているという意味で、推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムに矛盾はしていないのか、それとも確認した故障発生状況は、推定した定量的故障発生メカニズムに含まれる温度上昇による故障とは考えられず、振動や衝撃による機械的破壊による故障であり、定量的故障発生メカニズムに含まれる故障発生のメカニズムとは矛盾しているのかを判定し(ステップS617)、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムが矛盾しないと判定された場合は、報酬計算部19は、部分的には推定した定量的故障発生メカニズムは部分的には確認された故障発生状況と合っているので、比較的小さなマイナスの報酬(−Hの報酬)を設定し(ステップS618)、ステップS620に進む。一方、ステップS617で、確認した故障発生状態と推定した定量的故障発生メカニズムに含まれる故障発生の物理メカニズムも矛盾していると判定された場合は、報酬計算部19は、前記の−Hの報酬より大きなマイナスの報酬(−Iの報酬)を設定し(ステップS619)、ステップS620に進む。
【0104】
一方、ステップS604で、故障回避機能がオンに設定されていると判定されたレーザ装置2については、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いているか否かを判定し(ステップS622)、所定範囲より近付いていると判定された場合は、機械学習装置101は、レーザ装置2の故障を回避するために、レーザ装置2に対して、故障回避駆動条件に駆動条件を切換えるように指令する(ステップS623)。その後、再度、レーザ装置2の状態変数を観測して(ステップS624)、故障が発生したと考えられる状態変数になっているか否を判定する(ステップS625)。もし、学習結果が正確で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定され、レーザ装置2に指令した故障回避駆動条件が適切であれば、故障は発生していないはずであるが、故障が発生していると判定された場合は、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていることが正しく判定されなかったか、指令した故障回避駆動条件が適切でなったことを示しているので、報酬計算部19は、マイナスの報酬(−Jの報酬)を設定し(ステップS626)、ステップS608に戻って、学習結果と物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進む。ステップS625で故障が発生していないと判定された場合は、正しく故障回避が行えたことになるので、報酬計算部19は、プラスの報酬(+Kの報酬)を設定し(ステップS627)、ステップS620に進む。
【0105】
一方、ステップS622で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないと判定された場合は、再度、レーザ装置2の状態変数を観測して(ステップS628)、故障が発生したと考えられる状態変数になっているか否かを判定する(ステップS629)。学習結果が正確で、いずれかの状態変数の値、あるいは複数のいずれかの状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないことが正しく判定されていれば、故障は発生していないはずであるが、故障が発生していると判定された場合は、報酬計算部19は、マイナスの報酬(−Lの報酬)を設定し(ステップS630)、ステップS608に戻って、学習結果と物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進む。
【0106】
ステップS629で、故障が発生していないと判定された場合は、状態変数の値、あるいは複数の状態変数の値を座標値とする点がいずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いていないと判定されて、故障は発生していないという通常の状態なので、機械学習装置101がレーザ装置2の状態を正しく認識しているという意味でごく小さなプラスの報酬を設定してもよいが、故障回避機能がオンに設定されているレーザ装置については、殆どの時間はこのような状態であるので過剰なプラスの報酬を設定することになる可能性が高いので、本実施形態では、特に報酬の設定は行わずに、ステップS620に進む。
【0107】
以上のように、上記の全てのフローはステップS620に合流し、ステップS620では、報酬計算部19で設定された報酬(正確には、価値関数更新後に新しく設定された報酬)の有無が判定され、設定された報酬が少なくとも一つ以上あると判定された場合は、設定された報酬に応じて、価値関数更新部20が価値関数を更新して(ステップS621)、経過時間を計測するタイマが設定した時間を越えていないか、即ち、タイムオーバーになっているか否かを判定する(ステップS631)。
【0108】
タイムオーバーになっていないと判定された場合は、機械学習を終了する指令が出ているか否かを判定し(ステップS632)、学習終了指令が出ている場合は、学習を終了し、学習終了指令が出ていない場合は、ステップS603に戻って、レーザ装置2の状態変数の観測を継続する。ステップS631で、タイムオーバーになっていると判定された場合は、ステップS601に戻って、故障回避機能がオンに設定されているか、オフに設定されているかを確認して、タイマをリセットした後、新たにタイマで経過時間のカウントを再開する(ステップS602)。このように、タイマで経過時間を計測しているのは、前述のように、故障回避機能のオンオフの設定状態が変わっていないかを定期的に確認するためである。
【0109】
なお、ステップS607、ステップS610、ステップS626、ステップS630で報酬が設定された後、ステップS608に戻って、学習結果と物理モデルを参照して、定量的故障発生メカニズムを推定するフローに進んだ場合は、その後に、+Gの報酬か、−Hの報酬か、−Iの報酬が、更に設定されることになるが、その場合、先に例えば、−Dの報酬が設定されており、その後、+Gの報酬が設定された場合は、その和である、(−D+G)の報酬が設定されたとして、ステップS621で、価値関数更新部20が、(−D+G)の報酬に応じて、価値関数を更新するようにしてもよい。なお、ここで、D〜Lは、正の値としており、各報酬の大きさについては、前述のI>Hの関係の他に、次のような関係にあってもよい。
【0110】
まず、DとFについては、故障発生領域と故障発生領域外との境界線の位置精度の問題であり、ステップS605での判定に使用した、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点が、この境界線から離れている程、大きなマイナスの報酬を設定することが望ましい。逆に、Eについては、ステップS605での判定に使用した、故障に関係する状態変数の値、あるいは故障に関係する複数の状態変数の値を座標値とする点がこの境界線から近い程、大きなプラスの報酬を設定すればよい。Gについては、HやIのマイナスの報酬の大きさに比べて、ある程度大きくないと報酬を最大化していくことが難しくなるので、(H+I)≦G≦3(H+I)程度に設定することが望ましいと考えられる。Jは、故障に関係した状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域に所定範囲より近付いたことを察知して、故障回避駆動条件を指令したが、故障が発生したことから、故障回避駆動条件が適切でなかったかも知れないが、前述の故障発生領域と故障発生領域外との境界線より安全サイドにあると推定されていた状態変数の値、あるいは複数の状態変数の値を座標値とする点の位置で故障が発生したので、Jは、通常は、DやFより大きく設定してもよい。一方、Lは、故障に関係する状態変数の値、あるいは複数の状態変数の値を座標値とする点が、いずれかの定量的故障発生メカニズムによって故障が発生する故障発生領域に所定範囲より近付いているのに気付かない内に故障が発生したという結果に対応したマイナスの報酬であるので、L>Jに設定することが望ましい。残るKについては、適切に故障が回避できたためのプラスの報酬だが、状態変数の値、あるいは複数の状態変数の値を座標値とする点が故障発生領域に余り近付いていない状態で故障回避駆動条件を指令してしまう傾向に偏らないために余り大きなプラスの報酬を設定することは望ましいと言えず、K<Gの関係とすることが望ましいと考えられる。
【0111】
以上のステップS601〜ステップS632を繰り返すことによって、機械学習装置101は、価値関数の更新を繰り返して、レーザ装置2の状態変数から定量的故障発生メカニズムを推定できるように学習を進めると共に、学習結果を参照して、レーザ装置に故障が発生しそうな状態になった時にレーザ装置に対して適確な故障回避駆動条件を指令できるようになる。その結果、レーザ装置をおける故障を次第に低減できるようになり、信頼性の高いレーザ装置を実現することができる。
【0112】
<第5実施形態>
図13は、本発明の第5実施形態の機械学習装置の動作の一例を示すフローチャートであり、図1に示した機械学習装置1が、レーザ装置2の制御部9に対して、所定のスケジュールに従って、所定駆動条件で、レーザ装置2を駆動するように指令し、所定駆動条件で駆動した時毎のレーザ装置の光出力特性データを含む状態変数をレーザ装置の前記状態変数の履歴データとして記録し、記録した履歴データを状態観測部が観測する状態変数に含め、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、履歴データに含まれるいずれかの状態変数の値の推移から、あるいは複数のいずれかの前記状態変数の値を座標値とする点の移動推移から、いずれかの前記定量的故障発生メカニズムによって故障が発生する前記故障発生領域に漸近していることを観測した場合に、レーザ装置を標準的な駆動条件で駆動した時に、故障発生領域に漸近している前記状態変数の値、あるいは前記状態変数の値を座標値とする点が、故障発生領域に到達するまでの時間、すなわち、故障発生までの残存時間を予測し、残存時間が所定残存時間より短くなると、残存時間や残存時間経過後に発生すると予測される定量的故障発生メカニズムを出力する予防保全装置としての機能も有する機械学習装置の動作の一例を示すフローチャートである。
【0113】
なお、図13では、所定のスケジュールに従って、所定駆動条件で、レーザ装置2を駆動するように指令し、所定駆動条件で駆動した時毎のレーザ装置の光出力特性データを含む状態変数をレーザ装置の前記状態変数の履歴データとして記録するという動作は簡単な動作なので省略し、記録された履歴データを用いて、残存時間を予測して出力する動作の部分のフローチャートだけを示しており、図9のフローチャートのステップS519の前に、図13のフローチャートを挿入することによって、機械学習装置1は、レーザ装置2の状態変数から定量的故障発生メカニズムを推定できるように学習を進めると共に、学習結果を参照して、レーザ装置に故障が発生しそうな状態になった時にレーザ装置に対して適確な故障回避駆動条件を指令できる予防保全機能に加えて、次第に特性が劣化していずれ故障する部品等について故障するまでの残存時間や故障箇所の情報を含む予想される定量的故障発生メカニズムを出力する予防保全機能を有するようになる。
【0114】
図13に示したフローチャートにおいては、履歴データに追記があるか否か、すなわち、所定のスケジュールに従って、所定駆動条件で、レーザ装置2を駆動して新しい履歴データが追記された否かを判定し(ステップS701)、履歴データに追記がある場合は、同一駆動条件である所定駆動条件で駆動したにも関わらず、前回あるいは以前に、履歴データとしての記録したレーザ装置2の状態変数の値と比較すると、値の漸変している状態変数が存在しているか否かを判定し(ステップS702)、漸変状態変数が存在しない時は、ステップS519に戻り、漸変状態変数が存在する時は、その漸変状態変数の値が変化した間の実効的駆動時間を見積もる(ステップS703)、実効的駆動時間とは、標準駆動条件で駆動した場合に換算した駆動時間であり、例えば、レーザ出力が標準駆動条件のn倍であった場合は、加速係数はnのm乗になるのであれば、実際の駆動時間×nmが実効的駆動時間になる。後述のように、この加速係数も機械学習で学習する対象とすることができる。実効的駆動時間を見積もると、漸変状態変数の値の変化量を実効的駆動時間で除算して、漸変状態変数の値の変化速度を算出し(ステップS704)、それ以前に、この漸変状態変数の値の変化速度を予測した予測結果が存在するか否かを判定し(ステップS705)、予測結果が存在すれば、今回算出した変化速度との差の大きさを判定し(ステップS706)、差が大きい場合は(本実施形態では差がδより大きい場合は)、前述の加速係数等に誤差があるためと考えられ、誤差計算部16は誤差7を計算し(ステップS707)、この漸変状態変数の値の今後の変化速度、すなわち、漸変状態変数の値、あるいは、漸変状態変数の値を座標値とする点の座標が今後どのように変化していくかを予測し(ステップS708)、図10図11に示したような故障発生領域等の情報を含むそれまでの学習結果を参照して、漸変状態変数の値、あるいは、漸変状態変数の値を座標値とする点の座標が予測したように変化することによって発生が予想される故障発生メカニズムを予測し(ステップS709)、故障発生が予測されるか否かを判断して(ステップS710)、故障が発生すると予測されない場合は、ステップS519に戻り、いずれ故障が発生すると予測された場合は、図10図11に示したような故障発生領域等の情報と予測した漸変状態変数の値、あるいは、漸変状態変数の値を座標値とする点の座標の今後の変化の状態を参照して、レーザ装置を標準的な駆動条件で駆動した時の故障発生までの残存時間を推定し(ステップS711)、推定した残存時間が所定時間より短いか否かを判定する(ステップS712)。推定した残存時間が所定時間より長い場合は、ステップS519に戻り、推定した残存時間が所定時間より短い場合は、推定した故障発生までの残存時間や、予測される故障発生メカニズムに含まれる故障発生予測箇所の情報を出力し(ステップS713)、ステップS519に戻る。
【0115】
なお、ステップS705で、漸変状態変数の値の変化速度を予測した予測結果が未だ存在しない場合は、ステップS708に進む。また、ステップS701で、履歴データの追記がないと判定された場合は、故障発生までの残存時間の推定結果が存在するか否かを判定し(ステップS714)、残存時間の推定結果が存在しない時はステップS519に戻るが、残存時間の推定結果が存在する場合は、前述のステップS703と同様に、先に残存時間を推定した時点からの実効的駆動時間を見積り(ステップS715)、先に推定した残存時間から実効的駆動時間を減算して、その時点で予測される残存時間を算出し(ステップS716)、ステップS712で、新たに推定した残存時間が所定時間より短いか否かを判定する。これによって、履歴データの追記がない内に、残存時間が所定時間より大幅に減少して、残存時間の出力するタイミングが遅れるという問題を回避することができる。
【0116】
第3実施形態や第4実施形態では、値が急変する状態変数に対して、故障を回避するために故障回避駆動条件を指令する機能を備えるのに対して、本実施形態においては、摩耗故障にように、時間的にゆっくり変化する状態変数の値が故障発生領域に近付いていく場合の予防保全機能であり、この場合は故障回避よりも、故障が発生するまでの時間や故障箇所の情報が重要である。事前に故障が予想される時間や場所が分かると、交換が必要になる部品やユニットの在庫確保や予算化等の準備を進めることができ、保守や修理のためのレーザ装置の停止期間を最小限に抑えることができる。
【0117】
<第6実施形態>
図14は、本発明の第6実施形態の機械学習装置の動作の一例を示すフローチャートであり、図4に示した機械学習装置101が、レーザ装置2の制御部9に対して、所定のスケジュールに従って、所定駆動条件で、レーザ装置2を駆動するように指令し、所定駆動条件で駆動した時毎のレーザ装置の光出力特性データを含む状態変数をレーザ装置の前記状態変数の履歴データとして記録し、記録した履歴データを状態観測部が観測する状態変数に含め、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、履歴データに含まれるいずれかの状態変数の値の推移から、あるいは複数のいずれかの前記状態変数の値を座標値とする点の移動推移から、いずれかの前記定量的故障発生メカニズムによって故障が発生する前記故障発生領域に漸近していることを観測した場合に、レーザ装置を標準的な駆動条件で駆動した時に、故障発生領域に漸近している前記状態変数の値、あるいは前記状態変数の値を座標値とする点が、故障発生領域に到達するまでの時間、すなわち、故障発生までの残存時間を予測し、残存時間が所定残存時間より短くなると、残存時間や残存時間経過後に発生すると予測される定量的故障発生メカニズムを出力する予防保全装置としての機能も有する機械学習装置の動作の一例を示すフローチャートである。
【0118】
図13と同様に、記録された履歴データを用いて、残存時間を予測して出力する動作の部分のフローチャートだけを示しており、図12のフローチャートのステップS620の前に、図14のフローチャートを挿入することによって、機械学習装置101は、レーザ装置2の状態変数から定量的故障発生メカニズムを推定できるように学習を進めると共に、学習結果を参照して、レーザ装置に故障が発生しそうな状態になった時にレーザ装置に対して適確な故障回避駆動条件を指令できる予防保全機能に加えて、次第に特性が劣化していずれ故障する部品等について故障するまでの残存時間や故障箇所の情報を含む予想される定量的故障発生メカニズムを出力する予防保全機能を有するようになる。
【0119】
図14は、図13では、漸変状態変数の移動速度についての算出結果と前回予測した結果との差異が大きかった時に、誤差計算部16で誤差7を計算している所が、漸変状態変数の移動速度についての算出結果と前回予測した結果との差異が小さかった時に(本実施形態では差異がδと同じか、δより小さかった時に)プラスの報酬(+M)を設定し、差異が大きかった時に(本実施形態では差異がδより大きかった時に)マイナスの報酬(+N)を設定するようになっているだけなので動作の説明は省略する。
【0120】
第5実施形態や本実施形態では、所定のスケジュールに従って、所定駆動条件で、レーザ装置を駆動して、所定駆動条件で駆動した時毎のレーザ装置の光出力特性データを含む状態変数をレーザ装置の状態変数の履歴データとして記録し、状態観測部が観測する状態変数に含めるとしているが、このように定期的に同一駆動条件で駆動した時のレーザ装置の状態変数を記録しておくことによって、レーザ装置の状態変数の推移が把握でき、摩耗故障等による故障の定量的故障発生メカニズムの学習に役立てることができる利点がある。
【0121】
一方、レーザ装置の状態変数が、不明であったり、前回駆動した時より変化している可能性があったりする場合、具体的には、新規にネットワークに接続された、設置場所が移動された、所定休止期間より長期間駆動されていない、構成する部品が交換された、構成する部品の調整が行われた等は、いきなり上記の所定駆動条件や標準的な駆動条件で駆動すると、予期せぬ故障が発生する可能性があるので、標準的な駆動条件あるいは高負荷な駆動条件で駆動する前に、所定の低負荷駆動条件での駆動を指令し、低負荷駆動条件で駆動した時の状態変数を、状態観測部を通じて観測し、学習によって習得した各故障に対応した定量的故障発生メカニズムを参照して、標準的な駆動条件あるいは高負荷な駆動条件で駆動した場合に、故障の発生が予想される場合は、発生が予想される故障の定量的故障発生メカニズムを出力するようにすることが望ましい。
【0122】
そうすることによって、長期休止中に加工ヘッドの保護ウィンドウが汚染しており、保護ウィンドウからの反射光で故障が発生したり、光軸調整が不充分で意図していない場所にレーザ出力光や反射光が照射して故障が発生したり、一瞬の内に故障が発生してしまうことが防止できるようになる。低負荷駆動だけでは判定できない場合、もう少し高い負荷駆動条件での駆動を試行するようにしてもよい。
【0123】
<第7実施形態>
図15は、本発明の第7実施形態の機械学習装置が、出力したリストの一例であり、学習によって習得したレーザ装置における各故障に対応した定量的故障発生メカニズムと各定量的故障発生メカニズムに対応した故障の発生頻度を参照して、レーザ装置における故障の発生頻度を低減するために、改善が望ましい項目が記載されている。学習によって様々な故障の中の各故障に対応した定量的故障発生メカニズムを習得すると、故障の発生頻度を低減するために有効な改善点が分かってくるので、その情報が出力されると、レーザ装置の信頼性向上に対する有効な知見が得られ、高信頼・長寿命レーザ装置の開発が可能になる。故障メカニズムについては、リストには概要だけを表示することになると思われるので、故障メカニズムの概要にリンクを貼って、クリックすると、定量的な値も含んだ定量的故障発生メカニズムの詳細が表示されるようにしてもよい。各改善項目にスコアや優先順位が付記されるようにしてもよい。また、平均修理費用や平均修復時間等の項目もリストに載せて、改善の必要性がより分かり易くなるようにしてもよい。
【0124】
<第8実施形態>
図16は、本発明の第8実施形態の機械学習装置のネットワーク上の位置やネットワークへの接続状態の一例を示すブロック図である。第1実施形態から第7実施形態のいずれかの機械学習装置201が、第1ネットワーク21を介して、少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも一つのセル22を制御するフォグサーバ23上に存在している。比較的小規模のセルを制御するフォグサーバ上に存在させることでレーザ装置の状態変数の観測、故障回避駆動条件の指令等、リアルタイム性が重要な情報の交換を遅滞なく行うことができる。
【0125】
また、第1実施形態から第7実施形態のいずれかの機械学習装置301が、第1ネットワークを介して少なくとも一つの前記レーザ装置を含む複数の機器を含む少なくとも1つのセルを制御するフォグサーバの少なくとも一つを、第2ネットワークを介して制御するクラウドサーバ上に存在している。大規模な記録容量を備え、大規模な信号処理を高速で行うことが可能なクラウドサーバ上に存在させることで、ニューラルネットワーク等のよる機械学習に伴う信号処理や計算を高速で行うことが可能になる。
【0126】
また、図16に示したように、機械学習装置201,301が複数存在し、複数の機械学習装置の間で、機械学習の結果を相互に交換または共有することが望ましい。故障発生は、それほど頻繁に発生しないため、学習の進行に時間が掛かり易いが、学習結果を交換または共有することによって、学習の進行速度を速めることができる。また学習の精度も向上する。
【0127】
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
【符号の説明】
【0128】
1,101,201,301 機械学習装置
2 レーザ装置
3 ネットワーク
4 レーザ発振器
5 電源部
6 レーザ光学系
7 出力光センサ
8 反射光センサ
9 制御部
10 レーザ光
11,111 学習部
12 判定結果取得部
13 状態観測部
14 意思決定部
15 判定結果付きデータ・物理モデル記録部
16 誤差計算部
17 学習モデル更新部
19 報酬計算部
20 価値関数更新部
21 第1ネットワーク
22 セル
23 フォグサーバ
24 第2ネットワーク
25 クラウドサーバ
26 その他の機器
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16