IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイストロニック レーザー アクチェンゲゼルシャフトの特許一覧

特許7390498機械学習を用いてのレーザ加工プロセスの品質管理
<図1>
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図1
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図2a
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図2b
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図3a
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図3b
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図4
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図5
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図6
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図7
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図8
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図9a
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図9b
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図10
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図11a
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図11b
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図12
  • 特許-機械学習を用いてのレーザ加工プロセスの品質管理 図13
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-22
(45)【発行日】2023-12-01
(54)【発明の名称】機械学習を用いてのレーザ加工プロセスの品質管理
(51)【国際特許分類】
   B23K 26/00 20140101AFI20231124BHJP
   B23K 26/38 20140101ALI20231124BHJP
【FI】
B23K26/00 P
B23K26/38 A
【請求項の数】 15
(21)【出願番号】P 2022557777
(86)(22)【出願日】2021-03-03
(65)【公表番号】
(43)【公表日】2023-03-03
(86)【国際出願番号】 EP2021055305
(87)【国際公開番号】W WO2021190889
(87)【国際公開日】2021-09-30
【審査請求日】2022-11-16
(31)【優先権主張番号】20165589.1
(32)【優先日】2020-03-25
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】503168692
【氏名又は名称】バイストロニック レーザー アクチェンゲゼルシャフト
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人YKI国際特許事務所
(72)【発明者】
【氏名】リューディ アンドレアス
(72)【発明者】
【氏名】バーダー ローラント
(72)【発明者】
【氏名】シュランツ マティアス
(72)【発明者】
【氏名】ベルチ ヨエル
【審査官】黒石 孝志
(56)【参考文献】
【文献】特開2015-13297(JP,A)
【文献】国際公開第2019/244484(WO,A1)
【文献】特開2019-39874(JP,A)
【文献】特表2003-516860(JP,A)
【文献】特開2003-53569(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B23K 26/00 - 26/70
(57)【特許請求の範囲】
【請求項1】
レーザ切断加工プロセスのプロセス監視のための方法であって、前記加工プロセス時にリアルタイムで行われる以下のステップ、すなわち
加工ゾーンから第1の特徴を有する少なくとも1つの取り込まれた第1の信号シーケンスを提供するステップ(S2)と、
前記加工ゾーンから第2の特徴を有する少なくとも1つの取り込まれた第2の信号シーケンスを提供するステップ(S3)と、
工品質を評価して結果を計算する(S5)のために、少なくとも記録された前記第1および第2の信号シーケンスを有する少なくとも1つのトレーニングされたニューラルネットワークにアクセスするステップ(S4)と、
を有し、
前記取り込まれた第1および第2の信号シーケンスは、光信号シーケンスであり、同じ光センサ(5)によって交互形式で取り込まれ、
前記取り込まれた第1の信号シーケンスは、照明を用いた画像のシーケンスであり、
少なくとも1つの光源(2)が照明に使用され、前記取り込まれた第2の信号シーケンスは、照明を用いていない画像のシーケンスであることを特徴とする方法。
【請求項2】
請求項1に記載の方法であって、ディープニューラルネットワーク(DNN)がニューラルネットワークとして使用され、前記ディープニューラルネットワーク(DNN)のトレーニング時に、前記加工品質を評価するのに適切であるとともに前記結果を計算するために考慮される、前記取り込まれた第1および第2の信号シーケンスの特徴、特に、空間的および/または時間的特性が定義されることを特徴とする方法。
【請求項3】
請求項1または2に記載の方法であって、評価された前記加工品質を用いた前記結果を用いて前記レーザ切断加工プロセスを調整することを特徴とする方法。
【請求項4】
請求項1から3のいずれか1項に記載の方法であって、前記第1および第2の信号シーケンスの取込みは、各場合に同期され、そのため、前記加工プロセスの経時的進展を観察することができ、ワークピース(1)における切断輪郭に信号の局所化された割り当てを提供することができるようにするために、機械学習モデルをトレーニングするのにタイムスタンプを使用することができることを特徴とする方法。
【請求項5】
請求項1から4のいずれか1項に記載の方法であって、
或る量のフォトダイオードから取り込まれたフォトダイオード信号を提供する(S6)ことと、
前記加工品質を評価して前記結果を計算する(S8)ために、トレーニングされた前記機械学習モデルおよび/または前記取り込まれたフォトダイオード信号を有するさらなるトレーニングされた機械学習モデルにアクセスする(S7)ことと、
を含むことを特徴とする方法。
【請求項6】
請求項1から5のいずれか1項に記載の方法であって、前記取り込まれた第1の信号シーケンスは、第1のカメラ設定での画像のシーケンスであり、前記取り込まれた第2の信号シーケンスは、第2のカメラ設定での画像のシーケンスであることを特徴とする方法。
【請求項7】
レーザ切断加工プロセスのプロセス監視のためのコンピューティングユニット(R)を有する、レーザ加工システム(L)であって、

前記加工プロセス時、加工ゾーンから、各場合に、第1の特徴を有する第1の信号シーケンスを取り込むとともに第2の特徴を有する第2の信号シーケンスを取り込むことを意図されている少なくとも1つのセンサ(5)に対するデータインタフェース(DS)と、
少なくとも1つのトレーニングされたニューラルネットワーク(DNN)が記憶されるメモリ(S)であって、加工品質を評価して結果を計算するために、少なくとも取り込まれた前記第1および第2の信号シーケンスとともにアクセスされるメモリ(S)に対する処理インタフェース(VS)と、
を有し、
取り込まれた前記第1および第2の信号シーケンスは、光信号シーケンスであり、同じ光センサ(5)によって交互形式で取り込まれ、
取り込まれた前記第1の信号シーケンスは、照明を用いた画像のシーケンスであり、少なくとも1つの光源(2)が照明に使用され、
取り込まれた前記第2の信号シーケンスは、照明を用いていない画像のシーケンスであることを特徴とするレーザ加工システム。
【請求項8】
請求項7に記載のレーザ加工システム(L)であって、前記メモリ(S)は、前記コンピューティングユニット(R)に組み入れられることを特徴とするレーザ加工システム。
【請求項9】
請求項7または8に記載のレーザ加工システム(L)であって、前記少なくとも1つのセンサは光センサであり、特にカメラ(5)を含み、少なくとも1つのフォトダイオード(19)を任意選択的に含むことができることを特徴とするレーザ加工システム。
【請求項10】
請求項7から9のいずれか1項に記載のレーザ加工システム(L)であって、前記少なくとも1つの光センサの軸が、同軸および/または斜めに、特にレーザ加工ヘッドの加工軸に対して5°~20°の間の角度範囲で配置されることを特徴とするレーザ加工システム。
【請求項11】
請求項7から10のいずれか1項に記載のレーザ加工システム(L)であって、前記第1の信号シーケンスを取り込むときにプロセスゾーンを照明するのに使用される或る数量の光源(2)が配置されることを特徴とするレーザ加工システム。
【請求項12】
請求項11に記載のレーザ加工システム(L)であって、前記或る数量の光源および前記少なくとも1つの光センサは、レーザの前記加工軸と同軸に配置されることを特徴とするレーザ加工システム。
【請求項13】
請求項7に記載のレーザ加工システム(L)であって、或る数量の前記光源(2)および前記少なくとも1つの光センサは、前記レーザ加工システム(L)の前記加工ヘッドの外側に、特に、前記光センサのネットワークインタフェースのすぐ近くに配置されることを特徴とするレーザ加工システム。
【請求項14】
請求項7から13のいずれか1項に記載のレーザ加工システム(L)であって、前記レーザ加工システム(L)の前記レーザ切断加工プロセスで使用する前記レーザを用いて照明を生成し、ワークピースの前におけるレーザ光のビーム路に配置されるダイクロイックミラーまたは別のフィルタ要素が、照明光について約50%の透過性および約50%の反射性があることを特徴とするレーザ加工システム。
【請求項15】
コンピュータプログラムが請求項7から14のいずれか1項に記載のレーザ加工システム(L)のコンピューティングユニット(R)で実行されると、請求項1から6のいずれか1項に記載の方法の方法ステップのすべてを実行するコンピュータプログラムコードを有するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特にディープニューラルネットワークアーキテクチャ(ディープニューラルネットワーク-DNN)を用いた、機械学習モデルによる、レーザ加工システム、特に、フラットベッド切断機等のレーザ切断システムの品質保証に関する。
【背景技術】
【0002】
レーザシステムの開発は一方で、製造がより少ないスタッフによってより効率よく行われ得るように機械の自律性を著しく高めようと奮闘している。したがって、機械(例えば、フラットベッド切断機)の自律監視およびプロセスが継続的に改善されなければならない。好適なセンサおよび適切な知能が重要となりつつある。現代の切断機は、切断中断および品質損失(例えば、粗い切断縁、バリ付着、スラグ形成等)を捉えるべき包括的なプロセスセンサをますます必要としている。
【0003】
他方で、レーザ加工における品質基準とのコンプライアンスが最も重要である。この理由から、例えば、従来技術では、実際に達成された切断品質が後で手動検査により判定される必要があるものとこれまで定められていた。この手法は、プロセスをさらに自動化するための上述した奮闘に見合わないものである。レーザの10キロワット以上の出力および高速処理もまた、一般的に、システムの管理に高い要求を課す。ワークピース材料の異なる品質、錆びたもしくは過熱したワークピース材料またはレーザ保護ガラスもしくはレーザ光学部品の汚染等の外部因子が、切断の品質に影響を及ぼす。粗い切断縁、過度のバリ形成、不均一な切断ギャップ幅または切断ギャップの溶接さえ生じる可能性がある。
【0004】
切断速度に加え、切断品質が不可欠である。残念ながら、切断品質は今のところ、処理中の材料の切断縁または切断フロントの重要な視認がいっさい可能ではないため、切断プロセス時にリアルタイムで直接十分には認識されてない。せいぜい、極端に短い切断フロントの視認が可能であり、この視認からは、情報はこれまでほとんど何も引き出すことができなかった。したがって、上述したような、今日の機械に関して、切断されるワークピースはもっぱら、切断後に機械から取り外され、品質のために検査され得る。
【0005】
光センサ(フォトダイオード)によって、いわゆる熱照明またはプロセス照明を、加工時に取り込むことができ、また、研究により2つのパラメータ(プロセス照明およびプロセス品質)間に相関があることが示されていることから後の品質評価に用いることができる。
【0006】
切断機によっては既にプロセス監視を有しているものあるが、これは非常に簡単に設計されている。たいていの場合、切断ヘッドにおけるフォトダイオードが切断時のプロセスを観察する。プロセスが不安定となり、プラズマ切断が行われる場合、プロセスはいっそう強く光を放ち、これがフォトダイオードによって認識される。その結果、機械が反応する可能性があり、例えば、停止し、是正措置(切断ヘッドノズルを洗浄/再校正等)を講じ、または減速で続行し得る。しかしながら、フォトダイオードが備わっているだけのプロセス監視の恩恵はさほどではない。例えば、切断不安定性は、すべての材料について、すべてのワークピース厚さについて、切断時に直接認識することができず、特にガス切断時に認識することができない。切断または切断品質も認識されない。
【0007】
従来技術では、プロセス監視のための好適な光センサシステムを用いることが基本的に知られている。国際公開第2018069308A1号が、作動レーザの焦点位置を切断ギャップ幅の認識によって判定することができることを示す、切断ギャップ幅の観察を示している。独国特許第102009050784B4号が、プロセス特徴を評価するためにともに評価される画像が種々の照明条件で記録される、カメラおよび照明の使用を示している。
【0008】
モデルがトレーニング段階において学習されることを必要とする、モデルベースの分類方法を用いることも知られている。このため、それぞれの分類タスクを解決するために、手動または実験的に関連する特徴が判定される。例えば、欧州特許出願公開第2357057A1号が、フォトダイオード等の光センサにより信号を取り込むことによってレーザ加工プロセスの品質を監視する方法を開示している。特性値は信号から計算され、標準切断品質について対応する特性値に関連付けられる。品質条件が、クラスタリング手法の助けにより特性値に基づいてモデル化される。さらに、品質条件と関連付けられるプロセスパラメータも保存され、調整のために使用される。
【0009】
欧州特許第2365889B1号が、カメラおよび他のセンサデータから特性値を抽出し、特性値空間内の以前に提供された量の点に対する現在の特性値の位置によって現在のレーザ加工作業を分類する、プロセス監視を開示している。
【0010】
従来技術において知られている手法は、従来的な特徴抽出および特性値判定の適用に基づいている。しかしながら、これらの手法は、特に、高信頼性のある切断時の切断品質を判定するのに用いられる場合に、または目標(ここでは、すなわち切断品質の評価)を達成するために入力データ間のこれまで知られていない関係が処理可能であるべき場合に、その能力が限られている。
【0011】
ディープラーニングがこれまでレーザ切断に使用された唯一知られている業績は、G.サントリーニ(G. Santolini)らによって記録されている(G.サントリーニ(G. Santolini)ら著、Cut Quality Estimation in Industrial Laser Cutting Machines: A Machine Learning Approach, CVPR 2019)。サントリーニは、フォトダイオードからの信号に基づいて、ディープニューラルネットワーク(DNN)を使用してレーザ切断時に切断品質を評価することができることを記載している。フォトダイオードを用いるそのようなシステムの不利点は、プロセスゾーンから空間分解データがいっさい得られないことである。フォトダイオード信号は、ノズル状態および汚染等、切断品質に関係しない多くの因子によって影響を受ける。これが一時的なドリフトを引き起こす。さらに、品質特徴を薄板金についてしか評価することができない。
【発明の概要】
【発明が解決しようとする課題】
【0012】
上述した従来技術を根幹として、本発明の目的は、加工プロセス時に品質がより信頼性高く評価され得るとともに、特異性が向上しかつテストカバレッジが改善された手法を提供することである。さらに、この手法は、干渉影響(材料特性、環境光、経時的なプロセス照明変化等)に対してよりロバストであるものとする。特に、リアルタイムでの評価が可能であるものとする。
【課題を解決するための手段】
【0013】
この目的は、添付の独立請求項の主題によって、特に、方法、コンピューティングユニットおよび該コンピューティングユニットを有するレーザシステムによって、ならびにコンピュータプログラム製品によって達成される。
【0014】
第1の態様では、本発明は、加工品質を評価する、レーザ加工プロセスのプロセス監視のためのコンピュータ実装方法であって、上記加工プロセス時に行われる以下のステップ、すなわち
加工ゾーンから第1の特徴を有する(例えば、照明を用いた)少なくとも1つの取り込まれた第1の信号シーケンス(例えば、カメラからの個々の画像またはビデオストリーム)を提供するステップと、
加工ゾーンから第2の特徴を有する(例えば、照明を用いていない)少なくとも1つの取り込まれた第2の信号シーケンスを提供するステップと、
加工品質の評価を結果として計算するために、少なくとも取り込まれた第1および第2の信号シーケンスを有する、少なくとも1つの(コンピュータ実装および機械)ニューラルネットワーク(例えば、ディープニューラルネットワーク/DNNまたは畳み込みニューラルネットワーク/CNN)にアクセスするステップであって、特に加工品質を(例えば、2つのクラス、すなわち良/不良に)分類する、アクセスするステップと、
を有するコンピュータ実装方法に関する。
【0015】
研究では、第1の信号シーケンスおよび第2の信号シーケンスは、切断ギャップの種々の観察パラメータ、すなわち、一方で、幅、対称性等、他方で、放射中心、放射領域等を取り込むように選択されることが特に有利であることが分かっている。
【0016】
上述したステップは有利には、リアルタイムで行われる。用語「リアルタイム」とは、DIN ISO/IEC2382規格の意味で理解されるものとし、そのため、レーザによる継続加工中の時間期間を指す。リアルタイムとは、切断プロセスの迅速制御に必要とされる数ミリ秒の狭い時間枠を意味するだけでなく、数秒の時間期間(例えば、1~5秒、好ましくは1~2秒の範囲)を指すこともできる。リアルタイムとは、特に、品質評価を用いて結果を提供するステップが、例えば、好適な措置、特に自動的な切断品質最適化を講じて、切断プロセスに影響を与えることができるように(レーザ加工プロセスと比較して)僅か数秒の時間遅延で行われることを意味する。
【0017】
本発明の好ましい実施形態では、第1の信号シーケンスおよび/または第2の信号シーケンスは、光信号シーケンスであることができるか、または光信号シーケンスを含むことができる。第1および/または第2の信号シーケンスは、同じ光センサ、例えば、カメラおよび/または少なくとも1つのフォトダイオードによって取り込まれ得る。第1および/または第2の信号シーケンスは好ましくは、交互形式で取り込まれる。センサ、例えばカメラは、第1の信号シーケンスを第1の時間間隔で記録し、第2の信号シーケンスを第2の時間間隔で記録する。信号シーケンスの交互の取込みを決定するパターンは、準備段階(例えば、常に交互、ほぼ交互、または、異なる方式に従って、例えば、第1の信号シーケンスを2回および第2の信号シーケンスを1回)で規定され得る。さらなる詳細および例示的な実施形態について、本出願人による国際出願PCT/EP2017/081901号の参照を行う。したがって、種々の取り込まれた信号は後の品質評価計算のために異なって重み付けされ得る。本発明のこの実施形態では、機械学習モデルは、個々の画像(画像ベース)の処理のために設計される。したがって、分類結果(加工品質評価を用いる)は、ちょうど1つの画像/フレームの後で得られる。交互に記録された個々の画像を再収集して(2つの)新しいストリームにすることもできるため、機械学習モデルは特に「ビデオベース」または「ストリームベース」とも呼ばれ得る。
【0018】
光信号の取込みに加え、代替的な実施形態は、光信号に対して代替的にまたは累積的に、音響信号の取込み等、他の信号種類の取込みを提供する。これに応じてモデルは音響トレーニングデータを用いてトレーニングされる。
【0019】
本発明のさらなる好ましい実施形態では、機械学習モデルを実装するニューラルネットワークは、対応するディープラーニングアルゴリズムを用いるディープラーニングモデルまたはディープニューラルネットワーク(DNN)として設計される。したがって、ディープラーニングアルゴリズムは、分類子をトレーニングするだけでなく、特徴抽出子もトレーニングする。このように、機械学習モデルは、取り込まれた第1および第2の信号シーケンスから、自動的に、また、以前の特性分析(または特徴-特徴抽出)を用いることなく、第1および第2の信号シーケンスのどの特性/特徴、特に、どの空間的および/または時間的特性が加工品質を評価するのに関連するかを認識するようにトレーニングされ、結果を計算するために考慮されるものとする。この手法は、特徴抽出子のない(または特徴のない)プロセスを実施する。このことは、いわゆるエンドツーエンドアルゴリズムが実装され得ることを意味する。この情況では、「エンドツーエンド」とは、生データ、すなわち取り込まれた信号シーケンスが、かなりの前処理なしに、特に信号シーケンスにおける特徴の手動判定なしに用いられ得、これら信号シーケンスが次いで、機械学習アルゴリズム(以下、MLアルゴリズムとも呼ばれる)を用いて結果に対して処理される(例えば分類される)ことを意味する。この情況において、「実質的な前処理なし」とは、ヒストグラム均等化、画像深度低減および/またはROIクロップ(ROI-対象領域)のような、最低限の前処理を除くことを意味する。特に、エンドツーエンド手法は、学習にとって重要である特徴を抽出するために生データの別個の前処理を必要としない。前述の特徴抽出を用いる従来のML手法とは対照的に、本明細書に提示される解決策では分類子がアルゴリズムによってトレーニングされるだけでなく、好ましくは特徴抽出子も同じステップにおいてトレーニングされる。このことは、アルゴリズムが、入力データまたは生データ、したがって「特徴」とも関係なく、表現を計算または学習することを意味する。このつながりを認識するために、アルゴリズムは、入力データの最適表現を分類するためにその表現を独立して見い出さなければならない。本発明による方法では特性値(特徴)がいっさい抽出される必要がないことは、幾つかの点で有利である。一方で、重要な特徴が認識、判定および抽出される必要がないため、アルゴリズムを展開する上で伴う取り組みを単純にすることができる。別の利点は、最大の情報を含む最も重要な特徴が「特徴のない」アルゴリズムの展開により見逃される可能性があるというリスクがないことである。最終的に、必須の情報は多くの場合、非常に複雑な、重なっているかまたはかろうじて包括的な信号、画像または画像シーケンス特性にあり、このことが最適な特性値分析を困難にさせる。したがって、特性値抽出のない、本明細書において実施されるディープラーニング手法が特徴抽出ベースの手法に勝ることは驚くべきことではない。
【0020】
使用される学習アルゴリズムは好ましくは、ラベル付けされたデータセットを用いる教師あり学習アルゴリズムである。
【0021】
本発明のさらに好ましい実施形態では、評価された加工品質を用いた結果を用いてレーザ加工プロセスを調整する。このことは、不良品を回避することができるとともに品質改善措置をより迅速に行うことができるという利点を有する。材料を節約することもできる。さらなる詳細は当業者に知られている。これに関連して、さらなる詳細のために本出願人の欧州特許第3159093B1号の参照を行う。品質不良がもたらされるかまたは切断不良(例えば、高い粗さ/バリ、引き裂き等)が疑われる場合、機械制御信号が自動的に生成され得る。これら機械制御信号はすべて、レーザ加工システムで自動的に実行され得、とりわけ、以下の措置、すなわち
ノズルを洗浄し、次いで、加工、特に切断を続けることと、
ノズルをチェックし(センタリング、摩耗)、必要があればノズルを交換し、次いで加工と続けることと、
切断パラメータの補正と、
切断パラメータの手動補正、および、切断品質が措置後に改善したかどうかをチェックすることと、
トレーニングされたモデルにアクセスした後での切断パラメータの自動補正と、
を実行するように設計され得る。
【0022】
本発明のさらに好ましい実施形態では、第1および第2の信号シーケンスはそれぞれ、同期方式で記録され、そのため、加工プロセスの時間にわたって展開を観察することができる。ワークピースにおける切断輪郭に信号の局所的な割り当てを与えることができるようにするために、モデルをトレーニングするのに好ましくはタイムスタンプを用いることができる。しかしながら、画像マトリックスと画像/フォトダイオード信号間の時間間隔とが常に同じであることにディープラーニングアルゴリズムが基づいているため、タイムスタンプは、トレーニングされたネットワークへのアクセスには明らかに必要とされない。トレーニングされたネットワークを用いた品質評価について、評価のためにストリームがいずれも同時に用いられる場合、同期性が特に重要である。しかしながら、この点において、切断品質のラベルまたは特徴が切断プロセスに局所的に割り当てられなければならないため、モデルのトレーニングには切断輪郭への信号の局所的な割り当てが重要であることに留意されたい。これはタイムスタンプを用いて解決され得る。
【0023】
本発明のさらに好ましい実施形態では、本発明は以下のステップ、すなわち
少なくとも1つのフォトダイオードから、取り込まれたフォトダイオード信号を提供するステップと、
加工品質を評価して結果を計算するために、取り込まれたフォトダイオード信号を用いてトレーニングされたニューラルネットワークおよび/またはさらなるトレーニングされたニューラルネットワークにアクセスするステップと、を含む。本発明の有利な実施形態によれば、トレーニングされた機械学習モデルおよびさらなるトレーニングされた機械学習モデルは同一とすることができ、そのため、取り込まれた第1および第2の信号シーケンスの画像に加え、フォトダイオード信号も1つの同じモデルにおいて計算される。
【0024】
本発明のさらに好ましい実施形態では、取り込まれた第1および第2の信号シーケンスは、光信号シーケンスとすることができる。第1の光信号シーケンスは、光記録パラメータに関して第2の光信号シーケンスとは異なる。例えば、取り込まれた第1の信号シーケンスは、照明を用いた画像のシーケンスとすることができ、取り込まれた第2の信号シーケンスは、照明を用いていない画像のシーケンスとすることができる。少なくとも1つの光源が照明に使用され得る。光源は、発光ダイオードまたはレーザとして設計され得、好ましくは狭帯域照明光を発するのに使用される。光源は、加工ヘッドに組み入れられ得るか、または加工ヘッドの外側に位置付けられ得る。
【0025】
本発明のさらに好ましい実施形態では、取り込まれた第1の信号シーケンスは、第1のカメラ設定(例えば、第1の絞り設定/焦点深度、像平面、露光時間)を用いた画像のシーケンスとすることができ、取り込まれた第2の信号シーケンスは、第2のカメラ設定(例えば、第2の絞り設定/視野深度、像平面、露光時間)を用いた画像のシーケンスとすることができる。より良い品質評価は、種々のデータセット/画像からDNNを用いて達成され得る。用語「カメラ設定」とは、パラメータおよび/または構造的特徴も含み、この構造的特徴は、カメラの外側に配置されるが、カメラによって取り込まれた画像への技術的効果を有し、したがって、本明細書において、カメラの外側(すなわち、センサチップおよびレンズの外側)での可変絞りの配置等、カメラ関連の設定として含まれるものとする。
【0026】
方法を用いて目的の達成を上述してきた。このようにして述べた特徴、利点または代替的な実施形態は他の特許請求の範囲に記載の目的にも移行され、その逆もあるものとする。換言すると、該当する請求項(例えば、コンピューティングユニットまたはコンピュータプログラム製品に関する)は、方法に関して説明および/または特許請求の範囲に記載された特徴を有してさらに展開されることもできる。それにより、方法の対応する機能的特徴(例えば、取込み)は、対応するモジュール(例えば、取込み/読み取りのためのデータインタフェース)によって、特に、システムまたは製品のハードウェアモジュールまたはマイクロプロセッサモジュールによって形成され、その逆もまた同じである。
【0027】
さらなる態様において、本発明は、加工品質を評価する、レーザ加工機のレーザ加工プロセスのプロセス監視のためのコンピューティングユニットであって、
加工プロセス時、加工ゾーンから、各場合に、第1の特徴を有する第1の信号シーケンスを取り込むとともに第2の特徴を有する第2の信号シーケンスを取り込むことを意図されている少なくとも1つのセンサに対するデータインタフェースと、
少なくとも1つの(トレーニングされた)ニューラルネットワークが記憶されるメモリ(コンピューティングユニットに対して内部設計および/または外部設計され得る)であって、加工品質を評価して結果(例えば、分類結果)を計算するために、少なくとも取り込まれた第1および第2の信号シーケンスとともにアクセスされるメモリに対する処理インタフェースと、
を有する、コンピューティングユニットに関する。
【0028】
機械学習モデル(略して「モデル」とも呼ばれる)での、特にDNNでのメモリは好ましくは、コンピューティングユニットに組み込まれる。このことは、レーザ加工システムのオペレータが、現場で、委託直後に品質改善措置を行うことができるという利点を有する。ここで、モデルのトレーニングは、運用段階に先立つトレーニング段階において外部コンピューティングユニットで実行されることを指摘しておく。このように、モデルのトレーニングおよびテスト段階は、モデルの適用段階が(好ましくはレーザ加工システムで局所的に)計算および実行されるのとは異なる外部のコンピューティングユニットで計算および実行される。本発明の好ましい実施形態では、コンピューティングユニットは、レーザ加工システムに形成される。
【0029】
レーザ加工システムの好ましい実施形態では、少なくとも1つのセンサは光センサとすることができる。センサは特に、カメラを含むかまたはそのようなものとして設計され得る。センサは任意選択的に、少なくとも1つのフォトダイオードを含むことができる。
【0030】
少なくとも1つの光センサの軸は好ましくは、レーザ加工ヘッドの加工軸と同軸配置され得る。センサの軸は、少なくとも切断ノズルとワークピースとの間で、レーザ加工ヘッドの加工軸に対して平行または或る角度で延びることができる。特に、センサの軸は、5°~20°の角度範囲でレーザ加工軸から逸れ得る。このことは、他の画像特徴がレーザ切断によって取り込まれ得るという利点を有する。特に、これにより、本出願人による国際公開第WO2016181359A1号から分かるように、酸素を用いた鋼の切断プロセス(レーザガス切断)を観察する場合にかなり有利となる。ここでは切断フロントが平坦に延びているため、切断フロントの下側部は、切断ノズルの縁によって覆われ、残っているスラグ残渣はいっさい、同軸信号シーケンスでは直接捉えられ得ない。
【0031】
種々の信号シーケンスを取り込むために、レーザ加工システムは好ましくは、第1の信号シーケンスが取り込まれる場合にプロセスゾーンを照明するのに使用される少なくとも1つの光源を有して設計される。光源は好ましくは、レーザ加工ヘッド(センサのような)の加工軸と同軸に形成される。しかしながら、本発明の代替的な実施形態では、光源を同軸に配置しないこと、例えば、レーザヘッドの内側または外側も可能である。少なくとも1つの光源および少なくとも1つのセンサを、レーザ加工システムの加工ヘッドの外側、特に光センサのネットワークインタフェースおよび/または供給インタフェースの空間的に近くに配置することも好ましいものであり得る。光センサは、例えば、少なくとも8ビットの画像深度、および理想的には100Hzを超えるフレームレートを有する、CCDもしくはCMOSカメラまたはCCDもしくはCMOSチップとして設計され得る。さらなる変更において、レーザ加工システムの、加工レーザに組み入れられたパイロットレーザを用いて、照明を生成することができる。この実施形態では、通常、数mW(概ね2mW未満)の出力を有するパイロットレーザの照明出力を、数100mW~数1000mWに上げることもしなければならない。
【0032】
さらに、ダイクロイックミラーまたは別のフィルタ要素も形成され得、ダイクロイックミラーまたは別のフィルタ要素は、ワークピースの前のレーザ光のビーム路内に配置され、照明光について約50%の透過性および約50%の反射性がある。
【0033】
さらなる態様では、本発明は、コンピュータプログラムがコンピュータで実行されると、上述した方法の方法ステップのすべてを実行するコンピュータプログラムコードを有するコンピュータプログラム製品に関する。課題に対する別の解決策は、コンピュータプログラムがコンピュータで実行されると、より詳細に上述した方法の方法ステップのすべてを実行するコンピュータプログラムコードを用いる、コンピュータプログラムを提供する。コンピュータプログラムは、コンピュータ可読媒体に記憶されることも可能である。
【0034】
図面の以下の詳細な説明において、図面を参照しながら、特徴およびそのさらなる利点を有する非限定的な例示的な実施形態を論じる。
【図面の簡単な説明】
【0035】
図1】切断品質に急な変化がある切断縁の例示的な図である。
図2a】照明を用いたプロセス観察の例示的な描写を示す図である。
図2b】照明を用いたプロセス観察の例示的な描写を示す図である。
図3a】照明を用いていないプロセス観察のさらなる例示的な描写を示す図である。
図3b】照明を用いていないプロセス観察のさらなる例示的な描写を示す図である。
図4】板金の上縁に関する、像平面を用いた照明された観察、上縁に関する、照明されていない観察、および、下縁に関する、照明されていない観察を有するプロセス観察のさらなる例示的な描写を示す図である。
図5】ディープニューラルネットワーク(DNN)を用いたプロセス監視のための方法の概略的な概観描写を示す図である。
図6】軸外プロセス照明および同軸カメラ位置を有する加工ヘッドの概略的な側方描写を示す図である。
図7】同軸プロセス照明および同軸カメラ配置を有する加工ヘッドのさらなる概略的な側方描写を示す図である。
図8】同軸プロセス照明および同軸カメラ配置を有する加工ヘッドのさらなる概略的な側方描写を示す図である。
図9a】可変絞りおよびカメラ集束レンズを有する加工ヘッドのさらなる概略的な側方描写を示す図である。
図9b】可変絞りおよびカメラ集束レンズを有する加工ヘッドのさらなる概略的な側方描写を示す図である。
図10】可変視野深度の物理的機能を説明する概略的な描写を示す図である。
図11a】可変観察平面を有する加工ヘッドのさらなる概略的な側面描写を示す図である。
図11b】可変観察平面を有する加工ヘッドのさらなる概略的な側面方描写を示す図である。
図12】本発明の好ましい実施形態(実線)およびさらなる好ましい実施形態(破線)による品質評価のための方法のフロー図である。
図13】本発明の好ましい実施形態によるシステムの構成要素のブロック図描写を示す図である。
【発明を実施するための形態】
【0036】
本発明は、切断プロセス等のレーザ加工プロセスの品質を評価するのに用いられる。重大となる品質特徴は基本的に、バリ(かえりとも呼ばれる)、粗さ、ラウンディング、溝傾斜、溶接、スラグ等である。「非切断」またはいわゆるちぎれ破断もまた、切断品質の分類であり、最も悪い品質を意味する。
【0037】
本発明は、観察可能な測定信号から切断品質を推測することを可能にする。観察のための好適なセンサの選択および好適なニューラルネットワークの選択ならびに適切なアルゴリズムが、最適な切断品質評価の中心である。以下、好適なセンサは、通常のフォトダイオードに加え、照明の有無にかかわらず主としてカメラ録画を含むことを示す。さらに、エンドツーエンド手法、特にディープラーニング手法に基づいた機械学習モデルが、述べた測定可能なセンサ信号と対象の切断品質との最適な相関を示すことに留意されたい。
【0038】
信号シーケンスを測定するためにレーザ切断ヘッドにビデオカメラを装備した。ビデオカメラは、レーザビームに同軸に位置合わせされるとともにダイクロイック偏向ミラーの後ろに位置付けられることが好ましく、このダイクロイック偏向ミラーは、照明および観察のために透明であり、加工レーザをワークピース上へ導く。波長に応じて透過性または反射性があるそのような構成要素は、ダイクロイックと呼ばれる。特定の構成では、偏向ミラーは、照明波長に対して半透明とすることができる。他の構成では、偏向ミラーは、照明に対して完全に透明とすることができる/そのようなものとする。対照的に、加工レーザについての偏向ミラーは常に略100%(>99%)反射性がある。実験の大半では、300Hzのカメラフレームレートを用い、ビデオは照明されたストリームと照明されていないストリームとに分割した。その場合、ストリーム毎のフレームレートは依然として150Hzである。1800mm/分(または30mm/s)の例示的な定格送りレートを用いて、1つのフレームがストリームにつき0.2mm毎に記録される。フレームの信号シーケンスは、例えば、画像が依然としてサイズが170×170ピクセルであるように、事前処理する際に減らされ得る。本例における100px/mmの解像度で、画像は、1.7mm×1.7mmの観察領域を示す。明らかに、各ストリームの画像は通常、著しく重なる。
【0039】
同軸カメラ配置の(切断方向とは無関係の単純な実施等のような)多くの利点に加え、同軸プロセス監視の不都合点もある。観察は一般に、ノズル開口を通して見るため、ノズル直径に限定され、取り込まれた放射の角スペクトルは通常、<5°である。溶断において生じ得るような、急傾斜の切断フロントがもっぱら、非常に短時間に観察され得るが、これは、切断フロントに関する情報が失われる可能性があることを意味する。さらに、側壁における溝の形成の観察もまた、同軸撮像によって制限され得る。ガス切断において生じ得るような、平坦な切断フロントの観察もまた、同軸観察によって制限され得る。平坦な切断フロントは、ノズルを通してほとんど完全には視認できない可能性がある。最も後ろ/最も下の部分は、プロセス状態が劣悪である場合、そこにスラグ残渣が発生する可能性があるにもかかわらず、視認できないままである。
【0040】
したがって、特にガス切断時のスラグの形成は、斜めの視野角で僅かによく見える可能性がある。この斜めの視野は、偏心または軸外とも呼ばれる。
【0041】
したがって、同軸プロセス監視の上述した不利点を排除するために、同軸センサシステムは多くの場合、軸外センサで補われる。
【0042】
図1は、2つの例示的な切断品質を有する切断されたワークピースの、参照符号1によって特定された切断縁を示す。位置2では、切り口は位置3におけるよりも鋭利であった。位置3では、プラズマ切断までも生じていた。
【0043】
図1による例が示すように、切断プロセスは、良から十分または不良まで変わり得る。これには多くの理由がある。機械が摩滅しているもしくは汚れている可能性があるか、または、ワークピースの品質が様々である場合がある。
切断品質のリアルタイム監視はすべて、本明細書に記載されるプロセス監視のための方法を用いてこれが不適切であると認識または分類される場合に反応が行われることを可能にするため、より有用である。
【0044】
図2aおよび図2bは、ここでは溶断プロセスにおいて、同軸配置カメラおよび照明を用いて取り込まれた例の画像(ビデオフレーム)を示す。図2bの描写において、切断フロントがここでは下方に描かれている、すなわち延びている。(狭帯域)プロセス照明がプロセスゾーンを照明するように照明記録が行われ、これは一般に、観察されたスペクトル範囲において自己照明プロセスよりも明るい。結果として、プロセス環境、特に切断ギャップの幾何学形状が、非常にはっきりと視認できるものとなり得る。
【0045】
図2bにおける概略描写は、簡単な画像加工によって、板金表面から、また、なおも僅かに視認できる切断フロント16から、切断ギャップ18がどのように抽出され得るかを示し、これは従来技術に対応する。しかしながら、本発明によれば、DNNはそれ自体、切断品質の評価をサポートするために切断ギャップが抽出されなければならないかどうかおよび/またはどのように抽出されなければならないのかを、対応する特徴層または畳み込み層において学習する。
【0046】
特に、図2aでは、切断縁の粗さが上側領域において認識され得る。ここでもまた、DNNが、画像内の、テスト部品において測定された粗さと相関する空間的特徴を、独立して学習する。
【0047】
図3aおよび図3bは、照明なし同軸配置カメラによって取り込まれたさらなる例の画像を示す。図3aの描写では、溶断が示されている。図3bは、ガス切断を示し、同様に切断フロントが示されている。非照明カメラ記録も役立ち、プロセスゾーンの照明はない。そうではなく、自己照明プロセスのみが観察される。カメラゲインまたは露光が実用的に設定される場合、内蔵型狭帯域フィルタにもかかわらず、プロセス照明が容易に観察され得る。図3bは、ガス切断時にメルトフロント16が非常に平坦に延び、その観察がノズル開口17によって限定され得ることをはっきりと示す。
【0048】
図4は、溶断プロセスの別の例示的な例を示す。2つの切り口が示されており、上の横列はバリがより少ない切り口を示し、下の横列はバリが多い切り口を示す。第1の縦列(左端)は、視認できる縁を有する切り口部を示す。第2の縦列は、照明された個々の画像を示し、縦列3および4は照明されていない画像を示す。縦列2および3における個々の画像は初期カメラ設定で撮られており、そのため、板金の上縁がピントを合わせられて示されている。縦列4は、第2のカメラ設定で作られており、そのため、板金の下縁がピントを合わせられて示されている。
【0049】
図2aに関して既に述べたように、照明された画像(第2の縦列)から、切断縁の粗さが認識され得る。しかしながら、切断縁の粗さは、板金の上縁に関して画像の鮮明さを有する照明されていない画像(第3の縦列)からも見い出すことができる。上縁の領域における溝の形成に起因する視認できるプロセス放射の変動20が認識され得る。ここでもまた、DNNは、テスト部品において測定された粗さと相関する、画像における空間特徴を独立して学習する。
【0050】
板金の下縁に関して画像の鮮明さを有する照明されていない画像(第4の縦列)において、バリが特に視認できる。この観察の構成において、プロセス放射における変動21は板金の下縁からのものであり、メルト排出を示す。これは、流体力学的乱流プロセスであり、確率的プロセスとして理解されるものとする。したがって、画像シーケンスは、バリの形成を示す、長手方向に引き出された冷却ゾーンの、確率的すなわち変動する発生を示す。ここでもまた、DNNは、画像における空間的特徴を独立して学習し、特にバリがある場合、テスト部品に関して測定されたバリ高さと相関する、画像シーケンスにおける時間的特徴も独立して学習する。
【0051】
概して、2つのカメラ記録は、照明の有無にかかわらず、品質評価のための、異なるが等しく役立つ情報を含むことが分かる。
【0052】
照明を用いた記録(図2)は主として、切断ギャップ幅、切断ギャップ対称性、切断フロント角度、溝構造、切断縁の粗さ、プロセスに関わるワークピース構造等のような情報を含むと思われる。他方、照明を用いていない記録(図3)は主として、放射焦点、放射領域(円周、環状、対称を有する)、放射強度分布、放射コントラスト、メルトフィルム波、メルト排出ゾーン、プロセス放射変動等のような情報を含むと思われる。
【0053】
最大限の情報を得るために双方の記録は同期に使用される。コストおよび重量最適化のため、プロセス観察に同軸に利用可能なカメラは1つだけであることから、観察時に1つのフレームが常に交互に照明され、次のフレームは照明されずに記録される。照明もまた、カメラ記録(カメラゲインおよびカメラ露光時間を含む)と同期されなければならない。これにより、1つのカメラを使用して2つの異なるビデオストリーム(1つは照明され、1つは照明されない)を生成することが可能となり、これらビデオストリームが切断プロセスをリアルタイムで同期に監視する。
【0054】
図5は、プロセス監視および品質計算のためのシステムを示す。加工プロセス時、信号シーケンスが、好適なセンサ(特にカメラおよび/またはフォトダイオード)によって取り込まれる。信号シーケンスは、その取込み特性が様々であるものとすることができる(例えば、それら信号シーケンスは照明の有無にかかわらず記録され得る)。生データとも呼ばれるこれら信号シーケンスは、多因子的に信号シーケンスに基づいて品質を評価するように設計されたトレーニングされたモデル、特にDNNに提供される。「多因子的」とはここでは、品質計算が、上述したように、複数の因子、例えば、バリ、スラグ形成、溝傾斜等を含むことを意味する。品質評価を用いた結果は略リアルタイム(計算時間に起因するとともに僅か数秒の遅延がある)であり、レーザ加工時に利用可能となる。結果は、切断プロセスの停止および再開、例えば切断ノズルのチェック等のような措置に着手するのに用いられ得る。結果はまた、切断パラメータを適合(自動切断プロセス最適化)させるのに用いられ得る。本発明の有利な展開では、切断品質評価の結果は、切断プロセス制御において実施されることもできる。
【0055】
図5は、選択されたセンサデータ(少なくとも2つの信号シーケンスまたはカメラストリームおよび任意選択的なフォトダイオードデータ)を用いて、切断品質を機械学習システムのエンドツーエンドアーキテクチャによって推測することができるという趣旨の、本発明の一般概念を示す。学習モデルを用いる機械学習エージェント(学習ロボット)がトレーニングデータおよび最適化アルゴリズムによってトレーニングされ、トレーニングおよびテスト後にレーザ加工機のためにおよび/またはレーザ加工機において動作または使用され得る。従来の機械学習方法に比して、特にエンドツーエンドラーニングアーキテクチャのディープラーニングの重要な利点は、特徴分析または特性値がいっさい抽出される必要がなく、学習エージェントまたはニューラルネットワークがそれ自体、最大相関を見い出すためにトレーニング時に注意すべきことを認識することである。このことは、コンピュータベースのディープラーニングシステムがそれ自体、画像およびビデオから、どの画像および/またはビデオ特徴が切断品質取込みに適切であるかを認識することができることを意味する。ここで当てはまる、トレーニングに十分なデータが利用可能である場合、ディープラーニング手法は、従来の機械学習手法(特徴抽出を用いる)よりも優れている。
【0056】
学習およびテスト、ならびに必要であれば検証段階の完了後、DNNを用いて、第1および第2の取り込まれた信号または画像シーケンスについての分類結果を提供することができる。分類結果(結果とも呼ばれる)は、上述した品質クラス、特に「存在する/存在しないバリ/スラグ形成/溝傾斜等」を含む。
【0057】
トレーニング段階後、機械学習モデルは、観察可能な信号シーケンスまたはセンサデータから切断品質をリアルタイムで評価することができる。
【0058】
さらに、切断品質が不十分であると分類された場合に切断品質を最適化するために切断パラメータが自動的に調整されることで、プロセス制御が可能となる。切断品質が所望の目標値から逸脱またはドリフトしていると判定される場合、所望の切断品質に戻すために、種々の切断パラメータが、一般的に定義されたシーケンスで適合され得る。必須の切断パラメータは、センタリングおよび摩耗、作動ビームの焦点位置、ガス圧、作動ビームの出力および加工送りレート等のノズル特性である。これらパラメータはすべて、レーザ加工システムに関して自動的に適合され得る。切断品質を管理する以下のステップ、すなわち
ノズル特性をチェックし、次いで切断を続けるステップであって、以下のステップ、
ノズルを洗浄するステップと、
作動レーザに対するノズル開口のセンタリングをチェックするとともに必要であれば補正するステップと、
ノズルの種類をチェックするとともに必要であればノズルを補正するすなわち交換するステップと、
摩耗についてノズルをチェックするとともに必要であれば新しいノズルと交換するステップと、
次いで、加工、特に切断を続けるステップと、
を含むことができる、ノズル特性をチェックし、次いで切断を続けるステップと、
切断時に焦点位置を補正するステップであって、上記措置が依然として品質改善をもたらしていない場合、焦点位置を補正することができ、実験は、切断ヘッド光学部品の熱的加熱が(透過要素により)焦点位置を上方へ引き上げることを示しており、このことは、焦点位置が下方へ補正/調整されるべき理由であるが、次いで切断品質が劣化する場合、焦点位置はすぐに逆方向に補正されるべきであり、切断品質が所望の目標値に再び相応するまで補正される、焦点位置を補正するステップと、
切断時にガス圧を補正するステップであって、上記措置が依然として品質改善をもたらしていない場合、ガス圧を補正することができ、特に、ガス圧を増大させることによりバリ形成を最小限に抑えることができるが、切断品質が劣化すれば、ガス圧はすぐに逆方向に補正されるべきであり、切断品質が所望の目標値に再び相応するまで補正される、ガス圧を補正するステップと、
切断時に出力を補正するステップであって、上記措置が依然として品質改善をもたらしてない場合、出力を補正することができ、例えばレーザの変性に起因して出力が小さすぎる場合、出力を増大させることができるが、切断品質が劣化すれば、出力はすぐに逆方向に補正されるべきであり、切断品質が所望の目標値に再び相応するまで補正される、出力を補正するステップと、
送りレートを補正するステップであって、上記措置が依然として品質改善をもたらしていない場合、送りレートを適合させることができ、このことは、例えば、材料品質が、材料表面における錆び、塵埃、油脂等に起因して悪影響を及ぼされた場合に、必要であり得、さらに、例えば切断ヘッド光学部品が汚れることに起因して機械のシステム特性が劣化することも考えられ得、これが、切断品質を高めるために送りレートを減らすことが役立ち得る理由であるが、切断品質が劣化すれば、送りレートはすぐに逆方向に補正されるべきであり、切断品質が所望の目標値に再び相応するまで補正される、送りレートを補正するステップと、を自動的に実行され得る。
送りレートを補正することさえも切断品質を高めるのに役立たない場合、加工システムは、例えば、激しく汚れたまたは損傷を受けた光学部品に起因して、切断パラメータを最適化することで切断品質を高めることができないほどひどく劣化される可能性がある。この場合、機械を停止するとともにオペレータに通知することができる。
【0059】
上記で説明された管理戦略は例示的であり、可能な唯一の戦略ではない。ニューラルネットワークが、逸脱品質を判定することに加え、これについてどの特定の切断パラメータが主な原因であり得るのかを認識することも考えられ得る。特定の切断パラメータのずれに応じて、品質エラーのパターンが異なって見える場合がある。これに応じて、疑わしい誤った切断パラメータが主として補正される。
【0060】
さらなる代替的な管理戦略において、理論物理学的な切断モデルも使用され、この切断モデルは、プロセス観察にもかかわらず、理論モデル内に含まれる、切断ギャップ幅、メルトフィルム厚さ等のような種々の変数を記録することを可能にすることによって、切断パラメータの補正をサポートすることができる。したがって、切断プロセスの現在の状態が物理モデルに知られ、このことは、切断パラメータが不正確であると判断され得ることを意味する。これに応じて、疑わしい誤った切断パラメータが主として補正される。上記で説明された管理戦略のすべては例示的であり、決定的ではない。
【0061】
本発明の好ましい実施形態では、ディープニューラルネットワークDNNおよび好ましくは畳み込みニューラルネットワークCNNをニューラルネットワークとして用いることができ、ニューラルネットワークは、信号シーケンスの画像、および/または信号シーケンスのフォトダイオード信号、および/またはさらなる信号を入力として入力層に送る。CNNの有利なアーキテクチャによれば、ネットワークは、特に畳み込み層(CONV)、その後に活性層(ACT)、その後にプーリング層(POOL)が続く、種々の層のカスケードからなることができる。このシーケンス(CONV、ACT、POOL)は、1つまたは複数の十分に接続された層および出力層が相互接続される数時間前にカスケーディングされ得る。出力層は、それぞれの入力について評価された品質クラスの形態の分類結果を出力することを意図される。畳み込み層は、重みがフィルタについて計算されればよく、各ピクセルについては計算されなくてよいように、フィルタリングされた画像(特徴マップ)を計算する線形フィルタとして設計され得る。プーリング層(最大プーリングまたは平均プーリング)を用いて寸法を減らし、これはサブサンプリングによって達成され得る。したがって、上記で説明したように、自動的に計算された特徴は、CNNの出力において提供され得る。これら特徴は、十分に接続された層、または、シーケンスで接続された複数の十分に接続された層によって目標クラスに分類され得る。出力層は、ソフトマックス活性化関数を使用する活性層として設計され得る。
【0062】
ディープラーニングアルゴリズムは、データ集約型および計算集約型であり、したがって、好ましくは、グラフィックカード(グラフィック処理ユニット/GPU)またはテンソル処理ユニット(TPU)またはプロセッサのネットワークで計算される。ニューラルネットワークの各層は、強力な大規模並列化可能なプロセッサ、特にマルチコアまたはメニーコアプロセッサで計算され得る。コンピューティングユニットが好ましくは、グラフィックカードもしくは上述した他のハードウェアモジュールとして設計されるか、またはそのようなカードを含む。
【0063】
コンピューティングユニットは好ましくは、加工プロセス中のプロセス監視の結果を表示することを意図されたユーザインタフェース(例えば、GUI)を含むことができる。
【0064】
ディープラーニングアルゴリズムは、パイソンまたはC++もしくはCUDAのような別の高水準言語で実装され得る。例えば、シンプルCNN、残差ネットまたワイド残差ネットが、DNNアーキテクチャとして使用され得る場合がある。
【0065】
いわゆる過学習を防ぐために、トレーニング中に好ましくは早期終了法が用いられ得、早期終了法では、設定された検証におけるエラーが再び増加するとすぐにトレーニングを停止する。
【0066】
記録された信号シーケンスが経時的進展したがって時間依存特徴を実際に表す場合、テストは品質分類について特に有利であることを示している。
この場合、DNNに信号シーケンスをマッピングするために、したがって、時間依存特徴を学習することができるようにするために、いわゆるゲート付き回帰型ユニット(GRU)または長短期記憶(LSTM)ネットワークをCNNと組み合わせて使用することができる。
【0067】
図6図8は、どのように切断ヘッドを所要のセンサと組み立てることができるかを概説する。好ましい変形形態は図7に対応する。
【0068】
図6は、第1の考えられ得る変形形態を示す。加工ビーム6がレーザから輸送ファイバ7を介して加工ヘッドに入り、そこでワークピース1を処理するためにレーザビームがダイクロイックミラー3からワークピースへと導かれる。プロセスゾーンを狭帯域照明光9で照明する光源2が、加工ヘッドに取り付けられている。例えば、発光ダイオード(LED)またはレーザが使用される。
【0069】
カメラ5がプロセスゾーンを観察し、狭帯域フィルタ8がカメラの前に取り付けられており、これにより、照明の光スペクトルが通過することだけが可能となり、他のあらゆる波長を抑制する。その結果、プロセスおよび加工レーザビームの自己発光の取込みが強く抑制され、ワークピースへの照明レーザの反射の改善された観察が可能となる。このことは、切断ギャップ付近で特に興味深いことであり、通常、明確に視認できる。ダイクロイックミラー3は、観察光4に対して透過性があるように設計される。光源は、図6に示されているように、切断ヘッド内に取り付けられ得る。
【0070】
さらなる考えられ得る実施形態が、図7における実施形態から見てとることができる。ここでは、照明2は、カメラブロック5の付近で観察ビーム路に同軸結合されている。
【0071】
別の可能な実施形態が、図8に示されている。ここでは、照明光9は、作動レーザにおいて生成され、輸送ファイバを介して切断ヘッドに輸送される。この実施形態では、ダイクロイックミラー3が照明光について理想的には50%の透過性および50%の反射性があるように設計される必要がある。この実施形態は、照明がヘッドから遠隔で生成されるとともにヘッドを単純なままにするという点で有利である。
【0072】
同軸カメラによっていくつかの異なる記録をとるとともに、それら記録を種々の信号シーケンス(ストリーム)で取り込む手法をさらにとることができる。照明の有無にかかわらず記録に加えて(それに代えて)、他の調整可能な設定を想定および実施することができ、これによりプロセス観察の情報内容を増やすことができる。
【0073】
観察深度、すなわち、プロセス観察の視野深度もまた様々であり得る。視野深度(多くの場合、焦点深度と同義である)は、観察対象空間内の鮮明な領域の範囲の尺度である。結像光学系では、可変絞りを導入することによって可変焦点深度を達成することができる。図9は、可変絞り10を有する、図8による切断ヘッドの一例を示す。図9aおよび図9bにおいて、絞りは大きくまたは小さくするように調整される。同様に、他の切断ヘッド(図6図7)においても絞りを設けることができる。
【0074】
図10は、焦点深度13を変更するために可変光通過用の開口を有する絞り10の効果を説明する。幾何光学では、像平面14のちょうど上のピクセルのみが合焦して示される。像平面から漸増する距離に伴い、各合焦ピクセルは、さらに大きい非合焦のスライスとなる。このスライスは、ぼやけ円12と呼ばれる。点からスライスへの遷移は流動的であり、その間のどこかに、依然として合焦状態として知覚されるものと既にぼやけていると知覚されるものとの境界がある。この領域(すなわち焦点深度)の大きさの程度は、光円錐の角度、したがって絞り開口に応じて決まる。絞り開口が大きい場合、結果は小さい焦点深度となり、小さい絞り開口についてはその逆である。
【0075】
加工プロセスおよび対象のプロセス特性に応じて、大きいまたは小さい焦点深度が、プロセス監視に関して有利であり得る。例はここでは例として考えられ、排他的ではない。したがって、ワークピース縁の粗さは、小さい焦点深度では、ワークピース厚さの特定の高さでより正確に判定され得る。他方、大きい焦点深度の場合、大きいワークピース厚さにわたる平均粗さが判定され得る。溶融金属の溶融流の変動の観察について、小さい焦点深度および(例えば、交互の)大きい焦点深度の双方が有利であり得る。
【0076】
プロセス観察時、可能な限り包括的に加工プロセスを記述するために、また、その加工プロセスに関する最大限の情報を得るために、異なる焦点深度での交互の画像が記録され得る。
【0077】
結像系の別の可変設定は、観察または観察方向に沿った像平面12の配置である。カメラ集束レンズ11(図11を参照)の設定に応じて、この像平面は異なる位置にある。図11は、集束レンズ11(参照符号11で付記されたレンズはカメラのレンズに関し、参照符号22はレーザの集束レンズを示す)とカメラセンサ15(カメラチップ、CMOSまたはCCDチップ)との間のより短い距離で観察または像平面が下方に動くことを示す。図11aおよび図11bにおいて、集束レンズ11とカメラチップ15との間の距離は大きくまたは小さくするように調整される。異なる設定により、例えば像平面がワークピースの上縁(図11a)からワークピースの下縁(図11b)へ移動する。像平面の移動は、小さい視野深度が選択される場合に特に興味深い。これが、切断ギャップにおける平面、例えば接合部の上縁または下縁が特に観察され得る理由である。カメラレンズを動かす代わりに、光学系の焦点距離を何らかの他のやり方で変更することもできることに留意されたい。固定(例えば、ガラス)レンズの代わりに、液体レンズがますます使用されている。そのような液体レンズは通常、焦点距離を非常に迅速に(数kHzまで)変更することができる。電圧を導電性液体に印加することによって作用するものもあり、印加された電圧によってその表面形状が変化する。液体で満たされた弾性レンズが焦点を変えるように機械的に変形されるという点でヒトの眼と同様に機能するものもある。
【0078】
加工プロセスおよび対象のプロセス特性に応じて、プロセス観察について異なる観察平面が有利であり得る。例はここでは例として考えられ、排他的ではない。上縁における観察平面は、溶融波刺激が観察される場合に特に適し得る。上縁における溝形成もまた、このやり方で特に十分に観察され得る。他方、観察平面を下縁に配置することは、バリの形成または溶解物およびスラグの付着が観察される場合に有利である。なお、図4は、選択された像平面に応じて観察の種々の可能性を示している。
【0079】
結合系の別の可変設定は、カメラの露光時間である。カメラの露光時間もまた、通常、カメラのサンプリングレートに匹敵するごとく、非常に迅速に変更され得る。種々の露光時間での画像を有する対象の記録は、これら種々の画像が、向上したコントラストを有する画像を提供するために、ハイダイナミックレンジ法(HDR法)を用いて互いにオフセットされ得るため、興味深い。
【0080】
プロセス監視時、種々の露光時間での交互の画像が記録され得、それにより、隣接する画像がHDR法を用いてオフセットされ得、コントラスト、したがって情報内容を増やすことができる。代替的に、種々の露光時間の記録は、エンドツーエンド手法に従ってディープラーニングアルゴリズムに直接提供され得る。これは、特に、第1の画像と第2の画像との間の記録位置がレーザの高送りレート速度に起因して著しく離間する場合に必要である。このようにして、加工プロセスを可能な限り包括的に記述することができ、加工プロセスに関する最大限の情報を得ることができる。
【0081】
したがって、個々の画像(第1または第2の信号シーケンス)を記録することは、多くのやり方で変更され得る。特に、以下のカメラ設定が変更され得、このようにして取り込まれた信号シーケンスは、以下の入力、すなわち
1)照明
2)焦点深度/絞り設定
3)像平面および/または
4)露光時間
として、DNNに提供され得る。
したがって、第1の信号シーケンスは、照明を用いた画像シーケンスとすることができ、第2の信号シーケンスは、照明を用いていない画像シーケンスとすることができる。第1の信号シーケンスはまた、第1の絞り設定を有する画像シーケンスとすることができ、第2の信号シーケンスは、第2の絞り設定を有する画像シーケンスとすることができる。第1の信号シーケンスはまた、第1の像平面での画像シーケンスとすることができ、第2の信号シーケンスは、第2の像平面での画像シーケンスとすることができる。第1の信号シーケンスはまた、第1の露光時間での画像シーケンスとすることができ、第2の信号シーケンスは、第2の露光時間での画像シーケンスとすることができる。
【0082】
種々のビデオストリームが交互に記録される場合、1つだけのパラメータ(例えば、照明)がそれぞれの信号シーケンス(ストリーム)またはいくつかのパラメータにおいてともに変更され得る。以下のストリーム、すなわち、
ストリーム1:ワークピースの上縁における像平面での照明された画像と、
ストリーム2:ワークピースの下縁における像平面での照明されていない画像と、
が、興味深い組み合わせであり得る。
理想的には、ストリーム1およびストリーム2からの個々の画像が交互に記録され、さらなる加工時に同期として表示され得る。
【0083】
上述した可変パラメータの他の組み合わせも考えられ得る。例えば、2つよりも多い異なる信号シーケンス/ストリームを記録することも考えられ得る。上述した2つのストリームの代わりに、以下のストリーム、すなわち、
ストリーム1:ワークピースの上縁における像平面での照明された画像と、
ストリーム2:ワークピースの上縁における像平面での照明されていない画像と、
ストリーム3:ワークピースの下縁における像平面での照明されていない画像と、
が、同様に興味深いものであり得る。
理想的には、ストリーム1、ストリーム2およびストリーム3からの個々の画像は、連続して記録され、さらなる加工時に略同時に表示され得る。
【0084】
設定の可能な組み合わせの多数の他の例が考えられ得る。4つの設定パラメータが2つの設定により変更されるとする場合、2^4=16であり、種々の個々の画像が生成され得る。どれくらいの数のストリームおよび設定パラメータのどの組み合わせが最も適しているかは未定である。
【0085】
既に上述したように、上記で論じたカメラ観察に加え、フォトダイオードもまた、さらなるプロセス観察のために使用され得ることが可能である。フォトダイオードはたいてい、従来的に切断システムにおいて利用でき、管理が容易で、設置が省スペースであり、安価である。フォトダイオードはまた、そのサンプリングレートがカメラのサンプリングレートよりも著しく高いという利点を有する。これによりフォトダイオードはさらなる情報を提供することが可能となる。特に、同軸配置されるフォトダイオード、および、或る角度でプロセスを見る切断ヘッドノズル領域内におけるフォトダイオードが可能である。
【0086】
ビデオ記録および任意選択的にフォトダイオード信号が利用可能である場合、ニューラルネットワーク(特にDNN、特にCNN)および関連の機械学習アルゴリズムによって切断品質について結果が引き出され得る。このため、エンドツーエンドアルゴリズムは好ましくは、ニューラルネットワーク、好ましくはディープラーニングアルゴリズムをトレーニングするためのアルゴリズムとして使用される。
【0087】
エンドツーエンドアルゴリズムにより、完全な目標系を表す単一モデルによって表される複雑な学習システムのトレーニングが可能となる。結果として、問題特異的な知識がモデルアーキテクチャへ流れる必要がなく、これにより包括的なデータ駆動型学習が可能となる。これに関する必須条件は、十分なデータがトレーニングに利用できることである。さらに、データは、少なくとも部分的にラベル付けされなければならない、つまり、ラベルが生データ(教師あり学習)に利用できなければならない。
【0088】
少なくとも1つのディープラーニングアルゴリズムを用いてトレーニングされるディープニューラルネットワーク(DNN)は好ましくは、エンドツーエンド手法におけるモデルとして用いられる。ディープラーニングは、人工ニューラルネットワークの一群の最適化方法を記述し、この人工ニューラルネットワークは、入力層と出力層との間の多くの中間層(ディープネットワーク)を有し、したがって、複雑なタスクを解決するために広範な内部構造を有する。単層パーセプトロンの場合のように、中間層がごく僅かかまたは全くないネットワーク構造(いわゆるフラットなネットワーク、浅いネット)についての学習アルゴリズムの拡張において、ディープラーニング方法は、多くの中間層を有してさえも安定した学習成功が可能となる。多くの中間層により高次元入力データが段階的に抽出されることが可能となり、このことは、特性値(画像特徴)の抽出を予め定義する必要のない画像および画像シーケンスについて特に適している。多数のネットワーク構造があり、そのうち、畳み込みニューラルネットワーク(CNN)および残差ニューラルネットワーク(RNN)は好ましくは、カメラ画像を用いての当面のタスクについて使用される。画像シーケンスまたは時間信号について、時間的関係または時間的特徴が学習され得る。これについて、ゲート付き回帰型ユニット(GRU)および長短期記憶(LSTM)ネットワークが適している。種々の層における上記ネットワーク構造を組み合わせる複合ネットワークを使用することが有利である。
【0089】
切断品質が切断時にリアルタイムで評価され得るようにするために、モデルは初めに多数のデータでトレーニングされなければならない。このようにするために、種々の切断品質の多くの切断輪郭または部分が生成され、すべてのセンサデータが保存される。通常、材料の種類(例えば、金属合金)および板厚についてのデータセットは、切断パラメータ(レーザ出力、焦点位置、ガス圧、送りレート等)についての広範の設定および様々な外部影響因子(例えば、材料品質、表面品質、材料温度、レーザ保護ガラスの汚染)で切断される、少なくとも50またはそれよりも著しく多くのテスト部品を含む。その場合、切断輪郭の切断品質特徴が判定される。特徴は好ましくは、例えば表面測定装置を用いて、切断輪郭全体にわたって別々の状態で局所的に測定される。代替的に、切断品質は、専門家によって評価されることもでき、それに応じてデータ記録がラベル付けされ得る。切断品質基準は既に上述したが、これらは主として、バリ高さ、スラグ残渣および切断縁の粗さである。品質特徴を判定するのではなく、トレーニングのために、測定された切断表面の3D点クラウドを使用することも可能である。
【0090】
上述したように、ディープラーニングアルゴリズムは好ましくは、ラベル付けされたトレーニングデータに基づいてそれぞれの層におけるネットワークパラメータを判定するために、トレーニングのために使用される(例えば、単純な場合では確率的勾配降下アルゴリズム)。それぞれの学習アルゴリズムのタスクは、目標出力とモデルの計算された出力との間のエラーを最小限にすることであり、これは、統計的な最適化課題を表す。これについて、オプティマイザが使用される。それぞれのエラーが最小限に抑えられる場合、重みは最適であり、ネットワークは最適にトレーニングされるものとして記載される。支障のないトレーニング後、アルゴリズムは、トレーニングされた基準に従って切断品質を自動的に認識する。
【0091】
好ましいディープラーニングアルゴリズムに加え、他のアルゴリズム、例えば多項式回帰モデルも代替的または付加的に使用され得ることに留意されたい。
【0092】
オンラインラーニング方法を本発明のさらなる有利な実施形態として組み込むことができる。このため、上記方法に従ってトレーニングされたモデルの後、特定のモデルパラメータを順応的に設定するアルゴリズムが続く。これは例えば、強化学習アルゴリズムまたはスパースコーディングアルゴリズムによって実施され得る。(C.ブレイクリー(Blakely,C.)著;「Adaptive Real-Time Learning and Prediction, A Sparse Hierarchical Machine Learning Algorithm」,SDS 2019を参照のこと;https://sds2019.ch/_Resources/Persistent/11a5f51326cf4b9fbbc490a1081af9d2d7bc6971/C.%20Blakely%2C%20signifAiFX%2C%20Adaptive%20Real-Time%20Learning%20and%20Prediction.pdfでインターネットにおいてアクセス可能)。その結果、切断品質の評価は、切断時にリアルタイムで、または、機械操作者からのフィードバックによって断続的に調整され得る。この情況において、強化学習は、システム内の独立したアクションを通じて報酬を最大限にしようとする機械学習の方法と理解されたい。すべてのデータがラベル付けされる必要はない。
【0093】
図12は、評価方法のフローチャートを示す。方法の開始後、ステップS1では、少なくとも第1および第2の信号シーケンスを記録する。ステップS2、S3では、取り込まれた第1および第2の信号シーケンスを提供する。ステップS4では、ステップS5において、測定された信号シーケンスについて加工品質の評価を用いて結果を提供するために、取り込まれた第1および第2の信号シーケンスのセンサフュージョンのための任意選択的な層を有する、トレーニングされたニューラルネットワークモデル、特にDNN、例えばCNNにアクセスする。
【0094】
カメラ画像に加え、評価された加工品質を分類するためにフォトダイオード信号等の他のセンサ信号が考慮されるものとし、ニューラルネットワークの或る層がセンサフュージョンのために設計され得る。本発明のこの実施形態では、種々の入力データが1つの同じ機械学習モデル(またはディープネットワーク)で計算される。
【0095】
本発明の代替的な実施形態では、さらなる機械学習モデルを実装するために、別個のさらなるニューラルネットワークが提供されることもでき、このニューラルネットワークは、フォトダイオード信号を分類するのに使用され、この信号バリアントについて特別にトレーニングされている。その場合、図12において、任意選択的であるために破線で示されているように、ステップS6では、さらなるトレーニングされたニューラルネットワークの入力層にフォトダイオードの信号を提供することができ、次いで、ステップS7では、分類のため、またはステップS8において処理結果品質を予測するために、この入力層にアクセスする。この実施は、カメラが故障した場合であっても、分類結果が確実に利用可能となるという利点を有する。
【0096】
センサフュージョンのために種々のアルゴリズムおよびプロセスが使用され得る。原則的に、各信号シーケンスについて1つのネットワークアーキテクチャが常に全体のネットワークに組み入れられる。信号シーケンスに応じて、アーキテクチャは、同一または異なるネットワークアーキテクチャとすることができる。一方、センサフュージョンは、単純なセンサフュージョン層によって具現され得る。この場合、すべてが一緒にトレーニングされる。本発明の代替的な有利な実施形態では、最もよく考えられ得る特徴を見い出すために個々のネットワークが別個にトレーニングされる。次いで、分類層がいずれものネットワークから切り離される。その後、残りの特徴抽出層がマージされ、新しい分類層がそれらとともにトレーニングされる。
この実施形態では、複合ニューラルネットワークはいくつかの個々のネットワークから構築される。したがって、トレーニングはいくつかのステップにわたって行われる。
【0097】
変形形態はいずれも、エンドツーエンドのトレーニングに対応する。最後の変形形態では、トレーニングはいくつかのステップで行われる。このトレーニング段階時、専門知識はいっさい組み込まれず、そのため、依然として自動的なエンドツーエンドのトレーニングである。
【0098】
センサフュージョンは概して、ダイオードおよびカメラ等、いくつかの種類の信号に用いられる。それぞれの信号の種類はセンサフュージョンに関係ない。取り込まれた第1の信号シーケンスと記録された第2の信号シーケンスとの間、例えば照明された記録での信号シーケンスと照明されていない記録での信号シーケンスと間でのセンサフュージョン等、同様および/または同じ信号種類間での単純なセンサフュージョンも行われ得るが、これは基本的に、双方の信号シーケンスに同じセンサ種類(光学)が使用された。信号シーケンスの他の組み合わせも可能である。
【0099】
図13は、レーザ加工システムLの品質評価のためのシステムのモジュールおよびユニットの概略描写を示す。このため、これは、コンピューティングユニットRを有するように、または、該コンピューティングユニットにネットワークインタフェースを介して接続されるように設計されている。レーザ加工システムLは、カメラ5と、少なくとも1つのトレーニングされたニューラルネットワーク(DNN、CNN)が記憶されているメモリSと、を有する。コンピューティングユニットRは、データインタフェースDSを介してカメラ5および/または任意選択的にフォトダイオード19によって取り込まれた信号シーケンスを受信することができ、それら信号シーケンスを用いてメモリSにアクセスし、それにより、CNNが加工品質の評価を用いて結果を計算することができる。
【0100】
本発明の好ましい実施形態では、顧客施設でのプロセス監視のために実施される方法を用いて機械が学習し続けるようにアルゴリズムがさらに展開されることに留意されたい。既に上述したように、これは例えば、強化学習方法またはスパースコーディングアルゴリズムを用いて実施され得る。顧客に応じて、切断品質は異なるかたちで評価され得る。依然として一顧客には許容範囲にあると思われる切断品質が別の顧客には不満足であると判断される場合がある。解決策として本明細書に記載されるアルゴリズムの一利点は、プロセス監視時に顧客の感受性が学習されるとともに個別かつシステム専用に考慮されることである。
【0101】
最後に、本発明の説明および例示的な実施形態は、本発明の特定の物理的な実現に関して限定するものと理解されるものではないことに留意されたい。本発明の個々の実施形態に関連して説明されるとともに示された特徴のすべては、本発明による主題において、その有利な効果を同時に実現するために、種々の組み合わせで提供され得る。
【0102】
本発明の保護範囲は、特許請求の範囲によって与えられ、本明細書に例示される特徴または図に示される特徴によって限定されるものではない。
【符号の説明】
【0103】
1 ワークピース、 2 光源(複数可)、特に発光ダイオード、 3 ダイクロイックミラー、 4 観察光、 5 カメラブロック、 6 レーザの加工ビーム、 7 輸送ファイバ、 8 フィルタ、 9 照明光、 10 絞り、 11 カメラの集束レンズ、 12 ぼやけ円、 13 焦点深度、 14 像平面、 15 カメラセンサ、 16 切断フロント、 17 ノズル開口、 18 切断切り口、 19 フォトダイオード(複数可)、 20 プロセス光、上側、 21 プロセス光、下側、 22 レーザ加工機のレーザの集束レンズ、 S1 第1および第2の信号シーケンスを取込み、特に交互取込み、 S2 取り込まれた第1の信号シーケンスを提供、 S3 取り込まれた第2の信号シーケンスを提供、 S4 トレーニングされた機械学習モデル、特にCNNにアクセス、 S5 評価された加工品質により結果を計算、 S6 フォトダイオード信号シーケンスを提供、 S7 トレーニングされた機械学習モデルにアクセス、 S8 結果を計算、 R コンピューティングユニット、 L レーザシステム、 S トレーニングされたモデルを記憶するメモリ、 DS データインタフェース、 VS 処理インタフェース
図1
図2a
図2b
図3a
図3b
図4
図5
図6
図7
図8
図9a
図9b
図10
図11a
図11b
図12
図13