知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】検査装置、検査方法、機械学習装置、及び機械学習方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20240625BHJP
G06T 7/00 20170101ALI20240625BHJP
【ＦＩ】
G01N21/88 J
G06T7/00 350B
G06T7/00 610Z
【請求項の数】
10
(21)【出願番号】P 2020217535
(22)【出願日】2020-12-25
(65)【公開番号】P2022102666
(43)【公開日】2022-07-07
【審査請求日】2023-06-08
(73)【特許権者】
【識別番号】000191009
【氏名又は名称】新東工業株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】杉野 剛大
(72)【発明者】
【氏名】園原 猛史
【審査官】嶋田 行志
(56)【参考文献】
【文献】国際公開第２０１８／２１６４９５（ＷＯ，Ａ１）
【文献】特開２０２０－１５７３３３（ＪＰ，Ａ）
【文献】特開２０２０－１９８４７１（ＪＰ，Ａ）
【文献】特開平０７－１９８６２７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０２９２４６２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８
Ｇ０６Ｔ １／００－Ｇ０６Ｔ ７／９０
Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０
Ｇ０６Ｎ ３／００－Ｇ０６Ｎ ９９／００
Ｂ２２Ｃ １／００－Ｂ２２Ｃ ２５／００
Ｂ２２Ｄ １／００－Ｂ２２Ｄ ４７／０２
ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えており、前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、１または複数の欠陥の領域を示す情報の一方または両方を含む、
ことを特徴とする検査装置。
【請求項2】
前記鋳型の外観は、前記鋳型の製品面の外観である、ことを特徴とする請求項１に記載の検査装置。
【請求項3】
前記一または複数のプロセッサは、前記鋳型の造型に用いた模型の種類に応じた学習済モデルを選択する選択ステップを更に実行し、
前記検査ステップにおいて、前記選択ステップにて選択された学習済モデルを用いて、前記鋳型の外観を検査する、
ことを特徴とする請求項１または２に記載の検査装置。
【請求項4】
前記学習済モデルの入力は、正常な鋳型の外観を撮像した基準画像をさらに含む、ことを特徴とする請求項１から３の何れか１項に記載の検査装置。
【請求項5】
前記学習済モデルの入力は、前記鋳型を構成する鋳物砂を示す砂情報、前記鋳型の造型状況を示す造型情報、前記鋳型の搬送状況を示す搬送情報、及び環境情報の一部または全部をさらに含む、ことを特徴とする請求項１から４の何れか１項に記載の検査装置。
【請求項6】
前記学習済モデルの出力は、前記鋳型の外観における欠陥の有無を少なくとも示す、ことを特徴とする請求項１から５の何れか１項に記載の検査装置。
【請求項7】
前記一または複数のプロセッサは、前記学習済モデルの出力が前記鋳型の外観に欠陥が有ることを示す場合、前記検査結果を示す情報に基づいて警告情報を出力する警告ステップをさらに実行する、
ことを特徴とする請求項６に記載の検査装置。
【請求項8】
一または複数のプロセッサが、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行することを含む検査方法であって、前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、１または複数の欠陥の領域を示す情報の一方または両方を含む、
ことを特徴とする検査方法。
【請求項9】
学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを実行する一または複数のプロセッサを備えており、前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、１または複数の欠陥の領域を示す情報の一方または両方を含む、
ことを特徴とする機械学習装置。
【請求項10】
一または複数のプロセッサが、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを含んでおり、前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、１または複数の欠陥の領域を示す情報の一方または両方を含む、
ことを特徴とする機械学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、鋳型の外観を検査する技術に関する。
【背景技術】
【0002】
特許文献１には、鋳型の外観を検査する検査装置が記載されている。この検査装置は、鋳型を撮像した検査画像と予め設けられた基準画像との差分画像を生成し、生成した差分画像に基づいて鋳型が正常であるか否かを判定する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１８／２１６４９５号（２０１８年１１月２９日国際公開）
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した検査装置は、実際は正常である鋳型を正常でないと判定したり、実際は正常でない鋳型を正常であると判定したりする可能性があり、検査精度を向上させる余地がある。
【0005】
例えば、上述した検査装置は、差分画像を解析して得られる欠陥のうち擬似欠陥を除去した上で、鋳型が正常であるか否かを判定する。擬似欠陥には、例えば、撮像時に照射した光が鋳型に付着した離型剤に反射することにより発生するものがある。上述した検査装置は、このような疑似欠陥の特徴を予め定義しておくことにより、疑似欠陥を除去する。しかしながら、擬似欠陥の特徴を全て事前に定義しておくことは難しい。そのため、上述した検査装置は、事前に定義していない特徴を示す擬似欠陥を除去することができない。また、疑似欠陥の特徴として本来の欠陥が示さない特徴を定義しておくことは難しい。そのため、上述した検査装置は、本来の欠陥が事前に定義した疑似欠陥の特徴を示す場合には、当該本来の欠陥を除去してしまう。
【0006】
本発明の一態様は、鋳型の外観の検査精度を向上する技術を実現することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る検査装置は、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えている。また、本発明の一態様に係る検査方法は、一または複数のプロセッサが、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを含んでいる。
【0008】
また、本発明の一態様に係る機械学習装置は、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを実行する一または複数のプロセッサを備えている。また、本発明の一態様に係る機械学習方法は、一または複数のプロセッサが、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを含んでいる。
【0009】
そして、前記検査装置、前記検査方法、前記機械学習装置、及び前記機械学習方法において、前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含む。前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
【発明の効果】
【0010】
本発明の一態様によれば、鋳型の外観の検査精度を向上する技術を実現することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る検査システムの構成を示す図である。
【図2】本発明の一実施形態に含まれる検査装置の構成を示すブロック図である。
【図3】本発明の一実施形態に含まれる検査装置が実施する検査方法の流れを示すフローチャートである。
【図4】本発明の一実施形態に含まれる機械学習装置の構成を示すブロック図である。
【図5】本発明の一実施形態に含まれる機械学習装置が実施する機械学習方法の流れを示すフローチャートである。
【図6】本発明の一実施形態に係る検査システムの適用対象となる鋳造ラインの概略的な構成を示すブロック図である。
【図8】本発明の一実施形態の変形例１に係る検査システムの構成を示す図である。
【図9】本発明の一実施形態の変形例２に係る検査システムの構成を示す図である。
【図10】本発明の一実施形態の変形例２に含まれる検査装置が実施する検査方法の流れを示すフローチャートである。
【図11】本発明の一実施形態の変形例２に含まれる機械学習装置が実施する機械学習方法の流れを示すフローチャートである。
【図12】本発明の一実施形態の変形例３に係る検査システムの構成を示す図である。
【発明を実施するための形態】
【0012】
【0013】
検査システムＳは、鋳型９の外観を検査するためのシステムである。本実施形態では、検査システムＳは、特に鋳型９の製品面の外観を検査する。鋳型９の製品面に型落ち不良等の欠陥があると、当該鋳型９を用いて鋳造される鋳物の品質が低下する。検査システムＳによって鋳型９の製品面を検査することにより、検査後の工程の実施可否を判断することができ、その結果、不良品の発生を抑制することができる。ここで、鋳型９の製品面とは、鋳型９の面のうち、その形状が製品に転写される面のことをさす。
【0014】
図１に示すように、検査システムＳは、検査装置１と、機械学習装置２と、カメラ３と、照明４とを備えている。また、検査装置１は、砂性状測定装置９２、造型機９３、及びセンサ群９８のそれぞれと通信可能に接続される。また、機械学習装置２は、砂性状測定装置９２、造型機９３、及びセンサ群９８のそれぞれと通信可能に接続される。
【0015】
カメラ３は、鋳型９の製品面を撮像して検査画像を生成する。鋳型９の製品面は、鋳型９の上部に相当する上型と鋳型９の下部に相当する下型とが型合わせされた後、外部に露出しない。そのため、カメラ３は、上型および下型が型合わせされた後、鋳型９の製品面を撮像できない。したがって、カメラ３は、上型および下型が型合わせされる前に鋳型９の製品面を撮像可能な位置に設置される。また、鋳型９に中子が設置される場合、中子の設置後、カメラ３は、鋳型９の製品面のうち中子の陰に隠れた部分を撮影できない。この場合、カメラ３は、中子が設置される前に鋳型９の製品面を撮像可能な位置に設置される。例えば、カメラ３は、造型機９３から後述する中子セット場９５までの搬送路付近において、鋳型９の製品面を撮像可能な位置に設置される。
【0016】
照明４は、カメラ３による撮像時に、鋳型９の製品面に光を照射する。なお、カメラ３及び照明４の構成には、上述した特許文献１に記載の構成を採用してもよい。
【0017】
検査装置１は、検査方法Ｍ１を実施するための装置である。検査方法Ｍ１は、少なくともカメラ３から取得した検査画像に基づき、機械学習により構築された学習済モデルＬＭを用いて鋳型９の製品面を検査する方法である。学習済モデルＬＭとしては、例えば、畳み込みニューラルネットワークや再帰型ニューラルネットワークなどのニューラルネットワークモデル、又は、サポートベクタマシンなどのアルゴリズムを用いることができる。検査装置１の構成及び検査方法Ｍ１の流れの詳細については、参照する図面を代えて後述する。
【0018】
機械学習装置２は、機械学習方法Ｍ２を実施するための装置である。機械学習方法Ｍ２は、少なくともカメラ３から取得した検査画像を用いて学習用データセットＤＳを構築すると共に、学習用データセットＤＳを用いた機械学習（教師あり学習）によって学習済モデルＬＭを構築するための方法である。機械学習装置２の構成及び機械学習方法Ｍ２の流れの詳細については、参照する図面を代えて後述する。
【0019】
〔学習済モデルＬＭの入力〕
学習済モデルＬＭの入力は、検査画像を含む。また、学習済モデルＬＭの入力は、砂情報、造型情報、搬送情報、及び環境情報の一部または全部をさらに含む。これらの入力データについて説明する。
学習済モデルＬＭの入力は、検査画像を含む。また、学習済モデルＬＭの入力は、砂情報、造型情報、搬送情報、及び環境情報の一部または全部をさらに含む。これらの入力データについて説明する。
【0020】
（検査画像）
検査画像は、カメラ３が鋳型９の製品面を撮像することにより生成した画像である。検査画像は、被写体として鋳型９の製品面を含む。
検査画像は、カメラ３が鋳型９の製品面を撮像することにより生成した画像である。検査画像は、被写体として鋳型９の製品面を含む。
【0021】
（砂情報）
砂情報は、鋳型９を構成する鋳物砂を示す情報である。砂情報は、鋳型９を構成する鋳物砂の種別、及び性状のそれぞれを示す情報の一部または全部を含む。鋳物砂の性状を示す情報の一例としては、鋳物砂に含まれる水分量、コンパクタビリティ値、砂温度、通気度、及び圧縮強度等がある。砂情報は、砂性状測定装置９２から出力される。
砂情報は、鋳型９を構成する鋳物砂を示す情報である。砂情報は、鋳型９を構成する鋳物砂の種別、及び性状のそれぞれを示す情報の一部または全部を含む。鋳物砂の性状を示す情報の一例としては、鋳物砂に含まれる水分量、コンパクタビリティ値、砂温度、通気度、及び圧縮強度等がある。砂情報は、砂性状測定装置９２から出力される。
【0022】
（造型情報）
造型情報は、鋳型９の造型状況を示す情報である。造型状況の一例としては、造型時における鋳型９の状況、及び造型機９３の状況がある。鋳型９の状況を示す情報の一例としては、例えば、離型剤情報がある。離型剤情報は、鋳型９に塗布された離型剤に関する情報である。離型剤情報は、例えば、離型剤の種別、塗布量、及び塗布回数のそれぞれに関する情報を含む。造型機９３の状況を示す情報としては、装置の設定情報がある。設定情報は、例えば、スクイズ圧、砂入れ時間、砂入れ時の圧力、砂投入重量、及び造型機の使用状況のそれぞれを示す情報を含む。造型機の使用状況の一例としては、造型回数、及び部品の摩耗状況等がある。摩耗する可能性がある部品の一例としては、キャリアプレートのシール部品等がある。造型情報は、造型機９３から出力される。なお、離型剤は、作業者および造型機９３の一方または両方によって鋳型９に塗布されることがある。この場合、離型剤情報は、作業者により入力されてもよい。
造型情報は、鋳型９の造型状況を示す情報である。造型状況の一例としては、造型時における鋳型９の状況、及び造型機９３の状況がある。鋳型９の状況を示す情報の一例としては、例えば、離型剤情報がある。離型剤情報は、鋳型９に塗布された離型剤に関する情報である。離型剤情報は、例えば、離型剤の種別、塗布量、及び塗布回数のそれぞれに関する情報を含む。造型機９３の状況を示す情報としては、装置の設定情報がある。設定情報は、例えば、スクイズ圧、砂入れ時間、砂入れ時の圧力、砂投入重量、及び造型機の使用状況のそれぞれを示す情報を含む。造型機の使用状況の一例としては、造型回数、及び部品の摩耗状況等がある。摩耗する可能性がある部品の一例としては、キャリアプレートのシール部品等がある。造型情報は、造型機９３から出力される。なお、離型剤は、作業者および造型機９３の一方または両方によって鋳型９に塗布されることがある。この場合、離型剤情報は、作業者により入力されてもよい。
【0023】
（搬送情報）
搬送情報は、鋳型９の搬送状況を示す情報である。後述する鋳造ラインＣでは、鋳型９は、造型機９３から下流側に向かって搬送される。下流側とは、造型機９３から見て後述する注湯機９７の側である。搬送情報は、例えば、この搬送中に鋳型９に加わる外力を示す情報を含む。搬送情報は、センサ群９８のうち何れかから出力される。
搬送情報は、鋳型９の搬送状況を示す情報である。後述する鋳造ラインＣでは、鋳型９は、造型機９３から下流側に向かって搬送される。下流側とは、造型機９３から見て後述する注湯機９７の側である。搬送情報は、例えば、この搬送中に鋳型９に加わる外力を示す情報を含む。搬送情報は、センサ群９８のうち何れかから出力される。
【0024】
なお、鋳型９に加わる外力は、搬送中以外にも鋳型９に加わる可能性がある。この場合、学習済モデルＬＭの入力は、搬送中以外に鋳型９に加わる外力を示す情報を含んでいてもよい。そのような搬送中以外の工程の一例としては、サンドカット、ガス穴明け、湯口成形、枠反転、及び定盤台車セット等が挙げられる。この場合、センサ群９８は、これらの各工程の一部または全部において当該外力を計測するセンサを含む。
【0025】
（環境情報）
環境情報は、造型機９３または検査装置１周辺の環境を示す情報である。なお、環境情報が検査装置１周辺の環境を示す場合、検査装置１は、後述する鋳造ラインＣの周辺に設置される。環境情報は、例えば、気温、湿度、及び浮遊粉じんの濃度の一部または全部を示す情報を含む。環境情報は、センサ群９８のうち何れかから出力される。
環境情報は、造型機９３または検査装置１周辺の環境を示す情報である。なお、環境情報が検査装置１周辺の環境を示す場合、検査装置１は、後述する鋳造ラインＣの周辺に設置される。環境情報は、例えば、気温、湿度、及び浮遊粉じんの濃度の一部または全部を示す情報を含む。環境情報は、センサ群９８のうち何れかから出力される。
【0026】
〔学習済モデルＬＭの出力〕
学習済モデルＬＭの出力は、鋳型９の製品面に関する検査結果を示す情報である。この検査結果を示す情報は、欠陥の有無を示す情報、及び、１または複数の欠陥の領域を示す情報の一方または両方を含む。本実施形態では、検査結果を示す情報は、これらの情報の両方を含むものとして説明する。これらの情報について説明する。
学習済モデルＬＭの出力は、鋳型９の製品面に関する検査結果を示す情報である。この検査結果を示す情報は、欠陥の有無を示す情報、及び、１または複数の欠陥の領域を示す情報の一方または両方を含む。本実施形態では、検査結果を示す情報は、これらの情報の両方を含むものとして説明する。これらの情報について説明する。
【0027】
（欠陥の有無を示す情報）
欠陥の有無を示す情報は、例えば、型落ち不良の有無を示す。欠陥の有無を示す情報は、例えば、有無を示す２値の情報である。
欠陥の有無を示す情報は、例えば、型落ち不良の有無を示す。欠陥の有無を示す情報は、例えば、有無を示す２値の情報である。
【0028】
（欠陥の領域を示す情報）
欠陥の領域を示す情報は、例えば、鋳型９の製品面において型落ち不良が発生した箇所を示す。なお、学習済モデルＬＭは、鋳型９の製品面において１箇所に欠陥が発生している場合、１つの欠陥の領域を示す情報を出力し、複数箇所に欠陥が発生している場合、複数の欠陥の各々の領域を示す情報を出力する。各欠陥の領域を示す情報は、その欠陥の位置、大きさ、及び形状のそれぞれを示す情報を含む。
欠陥の領域を示す情報は、例えば、鋳型９の製品面において型落ち不良が発生した箇所を示す。なお、学習済モデルＬＭは、鋳型９の製品面において１箇所に欠陥が発生している場合、１つの欠陥の領域を示す情報を出力し、複数箇所に欠陥が発生している場合、複数の欠陥の各々の領域を示す情報を出力する。各欠陥の領域を示す情報は、その欠陥の位置、大きさ、及び形状のそれぞれを示す情報を含む。
【0029】
（欠陥の位置を示す情報）
欠陥の位置を示す情報は、例えば、検査画像における欠陥の像の位置によって表される。具体例として、欠陥の位置を示す情報は、検査画像において欠陥の像を包含する（例えば、欠陥の像に外接する）矩形の何れかの頂点の座標であってもよい。
欠陥の位置を示す情報は、例えば、検査画像における欠陥の像の位置によって表される。具体例として、欠陥の位置を示す情報は、検査画像において欠陥の像を包含する（例えば、欠陥の像に外接する）矩形の何れかの頂点の座標であってもよい。
【0030】
（欠陥の大きさを示す情報）
欠陥の大きさを示す情報は、例えば、検査画像における欠陥の像の大きさによって表される。具体例として、欠陥の大きさを示す情報は、上述した矩形の面積であってもよい。
欠陥の大きさを示す情報は、例えば、検査画像における欠陥の像の大きさによって表される。具体例として、欠陥の大きさを示す情報は、上述した矩形の面積であってもよい。
【0031】
（欠陥の形状を示す情報）
欠陥の形状を示す情報は、例えば、検査画像における欠陥の像の形状によって表される。具体例として、欠陥の形状を示す情報は、上述した矩形のアスペクト比であってもよい。
欠陥の形状を示す情報は、例えば、検査画像における欠陥の像の形状によって表される。具体例として、欠陥の形状を示す情報は、上述した矩形のアスペクト比であってもよい。
【0032】
なお、欠陥の領域を示す情報は、欠陥の位置、大きさ、形状をユーザが認識できる情報であればよく、必ずしも数値として表現される必要はない。例えば、欠陥の領域を示す情報は、欠陥の像を包含する矩形を検査画像に重畳することによって表現されてもよい。
【0033】
〔検査システムＳの導入から実用までのフェーズ〕
検査システムＳは、準備フェーズと試用フェーズとを経て実用フェーズに至る。準備フェーズ、試用フェーズ、及び実用フェーズについて、その内容を簡単に説明すれば、以下のとおりである。
検査システムＳは、準備フェーズと試用フェーズとを経て実用フェーズに至る。準備フェーズ、試用フェーズ、及び実用フェーズについて、その内容を簡単に説明すれば、以下のとおりである。
【0034】
（１）準備フェーズ
準備フェーズにおいては、作業者が鋳型９の製品面を検査し、機械学習装置２が学習用データセットＤＳを生成して学習済モデルＬＭを構築する。
準備フェーズにおいては、作業者が鋳型９の製品面を検査し、機械学習装置２が学習用データセットＤＳを生成して学習済モデルＬＭを構築する。
【0035】
具体的には、カメラ３は、鋳型９の製品面を撮像した検査画像を生成し、機械学習装置２に入力する。砂性状測定装置９２は、当該鋳型９に関連する砂情報を機械学習装置２に入力する。造型機９３は、当該鋳型９に関連する造型情報を機械学習装置２に入力する。センサ群９８は、搬送情報及び環境情報を機械学習装置２に入力する。また、作業者は、当該鋳型９の製品面を検査し、作業者による検査結果を示す情報を検査画像に関連付けて、機械学習装置２に入力する。作業者による検査結果を示す情報は、欠陥の有無を示す情報を含む。例えば、作業者は、当該鋳型９の製品面に１または複数の欠陥があると判断した場合、欠陥が有ることを示す情報を、機械学習装置２に入力する。また、作業者による検査結果を示す情報は、欠陥の有無を示す情報に加えて、１または複数の欠陥の領域を示す情報を含む。１または複数の欠陥の領域を示す情報を入力する手法の一例について説明する。例えば、作業者は、各欠陥の位置、大きさ、及び形状のそれぞれを示す情報を、機械学習装置２に入力する。これらの情報を入力する操作の具体例として、検査画像上に矩形を描画する操作が挙げられる。この場合、作業者は、ディスプレイ（図示せず）等に表示された検査画像上に、各欠陥の像を包含する矩形を、入力装置により描画する。機械学習装置２は、作業者が描画した矩形から、欠陥の位置、大きさ、及び形状のそれぞれを示す情報を取得する。このようにして、機械学習装置２は、作業者が入力した欠陥の有無を示す情報と、作業者が入力した各欠陥の位置、大きさ、及び形状のそれぞれを示す情報とを、作業者による検査結果を示す情報として取得する。作業者による検査が行われる度に、機械学習装置２は、（ｉ）カメラ３から取得した検査画像、及び（ｉｉ）各装置から入力された砂情報、造型情報、搬送情報、及び環境情報を入力データとして、（ｉｉｉ）作業者による検査結果を示す情報を正解データとする教師データＤｉを作成し、作成した教師データＤｉを学習用データセットＤＳに追加する。なお、準備フェーズでは、砂情報、造型情報、搬送情報、及び環境情報が、各装置から機械学習装置２に入力されるものとして説明した。ただし、これらの情報の一部または全部は、ユーザにより機械学習装置２に入力されてもよい。この場合、検査を行う作業者と、データを入力するユーザとは、同一であってもよいし異なっていてもよい。準備フェーズは、準備フェーズの開始から所定の期間（例えば、１週間、１ヶ月、又は１年など）が経過した時点で終了してもよいし、準備フェーズにおける作業者の検査回数が所定の回数（例えば、１００回、１０００回、又は１００００回など）に達した時点で終了してもよい。
【0036】
準備フェーズの間、作業者は、複数種類の異なる模型を用いてそれぞれ造型された鋳型９の製品面を検査する。換言すると、学習用データセットＤＳは、複数種類の模型のそれぞれに対応する教師データＤｉを含む。
【0037】
準備フェーズが終了すると、機械学習装置２は、学習用データセットＤＳを用いた機械学習によって学習済モデルＬＭを構築する。学習用データセットＤＳが複数種類の模型のそれぞれに対応する教師データＤｉを含んでいることにより、構築された学習済モデルＬＭは、複数種類の模型に共通して機能するものとなる。構築された学習済モデルＬＭは、機械学習装置２から検査装置１に転送される。
【0038】
（２）試用フェーズ
試用フェーズにおいては、作業者が鋳型９の製品面を検査すると共に、検査装置１が鋳型９の製品面の検査を行う。
試用フェーズにおいては、作業者が鋳型９の製品面を検査すると共に、検査装置１が鋳型９の製品面の検査を行う。
【0039】
具体的には、カメラ３は、鋳型９の製品面を撮像した検査画像を生成し、検査装置１に入力する。砂性状測定装置９２は、当該鋳型９に関連する砂情報を検査装置１に入力する。造型機９３は、当該鋳型９に関連する造型情報を検査装置１に入力する。センサ群９８は、搬送情報及び環境情報を検査装置１に入力する。検査装置１は、カメラ３から取得した検査画像、各装置から入力された砂情報、造型情報、搬送情報、及び環境情報を学習済モデルＬＭに入力し、学習済モデルＬＭから得られる検査結果を示す情報を出力する。
【0040】
また、作業者は、当該鋳型９の製品面を検査する。作業者は、作業者による検査結果と、検査装置１の出力が示す検査結果とを比較し、検査装置１の検査精度を評価する。例えば、試用フェーズにおいて２００個の鋳型９を検査し、１９２個の鋳型９について検査装置１による検査結果と作業者による検査結果とが一致した場合、検査精度は９６％と評価される。なお、試用フェーズでは、砂情報、造型情報、搬送情報、及び環境情報が、各装置から検査装置１に入力されるものとして説明した。ただし、これらの情報の一部または全部は、ユーザにより検査装置１に入力されてもよい。この場合、検査を行う作業者と、データを入力するユーザとは、同一であってもよいし異なっていてもよい。試用フェーズは、試用フェーズの開始から所定の期間（例えば、１週間、１ヶ月、又は１年など）が経過した時点で終了してもよいし、試用フェーズにおける鋳型９の検査回数が所定の回数（例えば、１００回、１０００回、又は１００００回など）に達した時点で終了してもよい。試用フェーズにおいて評価された検査精度が不十分である場合には、前述した準備フェーズ及び試用フェーズが再度実施される。この場合、再度実施される準備フェーズでは、学習済モデルＬＭに対する追加学習を行ってもよい。試用フェーズにおいて評価された検査精度が十分である場合には、後述する実用フェーズが実施される。
【0041】
ここで、検査精度の評価及びフェーズの切り替えを、（ｉ）検査装置１が行うケース、または（ｉｉ）作業者が行うケースがある。（ｉ）のケースにおいて、検査装置１は、作業者が検査装置１に入力した検査結果を自身の検査結果と比較することによって、検査装置１の検査精度を評価する。そして、検査装置１は、例えば、検査精度が予め定められた閾値以下であれば、準備フェーズの再度の実施が必要であると判断する。そして、検査装置１は、その判断の結果に応じたフェーズの切り替えを行う。一方、（ｉｉ）のケースにおいて、作業者は、検査装置１が出力した検査結果を自身の検査結果と比較することによって、検査装置１の検査精度を評価する。そして、作業者は、例えば、検査精度が予め定められた閾値以下であれば、準備フェーズの再度の実施が必要であると判断する。そして、検査装置１は、その判断の結果に応じたフェーズの切り替えを行う。
【0042】
（３）実用フェーズ
実用フェーズにおいては、検査装置１が鋳型９の製品面を検査する。
実用フェーズにおいては、検査装置１が鋳型９の製品面を検査する。
【0043】
具体的には、カメラ３は、鋳型９の製品面を撮像した検査画像を生成し、検査装置１に入力する。砂性状測定装置９２は、当該鋳型９に関連する砂情報を検査装置１に入力する。造型機９３は、当該鋳型９に関連する造型情報を検査装置１に入力する。センサ群９８は、搬送情報及び環境情報を検査装置１に入力する。検査装置１は、カメラ３から取得した検査画像、各装置から入力された砂情報、造型情報、搬送情報、及び環境情報を学習済モデルＬＭに入力し、学習済モデルＬＭから得られる検査結果を示す情報を出力する。実用フェーズにおいて検査装置１が用いる学習済モデルＬＭは、試用フェーズにおいて十分な検査精度を有することを確かめられたものである。実用フェーズにおいては、作業者による検査を省略することができる。このため、検査の手間から作業者を解放すると共に、効率良く鋳造ラインＣを運用することが可能になる。
【0044】
なお、本実施形態においては、検査画像と、砂情報、造型情報、搬送情報、及び環境情報の一部または全部とを学習済モデルＬＭの入力とする構成を採用しているが、本発明はこれに限定されない。これらのデータの中で鋳型９の製品面の検査結果に支配的な影響を与えるのは、検査画像である。その他の砂情報、造型情報、搬送情報、及び環境情報は、鋳型９の製品面の検査精度を向上させるためのデータであり、必ずしも学習済モデルＬＭの入力として採用する必要はない。すなわち、少なくとも検査画像を学習済モデルＬＭに入力する構成であれば、どのような構成を採用してもよい。
【0045】
また、本実施形態においては、欠陥の有無を示す情報、及び１または複数の欠陥の領域を示す情報の一方または両方を学習済モデルＬＭの出力とする構成を採用しているが、本発明はこれに限定されない。例えば、学習済モデルＬＭの出力は、欠陥の程度を示す情報を含むものであってもよい。欠陥の程度とは、例えば、欠陥が製品の品質に影響を及ぼす度合いである。そのような影響を及ぼす度合いは、例えば、欠陥の発生箇所に応じて異なる可能性がある。なお、欠陥の程度は、上述した例に限定されない。
【0046】
【0047】
検査装置１は、汎用コンピュータを用いて実現されており、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力インタフェース１４と、通信インタフェース１５と、バス１６とを備えている。プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力インタフェース１４、及び通信インタフェース１５は、バス１６を介して相互に接続されている。
【0048】
二次メモリ１３には、検査プログラムＰ１及び学習済モデルＬＭが格納されている。プロセッサ１１は、二次メモリ１３に格納されている検査プログラムＰ１及び学習済モデルＬＭを一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開された検査プログラムＰ１に含まれる命令に従って、検査方法Ｍ１に含まれる各ステップを実行する。一次メモリ１２上に展開された学習済モデルＬＭは、検査方法Ｍ１の検査ステップＭ１２（後述）をプロセッサ１１が実行する際に利用される。なお、検査プログラムＰ１が二次メモリ１３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ１３に記憶されていることを指す。また、学習済モデルＬＭが二次メモリ１３に格納されているとは、学習済モデルＬＭを規定するパラメータが二次メモリ１３に格納されていることを指す。
【0049】
プロセッサ１１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ１１は、「演算装置」と呼ばれることもある。
【0050】
また、一次メモリ１２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ１２は、「主記憶装置」と呼ばれることもある。また、二次メモリ１３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy（登録商標） Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ１３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ１３は、検査装置１に内蔵されていてもよいし、入出力インタフェース１４又は通信インタフェース１５を介して検査装置１と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、検査装置１における記憶を２つのメモリ（一次メモリ１２及び二次メモリ１３）により実現しているが、これに限定されない。すなわち、検査装置１における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ１２として利用し、そのメモリの他の記憶領域を二次メモリ１３として利用すればよい。
【0051】
入出力インタフェース１４には、入力デバイス及び／又は出力デバイスが接続される。
入出力インタフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。
また、入出力インタフェース１４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。検査方法Ｍ１においてユーザから取得するデータは、これらの入力デバイスを介して検査装置１に入力され、一次メモリ１２に記憶される。また、入出力インタフェース１４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。検査方法Ｍ１においてユーザに提供する情報は、これらの出力デバイスを介して検査装置１から出力される。なお、検査装置１は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、検査装置１は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
入出力インタフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。
また、入出力インタフェース１４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。検査方法Ｍ１においてユーザから取得するデータは、これらの入力デバイスを介して検査装置１に入力され、一次メモリ１２に記憶される。また、入出力インタフェース１４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。検査方法Ｍ１においてユーザに提供する情報は、これらの出力デバイスを介して検査装置１から出力される。なお、検査装置１は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、検査装置１は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0052】
通信インタフェース１５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース１５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。検査方法Ｍ１において検査装置１が他のコンピュータ（例えば、機械学習装置２）から取得するデータ（例えば、学習済モデルＬＭ）、及び、検査方法Ｍ１において検査装置１が他のコンピュータに提供するデータは、これらのネットワークを介して送受信される。
【0053】
例えば、通信インタフェース１５には、カメラ３、砂性状測定装置９２、造型機９３、及びセンサ群９８のそれぞれが接続される。検査方法Ｍ１においてこれらの各装置から取得するデータは、通信インタフェース１５を介して検査装置１に入力され、一次メモリ１２に記憶される。なお、これらの各装置の一部または全部は、通信インタフェース１５に接続されるものに限らず、入出力インタフェース１４に接続されるものであってもよい。
【0054】
なお、本実施形態においては、単一のプロセッサ（プロセッサ１１）を用いて検査方法Ｍ１を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて検査方法Ｍ１を実行する構成を採用してもよい。この場合、連携して検査方法Ｍ１を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して検査方法Ｍ１を実行する態様などが考えられる。
【0055】
また、本実施形態においては、検査方法Ｍ１を実行するプロセッサ（プロセッサ１１）と同じコンピュータに内蔵されたメモリ（二次メモリ１３）に学習済モデルＬＭを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、検査方法Ｍ１を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習済モデルＬＭを格納する構成を採用してもよい。この場合、学習済モデルＬＭを格納するメモリが内蔵されたコンピュータは、検査方法Ｍ１を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習済モデルＬＭを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが検査方法Ｍ１を実行する態様などが考えられる。
【0056】
また、本実施形態においては、単一のメモリ（二次メモリ１３）に学習済モデルＬＭを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習済モデルＬＭを分散して格納する構成を採用してもよい。この場合、学習済モデルＬＭを格納する複数のメモリは、単一のコンピュータ（検査方法Ｍ１を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（検査方法Ｍ１を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習済モデルＬＭを分散して格納する構成などが考えられる。
【0057】
【0058】
検査方法Ｍ１は、取得ステップＭ１１と、検査ステップＭ１２と、判断ステップＭ１３と、警告ステップＭ１４とを含んでいる。
【0059】
取得ステップＭ１１は、プロセッサ１１が、学習済モデルＬＭに入力するデータを取得するステップである。取得ステップＭ１１において、プロセッサ１１は、カメラ３から検査画像を取得し、一次メモリ１２に記憶する。また、取得ステップＭ１１は、砂性状測定装置９２、造型機９３、及びセンサ群９８から砂情報、造型情報、搬送情報、及び環境情報を取得し、一次メモリ１２に記憶する。
【0060】
検査ステップＭ１２は、プロセッサ１１が、学習済モデルＬＭを用いて鋳型９の製品面を検査するステップである。検査ステップＭ１２において、プロセッサ１１は、検査画像、砂情報、造型情報、搬送情報、及び環境情報を一次メモリ１２から読み出して学習済モデルＬＭに入力する。そして、学習済モデルＬＭから出力された検査結果を示す情報を一次メモリ１２に書き込む。検査結果を示す情報は、欠陥の有無を示す情報、及び１または複数の欠陥の領域を示す情報を含む。
【0061】
判断ステップＭ１３は、プロセッサ１１が、学習済モデルＬＭの出力に基づき鋳型９に欠陥が有るか否かを判断するステップである。当該ステップにおいて欠陥が有ると判断された場合、警告ステップＭ１４が実行される。欠陥が無いと判断された場合、検査方法Ｍ１は終了する。
【0062】
警告ステップＭ１４は、プロセッサ１１が、学習済モデルＬＭの出力に基づき警告情報を出力するステップである。警告ステップＭ１４において、プロセッサ１１は、学習済モデルＬＭから出力された検査結果を示す情報に基づいて、警告情報を生成する。
【0063】
警告情報は、例えば、検査画像に欠陥の領域の境界線を示す図形を検査画像に重畳した画像である。また、警告情報は、例えば、鋳型９と同一種類の模型を用いて造型された複数の鋳型における欠陥の発生頻度（発生回数、発生率等）を含む。
【0064】
また、警告情報は、例えば、鋳型９と同一種類の模型を用いて造型された複数の鋳型における箇所毎の欠陥の発生頻度（発生回数、発生率等）を含む。欠陥が発生した箇所は、例えば、検査画像を分割したブロック単位で管理される。
【0065】
プロセッサ１１は、生成した警告情報を、出力デバイスを用いて出力する。例えば、出力デバイスにディスプレイが含まれる場合、プロセッサ１１は、警告情報を示す画像を生成し、当該画像をディスプレイに表示させる。
【0066】
作業者は、警告情報が出力された場合、該当する鋳型９について鋳造ラインＣにおけるその後の工程をスキップさせることができる。
【0067】
【0068】
機械学習装置２は、汎用コンピュータを用いて実現されており、プロセッサ２１と、一次メモリ２２と、二次メモリ２３と、入出力インタフェース２４と、通信インタフェース２５と、バス２６とを備えている。プロセッサ２１、一次メモリ２２、二次メモリ２３、入出力インタフェース２４、及び通信インタフェース２５は、バス２６を介して相互に接続されている。
【0069】
二次メモリ２３には、機械学習プログラムＰ２及び学習用データセットＤＳが格納されている。学習用データセットＤＳは、教師データＤ１、Ｄ２…の集合である。プロセッサ２１は、二次メモリ２３に格納されている機械学習プログラムＰ２を一次メモリ２２上に展開する。そして、プロセッサ２１は、一次メモリ２２上に展開された機械学習プログラムＰ２に含まれる命令に従って、機械学習方法Ｍ２に含まれる各ステップを実行する。二次メモリ２３に格納された学習用データセットＤＳは、機械学習方法Ｍ２の学習用データセット構築ステップＭ２１（後述）にて構築され、機械学習方法Ｍ２の学習済モデル構築ステップＭ２２（後述）において利用される。また、機械学習方法Ｍ２の学習済モデル構築ステップＭ２２にて構築された学習済モデルＬＭも、二次メモリ２３に格納される。なお、機械学習プログラムＰ２が二次メモリ２３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ２３に記憶されていることを指す。また、学習済モデルＬＭが二次メモリ２３に格納されているとは、学習済モデルＬＭを規定するパラメータが二次メモリ２３に格納されていることを指す。
【0070】
プロセッサ２１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ２１は、「演算装置」と呼ばれることもある。
【0071】
また、一次メモリ２２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ２２は、「主記憶装置」と呼ばれることもある。また、二次メモリ２３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ２３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ２３は、機械学習装置２に内蔵されていてもよいし、入出力インタフェース２４又は通信インタフェース２５を介して機械学習装置２と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、機械学習装置２における記憶を２つのメモリ（一次メモリ２２及び二次メモリ２３）により実現しているが、これに限定されない。すなわち、機械学習装置２における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ２２として利用し、そのメモリの他の記憶領域を二次メモリ２３として利用すればよい。
【0072】
入出力インタフェース２４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース２４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。また、入出力インタフェース２４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。機械学習方法Ｍ２においてユーザから取得するデータは、これらの入力デバイスを介して機械学習装置２に入力され、一次メモリ２２に記憶される。また、入出力インタフェース２４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。機械学習方法Ｍ２においてユーザに提供する情報は、これらの出力デバイスを介して機械学習装置２から出力される。なお、機械学習装置２は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、機械学習装置２は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0073】
通信インタフェース２５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース２５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。機械学習装置２が他のコンピュータ（例えば、検査装置１）に提供するデータ（例えば、学習済モデルＬＭ）は、これらのネットワークを介して送受信される。
【0074】
例えば、通信インタフェース２５には、カメラ３、砂性状測定装置９２、造型機９３、及びセンサ群９８のそれぞれが接続される。機械学習方法Ｍ２においてこれらの各装置から取得するデータは、通信インタフェース２５を介して機械学習装置２に入力され、一次メモリ２２に記憶される。なお、これらの各装置の一部または全部は、通信インタフェース２５に接続されるものに限らず、入出力インタフェース２４に接続されるものであってもよい。
【0075】
なお、本実施形態においては、単一のプロセッサ（プロセッサ２１）を用いて機械学習方法Ｍ２を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて機械学習方法Ｍ２を実行する構成を採用してもよい。この場合、連携して機械学習方法Ｍ２を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して機械学習方法Ｍ２を実行する態様などが考えられる。
【0076】
また、本実施形態においては、機械学習方法Ｍ２を実行するプロセッサ（プロセッサ２１）と同じコンピュータに内蔵されたメモリ（二次メモリ２３）に学習用データセットＤＳを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、機械学習方法Ｍ２を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習用データセットＤＳを格納する構成を採用してもよい。この場合、学習用データセットＤＳを格納するメモリが内蔵されたコンピュータは、機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習用データセットＤＳを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが機械学習方法Ｍ２を実行する態様などが考えられる。
【0077】
また、本実施形態においては、単一のメモリ（二次メモリ２３）に学習用データセットＤＳを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習用データセットＤＳを分散して格納する構成を採用してもよい。この場合、学習用データセットＤＳを格納する複数のメモリは、単一のコンピュータ（機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習用データセットＤＳを分散して格納する構成などが考えられる。
【0078】
また、本実施形態においては、検査方法Ｍ１及び機械学習方法Ｍ２を異なるプロセッサ（プロセッサ１１及びプロセッサ２１）を用いて実行する構成を採用しているが、本発明は、これに限定されない。すなわち、検査方法Ｍ１及び機械学習方法Ｍ２を同一のプロセッサを用いて実行してもよい。この場合、機械学習方法Ｍ２を実行することによって、このプロセッサと同じコンピュータに内蔵されたメモリに学習済モデルＬＭが格納される。そして、このプロセッサは、検査方法Ｍ１を実行する際に、このメモリに格納された学習済モデルＬＭを利用する。
【0079】
【0080】
機械学習方法Ｍ２は、学習用データセット構築ステップＭ２１と、学習済モデル構築ステップＭ２２と、を含んでいる。
【0081】
学習用データセット構築ステップＭ２１は、プロセッサ２１が、教師データＤ１、Ｄ２，…の集合である学習用データセットＤＳを構築するステップである。
【0082】
各教師データＤｉ（ｉ＝１，２，…）には、検査画像、砂情報、造型情報、搬送情報、及び環境情報を含む入力データと、欠陥の有無を示す情報、及び１または複数の欠陥の領域を示す情報を含む正解データとが含まれている。具体的には、学習用データセット構築ステップＭ２１において、プロセッサ２１は、検査画像をカメラ３から取得する。また、プロセッサ２１は、砂性状測定装置９２、造型機９３、及びセンサ群９８から、砂情報、造型情報、搬送情報、及び環境情報を取得する。これらの情報は、検査画像に被写体として含まれる鋳型９に関連する。また、プロセッサ２１は、検査対象の鋳型９に対する作業者の検査結果を示す情報として、ユーザによって入力された欠陥の有無を示す情報、及び１または複数の欠陥の領域を示す情報を取得する。プロセッサ２１は、各装置から取得した入力データ（検査画像、砂情報、造型情報、搬送情報、及び環境情報）と、ユーザによって入力された正解データ（作業者の検査結果を示す情報）とを含む教師データＤｉを、二次メモリ２３に格納する。以上のプロセスをプロセッサ２１が繰り返すことによって、学習用データセットＤＳが構築される。
【0083】
学習済モデル構築ステップＭ２２は、プロセッサ２１が、学習済モデルＬＭを構築するステップである。学習済モデル構築ステップＭ２２において、プロセッサ２１は、学習用データセットＤＳを用いた教師あり学習によって、学習済モデルＬＭを構築する。そして、プロセッサ２１は、構築した学習済モデルＬＭを二次メモリ２３に格納する。
【0084】
〔鋳造ラインＣの構成〕
検査システムＳの適用対象となる鋳造ラインＣの一部の構成について、図６を参照して説明する。図６は、鋳造ラインＣの概略的な構成の一部を示すブロック図である。鋳造ラインＣは、搬送路にそって複数の鋳型９を搬送し、各鋳型９へ注湯することにより鋳物を製造するシステムの一部の一例である。鋳造ラインＣで用いる鋳型９は生型であり、造型方式は枠付き造型である。ただし、鋳造ラインＣにおける造型方式は抜枠造型であってもよい。また、検査システムＳが適用対象とする鋳造ラインは、自硬性鋳型を用いるラインであってもよい。
検査システムＳの適用対象となる鋳造ラインＣの一部の構成について、図６を参照して説明する。図６は、鋳造ラインＣの概略的な構成の一部を示すブロック図である。鋳造ラインＣは、搬送路にそって複数の鋳型９を搬送し、各鋳型９へ注湯することにより鋳物を製造するシステムの一部の一例である。鋳造ラインＣで用いる鋳型９は生型であり、造型方式は枠付き造型である。ただし、鋳造ラインＣにおける造型方式は抜枠造型であってもよい。また、検査システムＳが適用対象とする鋳造ラインは、自硬性鋳型を用いるラインであってもよい。
【0085】
図６に示すように、鋳造ラインＣは、混練機９１と、砂性状測定装置９２と、造型機９３と、搬送装置９４と、中子セット場９５と、型合わせ装置９６と、注湯機９７と、センサ９８ａと、センサ９８ｂとを含む。センサ９８ａおよびセンサ９８ｂは、図１に示したセンサ群９８に含まれるセンサの一例である。
【0086】
混練機９１は、鋳物砂を混練する装置である。
【0087】
砂性状測定装置９２は、混練機９１によって混練された鋳物砂の性状を測定する装置である。
【0088】
造型機９３は、模型を用いて鋳型９を製造する装置である。造型機９３は、鋳型９の上型及び下型を造型する。
【0089】
搬送装置９４は、造型機９３から下流側（注湯機９７側）へと搬送路に沿って鋳型９を搬送する装置である。搬送路は、例えば、造型機９３から注湯機９７まで敷設されたローラコンベヤ（図示略）又はレール（図示略）によって構成される。搬送路上には、複数の鋳枠Ｆが等間隔で位置Ｐ１からＰ１４に配置される。搬送装置９４は、これらの鋳枠Ｆを下流側に１枠ずつ搬送する。下流側に１枠搬送されると、位置Ｐ１からＰ１３に配置された鋳枠Ｆは、位置Ｐ２からＰ１４に配置される。位置Ｐ１４に配置された鋳枠Ｆは、位置Ｐ１４より１枠下流側の位置（図示せず）に配置される。位置Ｐ１には、新たな鋳枠Ｆが配置される。造型機９３から中子セット場９５までの搬送路付近（ここでは、位置Ｐ５付近）には、カメラ３が設置される。
【0090】
中子セット場９５には、作業者が駐留する。中子セット場９５は、型合わせする前の鋳型９に作業者が中子をセットする場である。
【0091】
型合わせ装置９６は、上型と下型とを型合わせする装置である。
【0092】
注湯機９７は、鋳型９に溶湯を流し込む装置である。
【0093】
センサ９８ａは、造型機９３または検査装置１周辺の環境を検出するセンサ群である。センサ９８ａは、例えば、温度センサ、湿度センサ、及び浮遊粉じんの濃度を測定する測定器によって構成される。センサ９８ａを構成する各センサは、造型機９３または検査装置１の周辺に設置される。
【0094】
センサ９８ｂは、鋳型９に加わる外力を検出するセンサ群である。センサ９８ｂは、例えば、複数の加速度センサによって構成され、各鋳枠Ｆに付帯する。
【0095】
〔鋳造ラインＣが実施する鋳造工程Ｃ１００〕
鋳造ラインＣが実施する鋳造工程Ｃ１００について、図７を参照して説明する。図７は、鋳造工程Ｃ１００の一部の各工程を説明するフローチャートである。図７に示すように、鋳造工程Ｃ１００は、混練工程Ｃ１０１と、造型工程Ｃ１０２と、搬送工程Ｃ１０３、Ｃ１０５、Ｃ１０７、Ｃ１０９と、検査工程Ｃ１０４と、中子セット工程Ｃ１０６と、型合わせ工程Ｃ１０８と、注湯工程Ｃ１１０とを含む。
鋳造ラインＣが実施する鋳造工程Ｃ１００について、図７を参照して説明する。図７は、鋳造工程Ｃ１００の一部の各工程を説明するフローチャートである。図７に示すように、鋳造工程Ｃ１００は、混練工程Ｃ１０１と、造型工程Ｃ１０２と、搬送工程Ｃ１０３、Ｃ１０５、Ｃ１０７、Ｃ１０９と、検査工程Ｃ１０４と、中子セット工程Ｃ１０６と、型合わせ工程Ｃ１０８と、注湯工程Ｃ１１０とを含む。
【0096】
混練工程Ｃ１０１において、混練機９１は、鋳物砂を混練する。具体的には、例えば、混練機９１は、粘結剤、水分、その他添加剤（でん粉、石炭粉など）、またはこれらの組み合わせを鋳物砂に加えて混練する。また、砂性状測定装置９２は、混練された鋳物砂の性状を測定し、測定結果を、上述した砂情報として検査装置１に送信する。
【0097】
造型工程Ｃ１０２において、造型機９３は、混練工程Ｃ１０１において混練された鋳物砂を、鋳枠Ｆ内に充填する。また、造型機９３は、鋳枠Ｆ内の鋳物砂を加圧して固めることにより、鋳型９の上型または下型を造型する。具体的には、造型機９３は、鋳枠Ｆ内に上型の模型が設けられている場合、上型を造型し、下型の模型が設けられている場合、下型を造型する。例えば、造型機９３は、上型と下型とを交互に造型する。また、造型機９３は、当該工程が完了すると、搬送可能であることを示す信号を搬送装置９４に出力する。また、造型機９３は、当該工程中に得られた離型剤情報及び造型機９３の設定情報を、上述した造型情報として検査装置１に送信する。また、センサ９８ａのうち造型機９３の周辺に設置されたセンサは、当該工程中に検出した造型機９３周辺の温度、湿度、または浮遊粉じんの濃度を、上述した環境情報として検査装置１に送信する。また、センサ９８ａのうち検査装置１の周辺に設置されたセンサは、当該工程中に検出した検査装置１周辺の温度、湿度、または浮遊粉じんの濃度を、上述した環境情報として検査装置１に送信する。
【0098】
搬送工程Ｃ１０３において、搬送装置９４は、造型機９３側から各鋳枠Ｆを下流に向けて搬送する。なお、搬送装置９４は、造型機９３、型合わせ装置９６、及び注湯機９７から、搬送可能であることを示す信号をそれぞれ受信している場合に、当該工程を実行する。また、センサ９８ｂは、造型工程Ｃ１０２が完了した鋳枠Ｆ付き上型または下型に対して、搬送中に加わる外力を検出する。センサ９８ｂは、検出結果を、上述した搬送情報として検査装置１に送信する。当該鋳枠Ｆ付き上型または下型が位置Ｐ５まで搬送されると、次の検査工程Ｃ１０４が実施される。
【0099】
検査工程Ｃ１０４において、カメラ３は、位置Ｐ５にある鋳枠Ｆ付き上型または下型の製品面を撮像し、撮像した画像を検査画像として検査装置１に送信する。検査装置１は、工程Ｃ１０１～Ｃ１０４で砂性状測定装置９２、造型機９３、センサ９８ａ、９８ｂ、及びカメラ３から取得した情報を用いて、上述した検査方法Ｍ１を実行する。検査装置１は、検査方法Ｍ１において鋳枠Ｆ付き上型または下型の製品面に欠陥があると判断した場合、警告情報を出力デバイスに出力する。
【0100】
搬送工程Ｃ１０５における搬送装置９４の動作は、搬送工程Ｃ１０３と同様である。検査工程Ｃ１０４が完了した鋳枠Ｆ付き上型または下型が位置Ｐ６まで搬送されると、次の中子セット工程Ｃ１０６が実施される。
【0101】
中子セット工程Ｃ１０６において、作業者は、中子セット場９５（位置Ｐ６～Ｐ８）にある鋳枠Ｆ内が下型である場合、下型に中子をセットする。
【0102】
ここで、検査工程Ｃ１０４において警告情報が出力されている場合、作業者は、警告情報が出力された鋳枠Ｆ付き上型または下型に対して、目視により以降の工程を実施可能であるか否かを判断する。実施可能と判断した場合、作業者は、鋳枠Ｆ付き下型であればこれに中子をセットする。また、実施不可能と判断した場合、作業者は、当該鋳枠Ｆ付き上型または下型を不良枠として登録する。これにより、当該鋳枠Ｆ付き上型または下型に対して、以降の工程が実施されない。不良枠の詳細については後述する。
【0103】
なお、作業者は、警告情報が出力された鋳枠Ｆ付き上型または下型に対して、必要な手当てを施した上で以降の工程を実施可能であると判断してもよい。この場合、作業者は、当該鋳枠Ｆ付き上型または下型に対して必要な手当てを施した後、下型であればこれに中子をセットする。必要な手当ての一例としては、当該鋳枠Ｆ付き上型または下型の製品面の清掃、および当該製品面への離型剤の塗布等がある。
【0104】
搬送工程Ｃ１０７における搬送装置９４の動作は、搬送工程Ｃ１０３と同様である。中子セット工程Ｃ１０６が完了した鋳枠Ｆ付き上型または下型が位置Ｐ１０まで搬送されると、次の型合わせ工程Ｃ１０８が実施される。なお、鋳枠Ｆ付き上型は、位置Ｐ１０に搬送されるまでの間に、枠反転装置（不図示）によって当該上型の製品面が下になるよう反転される。
【0105】
型合わせ工程Ｃ１０８において、型合わせ装置９６は、鋳枠Ｆ付き上型と鋳枠Ｆ付き下型とを型合わせする。これにより、上型と下型とが型合わせされた鋳枠Ｆ付き鋳型９が得られる。また、型合わせ装置９６は、当該工程が完了すると、搬送可能であることを示す信号を搬送装置９４に出力する。
【0106】
搬送工程Ｃ１０９における搬送装置９４の動作は、搬送工程Ｃ１０３と同様である。型合わせ工程Ｃ１０８が完了した鋳枠Ｆ付き鋳型９が位置Ｐ１４まで搬送されると、次の注湯工程Ｃ１１０が実施される。
【0107】
注湯工程Ｃ１１０において、注湯機９７は、位置Ｐ１４にある鋳枠Ｆ付き鋳型９に溶湯を流し込む。また、注湯機９７は、当該工程が完了すると、搬送可能であることを示す信号を搬送装置９４に出力する。
【0108】
その後、鋳枠Ｆ付き鋳型９に注入された溶湯は、冷却されることにより鋳物となる。当該鋳物は、鋳枠Ｆ付き鋳型９が解体されることにより取り出される。
【0109】
鋳造ラインＣにて鋳造される鋳物の品質を維持するためには、鋳型９の製品面に欠陥が発生した場合には当該鋳型９を用いてその後の工程を行わないことが望ましい。
【0110】
そこで、鋳造工程Ｃ１００においては、造型工程Ｃ１０２にて造型された鋳型９の製品面を検査する検査工程Ｃ１０４を検査装置１が実施する。検査工程Ｃ１０４において出力デバイスに警告情報が出力された場合、作業者は、警告情報が出力された鋳枠Ｆ付き上型または下型を、不良枠として登録する。これにより、当該鋳枠Ｆ付き上型または下型についてその後の工程（型合わせ工程Ｃ１０８、及び注湯工程Ｃ１１０）をスキップさせることが可能となる。
【0111】
（不良枠の詳細）
ここで、不良枠の詳細について説明する。不良枠とは、その製品面に欠陥（例えば、型落ち不良）があり、良品を製造できないと判断された鋳型９（または当該鋳型９が配置された鋳枠Ｆ）である。型合わせ工程Ｃ１０８より前の工程では、鋳枠Ｆ付き上型または下型が不良枠として登録される。不良枠の登録とは、例えば、不良枠を示す情報をシフトデータに記録することである。シフトデータとは、ラインコントローラ（図示せず）が鋳枠Ｆの位置（Ｐ１～Ｐ１４）に対応する記憶領域に記憶する情報である。鋳枠Ｆが１枠搬送（シフト）されると、記憶領域に記録されたシフトデータもまた、搬送先の位置に対応する記憶領域にシフトして記憶される。シフトデータは、例えば造型履歴を示すデータ（造型情報）、搬送状況を示すデータ（搬送情報）、溶湯状態を示すデータ、及び合金材投入履歴を示すデータ等、またはこれらのデータが紐付けられた鋳型９の識別情報を含む。
ここで、不良枠の詳細について説明する。不良枠とは、その製品面に欠陥（例えば、型落ち不良）があり、良品を製造できないと判断された鋳型９（または当該鋳型９が配置された鋳枠Ｆ）である。型合わせ工程Ｃ１０８より前の工程では、鋳枠Ｆ付き上型または下型が不良枠として登録される。不良枠の登録とは、例えば、不良枠を示す情報をシフトデータに記録することである。シフトデータとは、ラインコントローラ（図示せず）が鋳枠Ｆの位置（Ｐ１～Ｐ１４）に対応する記憶領域に記憶する情報である。鋳枠Ｆが１枠搬送（シフト）されると、記憶領域に記録されたシフトデータもまた、搬送先の位置に対応する記憶領域にシフトして記憶される。シフトデータは、例えば造型履歴を示すデータ（造型情報）、搬送状況を示すデータ（搬送情報）、溶湯状態を示すデータ、及び合金材投入履歴を示すデータ等、またはこれらのデータが紐付けられた鋳型９の識別情報を含む。
【0112】
例えば、中子セット工程Ｃ１０６において、作業者は、警告情報が出力された鋳枠Ｆ付き上型または下型が不良枠であると判断した場合、当該鋳枠Ｆ付き上型または下型を不良枠として登録する操作を行う。例えば、登録する操作は、判定スイッチの押下であってもよい。ラインコントローラは、作業者の登録する操作に応じて、該当する鋳枠Ｆ付き上型または下型が不良枠であることを示す情報をシフトデータに記録する。
【0113】
中子セット工程Ｃ１０６以降の工程（型合わせ工程Ｃ１０８および注湯工程Ｃ１１０等）では、各工程を実施する装置（型合わせ装置９６および注湯機９７等）が、シフトデータを参照する。各装置は、シフトデータを参照することにより、不良枠として登録された鋳枠Ｆ付き上型または下型、または、これらが型合わせされた後の鋳枠Ｆ付き鋳型９に対して、工程をスキップする。
【0114】
（中子セット工程Ｃ１０６を中子セット装置が実施する場合）
上述した鋳造工程Ｃ１００の説明では、作業者が中子をセットしているが、中子セット場９５には、中子を自動でセットする中子セット装置（図示せず）が配置されてもよい。この場合、中子セット装置が、鋳枠Ｆ付き下型に中子をセットする。この場合、検査装置１は、検査工程Ｃ１０４において、鋳枠Ｆ付き上型または下型の製品面に欠陥があると判断した場合、警告情報を出力デバイスに出力することに代えて、または、加えて、当該鋳枠Ｆ付き上型または下型を不良枠として登録する処理を行ってもよい。例えば、検査装置１は、ラインコントローラに対して、不良枠の登録を要求する要求情報を送信する。ラインコントローラは、要求情報の受信に応じて、該当する鋳枠Ｆ付き上型または下型が不良枠であることを示す情報をシフトデータに記録する。中子セット装置は、シフトデータを参照することにより、不良枠として登録された（すなわち、警告情報が出力された）鋳枠Ｆ付き下型には中子をセットしない。
上述した鋳造工程Ｃ１００の説明では、作業者が中子をセットしているが、中子セット場９５には、中子を自動でセットする中子セット装置（図示せず）が配置されてもよい。この場合、中子セット装置が、鋳枠Ｆ付き下型に中子をセットする。この場合、検査装置１は、検査工程Ｃ１０４において、鋳枠Ｆ付き上型または下型の製品面に欠陥があると判断した場合、警告情報を出力デバイスに出力することに代えて、または、加えて、当該鋳枠Ｆ付き上型または下型を不良枠として登録する処理を行ってもよい。例えば、検査装置１は、ラインコントローラに対して、不良枠の登録を要求する要求情報を送信する。ラインコントローラは、要求情報の受信に応じて、該当する鋳枠Ｆ付き上型または下型が不良枠であることを示す情報をシフトデータに記録する。中子セット装置は、シフトデータを参照することにより、不良枠として登録された（すなわち、警告情報が出力された）鋳枠Ｆ付き下型には中子をセットしない。
【0115】
〔変形例１〕
上述した本発明の一実施形態は、学習済モデルの入力がさらに基準画像を含むよう変形することができる。
上述した本発明の一実施形態は、学習済モデルの入力がさらに基準画像を含むよう変形することができる。
【0116】
本変形例に係る検査システムＳａの構成について、図８を参照して説明する。図８は、検査システムＳａの構成を示すブロック図である。検査システムＳａは、検査装置１ａと、機械学習装置２ａと、カメラ３と、照明４とを含む。
【0117】
（検査装置１ａの構成）
検査装置１ａは、検査装置１に対して、学習済モデルＬＭの代わりに学習済モデルＬＭａを用いて、鋳型９の製品面を検査する点が異なる。それ以外の点については、検査装置１と同様である。
検査装置１ａは、検査装置１に対して、学習済モデルＬＭの代わりに学習済モデルＬＭａを用いて、鋳型９の製品面を検査する点が異なる。それ以外の点については、検査装置１と同様である。
【0118】
（学習済モデルＬＭａの入力及び出力）
学習済モデルＬＭａの入力は、学習済モデルＬＭの入力と同様の検査画像、砂情報、造型情報、搬送情報、及び環境情報に加えて、基準画像を含む。基準画像は、正常な鋳型９の製品面がカメラ３によって撮像された画像である。正常な鋳型９は、製品面に欠陥を有していない。基準画像に被写体として含まれる鋳型９は、検査画像に被写体として含まれる鋳型９と同一種類の模型を用いて造型されたものである。学習済モデルＬＭａの出力は、学習済モデルＬＭの出力と同様である。
学習済モデルＬＭａの入力は、学習済モデルＬＭの入力と同様の検査画像、砂情報、造型情報、搬送情報、及び環境情報に加えて、基準画像を含む。基準画像は、正常な鋳型９の製品面がカメラ３によって撮像された画像である。正常な鋳型９は、製品面に欠陥を有していない。基準画像に被写体として含まれる鋳型９は、検査画像に被写体として含まれる鋳型９と同一種類の模型を用いて造型されたものである。学習済モデルＬＭａの出力は、学習済モデルＬＭの出力と同様である。
【0119】
（検査装置１ａによる検査方法の流れ）
検査装置１ａによる検査方法について、図３を参照して説明する。検査装置１ａによる検査方法は、図３に示した検査方法Ｍ１に含まれる取得ステップＭ１１、及び検査ステップＭ１２を次のように変形することにより説明される。それ以外の点については、検査方法Ｍ１と同様である。
検査装置１ａによる検査方法について、図３を参照して説明する。検査装置１ａによる検査方法は、図３に示した検査方法Ｍ１に含まれる取得ステップＭ１１、及び検査ステップＭ１２を次のように変形することにより説明される。それ以外の点については、検査方法Ｍ１と同様である。
【0120】
取得ステップＭ１１は、検査画像、砂情報、造型情報、搬送情報、環境情報、及び基準画像を取得して一次メモリ１２に記憶するよう変形される。プロセッサ１１は、例えば、ユーザにより指定された基準画像を取得する。ユーザによる基準画像の指定は、例えば、二次メモリ１３における基準画像の格納場所をユーザが検査装置１ａに入力することにより実現される。
【0121】
検査ステップＭ１２は、検査画像、砂情報、造型情報、搬送情報、環境情報、及び基準画像を一次メモリ１２から読み出して、これらを学習済モデルＬＭａに入力するよう変形される。
【0122】
（機械学習装置２ａの構成）
機械学習装置２ａは、機械学習装置２に対して、学習用データセットＤＳの代わりに学習用データセットＤＳａを用いて、学習済モデルＬＭの代わりに学習済モデルＬＭａを構築する点が異なる。それ以外の点については、機械学習装置２と同様である。
機械学習装置２ａは、機械学習装置２に対して、学習用データセットＤＳの代わりに学習用データセットＤＳａを用いて、学習済モデルＬＭの代わりに学習済モデルＬＭａを構築する点が異なる。それ以外の点については、機械学習装置２と同様である。
【0123】
（機械学習装置２ａによる機械学習方法の流れ）
機械学習装置２ａによる機械学習方法について、図５を参照して説明する。機械学習装置２ａによる機械学習方法は、図５に示した機械学習方法Ｍ２に含まれる各ステップを次のように変形することにより説明される。それ以外の点については、機械学習方法Ｍ２と同様である。
機械学習装置２ａによる機械学習方法について、図５を参照して説明する。機械学習装置２ａによる機械学習方法は、図５に示した機械学習方法Ｍ２に含まれる各ステップを次のように変形することにより説明される。それ以外の点については、機械学習方法Ｍ２と同様である。
【0124】
学習用データセット構築ステップＭ２１は、学習用データセットＤＳに代えて、学習用データセットＤＳａを構築するよう変形される。学習用データセットＤＳａは、教師データＤａ－ｉ（ｉ＝１、２、…）の集合である。プロセッサ２１は、（ｉ）カメラ３によって撮像された検査画像、（ｉｉ）各装置から取得された情報（砂情報、造型情報、搬送情報、環境情報）、及び（ｉｉｉ）ユーザにより指定された基準画像を入力データとして含むとともに、（ｉｖ）作業者による検査結果を示す情報（欠陥の有無を示す情報、及び１または複数の欠陥の領域を示す情報）を正解データとして含む教師データＤａ－ｉを、二次メモリ２３に格納する。以上のプロセスをプロセッサ２１が繰り返すことによって、学習用データセットＤＳａが構築される。
【0125】
学習済モデル構築ステップＭ２２は、学習用データセットＤＳａを用いた教師あり学習によって、学習済モデルＬＭａを構築するよう変形される。プロセッサ２１は、構築した学習済モデルＬＭａを二次メモリ２３に格納する。
【0126】
本変形例は、検査画像に加えて基準画像を入力データとして参照する学習済モデルＬＭａを用いるため、より精度の高い検査結果を示す情報を得ることができる。
【0127】
〔変形例２〕
上述した本発明の一実施形態は、鋳型９の製品面の検査を行うために用いる学習済モデルを、当該鋳型９の造型に用いた模型の種類に応じて選択するよう変形することができる。
上述した本発明の一実施形態は、鋳型９の製品面の検査を行うために用いる学習済モデルを、当該鋳型９の造型に用いた模型の種類に応じて選択するよう変形することができる。
【0128】
本変形例に係る検査システムＳｂの構成について、図９を参照して説明する。図９は、検査システムＳｂの構成を示すブロック図である。検査システムＳｂは、検査装置１ｂと、機械学習装置２ｂと、カメラ３と、照明４とを含む。
【0129】
（検査装置１ｂの構成）
検査装置１ｂは、検査装置１に対して、学習済モデルＬＭの代わりに学習済モデルＬＭｂ－ｊ（ｊ＝１、２、…）を用いて鋳型９の製品面を検査する点が異なる。ｊは、模型の種類を識別する識別情報である。識別情報ｊで識別される種類の模型を、模型ｊとも記載する。検査装置１ｂは、複数の学習済モデルＬＭｂ－１、ＬＭｂ－２、…を、二次メモリ１３に記憶している。それ以外の点については、検査装置１ｂと同様である。
検査装置１ｂは、検査装置１に対して、学習済モデルＬＭの代わりに学習済モデルＬＭｂ－ｊ（ｊ＝１、２、…）を用いて鋳型９の製品面を検査する点が異なる。ｊは、模型の種類を識別する識別情報である。識別情報ｊで識別される種類の模型を、模型ｊとも記載する。検査装置１ｂは、複数の学習済モデルＬＭｂ－１、ＬＭｂ－２、…を、二次メモリ１３に記憶している。それ以外の点については、検査装置１ｂと同様である。
【0130】
（学習済モデルＬＭｂ－ｊ）
学習済モデルＬＭｂ－ｊは、模型ｊに応じて機械学習されたものである。学習済モデルＬＭｂ－ｊの入力及び出力は、学習済モデルＬＭの入力及び出力と同様である。
学習済モデルＬＭｂ－ｊは、模型ｊに応じて機械学習されたものである。学習済モデルＬＭｂ－ｊの入力及び出力は、学習済モデルＬＭの入力及び出力と同様である。
【0131】
（検査装置１ｂによる検査方法の流れ）
検査装置１ｂによる検査方法Ｍ１ｂの流れについて、図１０を参照して説明する。図１０は、検査方法Ｍ１ｂの流れを示すフローチャートである。検査方法Ｍ１ｂは、図３に示した検査方法Ｍ１に対して、検査ステップＭ１２の代わりに検査ステップＭ１２ｂを含む点と、さらに選択ステップＭ１５ｂを含む点とが異なる。その他の各ステップについては、検査方法Ｍ１と同様である。
検査装置１ｂによる検査方法Ｍ１ｂの流れについて、図１０を参照して説明する。図１０は、検査方法Ｍ１ｂの流れを示すフローチャートである。検査方法Ｍ１ｂは、図３に示した検査方法Ｍ１に対して、検査ステップＭ１２の代わりに検査ステップＭ１２ｂを含む点と、さらに選択ステップＭ１５ｂを含む点とが異なる。その他の各ステップについては、検査方法Ｍ１と同様である。
【0132】
選択ステップＭ１５ｂにおいて、プロセッサ１１は、ユーザによって入力される模型の識別情報ｊを取得し、取得した識別情報ｊに対応する学習済モデルＬＭｂ－ｊを選択する。ユーザにより入力される識別情報ｊは、検査対象の鋳型９の造型に用いられた模型の種類を識別するものである。
【0133】
検査ステップＭ１２ｂにおいて、プロセッサ１１は、選択ステップＭ１５ｂで選択した学習済モデルＬＭｂ－ｊを用いて、検査ステップＭ１２と同様の処理を行う。
【0134】
（機械学習装置２ｂの構成）
機械学習装置２ｂは、機械学習装置２に対して、複数の学習済モデルＬＭｂ－１、ＬＭｂ－２、…を構築する点が異なる。それ以外の点については、機械学習装置２と同様である。
機械学習装置２ｂは、機械学習装置２に対して、複数の学習済モデルＬＭｂ－１、ＬＭｂ－２、…を構築する点が異なる。それ以外の点については、機械学習装置２と同様である。
【0135】
（機械学習装置２ｂによる機械学習方法の流れ）
機械学習装置２ｂによる機械学習方法Ｍ２ｂの流れについて、図１１を参照して説明する。図１１は、機械学習方法Ｍ２ｂの流れを示すフローチャートである。機械学習方法Ｍ２ｂは、複数種類の模型１、２、…の各々について、学習用データセット構築ステップＭ２１ｂ及び学習済モデル構築ステップＭ２２ｂを実行する。
機械学習装置２ｂによる機械学習方法Ｍ２ｂの流れについて、図１１を参照して説明する。図１１は、機械学習方法Ｍ２ｂの流れを示すフローチャートである。機械学習方法Ｍ２ｂは、複数種類の模型１、２、…の各々について、学習用データセット構築ステップＭ２１ｂ及び学習済モデル構築ステップＭ２２ｂを実行する。
【0136】
学習用データセット構築ステップＭ２１ｂにおいて、プロセッサ２１は、模型ｊについて学習用データセット構築ステップＭ２１と同様の処理を実行し、学習用データセットＤＳｂ－ｊを構築する。
【0137】
また、学習済モデル構築ステップＭ２２ｂにおいて、プロセッサ２１は、学習用データセットＤＳｂ－ｊを用いた教師あり学習によって、学習済モデルＬＭｂ－ｊを構築する。そして、プロセッサ２１は、構築した学習済モデルＬＭｂ－ｊを二次メモリ２３に格納する。
【0138】
本変形例は、模型ｊに応じて学習済モデルＬＭｂ－ｊを構築する。これにより、本変形例は、検査対象の鋳型９の造型に用いた模型ｊに応じて学習済モデルＬＭｂ－ｊを選択し、選択した学習済モデルＬＭｂ－ｊを用いて、当該鋳型９の製品面を検査する。その結果、本変形例では、当該模型ｊ特有の欠陥を検出する精度が向上する。
【0139】
〔変形例３〕
上述した本発明の一実施形態は、変形例２及び３を組み合わせて変形することができる。
上述した本発明の一実施形態は、変形例２及び３を組み合わせて変形することができる。
【0140】
本変形例に係る検査システムＳｃの構成について、図１２を参照して説明する。図１２は、検査システムＳｃの構成を示すブロック図である。検査システムＳｃは、検査装置１ｃと、機械学習装置２ｃと、カメラ３と、照明４とを含む。
【0141】
（検査装置１ｃの構成）
検査装置１ｃは、変形例２に係る検査装置１ｂに対して、学習済モデルＬＭｂ－ｊ（ｊ＝１、２、…）の代わりに、学習済モデルＬＭｃ－ｊを用いて鋳型９の製品面を検査する点が異なる。検査装置１ｃは、複数の学習済モデルＬＭｃ－１、ＬＭｃ－２、…を、二次メモリ１３に記憶している。それ以外の点については、検査装置１ｂと同様である。
検査装置１ｃは、変形例２に係る検査装置１ｂに対して、学習済モデルＬＭｂ－ｊ（ｊ＝１、２、…）の代わりに、学習済モデルＬＭｃ－ｊを用いて鋳型９の製品面を検査する点が異なる。検査装置１ｃは、複数の学習済モデルＬＭｃ－１、ＬＭｃ－２、…を、二次メモリ１３に記憶している。それ以外の点については、検査装置１ｂと同様である。
【0142】
（学習済モデルＬＭｃ－ｊ）
学習済モデルＬＭｃ－ｊは、模型ｊに応じて機械学習されたものである。ｊは、変形例２と同様、模型の種類を識別する識別情報である。学習済モデルＬＭｃ－ｊの入力は、変形例２における学習済モデルＬＭｂ－ｊの入力に加えて、基準画像をさらに含む。つまり、学習済モデルＬＭｃ－ｊの入力は、変形例１における学習済モデルＬＭａの入力と同様である。学習済モデルＬＭｃ－ｊの出力は、変形例２における学習済モデルＬＭｂ－ｊの出力と同様である。
学習済モデルＬＭｃ－ｊは、模型ｊに応じて機械学習されたものである。ｊは、変形例２と同様、模型の種類を識別する識別情報である。学習済モデルＬＭｃ－ｊの入力は、変形例２における学習済モデルＬＭｂ－ｊの入力に加えて、基準画像をさらに含む。つまり、学習済モデルＬＭｃ－ｊの入力は、変形例１における学習済モデルＬＭａの入力と同様である。学習済モデルＬＭｃ－ｊの出力は、変形例２における学習済モデルＬＭｂ－ｊの出力と同様である。
【0143】
（検査装置１ｃによる検査方法の流れ）
検査装置１ｃによる検査方法について、図１０を参照して説明する。検査装置１ｃによる検査方法は、図１０に示した変形例２に係る検査方法Ｍ１ｂに含まれる取得ステップＭ１１及び検査ステップＭ１２ｂを、次のように変形することにより説明される。
検査装置１ｃによる検査方法について、図１０を参照して説明する。検査装置１ｃによる検査方法は、図１０に示した変形例２に係る検査方法Ｍ１ｂに含まれる取得ステップＭ１１及び検査ステップＭ１２ｂを、次のように変形することにより説明される。
【0144】
取得ステップＭ１１は、検査画像、砂情報、造型情報、搬送情報、環境情報、及び基準画像を取得して一次メモリ１２に記憶するよう変形される。プロセッサ１１は、例えば、ユーザにより指定された基準画像を取得する。ユーザによる基準画像の指定は、例えば、二次メモリ１３における基準画像の格納場所をユーザが検査装置１ｃに入力することにより実現される。
【0145】
検査ステップＭ１２ｂは、検査画像、砂情報、造型情報、搬送情報、環境情報、及び基準画像を一次メモリ１２から読み出して、これらを、選択ステップＭ１５ｂで選択した学習済モデルＬＭｃ－ｊに入力するよう変形される。
【0146】
（機械学習装置２ｃの構成）
機械学習装置２ｃは、変形例２に係る機械学習装置２ｂに対して、複数の学習済モデルＬＭｃ－１、ＬＭｃ－２、…各々の構築に用いる入力データとして基準画像をさらに用いる点が異なる。それ以外の点については、機械学習装置２ｂと同様である。
機械学習装置２ｃは、変形例２に係る機械学習装置２ｂに対して、複数の学習済モデルＬＭｃ－１、ＬＭｃ－２、…各々の構築に用いる入力データとして基準画像をさらに用いる点が異なる。それ以外の点については、機械学習装置２ｂと同様である。
【0147】
（機械学習装置２ｃによる機械学習方法の流れ）
機械学習装置２ｃによる機械学習方法について、図１１を参照して説明する。機械学習方法Ｍ２ｃは、図１１に示した変形例２に係る機械学習方法Ｍ２ｂに含まれる各ステップを、次のように変形することにより説明される。
機械学習装置２ｃによる機械学習方法について、図１１を参照して説明する。機械学習方法Ｍ２ｃは、図１１に示した変形例２に係る機械学習方法Ｍ２ｂに含まれる各ステップを、次のように変形することにより説明される。
【0148】
学習用データセット構築ステップＭ２１ｂは、学習用データセットＤＳｂ－ｊ（ｊ＝１、２、…）に代えて、学習用データセットＤＳｃ－ｊを構築するよう変形される。学習用データセットＤＳｃ－ｊは、教師データＤｃ－ｊｉ（ｉ＝１、２、…）からなる。プロセッサ２１は、（ｉ）カメラ３によって鋳型９の製品面が撮像された検査画像、（ｉｉ）各装置から取得された情報（砂情報、造型情報、搬送情報、環境情報）、及び（ｉｉｉ）ユーザにより指定された基準画像を入力データとして含むとともに、（ｉｖ）作業者による検査結果を示す情報（欠陥の有無を示す情報、及び１または複数の欠陥の領域を示す情報）を正解データとして含む教師データＤｃ－ｊｉを、二次メモリ２３に格納する。以上のプロセスをプロセッサ２１が繰り返すことによって、学習用データセットＤＳｃ－ｊが構築される。
【0149】
学習済モデル構築ステップＭ２２は、学習用データセットＤＳｃ－ｊを用いた教師あり学習によって、学習済モデルＬＭｃ－ｊを構築するよう変形される。プロセッサ２１は、構築した学習済モデルＬＭｃ－ｊを二次メモリ２３に格納する。
【0150】
本変形例は、模型ｊに応じて学習済モデルＬＭｃ－ｊを構築する。学習済モデルＬＭｃ－ｊは、入力データとして基準画像を含んでいる。これにより、本変形例は、検査対象の鋳型９の造型に用いた模型ｊに対応する学習済モデルＬＭｃ－ｊを選択し、当該学習済モデルＬＭｃ－ｊに当該模型ｊの基準画像を入力して鋳型９の製品面を検査する。その結果、本変形例では、当該模型ｊ特有の欠陥を検出する精度がさらに向上する。
【0151】
〔まとめ〕
態様１に係る検査装置は、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えている。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含む。前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
態様１に係る検査装置は、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えている。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含む。前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
【0152】
上記構成により、鋳型の外観において検出したい欠陥等の特徴を定義しておく必要がないので、実際は正常である鋳型を正常でないと判定したり、実際は正常でない鋳型を正常であると判定したりする可能性が低減される。その結果、鋳型の外観の検査精度が向上する。
【0153】
態様２に係る検査装置は、態様１に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様２に係る検査装置において、前記鋳型の外観は、前記鋳型の製品面の外観である。
【0154】
上記構成により、鋳型の製品面の外観の検査精度が向上する。
【0155】
態様３に係る検査装置は、態様１または２に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様３に係る検査装置において、前記一または複数のプロセッサは、前記鋳型の造型に用いた模型の種類に応じた学習済モデルを選択する選択ステップを更に実行し、前記検査ステップにおいて、前記選択ステップにて選択された学習済モデルを用いて、前記鋳型の外観を検査する。
【0156】
上記構成により、鋳型の造型に用いた模型の種類に応じた検査結果を得ることができ、検査精度がさらに向上する。
【0157】
態様４に係る検査装置は、態様１から３の何れか一態様に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様４に係る検査装置において、前記学習済モデルの入力は、正常な鋳型の外観を撮像した基準画像をさらに含む。
【0158】
上記構成により、検査画像に加えて基準画像を参照することで、検査精度がさらに向上する。
【0159】
態様５に係る検査装置は、態様１から４の何れか一態様に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様５に係る検査装置において、前記学習済モデルの入力は、前記鋳型を構成する鋳物砂を示す砂情報、前記鋳型の造型状況を示す造型情報、前記鋳型の搬送状況を示す搬送情報、及び環境情報の一部または全部をさらに含む。
【0160】
上記構成により、検査画像に加えて砂情報、造型情報、搬送情報、及び環境情報の一部または全部をさらに参照することで、検査精度がさらに向上する。
【0161】
態様６に係る検査装置は、態様１から５の何れか一態様に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様６に係る検査装置において、前記学習済モデルの出力は、前記鋳型の外観における欠陥の有無を少なくとも示す。
【0162】
上記構成により、鋳型の外観における欠陥の有無を得ることができる。
【0163】
態様７に係る検査装置は、態様６に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様７に係る検査装置において、前記一または複数のプロセッサは、前記学習済モデルの出力が前記鋳型の外観に欠陥が有ることを示す場合、前記検査結果を示す情報に基づいて警告情報を出力する警告ステップをさらに実行する。
【0164】
上記構成により、ユーザに、鋳型の外観に欠陥があることを警告することができる。例えば、ユーザは、警告情報を参照して、外観に欠陥がある鋳型を用いたその後の工程をスキップさせることができる。
【0165】
態様８に係る検査方法は、一または複数のプロセッサが、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行することを含んでいる。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
【0166】
上記構成により、態様１に係る検査装置と同様の効果を奏する。
【0167】
態様９に係る機械学習装置は、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを実行する一または複数のプロセッサを備えている。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
【0168】
上記構成により、鋳型の外観を精度よく検査する学習済モデルを構築することができる。
【0169】
態様１０に係る機械学習方法は、一または複数のプロセッサが、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを含んでいる。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
【0170】
上記構成により、態様９に係る機械学習装置と同様の効果を奏する。
【0171】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0172】
Ｓａ、Ｓｂ、Ｓｃ 検査システム
１、１ａ、１ｂ、１ｃ 検査装置
２、２ａ、２ｂ、２ｃ 機械学習装置
３ カメラ
４ 照明
９ 鋳型
１１、２１ プロセッサ
１２、２２ 一次メモリ
１３、２３ 二次メモリ
１４、２４ 入出力インタフェース
１５、２５ 通信インタフェース
１６、２６ バス
Ｍ１、Ｍ１ｂ 検査方法
Ｍ１１ 取得ステップ
Ｍ１２、Ｍ１２ｂ 検査ステップ
Ｍ１３ 判断ステップ
Ｍ１４ 警告ステップ
Ｍ１５ｂ 選択ステップ
Ｍ２、Ｍ２ｂ 機械学習方法
Ｍ２１、Ｍ２１ｂ 学習用データセット構築ステップ
１、１ａ、１ｂ、１ｃ 検査装置
２、２ａ、２ｂ、２ｃ 機械学習装置
３ カメラ
４ 照明
９ 鋳型
１１、２１ プロセッサ
１２、２２ 一次メモリ
１３、２３ 二次メモリ
１４、２４ 入出力インタフェース
１５、２５ 通信インタフェース
１６、２６ バス
Ｍ１、Ｍ１ｂ 検査方法
Ｍ１１ 取得ステップ
Ｍ１２、Ｍ１２ｂ 検査ステップ
Ｍ１３ 判断ステップ
Ｍ１４ 警告ステップ
Ｍ１５ｂ 選択ステップ
Ｍ２、Ｍ２ｂ 機械学習方法
Ｍ２１、Ｍ２１ｂ 学習用データセット構築ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】