特開 2022-19538 検査装置、検査方法、検査プログラム、機械学習装置、機械学習方法、機械学習プログラム、及び、構造体の製造方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022019538

(43)【公開日】2022-01-27

(54)【発明の名称】検査装置、検査方法、検査プログラム、機械学習装置、機械学習方法、機械学習プログラム、及び、構造体の製造方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20220120BHJP

【ＦＩ】

G01N21/88 J

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021067965

(22)【出願日】2021-04-13

(31)【優先権主張番号】P 2020123257

(32)【優先日】2020-07-17

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000005186

【氏名又は名称】株式会社フジクラ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】黒澤 公紀

(72)【発明者】

【氏名】庄司 大作

(72)【発明者】

【氏名】仁田脇 貴浩

(72)【発明者】

【氏名】世永 基

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051CA04

2G051CB01

2G051EA20

2G051EB05

2G051EB09

2G051EC01

2G051ED01

2G051ED11

(57)【要約】

【課題】対象物の表面に存在し得る欠陥が微小である場合でも、欠陥の有無に応じた対象物のクラス判定を精度良く行うことが可能な技術を実現する。
【解決手段】検査装置（１）は、機械学習により構築された学習済モデル（Ｍ）を用いて対象物の特定の部位（Ｓｉ）のクラス判定を行う判定処理を実行するプロセッサ（１２）を備えている。学習済モデル（Ｍ）は、部位（Ｓｉ）を撮像方向を変えて撮像することにより得られる複数の画像（Ｉｉ１，Ｉｉ２，…，Ｉｉｍ）を結合することにより得られる結合画像を入力とし、部位（Ｓｉ）のクラス判定の結果を出力とする学習済モデルである。
【選択図】図２

【特許請求の範囲】

【請求項1】

機械学習により構築された学習済モデルを用いて対象物の特定の部位のクラス判定を行う判定処理を少なくとも実行する単一又は複数のプロセッサを備えており、
前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである、
ことを特徴とする検査装置。

【請求項2】

前記対象物の第１の部位を撮像することにより得られた画像の画角の一部と、前記第１の部位に隣接する前記対象物の第２の部位を撮像することにより得られた画像の画角の一部とが、互いにオーバラップしている、
ことを特徴とする請求項１に記載の検査装置。

【請求項3】

前記プロセッサは、前記複数の画像を結合することによって前記結合画像を生成する生成処理を更に実行し、
前記学習済モデルの入力は、前記生成処理にて生成された前記結合画像である、
ことを特徴とする請求項１又は２に記載の検査装置。

【請求項4】

前記生成処理において、前記プロセッサは、互いに隣接する方向から撮像することにより得られる画像の対の全てが前記結合画像において互いに隣接するように、前記複数の画像の少なくとも何れかを２回以上結合する、
ことを特徴とする請求項３に記載の検査装置。

【請求項5】

前記学習済モデルは、前記複数の画像において欠陥の像を含む画像の枚数又は割合が予め定められた値以上である場合に、前記特定の部位が不良であると判定する、ことを特徴とする請求項１～４の何れか一項に記載の検査装置。

【請求項6】

単一又は複数のプロセッサが機械学習により構築された学習済モデルを用いて対象物の特定の部位のクラス判定を行う判定処理を少なくとも含み、
前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである、
ことを特徴とする検査方法。

【請求項7】

機械学習により構築された学習済モデルを用いて対象物の特定の部位のクラス判定を行う判定処理を少なくとも含む検査方法を単一又は複数のプロセッサに実行させるための検査プログラムであって、
前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである、
ことを特徴とする検査プログラム。

【請求項8】

教師データを作成する作成処理と、前記教師データを用いた機械学習によって、対象物の特定の部位のクラス判定に利用する学習済モデルを構築する構築処理と、を少なくとも実行する単一又は複数のプロセッサを備えており、
前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである、
ことを特徴とする機械学習装置。

【請求項9】

前記作成処理において、前記プロセッサは、（１）人間又は予め定められたアルゴリズムによって前記複数の画像のうち欠陥の像を含むと判定された画像の枚数又は割合が予め定められた値以上である場合、又は、（２）前記複数の画像の各々について予め定められたアルゴリズムによって欠陥の像が含まれているか否かを判定し、各判定における尤度の合計が予め定められた値以上である場合に、前記複数の画像、又は、前記結合画像に不良であることを示すラベルを関連付けた教師データを作成する、
ことを特徴とする請求項８に記載の機械学習装置。

【請求項10】

前記学習済モデルの入力は、前記結合画像であり、
前記プロセッサは、元の結合画像において欠陥の像を含まない部分を、欠陥の像を含まない別の画像に置き換えることにより得られた結合画像に、元の結合画像に関連付けられているラベルと同じラベルを関連付けた教師データを作成する水増処理を更に実行する、
ことを特徴とする請求項８又は９に記載の機械学習装置。

【請求項11】

前記学習済モデルの入力は、前記結合画像であり、
前記プロセッサは、元の結合画像において前記複数の画像の各々に相当する部分を巡回的に並べ替えることにより得られた結合画像に、元の結合画像に関付けられているラベルと同じラベルを関連付けた教師データを作成する水増処理を更に実行する、
ことを特徴とする請求項８～１０の何れか一項に記載の機械学習装置。

【請求項12】

単一又は複数のプロセッサが教師データを作成する作成処理と、
前記作成処理にて作成された教師データを用いた機械学習によって、前記プロセッサが対象物の特定の部位のクラス判定に利用する学習済モデルを構築する構築処理と、を少なくとも含み、
前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである、
ことを特徴とする機械学習方法。

【請求項13】

教師データを作成する作成処理と、前記教師データを用いた機械学習によって、対象物の特定の部位のクラス判定に利用する学習済モデルを構築する構築処理と、を少なくとも含む機械学習方法を単一又は複数のプロセッサに実行させるための機械学習プログラムであって、
前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである、
ことを特徴とする機械学習プログラム。

【請求項14】

請求項１～５の何れか一項に記載の検査装置を用いて構造体の検査を行う工程を含んでいる、
ことを特徴とする構造体の製造方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習済モデルを用いて対象物のクラス判定を行う検査装置及び検査方法に関する。また、本発明は、そのような学習済モデルを構築する機械学習装置及び機械学習方法に関する。また、そのような検査装置としてコンピュータを動作させるための検査プログラム、及び、そのような機械学習装置としてコンピュータを動作させるための機械学習プログラムに関する。また、そのような検査装置を用いて対象物のクラス判定を行う工程を含む構造体の製造方法に関する。

【背景技術】

【0002】

機械学習により構築された学習済モデルを用いて、対象物の検査を行う技術の開発が急速に進んでいる。例えば、特許文献１には、対象物を異なる方向から撮像することにより得られた複数の画像を結合することによって結合画像を生成し、この結合画像を入力とする学習済モデルを用いて対象物の検査を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１３２９６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術においては、対象物全体を異なる方向から撮像することにより得られた複数の画像を結合することによって結合画像を生成している。このため、撮像方向又は光学条件によっては、（１）実際には欠陥が存在していないのに、あたかも欠陥が存在しているように見える画像が得られること、又は、（２）実際には欠陥が存在しているのに、あたかも欠陥が存在しないように見える画像が得られることがあり、このことが、欠陥の有無に応じた対象物のクラス判定の精度を低下させる要因になっていた。特に、対象物の表面に存在し得る欠陥が微小（対象物全体と比べて小さい）である場合には、（２）の問題が顕在化し易い。

【0005】

例えば、光ファイバの製造工程においては、その外観検査を検査員が顕微鏡を用いて実施したうえで、良品と判定された光ファイバのみが出荷される。

【0006】

しかしながら、このような検査員による外観検査は、検査員の習熟度に応じて検査精度が変化し易く、また、誤判定も生じ易い。このため、学習済モデルを用いた検査の導入が強く求められる。ところが、特許文献１に記載の技術では、このニーズに十分に応えることができない。なぜなら、光ファイバの表面に存在する欠陥は、光ファイバ全体と比べてサイズが著しく小さいため、特許文献１に記載の技術では上述した理由により欠陥を精度良く検出することが困難だからである。

【0007】

本発明の一態様は、このような問題に鑑みなされたものであり、対象物の表面に存在し得る欠陥が微小である場合でも、欠陥の有無に応じた対象物のクラス判定を精度良く行うことが可能な技術を実現することを目的とする。

【課題を解決するための手段】

【0008】

本発明の態様１に係る検査装置は、機械学習により構築された学習済モデルを用いて対象物の特定の部位のクラス判定を行う判定処理を少なくとも実行する単一又は複数のプロセッサを備えており、前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである。

【0009】

本発明の態様２に係る検査装置においては、態様１に係る検査装置の構成に加えて、前記対象物の第１の部位を撮像することにより得られた画像の画角の一部と、前記第１の部位に隣接する前記対象物の第２の部位を撮像することにより得られた画像の画角の一部とが、互いにオーバラップしている、という構成が採用されている。

【0010】

本発明の態様３に係る検査装置においては、態様１又は２に係る検査装置の構成に加えて、前記プロセッサは、前記複数の画像を結合することによって前記結合画像を生成する生成処理を更に実行し、前記学習済モデルの入力は、前記生成処理にて生成された前記結合画像である、という構成が採用されている。

【0011】

本発明の態様４に係る検査装置においては、態様３に係る検査装置の構成に加えて、前記生成処理において、前記プロセッサは、互いに隣接する方向から撮像することにより得られる画像の対の全てが前記結合画像において互いに隣接するように、前記複数の画像の少なくとも何れかを２回以上結合する、という構成が採用されている。

【0012】

本発明の態様５に係る検査装置においては、態様１～４の何れかに係る検査装置の構成に加えて、前記学習済モデルは、前記複数の画像において欠陥の像を含む画像の枚数又は割合が予め定められた値以上である場合に、前記特定の部位が不良であると判定する、という構成が採用されている。

【0013】

本発明の態様６に係る検査方法は、単一又は複数のプロセッサが機械学習により構築された学習済モデルを用いて対象物の特定の部位のクラス判定を行う判定処理を少なくとも含み、前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである。

【0014】

本発明の態様７に係る検査プログラムは、機械学習により構築された学習済モデルを用いて対象物の特定の部位のクラス判定を行う判定処理を少なくとも含む機械学習方法を単一又は複数のプロセッサに実行させるための検査プログラムであって、前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである。

【0015】

本発明の態様８に係る機械学習装置は、教師データを作成する作成処理と、前記教師データを用いた機械学習によって、対象物の特定の部位のクラス判定に利用する学習済モデルを構築する構築処理と、を少なくとも実行する単一又は複数のプロセッサを備えており、前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである。

【0016】

本発明の態様９に係る機械学習装置においては、態様８に係る機械学習装置の構成に加えて、前記作成処理において、前記プロセッサは、（１）人間又は予め定められたアルゴリズムによって前記複数の画像のうち欠陥の像を含むと判定された画像の枚数又は割合が予め定められた値以上である場合、又は、（２）前記複数の画像の各々について予め定められたアルゴリズムによって欠陥の像が含まれているか否かを判定し、各判定における尤度の合計が予め定められた値以上である場合に、前記複数の画像、又は、前記結合画像に不良であることを示すラベルを関連付けた教師データを作成する、という構成が採用されている。

【0017】

本発明の態様１０に係る機械学習においては、態様８又は９に係る機械学習装置の構成に加えて、前記プロセッサは、元の結合画像において欠陥の像を含まない部分を、欠陥の像を含まない別の画像に置き換えることにより得られた結合画像に、元の結合画像に関連付けられているラベルと同じラベルを関連付けた教師データを作成する水増処理を更に実行する、という構成が採用されている。

【0018】

本発明の態様１１に係る機械学習装置においては、態様８～１０に係る機械学習装置の構成に加えて、前記学習済モデルの入力は、前記結合画像であり、前記プロセッサは、元の結合画像において前記複数の画像の各々に相当する部分を巡回的に並べ替えることにより得られた結合画像に、元の結合画像に関付けられているラベルと同じラベルを関連付けた教師データを作成する水増処理を更に実行する、という構成が採用されている。

【0019】

本発明の態様１２に係る機械学習方法は、単一又は複数のプロセッサが教師データを作成する作成処理と、前記作成処理にて作成された教師データを用いた機械学習によって、前記プロセッサが対象物の特定の部位のクラス判定に利用する学習済モデルを構築する構築処理と、を少なくとも含み、前記学習済モデルは、前記特定の部位を異なる方向から撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである。

【0020】

本発明の態様１３に係る機械学習プログラムは、教師データを作成する作成処理と、前記教師データを用いた機械学習によって、対象物の特定の部位のクラス判定に利用する学習済モデルを構築する構築処理と、を少なくとも含む機械学習方法を単一又は複数のプロセッサに実行させるための機械学習プログラムであって、前記学習済モデルは、前記特定の部位を撮像方向又は光学条件を変えて撮像することにより得られる複数の画像、又は、これら複数の画像を結合することにより得られる結合画像を入力とし、前記特定の部位のクラス判定の結果を出力とする学習済モデルである。

【0021】

本発明の態様１４に係る構造体の製造方法は、態様１～５の何れかに係る検査装置を用いて構造体の検査を行う工程を含んでいる。

【発明の効果】

【0022】

本発明の一態様によれば、対象物の表面に存在し得る欠陥が微小である場合でも、欠陥の有無に応じた対象物のクラス判定を精度良く行うことができる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態に係る検査システムの構成を示すブロック図である。

【図2】図１の検査システムに含まれる検査装置の構成を示すブロック図である。

【図3】図２の検査装置が実施する検査方法の流れを示すフローチャートである。

【図4】図４に示す検査方法に含まれる生成処理の第１の具体例を模式的に示す図である。

【図5】図４に示す検査方法に含まれる生成処理の第２の具体例を模式的に示す図である。

【図6】図２の検査装置における画角の設定方法の具体例を模式的に示す図である。

【図7】図４に示す検査方法に含まれる生成処理の変形例を模式的に示す図である。

【図8】図１の検査システムに含まれる機械学習装置の構成を示すブロック図である。

【図9】図８の機械学習装置が実施する機械学習方法の流れを示すフローチャートである。

【図10】図６に示す検査装置において実施可能な教師データの水増処理の第１の具体例を模式的に示す図である。

【図11】図６に示す検査装置において実施可能な教師データの水増処理の第２の具体例を模式的に示す図である。

【図12】図２に示す検査装置において検査対象となる対象物の具体例と、その対象物を撮像して得られる複数の画像を示す図である。

【図13】図２に示す検査装置において検査対象となる対象物の具体例と、その対象物を撮像して得られる複数の画像を示す図である。

【図14】図２に示す検査装置において検査対象となる対象物の具体例と、その対象物を撮像して得られる複数の画像を示す図である。

【図15】図２に示す検査装置において光学条件を変更して得られる複数の画像の具体例を示す図である。

【発明を実施するための形態】

【0024】

（検査システムの構成）
本発明の一実施形態に係る検査システム１００の構成について、図１を参照して説明する。図１は、検査システム１００の構成を表すブロック図である。

【0025】

検査システム１００は、対象物Ｓの検査を行うためのシステムであり、検査装置１と、機械学習装置２と、カメラ３と、を備えている。検査システム１００においては、対象物Ｓを複数の部位Ｓ１，Ｓ２，…，Ｓｍ（ｍは２以上の任意の自然数）に分けて部位Ｓｉ（ｉ＝１，２，…，ｍ）毎にクラス判定を行い、その結果に基づいて対象物Ｓ全体のクラス判定を行う。本実施形態においては、光ファイバ（対象物Ｓの一例）を複数の区間（複数の部位Ｓ１，Ｓ２，…，Ｓｍの一例）に分けて区間毎にクラス判定を行い、その結果に基づいて光ファイバ全体のクラス判定を行う。

【0026】

カメラ３は、撮像方向を変えて対象物Ｓの特定の部位Ｓｉを撮像することによって、その部位Ｓｉを被写体として含む複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｎ（ｎは２以上の任意の自然数）を生成する。カメラ３によって生成された複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｎは、推論フェーズにおいては検査装置１に提供され、学習フェーズにおいては機械学習装置２に提供される。

【0027】

なお、撮像方向を変えながら特定の部位Ｓｉを撮像するために、対象物Ｓを回転させながら、その部位Ｓｉを繰り返し撮像する構成、又は、カメラ３を旋回させながら、その部位Ｓｉを繰り返し撮像する構成を採用することができる。前者の構成を採用する場合、対象物Ｓを回転させるための回転機構が検査システム１００に含まれ得る。後者の構成を採用する場合、カメラ３を旋回させるための旋回機構が検査システム１００に含まれ得る。なお、対象物Ｓが光ファイバである場合、対象物Ｓの回転とは、光ファイバの中心軸を回転軸として光ファイバを回転させることを指す。また、カメラ３の旋回とは、光ファイバの中心軸を旋回軸としてカメラ３を旋回させることを指す。

【0028】

また、クラス判定の対象となる部位Ｓｉを変更するために、対象物Ｓを平行移動する構成、又は、カメラ３を平行移動する構成を採用することができる。前者の構成を採用する場合、対象物Ｓを平行移動するための移動機構が検査システム１００に含まれ得る。後者の構成を採用する場合、カメラ３を平行するための移動機構が検査システム１００に含まれ得る。なお、対象物Ｓが光ファイバである場合、対象物Ｓの平行移動とは、光ファイバの中心軸と平行な方向に光ファイバを移動させることを指す。また、カメラ３の平行移動とは、光ファイバの中心軸と平行な方向にカメラ３を平行移動させることを指す。

【0029】

検査装置１は、学習済モデルＭを用いて対象物Ｓの部位Ｓｉのクラス判定を行う判定処理Ｔ１２を含む検査方法Ｔ１を実施するための装置である。学習済モデルＭの入力は、カメラ３から取得した画像、すなわち、対象物Ｓの部位Ｓｉを被写体として含む画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの結合画像Ｉｉであり、学習済モデルＭの出力は、その部位Ｓｉのクラス判定の結果を示すラベルである。検査装置１の構成及び判定処理Ｔ１２を含む検査方法Ｔ１の流れについては、参照する図面を代えて後述する。

【0030】

機械学習装置２は、検査装置１が対象物Ｓの部位Ｓｉのクラス判定に利用する学習済モデルＭを機械学習により構築する構築処理Ｔ２３を含む機械学習方法Ｔ２を実施するための装置である。この機械学習は、カメラ３から取得した画像、すなわち、対象物Ｓの部位Ｓｉを被写体として含む画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの結合画像Ｉｉに、その部位Ｓｉのクラス判定（例えば、人によるクラス判定）の結果を示すラベルを関連付けた教師データを用いた教師あり学習である。機械学習装置２の構成及び構築処理Ｔ２３を含む機械学習方法Ｔ２の流れについては、参照する図面を代えて後述する。

【0031】

（検査装置の構成）
検査システム１００に含まれる検査装置１の構成について、図２を参照して説明する。図２は、検査装置１の構成を示すブロックである。

【0032】

検査装置１は、図２に示すように、メモリ１１と、プロセッサ１２と、ストレージ１３と、を備えている。メモリ１１、プロセッサ１２、及びストレージ１３は、不図示のバスを介して互いに接続されている。このバスには、更に、不図示の入出力インタフェース、及び、不図示の通信インタフェースが接続されていてもよい。この入出力インタフェースは、例えば、外部装置（例えば、カメラ３）からデータ（例えば、画像）を取得するため、或いは、検査装置１から外部装置（例えば、ディスプレイ）に検査結果を出力するために利用される。また、この通信インタフェースは、例えば、外部装置（例えば、機械学習装置２）から学習済モデルＭを取得するために利用される。

【0033】

メモリ１１は、機械学習により構築された学習済モデルＭを記憶するための構成である。学習済モデルＭは、カメラ３から取得した画像、すなわち、対象物Ｓの特定の部位Ｓｉを被写体として含む画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの結合画像Ｉｉを入力とし、その部位Ｓｉのクラス判定の結果を示すラベルを出力とするアルゴリズムである。なお、メモリ１１としては、例えば、半導体ＲＡＭ（Random Access Memory）等を用いることができる。また、学習済モデルＭとしては、例えば、ＣＮＮ（Convolutional Neural Network）を用いることができる。また、ロジスティック回帰モデルやサポートベクトルマシンなど、画像分類に利用可能な任意の機械学習アルゴリズムを学習済モデルＭとして利用することができる。

【0034】

プロセッサ１２は、メモリ１１に記憶された学習済モデルＭを用いて、後述する検査方法Ｔ１を実行するための構成である。プロセッサ１２としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、ＴＰＵ（Tensor Processing Unit）等のＡＳＩＣ（Application Specific Integrated Circuit）又は、これらの組み合わせ等を用いることができる。

【0035】

ストレージ１３は、上述した学習済モデルＭを格納（不揮発保存）するための構成である。プロセッサ１２は、検査方法Ｔ１を実行する際にストレージ１３に格納された学習済モデルＭをメモリ１１上に展開して利用する。なお、ストレージ１３としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせ等を用いることができる。

【0036】

なお、本明細書において、「画像」とは、画素値の２次元配列のことを指す。モノクロ画像における画素値は、例えば、輝度に対応する１つの数値であり、カラー画像における画素値は、例えば、ＲＧＢ、ＣＭＹ、ＹＵＶ等のフォーマットに対応した３つ又は４つの数値である。カメラ３から取得する画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍ、及び、学習済モデルＭに入力する結合画像Ｉｉは、このような画像の一例である。

【0037】

また、検査装置１が行うクラス判定は、良品及び不良品の種類を識別しない二値（ニクラス）判定であってもよいし、良品及び／又は不良品の種類を識別する多値（多クラス）判定であってもよい。二値判定の場合、検査結果は、良品又は不良品の何れかであり、例えば、ブーリアン型の数値によって表現される。この場合、良品である確率及び不良品である確率の一方又は両方を表す実数型の数値又はその組み合わせを検査結果としてもよい。また、この場合、これらの確率に対して予め定められた判定条件を適用し、良品であるか不良品であるかを決定してもよい。多値判定の場合、ｐ種類の良品及びｑ種類の不良品が識別可能であるとすると、検査結果は、良品１、良品２、…、良品ｐ、不良品１、不良品２、…、不良品ｑの何れかであり、例えば、整数型の数値によって表現することができる。この場合、良品１である確率、良品２である確率、…、良品ｐである確率、不良品１である確率、不良品２である確率、…、及び不良品ｑである確率の一部又は全部を表す実数型の数値又はその組み合わせを検査結果としてもよい。ここで、ｐ及びｑのうち、一方は、１以上の自然数であり、他方は、２以上の自然数である。また、この場合、これらの確率に対して予め定められた判定条件を適用し、対象物が良品であるか不良品であるかを決定してもよい。更に、検査結果に、「保留」など、良品でも不良品でもないもの（又はその確率）が含まれていてもよい。

【0038】

なお、ここでは、検査方法Ｔ１を単一のコンピュータに設けられた単一のプロセッサ１２が実行する構成について説明したが、これに限定されない。すなわち、検査方法Ｔ１を単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のプロセッサが共同して実行する構成を採用することも可能である。

【0039】

また、ここでは、学習済モデルＭを単一のコンピュータに設けられた単一のメモリ１１に記憶させる構成について説明したが、これに限定されない。すなわち、学習済モデルＭを単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のメモリに分散して記憶させる構成を採用することも可能である。

【0040】

なお、プロセッサ１２に検査方法Ｔ１を実行させるための検査プログラムは、例えば、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されている。プロセッサ１２は、この検査プログラムに含まれる命令を実行することによって、検査方法Ｔ１を実行する。この記録媒体は、ストレージ１３であってもよいし、その他の記録媒体であってもよい。例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路が、その他の記録媒体として利用可能である。

【0041】

（検査方法の流れ）
次に、検査装置１が実施する検査方法Ｔ１の流れについて、図３を参照して説明する。図３は、検査方法Ｔ１の流れを示すフローチャートである。

【0042】

検査方法Ｔ１は、図３に示すように、生成処理Ｔ１１と、判定処理Ｔ１２と、判定処理Ｔ１３と、を含んでいる。検査方法Ｔ１において、生成処理Ｔ１１及び判定処理Ｔ１２は、対象物Ｓの部位Ｓｉ毎に実施される処理であり、ｍ回実行される。判定処理Ｔ１３は、対象物Ｓ全体に対して実施される処理であり、生成処理Ｔ１１及び判定処理Ｔ１２が繰り返された後、１度だけ実行される。

【0043】

生成処理Ｔ１１は、プロセッサ１２が、対象物Ｓの特定の部位Ｓｉを被写体として含む画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍを結合することによって、結合画像Ｉｉを生成する処理である。判定処理Ｔ１２は、プロセッサ１２が、生成処理Ｔ１１にて生成された結合画像Ｉｉを学習済モデルＭに入力することによって、その部位Ｓｉのクラス判定を行う処理である。判定処理Ｔ１３は、プロセッサ１２が、判定処理Ｔ１２にて得られた各部位Ｓｉのクラス判定の結果に基づいて、対象物Ｓ全体のクラス判定を行う処理である。判定処理Ｔ１３において、プロセッサ１２は、例えば、部位Ｓ１，Ｓ２，…，Ｓｎに対するクラス判定の結果の少なくとも１つが不良である場合、対象物Ｓが不良品であると判定し、そうでない場合、対象物Ｓが良品であると判定する。

【0044】

以上のように、本実施形態に係る検査装置１は、機械学習により構築された学習済モデルＭを用いて対象物Ｓの特定の部位Ｓｉのクラス判定を行う判定処理Ｔ１２を実行するプロセッサ１２を備えている。また、本実施形態に係る検査方法Ｔ１は、プロセッサ１２が機械学習により構築された学習済モデルＭを用いて対象物Ｓの特定の部位Ｓｉのクラス判定を行う判定処理Ｔ１２を含んでいる。また、本実施形態に係る検査プログラムは、機械学習により構築された学習済モデルＭを用いて対象物Ｓの特定の部位Ｓｉのクラス判定を行う判定処理Ｔ１２をプロセッサ１２に実行させるための命令を含んでいる。ここで、学習済モデルＭは、対象物Ｓの特定の部位Ｓｉを異なる方向から撮像することにより得られる複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍを結合することにより得られる結合画像Ｉｉを入力とし、その部位Ｓｉのクラス判定の結果を出力とする学習済モデルである。

【0045】

したがって、本実施形態に係る検査装置１、検査方法Ｔ１、又は検査プログラムによれば、対象物Ｓの各部位Ｓｉのクラス判定を精度良く行うことができる。その結果、対象物Ｓ全体のクラス判定を精度良く行うことができる。しかも、学習済モデルＭには、撮像方向を変えながら部位Ｓｉを撮像することにより得られた複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの結合画像Ｉｉが入力される。このため、結合画像Ｉｉには、１つの欠陥の像が２つ以上含まれる可能性が高い。この場合、結合画像Ｉｉに含まれる２つ以上の欠陥の像は、特定の位置関係を有している。したがって、この位置関係を機械学習により習得した学習済モデルＭを用いれば、対象物Ｓの各部位Ｓｉのクラス判定を更に精度良く行うことが可能になる。

【0046】

なお、本実施形態においては、複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍを結合することにより得られる結合画像Ｉｉを学習済モデルＭの入力とする構成を採用しているが、本発明はこれに限定されない。すなわち、複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの集合を学習済モデルＭの入力とする構成も、本発明の範疇に含まれる。後者の構成を採用しても、前者の構成を採用した場合と同様の効果が得られる。

【0047】

また、本実施形態においては、撮像方向を変えて特定の部位Ｓｉを撮像することにより得られた複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの結合画像Ｉｉを学習済モデルＭの入力とする構成を採用しているが、本発明はこれに限定されない。すなわち、光学条件を変えて特定の部位Ｓｉを撮像することに得られた複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの集合、又は、これらの画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの結合画像Ｉｉを学習済モデルＭの入力とする構成も、本発明の範疇に含まれる。ここで、光学条件とは、例えば、対象物Ｓに光を照射する光源の位置又は向き、対象物Ｓに照射する光の強度、対象物Ｓに照射する光の波長、カメラ３の焦点深度、カメラ３のシャッタスピード、カメラ３に適用する光学フィルタの種類などのことを指す。この場合にも、部位Ｓｉの表面に欠陥が存在する場合、複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの少なくとも何れかに、その欠陥の像が含まれる可能性が増大するので、その部位Ｓｉのクラス判定を精度良く行うことができる。

【0048】

（生成処理の具体例）
検査方法Ｔ１に含まれる生成処理Ｔ１１の具体例について、図４及び図５を参照して説明する。図４及び図５は、生成処理Ｔ１１の具体例を模式的に示す図である。

【0049】

図４に示した例では、対象物Ｓ（光ファイバ）の部位Ｓｉを被写体として含む２つの画像Ｉｉ１，Ｉｉ２を結合することによって、結合画像Ｉｉを生成している。画像Ｉｉ１は、対象物Ｓの部位Ｓｉを第１の方向Ｐ１から撮像することにより得られた画像であり、画像Ｉｉ２は、対象物Ｓの部位Ｓｉを第１の方向Ｐ１とは異なる第２の方向Ｐ２から撮像することにより得られた画像である。対象物Ｓは、その中心軸が画角の横方向と平行になるように、２つの画像Ｉｉ１，Ｉｉ２の各々に被写体として含まれている。２つの画像Ｉｉ１，Ｉｉ２の結合は、一方の画像Ｉｉ１の上辺と他方の画像Ｉｉ２の下辺とを貼り合せるように行われる。結合画像Ｉｉには、第１の方向からみた光ファイバの部位Ｓｉと第２の方向から見た光ファイバの部位Ｓｉとが、縦に並んで含まれることになる。

【0050】

図４の（ａ）に示すように、対象物Ｓの表面に欠陥Ｘが存在する場合、この欠陥Ｘを目視できる第１の方向Ｐ１から撮像された画像Ｉｉ１には、図４の（ｂ）の上段に示すように、この欠陥Ｘの直接像が含まれる。また、対象物Ｓが透明又は半透明である場合には、この欠陥Ｘを目視できない第２の方向Ｐ２から撮像された画像Ｉｉ２には、図４の（ｂ）の下段に示すように、この欠陥Ｘの透過像が含まれる。このため、これら２つの画像Ｉｉ１，Ｉｉ２を結合することにより得られた結合画像Ｉｉには、図４の（ｃ）に示すように、この欠陥Ｘの直接像とこの欠陥Ｘの透過像とが特定の間隔を隔てて縦に並んで含まれる。したがって、この特徴を機械学習により習得した学習済モデルＭを用いれば、対象物Ｓの部位Ｓｉに欠陥が存在するか否かを、精度良く判定することができる。なぜなら、対象物Ｓの表面に欠陥が存在しない場合、結合画像Ｉｉに欠陥に由来しない２つの欠陥の像が特定の間隔を隔てて縦に並んで含まれる可能性は極めて低く、その結果、上記の特徴を機械学習により習得した学習済モデルＭが対象物Ｓの部位Ｓｉに欠陥が存在すると誤判定する可能性も極めて低くなるからである。

【0051】

なお、対象物Ｓの各部位Ｓｉを２つの方向から撮像する場合、第１の方向Ｐ１から撮像された画像Ｉｉ１の画角の一部と、第１の方向Ｐ１に隣接する第２の方向Ｐ２から撮像された画像Ｉｉ２の画角の一部とが、互いにオーバラップしていることが好ましい。より一般的に言うと、対象物Ｓの各部位Ｓｉを複数の方向から撮像する場合、ｊ番目の方向Ｐｊから撮像された画像Ｉｉｊの一部と、その方向Ｐｊに隣接するＪ＋１番目の方向Ｐｊ＋１から撮像された画像Ｉｉｊ＋１の一部とが、互いにオーバラップしていることが好ましい。これにより、対象物Ｓの表面に存在する欠陥を見落とす可能性を低減できる。また、オーバラップした画角内に欠陥Ｘが存在する場合、結合画像Ｉｉにはその欠陥Ｘの像が２つ含まれ、これら２つの像は特定の位置関係を有している。したがって、この位置関係を機械学習により習得した学習済モデルＭを用いれば、部位Ｓｉのクラス判定を更に精度良く行うことが可能になる。

【0052】

図５には、対象物Ｓの各部位Ｓｉを３つの方向から撮像する場合を例示している。図５に示した例では、第１の方向Ｐ１から撮像された画像Ｉｉ１の下端部と、第１の方向Ｐ１に隣接する第２の方向Ｐ２から撮像された画像Ｉｉ２の上端部とが、互いにオーバラップしている。また、第２の方向Ｐ２から撮像された画像Ｉｉ２の下端部と、第２の方向Ｐ２に隣接する第３の方向Ｐ３から撮像された画像Ｉｉ３の上端部とが、互いにオーバラップしている。

【0053】

（画角の設定に関する補足）
なお、対象物Ｓの各部位Ｓｉ（特許請求の範囲における「第１の部位」の一例）のクラス判定を行うために学習済モデルＭに入力される結合画像Ｉｉの画角の一部と、その部位Ｓｉに隣接する部位Ｓｉ－１，Ｓｉ＋１（特許請求の範囲における「第２の部位」の一例）のクラス判定を行うために学習済モデルＭに入力される結合画像Ｉｉ－１，Ｉｉ＋１の画角の一部とは、互いにオーバラップしていることが好ましい。これにより、対象物Ｓの表面に存在する欠陥を見落とす可能性を低減することができる。

【0054】

このような画角の設定例を図６に示す。図６に示す例では、対象物Ｓの部位Ｓｉのクラス判定を行うために学習済モデルＭに入力される結合画像Ｉｉの画角Ａｉの左端部と、部位Ｓｉに隣接する部位Ｓｉ－１のクラス判定を行うために学習済モデルＭに入力される結合画像Ｉｉ－１の画角Ａｉ－１の右端部とが、互いにオーバラップしている。また、対象物Ｓの部位Ｓｉのクラス判定を行うために学習済モデルＭに入力される結合画像Ｉｉの画角Ａｉの右端部と、部位Ｓｉに隣接する部位Ｓｉ＋１のクラス判定を行うために学習済モデルＭに入力される結合画像Ｉｉ＋１の画角Ａｉ＋１の左端部とが、互いにオーバラップしている。

【0055】

（生成処理の変形例）
なお、生成処理Ｔ１１において、プロセッサ１２は、対象物Ｓの各部位Ｓｉを異なる方向から撮像することにより得られた複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍのうち、互いに隣接する方向から撮像することにより得られる画像の対の全てが結合画像Ｉｉにおいて互いに隣接するように、これら複数のＩｉ１，Ｉｉ２，…，Ｉｉｍの少なくとも何れかを２回以上結合することが好ましい。これにより、対象物Ｓの部位Ｓｉに欠陥Ｘが存在している場合、その欠陥Ｘの直接像を被写体として含む２つの画像を、結合画像Ｉｉにおいて隣接させることができ、その結果、学習済モデルＭが欠陥Ｘをより高い精度で検出することが可能になる。

【0056】

このような生成処理の具体例を図７に示す。図７に示す例では、対象物Ｓの各部位Ｓｉを異なる方向から撮像することにより得られた５つの画像Ｉｉ１，Ｉｉ２，Ｉｉ３，Ｉｉ４，Ｉｉ５のうち、画像Ｉｉ１を２回結合することによって、互いに隣接する方向から撮像することにより得られる画像の対（Ｉｉ１，Ｉｉ２），（Ｉｉ２，Ｉｉ３），（Ｉｉ３，Ｉｉ４），（Ｉｉ４，Ｉｉ５），（Ｉｉ５，Ｉｉ１）の全てが結合画像Ｉｉにおいて互いに隣接するようにしている。これにより、図７の（ａ）に示すように、欠陥Ｘの直接像が最初の画像Ｉｉ１と最後の画像Ｉｉ５とに含まれている場合であっても、これら２つの画像Ｉｉ１、Ｉｉ５を結合画像Ｉｉにおいて互いに隣接させることができる。

【0057】

（機械学習装置の構成）
検査システム１００に含まれる機械学習装置２の構成について、図８を参照して説明する。図８は、機械学習装置２の構成を示すブロックである。

【0058】

機械学習装置２は、図８に示すように、ストレージ２１と、プロセッサ２２と、メモリ２３と、を備えている。ストレージ２１、プロセッサ２２、及びメモリ２３は、不図示のバスを介して互いに接続されている。このバスには、更に、不図示の入出力インタフェース及び不図示の通信インタフェースが接続されていてもよい。この入出力インタフェースは、例えば、外部装置（例えば、カメラ３）からデータ（例えば、画像）を取得するために利用される。また、この通信インタフェースは、例えば、外部装置（例えば、前述した検査装置１）に学習済モデルＭを提供するために利用される。

【0059】

ストレージ２１は、学習用データセットＤＳを格納するための構成である。学習用データセットＤＳは、カメラ３から取得した画像、すなわち、対象物Ｓの各部位Ｓｉを被写体として含む画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの結合画像Ｉｉに、その部位Ｓｉのクラス判定（例えば、人による判定）の結果を示すラベルを付した教師データの集合である。ここで、結合画像Ｉｉに判定結果を示すラベルを付すとは、結合画像Ｉｉに判定結果を（例えばメタデータとして）埋め込む態様に限らず、結合画像Ｉｉと判定結果とを任意の方法で関連付けることを指す。結合画像Ｉｉと判定結果を関連付ける方法としては、例えば、結合画像Ｉｉと判定結果との対応関係を示すテーブルを作成する方法や、判定結果に対応するディレクトリに結合画像Ｉｉを格納する方法などが挙げられる。なお、ストレージ２１としては、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤ、又は、これらの組み合わせ等を用いることができる。

【0060】

プロセッサ２２は、ストレージ２１に格納された学習用データセットＤＳを用いて、後述する機械学習方法Ｔ２を実行するための構成である。学習済モデルＭは、上述したとおり、カメラ３から取得した画像、すなわち、対象物Ｓの各部位Ｓｉを被写体として含む画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍの結合画像Ｉｉを入力とし、その部位Ｓｉのクラス判定の結果を示すラベルを出力とするアルゴリズムである。プロセッサ２２としては、例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、ＴＰＵ等のＡＳＩＣ、又は、これらの組み合わせ等を用いることができる。

【0061】

メモリ２３は、プロセッサ２２が構築処理を実行することにより得られた学習済モデルＭを記憶するための構成である。メモリ２３としては、例えば、半導体ＲＡＭを用いることができる。メモリ２３に記憶された学習済モデルＭは、上述したストレージ２１に格納（不揮発保存）されてもよい。

【0062】

なお、ここでは、機械学習方法Ｔ２を単一のコンピュータに設けられた単一のプロセッサ２２が実施する構成について説明したが、これに限定されない。すなわち、機械学習方法Ｔ２を単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のプロセッサが共同して実行する構成を採用することも可能である。

【0063】

また、ここでは、学習用データセットＤＳを単一のコンピュータに設けられた単一のストレージ２１に格納する構成について説明したが、これに限定されない。すなわち、学習用データセットＤＳを、単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のストレージに分散して格納する構成を採用することも可能である。また、学習用データセットＤＳは、プロセッサ２２及びメモリ２３と共にコンピュータに内蔵されたストレージ２１に格納されている必要はなく、そのコンピュータとネットワークを介して通信可能に構成されたクラウドサーバに格納されていてもよい。

【0064】

また、ここでは、学習済モデルＭを単一のコンピュータに設けられた単一のメモリ２３に記憶させる構成について説明したが、これに限定されない。すなわち、学習済モデルＭを単一のコンピュータに設けられた、或いは、複数のコンピュータに分散して設けられた複数のメモリに分散して記憶させる構成を採用することも可能である。

【0065】

なお、プロセッサ２２に機械学習方法Ｔ２を実行させるためのプログラムは、例えば、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されている。プロセッサ２２は、このプログラムに含まれる命令を実行することによって、機械学習方法Ｔ２を実行する。この記録媒体は、ストレージ２１であってもよいし、メモリ２３であってもよいし、その他の記録媒体であってもよい。例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路が、その他の記録媒体として利用可能である。

【0066】

なお、本実施形態においては、学習済モデルＭを構築する機械学習方法Ｔ２と学習済モデルＭを利用する検査方法Ｔ１とを、２つの装置においてそれぞれ実施する態様について説明したが、本発明はこれに限定されない。すなわち、学習済モデルＭを構築する機械学習方法Ｔ２と学習済モデルＭを利用する検査方法Ｔ１とを、１つの装置において実施する態様も本発明の範疇に含まれる。

【0067】

（機械学習方法の流れ）
次に、機械学習装置２が実施する機械学習方法Ｔ２の流れについて、図９を参照して説明する。図９は、機械学習方法Ｔ２の流れを示すフローチャートである。

【0068】

機械学習方法Ｔ２は、図９に示すように、生成処理Ｔ２１と、作成処理Ｔ２２と、構築処理Ｔ２３と、を含んでいる。機械学習方法Ｔ２において、生成処理Ｔ２１及び作成処理Ｔ２２は、必要な個数の教師データが作成されるまで繰り返される。一方、構築処理Ｔ２３は、生成処理Ｔ２１及び作成処理Ｔ２２が繰り返された後、１度だけ実行される。

【0069】

生成処理Ｔ２１は、プロセッサ２２が、対象物Ｓの各部位Ｓｉを被写体として含む画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍを結合することによって、結合画像Ｉｉを生成する処理である。作成処理Ｔ２２は、生成処理Ｔ２１にて生成された結合画像Ｉｉに、その部位Ｓｉのクラス判定（例えば、人による判定）の結果を示すラベルを付すことによって、教師データを生成する処理である。構築処理Ｔ２３は、作成処理Ｔ２２にて作成された教師データの集合（学習用データセット）を用いた教師あり学習によって、学習済モデルＭを構築する処理である。

【0070】

以上のように、本実施形態に係る機械学習装置２は、教師データを作成する作成処理Ｔ２２と、作成処理Ｔ２２にて作成された教師データを用いた機械学習によって、対象物Ｓの各部位Ｓｉのクラス判定に利用する学習済モデルＭを構築する構築処理Ｔ２３と、を実行するプロセッサ２２を備えている。また、本実施形態に係る機械学習方法Ｔ２は、プロセッサ２２が教師データを作成する作成処理Ｔ２２と、作成処理Ｔ２２にて作成された教師データを用いた機械学習によって、プロセッサ２２が対象物Ｓの各部位Ｓｉのクラス判定に利用する学習済モデルＭを構築する構築処理Ｔ２３と、を含んでいる。また、本実施形態に係る機械学習プログラムは、教師データを作成する作成処理Ｔ２２と、作成処理Ｔ２２にて作成された教師データを用いた機械学習によって、対象物Ｓの各部位Ｓｉのクラス判定に利用する学習済モデルＭを構築する構築処理Ｔ２３と、をプロセッサ２２に実行させる命令を含んでいる。ここで、学習済モデルＭは、対象物Ｓの各部位Ｓｉを異なる方向から撮像することにより得られる複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍを結合することにより得られる結合画像Ｉｉを入力とし、その部位Ｓｉのクラス判定の結果を出力とする学習済モデルである。

【0071】

したがって、本実施形態に係る機械学習装置２、機械学習方法Ｔ２、又は機械学習プログラムによれば、対象物Ｓの各部位Ｓｉのクラス判定を精度良く行うことが学習済モデルＭを構築することができる。

【0072】

（作成処理の具体例）
なお、作成処理Ｔ２２において、プロセッサ２２は、対象物Ｓの部位Ｓｉを異なる方向から撮像することにより得られた画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍのうち、欠陥の像を含むと判定された画像が２枚以上の予め定められた枚数以上である場合、結合画像Ｉｉに「不良」を示すラベルを関連付けた教師データを作成することが好ましい。換言すると、対象物Ｓの部位Ｓｉを異なる方向から撮像することにより得られた画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍのうち、欠陥の像を含むと判定された画像が予め定められた枚数よりも少ない場合、結合画像Ｉｉに「良」を示すラベルを関連付けた教師データを作成することが好ましい。ここで、欠陥の像を含むか否かの判定は、人間が行ってもよいし、予め定められたアルゴリズム（例えば、教師データ作成用の学習済モデル）が行ってもよい。

【0073】

対象物Ｓの表面に欠陥Ｘが存在する場合、画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍのうち、欠陥の像を含むと判断される画像が予め定められた枚数以上である可能性が高い。一方、画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍのうち、欠陥の像を含むと判断される画像が予め定められた枚数よりも少ない可能性が高い。したがって、上記のように教師データを作成すれば、その教師データを用いた機械学習により構築された学習済モデルＭの判定精度を高めることができる。

【0074】

また、対象物Ｓの部位Ｓｉを異なる方向から撮像することにより得られた画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍのうち、欠陥の像を含むと判定された画像の割合が２／ｍ以上の予め定められた割合以上である場合、結合画像Ｉｉに「不良」を示すラベルを関連付けた教師データを作成することが好ましい。ここで、欠陥の像を含むか否かの判定は、人間が行ってもよいし、予め定められたアルゴリズム（例えば、教師データ作成用の学習済モデル）が行ってもよい。この場合でも、同様の効果が得られる。

【0075】

また、対象物Ｓの部位Ｓｉを異なる方向から撮像することにより得られた画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍのそれぞれについて予め定められたアルゴリズム（例えば、教師用データ作成用の学習済モデル）によって欠陥の像が含まれているか否かを判定し、各判定における尤度の合計が予め定められた値以上である場合、結合画像Ｉｉに「不良」を示すラベルを関連付けた教師データを作成することが好ましい。この場合でも、同様の効果が得られる。

【0076】

（教師データの水増処理）
学習済モデルＭの判定精度を高めるためには、機械学習に用いる教師データの個数を増やすことが好ましい。しかしながら、教師データの個数を増やすためには、人によるクラス判定の実施回数を増やす必要があり、このことが、機械学習方法Ｔ２を実施するための手間及び時間を増大させる要因になる。このため、プロセッサ２２は、教師データの水増処理、すなわち、人によるクラス判定の回数を増やすことなく、教師データを増殖させる水増処理を更に実行することが好ましい。

【0077】

図１０は、水増処理の第１の具体例を模式的に示す図である。図１０に示す水増処理は、結合画像Ｉｉから新たな結合画像Ｉ”ｉを作成する処理である。この水増処理において、プロセッサ２２は、元の結合画像Ｉｉにおいて欠陥の像を含まない部分（図１０に示す具体例においては、元の結合画像Ｉｉにおいて画像Ｉｉ２に相当する部分）を、欠陥の像を含まない別の画像（図１０に示す具体例においては、別の結合画像Ｉｉ’において画像Ｉｉ２’に相当する部分）に置き換えることによって、新たな結合画像Ｉ”ｉを作成する。そして、プロセッサ２２は、新たな結合画像Ｉ”ｉに、元の結合画像Ｉｉに関連付けられているラベルと同じラベルを関連付けることによって、新たな教師データを作成する。このような水増処理を実施することにより、人によるクラス判定の回数を増やすことなく、教師データの個数を増やし、その結果、学習済モデルＭの判定精度を高めることができる。

【0078】

図１１は、水増処理の第２の具体例を模式的に示す図である。図１１に示す水増処理は、結合画像Ｉｉから新たな結合画像Ｉｉａ～Ｉｉｄを作成する処理である。この水増処理において、プロセッサ２２は、元の結合画像Ｉｉにおいて画像Ｉｉ１～Ｉｉ５の各々に相当する部分を巡回的に並べ替えることによって、新たな結合画像Ｉｉａ～Ｉｉｄを作成する。そして、プロセッサ２２は、新たな結合画像Ｉｉａ～Ｉｉｄの各々に、元の結合画像Ｉｉに関連付けられているラベルと同じラベルを関連付けることによって、新たな教師データを作成する。このような水増処理を実施することにより、人によるクラス判定の回数を増やすことなく、教師データの個数を増やし、その結果、学習済モデルＭの判定精度を高めることができる。

【0079】

（構造体の製造方法）
検査装置１を用いた検査方法は、任意の構造体の製造方法に適用することができる。すなわち、検査装置１を用いて構造体の検査を行う工程を含んでいる構造体の製造方法は、本発明の範疇に含まれる。このような製造方法によれば、構造体の検査を行う工程において誤判定が生じる可能性を低減することができる。

【0080】

（対象物のその他の具体例）
以上では、対象物Ｓが円柱状の物体（光ファイバ）である具体例について説明したが、本発明はこれに限定されない。すなわち、対象物Ｓは、任意の形状の任意の物体であり得る。

【0081】

例えば、対象物Ｓは、球状の物体であり得る。図１２には、このような対象物Ｓの例として、地球儀を例示している。また、図１２には、複数の画像Ｉｉ１，Ｉｉ２，Ｉｉ３の例として、撮像方向を変えて地球儀の日本中央部（部位Ｓｉの具体例）を撮像することにより得られた３枚の画像を例示している。

【0082】

或いは、対象物Ｓは、平面状の物体であり得る。図１３には、このような対象物Ｓの例として、文字Ａ、文字Ｂ、及び文字Ｃが印刷された印刷物を例示している。また、図１３には、複数の画像Ｉｉ１，Ｉｉ２，Ｉｉ３の例として、撮像方向を変えて印刷物の文字Ｂ（部位Ｓｉの具体例）を撮像することにより得られた３枚の画像を例示している。

【0083】

（撮像方法のその他の具体例１）
また、以上では、カメラ３の位置及び向きを変えることによって、部位Ｓｉに対する撮像方向を変化させる具体例について説明したが、本発明はこれに限定されない。すなわち、カメラ３の位置のみを変えることによって、部位Ｓｉに対する撮像方向を変化させてもよい。図１４には、複数の画像Ｉｉ１，Ｉｉ２，Ｉｉ３の例として、カメラ３の位置のみを変えて印刷物（対象物Ｓの具体例）の文字Ｂ（部位Ｓｉの具体例）を撮像することにより得られた３枚の画像を例示している。

【0084】

（撮像方法のその他の例２）
また、以上では、撮像方向を変えて対象物Ｓの部位Ｓｉを撮像することにより複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍを得る具体例について説明したが、本発明はこれに限定されない。すなわち、光学条件を変更して対象物Ｓの部位Ｓｉを撮像することにより複数の画像Ｉｉ１，Ｉｉ２，…，Ｉｉｍを得てもよい。

【0085】

図１５には、光学条件を変更して光ファイバ（対象物Ｓの具体例）の一部（部位Ｓｉの具体例）を撮像することにより得られた５枚の画像Ｉｉ１～Ｉｉ５を例示している。画像Ｉｉ１は、標準的な光学条件にて光ファイバの一部を撮像することにより得られた画像である。画像Ｉｉ２は、光源の位置を標準的な位置から変更して光ファイバの一部を撮像することにより得られた画像である。画像Ｉｉ３は、光源の照度を標準的な照度から変更して光ファイバの一部を撮像することにより得られた画像である。画像Ｉｉ４は、カメラ３の被写界深度を標準的な被写界深度から変更して光ファイバの一部を撮像することにより得られた画像である。画像Ｉｉ５は、カメラ３のカラーフィルタを標準的なカラーフィルタから変更して光ファイバの一部を撮像することにより得られた画像である。

【0086】

（付記事項）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上述した実施形態に開示された各技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0087】

１ 検査装置
１１ メモリ
１２ プロセッサ
１３ ストレージ
Ｔ１ 検査方法
Ｔ１１ 生成処理
Ｔ１２ 判定処理（部位毎）
Ｔ１３ 判定処理（全体）
２ 機械学習装置
２１ ストレージ
２２ プロセッサ
２３ メモリ
Ｔ２ 機械学習方法
Ｔ２１ 生成処理
Ｔ２２ 作成処理
Ｔ２３ 構築処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】