知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-30
(45)【発行日】2022-12-08
(54)【発明の名称】欠陥検査装置
(51)【国際特許分類】
G01N 21/88 20060101AFI20221201BHJP
G06T 7/00 20170101ALI20221201BHJP
【ＦＩ】
G01N21/88 J
G06T7/00 610B
G06T7/00 350C
【請求項の数】
16
(21)【出願番号】P 2021543228
(86)(22)【出願日】2020-01-03
(65)【公表番号】
(43)【公表日】2022-03-28
(86)【国際出願番号】 KR2020000110
(87)【国際公開番号】W WO2020153623
(87)【国際公開日】2020-07-30
【審査請求日】2021-08-16
(31)【優先権主張番号】10-2019-0009273
(32)【優先日】2019-01-24
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】520119138
【氏名又は名称】スアラブ カンパニー リミテッド
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】ソン キヨン
(72)【発明者】
【氏名】チョ フンミン
【審査官】嶋田 行志
(56)【参考文献】
【文献】特開２０１７－０２６４４１（ＪＰ，Ａ）
【文献】特開２０１９－００７８９１（ＪＰ，Ａ）
【文献】特開２０１８－０５９８３０（ＪＰ，Ａ）
【文献】特開２０００－００５７０５（ＪＰ，Ａ）
【文献】特開２０１５－１３５２５３（ＪＰ，Ａ）
【文献】特開２００５－２４１４６９（ＪＰ，Ａ）
【文献】韓国登録特許第１０－１９１６３４７（ＫＲ，Ｂ１）
【文献】特開２０１５－０２６２８７（ＪＰ，Ａ）
【文献】特開２００９－０８６９０１（ＪＰ，Ａ）
【文献】韓国登録特許第１０－１７３６４５８（ＫＲ，Ｂ１）
【文献】米国特許出願公開第２０１８／０１８６００４（ＵＳ，Ａ１）
【文献】特表２０１４－５２６７０６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８
Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０
Ｂ０７Ｃ １／００－Ｂ０７Ｃ ９９／００
Ｇ０６Ｔ ７／００－Ｇ０６Ｔ ７／９０
ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
対象を保持するための保持部及び前記対象を移動させるための駆動部を含むロボットアーム；前記対象の外観を撮影する第１カメラ部；
前記対象の外観に光を照射する照明部；及び
前記第１カメラ部が撮影した前記対象の画像に基づき、前記対象の欠陥有無を判断する制御部；
を含み、
前記制御部は、前記それぞれ異なる照明条件のもとで撮影した２つ以上の画像に基づき、前記対象の欠陥有無を判断し、
前記制御部は、
アノマリー有無の判断の基礎となる正常な画像である、第１照明条件のもとで撮影された第１正常画像及び第２照明条件のもとで撮影された第２正常画像を欠陥検査モデルに含まれた第１サブモデルに含まれたチャンネルの各々に入力して演算し、
アノマリー有無の判断の対象となる画像である、前記第１照明条件のもとで撮影された第１判断対象画像及び前記第２照明条件のもとで撮影された第２判断対象画像を前記欠陥検査モデルに含まれた第２サブモデルに含まれたチャンネルの各々に入力して演算し、さらに、
前記第１サブモデル及び第２サブモデルの演算結果に基づき、前記対象の欠陥有無を判断する、ことを特徴とする欠陥検査装置。
【請求項2】
請求項１において、前記第１カメラ部が撮影した前記対象の画像及び前記対象の欠陥有無が示された画像のうち少なくとも１つの画像を表示するディスプレイ部；
をさらに含む、欠陥検査装置。
【請求項3】
請求項１において、前記対象を欠陥検査のために移送するための移送部；及び
前記対象に対する前記制御部の前記欠陥検査の結果に基づき前記対象を分類し、移送するための分類移送部；
をさらに含む、欠陥検査装置。
【請求項4】
請求項１において、前記駆動部は、
前記対象を回転させるための少なくとも１つの駆動軸を含む、欠陥検査装置。
【請求項5】
請求項１において、前記駆動部は、
前記第１カメラ部が最初の配置状態とは違う配置状態での前記対象を撮影して、最初の視点とは違う視点で撮影した画像を取得できるように前記対象の配置状態を調整する、欠陥検査装置。
【請求項6】
請求項１において、前記保持部によって保持される前の前記対象を撮影するための第２カメラ部；
をさらに含み、
前記制御部は、
前記第２カメラ部から取得した前記対象の画像に基づき、前記保持部が前記対象の配置状態に合わせて前記対象を保持するために並べ替えられるようにすることができる、欠陥検査装置。
【請求項7】
請求項１において、前記照明部は、
光を照射する２つ以上のサブ照明部を含み、前記照明部は、内部に空間を形成し、
前記第１カメラ部は、
前記空間の一側に位置し、前記空間の他側に前記ロボットアームによって配置された対象を前記空間を通じて撮影するようにし、さらに、
前記制御部は、
前記第１カメラ部が前記対象を撮影できるように、前記ロボットアームが前記対象を前記空間の前記他側に配置するようにする、欠陥検査装置。
【請求項8】
請求項７において、前記サブ照明部は、
円錐台又角錐台の形状を持つことができ、さらに錐台形状の内部の面には光を照射する発光部が位置する、欠陥検査装置。
【請求項9】
請求項７において、前記２つ以上のサブ照明部は、
円錐台又角錐台の形状を持つことができ、各サブ照明部の錐台形状の下面の幅と上面の幅との比率はそれぞれ異なる、欠陥検査装置。
【請求項10】
請求項１において、前記照明部は、
２つ以上のそれぞれ異なる種類の光を前記対象の外観に照射する、欠陥検査装置。
【請求項11】
請求項１において、前記制御部は、
第１配置状態の前記対象をそれぞれ異なる照明条件のもとで撮影した２つ以上の画像及び第２配置状態の前記対象をそれぞれ異なる照明条件のもとで撮影した２つ以上の画像に基づき前記対象の欠陥有無を判断する、欠陥検査装置。
【請求項12】
請求項１において、前記制御部は、
前記２つ以上の画像を、１つ以上のネットワーク関数を含む欠陥検査モデルに含まれた２つ以上のチャンネルの各々に入力して、前記欠陥検査モデルを利用して前記入力された２つ以上の画像の各々の特徴を抽出し、前記抽出された特徴に基づき前記２つ以上の画像の各々にアノマリーがあるか否かを判断できる、欠陥検査装置。
【請求項13】
請求項１２において、前記制御部は、
前記２つ以上の画像のうち少なくとも１つの画像にアノマリーがあると判断された場合、前記対象に欠陥があると決定する、欠陥検査装置。
【請求項14】
請求項１において、前記欠陥検査モデルは、
前記第１サブモデル及び第２サブモデルのうち少なくとも１つと直列に繋がる比較モジュールをさらに含む、欠陥検査装置。
【請求項15】
請求項１において、前記第１正常画像が入力される第１サブモデル第１チャンネルは、
前記第１判断対象画像が入力される第２サブモデル第１チャンネルと同一の重みを持つリンクを少なくとも１つ以上共有し、且つ、
前記第２正常画像が入力される第１サブモデル第２チャンネルは、
前記第２判断対象画像が入力される第２サブモデル第２チャンネルと同一の重みを持つリンクを少なくとも１つ以上共有する、欠陥検査装置。
【請求項16】
請求項１において、前記制御部は、
第１サブモデル第１チャンネルの少なくとも１つのレイヤー及び第２サブモデル第１チャンネルの少なくとも１つのレイヤーに基づき、少なくとも１つの第１レイヤー比較情報を生成し、前記第１レイヤー比較情報を比較モジュール第１チャンネルにおける対応するレイヤーに伝達し、第１判断対象画像のアノマリー情報を演算し、そして、
第１サブモデル第２チャンネルの少なくとも１つのレイヤー及び第２サブモデル第２チャンネルの少なくとも１つのレイヤーに基づき、少なくとも１つの第２レイヤー比較情報を生成し、前記第２レイヤー比較情報を比較モジュール第２チャンネルにおける対応するレイヤーに伝達し、第２判断対象画像のアノマリー情報を演算する、欠陥検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は工場自動化装備に係り、より具体的には対象の欠陥を検査するための装置に関する。
【背景技術】
【0002】
工場における一対象の生産過程において、機械、工程、又はその他の事由によりオブジェクトに欠陥がある場合がある。一般的に工場では対象の生産が完了し製品として出庫する前に、当該製品に欠陥があるか否かを確認するプロセスを設けている。
【0003】
しかし、完成した対象に欠陥があるか否かを人が確認する場合、時間と費用がたくさんかかり、肉眼では見付けにくい欠陥があった場合は、正常に生産されていない対象を出庫してしまう恐れがあるという問題点があり得る。従って、対象に欠陥があるか否かを効率よく判別できる装置に対するニーズが当業界に存在する。
【0004】
大韓民国登録特許第１０－１７０７２０６号においてグリッパフィーダを開示している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、前述の背景技術に鑑みて案出しており、欠陥検査装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前述のような課題を実現するための本開示の一実施例に基づき、欠陥検査装置は対象を保持するための保持部及び上記対象を移動させるための駆動部を含むロボットアーム；上記対象の外観を撮影する第１カメラ部；上記対象の外観に光を照射する照明部；及び上記第１カメラ部が撮影した上記対象の画像に基づき、上記対象の欠陥有無を判断する制御部を含む。
【0007】
代替実施例において、欠陥検査装置は、上記第１カメラ部が撮影した上記対象の画像及び上記対象の欠陥有無が示された画像のうち少なくとも１つの画像を表示するディスプレイ部をさらに含むことができる。
【0008】
代替実施例において、欠陥検査装置は、上記対象を欠陥検査のために移送するための移送部；及び上記対象に対する上記制御部の上記欠陥検査の結果に基づき上記対象を分類し、移送するための分類移送部をさらに含むことができる。
【0009】
代替実施例において、欠陥検査装置の上記駆動部は、上記対象を回転させるための少なくとも１つの駆動軸を含むことができる。
【0010】
代替実施例において、欠陥検査装置の上記駆動部は、上記第１カメラ部が最初の配置状態とは違う配置状態での上記対象を撮影して、最初の視点とは違う視点で撮影した画像を取得できるように上記対象の配置状態を調整することができる。
【0011】
代替実施例において、欠陥検査装置は、上記保持部によって保持される前の上記対象を撮影するための第２カメラ部をさらに含むことができ、上記制御部は、上記第２カメラ部から取得した上記対象の画像に基づき、上記保持部が上記対象の配置状態に合わせて上記対象を保持するために並べ替えられるようにすることができる。
【0012】
代替実施例において、欠陥検査装置の上記照明部は、光を照射する２つ以上のサブ照明部を含み、上記照明部は、内部に空間を形成し、上記第１カメラ部は、上記空間の一側に位置し、上記空間の他側に上記ロボットアームによって配置された対象を上記空間を通じて撮影するようにし、さらに上記制御部は、上記第１カメラ部が上記対象を撮影できるように、上記ロボットアームが上記対象を上記空間の上記他側に配置するようにすることができる。
【0013】
代替実施例において、欠陥検査装置の上記サブ照明部は、円錐台又角錐台の形状を持つことができ、さらに錐台形状の内部の面には光を照射する発光部が位置することができる。
【0014】
代替実施例において、欠陥検査装置の上記２つ以上のサブ照明部は、円錐台又角錐台の形状を持つことができ、各サブ照明部の錐台形状の下面の幅と上面の幅の比率はそれぞれ異なる場合がある。
【0015】
代替実施例において、欠陥検査装置の上記照明部は２つ以上のそれぞれ異なる種類の光を上記対象の外観に照射することができる。
【0016】
代替実施例において、欠陥検査装置の上記制御部は、それぞれ異なる照明条件のもとで撮影された２つ以上の画像に基づき、上記対象の欠陥有無を判断することができる。
【0017】
代替実施例において、欠陥検査装置の上記制御部は、第１配置状態の上記対象をそれぞれ異なる照明条件のもとで撮影した２つ以上の画像及び第２配置状態の上記対象をそれぞれ異なる照明条件のもとで撮影した２つ以上の画像に基づき上記対象の欠陥有無を判断することができる。
【0018】
代替実施例において、欠陥検査装置の上記制御部は、上記２つ以上の画像を、１つ以上のネットワーク関数を含む欠陥検査モデルに含まれた２つ以上のチャンネルの各々に入力して、上記欠陥検査モデルを利用して上記入力された２つ以上の画像の各々の特徴を抽出し、上記抽出された特徴に基づき上記２つ以上の画像の各々にアノマリーがあるか否かを判断できる。
【0019】
代替実施例において、欠陥検査装置の上記制御部は、上記２つ以上の画像のうち少なくとも１つの画像にアノマリーがあると判断された場合、上記対象に欠陥があると決定することができる。
【0020】
代替実施例において、欠陥検査装置の上記制御部は、アノマリー有無の判断の基礎となる正常な画像である、第１照明条件のもとで撮影された第１正常画像及び第２照明条件のもとで撮影された第２正常画像を欠陥検査モデルに含まれた第１サブモデルに含まれたチャンネルの各々に入力して演算し、アノマリー有無の判断の対象となる画像である、上記第１照明条件のもとで撮影された第１判断対象画像及び上記第２照明条件のもとで撮影された第２判断対象画像を上記欠陥検査モデルに含まれた第２サブモデルに含まれたチャンネルの各々に入力して演算し、上記第１サブモデル及び第２サブモデルの演算結果に基づき、上記対象の欠陥有無を判断できる。
【0021】
代替実施例において、欠陥検査装置の上記欠陥検査モデルは、上記第１サブモデル及び第２サブモデルのうち少なくとも１つと直列に繋がる比較モジュールをさらに含むことができる。
【0022】
代替実施例において、欠陥検査装置の上記第１正常画像が入力される第１サブモデル第１チャンネルは、上記第１判断対象画像が入力される第２サブモデル第１チャンネルと同一の重みを持つリンクを少なくとも１つ以上共有し、且つ、上記第２正常画像が入力される第１サブモデル第２チャンネルは、上記第２判断対象画像が入力される第２サブモデル第２チャンネルと同一の重みを持つリンクを少なくとも１つ以上共有することができる。
【0023】
代替実施例において、欠陥検査装置の上記制御部は、第１サブモデル第１チャンネルの少なくとも１つのレイヤー及び第２サブモデル第１チャンネルの少なくとも１つのレイヤーに基づき、少なくとも１つの第１レイヤー比較情報を生成し、上記第１レイヤー比較情報を比較モジュール第１チャンネルにおける対応するレイヤーに伝達し、第１判断対象画像のアノマリー情報を演算し、そして、第１サブモデル第２チャンネルの少なくとも１つのレイヤー及び第２サブモデル第２チャンネルの少なくとも１つのレイヤーに基づき、少なくとも１つの第２レイヤー比較情報を生成し、上記第２レイヤー比較情報を比較モジュール第２チャンネルにおける対応するレイヤーに伝達し、第２判断対象画像のアノマリー情報を演算することができる。
【発明の効果】
【0024】
本開示は、欠陥検査装置を提供することができる。
【図面の簡単な説明】
【0025】
【発明を実施するための形態】
【0026】
多様な実施例が以下に図面を参照しながら説明されるが、図面を通して類似の図面番号は類似の構成要素を表すために使われる。本明細書において多様な説明が本開示に対する理解を容易にするために示される。しかし、これらの実施例はこれらの具体的な説明がなくても確実に実施されることができる。
【0027】
本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、又はソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー上で実行される処理手順（ｐｒｏｃｅｄｕｒｅ）、プロセッサー、オブジェクト、実行スレッド、プログラム、及び／又はコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置で実行されるアプリケーションとコンピューティング装置は、両方ともコンポーネントになり得る。１つ以上のコンポーネントは、プロセッサー及び／又は実行スレッドの中に常駐することができ、一コンポーネントは１つのコンピューターの中でローカル化されることができ、又は２つ以上のコンピューターに配分されることもできる。また、このようなコンポーネントは、その内部に保存されている多様なデータ構造を持つ多様なコンピューター可読媒体から実行することができる。コンポーネントは、例えば１つ以上のデータパケットを持つ信号（例えば、ローカルシステム、分散システムにおいて他のコンポーネントと相互作用する１つのコンポーネントからのデータ及び／又は信号を通じて、他のシステムと、インターネットのようなネットワークを介して伝送されるデータ）によってローカル及び／又は遠隔処理等を通じて通信することができる。
【0028】
なお、用語「又は」は、排他的な「又は」ではなく、内包的な「又は」を意味する意図で使われる。つまり、特に特定されておらず、文脈上明確ではない場合、「ＸはＡ又はＢを利用する」は、自然な内包的置換のうち１つを意味するものとする。つまり、ＸがＡを利用したり；ＸがＢを利用したり；又はＸがＡ及びＢの両方を利用する場合、「ＸはＡ又はＢを利用する」は、これらのいずれにも当てはまるとすることができる。また、本明細書における「及び／又は」という用語は、取り挙げられた関連アイテムのうち、１つ以上のアイテムの可能なすべての組み合わせを指し、含むものと理解されるべきである。
【0029】
また、述語としての「含む（含める）」及び／又は修飾語としての「含む（含める）」という用語は、当該特徴及び／又は構成要素が存在することを意味するものと理解されるべきである。ただし、述語としての「含む（含める）」及び／又は修飾語として「含む（含める）」という用語は、１つ以上の他のさらなる特徴、構成要素及び／又はこれらのグループの存在又は追加を排除しないものと理解されるべきである。また、特に数が特定されていない場合や、単数の形を示すことが文脈上明確でない場合、本明細書と請求範囲において単数は、一般的に「１つ又はそれ以上」を意味するものと解釈されるべきである。
【0030】
ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したり又は実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者にとっては明確であり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。
図１は、本開示の一実施例における欠陥検査装置を概略的に示した図面である。
図１は、本開示の一実施例における欠陥検査装置を概略的に示した図面である。
【0031】
図１によると、欠陥検査装置（１）は、ロボットアーム（１００）、照明部（２００）、第１カメラ部（３００）、移送部（４１０）、分類移送部（４２０、４３０）、ディスプレイ部（５００）、光出力部（６１０、６２０）、第２カメラ部（７００）及び制御部（８００）を含むことができる。欠陥検査装置（１）は、上述の構成要素を支持するためのハウジング、カバー、支持ブロック、ブラケット等のような付属要素を含むことができる。ただし、上述の構成要素は、欠陥検査装置（１）を実装するに当たり、必須のものではなく、欠陥検査装置（１）に含まれる構成要素は、上述の構成構成より多かったり、少なかったりすることができる。
【0032】
欠陥検査装置（１）は、対象（１０）に欠陥があるか否かを検査するための装置になり得る。欠陥検査装置（１）は、後述する構成要素によって実現され、対象（１０）の欠陥を検査できる。対象（１０）は、欠陥があるか否かの判断対象になり得る。対象（１０）は、欠陥検査装置（１）の構成要素ではなく、欠陥検査装置（１）の構成又は動作を説明するための付随的な構成である。例えば、欠陥検査装置（１）は、製品の一部分である部品に欠陥があるか否かを判断することもでき、完成品に欠陥があるか否かを判断することもできる。前述の欠陥検査装置の役割に係る具体的な記載は、例示に過ぎず本開示はこれに限定されない。
【0033】
ロボットアーム（１００）は、対象（１０）を保持し、移動させることができる。ロボットアーム（１００）について、図２を用いて説明する。
【0034】
ロボットアーム（１００）は、対象（１０）を保持するための保持部（１１０）及び上記対象（１０）を移動させるための駆動部（１２０）を含むことができる。
【0035】
ロボットアーム（１００）は、欠陥検査のために移送部（４１０）によって欠陥検査装置（１）の外部から内部へ移送された対象（１０）を保持し、移動させることができる。ロボットアーム（１００）は、移送部（４１０）の上の第１位置（１２）に位置した対象（１０）を保持することができる。ロボットアーム（１００）は、第１位置（１２）に位置した対象（１０）を第２位置（１４）に位置するように移動させることができる。ロボットアーム（１００）は、欠陥検査のために第１カメラ部（３００）によって対象（１０）が撮影されることができるように対象（１０）を第２位置（１４）に位置するように移動させることができる。第１位置（１２）は、移送部（４１０）の一側に係る位置になり得る。第１位置（１２）は、ロボットアーム（１００）によって対象（１０）が保持されるために、移送部（４１０）によって欠陥検査装置（１）の外部から内部へ移送された対象（１０）が停止して配置される位置になり得る。第２位置（１４）は、第１カメラ部（３００）の撮影によって取得された画像に対象（１０）の少なくとも一部が含まれるようにする位置になり得る。ロボットアーム（１００）は、欠陥検査が完了した対象を欠陥検査装置（１）の内部から外部へ移送するために、第２位置（１４）から分類移送部（４２０、４３０）へ移動させることができる。ロボットアーム（１００）は、対象（１０）の欠陥有無に基づき、第１分類移送部（４２０）又は第２分類移送部（４３０）へ対象（１０）を移動させることができる。
【0036】
ロボットアーム（１００）の駆動部（１２０）は対象（１０）を移動させることができる。本開示の一実施例において、ロボットアーム（１００）の駆動部（１２０）は、対象（１０）を第１位置（１２）から第２位置（１４）へ移動させることができる。本開示の一実施例において、ロボットアーム（１００）の駆動部（１２０）は、第２位置（１４）における対象（１０）の配置を変えることができる。駆動部（１２０）は、第１カメラ部（３００）が最初の配置状態とは違う配置状態での対象（１０）を撮影し、最初の視点とは違う視点で撮影された画像を取得できるように対象（１０）の配置状態を調整することができる。例えば、駆動部（１２０）は、第１カメラ部（３００）によって対象（１０）の上部が撮影された画像を取得することができるように第１配置状態に対象（１０）を移動させることができ、さらに対象（１０）の側面部が撮影された画像を取得できるように第１配置状態から第２配置状態へ対象（１０）を移動させることができる。例えば、第１カメラ部（３００）の広角で撮影できる範囲より対象（１０）が大きい場合、駆動部（１２０）は、分割撮影のために対象（１０）を移動させることができる。例えば、駆動部（１２０）は、分割撮影のために、対象の一面の第１部分を撮影してから、同一面において第１部分を除いた残りの第２部分を撮影するように対象（１０）を移動させることができる。例えば、対象（１０）が六面体の場合、駆動部（１２０）は、６つの面それぞれを第１カメラ部（３００）で撮影するために、第２位置（１４）において対象（１０）の配置状態を５回変更することができる。前述の駆動部（１２０）の動作に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。
【0037】
ロボットアーム（１００）の駆動部（１２０）は、多軸多関節構造からなるものになり得る。ロボットアーム（１００）の駆動部（１２０）は、対象（１０）の移動のために、対象（１０）を回転させるための少なくとも１つの駆動軸（１２１、１２２、１２３、１２４、１２５、１２６）を含むことができる。例えば、ロボットアーム（１００）は、回転軸が６つある６関節で動作する構造になり得る。ロボットアーム（１００）の駆動部（１２０）は、第１駆動軸（１２１）、第２駆動軸（１２２）、第３駆動軸（１２３）、第４駆動軸（１２４）、第５駆動軸（１２５）及び第６駆動軸（１２６）を含むことができる。駆動部（１２０）に含まれた１つ以上の駆動軸は互いに離隔されていることが可能である。第６駆動軸（１２６）は、ロボットアーム（１００）の保持部（１１０）と繋がっていることが可能である。前述のロボットアーム（１００）に係る具体的な記載は例示に過ぎず、本開示はこれにより制限されず、ロボットアーム（１００）は対象（１０）を移動させることのできる多様な構造を持つことが可能である。
【0038】
ロボットアーム（１００）の保持部（１１０）について図３を用いて説明する。ロボットアーム（１００）の駆動部（１１０）は対象（１０）を保持することができる。ロボットアーム（１００）の保持部（１１０）は、対象（１０）の欠陥有無の検出のために、移送部（４１０）上の第１位置（１２）に位置する対象（１０）を保持することができる。ロボットアーム（１００）の保持部（１１０）は、対象（１０）の欠陥有無の検出が完了してから、分類移送部（４２０、４３０）上に対象（１０）が位置するように、対象（１０）がロボットアーム（１００）から離れるようにすることができる。ロボットアーム（１００）の保持部（１１０）は、対象（１０）を保持し、欠陥有無を検出する過程において対象（１０）が落下することを防止できる。前述のロボットアーム（１００）の対象に対する動作に係る記載は、例示に過ぎず本開示はこれらに限定されない。
【0039】
ロボットアーム（１００）の保持部（１１０）は、１つ以上のサブ保持部（１１１、１１２、１１３、１１４）で構成されることが可能である。１つ以上のサブ保持部（１１１、１１２、１１３、１１４）は、互いに離隔されるように配置されることが可能である。保持部（１１０）は、保持しようとする対象（１０）の形状によって異なる数のサブ保持部を含むことができる。１つ以上のサブ保持部（１１１、１１２、１１３、１１４）は、保持しようとする対象（１０）の形状によって配置が変わってくる場合がある。例えば、ロボットアーム（１００）の保持部（１１０）は、第１サブ保持部（１１１）、第２サブ保持部（１１２）、第３サブ保持部（１１３）及び第４サブ保持部（１１４）で構成されることが可能である。例えば、ロボットアーム（１０）の一面が四角形の形状を持つ場合、上記第１サブ保持部（１１１）、第２サブ保持部（１１２）、第３サブ保持部（１１３）及び第４サブ保持部（１１４）は、四角形の形状に配置されることも可能である。例えば、対象（１０）の一面が平ではなく段差のある面の場合、２つ以上のサブ保持部の長さがそれぞれ異なるように構成されることが可能である。前述の駆動部（１１０）に含まれるサブ保持部の配置と数に係る具体的な記載は例示に過ぎず本開示はこれらに限定されない。
【0040】
本開示の一実施例において、ロボットアーム（１００）のサブ保持部（１１１、１１２、１１３、１１４）は、圧力を利用して対象（１０）を保持することができる。例えば、サブ保持部（１１１、１１２、１１３、１１４）は、油圧や空気圧を利用して対象（１０）を保持できる。サブ保持部（１１１、１１２、１１３、１１４）は、サブ保持部（１１１、１１２、１１３、１１４）の下段に位置する流入口を通じて外部の空気を吸入して圧縮されることができる。サブ保持部（１１１、１１２、１１３、１１４）の流入口を通じて吸入された外部空気は、排出口を通じて排出されることができる。サブ保持部（１１１、１１２、１１３、１１４）を外部の空気が通りながら発生した圧力差によって対象（１０）がサブ保持部（１１１、１１２、１１３、１１４）の下段に圧着されることができる。前述のサブ保持部（１１１、１１２、１１３、１１４）に係る具体的な記載は、例示に過ぎず本開示はこれに制限されず、保持部（１１０）は対象（１０）を保持するための多様な構造を持つことができる。
【0041】
本開示の一実施例において、ロボットアーム（１００）のサブ保持部（１１１、１１２、１１３、１１４）は、電磁気力を利用して対象（１０）を保持することができる。サブ保持部（１１１、１１２、１１３、１１４）は、電源の供給を受けて電磁気力を発生させ、上記電磁気力で対象（１０）の一面をサブ保持部（１１１、１１２、１１３、１１４）に密着又は吸着させることができる。サブ保持部（１１１、１１２、１１３、１１４）はさらに、サブ保持部（１１１、１１２、１１３、１１４）の下段の噴射口を通じて対象（１０）の一面に空気を噴射し、対象（１０）との間に空間を空けることができる。サブ保持部（１１１、１１２、１１３、１１４）は、電磁気力及び空気噴射を利用して、対象（１０）がサブ保持部（１１１、１１２、１１３、１１４）から一定の間隔を空けて離れた状態で移動するようにすることができる。前述のサブ保持部（１１１、１１２、１１３、１１４）に係る具体的な記載は、例示に過ぎず本開示はこれに限定されず、保持部（１１０）は対象（１０）を保持するための多様な構造を持つことができる。
【0042】
本開示の一実施例において、ロボットアーム（１００）のサブ保持部（１１１、１１２、１１３、１１４）は、吸着パッドや真空パッド（ｓｕｃｔｉｏｎ ｐａｄ）で構成され、対象（１０）を保持することができる。サブ保持部（１１１、１１２、１１３、１１４）は、対象（１０）に弾性密着されるように構成されることが可能である。前述のサブ保持部（１１１、１１２、１１３、１１４）に係る具体的な記載は、例示に過ぎず本開示はこれに制限されず、保持部（１１０）は対象（１０）を保持するための多様な構造を持つことができる。
【0043】
本開示の一実施例において、ロボットアーム（１００）のサブ保持部（１１１、１１２、１１３、１１４）は、クリッパーで構成され、対象（１０）を保持することができる。例えば、クリッパーはニドルピンで構成されることができる。サブ保持部（１１１、１１２、１１３、１１４）は、クリッパーを利用して対象（１０）の両端を固定して持ち上げることができる。前述のサブ保持部（１１１、１１２、１１３、１１４）に係る具体的な記載は、例示に過ぎず本開示はこれに制限されず、保持部（１１０）は対象（１０）を保持するための多様な構造を持つことができる。
【0044】
照明部（２００）について、図４および図５を用いて説明する。図４は、本開示の一実施例における欠陥検査装置に適用される照明部の断面を図示した図面である。図５は、本開示の一実施例における欠陥検査装置に適用される照明部の正面を図示した図面である。
【0045】
照明部（２００）は、対象（１０）の外観に光を照射するための欠陥検査装置（１）の構成になり得る。照明部（２００）は、欠陥を検査するために対象（１０）が第２位置（１４）に位置しているとき、対象（１０）の外観に光を照射することができる。照明部（２００）を構成する２つ以上のサブ照明部（２１０、２２０、２３０）の各々の内部の面に位置する発光部（２１０ｃ、２２０ｃ、２３０ｃ）の各々は、第２位置（１４）の対象（１０）に光を照射するように配置されることができる。照明部（２００）は、対象（１０）の外観に２つ以上の異なる種類の光を照射することができる。照明部（２００）は、２つ以上の異なる光の強さ、光の色相、光の方向及び光のパターンのうち少なくとも１つを持つ光を対象（１０）の外観に照射することができる。例えば、照明部（２００）に含まれた第１照明部（２１０）が対象（１０）の一面を基準に第１角度の光を照射し、第２照明部（２００）が対象（１０）の一面を基準に第２角度の光を照射することができる。
【0046】
照明部（２００）は２つ以上のサブ照明部（２１０、２２０、２３０）で構成されることができる。照明部（２００）は、内部に空間を形成することができる。照明部（２００）は内部に空間が形成された２つ以上のサブ照明部（２１０、２２０、２３０）で構成されることができる。サブ照明部（２１０、２２０、２３０）は、錐台形状に構成されることが可能である。サブ照明部（２１０、２２０、２３０）は、円錐台形状又は角錐状を持つことが可能である。サブ照明部（２１０、２２０、２３０）の厚みであることが可能であり、錐台をとり囲む形に構成されることができる。サブ照明部（２１０、２２０、２３０）の錐台の中心部には空間が形成されることが可能である。照明部（２００）の内部空間の一側に第１カメラ部（３００）が位置しており、他側にロボットアーム（１００）によって対象（１０）が位置することが可能であり、内部空間を通じて第１カメラ部（３００）が対象（１０）の外観を撮影できる。サブ照明部（２１０、２２０、２３０）は、錐台形状の内部の面の少なくとも一部に光を照射する発光部（２１０ｃ、２２０ｃ、２３０ｃ）を含むことができる。例えば、発光部（２１０ｃ、２２０ｃ、２３０ｃ）は、ＬＥＤ照明、近赤外光照明、近紫外光照明等になり得る、本開示はこれに限られない。
【0047】
照明部（２００）は、２段以上のサブ照明部で構成されることが可能である。照明部（２００）は、第１サブ照明部（２１０）、第２サブ照明部（２２０）及び第３サブ照明部（２３０）が内部空間を中心に直列に繋がることが可能である。照明部（２００）を構成する２つ以上のサブ照明部（２１０、２２０、２３０）は、互いに離隔されるように配置されることができる。サブ照明部（２１０、２２０、２３０）の配置状態に係る具体的な記載は例示に過ぎず、本開示はこれにより制限されず、対象（１０）に光を照射するための他の方法により配置されることが可能である。
【0048】
照明部（２００）は２つ以上の異なる形状のサブ照明部（２１０、２２０、２３０）で構成されることができる。２つ以上のサブ照明部（２１０、２２０、２３０）の各々の錐台形状の下面の幅と上面の幅の比率は相異なる場合があり得る。上述の下面及び上面は、サブ照明部（２１０、２２０、２３０）の形状を説明するための用語に過ぎず、実際に面が形成されているわけではなく、錐台の下面及び上面に当たる部分は、サブ照明部（２１０、２２０、２３０）において空いており照明部（２００）の内部空間を形成する部分である。第１サブ照明部の上面の幅（２１０ａ）と第１サブ照明部下面の幅（２１０ｂ）との比率は、第２サブ照明部上面の幅（２２０ａ）と第２サブ照明部下面の幅（２２０ｂ）との比率とは相異なる場合がある。第１サブ照明部の上面の幅（２１０ａ）と第１サブ照明部下面の幅（２１０ｂ）との比率は、第３サブ照明部の上面の幅（２３０ａ）と第３サブ照明部の下面の幅（２３０ｂ）との比率とは相異なる場合がある。つまり、照明部（２００）の側面から断面図で確認したとき、第１サブ照明部の角度、第２サブ照明部の角度及び第３サブ照明部の角度は相異なる場合がある。サブ照明部（２１０、２２０、２３０）の形状に係る具体的な記載は例示に過ぎず、本開示はこれにより制限されず、対象（１０）に光を照射するための他の方法により形成されることが可能である。
【0049】
照明部（２００）を構成する２つ以上のサブ照明部（２１０、２２０、２３０）は、予め決められた順番に沿って発光することができる。本開示の一実施例において、照明部（２００）を構成する２つ以上のサブ照明部（２１０、２２０、２３０）の各々は、それぞれ異なる時点に発光することが可能である。例えば、第１サブ照明部（２１０）がつき対象（１０）の撮影が完了してから、第１サブ照明部（２１０）が消え、第２サブ照明部（２２０）がつくことが可能である。本開示の一実施例において、照明部（２００）を構成する２つ以上のサブ照明部（２１０、２２０、２３０）は、同時につくこともあれば相異なる時点につくすることも可能である。例えば、第１サブ照明部（２１０）及び第２サブ照明部（２２０）は、第１時点につくことが可能であり、第３サブ照明部は第２時点につくことも可能である。前述の照明部（２００）の発光する順番やつく時点に係る具体的な記載は例示に過ぎず本開示はこれらに限定されない。
【0050】
対象（１０）の外観に２つ以上の異なる種類の光を照射することにより対象（１０）の欠陥を検査する場合、人が光のもとで対象（１０）を手に取って肉眼で検査することと同じ効果が得られる。２つ以上の異なる種類の光を利用して欠陥検査を行うことにより、特定の方向、種類、強さ等の光でのみ確認できた対象（１０）の欠陥もすべて検出可能になる。相異なる種類の光を照射することにより、光の方向によって見え方が変わる欠陥部位まで検出することができ、欠陥検査装置（１）の精度が高まることが期待できる。
【0051】
第１カメラ部（３００）は、対象（１０）の外観を撮影するための欠陥検査装置（１）の一構成になり得る。第１カメラ部（３００）について、図４および図５を用いて説明する。第１カメラ部（３００）は、照明部（２００）と連結されることが可能である。第１カメラ部（３００）は、照明部（２００）の一側に配置され照明部（２００）の他側に配置された対象（１０）の外観を撮影することができる。第１カメラ部（３００）は、対象（１０）が照明部（２００）の他側である第２位置（１４）に配置された場合、対象（１０）を撮影することができる。
【0052】
本開示の一実施例において、第１カメラ部（３００）は、ロボットアーム（１００）によって対象（１０）が配置されたとき、それぞれ異なる照明条件のもとで２つ以上の画像を撮影することができる。例えば、第１カメラ部（３００）は、対象（１０）の配置状態は変えずに、第１サブ照明部（２１０）の光を対象（１０）の外観に照射したときに対象（１０）を撮影して第１判断対象画像を取得し、第２サブ照明部（２２０）の光を対象（１０）の外観に照射したときに対象（１０）を撮影して第２判断対象画像を取得し、さらに第３サブ照明部（２３０）の光を対象（１０）の外観に照射したときに対象（１０）を撮影して第３画像を取得することができる。前述の第１カメラ部（３００）の撮影方法に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。
【0053】
本開示の一実施例において、第１カメラ部（３００）は、対象（１０）がロボットアーム（１００）によって再配置され停止状態になる度、対象（１０）の外観を撮影することができる。第１カメラ部（３００）が、対象（１０）の他の面を他の角度から撮影できるように、ロボットアーム（１００）は、第２位置（１４）において対象（１０）の配置状態を変更することができる。例えば、第１カメラ部（３００）は、対象（１０）が第１配置状態になっているとき対象（１０）の左側面を撮影してから、ロボットアーム（１００）により対象（１０）が第１配置状態から第２配置状態へ変わった場合、対象（１０）の右側面を撮影することができる。前述の第１カメラ部（３００）の撮影方法に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。
【0054】
第１カメラ部（３００）は、多様な形態の画像を撮影することが可能である。第１カメラ部（３００）の撮影結果物は、３Ｄ画像、白黒画像、時間の経過に沿って保存されるＧＩＦ画像、動画、赤外線画像、電子画像等を含むことが可能である。また第１カメラ部（３００）は、フィルムカメラ、デジタルカメラ、顕微鏡、拡大鏡、赤外線カメラ、紫外線（ＵＶ）カメラ、Ｘ－Ｒａｙ、磁気共鳴映像装置及び任意の画像取得装置を含むことが可能である。第１カメラ部（３００）は、撮影される対象（１０）の撮影物によって構成が変わることもあり得る。
【0055】
本開示の一実施例において、第１カメラ部（３００）は、第１配置状態の対象（１０）を２つ以上の照明条件のもとで撮影し２つ以上の画像を取得し、第２配置状態の対象（１０）を２つ以上の照明条件のもとで撮影し他の２つ以上の画像を取得できる。
【0056】
第１カメラ部（３００）が対象（１０）を撮影して取得した画像に基づき、欠陥検査装置（１）は、対象（１０）に欠陥があるか否かを判断することができる。
【0057】
移送部（４１０）は、欠陥検査のために対象（１０）を移送することができる。移送部（４１０）について図６を用いて説明する。
【0058】
移送部（４１０）は、対象（１０）を欠陥検査装置（１）の外部から欠陥検査装置（１）の内部へ移送することができる。例えば、移送部（４１０）は、ベルトコンベアで構成されることもできるが、これは例示に過ぎず本開示はこれらに限定されない。
【0059】
移送部（４１０）は、欠陥検査装置（１）の外側に設置された移送部第１センサー（４１４）及び欠陥検査装置（１）の内側に設置された移送部第２センサー（４１６）を含むことができる。移送部第１センサー（４１４）は、対象（１０）が移送部（４１０）の一側に置かれたことを感知することができる。移送部第１センサー（４１４）によって対象（１０）が感知された場合、移送部（４１０）が作動し、対象（１０）を欠陥検査装置（１）の内部へ移送することができる。移送部第２センサー（４１６）は、対象（１０）が移送部（４１０）の一側から他側へ移送されたことを感知することができる。移送部第２センサー（４１６）によって対象（１０）が感知された場合、移送部（４１０）が作動を中止し、対象（１０）が第１位置（１２）に位置するようにすることができる。移送部第２センサー（４１６）によって対象（１０）が感知された場合、ロボットアーム（１００）が対象（１０）を第１位置（１２）にて保持して移動させることができる。前述の移送部（４１０）に含まれた１つ以上のセンサーに係る具体的な説明は例示に過ぎず本開示はこれらに限定されない。
【0060】
移送部（４１０）は、欠陥検査装置（１）の外側に設置された移送部第３センサー（４１２ａ、４１２ｂ）を含むことができる。移送部第３センサーの左側（４１２ａ）と移送部第３センサーの右側（４１２ｂ）との間にオブジェクトが感知された場合、移送部（４１０）の作動を停止させることができる。例えば、移送部第３センサー（４１２ａ、４１２ｂ）は、赤外線センサーになり得る。例えば、移送部第３センサー（４１２ａ、４１２ｂ）によって人の体の一部分（例えば、手）が感知された場合、移送部（４１０）の作動を停止させることができる。上述の移送部第３センサー（４１２ａ、４１２ｂ）の構成要素は、いずれも必須的なものではなく、他の構成要素が追加されたり、上述の構成要素が除かれることがあり得る。前述の移送部第３センサー（４１２ａ、４１２ｂ）に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。
【0061】
分類移送部（４２０、４３０）は、対象（１０）に対する欠陥検査結果に基づき、対象（１０）を分類して移送することができる。分類移送部（４２０、４３０）について図７を用いて説明する。
【0062】
分類移送部（４２０、４３０）は、第１分類移送部（４２０）及び第２分類移送部（４３０）を含むことができる。第１分類移送部（４２０）は、対象（１６）に欠陥がなかった場合、対象（１６）を欠陥検査装置（１）の内部から外部へ移送することができる。第２分類移送部（４３０）は、対象（１８）に欠陥があった場合、対象（１８）を欠陥検査装置（１）の内部から外部へ移送することができる。分類移送部（４２０、４３０）は、ベルトコンベアで構成されることもできるが、これは例示に過ぎず本開示はこれらに限定されない。ロボットアーム（１００）は、対象（１０）に対する欠陥検査結果に基づき、対象（１６）に欠陥がなかった場合、第１分類移送部（４２０）の上に置かれるように対象（１６）を移動させて降ろして置き、対象（１８）に欠陥があった場合第２分類移送部（４３０）の上に置かれるように対象（１８）を移動させて降ろして置くことができる。
【0063】
分類移送部（４２０、４３０）は、欠陥検査装置（１）の内側に設置された分類移送部第１センサー（４２４、４３４）及び欠陥検査装置（１）の外側に設置された分類移送部第２センサー（４２６、４３６）を含むことができる。分類移送部第１センサー（４２４、４３４）は、欠陥検査が完了した対象（１０）が分類移送部（４２０、４３０）の一側に置かれたことを感知することができる。分類移送部第１センサー（４２４、４３４）によって対象（１０）が感知された場合、分類移送部（４２０、４３０）が作動し、対象（１０）を欠陥検査装置（１）の外へ移送することができる。分類移送部第２センサー（４２６、４３６）は、対象（１０）が分類移送部（４２０、４３０）の一側から他側へ移送されたことを感知することができる。分類移送部第２センサー（４２６、４３６）により対象（１０）が感知された場合、対象（１０）が欠陥検査装置（１）の外へ移動したことを認識し、分類移送部（４２０、４３０）が作動を中止することができる。前述の分類移送部（４２０、４３０）に含まれた１つ以上のセンサーに係る具体的な説明は例示に過ぎず本開示はこれらに限定されない。
【0064】
分類移送部（４２０、４３０）は、欠陥検査装置（１）の外側に設置された分類移送部第３センサー（４２２ａ、４２２ｂ、４３２ａ、４３２ｂ）を含むことができる。分類移送部第３センサーの左側（４２２ａ、４３２ａ）と分類移送部第３センサーの右側（４２２ｂ、４３２ｂ）との間にオブジェクトが感知された場合、移送部（４２０、４３０）の作動を停止させることができる。例えば、分類移送部第３センサー（４２２ａ、４２２ｂ、４３２ａ、４３２ｂ）は、赤外線センサーになり得る。例えば、分類移送部第３センサー（４２２ａ、４２２ｂ、４３２ａ、４３２ｂ）によって人の体の一部分（例えば、手）が感知された場合、分類移送部（４２０、４３０）の作動を停止させることができる。上述の分類移送部第３センサー（４２２ａ、４２２ｂ、４３２ａ、４３２ｂ）の構成要素は、いずれも必須的なものではなく、他の構成要素が追加されたり、上述の構成要素が除かれることがあり得る。前述の分類移送部第３センサー（４２２ａ、４２２ｂ、４３２ａ、４３２ｂ）に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。
【0065】
ディスプレイ部（５００）は、第１カメラ部（３００）が撮影した対象（１０）の画像及び対象（１０）の欠陥有無が表示された画像のうち少なくとも１つの画像を表示することができる。ディスプレイ部（５００）は、欠陥検査装置（１）の外側面に付いていることが可能である。対象（１０）の欠陥有無が表示された画像は、欠陥有無を示す画像にもなり得るが、対象（１０）のどの位置に欠陥があるのかを示す画像にもなり得る。例えば、ディスプレイ部（５００）は、第２配置状態の対象（１０）を撮影した画像にアノマリーデータが存在し対象（１０）に欠陥があると決定した場合、第２配置状態及び欠陥が存在する対象（１０）の位置を表示することができる。前述のディスプレイ部（５００）のディスプレイ関する動作に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。ディスプレイ部（５００）は、ＬＣＤ、ＬＥＤ、ＣＲＴ等の任意の視覚的出力装置で構成されることができる。前述のディスプレイの例示と構成要素は例示に過ぎず、本開示はこれらに限定されない。
【0066】
第１光出力部（６１０）は、対象（１０）に欠陥があるか否かを表示することができる。第１サブ光出力部（６１２）は、対象（１０）に欠陥があった場合に発光することができ、第２サブ光出力部（６１４）は、対象（１０）に欠陥がなかった場合に発光することが可能である。例えば、対象（１０）に欠陥がなかった場合、緑色の発光部が発光することができ、欠陥があった場合赤色の発光部が発光することが可能である。第２光出力部（６２０）は、移送部（４１０）及び分類移送部（４２０、４３０）のうち少なくとも１つに、予め決められた数以上の対象（１０）が積載された場合、通知を表示することができる。前述の光出力部に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。
【0067】
第２カメラ部（７００）は、対象（１０）が保持部（１１０）によって保持される前に対象（１０）を撮影することができる。第２カメラ部（７００）は、欠陥検査装置（１）を上から垂直に見下ろしたとき、欠陥検査装置（１）の第１位置（１２）の垂直で上に付いていることが可能である。第２カメラ部（７００）は、移送部（４１０）が停止して対象（１０）を第１位置（１２）に置かれるようにしたとき、対象（１０）を撮影することができる。ロボットアーム（１００）の保持部（１１０）は、第２カメラ部（７００）から取得した対象（１０）の画像に基づき、保持部（１１０）が対象（１０）の配置状態に合わせて対象（１０）を保持するために並べ替えられることが可能である。対象（１０）が移送部（４１０）上の第１位置において移送部（４１０）に対し平行に置かれた場合、保持部（１１０）も対象（１０）を保持するために並行に並べられることが可能である。例えば、第１サブ保持部（１１１）が対象（１０）の一側面の４つの角のうち第１角側に圧着され、第２サブ保持部（１１２）が対象（１０）の一側面の４つの角のうち第２角側に圧着され、第３サブ保持部（１１３）が対象（１０）の一側面の４つの角のうち第３角側に圧着され、第４サブ保持部（１１４）が対象（１０）の一側面の４つの角のうち第４角側に圧着されるように並べられることが可能である。前述の第２カメラ部（７００）の位置及び保持部（１１０）の並べられ方に係る具体的な記載は例示に過ぎず、本開示はこれにより制限されず、第２カメラ部（７００）が対象（１０）を撮影し、保持部（１１０）が対象（１０）の配置状態に合わせて並べ替えられ、対象（１０）を保持できるようにするあらゆる方法によって実現できる。
【0068】
制御部（８００）は、欠陥検査装置（１）の動作を制御することが可能である。制制御（８００）は、ロボットアーム（１００）、照明部（２００）、第１カメラ部（３００）、移送部（４１０）、分類移送部（４２０、４３０）、ディスプレイ部（５００）、光出力部（６１０、６２０）及び第２カメラ部（７００）のうち少なくとも１つを動作させることができる。
【0069】
以下に本開示の一実施例における欠陥検査装置を実現するための欠陥検査方法について説明する。
【0070】
本開示の一実施例においてサーバーには、サーバーのサーバー環境を実装するための他の構成が含まれることもあり得る。サーバーはあらゆる形態の装置をすべて含むことができる。サーバーは、デジタル機器として、ラップトップコンピューター、ノートパソコン、デスクトップコンピューター、ウェブパッド、携帯電話のようにプロセッサーが搭載されメモリーが備えられた、演算機能を持つデジタル機器になり得る。サーバーは、サービスを処理するウェブサーバーになり得る。前述のサーバーの種類は例示に過ぎず本開示はこれらに限定されない。
【0071】
本明細書の全体を通して、モデル、神経回路網、ネットワーク関数、ニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、同一の意味で使われることができる。神経回路網は、一般的に「ノード」と呼ばれることのできる相互連結された計算単位の集合で構成されることができる。このような「ノード」は、「ニューロン（ｎｅｕｒｏｎ）」と称されることもできる。神経回路網は少なくとも１つ以上のノードを含めて構成される。神経回路網を構成するノード（又はニューロン）は１つ以上の「リンク」によって相互連結されることができる。
【0072】
神経回路網において、リンクを介して繋がっている１つ以上のノードは、相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは、他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。１つの入力ノードに１つ以上の出力ノードがリンクを介して繋がることができ、その逆も成立する。
【0073】
１つのリンクを介して繋がっている入力ノード及び出力ノードの関係において、出力ノードは入力ノードに入力されたデータに基づきその値が決められることができる。ここで入力ノードと出力ノードとを相互連結するノードは重み（ｗｅｉｇｈｔ）を持つことができる。重みは可変的なものになり得るが、神経回路網が所望の機能を行うために、利用者又はアルゴリズムによって変わることができる。例えば、１つの出力ノードに１つ以上の入力ノードが各リンクによって相互連結された場合、出力ノードは上記出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された重みに基づき出力ノードの値を決定することができる。
【0074】
前述のように、神経回路網は、１つ以上のノードが１つ以上のリンクを通じて相互連結され神経回路網の中で入力ノードと出力ノードの関係を形成する。神経回路網の中で、ノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された重みの値によって、神経回路網の特性が決まることができる。例えば、同数のノード及びリンクが存在し、各リンクの重みの値が異なる２つの神経回路網が存在する場合、２つの神経回路網は、相異なるものと認識されることができる。
【0075】
神経回路網は、１つ以上のノードを含めて構成されることができる。神経回路網を構成する数のノードのうち一部は、第１入力ノードからの距離に基づき、１つのレイヤー（ｌａｙｅｒ）を構成することができる。例えば、第１入力ノードからの距離がｎであるノードの集合は、ｎレイヤーを構成することができる。第１入力ノードからの距離は、第１入力ノードから当該ノードに到達するために経由しなければならないリンクの最小限の数によって定義されることができる。しかし、このようなレイヤーの定義は、説明のために任意に取り上げたものであり、神経回路網の中におけるレイヤーの構成は、前述の説明と異なる方法で定義されることができる。例えば、ノードのレイヤーは、最終出力ノードからの距離によって定義されることもできる。
【0076】
第１入力ノードは、神経回路網の中のノードのうち、他のノードとの関係においてリンクを経由せずにデータが直接入力される１つ以上のノードを意味することができる。又は、神経回路網のネットワークの中で、リンクを基準にしたノード間の関係において、リンクによって繋がる他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは、神経回路網の中のノードのうち、他のノードとの関係において、出力ノードを持たない１つ以上のノードを意味することができる。また、隠れノードは、第１入力ノード及び最終出力ノードではないノードで、神経回路網を構成するノードを意味することができる。本開示の一実施例における神経回路網は、入力レイヤーのノードの数が、出力レイヤーに近い隠れレイヤーのノードの数より多い場合があり、入力レイヤーから隠れレイヤーへと進むにつれ、ノードの数が減少する形の神経回路網になり得る。
【0077】
ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、深層神経回路網）は、入力レイヤーと出力レイヤー以外に複数の隠れレイヤーを含む神経回路網を意味することができる。ディープニューラルネットワークを利用するとデータの潜在的な構造（ｌａｔｅｎｔ ｓｔｒｕｃｔｕｒｅｓ）を把握することができる。つまり、写真、文章、ビデオ、音声、音楽の潜在的な構造（例えば、ある物体が写真に写っているかどうか、文章の内容と感情はどのようなものなのか、音声の内容と感情はどのようなものなのか等）を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、リカレントニューラルネットワーク（ＲＮＮ；ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、制限ボルツマンマシン（ＲＢＭ：ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ）、深層信頼ネットワーク（ＤＢＮ：ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、Ｑネットワーク、Ｕネットワーク、シャムネットワーク等を含むことが可能である。
【0078】
畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、ディープニューラルネットワークの一種であり、畳み込みレイヤーを含む神経回路網を含む。畳み込みニューラルネットワークは、最低限の前処理（ｐｒｅｐｒｏｃｅｓｓ）を使うように設計された多層パーセプトロン（ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｏｒｎｓ）の一種である。ＣＮＮは１つ又は複数の畳み込みレイヤーと、これと結合した人工神経回路網の階層により構成されることができ、さらに重みとプーリングレイヤー（ｐｏｏｌｉｎｇ ｌａｙｅｒ）を活用することができる。このような構造を持つためＣＮＮは、２次元構造の入力データを十分に活用できる。畳み込みニューラルネットワークは、画像からオブジェクトを認識するために使われることができる。畳み込みニューラルネットワークは、画像データを次元を持つ行列で表し処理することができる。例えばＲＧＢ（ｒｅｄ－ｇｒｅｅｎ－ｂｌｕｅ）でエンコードされた画像データの場合、Ｒ、Ｇ、Ｂの色相別にそれぞれ２次元（例えば、２次元画像である場合）行列で表すことができる。つまり、画像データの各ピクセルの色相値が行列の成分になり得るとともに、行列の大きさは画像の大きさと同じ大きさになり得る。従って画像データは、３つの２次元行列で（３次元のデータアレー）表すことができる。
【0079】
畳み込みニューラルネットワークにおいて、畳み込みフィルターを移動しながら、畳み込みフィルターと画像の各位置での行列成分同士を乗じることで、畳み込みのプロセス（畳み込みレイヤーの入出力）を遂行することができる。畳み込みフィルターはｎ＊ｎの形の行列で構成されることができ、一般的に画像の全体のピクセル数より小さい固定された形のフィルターで構成されることができる。つまり、ｍ＊ｍの画像を畳み込みレイヤー（例えば、畳み込みフィルターのサイズがｎ＊ｎである畳み込みレイヤー）に入力させる場合、画像の各ピクセルを含むｎ＊ｎのピクセルを表す行列が畳み込みフィルターと成分積（つまり、行列の各成分同士の積）になり得る。畳み込みフィルターとの乗算によって画像から畳み込みフィルターとマッチする成分が抽出されることができる。例えば、画像から上下直線成分を抽出するための３＊３畳み込みフィルターは［［０、１、０］、［０、１、０］、［０、１、０］］のように構成されることができ、こうした畳み込みフィルターが入力画像に適用されると画像から畳み込みフィルターとマッチする上下直線成分が抽出され出力されることができる。畳み込みレイヤーは、画像を示す個々のチャンネルに対する個々の行列（つまり、Ｒ、Ｇ、Ｂコーティング画像の場合、Ｒ、Ｇ、Ｂ色相）に畳み込みフィルターを適用することができる。畳み込みレイヤーは、入力画像に畳み込みフィルターを適用して入力画像から畳み込みフィルターとマッチする特徴を抽出することができる。畳み込みフィルターのフィルター値（つまり、行列の各成分の値）は、畳み込みニューラルネットワークの学習プロセスにおいて逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）によって更新されることができる。
【0080】
畳み込みレイヤーの出力には、サブサンプリングレイヤーが繋がり、畳み込みレイヤーの出力を単純化してメモリー使用量と演算量を減らすことができる。例えば、２＊２マックスプーリングフィルターを持つプーリングレイヤーに畳み込みレイヤーの出力を入力させる場合、画像の各ピクセルから２＊２パッチごとに各パッチに含まれる最大値を出力して画像を圧縮することができる。前述のプーリングは、パッチから最小値を出力したり、パッチの平均値を出力する方式になることもあり、任意のプーリング方式が本開示に含まれることもできる。
【0081】
畳み込みニューラルネットワークは、一つ以上の畳み込みレイヤー、サブサンプリングレイヤーを含むことができる。畳み込みニューラルネットワークは、畳み込みのプロセスとサブサンプリングのプロセス（例えば、前述のマックスプーリング等）を繰り返し遂行して画像から特徴を抽出することができる。畳み込みのプロセスとサブサンプリングのプロセスを繰り返すことで、ニューラルネットワークは、画像のグローバルな特徴を抽出することができる。
【0082】
畳み込みレイヤーやサブサンプリングレイヤーの出力は、全結合レイヤー（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）に入力されることができる。全結合レイヤーは、一つのレイヤーにあるすべてのニューロンと隣り合っているレイヤーにあるすべてのニューロンが繋がるレイヤーである。全結合レイヤーは、ニューラルネットワークにおいて各レイヤーのすべてのノードが他のレイヤーのすべてのノードに繋がっている構造を意味することができる。
【0083】
本開示の一実施例において、画像データのセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）を遂行するためにニューラルネットワークは、逆畳み込みニューラルネットワーク（ＤＣＮＮ：Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含むことができる。逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークを逆方向に計算させたのと類似した動作を遂行し、畳み込みニューラルネットワークで抽出された特徴を原本データに係る特徴マップとして出力することができる。
【0084】
本明細書においてネットワーク関数は、１つ以上のニューラルネットワークを含むこともでき、この場合、ネットワーク関数の出力は、１つ以上のニューラルネットワークの出力のアンサンブル（ｅｎｓｅｍｂｌｅ）になり得る。モデルは他のモデルとともにデータ処理を行うことができる。モデルは他のモデルと直列又は並列に相互連結されることができる。以下においてモデルは、ニューラルネットワークと同義語として使われることができる。欠陥検査モデル（９００）はニューラルネットワーク（９００）と称されることができ、第１サブモデル（９１０）は、第１サブネットワーク（９１０）と称されることができ、第２サブモデル（９３０）は、第２サブネットワーク（９３０）と称されることもできる。
【0085】
図８は、本開示の一実施例におけるシャムネットワーク（Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋ）を図示した図面である。
【0086】
シャムネットワーク（９００）（Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋ）は、カテゴリ別学習データ（ｔｒａｉｎｇ ｄａｔａ）が十分ではない認識器に使用できるニューラルネットワークである。シャムネットワークは、データにおける類似性測定を学習することができる。シャムネットワークは、図８に示すように少なくとも部分的に重みを共有する２つ以上のニューラルネットワーク（９１０、９３０）（サブネットワーク）とニューラルネットワークからの出力が入力される比較モジュール（９５０）とを含むことができる。シャムネットワーク（９００）には少なくとも２つの画像が入力されることができる。シャムネットワーク（２００）は、入力された２つの画像の類似度を判断した結果を出力することができる。画像処理のためにシャムネットワークは、画像の入力を受ける２つの畳み込みニューラルネットワークを含むことができる。シャムネットワークにおいて、画像の入力を受ける２つの畳み込みニューラルネットワークは、重みの少なくとも一部を共有することが可能である。シャムネットワークに含まれたサブネットワークは、重み共有モジュール（９２０）によって重みを共有でき、サブネットワークが重みを共有することにより、シャムネットワークは入力された２つのデータに対して共通の重みで特徴を抽出し比較することができる。
【0087】
シャムネットワーク構造は、入力データの類似性を測定できる学習が可能なネットワーク構造であり、カテゴリが多く、トレーニングのためのデータが十分ではない場合に使われることができる。入力データ類似性測定の学習方法は、ターゲット空間での単純距離が入力空間での意味論的距離（ｓｅｍａｎｔｉｃ ｄｉｓｔａｎｃｅ）に近づくように入力パターンをターゲット空間に紐づける関数を探すプロセスを含むことができる。
【0088】
【0089】
２つの畳み込みニューラルネットワークは、相互対応するノード同士で重みを共有することが可能である。畳み込みニューラルネットワークから出力された特徴は、比較モジュール（９５０）にて互いに類似度が比較されることができる。このとき比較は、両畳み込みニューラルネットワークから出力された特徴の数学的距離に基づいて遂行されることができる。シャムネットワーク（９００）は、両画像を比較する方式を利用し、学習データが十分ではない場合にも画像データからオブジェクト等を認識でき、画像データの回転、変形等に敏感でないため一般的な（ｇｅｎｅｒａｌ）認識性能を持つことができる。
【0090】
ニューラルネットワークは、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）の中から少なくともいずれか１つの方式で学習されることができる。ニューラルネットワークの学習は出力の誤りを最小化するためのものである。ニューラルネットワークの学習において、繰り返し学習データをニューラルネットワークに入力させ、学習データに関するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向としてニューラルネットワークのエラーをニューラルネットワークの出力レイヤーから入力レイヤー方向へ逆伝播（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）してニューラルネットワークの各ノードの重みを更新するプロセスが行われる。教師あり学習の場合、個々の学習データに正解がラベリングされている学習データを使い（つまり、ラベリングされた学習データ）、教師なし学習の場合は、個々の学習データに正解がラベリングされていないことがあり得る。つまり、例えばデータ分類に関する教師あり学習における学習データは、学習データそれぞれにカテゴリがラベリングされたデータになり得る。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力（カテゴリ）と学習データのラベルを比較することで誤差（ｅｒｒｏｒ）が計算されることが可能である。計算された誤差は、ニューラルネットワークにおいて逆方向（つまり、出力レイヤーにおいて入力レイヤーに向かう方向）へ逆伝播され、逆伝播によってニューラルネットワークの各レイヤーの各ノードの連結重みが更新されることが可能である。更新される各ノードの連結重みは、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）によって変化量が決まることが可能である。入力データに関するニューラルネットワークの計算とエラーの逆伝播は、学習のサイクル（ｅｐｏｃｈ）を構成することができる。学習率は、ニューラルネットワークの学習のサイクルの反復回数によって適用方式が変わることが可能である。例えば、ニューラルネットワークの学習初期においては、学習率を高くしてニューラルネットワークが早く一定のレベルの性能を確保するようにすることで効率を高め、学習の後半においては学習率を低くして精度を上げることが可能である。
【0091】
ニューラルネットワークの学習において、一般的に学習データは実際のデータ（つまり、学習されたニューラルネットワークを利用して処理しようとするデータ）の部分集合であることが可能であり、そのため学習データに係る誤差は減少するが、実際のデータについては誤差が増加する学習サイクルが存在し得る。過剰適合（ｏｖｅｒ ｆｉｔｔｉｎｇ）は、このように学習データにおいて過度に学習したため、実際のデータにおいて誤差が増加する現象である。例えば、黄色い猫を見て猫を学習したニューラルネットワークが、黄色以外の色の猫を見ると猫であることを認識できない現象が過剰適合の一種になり得る。過剰適合は、マシンラーニングアルゴリズムの誤差を増加させる原因になり得る。このような過剰適合を防ぐために、多様な最適化方法が使われることができる。過剰適合を防ぐためには学習データを増加させたり、正則化（ｒｅｇｕｌａｉｚａｔｉｏｎ）、学習のプロセスにおいてネットワークのノードの一部を省略するドロップアウト（ｄｒｏｐ ｏｕｔ）等の方法が適用されることが可能である。
【0092】
図９は、本開示の一実施例において、欠陥検査装置を実現するための欠陥検査方法を簡略化して図示した概念図である。
【0093】
本開示の欠陥検査方法は、欠陥検査装置（１）の１つ以上の制御部（８００）によって行われることが可能である。本開示の欠陥検査装置（１）における１つ以上の制御部（８００）は、本開示の欠陥検査モデル（９００）の演算プロセスを実行することができる。本開示の欠陥検査方法におけるすべての演算プロセス（つまり、ニューラルネットワーク学習、特徴抽出、特徴比較等）は、欠陥検査装置（１）の制御部（８００）によって行われることが可能である。つまり、欠陥検査モデル（９００）においてデータを処理するという表現は、欠陥検査装置（１）の制御部（８００）が欠陥検査モデル（９００）を実行してデータを処理する過程を意味することが可能である。
【0094】
本開示の欠陥検査方法において欠陥検査装置（１）は、欠陥検査モデル（９００）にマスター画像（１０１０）及びスレーブ画像（１０３０）を入力し、欠陥検査モデル（９００）において計算した２つ画像の類似度計算結果に基づき結果を出力することができる。
【0095】
本開示のニューラルネットワークは、データの分類のために使われることができる。例えば、本開示のニューラルネットワークは、アノマリー検出（Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ）に使われることができる。
【0096】
アノマリーデータは、データの正常パターンからずれている異常データを意味することができる。データは否定形パターンを持つことがあり、アノマリーデータは、このような否定形パターンからずれているデータを意味することがある。例えば、生産工程において、生産製品の画像に関するデータは、正常製品という否定形パターンを持つことがあり、アノマリーデータは、正常製品という否定形パターンからずれているデータ（つまり、例えば、不良製品の画像等）になり得る。本開示における正常データ、否定形パターン、アノマリーデータに関する記載は例示に過ぎず、本開示はこれらに限定されない。
【0097】
より具体的に、本開示のニューラルネットワークは、生産工程においてアノマリー製品と正常製品を分類するために使われることができる。アノマリー製品は、欠陥のある対象（１８）になり得るし正常製品は、欠陥のない対象（１６）になり得る例えば、本開示の欠陥検査モデルは、対象（１０）に欠陥があるか否かを検査するために使われることができる。また本開示のニューラルネットワークは、画像セグメンテーション（ｉｍａｇｅ ｓｅｇｍａｎｔａｔｉｏｎ）のために使われることができる。画像セグメンテーションは、画像の一部を、他の一部と区分できるよう分離するプロセスを意味することができる。画像セグメンテーションは、例えば、画像から抽出されたエッジ、色相等に基づき、画像の一部を他の一部と区分できるように分離するプロセスを含むことができる。また、画像セグメンテーションは、画像からアノマリー部分の位置情報を抽出して画像の他の部分からアノマリーデータの位置を識別するプロセスになり得る。また画像セグメンテーションは、他の一部と区分された画像の一部を視覚化して表示するプロセスも含むことができる。例えば、本開示のニューラルネットワークは、画像においてアノマリー部分を表示するために使われることができる。
【0098】
マスター画像（１０１０）は、入力データのアノマリー（ａｎｏｍａｌｙ）の判断の基礎となる画像である。スレーブ画像（１０３０）は、アノマリーの判断対象となる画像である。本開示において、マスター画像（１０１０）は、正常な画像（１０１０）と同一の画像を指すものとして使われることができ、スレーブ画像（１０３０）は、判断対象画像（１０３０）と同一の画像を指すものとして使われることができる。
【0099】
本開示において、アノマリーデータは、データの正常なパターンからずれている異常なデータを意味することができる。例えば、アノマリーデータは、欠陥のある対象（１８）を第１カメラ部（３００）で撮影した画像になり得る。マスター画像（１０１０）は、アノマリーデータを含まない正常な画像だけを含む画像になり得る。スレーブ画像（１０３０）は、正常なパターンであることもあり、異常なデータであることもあり、ニューラルネットワークがそれを判断する対象となる画像である場合もある。例えば、マスター画像（１０１０）は、欠陥のない対象（１０）の外観を撮影した画像であることが可能であり、スレーブ画像（１０３０）は検査対象となる対象（１０）の外観を撮影した画像になり得る。
【0100】
欠陥検査モデル（９００）に入力される複数の画像は同一の大きさを持つことが可能である。また、欠陥検査モデル（９００）に入力される画像は、ニューラルネットワークの処理を容易にし、パッチを重ねて分類の精度を高めるために、一定の大きさのパッチ（ｐａｔｃｈ）に分離されることができる。例えば、マスター画像（１０１０）とスレーブ画像（１０３０）は、それぞれ２５６＊２５６ピクセルの大きさを持つ画像になり得るが、これらはそれぞれニューラルネットワーク、つまり欠陥検査モデル（９００）のサブモデルに入力されるために３２＊３２ピクセルの大きさを持つパッチに分離されることができる。画像におけるパッチ抽出は、画像の各ピクセルに対して遂行されることができ、個々のパッチは、重なり合う部分を持つことができる。例えば、画像の左上端のピクセルから３２＊３２ピクセルのパッチが抽出され、当該ピクセルの右側の隣接したピクセルから３２＊３２ピクセルのパッチを抽出する場合、各パッチは重なり合う部分を持つことができる。
【0101】
欠陥検査装置（１）は、ニューラルネットワーク（９００）に入力されたマスター画像（１０１０）とスレーブ画像（１０３０）からそれぞれ特徴を抽出することができる。欠陥検査装置（１）は、個々の特徴を比較してマスター画像（１０１０）とスレーブ画像（１０３０）の類似度を判断することができる。欠陥検査装置（１）は、マスター画像（１０１０）の特徴とスレーブ画像（１０３０）の特徴との間の数学的距離を求めて類似度を判断することができる。例えば、制御部（８００）は、マスター画像（１０１０）とスレーブ画像（１０３０）の類似度が予め決められたしきい値以下であった場合、スレーブ画像（１０３０）をアノマリーデータを含む画像であると判断することができる。また、制御部（８００）は、マスター画像（１０１０）の特徴とスレーブ画像（１０３０）の特徴とをディープニューラルネットワークで比較し、２つの画像において実際どのピクセルが相違しているかをピクセル単位で表すピクセルバイピクセルセグメンテーション出力（ｐｉｘｅｌ ｂｙ ｐｉｘｅｌ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｕｔｐｕｔ）を生成することもできる。欠陥検査装置（１）は、任意の比較アルゴリズムでサブネットワークの出力を相互比較することができる。欠陥検査装置（１）は、両特徴の差異を単純比較するだけでなく、両特徴の比較にニューラルネットワークを使用して両特徴の差異の度合い、差異のある部分のピクセルの位置等を出力することができる。
【0102】
図１０は、本開示の一実施例において、欠陥検査方法を実現するための欠陥検査モデルの構成を示す例示図である。
【0103】
【0104】
マスター画像（１０１０）とスレーブ画像（１０３０）は、それぞれニューラルネットワーク（９００）のサブネットワーク（９１０、９３０）に入力されることができる。欠陥検査装置（１）は、個々のサブネットワーク（９１０、９３０）を利用して入力された画像をそれぞれ演算し、入力された画像の特徴をそれぞれ抽出することができる。サブネットワーク（９１０、９３０）は、シャムネットワークの少なくとも一部を構成することができる。サブネットワーク（９１０、９３０）は、互いに、重みの少なくとも一部を共有して、比較モジュール（ｃｏｍｐａｒａｔｏｒ）（９５０）がマスター画像（１０１０）及びスレーブ画像（１０３０）に対して共通の重みで特徴を抽出して比較するようにすることができる。ここでサブネットワーク（９１０、９３０）は、ディープニューラルネットワーク構造を含むことができる。例えばネットワーク（９１０、９３０）のうち少なくとも１つは、畳み込みニューラルネットワーク構造を持つことができるが、本開示はこれらに限定されない。
【0105】
比較モジュール（９５０）は、畳み込みニューラルネットワークや任意の比較アルゴリズム構造を持つことができる。本開示の欠陥検査方法がスレーブ画像（１０３０）に存在するアノマリー部分（つまり、対象（１０）に欠陥がある部分）のピクセルの位置情報を出力する場合、比較モジュール（９５０）は、ディープニューラルネットワーク構造を持つことができる。本開示の比較方法がスレーブ画像（１０３０）にアノマリー部分が存在するか否かを出力する場合、比較モジュール（９５０）は、数学的比較アルゴリズムで構成されることができる。
【0106】
比較モジュール（９５０）は、個々のサブネットワーク（９１０、９３０）と直列（ｉｎ ｓｅｒｉｅｓ）に繋がることができる。ここで直列は、サブネットワークの出力の少なくとも一部が比較モジュール（９５０）の入力になったり、サブネットワークの一部が比較モジュール（９５０）と重なることがあり得ることを意味することができる。比較モジュール（９５０）は、複数の画像、画像の特徴を比較できる構成を持つことができ、比較モジュール（９５０）は、個々のサブネットワークから出力された特徴を相互比較して比較情報を生成することができる。比較モジュール（９５０）は、２つの特徴の数学的距離を比較する関数の形を取ることもあり、ディープニューラルネットワークで構成され２つの特徴の類似性を判断する構成にもなり得る。比較モジュール（９５０）がディープニューラルネットワークで構成される場合、比較モジュール（９５０）は、第１サブネットワーク（９１０）及び第２サブネットワーク（９３０）から受信されたデータから画像の類似性に関連する特徴を計算することができる。比較モジュール（９５０）は、任意のデータ比較アルゴリズムでサブネットワークから抽出された特徴を相互比較することができ、本開示は特定の比較アルゴリズムに限定されない。比較モジュール（９５０）は、ディープニューラルネットワーク構造を持つことができ、そのうち逆畳み込みニューラルネットワーク構造を含むことができる。
【0107】
比較モジュール（９５０）の比較結果に基づき、ニューラルネットワーク（９００）は、アノマリー関連情報を出力することができる。アノマリー関連データは、画像がアノマリーデータを含むか否か、又は、アノマリーデータを含む場合、アノマリーが存在するピクセルの位置情報を含むことができる。アノマリー関連データは、画像に含まれた対象（１０）に欠陥が含まれているか否か又は欠陥が含まれていた場合は、欠陥が存在するピクセルの位置情報を含むことができる。図１１のラベリング画像（１２５０）は、アノマリーが存在するピクセルの位置情報を視覚化して示す画像である。画像においてアノマリーが存在するピクセルの位置情報は、画像においてアノマリーが存在する部分に重ねられた形状で表示され視覚化されることができる。他の実施例において、アノマリーが存在するピクセルの位置情報は、アノマリーが存在するデータ領域の輪郭線を特定できる情報を含むことができる。本開示は、画像においてアノマリーが存在する部分を表示するための任意の方法を含む。
【0108】
図１１は、本開示の一実施例において、欠陥検査方法を実現するための欠陥検査モデルの構成を示す例示図である。
【0109】
【0110】
制御部（８００）は、欠陥検査モデル（９００）を利用して対象（１０）の欠陥有無を判断できる。本開示の一実施例において、制御部（８００）は、第１カメラ部（３００）が撮影した対象（１０）の画像に基づき対象（１０）の欠陥有無を判断できる。
【0111】
本開示の一実施例において、制御部（８００）は、それぞれ異なる照明条件のもとで撮影された２つ以上の画像に基づき対象（１０）の欠陥有無を判断できる。欠陥検査装置（１）は、欠陥検査モデル（９００）に第１正常画像（１０１１）、第１判断対象画像（１０３１）、第２正常画像（１０１２）及び第２判断対象画像（１０３２）を入力し、欠陥検査モデル（９００）に含まれた第１チャンネルで計算した２つの画像の類似度及び第２チャンネルで計算した２つの画像の類似度の計算の結果に基づき結果を出力することができる。
【0112】
第１正常画像（１０１１）は、第１サブ照明部（２１０）が欠陥のない対象に第１種類の光を照射したことに基づき取得された画像になり得る。第１判断対象画像（１０３１）は、第１サブ照明部（２１０）が対象（１０）に第１種類の光を照射したことに基づき取得された画像になり得る。第２正常画像（１０１２）は、第２サブ照明部（２２０）が欠陥のない対象に第２種類の光を照射したことに基づき取得された画像になり得る。第２判断対象画像（１０３２）は、第２サブ照明部（２２０）が対象（１０）に第２種類の光を照射したことに基づき取得された画像になり得る。第１正常画像（１０１１）、第１判断対象画像（１０３１）、第２正常画像（１０１２）及び第２判断対象画像（１０３２）は、同一の配置状態において対象の外観を撮影した画像になり得る。
【0113】
照明部（２００）が対象（１０）に照射した光の種類の数は、判断対象画像の数とマッチングされることもあれば、欠陥検査モデル（９００）のチャンネルの数とマッチングされることもあり得る。例えば、対象（１０）の配置状態は変えず、照明部（２００）が３つ相異なる種類の光を３つの相異なるサブ照明部を通じて照射し、各々の光のもとでの画像を取得する場合、欠陥検査装置（１）は、３つのチャンネルを含む欠陥検査モデル（９００）で各々の画像を演算できる。前述の欠陥検査（９００）に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。
【0114】
欠陥検査モデル（９００）の第１チャンネル（９０１）は、第１正常画像（１０１１）及び第１判断対象画像（１０３１）からそれぞれ特徴を抽出し、各特徴を比較して第１類似度を判断できる。第１類似度がしきい値以下の場合、第１判断対象画像（１０３１）はアノマリーデータを含む画像だと判断できる。第１類似度に基づき、第１チャンネル（９０１）は、第１結果（１０６１）を出力できる。欠陥検査モデル（９００）の第２チャンネル（９０２）は、第２正常画像（１０１２）及び第２判断対象画像（１０３２）からそれぞれ特徴を抽出し、各特徴を比較して第２類似度を判断できる。第２類似度に基づき、第２チャンネル（９０２）は、第２結果（１０６２）を出力できる。第２類似度がしきい値以下の場合、第２判断対象画像（１０３２）はアノマリーデータを含む画像だと判断できる。欠陥検査モデル（９００）は、第１結果（１０６１）及び第２結果（１０６２）に基づき、対象（１０）に欠陥があるか否かに関する結果（１０６３）を出力できる。第１判断対象画像（１０３１）及び第２判断対象画像（１０３２）のうち少なくとも１つがアノマリーデータを含む画像の場合、欠陥検査モデル（９００）は対象（１０）に欠陥があるという結果（１０６３）を出力することができる。
【0115】
サブモデル（９１１０、９３１０）（９１２０、９３２０）は、シャムネットワークの少なくとも一部を構成することができる。第１チャンネルのサブモデル（９１１０、９３１０）は、互いに、重みの少なくとも一部を共有して、比較モジュール（９５１０）が第１正常画像（１０１１）及び第１判断対象画像（１０３１）に対して共通の重みで特徴を抽出して比較するようにすることができる。第２チャンネルのサブモデル（９１２０、９３２０）は、互いに、重みの少なくとも一部を共有して、比較モジュール（９５２０）が第２正常画像（１０１２）及び第２判断対象画像（１０３２）に対して共通の重みで特徴を抽出して比較するようにすることができる。本開示の一実施例において、第１チャンネル（９０１）及び第２チャンネル（９０２）の各々に入力される画像の照明条件が相異なるため、第１チャンネルのサブモデル（９１１０、９３１０）及び第２チャンネルのサブモデル（９１２０、９３２０）の各々は、重みを共有しないことがあり得る。本開示の一実施例において、第１チャンネル（９０１）及び第２チャンネル（９０２）の各々に入力される画像の照明条件は相異なるが、画像に含まれた対象（１０）の配置状態が同一であるため、第１チャンネルのサブモデル（９１１０、９３１０）及び第２チャンネルのサブモデル（９１２０、９３２０）の各々は少なくとも一部の重みを共有することがあり得る。
【0116】
本開示の一実施例において、制御部（８００）は、第１配置状態の対象（１０）をそれぞれ異なる照明条件のもとで撮影した２つ以上の画像及び第２配置状態の対象（１０）をそれぞれ異なる照明条件のもとで撮影した２つ以上の画像に基づき、上記対象の欠陥有無を判断することができる。例えば、第１配置状態の対象（１０）を撮影した対象（１０）の第１側面に関する、それぞれ異なる照明条件のもとで撮影した２つ以上の画像、第２配置状態の対象（１０）を撮影した対象（１０）の第２側面に関する、それぞれ異なる条件のもとで撮影した２つ以上の画像に基づき対象（１０）の欠陥有無を判断できる。前述の配置状態に係る具体的な記載は、例示に過ぎず本開示はこれらに限定されない。
【0117】
制御部（８００）は、第１配置状態の対象（１０）をそれぞれ異なる条件のもとで撮影した２つ以上の画像を第１欠陥検査モデル（９００）を利用して演算し、第２配置状態の対象（１０）をそれぞれ異なる照明条件のもとで撮影した２つ以上の画像を第２欠陥検査モデル（９００）を利用して演算できる。第１欠陥検査モデル（９００）及び第２欠陥検査モデル（９００）に含まれたニューラルネットワークの重みは相違することがあり得る。第１欠陥検査モデル（９００）を利用して第１配置状態の対象（１０）を撮影した画像にアノマリーがあるか否かを判断し、第２欠陥検査モデル（９００）を利用して、第２配置状態の対象（１０）を撮影した画像にアノマリーがあるか否かを判断できる。第１配置状態の対象（１０）を撮影した画像及び第２配置状態の対象（１０）を撮影した画像のうち少なくとも１つにアノマリーが存在する場合、対象（１０）には欠陥があると決定できる。
【0118】
図１２は、本開示の一実施例において、欠陥検査方法を実現するための欠陥検査モデルの学習データの例示である。
【0119】
本開示の一実施例において、欠陥検査方法を実現するためのニューラルネットワークの学習データ（１２００）は、正常画像（１２１０）、対象画像（１２３０）、ラベリング画像（１２５０）を含むことができる。正常画像（１２１０）は、入力データのアノマリーの判断の基礎となる画像であり、アノマリーデータを含まない正常な状態の画像データだけを含む画像になり得る。正常画像（１２１０）は、学習後ニューラルネットワークのマスター画像（１０１０）に対応することができる。つまり、例えば、正常画像（１２１０）は、正常製品の否定形パターンだけを持つ、アノマリーのない画像になり得る。対象画像（１２３０）は、アノマリー判断の対象となる画像であって、アノマリーデータを含むことのできる画像になり得る。対象画像（１２３０）は、学習後ニューラルネットワークのスレーブ画像（１０３０）に対応することができる。ラベリング画像（１２５０）は、対象画像（１２３０）においてアノマリーが存在するピクセルをラベリングした画像である。図１２に示す画像は、繊維加工分野に関する製品の画像であるが、本開示はこれに限定されない。
【0120】
図１３乃至１５は、本開示の一実施例において、欠陥検査方法を実現するための欠陥検査モデルの学習方式を示す概念図である。
【0121】
図１３に示すように、本開示の実施例において、ニューラルネットワーク（９００）は、正常画像（１２１０）及び対象画像（１２３０）を学習データ（１２２０）（つまり、異常の存在有無がラベリングされたデータ）で学習し、入力データがアノマリーデータを含むか否かを判断するように学習されることができる。ここで対象画像（１２３０）は、アノマリーの存在有無がラベリングされた画像になり得る。つまり、図１３の学習方式において、正常画像（１２１０）及び対象画像（１２３０）はニューラルネットワーク（９００）に入力され、ニューラルネットワーク（９００）は対象画像（１２３０）からアノマリーデータが存在するか否かに関する出力（１０５１）を出力することができる。制御部（８００）は、ニューラルネットワークの出力と対象画像（１２３０）にラベリングされたアノマリーデータの存在有無に係る情報とを比較して誤差を求め、誤差を逆伝播して、ニューラルネットワーク（９００）がスレーブ画像（１０３０）にアノマリーデータが存在するか否かを分類するよう学習させることができる。つまり、制御部（８００）は、アノマリーデータの存在有無がラベリングされた学習データ（１２３０）を利用し、アノマリーデータの存在有無に関する出力（１０５１）を出力するようにニューラルネットワーク（９００）を学習させることができる。
【0122】
図１４に示すように、本開示の第２の実施例においてニューラルネットワーク（９００）は、正常画像（１２１０）及びラベリング画像（１２５０）を学習データ（１２４０）（つまり、正常データとアノマリーが存在するピクセルがラベリングされた異常画像）で学習し、入力データにおいてアノマリーが存在するピクセルの位置情報に関するデータ（１０５３）を出力するように学習されることができる。ここでラベリング画像（１２５０）は、前述のように画像にアノマリーが存在するピクセルの位置情報がラベリングされたデータになり得る。つまり、図１４に示す学習方式において、正常画像（１２１０）及びラベリング画像（１２５０）がニューラルネットワーク（９００）に入力され、ニューラルネットワーク（９００）は、ラベリング画像（１２５０）においてアノマリーが存在するピクセルの位置情報に関するデータを出力することができる。制御部（８００）は、ニューラルネットワークの出力とラベリング画像（１２５０）にラベリングされたアノマリーが存在するピクセルの位置情報に関するデータとを比較して誤差を求め、誤差を逆伝播して、ニューラルネットワーク（９００）がスレーブ画像（１０３０）においてアノマリーが存在するピクセルの位置情報に関するデータを出力するように学習させることができる。つまり、制御部（８００）は、画像データにおいてアノマリーが存在するピクセルの位置情報がラベリングされた学習データ（１２４０）を利用し、画像データにおいてアノマリーが存在するピクセルの位置情報に関する出力（１０５３）を出力するようにニューラルネットワーク（９００）を学習させることができる。
【0123】
図１５に示すように、本開示のさらに他の実施例において、ニューラルネットワーク（９００）は、正常画像（１２１０）及び対象画像（１２３０）を学習データ（１２２０）で学習して、入力データにおいてアノマリーが存在するピクセルの位置情報に関するデータ（１０５３）を出力するように学習されることができる。つまり、図１５に示す学習方式において、正常画像（１２１０）及び対象画像（１２３０）がニューラルネットワーク（９００）に入力され、ニューラルネットワーク（９００）は、対象画像（１２３０）においてアノマリーが存在するピクセルの位置情報に関するデータを出力することができる。制御部（８００）は、ニューラルネットワークの出力とターゲット（例えば、対象画像（１２３０）にラベリングされたアノマリーの存在有無）を比較して誤差を求め、誤差を逆伝播して、ニューラルネットワーク（９００）がスレーブ画像（１０３０）においてアノマリーが存在するピクセルの位置情報に関するデータを出力するように学習させることができる。つまり、制御部（８００）は、アノマリーデータの存在有無がラベリングされた学習データ（１２２０）を利用し、画像データにおいてアノマリーが存在するピクセルの位置情報に関する出力（１０５３）を出力するようにニューラルネットワーク（９００）を学習させることができる。
【0124】
図１６は、本開示の一実施例において、欠陥検査方法を実現するための欠陥検査モデルの構成を示す図面である。
【0125】
図１６は、本開示の欠陥検査方法を実現するためのシャムネットワークを図示した図面である。シャムネットワーク（９００）は、図９のニューラルネットワーク（９００）を構成することができる。サブネットワーク（９１１０、９１２０、９３１０、９３２０）のうち、少なくとも１つは畳み込みニューラルネットワーク構造を含むことができる。サブネットワーク（９１０、９３０）は、重み共有モジュール（９２０）によって一つ以上の重みを相互共有することが可能である。重み共有モジュール（９２０）は、２つのサブネットワーク（９１０、９３０）が一つ以上の重みを共有できるようにサブネットワーク（９１０、９３０）を連結する構造になり得る。比較モジュール（９５０）は、畳み込みネットワーク構造を含むことができる。サブネットワーク（９１０、９３０）は、互いに重みの少なくとも一部を共有することが可能である。従ってサブネットワーク（９１０、９３０）は、マスター画像（１０１０）とスレーブ画像（１０３０）に対し共通の重みに基づいて特徴を抽出して比較モジュール（９５０）が比較するようにすることができる。
【0126】
比較モジュール（９５０）は、各サブネットワークのうち少なくとも１つとＵネットワーク構造の少なくとも一部分を構成することができる。Ｕネットワーク（１３００）については図１７を用いて説明する。サブネットワーク（９１０、９３０）の全部又は一部と比較モジュール（９５０）の全部又は一部がＵネットワークを構成することができる。そしてサブネットワーク（９１０、９３０）と比較モジュール（９５０）の組み合わせがＵネットワーク（１３００）の一部になることも可能である。
【0127】
Ｕネットワーク（１３００）は、画像セグメンテーションを遂行できるディープニューラルネットワーク構造になり得る。図１７に示すＵネットワークの左の部分は、入力データの次元を減少させることのできるディープニューラルネットワーク構造を持ち、右の部分は入力データの次元を増加させることのできるディープニューラルネットワーク構造を持つことができる。より具体的にＵネットワーク（１３００）の次元減少ネットワーク（１３１０）は、畳み込みニューラルネットワーク構造を持つことができ、次元増加ネットワーク（１３３０）は、逆畳み込みニューラルネットワーク構造を持つことができる。図１７の図示において、長方形で表示されている部分は、Ｕネットワークの個々のレイヤーになり得る。図１７の図示において、各レイヤーの１３０１部分の数字は、各レイヤーの例示的なチャンネルの数になり得る。図１７の図示において、各レイヤーの１３０３部分の数字は、各レイヤーで処理される画像の例示的なピクセルの数を意味することができ、図１７に示すＵネットワークの演算の矢印の方向に沿って進むと画像の例示的なピクセルの数が一度減少してから増加することから、画像の次元が一度減少してから再び増加することを確認することができる。図１７に示す矢印５１１は、画像に畳み込みフィルターを適用させる畳み込み動作を意味することができる。例えば、矢印５１１は、３＊３畳み込みフィルターを画像に適用する畳み込み動作になり得るが、本開示はこれらに限定されない。図１７に示す矢印１３１３は、次元が減少した画像の次元を増加させるために必要な情報を、次元減少ネットワーク（１３１０）から、対応する次元増加ネットワーク（１３３０）に伝送する動作を意味することができる。図１７に示す矢印１３１５は、画像のピクセルを減少させるためのプーリング動作を意味することができる。例えば、矢印１３１５は最大値を抽出するマックスプーリング（ｍａｘ ｐｏｏｌｉｎｇ）になり得るが、本開示はこれに限定されない。図１７に示す矢印１３１７は、画像の次元を増加させる畳み込み動作を意味することができる。例えば、矢印１３１７は、２＊２畳み込みフィルターを利用した畳み込み動作になり得るが、本開示はこれらに限定されない。図１７に示す矢印１３１９は、完全連結レイヤーに出力を伝達するための畳み込み動作を意味することができる。例えば、矢印１３１９は、１＊１畳み込みフィルターを利用した畳み込み動作になり得る。図１７の図示において、次元増加ネットワーク（１３３０）に含まれた斜線が引かれた長方形は、画像の次元増加のための情報が次元減少ネットワーク（１３１０）の対応するレイヤーから伝達されたことを意味することができる。
【0128】
Ｕネットワーク（１３００）は、画像セグメンテーションのために画像の次元を減少させるプロセスから、次元増加のための情報（例えば、ピクセルの位置情報、高レベル特徴等）が、画像の次元を増加させるプロセスへ伝達されることができるようにする構造（図１７の図示において矢印１３１３）を持つことができる。つまり、Ｕネットワークの次元減少ネットワーク（１３１０）における各レイヤーは、次元増加ネットワーク（１３３０）における対応するレイヤーに特徴の位置情報を伝達することができる。これにより、画像の次元を一度減少させてから次元を増加させるプロセスにおいて、失われる可能性のあるピクセルの位置情報を復元することができる。従って、ピクセルの位置情報が画像の次元を増加させるプロセスにおいて復旧されることができるため、Ｕネットワークは、ピクセルの位置情報が必ず必要な画像セグメンテーションに使われることができる。具体的に、図１７の例示のように、Ｕネットワーク（１３００）の次元減少ネットワーク（１３１０）において第１レイヤー（入力に最も近いレイヤー）は、次元増加ネットワーク（１３３０）の最後のレイヤー（出力に最も近いレイヤー）に情報を伝達することができる。伝達される情報は、次元増加ネットワーク（１３３０）において次元が減少した画像の次元を増加させるために必要な情報を含むことができる。伝達される情報は、例えば、特徴、特徴の位置情報、各特徴が抽出されたピクセルの位置情報、原本画像のピクセル位置情報等になり得るが、本開示はこれらに限定されない。そして、Ｕネットワークの次元減少ネットワークにおいて第２レイヤー（入力から２番目のレイヤー）は、次元増加ネットワーク（１３３０）の最後から２番目のレイヤー（出力から２番目のレイヤー）に情報を伝達することができる。このようなプロセスによって、Ｕネットワークの各サブネットワーク（次元増加ネットワーク（１３３０）、次元減少ネットワーク（１３１０）は、レイヤーの位置に基づいて決まる、対応するレイヤーに情報を伝達することができる。
【0129】
比較モジュール（９５０）は次元増加ネットワークを含めてサブネットワーク（９１０、９３０）のうち少なくとも１つと、Ｕネットワーク構造の少なくとも一部分を構成することができる。図１８は、本開示の欠陥検査方法を実現するためのシャムネットワークの例示図であり、サブネットワーク（９１０、９３０）が比較モジュール（９５０）とＵネットワーク構造を構成することを示す図面である。図１８の例示において、１グループの長方形は、ニューラルネットワークの１レイヤーを表すことができる。図１８において構成されているニューラルネットワークは、単純化した例示に過ぎず、レイヤーの数、画像の大きさ等は変更されることができ、本開示は図１８の記載に限定されない。
【0130】
図１８において点線の左側は、Ｕネットワークの入力データの次元を減少させる次元減少ネットワーク（１３１０）であり、点線の右側は入力データの次元を復元する次元増加ネットワーク（１３３０）を構成することができる。
【0131】
図１８の例示において、マスター画像（１０１０）は、第１サブネットワーク（９１０）に入力され、スレーブ画像（１０３０）は、第２サブネットワーク（９３０）に入力されることができる。第１サブネットワーク（９１０）は、マスター画像（１０１０）から特徴を抽出し、第２サブネットワーク（９３０）は、スレーブ画像（１０３０）から特徴を抽出することができる。このとき、第１サブネットワーク（９１０）及び第２サブネットワーク（９３０）は、互いに重みを共有することが可能である。第１サブネットワーク（９１０）及び第２サブネットワーク（９３０）の各レイヤーの特徴は、相互比較されることができる。図１８に示す矢印９５５は、第１及び第２サブネットワークからデータを導出する動作を意味することができる。例えば、矢印９５５は、第１及び第２サブネットワークで計算されたデータを比較する動作を意味することができる。また例えば、矢印９５５は、マスター画像の特徴とスレーブ画像の特徴との差異計算、又は、マスター画像の特徴とスレーブ画像の特徴に係るディープニューラルネットワーク比較器動作を意味することができる。第１及び第２サブネットワーク（９３０）のそれぞれのレイヤーから抽出された特徴は、比較モジュール（９５０）によってそれぞれ比較されることができる。制御部（８００）は、第１及び第２サブネットワーク（９３０）の各レイヤーから抽出された特徴をそれぞれ比較してレイヤー比較情報を生成することができる。レイヤー比較情報は、マスター画像の特徴とスレーブ画像の特徴との差異に関する情報を含むことができる。制御部（８００）は、レイヤー比較情報に基づき、アノマリー関連情報を演算することができる。このために制御部（８００）は、生成されたレイヤー比較情報や特徴情報を、比較モジュール（９５０）の対応するレイヤーに提供することができる。提供される情報は、特徴、特徴の位置情報、各特徴が抽出されたピクセルの位置情報、原本画像のピクセル位置情報、レイヤー比較情報等になり得る。対応するレイヤーは、レイヤー比較情報を生成する際ベースとなった第１サブネットワークのレイヤー又は第２サブネットワークのレイヤーの位置に基づいて決まる。より具体的に、第１及び２サブネットワークの入力レイヤーに近いレイヤーは、比較モジュール（９５０）の出力に近いレイヤーと対応する。図１８に示された長方形に示されたパターンは、相互対応するレイヤーであることを意味することができる。つまり、図１８に示す第１及び第２サブネットワークの第１レイヤー（９１１、９３１）は、比較モジュール（９５０）の第３レイヤーと対応することができる。つまり、第１及び第２サブネットワークの入力レイヤーを基準にしたあるレイヤーの位置と、比較モジュール（９５０）の出力レイヤーを基準にしたあるレイヤーの位置が相互対応することができる。つまり、図１８に示す第１レイヤー比較情報（９５１）は、比較モジュール（９５０）の次元増加ネットワーク（９３０）の第３レイヤー（９５３）に伝達されることができる。図１８に図示された矢印９５７は、第１及び第２サブネットワークから導出された情報を次元増加ネットワーク（９３０）に属する、対応するレイヤーに伝達する動作を意味することができる。また矢印９５７は、減少した画像の次元を増加させるための情報の伝達を意味することができる。レイヤー比較情報、特徴情報の伝達及び連結を意味し、これは図１７のＵネットワークにおいて図示された矢印１３１３に類似した動作である。図１８のシャムネットワークは、シャムネットワークのサブネットワーク（サブネットワーク及び比較モジュール）が、Ｕネットワーク構造を成し、このようなレイヤー比較情報（９５１）が、次元増加ネットワーク（９３０）側に伝達され画像の次元を一度減少させてからまた次元を増加させるプロセスにおいて失われ可能性のあるピクセルの位置情報を復元することができる。従って、本開示の欠陥検査方法は、図１８のようなニューラルネットワーク構造を持つことにより、アノマリー部分に対する画像セグメンテーションを遂行することができる。
【0132】
本開示においてニューラルネットワーク（９００）は、マスター画像（１０１０）とスレーブ画像（１０３０）との差異に基づき、スレーブ画像（１０３０）にアノマリーデータが含まれるか否かを分類することができる。また、本開示においてニューラルネットワーク（９００）は、マスター画像（１０１０）とスレーブ画像（１０３０）との差異とレイヤー比較情報に基づき、スレーブ画像（１０３０）に存在するアノマリー部分のピクセルを表示することができる。
【0133】
シャムネットワークを応用したニューラルネットワークを使うことにより、本開示の一実施例における欠陥検査方法は、マスター画像とスレーブ画像が一部相違する場合（２つの画像が相当類似しているが、一部アノマリーが存在し細かいところの一部が相違している場合等）と、大分相違する場合（レンズの歪曲、照明の変化、テクスチャーの相違等によって２つの画像が相当部分相違しているが、アノマリーは存在せず細かい所は類似している場合等）をすべて学習して分類することができる。本開示の欠陥検査方法は、マスター画像とスレーブ画像が同じドメインに属する場合、細かい所の差異からスレーブ画像にアノマリーデータが存在するか否かを判断することができる。具体的にマスター画像とスレーブ画像がすべて花柄を含む織物に関する画像である場合（同一の柄、同一のテクスチャーの場合）、２つの画像で差異が発生する部分がアノマリーデータになり得る。また、本開示の欠陥検査方法は、マスター画像とスレーブ画像が異なるドメインに属する場合にも、細かい所を比較してスレーブ画像にアノマリーデータが存在するか否かを判断することができる。具体的に、マスター画像は花柄を含む織物に関する画像であり、スレーブ画像は星柄を含む革に関する画像である場合（柄、テクスチャーが相違する場合）、２つの画像においてドメインが異なることにより発生する大きな差異部分は無視して、細かい所を調べてスレーブ画像にアノマリーデータが存在するか否かを判断することができる。従って本開示の欠陥検査方法は、画像データの回転、変形、レンズの歪曲による誤差、ドメインの変更等があっても一般的な認識性能を持つことができるため、ドメイン別に学習データを確保してドメイン別に学習を遂行しなければならない既存のニューラルネットワークの限界を克服したような効果を持つ。
【0134】
上記のように発明の実施のための最良の形態に係る内容を記述した。
【産業上の利用可能性】
【0135】
本発明は、工場で使われる自動化装備、機械及びディバイス等に利用されることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
