知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022155038
(43)【公開日】2022-10-13
(54)【発明の名称】外観判定装置、外観判定方法、およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221005BHJP
G06N 20/00 20190101ALI20221005BHJP
【ＦＩ】
G06T7/00 610C
G06T7/00 350C
G06N20/00
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021058360
(22)【出願日】2021-03-30
(71)【出願人】
【識別番号】000191009
【氏名又は名称】新東工業株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】中野 可也
(72)【発明者】
【氏名】平賀 幹敏
(72)【発明者】
【氏名】松田 一徳
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA09
5L096BA03
5L096CA02
5L096CA04
5L096CA05
5L096CA17
5L096DA02
5L096EA35
5L096EA37
5L096GA10
5L096HA11
5L096KA04
(57)【要約】
【課題】対象物の外観検査において対象物が良品か否かをより適切に判定する。
【解決手段】プロセッサ（１１）は、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップ（Ｍ１１）と、類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップ（Ｍ１２）と、を実行する。
【選択図】図１
【解決手段】プロセッサ（１１）は、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップ（Ｍ１１）と、類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップ（Ｍ１２）と、を実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
１または複数のプロセッサを備え、
前記プロセッサは、
対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、
前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を実行する、
ことを特徴とする外観判定装置。
前記プロセッサは、
対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、
前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を実行する、
ことを特徴とする外観判定装置。
【請求項2】
前記第２画像は、対象物の表面の各点における法線方向を表す画像である、
ことを特徴とする請求項１に記載の外観判定装置。
ことを特徴とする請求項１に記載の外観判定装置。
【請求項3】
前記プロセッサは、良品であることが予め確かめられた複数の対象物の前記第１画像を、第１の特徴量空間上の複数の第１の点にマッピングすると共に、当該複数の対象物の前記第２画像を、第２の特徴量空間上の複数の第２の点にマッピングし、
判定対象である対象物の前記第１画像を、前記第１の特徴量空間上の第３の点にマッピングするとともに、当該判定対象である対象物の前記第２画像を、前記第２の特徴量空間上の第４の点にマッピングするマッピングステップを更に実行し、
前記プロセッサは、前記特定ステップにおいて、前記第１の特徴量空間における前記第１の点と前記第３の点との距離、および、前記第２の特徴量空間における前記第２の点と前記第４の点との距離に基づき、前記類似度を特定する、
ことを特徴とする請求項１または２に記載の外観判定装置。
判定対象である対象物の前記第１画像を、前記第１の特徴量空間上の第３の点にマッピングするとともに、当該判定対象である対象物の前記第２画像を、前記第２の特徴量空間上の第４の点にマッピングするマッピングステップを更に実行し、
前記プロセッサは、前記特定ステップにおいて、前記第１の特徴量空間における前記第１の点と前記第３の点との距離、および、前記第２の特徴量空間における前記第２の点と前記第４の点との距離に基づき、前記類似度を特定する、
ことを特徴とする請求項１または２に記載の外観判定装置。
【請求項4】
前記第１の特徴量空間と前記第２の特徴量空間とは、同一の特徴量空間である、
請求項３に記載の外観判定装置。
請求項３に記載の外観判定装置。
【請求項5】
前記第２の特徴量空間は、前記第１の特徴量空間と異なる特徴量空間である、
請求項３に記載の外観判定装置。
請求項３に記載の外観判定装置。
【請求項6】
前記マッピングステップにおいて、前記第１画像を前記第１の特徴量空間上の点にマッピングするマップ、および、前記第２画像を前記第２の特徴量空間上の点にマッピングするマップは、メトリックラーニングによって構築されたマップである、
ことを特徴とする請求項３から５のいずれか１項に記載の外観判定装置。
ことを特徴とする請求項３から５のいずれか１項に記載の外観判定装置。
【請求項7】
前記プロセッサは、前記特定ステップにおいて、ＬＯＦ（Local Outlier Factor）またはｋ近傍法（k-nearest neighbor）により、前記判定対象である対象物に対応する点の近傍における、良品であることが予め確かめられた複数の対象物に対応する点の密度、または、前記判定対象である対象物に対応する点と良品であることが確かめられた複数の対象物に対応する点との距離に基づき特定される値を、前記類似度とする、
ことを特徴とする請求項３から６のいずれか１項に記載の外観判定装置。
ことを特徴とする請求項３から６のいずれか１項に記載の外観判定装置。
【請求項8】
前記プロセッサは、前記マッピングステップにおいて、前記第１画像を複数の領域に分割した分割画像を、前記複数の領域の各々に対応する特徴量空間上の点にマッピングすると共に、前記第２画像を複数の領域に分割した分割画像を、前記複数の領域の各々に対応する特徴量空間上の点にマッピングし、
前記特定ステップにおいて、前記第１画像の分割画像および前記第２画像の分割画像のそれぞれについて前記類似度を特定し、
前記判定ステップにおいて、前記特定ステップで特定した複数の類似度に基づいて、前記判定対象である対象物が良品であるか否かを判定する、
請求項３から７のいずれか１項に記載の外観判定装置。
前記特定ステップにおいて、前記第１画像の分割画像および前記第２画像の分割画像のそれぞれについて前記類似度を特定し、
前記判定ステップにおいて、前記特定ステップで特定した複数の類似度に基づいて、前記判定対象である対象物が良品であるか否かを判定する、
請求項３から７のいずれか１項に記載の外観判定装置。
【請求項9】
前記第１画像は、前記対象物の撮像画像において鏡面反射成分および陰影の一方または両方の影響を軽減した画像である、
請求項１から８のいずれか１項に記載の外観判定装置。
請求項１から８のいずれか１項に記載の外観判定装置。
【請求項10】
前記第１画像および前記第２画像の一方または両方は、照度差ステレオにより生成された画像である、
ことを特徴とする請求項１から９のいずれか１項に記載の外観判定装置。
ことを特徴とする請求項１から９のいずれか１項に記載の外観判定装置。
【請求項11】
前記プロセッサは、前記特定ステップにおいて、前記第１画像および前記第２画像の一方または両方に対して所定のマスク処理を実行し、当該マスク処理により塗りつぶしていない領域を含む領域の画像を切り出し、切り出した画像を用いて前記類似度を特定する、
請求項１から１０のいずれか１項に記載の外観判定装置。
請求項１から１０のいずれか１項に記載の外観判定装置。
【請求項12】
前記第１画像および前記第２画像の一方または両方は、前記対象物の撮像画像に対し所定のマスク処理を実行することにより得られる画像を用いて生成される画像である、
請求項１から１１のいずれか１項に記載の外観判定装置。
請求項１から１１のいずれか１項に記載の外観判定装置。
【請求項13】
１または複数のプロセッサが、
対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、
前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を含む、
ことを特徴とする外観判定方法。
対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、
前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を含む、
ことを特徴とする外観判定方法。
【請求項14】
コンピュータに、
対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、
前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を実行させる、
ことを特徴とするプログラム。
対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、
前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の外観を検査する技術に関する。
【背景技術】
【0002】
鋳物等の対象物の外観検査は、主に、予め定められた欠陥の有無を判定することにより行われていた。この場合、対象物に予め定められた欠陥が存在していれば、その対象物は不良品と判定され、対象物に予め定められた欠陥が存在していなければ、その対象物は良品と判定される。なお、対象物を被写体として含む画像に基づき、その対象物に含まれる欠陥を検出する手法としては、例えば、テンプレートマッチングが広く用いられている。また、特許文献１には、外観検査を行う技術として、照度差ステレオ法を用いることが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－０１５７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
対象物が良品であるか否かは、本来、対象物全体の構造に応じて決められるべきものである。すなわち、予め定められた欠陥又はそれに類似する構造が存在していても、良品であると判定するべき対象物もあるし、逆に、予め定められた欠陥又はそれに類似する構造が存在していなくても、不良品と判定するべき対象物もある。このため、予め定められた欠陥の有無の判定する外観検査においては、良品であると判定するべき対象物を不良品と判定してしまったり、不良品であると判定するべき対象粒を良品と判定してしまったりすることがある。照度差ステレオ法を用いて得られた画像を用いれば、ひとつひとつの欠陥を高い精度で検出することは可能になるが、欠陥の有無によって対象物が良品であるか否かを判定する以上、このような問題を解決することはできない。
【0005】
本発明の一態様は、外観検査において検査の対象物が良品か否かをより適切に判定できる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る外観判定装置は、１または複数のプロセッサを備え、前記プロセッサは、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を実行する。
【0007】
本発明の各態様に係る外観判定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記外観判定装置が備える各部（ソフトウェア要素）として動作させることにより前記外観判定装置をコンピュータにて実現させる外観判定装置のプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0008】
本発明の一態様によれば、対象物の外観検査において対象物が良品か否かをより適切に判定することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態１に係る外観判定装置の構成を示すブロック図である。
【図2】本発明の実施形態１に係る外観判定方法を示すフローチャートである。
【図3】本発明の実施形態１に係る外観判定システムの構成を概略的に示す図である。
【図4】本発明の実施形態１に係る外観判定システムが行う外観判定方法を例示するフローチャートである。
【図5】本発明の実施形態１に係るアルベド画像を例示する図である。
【図6】本発明の実施形態１に係る法線ベクトル画像を例示する図である。
【図7】本発明の実施形態１に係る切り出し処理の一例を示す図である。
【図8】本発明の実施形態１に係る学習済モデルを模式的に示す図である。
【図9】本発明の実施形態１に係る異常スコアの一例を示す図である。
【図10】本発明の実施形態２に係る学習方法の流れを示すフローチャートである。
【図11】本発明の実施形態２に係る外観判定システムが行う外観判定方法を例示するフローチャートである。
【発明を実施するための形態】
【0010】
〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。図１は、本発明の一実施形態に係る外観判定装置１０の構成を示すブロック図である。外観判定装置１０は、外観判定の対象物が良品であるか（欠陥がないか）を判定する。外観判定装置１０は、例えばパーソナルコンピュータである。
以下、本発明の一実施形態について、詳細に説明する。図１は、本発明の一実施形態に係る外観判定装置１０の構成を示すブロック図である。外観判定装置１０は、外観判定の対象物が良品であるか（欠陥がないか）を判定する。外観判定装置１０は、例えばパーソナルコンピュータである。
【0011】
外観判定装置１０は、１または複数のプロセッサ１１を備える。プロセッサ１１は、外観判定方法Ｍ１を実行する。図２は、プロセッサ１１が実行する外観判定方法Ｍ１の流れを示すフローチャートである。外観判定方法Ｍ１は、特定ステップＭ１１、および判定ステップＭ１２を含む。特定ステップＭ１１は、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定するステップである。
【0012】
対象物は、外観判定の対象となる物である。対象物は、一例として、鋳造された鋳物、または、鋳造で用いられる鋳型である。なお、対象物は鋳物または鋳型に限られず、他の物品であってもよい。
【0013】
第１画像は、対象物の光学像を表す画像である。第１画像は、一例として、対象物を撮像することにより得られる、ＲＧＢ色空間により表される撮像画像である。また、第１画像は、一例として、対象物の撮像画像を加工した画像であり、例えば対象物の撮像画像から鏡面反射成分および陰影の一方または両方の影響を軽減した画像である。鏡面反射成分および陰影の一方または両方の影響を軽減した画像は、一例として、照度差ステレオにより生成される。照度差ステレオは、異なる複数の照明方向から照明した画像を撮像して、その陰影情報から対象物の法線ベクトルを求める三次元計測の手法の一つである。なお、第１画像は上述した画像に限られず、例えば、対象物の撮像画像に対し傾き補正および色調補正等の加工処理を行った画像であってもよい。
【0014】
第２画像は、対象物の形状を表す画像である。第２画像は、一例として、対象物の表面の各点における法線方向を表す画像である。法線方向を表す画像は、一例として、照度差ステレオにより生成される。なお、第２画像は上述した画像に限られず、他の画像であってもよい。第２画像は、一例として、距離センサ（深度センサ）により生成された、対象物の表面の各点のカメラからの距離を表す画像であってもよい。
【0015】
良品とは、欠陥を含まない対象物である。良品は、一例として、割れ、へこみ、出っ張り、砂かみ等の欠陥を含まない鋳物である。良品の中には、鋳物の表面の凹凸の態様、色むらの態様、バリの有無等が他の良品と異なっているものもある。
【0016】
良品であることが予め確かめられた対象物とは、一例として、検査者の目視等により良品であると判別された対象物をいう。以下の説明では、説明の便宜上、良品であることが予め確かめられた対象物を「良品対象物」ともいう。また、以下の説明では、外観判定の対象である対象物を「判定対象物」ともいう。
【0017】
類似度は、判定対象物と良品対象物との類似の程度を表す情報である。類似度は、一例として、所定の特徴量空間に複数の対象物をマッピングした場合の対象物同士の距離に基づき特定される情報である。プロセッサ１１は、一例として、ｋ近傍法（k-nearest neighbor）、ＬＯＦ（Local Outlier Factor）、Ｚ得点（z-score）、ホテリング理論、マハラノビス距離等に基づく手法により類似度を特定する。ＬＯＦの場合、類似度は、一例として、判定対象物に対応する点の近傍における良品対象物に対応する点の密度である。
【0018】
判定ステップＭ１２は、特定ステップＭ１１で特定した類似度に基づいて判定対象物が良品であるか否かを判定するステップである。一例として、プロセッサ１１は、判定対象物が良品である程度（または良品でない程度）を表す数値（異常スコア、等）を算出することにより、良品であるかを判定する。また、一例として、プロセッサ１１は、特定ステップＭ１１で特定した類似度が所定の閾値以上である場合、判定対象である対象物が良品であると判定する一方、類似度が閾値未満である場合、判定対象である対象物が良品でないと判定してもよい。
【0019】
上記の構成によれば、外観判定装置１０は、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象物と複数の良品対象物との類似度を特定し、特定した類似度に基づき、判定対象である対象物が良品であるか否かを判定する。これにより、判定対象物が良品か否かをより適切に判定できる。
【0020】
〔システム構成〕
図３は、本実施形態に係る外観判定システム１の構成を概略的に示す図である。外観判定システム１は、判定対象である判定対象物２の外観を判定するシステムである。外観判定システム１は、外観判定装置１０に加えて、カメラ２１～２３、光源３１１～３１８、３２１～３２８、３３１～３３８、回転台４０、設置用治具５０、およびロボットアーム６０を備える。
図３は、本実施形態に係る外観判定システム１の構成を概略的に示す図である。外観判定システム１は、判定対象である判定対象物２の外観を判定するシステムである。外観判定システム１は、外観判定装置１０に加えて、カメラ２１～２３、光源３１１～３１８、３２１～３２８、３３１～３３８、回転台４０、設置用治具５０、およびロボットアーム６０を備える。
【0021】
カメラ２１～２３および光源３１１～３１８、３２１～３２８、３３１～３３８は、照度差ステレオのための撮影を行う機材である。カメラ２１～２３は、判定対象物２を撮影する撮影装置である。カメラ２１～２３は、それぞれ異なる方向から判定対象物２を撮影する位置および向きで設置されている。以下の説明では、カメラ２１～２３を区別する必要がない場合には、これらを「カメラ２０」と称する。
【0022】
光源３１１～３１８、３２１～３２８、３３１～３３８は、カメラ２１～２３が判定対象物２を撮影する際の照明である。光源３１１～３１８はカメラ２１が撮影する際に用いられる照明である。光源３１１～３１８はそれぞれ異なる方向から対象物を照明する位置および向きで設置されている。光源３２１～３２８はカメラ２２が撮影する際に用いられる照明である。光源３２１～３２８はそれぞれ異なる方向から対象物を照明する位置および向きで設置されている。光源３３１～３３８はカメラ２３が撮影する際に用いられる照明である。光源３３１～３３８はそれぞれ異なる方向から判定対象物２を照明する位置および向きで設置されている。以下の説明では、光源３１１～３１８、３２１～３２８、３３１～３３８を区別する必要がない場合には、これらを「光源３０」と称する。図３の例では、ひとつのカメラ２０につき８個の光源３０が設置されている。
【0023】
回転台４０は判定対象物２を回転させる機構である。設置用治具５０は、回転台４０により回転する判定対象物２を支持する支持部材である。ロボットアーム６０は、判定対象物２の姿勢を変更する機構である。
【0024】
〔外観判定装置の構成〕
外観判定装置１０は、汎用コンピュータを用いて実現される。外観判定装置１０は、図１に示すように、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力ＩＦ１４と、通信ＩＦ１５と、バス１６とを備えている。プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力ＩＦ１４、及び通信ＩＦ１５は、バス１６を介して相互に接続されている。
外観判定装置１０は、汎用コンピュータを用いて実現される。外観判定装置１０は、図１に示すように、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力ＩＦ１４と、通信ＩＦ１５と、バス１６とを備えている。プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力ＩＦ１４、及び通信ＩＦ１５は、バス１６を介して相互に接続されている。
【0025】
二次メモリ１３には、外観判定プログラムＰ１、マップＬＭ１１、およびＬＭ１２が格納されている。プロセッサ１１は、二次メモリ１３に格納されている外観判定プログラムＰ１、マップＬＭ１１、およびＬＭ１２を一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開された外観判定プログラムＰ１に含まれる命令に従って、外観判定方法Ｍ１に含まれる各ステップを実行する。一次メモリ１２上に展開されたマップＬＭ１１およびＬＭ１２は、外観判定方法Ｍ１の特定ステップＭ１１をプロセッサ１１が実行する際に利用される。なお、外観判定プログラムＰ１が二次メモリ１３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ１３に記憶されていることを指す。また、マップＬＭ１１およびＬＭ１２が二次メモリ１３に格納されているとは、マップＬＭ１１およびＬＭ１２を規定するパラメータが二次メモリ１３に格納されていることを指す。
【0026】
プロセッサ１１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ１１は、「演算装置」と呼ばれることもある。
【0027】
また、一次メモリ１２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ１２は、「主記憶装置」と呼ばれることもある。また、二次メモリ１３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy（登録商標） Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ１３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ１３は、外観判定装置１０に内蔵されていてもよいし、入出力ＩＦ１４又は通信ＩＦ１５を介して外観判定装置１０と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、外観判定装置１０における記憶を２つのメモリ（一次メモリ１２及び二次メモリ１３）により実現しているが、これに限定されない。すなわち、外観判定装置１０における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ１２として利用し、そのメモリの他の記憶領域を二次メモリ１３として利用すればよい。
【0028】
入出力ＩＦ１４には、入力デバイス及び／又は出力デバイスが接続される。入出力ＩＦ１４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。入出力ＩＦ１４に接続される入力デバイスとしては、カメラ２１～２３が挙げられる。外観判定方法Ｍ１においてカメラ２１～２３から取得するデータは、外観判定装置１０に入力され、一次メモリ１２に記憶される。また、入出力ＩＦ１４に接続される他の入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。入出力ＩＦ１４に接続される出力デバイスとしては、ロボットアーム６０が挙げられる。また、入出力ＩＦ１４に接続される他の出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。外観判定方法Ｍ１においてユーザに提供する情報は、これらの出力デバイスを介して外観判定装置１０から出力される。なお、外観判定装置１０は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、外観判定装置１０は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0029】
通信ＩＦ１５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信ＩＦ１５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。外観判定方法Ｍ１において外観判定装置１０が他のコンピュータから取得するデータ、および、外観判定方法Ｍ１において外観判定装置１０が他のコンピュータに提供するデータは、これらのネットワークを介して送受信される。なお、カメラ２１～２３と外観判定装置１０とは、入出力ＩＦ１４により接続されてもよく、また、通信ＩＦ１５により接続されてもよい。
【0030】
なお、本実施形態においては、単一のプロセッサ（プロセッサ１１）を用いて外観判定方法Ｍ１を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて外観判定方法Ｍ１を実行する構成を採用してもよい。この場合、連携して外観判定方法Ｍ１を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して外観判定方法Ｍ１を実行する態様などが考えられる。
【0031】
また、本実施形態においては、外観判定方法Ｍ１を実行するプロセッサ（プロセッサ１１）と同じコンピュータに内蔵されたメモリ（二次メモリ１３）にマップＬＭ１１およびＬＭ１２を格納する構成を採用しているが、本発明は、これに限定されない。すなわち、外観判定方法Ｍ１を実行するプロセッサと異なるコンピュータに内蔵されたメモリにマップＬＭ１１およびＬＭ１２を格納する構成を採用してもよい。この場合、マップＬＭ１１およびＬＭ１２を格納するメモリが内蔵されたコンピュータは、外観判定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリにマップＬＭ１１およびＬＭ１２を格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが外観判定方法Ｍ１を実行する態様などが考えられる。
【0032】
また、本実施形態においては、単一のメモリ（二次メモリ１３）にマップＬＭ１１およびＬＭ１２を格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリにマップＬＭ１１およびＬＭ１２を分散して格納する構成を採用してもよい。この場合、マップＬＭ１１およびＬＭ１２を格納する複数のメモリは、単一のコンピュータ（外観判定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（外観判定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリにマップＬＭ１１およびＬＭ１２を分散して格納する構成などが考えられる。
【0033】
マップＬＭ１１およびＬＭ１２は、対象物の第１画像と第２画像とをそれぞれ、特徴量空間上の点にマッピングするためのマップである。マップＬＭ１１は、一例として、対象物の第１画像を入力とし、対象物を所定の埋め込み空間（特徴量空間）に埋め込むよう学習させた学習済モデルである。マップＬＭ１２は、一例として、対象物の第２画像を入力とし、対象物を所定の埋め込み空間（特徴量空間）に埋め込むよう学習させた学習済モデルである。マップＬＭ１１およびＬＭ１２としては、例えば、畳み込みニューラルネットワークや再帰型ニューラルネットワークなどのニューラルネットワークモデル、線形回帰などの回帰モデル、または、回帰木などの木モデルなどのアルゴリズムを用いることができる。
【0034】
マップＬＭ１１およびＬＭ１２は、一例として、メトリックラーニングにより構築されたマップである。メトリックラーニングは、入力空間におけるサンプル同士の類似度が、ユークリッド距離やコサイン類似度などの尺度と対応するように別空間である埋め込み空間に埋め込むための変換を学習する方法である。
【0035】
〔外観判定システムの動作〕
図４は、外観判定システム１が行う外観判定方法を例示するフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行されてもよい。まず、外観判定システム１の管理者等は、外観判定システム１に含まれる各装置の電源を入れ、判定対象物２を設置用治具５０にセットする。
図４は、外観判定システム１が行う外観判定方法を例示するフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行されてもよい。まず、外観判定システム１の管理者等は、外観判定システム１に含まれる各装置の電源を入れ、判定対象物２を設置用治具５０にセットする。
【0036】
（ステップＳ１１）
ステップＳ１１において、プロセッサ１１は、照明を切り替えながら複数のカメラ２０が判定対象物２を撮像した撮像画像を取得する。３台のカメラ２０のそれぞれに８個の光源３０が対応付けられている場合、プロセッサ１１は、１台のカメラ２０について８個の光源３０を順番に用いて照明を切り替えながら撮影することにより、８個の撮像画像を生成する。３台のカメラ２０のそれぞれについて８個の光源３０を用いた撮影を行うことにより、プロセッサ１１は、２４個の撮像画像を取得する。
ステップＳ１１において、プロセッサ１１は、照明を切り替えながら複数のカメラ２０が判定対象物２を撮像した撮像画像を取得する。３台のカメラ２０のそれぞれに８個の光源３０が対応付けられている場合、プロセッサ１１は、１台のカメラ２０について８個の光源３０を順番に用いて照明を切り替えながら撮影することにより、８個の撮像画像を生成する。３台のカメラ２０のそれぞれについて８個の光源３０を用いた撮影を行うことにより、プロセッサ１１は、２４個の撮像画像を取得する。
【0037】
（ステップＳ１２）
ステップＳ１２において、プロセッサ１１は、２４個の撮像画像のそれぞれについて、光源ベクトルを計算する。光源ベクトルは、光源３０から判定対象物２までの方向を表すベクトルである。光源ベクトルを計算する場合、プロセッサ１１は、撮像画像において不要な箇所（背景等）を予め用意しておいたマスク画像で塗りつぶしてから計算を行ってもよい。プロセッサ１１がマスク処理を行うことで、計算結果を安定し易くすることができる。なお、各撮像画像の光源ベクトルが予め用意されている場合、プロセッサ１１は、光源ベクトルの計算処理を行うことなく、予め用意されている値を読み込んでもよい。
ステップＳ１２において、プロセッサ１１は、２４個の撮像画像のそれぞれについて、光源ベクトルを計算する。光源ベクトルは、光源３０から判定対象物２までの方向を表すベクトルである。光源ベクトルを計算する場合、プロセッサ１１は、撮像画像において不要な箇所（背景等）を予め用意しておいたマスク画像で塗りつぶしてから計算を行ってもよい。プロセッサ１１がマスク処理を行うことで、計算結果を安定し易くすることができる。なお、各撮像画像の光源ベクトルが予め用意されている場合、プロセッサ１１は、光源ベクトルの計算処理を行うことなく、予め用意されている値を読み込んでもよい。
【0038】
（ステップＳ１３）
ステップＳ１３において、プロセッサ１１は、１台のカメラ２０で撮影した８枚の撮像画像、およびステップＳ１２で計算した光源ベクトルに基づき、対象物の撮像画像において鏡面反射成分および陰影の一方または両方の影響を軽減した画像（以下、「アルベド画像」ともいう）を生成する。アルベド画像は、本明細書に係る「第１画像」の一例である。アルベド画像は、一例として、ＲＧＢ色空間により表される画像である。アルベド画像を生成する方法としては、例えば、「Reflectance Map Techniques for Analyzing Surface Defects in Metal Castings, “https://dspace.mit.edu/handle/1721.1/16353”」、「Determining shape and reflectance using multiple images, https://dspace.mit.edu/handle/1721.1/16136」に記載されている手法が用いられる。なお、アルベド画像を生成する方法は上述した方法に限られず、他の方法によりプロセッサ１１がアルベド画像を生成してもよい。
ステップＳ１３において、プロセッサ１１は、１台のカメラ２０で撮影した８枚の撮像画像、およびステップＳ１２で計算した光源ベクトルに基づき、対象物の撮像画像において鏡面反射成分および陰影の一方または両方の影響を軽減した画像（以下、「アルベド画像」ともいう）を生成する。アルベド画像は、本明細書に係る「第１画像」の一例である。アルベド画像は、一例として、ＲＧＢ色空間により表される画像である。アルベド画像を生成する方法としては、例えば、「Reflectance Map Techniques for Analyzing Surface Defects in Metal Castings, “https://dspace.mit.edu/handle/1721.1/16353”」、「Determining shape and reflectance using multiple images, https://dspace.mit.edu/handle/1721.1/16136」に記載されている手法が用いられる。なお、アルベド画像を生成する方法は上述した方法に限られず、他の方法によりプロセッサ１１がアルベド画像を生成してもよい。
【0039】
複数のカメラ２０のそれぞれが撮影した８枚の撮像画像に基づきプロセッサ１１がアルベド画像を生成する。換言すると、プロセッサ１１は、アルベド画像をカメラ２０毎に生成する。カメラ２０の台数が３台である場合、プロセッサ１１は、３枚のアルベド画像を生成する。
【0040】
図５は、アルベド画像を例示する図である。図において、アルベド画像Ｉｍｇ１１は、良品である対象物を撮影した撮像画像からプロセッサ１１が生成したアルベド画像である。アルベド画像Ｉｍｇ１２～Ｉｍｇ１４は良品でない（欠陥を有する）対象物の撮像画像からプロセッサ１１が生成したアルベド画像である。
【0041】
図５に示すように、対象物に含まれる欠陥の大きさが、アルベド画像に表れている。図５の例では、アルベド画像Ｉｍｇ１３の欠陥のほうがアルベド画像Ｉｍｇ１２の欠陥よりも大きく、また、アルベド画像Ｉｍｇ１４の欠陥のほうがアルベド画像Ｉｍｇ１３の欠陥よりも大きい。
【0042】
（ステップＳ１４）
ステップＳ１４において、プロセッサ１１は、１台のカメラ２０で撮影した８枚の撮像画像に基づき、法線ベクトル画像を生成する。法線ベクトル画像は、照度差ステレオにより生成された、判定対象物２の表面の各点における法線方向を表す画像である。法線ベクトル画像は、本明細書に係る「第２画像」の一例である。法線ベクトル画像は、一例として、各点における法線方向をＲＧＢで表す画像である。
ステップＳ１４において、プロセッサ１１は、１台のカメラ２０で撮影した８枚の撮像画像に基づき、法線ベクトル画像を生成する。法線ベクトル画像は、照度差ステレオにより生成された、判定対象物２の表面の各点における法線方向を表す画像である。法線ベクトル画像は、本明細書に係る「第２画像」の一例である。法線ベクトル画像は、一例として、各点における法線方向をＲＧＢで表す画像である。
【0043】
図６は、法線ベクトル画像を例示する図である。図において、法線ベクトル画像Ｉｍｇ２１は、良品である対象物を撮影した撮像画像からプロセッサ１１が生成した法線ベクトル画像である。法線ベクトル画像Ｉｍｇ２２～Ｉｍｇ２４は良品でない（欠陥を有する）対象物の撮像画像からプロセッサ１１が生成した法線ベクトル画像である。
【0044】
図６に示すように、対象物に含まれる欠陥の厚みが、法線ベクトル画像に表れている。図６の例では、法線ベクトル画像Ｉｍｇ２３の欠陥の厚みのほうが法線ベクトル画像Ｉｍｇ２２の欠陥の厚みよりも厚く、また、法線ベクトル画像Ｉｍｇ２４の欠陥の厚みのほうが法線ベクトル画像Ｉｍｇ２３の欠陥の厚みよりも厚い。
【0045】
（ステップＳ１５）
図４のステップＳ１５において、プロセッサ１１は、判定対象である対象物について撮影が完了したかを判別する。一例として、プロセッサ１１は、対象物の６方向からの撮影が完了した場合、撮影が完了したと判定する。一方、プロセッサ１１は、３方向からの撮影しか行っていない場合、撮影が完了していないと判定する。撮影が完了した場合（ステップＳ１５；ＹＥＳ）、プロセッサ１１は、ステップＳ１７の処理に進む。一方、撮影が完了していない場合（ステップＳ１５；ＮＯ）、プロセッサ１１は、ステップＳ１６の処理に進む。
図４のステップＳ１５において、プロセッサ１１は、判定対象である対象物について撮影が完了したかを判別する。一例として、プロセッサ１１は、対象物の６方向からの撮影が完了した場合、撮影が完了したと判定する。一方、プロセッサ１１は、３方向からの撮影しか行っていない場合、撮影が完了していないと判定する。撮影が完了した場合（ステップＳ１５；ＹＥＳ）、プロセッサ１１は、ステップＳ１７の処理に進む。一方、撮影が完了していない場合（ステップＳ１５；ＮＯ）、プロセッサ１１は、ステップＳ１６の処理に進む。
【0046】
（ステップＳ１６）
ステップＳ１６において、プロセッサ１１は、ロボットアーム６０を制御し、判定対象物２を回転させ、判定対象物２の姿勢を変更する。ステップＳ１６の処理を終えると、プロセッサ１１は、ステップＳ１１に戻り、残りの３方向についても同様に撮像する。このように、ステップＳ１１～ステップＳ１６において、外観判定システム１は、判定対象物２の３面を撮像して３枚の撮像画像を生成し、上下反転および回転させることで残りの３面を撮像する。
ステップＳ１６において、プロセッサ１１は、ロボットアーム６０を制御し、判定対象物２を回転させ、判定対象物２の姿勢を変更する。ステップＳ１６の処理を終えると、プロセッサ１１は、ステップＳ１１に戻り、残りの３方向についても同様に撮像する。このように、ステップＳ１１～ステップＳ１６において、外観判定システム１は、判定対象物２の３面を撮像して３枚の撮像画像を生成し、上下反転および回転させることで残りの３面を撮像する。
【0047】
プロセッサ１１がステップＳ１１～Ｓ１６を繰り返し実行することにより、プロセッサ１１は、６方向のそれぞれについてアルベド画像と法線ベクトル画像とを生成する。換言すると、プロセッサ１１は、ひとつの判定対象物２について、６つのアルベド画像と６つの法線ベクトル画像とを生成する。
【0048】
このとき、プロセッサ１１は、これらのアルベド画像と法線ベクトル画像とに対し所定のマスク処理を実行してもよい。一例として、プロセッサ１１は、アルベド画像と法線ベクトル画像とに対し、予め用意されているマスク画像を合わせて不要箇所（背景等）を塗りつぶすマスク処理を実行してもよい。
【0049】
また、プロセッサ１１は、アルベド画像および法線ベクトル画像の一方または両方に対して所定のマスク処理を実行し、マスク処理により塗りつぶしていない領域を含む領域の画像を切り出す処理を実行してもよい。この場合、プロセッサ１１は、切り出した画像を、後段の処理においてアルベド画像と法線ベクトル画像として扱う。換言すると、プロセッサ１１は、切り出した画像を用いて類似度を特定する。
【0050】
図７は、プロセッサ１１が行う画像の切り出し処理の一例を示す図である。図において、画像Ｉｍｇ３１はマスク処理が行われたアルベド画像の一例である。プロセッサ１１は、画像Ｉｍｇ３１において、マスク領域Ｉｍｇ３１１以外の領域を含む、矩形領域Ｉｍｇ３１２を切り出す処理を実行する。プロセッサ１１は、後段の処理において、矩形領域Ｉｍｇ３１２の画像をアルベド画像として扱う。
【0051】
（ステップＳ１７）
ステップＳ１７において、プロセッサ１１は、判定対象物と１または複数の良品対象物とを特徴量空間に埋め込む処理を行う。一例として、プロセッサ１１は、複数の良品対象物のアルベド画像（第１画像）を、第１の特徴量空間上の複数の第１の点にマッピングすると共に、複数の良品対象物の法線ベクトル画像（第２画像）を、第２の特徴量空間上の複数の第２の点にマッピングする。また、プロセッサ１１は、判定対象物のアルベド画像（第１画像）を、第１の特徴量空間上の第３の点にマッピングするとともに、判定対象物の法線ベクトル画像（第２画像）を、第２の特徴量空間上の第４の点にマッピングする。ステップＳ１７は、本明細書に係る「マッピングステップ」の一例である。第２の特徴量空間は、一例として、第１の特徴量空間と異なる特徴量空間である。
ステップＳ１７において、プロセッサ１１は、判定対象物と１または複数の良品対象物とを特徴量空間に埋め込む処理を行う。一例として、プロセッサ１１は、複数の良品対象物のアルベド画像（第１画像）を、第１の特徴量空間上の複数の第１の点にマッピングすると共に、複数の良品対象物の法線ベクトル画像（第２画像）を、第２の特徴量空間上の複数の第２の点にマッピングする。また、プロセッサ１１は、判定対象物のアルベド画像（第１画像）を、第１の特徴量空間上の第３の点にマッピングするとともに、判定対象物の法線ベクトル画像（第２画像）を、第２の特徴量空間上の第４の点にマッピングする。ステップＳ１７は、本明細書に係る「マッピングステップ」の一例である。第２の特徴量空間は、一例として、第１の特徴量空間と異なる特徴量空間である。
【0052】
ステップＳ１７において、アルベド画像（第１画像）を第１の特徴量空間上の点にマッピングするマップＬＭ１１、および、法線ベクトル画像（第２画像）を第２の特徴量空間上の点にマッピングするマップＬＭ１２は、一例として、メトリックラーニングによって構築されたマップである。マップＬＭ１１、ＬＭ１２は、一例として、従来のＣＮＮの末端層を、規定のサイズに定義した埋め込みデータとなるように修正したものである。マップＬＭ１１、ＬＭ１２は、同じカテゴリのサンプル同士の特徴量空間における埋め込みデータの距離が近くなるように、また、異なるカテゴリのサンプル同士の距離が遠くなるように学習される。以下の説明では、マップＬＭ１１とマップＬＭ１２とを各々区別する必要がない場合には、これらを「学習済モデルＬＭ１」と称する。
【0053】
図８は、学習済モデルＬＭ１の一例を模式的に示す図である。学習済モデルＬＭ１には、上述のように入力データが入力される。入力データは、プロセッサ１１が図４のステップＳ１３で生成したアルベド画像、または、ステップＳ１４で生成した法線ベクトル画像である。
【0054】
学習済モデルＬＭ１は、例えば、複数の畳み込み層、プーリング層、結合層から成る。畳み込み層において、入力データはフィルタリングによる情報の畳み込みがなされる。畳み込みを経たデータは、プーリング層においてプーリング処理が施される。これにより、データ中の特徴の位置変化に対するモデルの認識能力が向上する。プーリング処理を経たデータは、結合層で処理されることによって、学習済モデルＬＭ１の出力データ、すなわち、埋め込み空間における対象物を表す埋め込みデータに変換されて出力される。
【0055】
すなわち、学習済モデルＬＭ１に入力された入力データを、図８に示す各層をこれらの順に通過させることにより、埋め込みデータが出力される。学習済モデルＬＭ１の出力である埋め込みデータは、一例として、複数の浮動小数点数を含む。埋め込みデータに含まれる浮動小数点数の数は、特徴量空間の次元数である。
【0056】
なお、学習済モデルＬＭ１の構成は、図８に示すものに限られない。学習済モデルＬＭ１は、例えば、汎用のＣＮＮをベースに、末尾付近の層を削除し、畳み込み層、プーリング層、ドロップアウト、全結合層、L2正則化層、を付与した構成であってもよい。
【0057】
ステップＳ１７において、判定対象物を特徴量空間にマッピングする場合、プロセッサ１１は、ステップＳ１３で生成したアルベド画像をマップＬＭ１１に入力し、マップＬＭ１１が出力する、特徴量空間における対象物を表す埋め込みデータ（第３の点を表すデータ）を取得する。また、プロセッサ１１は、ステップＳ１４で生成した法線ベクトル画像をマップＬＭ１２に入力し、ＬＭ１２が出力する、特徴量空間における対象物を表す埋め込みデータ（第４の点を表すデータ）を取得する。
【0058】
また、図４のステップＳ１７において、良品対象物を特徴量空間にマッピングする場合、プロセッサ１１は、良品対象物のアルベド画像をマップＬＭ１１に入力し、マップＬＭ１１が出力する、特徴量空間における良品対象物を表す埋め込みデータ（第１の点を表すデータ）を取得する。また、プロセッサ１１は、良品対象物の法線ベクトル画像をマップＬＭ１２に入力し、マップＬＭ１２が出力する、特徴量空間における良品対象物を表す埋め込みデータ（第２の点を表すデータ）を取得する。
【0059】
本実施形態において、良品対象物のアルベド画像と法線ベクトル画像とは、一例として、外観判定装置１０または他の装置により予め生成されている。良品対象物のアルベド画像と法線ベクトル画像との生成方法は、判定対象物のアルベド画像と法線ベクトル画像との生成方法と同様であり、例えば外観判定システム１が図４のステップＳ１１～１６と同様のステップを実行することにより良品対象物のアルベド画像と法線ベクトル画像とを生成する。
【0060】
（ステップＳ１８）
図４のステップＳ１８において、プロセッサ１１は、判定対象物と良品対象物との類似度を特定する。プロセッサ１１は、一例として、第１の特徴量空間における第１の点（良品対象物のアルベド画像を表す点）と第３の点（判定対象物のアルベド画像を表す点）との距離、および、第２の特徴量空間における第２の点（良品対象物の法線ベクトル画像を表す点）と第４の点（判定対象物の法線ベクトル画像を表す点）との距離に基づき、前記類似度を特定する。本動作例では、プロセッサ１１は、ひとつの判定対象物において、６個のアルベド画像と６個の法線ベクトル画像との計１２個の画像のそれぞれについて類似度を特定する。換言すると、プロセッサ１１は、ひとつの判定対象物について１２個の類似度を特定する。
図４のステップＳ１８において、プロセッサ１１は、判定対象物と良品対象物との類似度を特定する。プロセッサ１１は、一例として、第１の特徴量空間における第１の点（良品対象物のアルベド画像を表す点）と第３の点（判定対象物のアルベド画像を表す点）との距離、および、第２の特徴量空間における第２の点（良品対象物の法線ベクトル画像を表す点）と第４の点（判定対象物の法線ベクトル画像を表す点）との距離に基づき、前記類似度を特定する。本動作例では、プロセッサ１１は、ひとつの判定対象物において、６個のアルベド画像と６個の法線ベクトル画像との計１２個の画像のそれぞれについて類似度を特定する。換言すると、プロセッサ１１は、ひとつの判定対象物について１２個の類似度を特定する。
【0061】
類似度の特定には、一例として、ｋ近傍法、ＬＯＦ、または、マハラノビス距離に基づく手法が用いられる。ＬＯＦは、対象物から近傍ｋ（ｋは２以上の整数）個のサンプルとの局所密度（Local Density）に注目することで、データの分布を考慮した異常検知を行う手法である。プロセッサ１１は、一例として、ＬＯＦまたはｋ近傍法により、判定対象物に対応する点（第２の点、第４の点）の近傍における、複数の良品対象物に対応する点（第１の点、第３の点）の密度、または、判定対象物に対応する点（第２の点、第４の点）と複数の良品対象物に対応する点（第１の点、第３の点）との距離に基づき特定される値を、類似度とする。
【0062】
ＬＯＦを用いる場合、一例として、密度が高いほど類似度が高く、密度が低いほど類似度が低い。また、ｋ近傍法を用いる場合、一例として、プロセッサ１１は、良品対象物に対応する点が埋め込まれた特徴量空間において判定対象物のｋ近傍を計算し、良品対象物との距離の平均値、最大値、最小値等に基づき類似度を特定する。一例として、プロセッサ１１は、距離の平均値が大きいほど類似度を低く、平均値が小さいほど類似度を高く特定する。
【0063】
また、ｋ近傍法を用いる場合の他の例として、プロセッサ１１は、判定対象物を表すサンプル（第２の点）のｋ個の最近傍のサンプルのうちのクラス毎のサンプル数を特定してもよい。この場合、良品対象物に対応するクラスのサンプル数が類似度として扱われる。この場合、一例として、良品対象物に対応するクラスのサンプル数が多いほど類似度が高く、サンプル数が少ないほど類似度が低い。
【0064】
（ステップＳ１９）
ステップＳ１９において、プロセッサ１１は、ステップＳ１８で特定した複数の類似度に基づき判定対象物が良品かどうかを判定する。一例として、ステップＳ１８で特定した複数の類似度の全てが所定の閾値以上である場合に、プロセッサ１１は、判定対象物が良品であると判定してもよい。また、一例として、プロセッサ１１は、複数の類似度に基づき判定対象物が良品である程度を表す数値（異常スコア）を算出する。一例として、プロセッサ１１は、特定された複数の類似度の最小値、最大値、および平均値等に基づき、異常スコアを算出する。異常スコアは、一例として、その値が小さいほど、その判定対象物が良品である可能性が高いことを示す。
ステップＳ１９において、プロセッサ１１は、ステップＳ１８で特定した複数の類似度に基づき判定対象物が良品かどうかを判定する。一例として、ステップＳ１８で特定した複数の類似度の全てが所定の閾値以上である場合に、プロセッサ１１は、判定対象物が良品であると判定してもよい。また、一例として、プロセッサ１１は、複数の類似度に基づき判定対象物が良品である程度を表す数値（異常スコア）を算出する。一例として、プロセッサ１１は、特定された複数の類似度の最小値、最大値、および平均値等に基づき、異常スコアを算出する。異常スコアは、一例として、その値が小さいほど、その判定対象物が良品である可能性が高いことを示す。
【0065】
（ステップＳ２０）
図４のステップＳ２０において、プロセッサ１１は、判定結果を出力する。一例として、プロセッサ１１は、ディスプレイに判定結果を表示する等して出力する。
図４のステップＳ２０において、プロセッサ１１は、判定結果を出力する。一例として、プロセッサ１１は、ディスプレイに判定結果を表示する等して出力する。
【0066】
図９は、プロセッサ１１が算出する異常スコアの一例を示す図である。図９のグラフ１０１において、横軸は、判定対象物に含まれる欠陥の高さを示し、縦軸は、プロセッサ１１が算出する異常スコアを示す。図示のように、欠陥の高さが高いほど、プロセッサ１１が算出する異常スコアの値が大きくなっている。また、グラフ１０２において、横軸は、判定対象物に含まれる欠陥の面積を示し、横軸は、プロセッサ１１が算出する異常スコアを示す。図示のように、欠陥の面積が広いほど、プロセッサ１１が算出する異常スコアの値が大きくなっている。
【0067】
以上説明したように本実施形態によれば、外観判定装置１０は、対象物の光学像だけでなく、対象物の形状を表す第２画像を用いて判定対象物と良品対象物との類似度を特定する。光学像には表れない欠陥が対象物に含まれる場合であっても、外観判定装置１０が光学像と対象物の形状を表す第２画像との両方を用いて類似度を特定することにより、判定対象物が良品か否かをより適切に判定することができる。
【0068】
また、本実施形態では、外観判定装置１０は、判定対象物と複数の良品対象物との類似度を特定する。良品対象物の画像（アルベド画像、法線ベクトル画像）として、例えばバリを含む良品対象物の画像など、多様な良品対象物の画像を用いることで、例えばバリを含む対象物を良品と判定することができる等、対象物の良否判定をより好適に行うことができる。
【0069】
また、本実施形態によれば、外観判定システム１は判定対象物２を一度に３方向から撮影するため、判定に要する時間を短縮することができる。また、本実施形態によれば、照度差ステレオを利用することにより、汎用のカメラを用いた簡易なシステム構成で、アルベド画像および法線ベクトル画像を生成することができる。
【0070】
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0071】
実施形態２に係る外観判定システム１Ｂは、実施形態１に係る外観判定装置１０に代えて、外観判定装置１０Ｂを備える。外観判定装置１０Ｂは、図１に示した外観判定装置１０と同様の構成を有する。換言すると、外観判定装置１０Ｂは、プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力ＩＦ１４、および通信ＩＦ１５を備える。これらの構成要素は上述の実施形態１のそれらと同様であり、その説明を繰り返さない。
【0072】
外観判定装置１０Ｂの二次メモリ１３は、外観判定プログラムＰ１、マップＬＭ１１、およびＬＭ１２に加えて、マップ構築プログラムＰ２および学習用データセットＬＤ１を記憶する。プロセッサ１１は、二次メモリ１３に格納されているマップ構築プログラムＰ２を一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開されたマップ構築プログラムＰ２に含まれる命令に従って、マップ構築方法Ｍ２に含まれる各ステップを実行する。学習用データセットＬＤ１は、マップ構築方法Ｍ２をプロセッサ１１が実行する際に利用される。なお、マップ構築プログラムＰ２が二次メモリ１３に格納されているとは、ソースコード、または、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ１３に記憶されていることを指す。
【0073】
（マップ構築方法の流れ）
本実施形態において、外観判定装置１０Ｂは、マップＬＭ１１およびＬＭ１２を構築する処理を実行する。図１０は、外観判定システム１Ｂが行うマップ構築方法Ｍ２の流れを例示するフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行されてもよい。
本実施形態において、外観判定装置１０Ｂは、マップＬＭ１１およびＬＭ１２を構築する処理を実行する。図１０は、外観判定システム１Ｂが行うマップ構築方法Ｍ２の流れを例示するフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行されてもよい。
【0074】
ステップＳ３１～Ｓ３８において、プロセッサ１１は、学習用データセットＬＤ１を収集する。学習用データセットＬＤ１は、マップＬＭ１１およびＬＭ１２の生成処理において用いられる。学習用データセットＬＤ１は、対象物のアルベド画像、法線ベクトル画像、および対象物または画像のカテゴリを表すクラスを組み合わせたデータの集合である。カテゴリは、一例として、撮像画像の撮影方向を表す。以下では、学習用データの収集の対象である対象物を「サンプル」ともいう。学習用データの収集の対象となる対象物は、良品である良品対象物である。
【0075】
【0076】
（ステップＳ３７）
ステップＳ３７において、プロセッサ１１は、全てのサンプルについて撮影が完了したかを判別する。撮影が完了した場合（ステップＳ３７；ＹＥＳ）、プロセッサ１１は、ステップＳ３８の処理に進む。一方、未だ撮影していないサンプルが残っている場合（ステップＳ３７；ＮＯ）、プロセッサ１１は、ステップＳ３１の処理に戻り、次のサンプルについての撮影を行う。外観判定システム１は、複数のサンプルのそれぞれについて、ステップＳ３１～Ｓ３６の処理を実行し、対象物のアルベド画像と法線ベクトル画像とを生成する。
ステップＳ３７において、プロセッサ１１は、全てのサンプルについて撮影が完了したかを判別する。撮影が完了した場合（ステップＳ３７；ＹＥＳ）、プロセッサ１１は、ステップＳ３８の処理に進む。一方、未だ撮影していないサンプルが残っている場合（ステップＳ３７；ＮＯ）、プロセッサ１１は、ステップＳ３１の処理に戻り、次のサンプルについての撮影を行う。外観判定システム１は、複数のサンプルのそれぞれについて、ステップＳ３１～Ｓ３６の処理を実行し、対象物のアルベド画像と法線ベクトル画像とを生成する。
【0077】
（ステップＳ３８）
ステップＳ３８において、プロセッサ１１は、データ増強を行う。一例として、プロセッサ１１は、学習用データとして生成した画像に対し回転処理、シフト処理、投影変換処理、ノイズ付与処理、等の各種の処理を実行して模擬データを生成する。なお、学習用データが充分にある場合、プロセッサ１１はステップＳ３８のデータ増強処理を行わなくてもよい。
ステップＳ３８において、プロセッサ１１は、データ増強を行う。一例として、プロセッサ１１は、学習用データとして生成した画像に対し回転処理、シフト処理、投影変換処理、ノイズ付与処理、等の各種の処理を実行して模擬データを生成する。なお、学習用データが充分にある場合、プロセッサ１１はステップＳ３８のデータ増強処理を行わなくてもよい。
【0078】
（ステップＳ３９）
ステップＳ３９において、プロセッサ１１は、メトリックラーニングにより、対象物のアルベド画像を特徴量空間にマッピングするマップＬＭ１１、および、対象物の法線ベクトル画像を特徴量空間にマッピングするマップＬＭ１２を構築する。このとき、プロセッサ１１は、同じカテゴリのサンプル同士の特徴量空間における埋め込みデータの距離が近くなるように、また、異なるカテゴリのサンプル同士の距離が遠くなるように、マップＬＭ１１およびＬＭ１２を学習させる。
ステップＳ３９において、プロセッサ１１は、メトリックラーニングにより、対象物のアルベド画像を特徴量空間にマッピングするマップＬＭ１１、および、対象物の法線ベクトル画像を特徴量空間にマッピングするマップＬＭ１２を構築する。このとき、プロセッサ１１は、同じカテゴリのサンプル同士の特徴量空間における埋め込みデータの距離が近くなるように、また、異なるカテゴリのサンプル同士の距離が遠くなるように、マップＬＭ１１およびＬＭ１２を学習させる。
【0079】
プロセッサ１１は、ステップＳ３９で生成したマップを用いて、判定対象物の外観判定を行う。外観判定の方法は上述の実施形態１で示した方法と同様である。
【0080】
（実施形態の効果）
本実施形態によれば、外観判定装置１０Ｂは、対象物のアルベド画像と法線ベクトル画像とを用いて、アルベド画像と法線ベクトル画像とをそれぞれ特徴量空間にマッピングするマップを構築する。外観判定装置１０Ｂは、このマップを用いることにより、対象物が良品であるかをより好適に判定することができる。
本実施形態によれば、外観判定装置１０Ｂは、対象物のアルベド画像と法線ベクトル画像とを用いて、アルベド画像と法線ベクトル画像とをそれぞれ特徴量空間にマッピングするマップを構築する。外観判定装置１０Ｂは、このマップを用いることにより、対象物が良品であるかをより好適に判定することができる。
【0081】
〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0082】
本実施形態に係る外観判定システム１Ｃは、実施形態１に係る外観判定装置１０に代えて、外観判定装置１０Ｃを備える。外観判定装置１０Ｃは、図１に示した外観判定装置１０と同様の構成を有する。換言すると、外観判定装置１０Ｃは、プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力ＩＦ１４、および通信ＩＦ１５を備える。これらの構成要素は上述の実施形態１のそれらと同様であり、その説明を繰り返さない。
【0083】
本実施形態に係る二次メモリ１３は、マップＬＭ２１～ＬＭ２８の８個のマップを記憶する。マップＬＭ２１～ＬＭ２４は、アルベド画像を複数の領域に分割した分割画像を、第１の特徴量空間上の点にマッピングするマップである。マップＬＭ２５～ＬＭ２８は、法線ベクトル画像を複数の領域に分割した分割画像を、第２の特徴量空間上の点にマッピングするマップである。
【0084】
図１１は、実施形態３に係る外観判定システム１Ｃが行う外観判定方法を例示するフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行されてもよい。図１１のステップＳ１５において、プロセッサ１１は、撮影が完了した場合（ステップＳ１５にてＹＥＳ）、ステップＳ１７の前のステップＳ２１の処理を行う。
【0085】
（ステップＳ２０）
ステップＳ２０において、プロセッサ１１は、ステップＳ１３で生成した６つのアルベド画像、および、ステップＳ１４で生成した６つの法線ベクトル画像をそれぞれ、複数の領域に分割して分割画像を生成する。一例として、プロセッサ１１は、６つのアルベド画像および６つの法線ベクトル画像をそれぞれ、４つの領域に分割する。換言すると、プロセッサ１１は、２４個のアルベド画像（ステップＳ１３で生成したアルベド画像を４分割した分割画像）および２４個の法線ベクトル画像（ステップＳ１４で生成した法線ベクトル画像を４分割した分割画像）を生成する。なお、分割する数は４に限らず、これより多くても少なくてもよい。例えば、プロセッサ１１は、アルベド画像および法線ベクトル画像を６分割または９分割してもよい。
ステップＳ２０において、プロセッサ１１は、ステップＳ１３で生成した６つのアルベド画像、および、ステップＳ１４で生成した６つの法線ベクトル画像をそれぞれ、複数の領域に分割して分割画像を生成する。一例として、プロセッサ１１は、６つのアルベド画像および６つの法線ベクトル画像をそれぞれ、４つの領域に分割する。換言すると、プロセッサ１１は、２４個のアルベド画像（ステップＳ１３で生成したアルベド画像を４分割した分割画像）および２４個の法線ベクトル画像（ステップＳ１４で生成した法線ベクトル画像を４分割した分割画像）を生成する。なお、分割する数は４に限らず、これより多くても少なくてもよい。例えば、プロセッサ１１は、アルベド画像および法線ベクトル画像を６分割または９分割してもよい。
【0086】
ステップＳ１７Ｃ（マッピングステップの一例）において、プロセッサ１１は、アルベド画像（第１画像）を複数の領域に分割した分割画像を、複数の領域の各々に対応する特徴量空間上の点にマッピングすると共に、法線ベクトル画像（第２画像）を複数の領域に分割した分割画像を、複数の領域の各々に対応する特徴量空間上の点にマッピングする。マップＬＭ２１～ＬＭ２４はそれぞれ、４つに分割したアルベド画像の分割画像のそれぞれに対応している。プロセッサ１１は、一例として、４つに分割された分割画像のうち、右上の分割画像を、マップＬＭ２１を用いて第１の特徴量空間にマッピングする。同様に、プロセッサ１１は、４つに分割された分割画像のうち、右下の分割画像を、マップＬＭ２２を用いて第１の特徴量空間にマッピングする。また、プロセッサ１１は、一例として、４つに分割された分割画像のうち、左上の分割画像を、マップＬＭ２３を用いて第１の特徴量空間にマッピングする。また、プロセッサ１１は、一例として、４つに分割された分割画像のうち、左下の分割画像を、マップＬＭ２４を用いて第１の特徴量空間にマッピングする。
【0087】
また、マップＬＭ２５～ＬＭ２８はそれぞれ、４つに分割した法線ベクトル画像の分割画像のそれぞれに対応している。プロセッサ１１は、一例として、４つに分割された法線ベクトル画像の分割画像のうち、右上の分割画像を、マップＬＭ２５を用いて第２の特徴量空間にマッピングする。同様に、プロセッサ１１は、４つに分割された分割画像のうち、右下の分割画像を、マップＬＭ２６を用いて第２の特徴量空間にマッピングする。また、プロセッサ１１は、一例として、４つに分割された分割画像のうち、左上の分割画像を、マップＬＭ１１７を用いて第２の特徴量空間にマッピングする。また、プロセッサ１１は、一例として、４つに分割された分割画像のうち、左下の分割画像を、マップＬＭ２８を用いて第２の特徴量空間にマッピングする。
【0088】
ステップＳ１８Ｃにおいて、プロセッサ１１は、第１画像の分割画像および前記第２画像の分割画像のそれぞれについて前記類似度を特定する。また、ステップＳ１９Ｃにおいて、プロセッサ１１は、ステップＳ１８Ｃで特定した複数の類似度に基づいて、判定対象物が良品であるか否かを判定する。プロセッサ１１は、一例として、特定された複数の類似度の最小値、最大値、および平均値等に基づき、判定対象物の異常スコアを算出してもよい。
【0089】
本実施形態によれば、プロセッサ１１は、判別用の画像（アルベド画像および法線ベクトル画像）を分割することにより、マップに入力する画像の単位を小さくすることができる。これにより、より詳細な部分まで評価することができる。特に、ＣＮＮベースのニューラルネットワークは、畳み込みやプーリングを経る際に詳細部位の情報が欠落してしまうが、画像を分割して小さくすることで、この影響を小さくすることができる。
【0090】
本実施形態において、判別用の画像において重複する領域を含めることなく分割した場合、分割した境界部分を跨いだ欠陥が検出されにくい。そのため、プロセッサ１１は、複数の分割画像に重複する領域が含まれるように撮像画像を分割してもよい。また、プロセッサ１１は、一例として、異なる解像度で分割した画像を用いて判定を行ってもよい。プロセッサ１１が一部の領域を重複させて分割画像を生成したり、異なる解像度で画像を分割したりすることにより、境界部分に欠陥が含まれる場合であっても良品判定をより適切に行うことができる。
【0091】
〔実施形態４〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0092】
実施形態４に係る外観判定システム１Ｄは、実施形態１に係る外観判定装置１０に代えて、外観判定装置１０Ｄを備える。外観判定装置１０Ｄは、図１に示した外観判定装置１０と同様の構成を有する。換言すると、外観判定装置１０Ｄは、プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力ＩＦ１４、および通信ＩＦ１５を備える。これらの構成要素は上述の実施形態１のそれらと同様であり、その説明を繰り返さない。
【0093】
外観判定装置１０Ｂの二次メモリ１３は、外観判定プログラムＰ１、マップＬＭ１１、およびＬＭ１２に代えて、外観判定プログラムＰ４、およびマップＬＭ４１を記憶する。マップＬＭ４１は、アルベド画像（第１画像）および法線ベクトル画像（第２画像）を、特徴量空間上の点にマッピングするマップである。換言すると、本実施形態において、第１画像がマッピングされる第１の特徴量空間と、第２画像がマッピングされる第２の特徴量空間とは、同一の特徴量空間である。マップ４１は、一例として、メトリックラーニングによって構築された学習済モデルである。
【0094】
本実施形態では、プロセッサ１１は、マップＬＭ４１を用いて、対象物のアルベド画像を特徴量空間上にマッピングすると共に、対象物の法線ベクトル画像を、アルベド画像と同一の特徴量空間上にマッピングする。マップＬＭ４１により、似ている対象物同士は近い距離でプロットされ、似ていない対象物は遠い距離でプロットされる。アルベド画像と法線ベクトル画像とは色味が全く異なるため、ひとつの特徴量空間においてアルベド画像と法線ベクトル画像とは離れてプロットされる。
【0095】
プロセッサ１１は、特徴量空間における判定対象物のアルベド画像と良品対象物のアルベド画像との距離に基づき類似度を特定するとともに、判定対象物の法線ベクトル画像と良品対象物の良品ベクトル画像との距離に基づき、類似度を特定する。類似度の特定処理は、上述した実施形態１で示した処理と同様であり、その説明を繰り返さない。
【0096】
〔実施形態５〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0097】
実施形態５に係る外観判定システム１Ｅは、実施形態３に係る外観判定装置１０Ｃに代えて、外観判定装置１０Ｅを備える。外観判定装置１０Ｅは、図１に示した外観判定装置１０と同様の構成を有する。換言すると、外観判定装置１０Ｅは、プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力ＩＦ１４、および通信ＩＦ１５を備える。これらの構成要素は上述の実施形態１のそれらと同様であり、その説明を繰り返さない。
【0098】
本実施形態に係る二次メモリ１３は、実施形態３に係るマップＬＭ２１～ＬＭ２８に代えて、マップＬＭ５１を記憶する。マップＬＭ５１は、アルベド画像（第１画像）を複数の領域に分割した分割画像、および、法線ベクトル画像（第２画像）を複数の領域に分割した分割画像を、特徴量空間上の点にマッピングするマップである。換言すると、本実施形態において、第１画像を複数の領域に分割した分割画像がマッピングされる第１の特徴量空間と、第２画像を複数の領域に分割した分割画像がマッピングされる第２の特徴量空間とは、同一の特徴量空間である。マップＬＭ５１は、一例として、メトリックラーニングによって構築された学習済モデルである。
【0099】
プロセッサ１１は、上記特徴量空間における判定対象物のアルベド画像の分割画像と良品対象物のアルベド画像の分割画像との距離に基づき、類似度を特定するとともに、上記特徴量空間における判定対象物の法線ベクトル画像の分割画像と良品対象物の法線ベクトル画像との距離に基づき、類似度を特定する。一例として、６個のアルベド画像および６個の法線ベクトル画像との計１２個の画像をそれぞれ４分割した場合、プロセッサ１１は、それぞれの分割画像についての類似度、すなわち計４８個の類似度を特定する。
【0100】
本実施形態においても、上述の実施形態３と同様に、プロセッサ１１が、複数の分割画像に重複する領域が含まれるように撮像画像を分割してもよい。また、プロセッサ１１は、一例として、異なる解像度で分割した画像を用いて判定を行ってもよい。プロセッサ１１が一部の領域を重複させて分割画像を生成したり、異なる解像度で画像を分割したりすることにより、境界部分に欠陥が含まれる場合であっても良品判定をより適切に行うことができる。
【0101】
〔実施形態６〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0102】
実施形態６に係る外観判定システム１Ｆは、実施形態１に係る外観判定装置１０に代えて、外観判定装置１０Ｆを備える。外観判定装置１０Ｆは、図１に示した外観判定装置１０と同様の構成を有する。換言すると、外観判定装置１０Ｆは、プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力ＩＦ１４、および通信ＩＦ１５を備える。これらの構成要素は上述の実施形態１のそれらと同様であり、その説明を繰り返さない。
【0103】
上述の実施形態１では、プロセッサ１１は、アルベド画像と法線ベクトル画像とを用いて類似度を特定し、法線ベクトル画像（第２画像）としては、対象物の表面の各点における法線方向を表す画像を用いた。第２画像は上述した各実施形態で示した画像に限られず、他の画像であってもよい。第２画像は、一例として、各点における法線ベクトルをＲＧＢの各成分値で表す法線ベクトル画像と、法線ベクトル画像に含まれるエッジを表す画像とを含んでいてもよい。プロセッサ１１は、一例として、法線ベクトルから高さ情報への換算処理、または、法線ベクトルの鮮鋭化処理を実行し、法線ベクトルのエッジを表す画像データを生成する。プロセッサ１１は、一例として、ソーベルフィルタ（Sobel filter）を用いて輪郭検出処理を行うことにより、エッジを表す画像データを生成する。
【0104】
また、第２画像は、一例として、各点における法線ベクトルをＲＧＢの各成分値で表す法線ベクトル画像と、法線ベクトル画像に含まれるエッジを表す画像とを合成した画像であってもよい。また、第２画像は、一例として、法線ベクトル画像に含まれるエッジを表す画像データであってもよい。
【0105】
各点における法線方向をＲＧＢで表す法線ベクトル画像には高さ情報が含まれないため、フラットな形状の異物が付着している場合等、欠陥の高さが低い場合には感度が低い傾向がある。本実施形態では、法線ベクトル画像から高さ情報への換算処理、または、法線ベクトル画像の鮮鋭化処理を実行することにより、高さが低い欠陥を含む対象物についても良否判定を適切に行うことができる。
【0106】
〔付記事項１〕
上述の実施形態において、第１画像および前記第２画像の一方または両方は、対象物の撮像画像に対し所定のマスク処理を実行することにより得られる画像を用いて生成される画像であってもよい。一例として、プロセッサ１１は、背景領域を予め用意しておいたマスク画像で塗りつぶす処理を行ってもよい。マスク処理を行わない場合、撮像画像に含まれる背景がノイズとなり判定が適切に行えない場合がある。プロセッサ１１が撮像画像に対しマスク処理を実行することにより、判定の対象としたい領域以外の領域のノイズによる揺らぎを抑えることができる。また、プロセッサ１１がマスク処理を実行することにより、判定に係る計算量を下げることができる。
上述の実施形態において、第１画像および前記第２画像の一方または両方は、対象物の撮像画像に対し所定のマスク処理を実行することにより得られる画像を用いて生成される画像であってもよい。一例として、プロセッサ１１は、背景領域を予め用意しておいたマスク画像で塗りつぶす処理を行ってもよい。マスク処理を行わない場合、撮像画像に含まれる背景がノイズとなり判定が適切に行えない場合がある。プロセッサ１１が撮像画像に対しマスク処理を実行することにより、判定の対象としたい領域以外の領域のノイズによる揺らぎを抑えることができる。また、プロセッサ１１がマスク処理を実行することにより、判定に係る計算量を下げることができる。
【0107】
〔付記事項３〕
上述の実施形態２では、プロセッサ１１は、良品対象物のデータを学習させたが、欠陥のある対象物のデータも学習させてもよい。この場合、プロセッサ１１は、セマンティックセグメンテーションにより、欠陥の種類、大きさ、位置等を表すラベルを各画素に関連付けてもよい。具体的には、機械学習により構築される学習済モデルは、ＹＯＬＯのように欠陥の位置だけを推定するものであってもよく、また、Ｕ－ＮＥＴ、ＭＲＣＮＮのように具体的な輪郭まで推定するものであってもよい。
上述の実施形態２では、プロセッサ１１は、良品対象物のデータを学習させたが、欠陥のある対象物のデータも学習させてもよい。この場合、プロセッサ１１は、セマンティックセグメンテーションにより、欠陥の種類、大きさ、位置等を表すラベルを各画素に関連付けてもよい。具体的には、機械学習により構築される学習済モデルは、ＹＯＬＯのように欠陥の位置だけを推定するものであってもよく、また、Ｕ－ＮＥＴ、ＭＲＣＮＮのように具体的な輪郭まで推定するものであってもよい。
【0108】
〔まとめ〕
態様１に係る外観判定装置は、１または複数のプロセッサを備え、前記プロセッサは、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を実行する。
態様１に係る外観判定装置は、１または複数のプロセッサを備え、前記プロセッサは、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた複数の対象物との類似度を特定する特定ステップと、前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を実行する。
【0109】
上記の構成によれば、外観判定装置は、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが確かめられた複数の対象物との類似度を特定し、特定した類似度に基づき、判定対象である対象物が良品であるか否かを判定する。これにより、対象物が良品か否かをより適切に判定できる。
【0110】
態様２に係る外観判定装置は、態様１に係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様２に係る外観判定装置において、前記第２画像は、対象物の表面の各点における法線方向を表す画像である。
【0111】
上記の構成によれば、外観判定装置は、対象物の光学像を表す第１画像と、対象物の表面の各点における法線方向を表す第２画像とを用いて、判定対象である対象物と良品であることが確かめられた対象物との類似度を特定し、特定した類似度に基づき、判定対象である対象物が良品であるか否かを判定する。これにより、対象物が良品か否かをより適切に判定できる。
【0112】
態様３に係る外観判定装置は、態様１または２に係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様３に係る外観判定装置において、前記プロセッサは、良品であることが予め確かめられた複数の対象物の前記第１画像を、第１の特徴量空間上の複数の第１の点にマッピングすると共に、当該複数の対象物の前記第２画像を、第２の特徴量空間上の複数の第２の点にマッピングし、判定対象である対象物の前記第１画像を、前記第１の特徴量空間上の第３の点にマッピングするとともに、当該判定対象である対象物の前記第２画像を、前記第２の特徴量空間上の第４の点にマッピングするマッピングステップを更に実行し、前記プロセッサは、前記特定ステップにおいて、前記第１の特徴量空間における前記第１の点と前記第３の点との距離、および、前記第２の特徴量空間における前記第２の点と前記第４の点との距離に基づき、前記類似度を特定する。
【0113】
上記の構成によれば、外観判定装置は、特徴量空間に埋め込まれた対象物同士の距離に基づき、判定対象である対象物が良品であるか否かを判定する。これにより、外観判定装置は、判定対象である対象物が良品か否かをより適切に判定できる。
【0114】
態様４に係る外観判定装置は、態様３に係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様４に係る外観判定装置において、前記第１の特徴量空間と前記第２の特徴量空間とは、同一の特徴量空間である。
【0115】
上記の構成によれば、外観判定装置は、ひとつの特徴量空間に埋め込まれた対象物同士の距離に基づき、判定対象である対象物が良品であるか否かを判定する。これにより、外観判定装置は、判定対象である対象物が良品か否かをより適切に判定できる。
【0116】
態様５に係る外観判定装置は、態様３に係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様５に係る外観判定装置において、前記第２の特徴量空間は、前記第１の特徴量空間と異なる特徴量空間である。
【0117】
上記の構成によれば、外観判定装置は、ひとつの特徴量空間に埋め込まれた対象物同士の距離に基づき、判定対象である対象物が良品であるか否かを判定する。これにより、外観判定装置は、判定対象である対象物が良品か否かをより適切に判定できる。
【0118】
態様６に係る外観判定装置は、態様３から５のいずれかに係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様６に係る外観判定装置において、前記マッピングステップにおいて、前記第１画像を前記第１の特徴量空間上の点にマッピングするマップ、および、前記第２画像を前記第２の特徴量空間上の点にマッピングするマップは、メトリックラーニングによって構築されたマップである。
【0119】
上記の構成によれば、外観判定装置は、メトリックラーニングによって構築されたマップで対象物を特徴量空間にマッピングする。これにより、外観判定装置は、判定対象である対象物が良品か否かをより適切に判定できる。
【0120】
態様７に係る外観判定装置は、態様３から６のいずれかに係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様７に係る外観判定装置において、前記プロセッサは、前記特定ステップにおいて、ＬＯＦまたはｋ近傍法（k-nearest neighbor）により、前記判定対象である対象物に対応する点の近傍における、良品であることが予め確かめられた複数の対象物に対応する点の密度、または、前記判定対象である対象物に対応する点と良品であることが確かめられた複数の対象物に対応する点との距離に基づき特定される値を、前記類似度とする。
【0121】
上記の構成によれば、外観判定装置は、ＬＯＦまたはｋ近傍法により類似度を特定する。これにより、外観判定装置は、判定対象である対象物が良品か否かをより適切に判定できる。
【0122】
態様８に係る外観判定装置は、態様３から７のいずれかに係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様８に係る外観判定装置において、前記プロセッサは、前記マッピングステップにおいて、前記第１画像を複数の領域に分割した分割画像を、前記複数の領域の各々に対応する特徴量空間上の点にマッピングすると共に、前記第２画像を複数の領域に分割した分割画像を、前記複数の領域の各々に対応する特徴量空間上の点にマッピングし、前記特定ステップにおいて、前記第１画像の分割画像および前記第２画像の分割画像のそれぞれについて前記類似度を特定し、前記判定ステップにおいて、前記特定ステップで特定した複数の類似度に基づいて、前記判定対象である対象物が良品であるか否かを判定する。
【0123】
上記の構成によれば、外観判定装置は、第１画像を分割した分割画像と第２画像を分割した分割画像とを特徴量空間にマッピングすることにより類似度を特定する。これにより、外観判定装置は、判定対象物が良品であるか否かを、画像を分割しない場合に比べてより適切に判定できる。
【0124】
態様９に係る外観判定装置は、態様１から８のいずれかに係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様９に係る外観判定装置において、前記第１画像は、前記対象物の撮像画像において鏡面反射成分および陰影の一方または両方の影響を軽減した画像である。
【0125】
上記の構成によれば、外観判定装置は、対象物の撮影画像において鏡面反射成分および陰影の一方または両方の影響を軽減した画像である第１の画像を用いて類似度を特定する。鏡面反射が起きていたり、陰影があったりすると、本来の色が撮像されない場合があるため、適切な判定結果が得られない場合があるが、上記構成によれば、外観判定装置は、鏡面反射成分および陰影の一方または両方の影響を軽減した画像を用いて類似度を特定することにより、対象物が良品か否かをより適切に判定できる。
【0126】
態様１０に係る外観判定装置は、態様１から９のいずれかに係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様１０に係る外観判定装置において、前記第１画像および前記第２画像の一方または両方は、照度差ステレオにより生成された画像である。
【0127】
上記の構成によれば、外観判定装置は、照度差ステレオにより生成された第１画像と第２画像との一方または両方を用いて、判定対象である対象物と良品であることが確かめられた対象物との類似度を特定し、特定した類似度に基づき、判定対象である対象物が良品であるか否かを判定する。これにより、対象物が良品か否かをより適切に判定できる。
【0128】
態様１１に係る外観判定装置は、態様１から１０のいずれかに係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様１１に係る外観判定装置において、前記プロセッサは、前記特定ステップにおいて、前記第１画像および前記第２画像の一方または両方に対して所定のマスク処理を実行し、当該マスク処理により塗りつぶしていない領域を含む領域の画像を切り出し、切り出した画像を用いて前記類似度を特定する。
【0129】
上記の構成によれば、外観判定装置は、マスク処理により塗りつぶしていない領域を含む領域の画像を切り出し、切り出した画像を用いて類似度を特定することにより、類似度の特定処理の精度を上げることができる。
【0130】
態様１２に係る外観判定装置は、態様１から１１のいずれかに係る外観判定装置の特徴に加えて、以下の特徴を有している。すなわち、態様１２に係る外観判定装置において、前記第１画像および前記第２画像の一方または両方は、前記対象物の撮像画像に対し所定のマスク処理を実行することにより得られる画像を用いて生成される画像である。
【0131】
上記の構成によれば、外観判定装置は、撮像画像から背景等のノイズを除去することができるため、判定に係る計算量を少なくすることができる。
【0132】
態様１３に係る外観判定方法は、１または複数のプロセッサが、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた対象物との類似度を特定する特定ステップと、前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を含む。
【0133】
上記の構成によれば、対象物が良品か否かをより適切に判定できる。
【0134】
態様１４に係るプログラムは、コンピュータに、対象物の光学像を表す第１画像と、対象物の形状を表す第２画像とを用いて、判定対象である対象物と良品であることが予め確かめられた対象物との類似度を特定する特定ステップと、前記類似度に基づいて判定対象である対象物が良品であるか否かを判定する判定ステップと、を実行させる。
【0135】
上記の構成によれば、対象物が良品か否かをより適切に判定できる。
【0136】
〔ソフトウェアによる実現例〕
外観判定装置１０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロックとしてコンピュータを機能させるためのプログラムにより実現することができる。
外観判定装置１０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロックとしてコンピュータを機能させるためのプログラムにより実現することができる。
【0137】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0138】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0139】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0140】
また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。
【0141】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0142】
１ 外観判定システム
１０ 外観判定装置
１１ プロセッサ
１２ 一次メモリ
１３ 二次メモリ
１４ 入出力ＩＦ
１５ 通信ＩＦ
２０ カメラ
３１１～３１８、３２１～３２８、３３１～３３８ 照明
４０ 回転台
５０ 設置用治具
６０ ロボットアーム
２ 対象物
１０ 外観判定装置
１１ プロセッサ
１２ 一次メモリ
１３ 二次メモリ
１４ 入出力ＩＦ
１５ 通信ＩＦ
２０ カメラ
３１１～３１８、３２１～３２８、３３１～３３８ 照明
４０ 回転台
５０ 設置用治具
６０ ロボットアーム
２ 対象物
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】