知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024006680
(43)【公開日】2024-01-17
(54)【発明の名称】外観判定装置および外観判定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240110BHJP
G06T 7/593 20170101ALI20240110BHJP
G06V 10/82 20220101ALI20240110BHJP
G01N 21/88 20060101ALI20240110BHJP
【ＦＩ】
G06T7/00 610Z
G06T7/593
G06T7/00 350C
G06V10/82
G01N21/88 J
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022107804
(22)【出願日】2022-07-04
(71)【出願人】
【識別番号】000191009
【氏名又は名称】新東工業株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】中野 可也
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA07
2G051AB01
2G051AB07
2G051EA17
2G051EB05
5L096AA02
5L096AA06
5L096BA03
5L096CA04
5L096CA17
5L096FA32
5L096FA33
5L096FA59
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096HA11
5L096JA03
5L096KA04
(57)【要約】
【課題】カラー化した照度差ステレオを用いて判定対象物の外観の良否を判定する。
【解決手段】外観判定装置（１０）は、１または複数のプロセッサ（１１）を備え、前記プロセッサは、照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像に基づき、前記判定対象物の良否を判定する判定工程（Ｓ１３）を実行する。
【選択図】図１
【解決手段】外観判定装置（１０）は、１または複数のプロセッサ（１１）を備え、前記プロセッサは、照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像に基づき、前記判定対象物の良否を判定する判定工程（Ｓ１３）を実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
１または複数のプロセッサを備え、
前記プロセッサは、照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像、の少なくとも一方に基づき、前記判定対象物の良否を判定する判定工程、
を実行する、外観判定装置。
前記プロセッサは、照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像、の少なくとも一方に基づき、前記判定対象物の良否を判定する判定工程、
を実行する、外観判定装置。
【請求項2】
前記形状画像は、前記判定対象物の表面上での法線方向の分布を表す、法線画像であり、
前記カラー画像は、互いに異なる、第１波長域、第２波長域、および第３波長域における、前記判定対象物の表面上での反射率の分布を表わす、カラー反射画像である、
請求項１に記載の外観判定装置。
前記カラー画像は、互いに異なる、第１波長域、第２波長域、および第３波長域における、前記判定対象物の表面上での反射率の分布を表わす、カラー反射画像である、
請求項１に記載の外観判定装置。
【請求項3】
前記プロセッサは、
向きが互いに異なる複数の光源の各々からの光に照射された前記判定対象物の複数の画像に基づき、前記カラー画像および前記形状画像を生成する生成工程、を実行し、
前記判定工程において、前記生成された前記カラー画像および前記形状画像の少なくとも一方に基づき、前記判定対象物の良否を判定する、
請求項２に記載の外観判定装置。
向きが互いに異なる複数の光源の各々からの光に照射された前記判定対象物の複数の画像に基づき、前記カラー画像および前記形状画像を生成する生成工程、を実行し、
前記判定工程において、前記生成された前記カラー画像および前記形状画像の少なくとも一方に基づき、前記判定対象物の良否を判定する、
請求項２に記載の外観判定装置。
【請求項4】
前記複数の画像の各々は、前記第１波長域、前記第２波長域、および前記第３波長域の光を含む光を用いて撮影された画像であり、
前記プロセッサは、前記生成工程において、
前記複数の画像から、前記第１波長域での複数の第１画像、前記第２波長域での複数の第２画像、および前記第３波長域での複数の第３画像を抽出する工程と、
前記複数の第１画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第１反射画像を生成する工程と、
前記複数の第２画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第２反射画像を生成する工程と、
前記複数の第３画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第３反射画像を生成する工程と、
前記第１反射画像、前記第２反射画像、および前記第３反射画像を合成して、前記カラー反射画像である、前記カラー画像を生成する工程と、
を実行する、請求項３に記載の外観判定装置。
前記プロセッサは、前記生成工程において、
前記複数の画像から、前記第１波長域での複数の第１画像、前記第２波長域での複数の第２画像、および前記第３波長域での複数の第３画像を抽出する工程と、
前記複数の第１画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第１反射画像を生成する工程と、
前記複数の第２画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第２反射画像を生成する工程と、
前記複数の第３画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第３反射画像を生成する工程と、
前記第１反射画像、前記第２反射画像、および前記第３反射画像を合成して、前記カラー反射画像である、前記カラー画像を生成する工程と、
を実行する、請求項３に記載の外観判定装置。
【請求項5】
前記プロセッサは、前記生成工程において、
前記複数の画像の各々をグレースケール化する工程と、
前記グレースケール化された複数の画像に基づき、前記法線画像である、前記形状画像を生成する工程と、
を実行する、請求項３に記載の外観判定装置。
前記複数の画像の各々をグレースケール化する工程と、
前記グレースケール化された複数の画像に基づき、前記法線画像である、前記形状画像を生成する工程と、
を実行する、請求項３に記載の外観判定装置。
【請求項6】
前記複数の画像の各々は、前記第１波長域、前記第２波長域、および前記第３波長域の光を含む光を用いて撮影された画像であり、
前記プロセッサは、前記生成工程において、
前記複数の画像から、前記第１波長域での複数の第１画像、前記第２波長域での複数の第２画像、および前記第３波長域での複数の第３画像を抽出する工程と、
前記複数の第１画像に基づき、前記判定対象物の表面上での法線方向の第１分布を求める工程と、
前記複数の第２画像に基づき、前記判定対象物の表面上での法線方向の第２分布を求める工程と、
前記複数の第３画像に基づき、前記判定対象物の表面上での法線方向の第３分布を求める工程と、
前記第１分布、前記第２分布、および前記第３分布における法線方向を平均化することで、前記法線画像である、前記形状画像を生成する工程と、
を実行する、請求項３に記載の外観判定装置。
前記プロセッサは、前記生成工程において、
前記複数の画像から、前記第１波長域での複数の第１画像、前記第２波長域での複数の第２画像、および前記第３波長域での複数の第３画像を抽出する工程と、
前記複数の第１画像に基づき、前記判定対象物の表面上での法線方向の第１分布を求める工程と、
前記複数の第２画像に基づき、前記判定対象物の表面上での法線方向の第２分布を求める工程と、
前記複数の第３画像に基づき、前記判定対象物の表面上での法線方向の第３分布を求める工程と、
前記第１分布、前記第２分布、および前記第３分布における法線方向を平均化することで、前記法線画像である、前記形状画像を生成する工程と、
を実行する、請求項３に記載の外観判定装置。
【請求項7】
前記プロセッサは、
前記複数の光源各々の向きを求める工程を実行し、
前記生成工程において、前記複数の画像および前記求められた向きに基づき、前記カラー画像および前記形状画像を生成する、
請求項３に記載の外観判定装置。
前記複数の光源各々の向きを求める工程を実行し、
前記生成工程において、前記複数の画像および前記求められた向きに基づき、前記カラー画像および前記形状画像を生成する、
請求項３に記載の外観判定装置。
【請求項8】
前記プロセッサは、前記向きを求める工程において、
前記複数の光源中の１の光源からの光が照射された基準対象物の複数の画像に基づき、前記１の光源の向きの複数の値を求める工程と、
前記複数の値から、前記複数の値の平均値から所定の値以上に離れた値を除外する工程と、
前記所定の値以上に離れた値が除外された複数の値に基づき、前記１の光源の向きを求める工程と、
を実行する、請求項７に記載の外観判定装置。
前記複数の光源中の１の光源からの光が照射された基準対象物の複数の画像に基づき、前記１の光源の向きの複数の値を求める工程と、
前記複数の値から、前記複数の値の平均値から所定の値以上に離れた値を除外する工程と、
前記所定の値以上に離れた値が除外された複数の値に基づき、前記１の光源の向きを求める工程と、
を実行する、請求項７に記載の外観判定装置。
【請求項9】
前記判定対象物は、鋳物である、請求項３に記載の外観判定装置。
【請求項10】
前記プロセッサは、前記判定工程において、
前記カラー画像および前記形状画像の少なくとも一方を、良品である判定対象物の特徴がマッピングされたニューラルネットワークのモデルに、入力して、中間層の特徴量に基づくスコアまたは前記スコアを区分するヒートマップを取得する工程と、
前記取得したスコアまたはヒートマップに基づき、前記判定対象物の良否を判定する工程と、
を実行する、請求項１から９のいずれか１項に記載の外観判定装置。
前記カラー画像および前記形状画像の少なくとも一方を、良品である判定対象物の特徴がマッピングされたニューラルネットワークのモデルに、入力して、中間層の特徴量に基づくスコアまたは前記スコアを区分するヒートマップを取得する工程と、
前記取得したスコアまたはヒートマップに基づき、前記判定対象物の良否を判定する工程と、
を実行する、請求項１から９のいずれか１項に記載の外観判定装置。
【請求項11】
前記プロセッサは、前記判定工程において、
前記スコアが所定の閾値より小さいとき、判定対象物を良品と判定し、スコアが所定の閾値以上であるとき、判定対象物を不良品と判定するか、または
前記スコアが一定値以上の面積が所定の閾値より小さいとき、前記判定対象物を良品と判定し、前記スコアが一定値以上の面積が所定の閾値以上のとき、前記判定対象物を不良品と判定する、
請求項１０に記載の外観判定装置。
前記スコアが所定の閾値より小さいとき、判定対象物を良品と判定し、スコアが所定の閾値以上であるとき、判定対象物を不良品と判定するか、または
前記スコアが一定値以上の面積が所定の閾値より小さいとき、前記判定対象物を良品と判定し、前記スコアが一定値以上の面積が所定の閾値以上のとき、前記判定対象物を不良品と判定する、
請求項１０に記載の外観判定装置。
【請求項12】
前記プロセッサは、前記判定工程において、
前記判定対象物の前記カラー画像および前記形状画像の少なくとも一方を、前記判定対象物の欠陥を検出する画像認識用のニューラルネットワークのモデルに入力して、認識結果を取得する工程と、
前記取得した認識結果に基づき、前記判定対象物の良否を判定する工程と、
を実行する、請求項１から９のいずれか１項に記載の外観判定装置。
前記判定対象物の前記カラー画像および前記形状画像の少なくとも一方を、前記判定対象物の欠陥を検出する画像認識用のニューラルネットワークのモデルに入力して、認識結果を取得する工程と、
前記取得した認識結果に基づき、前記判定対象物の良否を判定する工程と、
を実行する、請求項１から９のいずれか１項に記載の外観判定装置。
【請求項13】
照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像を入力する入力工程と、
前記カラー画像および前記形状画像に基づき、前記判定対象物の良否を判定する判定工程と、
を有する、外観判定方法。
前記カラー画像および前記形状画像に基づき、前記判定対象物の良否を判定する判定工程と、
を有する、外観判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、外観判定装置および外観判定方法に関する。
【背景技術】
【0002】
照度差ステレオは、向きの異なる複数の光源を用いて、物品の外観を分析する技術である（例えば、非特許文献１、２参照）。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】R. J. Woodham, Photometric Stereo: A Reflectance Map Technique for Determining Surface Orientation from Image Intensity. Proc. SPIE, vol. 155, pp. 136-143, 1978.
【非特許文献2】H. Hayakawa. Photometric stereo under a light source with arbitrary motion. Journal of the Optical Society of America A, 11(11), 1994.
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、照度差ステレオは、通常、モノクロのグレースケール画像に用いられ、カラー画像に適用することを前提とはしていない。すなわち、照度差ステレオは、一般に、物品の外観の良否を判定する上で重要なカラー情報（物品からの光の反射の波長依存性）を捨象している。
【0005】
本発明は、カラー化した照度差ステレオを用いて判定対象物の外観の良否を判定する外観判定装置、および外観判定方法を実現することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る外観判定装置は、１または複数のプロセッサを備え、前記プロセッサは、照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像、の少なくとも一方に基づき、前記判定対象物の良否を判定する判定工程、を実行する。
【発明の効果】
【0007】
本発明の一態様によれば、カラー化した照度差ステレオを用いて判定対象物の外観の良否を判定する外観判定装置、および外観判定方法を実現することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係る外観判定システムの構成を表す図である。
【図2】本発明の実施形態に係る外観判定方法の一例を表すフロー図である。
【図3】カラー反射画像（カラー画像）および法線画像（形状画像）の生成方法の一例を表すフロー図である。
【図4】カラー反射画像（カラー画像）および法線画像（形状画像）の生成方法の他の例を表すフロー図である。
【図5】光源ベクトルの推定方法の一例を示すフロー図である。
【図6】異常な光源ベクトルを除外する手法の一例を表す図である。
【図7】モデルを模式的に表す図である。
【図8】外観判定結果の例を表す図である。
【図9】外観判定結果の他の例を表す図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について、詳細に説明する。図１は、本発明の一実施形態に係る外観判定システム１の構成を表す図である。外観判定システム１は、外観の判定対象物ＯＢが良品であるか（欠陥がないか）を判定するためのシステムであり、撮影部ＭＰおよび外観判定装置１０を有する。
【0010】
撮影部ＭＰは、照度差ステレオのための撮影装置であり、暗室ＢＸ、複数の光源ＬＳ（１）～ＬＳ（ｎ）、カメラＣＡを有する。以下、光源ＬＳ（１）～ＬＳ（ｎ）を纏めて光源ＬＳ（ｉ）と表す。撮影部ＭＰは、照度差ステレオのために、向きの異なる光源ＬＳ（ｉ）を用いて、判定対象物ＯＢを撮影し、判定対象物ＯＢの複数の画像ＩＭを生成する。
【0011】
暗室ＢＸは、判定対象物ＯＢを設置し撮影するための空間を設定する。暗室ＢＸは、外光を遮るための壁を有し、暗室ＢＸ内に、判定対象物ＯＢ、光源ＬＳ（ｉ）、およびカメラＣＡが設置される。
【0012】
光源ＬＳ（ｉ）は、カメラＣＡが判定対象物ＯＢを撮影する際の照明である。光源ＬＳ（ｉ）は互いに異なる方向から判定対象物ＯＢを照明するような位置および向きで設置されている。照度差ステレオのカラー化のため、光源ＬＳ（ｉ）は、互いに異なる第１波長域、第２波長域、および第３波長域の光を含む光を照射する。
【0013】
ここで、第１波長域、第２波長域、および第３波長域の一例として、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の波長域を挙げることができる。以下では、判り易さのために、第１波長域、第２波長域、および第３波長域をそれぞれ、Ｒ、Ｇ、およびＢとして表すことがある。
【0014】
カメラＣＡは、判定対象物ＯＢを撮影する撮影装置である。ここでは、判り易さのため、１のカメラＣＡのみを示しているが、複数のカメラＣＡを互いに異なる方向から判定対象物ＯＢを撮影する位置および向きに設置してもよい。
【0015】
外観判定装置１０は、例えばパーソナルコンピュータであり、撮影部ＭＰで撮影された判定対象物ＯＢの複数の画像ＩＭに基づき、判定対象物ＯＢが良品であるか（欠陥がないか）を判定する。
【0016】
外観判定装置１０は、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力ＩＦ（インタフェース）１４と、通信ＩＦ１５と、バス１６とを備えている。プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力ＩＦ１４、及び通信ＩＦ１５は、バス１６を介して相互に接続されている。
【0017】
二次メモリ１３には、外観判定プログラムＰ１及びモデルＭ１が格納（不揮発記憶）されている。プロセッサ１１は、二次メモリ１３に格納されている外観判定プログラムＰ１及びモデルＭ１を一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開された外観判定プログラムＰ１に含まれる命令に従って、外観判定方法を実行する。一次メモリ１２上に展開されたモデルＭ１は、外観判定方法をプロセッサ１１が実行する際に利用される。
【0018】
プロセッサ１１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ１１は、「演算装置」と呼ばれることもある。
【0019】
一次メモリ１２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ１２は、「主記憶装置」と呼ばれることもある。また、二次メモリ１３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy（登録商標）Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ１３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ１３は、外観判定装置１０に内蔵されていてもよいし、入出力ＩＦ１４又は通信ＩＦ１５を介して外観判定装置１０と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、外観判定装置１０における記憶を２つのメモリ（一次メモリ１２及び二次メモリ１３）により実現しているが、これに限定されない。すなわち、外観判定装置１０における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ１２として利用し、そのメモリの他の記憶領域を二次メモリ１３として利用すればよい。
【0020】
入出力ＩＦ１４には、入力デバイス及び／又は出力デバイスが接続される。入出力ＩＦ１４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。
【0021】
入出力ＩＦ１４に接続される入力デバイスとしては、カメラＣＡが挙げられる。外観判定方法においてカメラＣＡから取得するデータは、外観判定装置１０に入力され、一次メモリ１２に記憶される。また、入出力ＩＦ１４に接続される他の入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。また、入出力ＩＦ１４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。外観判定方法においてユーザに提供する情報は、これらの出力デバイスを介して外観判定装置１０から出力される。なお、外観判定装置１０は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、外観判定装置１０は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0022】
通信ＩＦ１５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信ＩＦ１５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。外観判定方法において外観判定装置１０が他のコンピュータから取得するデータ、および、外観判定方法において外観判定装置１０が他のコンピュータに提供するデータは、これらのネットワークを介して送受信される。なお、カメラＣＡと外観判定装置１０とは、入出力ＩＦ１４により接続されてもよく、また、通信ＩＦ１５により接続されてもよい。
【0023】
なお、本実施形態においては、単一のプロセッサ（プロセッサ１１）を用いて外観判定方法を実行しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて外観判定方法を実行してもよい。この場合、連携して外観判定方法を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信してもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信してもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して外観判定方法を実行することも考えられる。
【0024】
また、本実施形態においては、外観判定方法を実行するプロセッサ（プロセッサ１１）と同じコンピュータに内蔵されたメモリ（二次メモリ１３）にモデルＭ１を格納しているが、本発明は、これに限定されない。すなわち、外観判定方法を実行するプロセッサと異なるコンピュータに内蔵されたメモリにモデルＭ１を格納してもよい。この場合、モデルＭ１を格納するメモリが内蔵されたコンピュータは、外観判定方法を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信できる。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリにモデルＭ１を格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが外観判定方法を実行することも考えられる。
【0025】
また、本実施形態においては、単一のメモリ（二次メモリ１３）にモデルＭ１を格納しているが、本発明は、これに限定されない。すなわち、複数のメモリにモデルＭ１を分散して格納してもよい。この場合、モデルＭ１を格納する複数のメモリは、単一のコンピュータ（外観判定方法を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（外観判定方法を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリにモデルＭ１を分散して格納することも考えられる。
【0026】
（外観判定方法の概要）
外観判定装置１０は、１または複数のプロセッサ１１を備え、外観判定方法を実行する。図２は、プロセッサ１１が実行する外観判定方法の一例を表すフロー図である。外観判定方法は、準備工程（ステップＳ１１）、生成工程（ステップＳ１２）、および判定工程（ステップＳ１３）を含む。
外観判定装置１０は、１または複数のプロセッサ１１を備え、外観判定方法を実行する。図２は、プロセッサ１１が実行する外観判定方法の一例を表すフロー図である。外観判定方法は、準備工程（ステップＳ１１）、生成工程（ステップＳ１２）、および判定工程（ステップＳ１３）を含む。
【0027】
準備工程は、必要に応じて行われる、例えば、モデルＭ１を形成、または強化するための工程である。この詳細は後述する。生成工程は、撮影部ＭＰで撮影された判定対象物ＯＢの複数の画像ＩＭに基づき、判定対象物ＯＢのカラー画像および形状画像を生成する工程である。複数の画像ＩＭは、向きが互いに異なる複数の光源ＬＳ（ｉ）に照射された判定対象物ＯＢの画像である。判定工程は、カラー画像および形状画像の少なくとも一方に基づき判定対象物ＯＢの良否を判定する工程である。
【0028】
判定対象物ＯＢは、外観判定の対象となる物品である。判定対象物ＯＢは、一例として、鋳造された鋳物、または、鋳造で用いられる鋳型である。なお、判定対象物ＯＢは鋳物または鋳型に限られず、他の物品であってもよい。
【0029】
カラー画像は、照度差ステレオにより生成された、判定対象物ＯＢのカラーの光学像を表す画像である。カラー画像は、一例として、互いに異なる、光の第１波長域（Ｒ）、第２波長域（Ｇ）、および第３波長域（Ｂ）における判定対象物ＯＢの表面上での反射率の分布を表わす、カラー反射画像である。
【0030】
照度差ステレオでは、通例、モノクロのグレースケール画像に基づき、判定対象物ＯＢ上の反射率の分布を表すアルベド画像を生成する。すなわち、アルベド画像は、モノクロのグレースケール画像である。これに対して、本実施形態では、照度差ステレオをカラー化し、判定対象物ＯＢ上の反射率の分布をカラーで表すカラー反射画像を生成する。カラー反射画像の生成の詳細は後述する。
【0031】
形状画像は、照度差ステレオにより生成された、判定対象物ＯＢの形状を表す画像である。形状画像は、一例として、判定対象物の表面上での法線方向の分布を表す、法線画像である。法線画像は、撮影部ＭＰで撮影された判定対象物ＯＢの複数の画像ＩＭに基づき、カラー反射画像と共に、生成される。
【0032】
良品とは、欠陥を含まない対象物（例えば、鋳物）である。欠陥は、一例として、欠け、割れ、へこみ、出っ張り、異物（ネジ、紙片、錆び、砂等）の混入である。良品には、鋳物の表面の凹凸、色むら、バリの有無等の多少の不一致が許容される。
【0033】
（生成工程の詳細）
以下、生成工程（ステップＳ１２）の詳細を説明する。図３は、カラー反射画像（カラー画像）および法線画像（形状画像）の生成方法の一例を表すフロー図である。図３に示す生成工程は、大まかに、（Ａ）光源ベクトルＬ（ｉ）の推定工程（ステップＳ２１）、（Ｂ）判定対象物ＯＢの複数画像ＩＭ（ｉ）の取得工程（ステップＳ２２）、（Ｃ）判定対象物ＯＢのカラー画像および形状画像の生成工程（ステップＳ２３、Ｓ２４ａ～Ｓ２４ｃ、Ｓ２５、Ｓ２６）に区分できる。以下、詳細に説明する。
以下、生成工程（ステップＳ１２）の詳細を説明する。図３は、カラー反射画像（カラー画像）および法線画像（形状画像）の生成方法の一例を表すフロー図である。図３に示す生成工程は、大まかに、（Ａ）光源ベクトルＬ（ｉ）の推定工程（ステップＳ２１）、（Ｂ）判定対象物ＯＢの複数画像ＩＭ（ｉ）の取得工程（ステップＳ２２）、（Ｃ）判定対象物ＯＢのカラー画像および形状画像の生成工程（ステップＳ２３、Ｓ２４ａ～Ｓ２４ｃ、Ｓ２５、Ｓ２６）に区分できる。以下、詳細に説明する。
【0034】
（Ａ）光源ベクトルＬ（ｉ）の推定工程（ステップＳ２１）
プロセッサ１１は、光源ベクトルＬ（ｉ）（複数の光源ＬＳ（ｉ）各々の向き）を推定する（ステップＳ２１）。
プロセッサ１１は、光源ベクトルＬ（ｉ）（複数の光源ＬＳ（ｉ）各々の向き）を推定する（ステップＳ２１）。
【0035】
光源ベクトルＬ（ｉ）は、判定対象物ＯＢに対する光源ＬＳ（ｉ）の向き、距離を表すベクトルであり、カラー反射画像（カラー画像）および法線画像（形状画像）の作成に用いられる。この推定は、複数の光源ＬＳ（ｉ）各々の向きを求めることを意味する。
【0036】
照度差ステレオにおいて、光源ＬＳ（ｉ）、判定対象物ＯＢの位置関係を測定することで、光源ベクトルＬ（ｉ）を求めることができる。しかし、この計測が困難なことがあり得る。このような場合、光源ベクトルＬ（ｉ）の推定が必要となる。なお、この詳細は後述する。
【0037】
（Ｂ）判定対象物ＯＢの複数画像ＩＭ（ｉ）の取得工程（撮影、照明の切替）（ステップＳ２２）
プロセッサ１１は、判定対象物ＯＢの複数の画像ＩＭ（ｉ）を取得する（ステップＳ２２）。なお、この取得に先立って、判定対象物ＯＢが暗室ＢＸ内に設置される。
プロセッサ１１は、判定対象物ＯＢの複数の画像ＩＭ（ｉ）を取得する（ステップＳ２２）。なお、この取得に先立って、判定対象物ＯＢが暗室ＢＸ内に設置される。
【0038】
光源ＬＳ（ｉ）を切り替えながらカメラＣＡによって判定対象物ＯＢを撮影することで、判定対象物ＯＢの複数の画像ＩＭ（ｉ）を得ることができる。複数の画像ＩＭ（ｉ）は、向きが互いに異なる複数の光源ＬＳ（ｉ）の各々からの光に照射された判定対象物ＯＢの複数の画像である。ここで、画像ＩＭ（ｉ）は、Ｒ（第１波長域）、Ｂ（第２波長域）、およびＢ（第３波長域）の光を含む光を用いて撮影され、Ｒ、Ｇ、およびＢの画素を含むカラーの画像である。
【0039】
（Ｃ）判定対象物ＯＢのカラー画像および形状画像の生成工程（ステップＳ２３、Ｓ２４ａ～Ｓ２４ｃ、Ｓ２５、Ｓ２６）
この生成工程では、複数の画像ＩＭ（ｉ）および求められた向き（光源ベクトルＬ（ｉ））に基づき、判定対象物ＯＢのカラー画像および形状画像を生成する。この生成工程は、（１）複数のＲ、Ｇ、およびＢ画像の抽出工程（ステップＳ２３）、（２）Ｒ、Ｇ、およびＢ反射画像、Ｒ、Ｇ、およびＢ法線画像の生成工程（ステップＳ２４ａ～２４ｃ）、（３）法線画像（形状画像）の生成工程（ステップＳ２５）、（４）カラー反射画像（カラー画像）の生成工程（ステップＳ２６）に区分できる。以下、詳細に説明する。
この生成工程では、複数の画像ＩＭ（ｉ）および求められた向き（光源ベクトルＬ（ｉ））に基づき、判定対象物ＯＢのカラー画像および形状画像を生成する。この生成工程は、（１）複数のＲ、Ｇ、およびＢ画像の抽出工程（ステップＳ２３）、（２）Ｒ、Ｇ、およびＢ反射画像、Ｒ、Ｇ、およびＢ法線画像の生成工程（ステップＳ２４ａ～２４ｃ）、（３）法線画像（形状画像）の生成工程（ステップＳ２５）、（４）カラー反射画像（カラー画像）の生成工程（ステップＳ２６）に区分できる。以下、詳細に説明する。
【0040】
（１）複数の画像ＩＭ（ｉ）からの複数のＲ画像ＩＭｒ（ｉ）、Ｇ画像ＩＭｇ（ｉ）、Ｂ画像ＩＭｂ（ｉ）の抽出（ステップＳ２３）
プロセッサ１１は、複数の画像ＩＭ（ｉ）から、第１波長域（Ｒ）での複数の第１画像（複数のＲ画像ＩＭｒ（ｉ））、第２波長域（Ｇ）での複数の第２画像（複数のＧ画像ＩＭｇ（ｉ））、および第３波長域（Ｂ）での複数の第３画像（複数のＢ画像ＩＭｂ（ｉ））を抽出する（ステップＳ２３）。
プロセッサ１１は、複数の画像ＩＭ（ｉ）から、第１波長域（Ｒ）での複数の第１画像（複数のＲ画像ＩＭｒ（ｉ））、第２波長域（Ｇ）での複数の第２画像（複数のＧ画像ＩＭｇ（ｉ））、および第３波長域（Ｂ）での複数の第３画像（複数のＢ画像ＩＭｂ（ｉ））を抽出する（ステップＳ２３）。
【0041】
カラーの画像ＩＭ（ｉ）からＲ、Ｇ、およびＢの画素を抽出することで、Ｒの画素から構成されるＲ画像ＩＭｒ（ｉ）、Ｇの画素から構成されるＧ画像ＩＭｇ（ｉ）、Ｂの画素から構成されるＢ画像ＩＭｂ（ｉ）を生成できる。
【0042】
既述のように、通常の照度差ステレオでは、カラーを考慮せず、モノクロのグレースケールの画像からアルベド画像（ここでは、反射画像）を生成する。本実施形態では、照度差ステレオをカラー化するため、画像ＩＭ（ｉ）からＲ画像ＩＭｒ（ｉ）、Ｇ画像ＩＭｇ（ｉ）、およびＢ画像ＩＭｂ（ｉ）を抽出して個別に処理する。この結果、照度差ステレオをカラー化することが可能となる。
【0043】
（２）複数のＲ、Ｇ、およびＢ画像に基づくＲ、Ｇ、およびＢ反射画像、Ｒ、Ｇ、およびＢ法線画像の生成（ステップＳ２４ａ～２４ｃ）
プロセッサ１１は、複数のＲ画像ＩＭｒ（ｉ）（複数の第１画像）に基づき、Ｒの画素からみたＲ反射画像（判定対象物ＯＢの表面上での反射率の分布を表わす、第１反射画像）、Ｒ法線画像（判定対象物ＯＢの表面上での法線方向の第１分布を表す、第１法線画像）を生成する（ステップＳ２４ａ）。
プロセッサ１１は、複数のＲ画像ＩＭｒ（ｉ）（複数の第１画像）に基づき、Ｒの画素からみたＲ反射画像（判定対象物ＯＢの表面上での反射率の分布を表わす、第１反射画像）、Ｒ法線画像（判定対象物ＯＢの表面上での法線方向の第１分布を表す、第１法線画像）を生成する（ステップＳ２４ａ）。
【0044】
以下同様に、複数のＧ画像ＩＭｇ（ｉ）（複数の第２画像）に基づき、Ｇの画素からみたＧ反射画像（判定対象物ＯＢの表面上での反射率の分布を表わす、第２反射画像）、Ｇ法線画像（判定対象物ＯＢの表面上での法線方向の第２分布を表す、第２法線画像）が生成される（ステップＳ２４ｂ）。複数のＢ画像ＩＭｂ（ｉ）（複数の第３画像）に基づき、Ｂの画素からみたＢ反射画像（判定対象物ＯＢの表面上での反射率の分布を表わす、第３反射画像）、Ｂ法線画像（判定対象物ＯＢの表面上での法線方向の第３分布を表す、第３法線画像）が生成される（ステップＳ２４ｃ）。
【0045】
なお、法線方向の第１分布、第２分布、および第３分布は、Ｒ法線画像、Ｇ法線画像、およびＢ法線画像等の、画像として表されなくてもよい。法線方向の分布が示されれば足りる。
【0046】
通常の照度差ステレオにおいて、画像ＩＭ（ｉ）の特定の画素における輝度Ｉ（ｉ）、反射率ρ、光源ベクトルＬ（ｉ）、法線ベクトルｎは次の式（１）のような関係にある。
Ｉ（ｉ）＝ρ（Ｌ（ｉ）・ｎ） …式（１）
Ｉ（ｉ）＝ρ（Ｌ（ｉ）・ｎ） …式（１）
【0047】
ここで、光源ベクトルＬ（ｉ）は、ステップＳ２１によって推定され、輝度Ｉ（ｉ）は、画像ＩＭ（ｉ）から求められるが、反射率ρ、および法線ベクトルｎは未知数である。このため、異なる光源ベクトルＬ（ｉ）の複数の式を連立させた連立方程式として、反射率ρ、および法線ベクトルｎを算出する。
【0048】
この結果、画像ＩＭ（ｉ）の全ての画素において、反射率ρ、および法線ベクトルｎを求め、判定対象物ＯＢ上の反射率ρの分布を表す反射画像（いわゆるアルベド画像）、判定対象物ＯＢ上の法線ベクトルｎの分布を表す形状画像（いわゆる法線ベクトル画像）を生成することができる。
【0049】
本実施形態では、式（１）に替えて、次の式（２ａ）～（２ｃ）を用いて、Ｒ、Ｇ、およびＢ（第１波長域、第２波長域、および第３波長域の光）に適用する。
Ｉｒ（ｉ）＝ρｒ（Ｌ（ｉ）・ｎｒ） …式（２ａ）
Ｉｇ（ｉ）＝ρｇ（Ｌ（ｉ）・ｎｇ） …式（２ｂ）
Ｉｂ（ｉ）＝ρｂ（Ｌ（ｉ）・ｎｂ） …式（２ｃ）
Ｉｒ（ｉ）、Ｉｇ（ｉ）、Ｉｂ（ｉ）： Ｒ、Ｇ、およびＢにおける判定対象物ＯＢ上の一点での輝度Ｉ（ｉ）、すなわち、Ｒ、Ｇ、およびＢにおける画像ＩＭ（ｉ）の画素の輝度
ρｇ、ρｇ、およびρｂ： Ｒ、Ｇ、およびＢにおける判定対象物ＯＢ上の一点での反射率ρ
ｎｇ、ｎｇ、およびｎｂ： Ｒ、Ｇ、およびＢにおける判定対象物ＯＢ上の一点での法線ベクトル
Ｉｒ（ｉ）＝ρｒ（Ｌ（ｉ）・ｎｒ） …式（２ａ）
Ｉｇ（ｉ）＝ρｇ（Ｌ（ｉ）・ｎｇ） …式（２ｂ）
Ｉｂ（ｉ）＝ρｂ（Ｌ（ｉ）・ｎｂ） …式（２ｃ）
Ｉｒ（ｉ）、Ｉｇ（ｉ）、Ｉｂ（ｉ）： Ｒ、Ｇ、およびＢにおける判定対象物ＯＢ上の一点での輝度Ｉ（ｉ）、すなわち、Ｒ、Ｇ、およびＢにおける画像ＩＭ（ｉ）の画素の輝度
ρｇ、ρｇ、およびρｂ： Ｒ、Ｇ、およびＢにおける判定対象物ＯＢ上の一点での反射率ρ
ｎｇ、ｎｇ、およびｎｂ： Ｒ、Ｇ、およびＢにおける判定対象物ＯＢ上の一点での法線ベクトル
【0050】
すなわち、Ｒ、Ｇ、およびＢそれぞれに対して、光源ベクトルＬ（ｉ）（算出された光源ＬＳ（ｉ）の向き）に基づき、反射率ρｒ、ρｇ、およびρｂ、および法線ベクトルｎｒ、ｎｇ、およびｎｂを算出できる。反射率ρｒ、ρｇ、およびρｂに基づいて、Ｒの画素に対応するＲ反射画像、Ｇの画素に対応するＧ反射画像、Ｂの画素に対応するＢ反射画像（後述のように、結局は、カラー反射画像）を生成できる。また、法線ベクトルｎｒ、ｎｇ、およびｎｂに基づいて、Ｒの画素に対応するＲ法線画像、Ｇの画素に対応するＧ法線画像、Ｂの画素に対応するＢ法線画像（後述のように、結局は、法線画像）を生成できる。
【0051】
（３）Ｒ、Ｇ、およびＢ法線画像の平均化による法線画像（形状画像）の生成（ステップＳ２５）
プロセッサ１１は、Ｒ法線画像（第１法線画像）での法線の分布（第１分布）、Ｇ法線画像（第２法線画像）での法線の分布（第２分布）、Ｂ法線画像（第３法線画像）での法線の分布（第３分布）を平均化して法線画像（形状画像）を生成する（ステップＳ２５）。すなわち、第１分布、第２分布、および第３分布における法線方向を平均化することで、法線画像（形状画像）を生成できる。
プロセッサ１１は、Ｒ法線画像（第１法線画像）での法線の分布（第１分布）、Ｇ法線画像（第２法線画像）での法線の分布（第２分布）、Ｂ法線画像（第３法線画像）での法線の分布（第３分布）を平均化して法線画像（形状画像）を生成する（ステップＳ２５）。すなわち、第１分布、第２分布、および第３分布における法線方向を平均化することで、法線画像（形状画像）を生成できる。
【0052】
判定対象物ＯＢ上の法線は、その形状に対応する量であり、基本的には光の波長には依存しないと考えられる。このため、Ｒ、Ｇ、およびＢの法線ベクトルｎｒ、ｎｇ、およびｎｂを１つの法線ベクトルｎに纏めることは合理的である。具体的には、近接する箇所の法線ベクトルｎｒ、ｎｇ、およびｎｂの平均値を算出し、法線ベクトルｎとする。この法線ベクトルｎを用いて。判定対象物ＯＢ上での法線の分布を表す法線画像を生成する。
【0053】
ここで、法線ベクトルｎｒ、ｎｇ、およびｎｂから異常値を除外した後に、法線ベクトルｎｒ、ｎｇ、およびｎｂを平均化して、法線ベクトルｎを求め、法線画像を生成してもよい。異常値を除外することで、法線ベクトルｎの精度が向上する。
【0054】
異常値を除外するには、後述する、異常な光源ベクトルを除外する手法を応用できる。例えば、判定対象物ＯＢ上の近接する箇所において、得られた複数の法線ベクトルｎｒ、ｎｇ、およびｎｂの平均ｎａｖから所定の値（距離）以上に離れた法線ベクトルｎを異常として除外する。これに替えて、例えば、ＤＢＳＣＡＮを用いて、異常値を除外してもよい。
【0055】
ここで、法線ベクトルｎｒ、ｎｇ、およびｎｂを平均化せず、法線ベクトルｎｒ、ｎｇ、およびｎｂのいずれかを用いて、法線画像を生成してもよい。
【0056】
（４）Ｒ、Ｇ、およびＢ反射画像からのカラー反射画像（カラー画像）の生成（ステップＳ２６）
プロセッサ１１は、Ｒ反射画像（第１反射画像）、Ｇ反射画像（第２反射画像）、Ｂ反射画像（第３反射画像）を合成してカラー反射画像を生成する（ステップＳ２６）。すなわち、Ｒ、Ｇ、およびＢの反射率ρｒ、ρｇ、およびρｂを１の画素のＲ、Ｇ、およびＢの輝度（ρｒ、ρｇ、ρｂ）とすることで、カラー反射画像を生成することができる。
プロセッサ１１は、Ｒ反射画像（第１反射画像）、Ｇ反射画像（第２反射画像）、Ｂ反射画像（第３反射画像）を合成してカラー反射画像を生成する（ステップＳ２６）。すなわち、Ｒ、Ｇ、およびＢの反射率ρｒ、ρｇ、およびρｂを１の画素のＲ、Ｇ、およびＢの輝度（ρｒ、ρｇ、ρｂ）とすることで、カラー反射画像を生成することができる。
【0057】
以上のようにして、判定対象物ＯＢの複数の画像ＩＭ（ｉ）からカラー反射画像および法線画像が生成される。
【0058】
上記では、ステップＳ２４ａ～２４ｃにおいて、Ｒ、Ｇ、およびＢの全ての画素の各々で、反射率ρ、および法線ベクトルｎを算出している。この処理には多くの計算量を要する。以下に示す手法により、計算量を低減して、カラー反射画像、法線画像を生成することができる。
【0059】
【0060】
ここでは、プロセッサ１１は、複数の画像ＩＭ（ｉ）をモノクロにグレースケール化し、グレースケール化された複数の画像ＩＭ（ｉ）を得る（ステップＳ３１）。その後、プロセッサ１１は、グレースケール化された複数の画像ＩＭ（ｉ）に基づき、法線画像を生成する（ステップＳ３２）。
【0061】
このとき、既述の式（１）を用いて法線ベクトルｎを算出し、法線ベクトルｎを画像化することで、法線画像が生成される。このように、Ｒ、Ｇ、およびＢ毎に、法線ベクトルｎｒ、ｎｇ、およびｎｂを算出する必要がないので、計算量を低減できる。なお、法線ベクトルｎと同時に、反射率ρも算出されるが、この反射率ρを用いる必要はない。
【0062】
カラー反射画像については、図３と同様にして抽出された（ステップＳ２３）Ｒ画像、Ｇ画像、Ｂ画像からＲ反射画像、Ｇ反射画像、Ｂ反射画像が生成される（ステップＳ３３ａ～Ｓ３３ｃ）。このとき式（２ａ）～（２ｃ）に替えて、次の式（３ａ）～（３ｃ）を用いることができる。
Ｉｒ（ｉ）＝ρｒ（Ｌ（ｉ）・ｎ） …式（３ａ）
Ｉｇ（ｉ）＝ρｇ（Ｌ（ｉ）・ｎ） …式（３ｂ）
Ｉｂ（ｉ）＝ρｂ（Ｌ（ｉ）・ｎ） …式（３ｃ）
Ｉｒ（ｉ）＝ρｒ（Ｌ（ｉ）・ｎ） …式（３ａ）
Ｉｇ（ｉ）＝ρｇ（Ｌ（ｉ）・ｎ） …式（３ｂ）
Ｉｂ（ｉ）＝ρｂ（Ｌ（ｉ）・ｎ） …式（３ｃ）
【0063】
すなわち、ステップＳ３２において算出された法線ベクトルｎを用いて、反射率ρｒ、ρｇ、およびρｂを算出することができる。この場合、法線ベクトルｎは既知であるため、反射率ρｒ、ρｇ、およびρｂのみが未知数となり、計算量を大幅に削減できる。
【0064】
以上のようにして、グレースケール化した複数の画像ＩＭ（ｉ）を用いることで、カラー反射画像、法線画像を生成するときの計算量を低減することができる。
【0065】
（光源ベクトルの推定の詳細）
光源ベクトルの推定（ステップＳ２１）の詳細を説明する。図５は、光源ベクトルの推定工程の一例を示すフロー図である。既述のように、この推定工程は、複数の光源ＬＳ（ｉ）各々の向きを求める工程として機能する。
光源ベクトルの推定（ステップＳ２１）の詳細を説明する。図５は、光源ベクトルの推定工程の一例を示すフロー図である。既述のように、この推定工程は、複数の光源ＬＳ（ｉ）各々の向きを求める工程として機能する。
【0066】
（１）光源の選択・撮影（ステップＳ４１、Ｓ４２）
プロセッサ１１は、光源ＬＳ（ｉ）を選択して（ステップＳ４１）、基準対象物を複数回（例えば、３０回）撮影する（ステップＳ４２）。複数の光源ＬＳ（１）～ＬＳ（ｎ）から順に選択される１の光源ＬＳ（ｉ）からの光が照射された基準対象物の複数の画像が取得される。なお、この撮影に先立って、基準対象物が暗室ＢＸ内に設置される。
プロセッサ１１は、光源ＬＳ（ｉ）を選択して（ステップＳ４１）、基準対象物を複数回（例えば、３０回）撮影する（ステップＳ４２）。複数の光源ＬＳ（１）～ＬＳ（ｎ）から順に選択される１の光源ＬＳ（ｉ）からの光が照射された基準対象物の複数の画像が取得される。なお、この撮影に先立って、基準対象物が暗室ＢＸ内に設置される。
【0067】
基準対象物は、例えば、白色の板（一例として、紙）であり、通常、法線方向（法線ベクトルｎ）および反射率ρが既知であるものを用いる。後述のように、１つの光源ベクトルＬ（ｉ）を確定するために、例えば、基準対象物の向き（法線ベクトルｎ）を変化させた３回の撮影がセットで行われる。すなわち、ここでの「３０回」は、１の光源ベクトルＬ（ｉ）を少なくとも１０回算出することを可能とする。
【0068】
（２）複数の光源ベクトルの算出（ステップＳ４３）
プロセッサ１１は、撮影された複数の画像から１の光源ＬＳ（ｉ）に対応する複数の光源ベクトルＬ（ｉ）を算出する（ステップＳ４３）。１の光源ＬＳ（ｉ）の向き（光源ベクトルＬ（ｉ））の複数の値が求められる。
プロセッサ１１は、撮影された複数の画像から１の光源ＬＳ（ｉ）に対応する複数の光源ベクトルＬ（ｉ）を算出する（ステップＳ４３）。１の光源ＬＳ（ｉ）の向き（光源ベクトルＬ（ｉ））の複数の値が求められる。
【0069】
基準対象物の法線ベクトルｎ、反射率ρが既知であれば、既述の式（１）を用いて、光源ベクトルＬ（ｉ）を容易に算出できる。但し、１の光源ベクトルＬ（ｉ）は、（ｘ、ｙ、ｚ）と３つの変数を有するため、通例、基準対象物の向き（法線の向き）を変えた３つの画像から１の光源ベクトルＬ（ｉ）を算出する。この結果、１の光源ＬＳ（ｉ）に対して、例えば、３０個の画像から１０の光源ベクトルＬ（ｉ）が得られる。
【0070】
（３）異常な光源ベクトルの除外・光源ベクトルの平均化（ステップＳ４４、Ｓ４５）
プロセッサ１１は、得られた光源ベクトルＬ（ｉ）から異常な光源ベクトルＬ（ｉ）を除外し（ステップＳ４４）、残った光源ベクトルを平均化する（ステップＳ４５）。異常な光源ベクトルを除外して残った光源ベクトルに基づき、光源ベクトルＬ（ｉ）の推定値Ｌｐ（ｉ）（光源ＬＳ（ｉ）の向き）が得られる。複数の値（光源ベクトルＬ（ｉ））から、この複数の値（光源ベクトルＬ（ｉ））の平均値から所定の値以上に離れた値が除外され、所定の値以上に離れた値が除外された複数の値（複数の光源ベクトルＬ（ｉ））に基づき、１の光源ＬＳ（ｉ）の向き（光源ベクトルＬ（ｉ）の推定値Ｌｐ（ｉ））が求められる。
プロセッサ１１は、得られた光源ベクトルＬ（ｉ）から異常な光源ベクトルＬ（ｉ）を除外し（ステップＳ４４）、残った光源ベクトルを平均化する（ステップＳ４５）。異常な光源ベクトルを除外して残った光源ベクトルに基づき、光源ベクトルＬ（ｉ）の推定値Ｌｐ（ｉ）（光源ＬＳ（ｉ）の向き）が得られる。複数の値（光源ベクトルＬ（ｉ））から、この複数の値（光源ベクトルＬ（ｉ））の平均値から所定の値以上に離れた値が除外され、所定の値以上に離れた値が除外された複数の値（複数の光源ベクトルＬ（ｉ））に基づき、１の光源ＬＳ（ｉ）の向き（光源ベクトルＬ（ｉ）の推定値Ｌｐ（ｉ））が求められる。
【0071】
すべての光源ＬＳ（ｉ）を選択し、光源ベクトルＬ（ｉ）を推定するまで、以上のプロセスは繰り替えされる（ステップＳ４６）。
【0072】
図６は、異常な光源ベクトルを除外する手法の一例を表す図である。光源ベクトルＬ（ｉ）は、ｘｙｚ座標上の点（ｘ、ｙ、ｚ）として表されている。原点Ｏに判定対象物ＯＢが配置される。
【0073】
ここで、光源ベクトルＬ（ｉ）は、正常範囲Ｒ内の光源ベクトルＬ１（ｉ）、正常範囲Ｒ外の（異常な）光源ベクトルＬ０（ｉ）に区分されているが、いずれも同一の光源ＬＳ（ｉ）の光源ベクトルＬ（ｉ）であり、本来は一致すべきものである。しかし、測定誤差や計算誤差によって、計算された光源ベクトルＬ（ｉ）は本来の値から大きくずれることがあり得る。このため、光源ベクトルＬ（ｉ）を推定する工程において、異常な光源ベクトルＬ０（ｉ）を除外することで、光源ベクトルＬ（ｉ）の推定精度を向上できる。
【0074】
ここでは、得られた複数の光源ベクトルＬ（ｉ）の平均Ｌａｖ（ｉ）から所定の値（距離）Ｄ以上に離れた光源ベクトルＬ０（ｉ）を異常として除外し、残った光源ベクトルＬ１（ｉ）の平均として、光源ベクトルの推定値Ｌｐ（ｉ）を算出している。
【0075】
距離Ｄとして、数値自体を「０．０５」等と規定してもよいし、得られた複数の光源ベクトルＬ（ｉ）の標準偏差σに基づいて、距離Ｄを、例えば、1σと規定してもよい。
【0076】
ここで、異常値を除外するために、他の手法、例えば、ＤＢＳＣＡＮ（Density-Based Spatial Clustering of Applications with Noise）を用いても良い。ＤＢＳＣＡＮでは、座標の密集度に基づきデータをクリスタリングし、密度の低い領域にある点を外れ値（ノイズ）として除去する。
【0077】
（判定工程の詳細）
以下、判定工程の詳細を説明するが、その前にモデルＭ１を説明する。図７は、モデルＭ１を模式的に表す図である。モデルＭ１は、入力層２１、中間層２２、出力層２３を有する。中間層２２は、複数の中間層２２（１）～２２（ｎ）を有する。これらの中間層２２（ｉ）は、例えば、畳み込み層、プーリング層である。
以下、判定工程の詳細を説明するが、その前にモデルＭ１を説明する。図７は、モデルＭ１を模式的に表す図である。モデルＭ１は、入力層２１、中間層２２、出力層２３を有する。中間層２２は、複数の中間層２２（１）～２２（ｎ）を有する。これらの中間層２２（ｉ）は、例えば、畳み込み層、プーリング層である。
【0078】
モデルＭ１は、判定対象物ＯＢのカラー画像、および形状画像の少なくとも一方（以下、まとめて、画像と称する）に基づいて、良品との類似度の出力、異常検知（ここでは、スコア、ヒートマップの出力）、または画像認識に基づく欠陥の検出（欠陥に対応する画像の認識）等を行う。例えば、中間層２２から出力される特徴量に基づいて、スコア、ヒートマップが出力される。ここでは、判りやすさのため、出力層２３から認識、検出の結果が、中間層２２から特徴量、結局は、スコア、ヒートマップが出力されるとしているが、これらの一方のみを出力してもよく、中間層２２から出力される特徴量に基づき、出力層２３からの出力が行われてもよい。
【0079】
モデルＭ１は、ニューラルネットワークの学習済みのモデルであり、複数の画像が入力されて生成される。このモデルＭ１に、以下に示す種々のモデル（１）～（４）を用いて、良否の判定を行うことができる。
【0080】
（１）良品との類似度を出力するモデル
モデルＭ１として、良品自体がマッピングされたニューラルネットワークのモデルを用いて、良品と判定対象物ＯＢとの類似度を取得することができる。このモデルＭ１として、一般的なＣＮＮ（Convolutional Neural Network： 畳み込みニューラルネットワーク）のモデルを挙げることができる。
モデルＭ１として、良品自体がマッピングされたニューラルネットワークのモデルを用いて、良品と判定対象物ＯＢとの類似度を取得することができる。このモデルＭ１として、一般的なＣＮＮ（Convolutional Neural Network： 畳み込みニューラルネットワーク）のモデルを挙げることができる。
【0081】
この場合、事前準備工程（ステップＳ１１）において、判定対象物ＯＢの良品の画像を用いた深層学習により、良品の画像をマッピングしたモデルＭ１を形成する。この結果、モデルＭ１にマッピングされた良品の画像と、入力される判定対象物ＯＢの画像との距離に基づいて、判定対象物ＯＢの類似度を算出可能となる。
【0082】
学習済みのモデルＭ１に判定対象物ＯＢの画像を入力すると、モデルＭ１から良品と判定対象物ＯＢとの類似度が出力される。プロセッサ１１は、例えば、この類似度が所定の閾値より大きければ、判定対象物ＯＢを良品と判定し、類似度が所定の閾値以下であるとき、判定対象物ＯＢを不良品と判定する。
【0083】
（２）判定対象物ＯＢの特徴に基づき、異常検出の結果（スコア、ヒートマップ）を出力するモデル
モデルＭ１として、良品である判定対象物ＯＢの特徴がマッピングされたニューラルネットワークのモデルを用いて、判定対象物ＯＢの（中間層２２での）特徴量に基づく、異常検出の結果（スコアまたはヒートマップ）を取得することができる。このモデルＭ１は、近似する画像は、中間層２２からの特徴量も近い傾向にあることに基づく。モデルＭ１として、Ｍａｈａｌａｎｏｂｉｓ ＡＤ、ＳＰＡＤＥ、ＰａＤｉＭ、ＰａｔｃｈＣｏｒｅ、およびＦａｓｔＦｌｏｗのモデルを挙げることができる。
モデルＭ１として、良品である判定対象物ＯＢの特徴がマッピングされたニューラルネットワークのモデルを用いて、判定対象物ＯＢの（中間層２２での）特徴量に基づく、異常検出の結果（スコアまたはヒートマップ）を取得することができる。このモデルＭ１は、近似する画像は、中間層２２からの特徴量も近い傾向にあることに基づく。モデルＭ１として、Ｍａｈａｌａｎｏｂｉｓ ＡＤ、ＳＰＡＤＥ、ＰａＤｉＭ、ＰａｔｃｈＣｏｒｅ、およびＦａｓｔＦｌｏｗのモデルを挙げることができる。
【0084】
この場合、事前準備工程（ステップＳ１１）において、判定対象物ＯＢの良品の画像を用いた深層学習により、良品の特徴をマッピングしたモデルＭ１を形成する。このモデルＭ１は、特徴量抽出器として機能するので、深層学習において、良品自体をマッピングする必要はなく、良品の特徴量が抽出されれば足りる。深層学習の結果、モデルＭ１にマッピングされた良品の特徴と、中間層２２からの判定対象物ＯＢの特徴との距離に基づいて、異常検出（スコアの算出、ヒートマップの形成）が可能となる。
【0085】
なお、中間層２２からの判定対象物ＯＢの特徴量自体に基づいて、異常検出を行っても良いが、この特徴量を別のモデルＭ１に入力して、異常検出を行っても良い。この例として、ＦａｓｔＦｌｏｗを挙げることができる。
【0086】
学習済みのモデルＭ１に判定対象物ＯＢの画像を入力すると、中間層２２からの判定対象物ＯＢの特徴量に基づき、スコアおよびヒートマップの少なくとも一方が出力される。スコアは、例えば、画像全体としてのスコア、一例として、良品の特徴からみた異常の程度を表す異常スコアである。ヒートマップは、判定対象物ＯＢの部位をスコアの程度で区分したものである。なお、ヒートマップは、異常検知の判定の過程で利用されることが多く、最終的な異常検出の結果として出力されるとは限らない。
【0087】
プロセッサ１１は、取得したスコアまたはヒートマップに基づき、判定対象物ＯＢの良否を判定する。プロセッサ１１は、例えば、このスコア（異常スコア）が所定の閾値より小さいとき、判定対象物ＯＢを良品と判定し、スコアが所定の閾値以上であるとき、判定対象物ＯＢを不良品と判定する。ヒートマップを用いる場合、プロセッサ１１は、例えば、スコアが一定値以上の面積（または、画素数）が所定の閾値より小さいとき、判定対象物ＯＢを良品と判定し、スコアが一定値以上の面積が所定の閾値以上であるとき、判定対象物ＯＢを不良品と判定する。
【0088】
Ｍａｈａｌａｎｏｂｉｓ ＡＤは、中間層２２からの特徴量を、多変量正規分布として扱い、中間層２２（ｉ）毎にマハラノビス距離を算出して合算し、１の距離（スコア）として出力する。
【0089】
ＳＰＡＤＥ、ＰａＤｉＭ、およびＰａｔｃｈＣｏｒｅは、中間層２２からの特徴量に基づき、ヒートマップを形成する。このうち、ＳＰＡＤＥは、中間層２２からの特徴量を画素単位で扱い、ｋＮＮ距離で比較してヒートマップ化する。ＰａＤｉＭは、中間層２２からの特徴量を画素単位で扱い、平均と共分散で比較してヒートマップ化する。ＰａｔｃｈＣｏｒｅは、中間層２２からの特徴量を選別し、最近傍の値に基づきヒートマップ化する。
【0090】
ＦａｓｔＦｌｏｗも中間層２２から特徴量を取得し、この特徴量に基づいて、異常検知の結果（例えば、スコア、ヒートマップ）を出力する。より具体的には、モデルＭ１として、ＣＮＮ系、またはＴｒａｎｓｆｏｒｍｅｒ系のモデルを用いてヒートマップ化する。但し、Ｍａｈａｌａｎｏｂｉｓ ＡＤ、ＳＰＡＤＥ、ＰａＤｉＭ、ＰａｔｃｈＣｏｒｅでは、転移学習が不要なのに対して、ＦａｓｔＦｌｏｗでは、転移学習が必要となる。
【0091】
（３）画像認識に基づき、欠陥の検出結果を出力するモデル
モデルＭ２として、判定対象物ＯＢの欠陥を検出する画像認識用のモデルを用いることができる。このモデルＭ１として、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、セマンティックセグメンテーション、インスタンスセグメンテーションのモデルを挙げることができる。
モデルＭ２として、判定対象物ＯＢの欠陥を検出する画像認識用のモデルを用いることができる。このモデルＭ１として、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、セマンティックセグメンテーション、インスタンスセグメンテーションのモデルを挙げることができる。
【0092】
この場合、事前準備工程（ステップＳ１１）において、判定対象物ＯＢにおいて検出すべき欠陥（例えば、欠け、異物）の画像を用いた深層学習により、欠陥およびその種別を検出できるモデルＭ１を形成する。
【0093】
モデルＭ１に判定対象物ＯＢの画像を入力すると、画像から検出された欠陥（例えば、異物、欠け）の種別が出力される。このとき、場合により、欠陥の箇所（領域）も併せて出力される。プロセッサ１１は、例えば、欠陥が検出されなければ判定対象物ＯＢを良品と判定し、欠陥が検出されれば判定対象物ＯＢを不良品と判定する。欠陥の（領域）が出力される場合、プロセッサ１１は、欠陥領域の面積が所定の閾値より小さいとき、判定対象物ＯＢを良品と判定し、欠陥領域の面積が所定の閾値以上であるとき、判定対象物ＯＢを不良品と判定してもよい。
【0094】
（４）モデルの併用
以上では、類似度出力用、異常検出（スコア、ヒートマップ）用、画像認識用のいずれかのモデルＭ１を用いて、良否を判定している。複数のモデルＭ１を組み合わせて、良否を判定してもよい。例えば、類似度、異常検出のいずれかと、画像認識とを組み合わせることができる。これにより、判定の精度を向上することができる。
以上では、類似度出力用、異常検出（スコア、ヒートマップ）用、画像認識用のいずれかのモデルＭ１を用いて、良否を判定している。複数のモデルＭ１を組み合わせて、良否を判定してもよい。例えば、類似度、異常検出のいずれかと、画像認識とを組み合わせることができる。これにより、判定の精度を向上することができる。
【0095】
類似度、または異常検出の結果を出力するモデルＭ１（一例として、一般的なＣＮＮ、またはＰａｔｃｈＣｏｒｅ）は、基本的に、良品の画像に基づく学習により、形成される。このため、良品と色味が異なる欠陥（例えば、灰色地の鋳物上の黒色のネジや白色の紙片）を含む判定対象物ＯＢを不良品と判定することは容易である。しかし、良品と色味が近い欠陥（例えば、灰色地の鋳物の一部での灰色の欠け）を含む判定対象物ＯＢを不良品と判定することは容易でない。
【0096】
このため、類似度出力用、または異常検出用のモデルＭ１と、画像認識用のモデルＭ１を組み合わせることで、判定の精度を高めることができる。例えば、画像認識による良否の判定を行い、欠陥が検出されなかった判定対象物ＯＢのみを特徴量に基づき良否を判定することができる。
【0097】
〔付記事項１〕
上述の実施形態において、カラー反射画像および法線画像の一方または双方を分割し、判定対象物ＯＢの部分ごとに良否を判定してもよい。例えば、カラー反射画像および法線画像を４つに分割し、計８つの画像を用いて良否を判定する。なお、分割する数は４に限らず、これより多くても少なくてもよい。例えば、プロセッサ１１は、アルベド画像および法線ベクトル画像を６分割または９分割してもよい。
上述の実施形態において、カラー反射画像および法線画像の一方または双方を分割し、判定対象物ＯＢの部分ごとに良否を判定してもよい。例えば、カラー反射画像および法線画像を４つに分割し、計８つの画像を用いて良否を判定する。なお、分割する数は４に限らず、これより多くても少なくてもよい。例えば、プロセッサ１１は、アルベド画像および法線ベクトル画像を６分割または９分割してもよい。
【0098】
画像を分割し、判定対象物ＯＢの部位ごとに良否を判定することで、判定対象物ＯＢの良否の判定の精度を向上できる。ここで、例えば、判定対象物ＯＢの分割された画像の全てが良品と判定された場合に判定対象物ＯＢを良品と判定し、判定対象物ＯＢの分割された画像のいずれかが不良品と判定された場合に判定対象物ＯＢを不良品と判定してもよい。
【0099】
〔付記事項２〕
上述の実施形態において、カラー反射画像および法線画像の一方または双方はマスク処理されてもよい。例えば、カラー反射画像および法線画像の判定不要領域（例えば、背景領域）を予め用意しておいたマスク画像で塗りつぶす。このようにすることで、判定の精度を向上することができる。このマスク処理は、分割されたカラー反射画像および法線画像に対して行ってもよい。
上述の実施形態において、カラー反射画像および法線画像の一方または双方はマスク処理されてもよい。例えば、カラー反射画像および法線画像の判定不要領域（例えば、背景領域）を予め用意しておいたマスク画像で塗りつぶす。このようにすることで、判定の精度を向上することができる。このマスク処理は、分割されたカラー反射画像および法線画像に対して行ってもよい。
【0100】
〔付記事項３〕
学習用の画像の収集は、多くの画像が必要であるため、必ずしも容易ではない。このため、撮影した良品の画像を処理することで、画像を増加させても良い。
学習用の画像の収集は、多くの画像が必要であるため、必ずしも容易ではない。このため、撮影した良品の画像を処理することで、画像を増加させても良い。
【0101】
（実施例）
以下、本発明の実施例を説明する。ここでは、判定対象物ＯＢを鋳物として、外観判定装置１０によって、外観を判定した。鋳物の良品および不良品を撮影部ＭＰによって撮影して、複数の画像ＩＭを取得し、画像（ここでは、カラー反射画像）を生成した。なお、図５に示す工程により、光源ＬＳ（ｉ）の光源ベクトルＬ（ｉ）を推定した。また、異物（ネジや紙片）を置いた鋳物を不良品とした。
以下、本発明の実施例を説明する。ここでは、判定対象物ＯＢを鋳物として、外観判定装置１０によって、外観を判定した。鋳物の良品および不良品を撮影部ＭＰによって撮影して、複数の画像ＩＭを取得し、画像（ここでは、カラー反射画像）を生成した。なお、図５に示す工程により、光源ＬＳ（ｉ）の光源ベクトルＬ（ｉ）を推定した。また、異物（ネジや紙片）を置いた鋳物を不良品とした。
【0102】
生成した画像を画像認識用のモデルＭ１（セマンティック／インスタンスセグメンテーション、ＹＯＬＯのモデル）、異常検出用のモデルＭ１（ＭａｈａｌａｎｏｂｉｓＡＤ、およびＰａｔｃｈＣｏｒｅ）に入力し、外観の良否を判定した。なお、セマンティックセグメンテーションとインスタンスセグメンテーションの双方を用いて外観の良否を判定したが、これら２つの方式の結果が同様であったため、これらを纏めて、「セマンティック／インスタンスセグメンテーション」と記載している。
【0103】
画像検出用のモデルＭ１は、鋳物の欠陥（ネジ等の異物、欠け）の画像に基づく事前学習により、欠陥を検出可能とした。異常検出用のモデルＭ１は、良品の画像に基づく事前学習により、スコア、またはヒートマップを出力可能とした。
【0104】
図８は、外観判定結果の例を表す図である。画像Ａ１、Ａ２、Ａ３は、判定対象物ＯＢのカラー画像であり、順に、良品、異物（ネジ）を含む不良品、欠けを含む不良品を表す。画像Ｂ１～Ｂ３はそれぞれ、セマンティック／インスタンスセグメンテーションによって画像Ａ１、Ａ２、Ａ３を判定した結果を表す。同様に、画像Ｃ１～Ｃ３、画像Ｄ１～Ｄ３、および画像Ｅ１～Ｅ３はそれぞれ、ＹＯＬＯ、ＭａｈａｌａｎｏｂｉｓＡＤ、およびＰａｔｃｈＣｏｒｅによって画像Ａ１～Ａ３を判定した結果を表す。
【0105】
画像Ｂ１～Ｂ３および画像Ｃ１～Ｃ３に示すように、画像認識を行うセマンティック／インスタンスセグメンテーションおよびＹＯＬＯでは、異物を含む画像Ａ２、欠けを含む画像Ａ３を「異物」、「欠け」として認識し、さらに、ＹＯＬＯでは、「異物」、「欠け」の箇所を四角い枠（バウンディングボックス）によって特定した。すなわち、セマンティック／インスタンスセグメンテーションおよびＹＯＬＯは、鋳物の良否を判定できることが分かる。
【0106】
画像Ｄ１～Ｄ３に示すように、Ｍａｈａｌａｎｏｂｉｓ ＡＤは、スコアの大小により、良品と不良品を判別できた。すなわち、Ｍａｈａｌａｎｏｂｉｓ ＡＤが出力するスコアを閾値（例えば、１２０）と比較し、スコアが閾値より大きい場合に不良品と判定することができる。
【0107】
画像Ｅ１～Ｅ３に示すように、ＰａｔｃｈＣｏｒｅは、ヒートマップにより、良品と不良品を判別する。画像Ａ２はヒートマップから異常と判定できたが、画像Ａ３は欠けとそれ以外の箇所との色味が近いため、異常の検出には至らなかった。
【0108】
画像Ａ１～Ｅ１に示すように、良品の判定対象物ＯＢは、すべてを良品と判定された。良品１００点につき、外観判定を行ったところ、すべて良品と判定された。
【0109】
既述のように、Ｍａｈａｌａｎｏｂｉｓ ＡＤでは、画像Ａ２（異物を含む不良品）、Ａ３（欠けを含む不良品）の双方を不良品と判定できた。一方、ＰａｔｃｈＣｏｒｅでは、画像Ａ２を不良と判定できたが、画像Ａ３を不良と判定できなかった。画像Ａ３の「欠け」と鋳物自体の色味が近いためと考えられる。
【0110】
しかし、このような場合であっても、ＰａｔｃｈＣｏｒｅを画像認識用のセマンティック／インスタンスセグメンテーションまたはＹＯＬＯと併用することで、良否判定の精度を向上できることが分かる。例えば、セマンティック／インスタンスセグメンテーションまたはＹＯＬＯによって、欠陥が検出されなかった判定対象物ＯＢをＰａｔｃｈＣｏｒｅによって良否を判定する。
【0111】
以上の実施例では、カラー反射画像を用いて、外観を判定している。これに対して、法線画像、あるいは、カラー反射画像と法線画像の双方を用いて、外観を判定してもよい。
【0112】
図９は、外観判定結果の他の例を表す図であり、カラー反射画像と法線画像の双方を用いた、外観判定結果の例を表す。図９の画像Ｑ１、Ｑ２、Ｑ３は、判定対象物ＯＢ（鋳物）のカラー反射画像であり、順に、良品、異物を含む不良品、欠けを含む不良品を表す。ここで、画像Ｑ２は、鋳物の地肌に近い色の異物が鋳物に付着した状態を表す。画像Ｒ１、Ｒ２、Ｒ３はそれぞれ、画像Ｑ１、Ｑ２、Ｑ３に対応する、判定対象物ＯＢ（鋳物）の法線画像である。画像Ｓ１、Ｓ２、Ｓ３はそれぞれ、ＰａｔｃｈＣｏｒｅによって、画像Ｒ１、Ｒ２、Ｒ３を判定した結果（ヒートマップ）を表す。ここで、矢印Ｆは、不良箇所（異物、欠け）を指し示す。
【0113】
既述のように、不良箇所（例えば、異物、欠け）と非不良箇所との色彩上の差異が小さい（色味が近い）場合、カラー反射画像を用いた異常の検出が困難となる。ここでは、画像Ｑ２、Ｑ３（カラー反射画像）において、不良箇所（異物、欠け）が画像上、やや不明確であり、検出され難くなっている。これに対して、画像Ｒ２、Ｒ３（法線画像）では、不良箇所が凸部（異物の付着）、凹部（欠け）として明確化されている。この結果、画像Ｓ２、Ｓ３では、ヒートマップによって、不良箇所を検出することができた。
【0114】
このように、法線画像を用いて、判定対象物ＯＢの外観を判定できる。法線画像は、判定対象物ＯＢの凹凸の情報を表すため、不良箇所と非不良箇所で、色味が近くても、凹凸として、不良箇所を検出できる。また、カラー反射画像と法線画像の双方を用いると、不良箇所をより確実に検出できる。
【0115】
以上に示すように、本実施形態では、判定対象物ＯＢのカラー反射画像、法線画像の少なくとも一方に基づき、判定対象物ＯＢの良否を判定している。
【0116】
［まとめ］
（１） 態様１の外観判定装置は、１または複数のプロセッサを備え、前記プロセッサは、照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像、の少なくとも一方に基づき、前記判定対象物の良否を判定する判定工程、を実行する。
（１） 態様１の外観判定装置は、１または複数のプロセッサを備え、前記プロセッサは、照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像、の少なくとも一方に基づき、前記判定対象物の良否を判定する判定工程、を実行する。
【0117】
（２） 態様２の外観判定装置は、態様１の外観判定装置において、前記形状画像は、前記判定対象物の表面上での法線方向の分布を表す、法線画像であり、前記カラー画像は、互いに異なる、第１波長域、第２波長域、および第３波長域における、前記判定対象物の表面上での反射率の分布を表わす、カラー反射画像である。
【0118】
（３） 態様３の外観判定装置は、態様１または態様２の外観判定装置において、前記プロセッサは、向きが互いに異なる複数の光源の各々からの光に照射された前記判定対象物の複数の画像に基づき、前記カラー画像および前記形状画像を生成する生成工程、を実行し、前記判定工程において、前記生成された前記カラー画像および前記形状画像の少なくとも一方に基づき、前記判定対象物の良否を判定する。
【0119】
（４） 態様４の外観判定装置は、態様１～３の外観判定装置において、前記複数の画像の各々は、前記第１波長域、前記第２波長域、および前記第３波長域の光を含む光を用いて撮影された画像であり、前記プロセッサは、前記生成工程において、前記複数の画像から、前記第１波長域での複数の第１画像、前記第２波長域での複数の第２画像、および前記第３波長域での複数の第３画像を抽出する工程と、前記複数の第１画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第１反射画像を生成する工程と、前記複数の第２画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第２反射画像を生成する工程と、前記複数の第３画像に基づき、前記判定対象物の表面上での反射率の分布を表わす、第３反射画像を生成する工程と、前記第１反射画像、前記第２反射画像、および前記第３反射画像を合成して、前記カラー反射画像である、前記カラー画像を生成する工程と、を実行する。
【0120】
（５） 態様５の外観判定装置は、態様１～４の外観判定装置において、前記プロセッサは、前記生成工程において、前記複数の画像の各々をグレースケール化する工程と、前記グレースケール化された複数の画像に基づき、前記法線画像である、前記形状画像を生成する工程と、を実行する、請求項３に記載の外観判定装置。
【0121】
（６） 態様６の外観判定装置は、態様１～５の外観判定装置において、前記複数の画像の各々は、前記第１波長域、前記第２波長域、および前記第３波長域の光を含む光を用いて撮影された画像であり、前記プロセッサは、前記生成工程において、前記複数の画像から、前記第１波長域での複数の第１画像、前記第２波長域での複数の第２画像、および前記第３波長域での複数の第３画像を抽出する工程と、前記複数の第１画像に基づき、前記判定対象物の表面上での法線方向の第１分布を求める工程と、前記複数の第２画像に基づき、前記判定対象物の表面上での法線方向の第２分布を求める工程と、前記複数の第３画像に基づき、前記判定対象物の表面上での法線方向の第３分布を求める工程と、前記第１分布、前記第２分布、および前記第３分布における法線方向を平均化することで、前記法線画像である、前記形状画像を生成する工程と、を実行する。
【0122】
（７） 態様６の外観判定装置は、態様１～５の外観判定装置において、前記プロセッサは、前記複数の光源各々の向きを求める工程を実行し、前記生成工程において、前記複数の画像および前記求められた向きに基づき、前記カラー画像および前記形状画像を生成する。
【0123】
（８） 態様８の外観判定装置は、態様７の外観判定装置において、前記プロセッサは、前記向きを求める工程において、前記複数の光源中の１の光源からの光が照射された基準対象物の複数の画像に基づき、前記１の光源の向きの複数の値を求める工程と、前記複数の値から、前記複数の値の平均値から所定の値以上に離れた値を除外する工程と、前記所定の値以上に離れた値が除外された複数の値に基づき、前記１の光源の向きを求める工程と、を実行する、請求項７に記載の外観判定装置。
【0124】
（９） 態様９の外観判定装置は、態様１～８の外観判定装置において、前記判定対象物は、鋳物である。
【0125】
（１０） 態様１０の外観判定装置は、態様１～９の外観判定装置において、前記プロセッサは、前記判定工程において、前記カラー画像および前記形状画像の少なくとも一方を、良品である判定対象物の特徴がマッピングされたニューラルネットワークのモデルに、入力して、中間層の特徴量に基づくスコアまたは前記スコアを区分するヒートマップを取得する工程と、前記取得したスコアまたはヒートマップに基づき、前記判定対象物の良否を判定する工程と、を実行する。
【0126】
（１１） 態様１１の外観判定装置は、態様１０の外観判定装置において、前記プロセッサは、前記判定工程において、前記スコアが所定の閾値より小さいとき、判定対象物ＯＢを良品と判定し、スコアが所定の閾値以上であるとき、判定対象物ＯＢを不良品と判定するか、または前記スコアが一定値以上の面積が所定の閾値より小さいとき、前記判定対象物を良品と判定し、前記スコアが一定値以上の面積が所定の閾値以上のとき、前記判定対象物を不良品と判定する。
【0127】
（１２） 態様１２の外観判定装置は、態様１～９の外観判定装置において、前記プロセッサは、前記判定工程において、前記判定対象物の前記カラー画像および前記形状画像の少なくとも一方を、前記判定対象物の欠陥を検出する画像認識用のニューラルネットワークのモデルに入力して、認識結果を取得する工程と、前記取得した認識結果に基づき、前記判定対象物の良否を判定する工程と、を実行する。
【0128】
（１３） 態様１３の外観判定方法は、照度差ステレオにより生成された、判定対象物のカラーの光学像を表わすカラー画像、および前記照度差ステレオにより生成された、前記判定対象物の形状を表わす形状画像を入力する入力工程と、前記カラー画像および前記形状画像に基づき、前記判定対象物の良否を判定する判定工程と、を有する。
【0129】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0130】
１ 外観判定システム
１０ 外観判定装置
１１ プロセッサ
１２ 一次メモリ
１３ 二次メモリ
１６ バス
２１ 入力層
２２ 中間層
２３ 出力層
Ｐ１ 外観判定プログラム
Ｍ１ モデル
１０ 外観判定装置
１１ プロセッサ
１２ 一次メモリ
１３ 二次メモリ
１６ バス
２１ 入力層
２２ 中間層
２３ 出力層
Ｐ１ 外観判定プログラム
Ｍ１ モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
