特許 7136479 検査装置、検査方法及び検査プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-05

(45)【発行日】2022-09-13

(54)【発明の名称】検査装置、検査方法及び検査プログラム

(51)【国際特許分類】

   G01N 21/956 20060101AFI20220906BHJP

   G06T 7/00 20170101ALI20220906BHJP

   G01N 21/88 20060101ALI20220906BHJP

【ＦＩ】

G01N21/956 B

G06T7/00 610C

G01N21/88 Z

【請求項の数】 6

(21)【出願番号】P 2020045721

(22)【出願日】2020-03-16

(65)【公開番号】P2021148464

(43)【公開日】2021-09-27

【審査請求日】2021-07-02

(73)【特許権者】

【識別番号】000232140

【氏名又は名称】ＮＥＣフィールディング株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】箕作 敏夫

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２００６－２８４５４３（ＪＰ，Ａ）

【文献】国際公開第２０１８／１４２５３２（ＷＯ，Ａ１）

【文献】特開２００９－０３２２３０（ＪＰ，Ａ）

【文献】特開２０１８－１６０５６２（ＪＰ，Ａ）

【文献】特開２００２－１０７３１１（ＪＰ，Ａ）

【文献】国際公開第２０１３／００１５９４（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０６４０４７９６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ９／４０

Ｈ０５Ｋ ３／３０ － Ｈ０５Ｋ ３／３４

Ｈ０５Ｋ １３／００ － Ｈ０５Ｋ １３／０８

(57)【特許請求の範囲】

【請求項1】

検査対象である物品の画像データを取得するための画像データ取得部と、
前記画像データを記憶するための、画像データ記憶部と、
前記画像データから部品配置構成を取得し、実際に検査可能な物品であるか否か判定する、部品配置取得部と、
前記画像データ記憶部で記憶された前記画像データを、あらかじめそれぞれの物品について、見本画像を用いて学習して、得た判定基準を用いて、前記画像データが正常時の画像であるか異常時の画像であるかを判定する画像データ判定部と、
前記画像データ判定部で異常が発見された場合には、異常が発見された部位を確定済異常部位として特定する、確定済異常検出部と、
前記検査対象である物品の、過去の修理来歴を取得し、前記検査対象である物品に修理来歴があった場合には、修理対象となることが多かった部位を未確定異常部位として特定する、未確定異常検出部と、
前記確定済異常部位の修理に必要な部品と、前記未確定異常部位の修理に必要な部品と、に関する情報を修理用部品情報として特定する、修理用部品決定部と、
前記確定済異常検出部と、前記未確定異常検出部と、前記修理用部品決定部と、の結果を出力する出力部と、を備えることを特徴とする、
物品の検査装置。

【請求項2】

検査対象である物品の前記画像データは一以上あり、それぞれ異なる角度からあるいは／及び画角で撮像したものであることを特徴とする、
請求項１に記載の物品の検査装置。

【請求項3】

検査対象である物品の画像データを取得するための画像データ取得ステップと、
前記画像データを記憶するための、画像データ記憶ステップと、
前記画像データから部品配置構成を取得し、実際に検査可能な物品であるか否か判定する、部品配置取得ステップと、
前記画像データ記憶ステップで記憶された前記画像データを、あらかじめそれぞれの物品について、見本画像を用いて学習して、得た判定基準を用いて、前記画像データが正常時の画像であるか異常時の画像であるかを判定する画像データ判定ステップと、
前記画像データ判定ステップで異常が発見された場合には、異常が発見された部位を確定済異常部位として特定する、確定済異常検出ステップと、
前記検査対象である物品の、過去の修理来歴を取得し、前記検査対象である物品に修理来歴があった場合には、修理対象となることが多かった部位を未確定異常部位として特定する、未確定異常検出ステップと、
前記確定済異常部位の修理に必要な部品と、前記未確定異常部位の修理に必要な部品と、に関する情報を修理用部品情報として特定する、修理用部品決定ステップと、
前記確定済異常検出ステップと、前記未確定異常検出ステップと、前記修理用部品決定ステップと、の結果を出力する出力ステップと、を備えることを特徴とする、
物品の検査方法。

【請求項4】

検査対象である物品の前記画像データは一以上あり、それぞれ異なる角度からあるいは／及び画角で撮像したものであることを特徴とする、
請求項３に記載の物品の検査方法。

【請求項5】

検査対象である物品の画像データを取得する処理と、
前記画像データを記憶する処理と、
前記画像データから部品配置構成を取得し、実際に検査可能な物品であるか否か判定する処理と、
前記記憶されたそれぞれの物品についてあらかじめ、見本画像を用いて学習して、得た判定基準を用いて、前記画像データが正常時の画像であるか異常時の画像であるかを判定する処理と、
画像データ判定処理で異常が発見された場合には、異常が発見された部位を確定済異常部位として特定する処理と、
前記検査対象である物品の、過去の修理来歴を取得し、前記検査対象である物品に修理来歴があった場合には、修理対象となることが多かった部位を未確定異常部位として特定する処理と、
前記確定済異常部位の修理に必要な部品と、前記未確定異常部位の修理に必要な部品と、に関する情報を修理用部品情報として特定する処理と、
確定済異常検出処理と、未確定異常検出処理と、修理用部品決定処理と、の結果を出力する処理と、をコンピュータに実行させること、を特徴とする、
物品の検査プログラム。

【請求項6】

検査対象である物品の前記画像データは一以上あり、それぞれ異なる角度からあるいは／及び画角で撮像したものであることを特徴とする、
請求項５に記載の物品の検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査対象である物品に関して、不良検知を行う検査装置、検査方法及び検査プログラムに関する。

【背景技術】

【0002】

従来、部品修理の受け入れ工程では、修理対象品の識別ラベルと手順書（マニュアル）に示す識別番号一覧とを比較することで送られてきた基板が修理対象品か否かを判断し、さらに拡大鏡を用いて基板上の部品の外観不良（例えば形状異常や変色、汚れ、異部品）を確認し、過去の修理履歴を参照しながら故障原因である部品を抽出していた。

【0003】

特許文献１には、検査対象であるプリント基板の撮像データに対して、演算ユニットにより当該プリント基板の良否を判別し、当該判別結果や不良箇所などの所定の情報を、検査対象であるプリント基板を識別するための識別情報と、対応付けて検査結果とし、撮像ユニットに送信する、プリント基板検査装置が記載されている。

【0004】

特許文献２には、赤外線放射温度計による電子部品実装回路基板の撮像データに対して、サーモグラフィーにより温度分布をカラー画像化し、温度の画像データを処理して発熱箇所を抽出する画像処理装置が記載されている。

【0005】

特許文献３には、所定の照明下で撮像されて生成された検査対象基板の画像データを、登録されたプログラム及び検査データに基づき部品ごとに処理することで、基板上の各部品の実装状態を順に検査する検査装置が記載されている。

【0006】

特許文献４には、撮像ユニットによる検査対象基板のデータを液晶モニタに表示し、各表示区画に並列に表示された、基板における実画像と、良品画像とを目視により確認し、当該基板に実装された各部品の実装状態の良否を判断する検査装置が記載されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１５－１８４０４７号公報

【文献】特開２０１３－２０７２９２号公報

【文献】特開２００９－２６７０９９号公報

【文献】特開２００９－２１０５１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記特許文献１－４の全開示内容は、本書に引用をもって繰り込み記載されているものとする。以下の分析は、本発明者によってなされたものである。

【0009】

特許文献１－４の構成では視覚的な検査のみにより異常の有無を判別する。そのため過去に修理依頼が頻発する物品であっても将来発生しうる不良の予測が困難である。

【0010】

これまでの技術では、修理対象品の特定や不良確認は、人の目視や習熟度に依存しているため、見逃しや見誤りのリスクがあり、また品質を一定に保つには創意工夫が急務である状況下にあった。

【0011】

特に微細な不良箇所の確認等は作業者の官能検査で実施されるためその依存度は大きく、もし誤判定が発生した場合には、業務停止等の甚大なシステム障害に繋がる危険性がある。

【0012】

本発明は、作業者の官能検査に頼ることなく、修理対象品の特定や不良箇所を確認することに貢献する検査装置、検査方法、及び検査プログラム等を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の第１の態様に係る検査装置は、検査対象である物品の画像データを取得するための画像データ取得部と、前記画像データを記憶するための、画像データ記憶部と、前記画像データから部品配置構成を取得し、実際に検査可能な物品であるか否か判定する、部品配置取得部と、前記画像データ記憶部で記憶された前記画像データを、あらかじめそれぞれの物品について、見本画像を用いて学習して、得た判定基準を用いて、前記画像データが正常時の画像であるか異常時の画像であるかを判定する画像データ判定部と、前記画像データ判定部で異常が発見された場合には、異常が発見された部位を確定済異常部位として特定する、確定済異常検出部と、前記検査対象である物品の、過去の修理来歴を取得し、前記検査対象である物品に修理来歴があった場合には、修理対象となることが多かった部位を未確定異常部位として特定する、未確定異常検出部と、前記確定済異常部位の修理に必要な部品と、前記未確定異常部位の修理に必要な部品と、に関する情報を修理用部品情報として特定する、修理用部品決定部と、前記確定済異常検出部と、前記未確定異常検出部と、前記修理用部品決定部と、の結果を出力する出力部と、を備えること、を特徴とする。

【0014】

本発明の第２の態様に係る検査方法は、検査対象である物品の画像データを取得するための画像データ取得ステップと、前記画像データを記憶するための、画像データ記憶ステップと、前記画像データから部品配置構成を取得し、実際に検査可能な物品であるか否か判定する、部品配置取得ステップと、前記画像データ記憶ステップで記憶された前記画像データを、あらかじめそれぞれの物品について、見本画像を用いて学習して、得た判定基準を用いて、前記画像データが正常時の画像であるか異常時の画像であるかを判定する画像データ判定ステップと、前記画像データ判定ステップで異常が発見された場合には、異常が発見された部位を確定済異常部位として特定する、確定済異常検出ステップと、前記検査対象である物品の、過去の修理来歴を取得し、前記検査対象である物品に修理来歴があった場合には、修理対象となることが多かった部位を未確定異常部位として特定する、未確定異常検出ステップと、前記確定済異常部位の修理に必要な部品と、前記未確定異常部位の修理に必要な部品と、に関する情報を修理用部品情報として特定する、修理用部品決定ステップと、前記確定済異常検出ステップと、前記未確定異常検出ステップと、前記修理用部品決定ステップと、の結果を出力する出力ステップと、を備えること、を特徴とする。

【0015】

本発明の第３の態様に係る検査プログラムは、検査対象である物品の画像データを取得する処理と、前記画像データを記憶する処理と、前記画像データから部品配置構成を取得し、実際に検査可能な物品であるか否か判定する処理と、前記記憶されたそれぞれの物品についてあらかじめ、見本画像を用いて学習して、得た判定基準を用いて、前記画像データが正常時の画像であるか異常時の画像であるかを判定する処理と、画像データ判定処理で異常が発見された場合には、異常が発見された部位を確定済異常部位として特定する処理と、前記検査対象である物品の、過去の修理来歴を取得し、前記検査対象である物品に修理来歴があった場合には、修理対象となることが多かった部位を未確定異常部位として特定する処理と、前記確定済異常部位の修理に必要な部品と、前記未確定異常部位の修理に必要な部品と、に関する情報を修理用部品情報として特定する処理と、確定済異常検出処理と、未確定異常検出処理と、修理用部品決定処理と、の結果を出力する処理と、をコンピュータに実行させること、を特徴とする。
なお、プログラムは、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）に記録されたプログラム製品として提供することもできる。

【発明の効果】

【0016】

本発明によれば、修理対象品の特定や不良確認を、作業者の官能検査に依存することなく行うことに貢献することができる。そのため、見逃しや見誤りのリスクが低減し、製品の品質を一定に保つことが可能である。

【図面の簡単な説明】

【0017】

【図1】一実施形態に係る検査装置の構成を例示するブロック図である。

【図2】検査装置をサーバで実現した場合のハードウェア構成を例示するブロック図であり、各実施形態に適用可能である。

【図3】本発明の画像データベース部１３５で用いる画像データベースのレコード構成例であり、各実施形態に適用可能である。

【図4】本発明のＳＯＰ（Ｓｔａｎｄａｒｄ Ｏｐｅｒａｔｉｎｇ Ｐｒｏｃｅｄｕｒｅ）データベース部１４５で用いるデータベースのレコード構成例であり、各実施形態に適用可能である。

【図5】本発明の見本画像データベース部１５５で用いるデータベースのレコード構成例であり、各実施形態に適用可能である。

【図6】本発明の修理来歴データベース部１７５で用いるデータベースのレコード構成例であり、各実施形態に適用可能である。

【図7】本発明の部品在庫データベース部１８５で用いるデータベースのレコード構成例であり、各実施形態に適用可能である。

【図8】本発明で、画像データ判定部１５０にデータを渡す前の段階までのフロー図である。

【図9】本発明で、画像データ判定部１５０にデータを渡してから、必要な部品の特定を行う段階までのフロー図である。

【図10】第１の実施形態に係る情報処理装置において、部品を交換する必要がある場合における交換対象部品の在庫状況等を表示し、印刷するフロー図である。

【図11】第２の実施形態に係る情報処理装置において、複数の撮像部１１０を利用する実施形態に係る検査装置の構成を例示するブロック図である。

【発明を実施するための形態】

【0018】

＜第１の実施形態＞
実施形態１に係る検査装置について、図面を参照して概要を説明する。
なお、この概要に付記する図面参照符号は、専ら理解を助けるための例示であり、本発明を図示の態様に限定することを意図するものではない。

【0019】

図１は、一実施形態に係る検査装置１００の構成を例示するブロック図である。

【0020】

図１を参照すると、検査装置１００は、撮像部１１０、画像データ取得部１２０、画像データ記憶部１３０、画像データベース部１３５、部品配置取得部１４０、ＳＯＰデータベース部１４５、画像データ判定部１５０、見本画像データベース部１５５、確定済異常検出部１６０、未確定異常検出部１７０、修理来歴データベース部１７５、修理用部品決定部１８０、部品在庫データベース部１８５、出力部１９０、を備えている。

【0021】

図１を参照すると、画像データ取得部１２０には、撮像部１１０としてカメラを接続可能である。当該カメラはレンズやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等のセンサを備える画像取得装置であり、静止画像で画像を取得しても、動画像で画像を取得しても良い。動画像で取得する場合には、当該動画像から、特定の瞬間の画像を画像データ取得部１２０により切り出して、その瞬間の画像を目的の静止画像として取得する。得られた静止画像は画像データ記憶部１３０で記憶する。

【0022】

画像データ記憶部１３０には、画像データベース部１３５が接続されており、画像データ取得部１２０から得られた画像を、対象となる物品あるいは基板などを特定する識別符号とともに記憶する。その後、当該識別符号を部品配置取得部１４０に渡す。

【0023】

画像データベース部１３５は、画像データ記憶部１３０で記憶した画像データを当該画像データを特定する識別符号とともに、すべて記憶するデータベースである。当該データベースにおける画像データの実体は、当該データベースのフィールドデータ内に直接登録する形式でも良いし、当該データベース外部のＯＳが管理する領域に登録し、当該データベースのフィールドデータ内には当該画像データの実体を示すファイル名あるいはリンクとして登録する形式でも良い。これは他のデータベースにおいても同様である。

【0024】

部品配置取得部１４０は、当該識別符号を用いて画像データベース部１３５に接続して対象物品の画像データを取得する。物品ごとに搭載される部品の位置を示す部品配置図、及び物品を識別するために物品毎に記載される識別符号、を含むＳＯＰデータベース部１４５と、取得した当該画像データを用いて、部品配置等が正当な物品であるか否かを判定する。部品配置、あるいは物品の識別符号が不正な物品であり判定できないと判定した場合、所定の通知等の対策を行う。例えばこの場合、受付者にそのメッセージを付けて物品を返却する等の、検査対象から、当該物品を除外する処理を行うことができる。部品配置が正当であり判定できると判定した場合、処理を継続し、画像データ判定部１５０に渡す。

【0025】

ＳＯＰデータベース部１４５は検査対象となる物品における部品配置に関するデータベースである。

【0026】

画像データ判定部１５０は、見本画像データベース部１５５と画像データと、を参照して、部品の状態異常や、過去の修理でのミス或いは利用者による不正な改造などの結果として設置された本来あるべきでない部品が存在するか否かに関する判定を行う。

【0027】

見本画像データベース部１５５は、検査対象となる物品の、正常時の画像を記憶するデータベースである。ただし、正常時の画像だけでなく異常時の画像も記憶しても良い。

【0028】

確定済異常検出部１６０は、画像データ判定部１５０による判定結果と、部品配置図とから、外見上の異常が発生している部位について情報を取得する。

【0029】

未確定異常検出部１７０は、物品の画像から修理来歴データベース部１７５を用いて当該物品の修理来歴を参照し、当該物品で過去に発生したことのある異常に関する情報を、取得する。

【0030】

修理来歴データベース部１７５は、検査対象である物品における過去の修理来歴に関するデータベースである。同一の製造番号の物品だけでなく、同一品種の物品に関する修理来歴に関する情報も蓄積し、当該物品ではどのような状況が修理対象物品として持ち込まれることが多かったか、あるいは過去にどの部品がどの程度の頻度で交換されたかに関する情報を得られる。

【0031】

修理用部品決定部１８０は、確定済異常検出部１６０と、未確定異常検出部１７０との結果から、次のステップである解析工程で交換が必要となる可能性のある部品を決定する。この際に部品在庫データベース部１８５を参照し、在庫がない、あるいは不足している部品を必要とする場合には、当該部品の発注処理も行う。

【0032】

部品在庫データベース部１８５は、検査対象である物品に関するすべての部品の在庫がどれだけあるかを記憶するデータベースである。

【0033】

出力部１９０は、物品に関する確定済異常検出部１６０による確定済である異常に関する情報と、未確定異常検出部１７０による未確定である異常に関する情報と、修理用部品決定部１８０による必要となる可能性のある部品に関する情報とを出力し、処理終了後伝票として当該物品に添付し、次のステップである解析工程に渡す。
実際の出力は、プリンタ（図示せず）を用いて当該物品に添付する処理終了後伝票を出力する。付随して、モニタ（図示せず）を用いて担当者に提示しても良い。

【0034】

図２は、検査装置サーバ２００のハードウェア構成の一例を示すブロック図である。検査装置サーバ２００は、所謂、コンピュータ（情報処理装置）により構成可能であり、図２に例示する構成を備える。例えば、検査装置サーバ２００は、内部バスにより相互に接続される、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０、メモリ２２０、入出力インターフェース２３０、及び通信インターフェースであるＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）２４０等を備える。
この検査装置サーバ２００の、入出力インターフェース２３０に、カメラなどの撮像部１１０を接続することにより、検査装置１００を構成可能である。

【0035】

ただし、図２に示す構成は、検査装置サーバ２００のハードウェア構成を限定する趣旨ではない。検査装置サーバは、図示しないハードウェアを含んでもよい。また、検査装置サーバ２００に含まれるＣＰＵ２１０等の数も図２の例示に限定する趣旨ではなく、例えば、複数のＣＰＵ２１０が検査装置サーバ２００に含まれていてもよい。

【0036】

メモリ２２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスクなどの補助記憶装置である。

【0037】

入出力インターフェース２３０は、図示しない表示装置や入力装置のインターフェースである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えばカメラの画像や、キーボードやマウスなどのユーザ操作を受け付ける装置や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の外部記憶装置から情報を入力する装置である。

【0038】

検査装置サーバ２００の機能は、後述する処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ２２０に格納されたプログラムをＣＰＵ２１０が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新できる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。すなわち、上記処理モジュールが行う機能は、何らかのハードウェア及びソフトウェアの少なくともいずれかにより実現できれば良い。

【0039】

また、コンピュータの記憶部に、上記したコンピュータプログラムをインストールすることにより、コンピュータを検査装置サーバとして機能させることができる。さらにまた、上記したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより検査方法を実行することができる。

【0040】

［動作］
次に、本実施形態の検査装置１００の動作について、図３乃至図７が示す各データベースにおけるレコード構成の図と、図８乃至図１０が示す処理のフロー図に付された処理の順番を示すステップ番号を参照して説明する。

【0041】

ステップ：Ｓ０１
撮像部１１０は対象となる物品を撮像する。

【0042】

ステップ：Ｓ０２
撮像部１１０で撮像したデータ（以下、画像データと記す）は画像データ取得部１２０が取得する。画像データ取得部１２０は、当該画像データが動画像であった場合には適切なアングルを決定し、静止画像（１以上、必要に応じ、一連の静止画像セット）に変換する。得られた静止画像は画像データ記憶部１３０が取得する。

【0043】

ステップ：Ｓ０３
画像データ記憶部１３０は、得られた画像データを画像データベース部１３５に記憶する。物品の識別符号を物品の画像もしくは処理開始前伝票から取得し、識別符号と実際の画像データとを対応させて記憶する。画像データベース部１３５の画像データベースは、例えば図３が示すレコード構成になっている。
記憶処理が完了した場合、画像データ記憶部１３０はその旨を部品配置取得部１４０に通知する。

【0044】

ステップ：Ｓ０４
部品配置取得部１４０は画像データベース部１３５への記憶処理が完了した旨の通知を受けると、当該画像データベース部１３５に接続し、画像データを読み出して画像データと、画像データに記載の物品自体の識別符号を取得する。またＳＯＰデータベース部１４５にも接続し、対象物品の識別符号を用いて対象物品の部品配置図を読み出す。
ＳＯＰデータベース部１４５のＳＯＰデータベースは、例えば図４が示すレコード構成になっている。

【0045】

ステップ：Ｓ０５（比較）
部品配置取得部１４０は、識別符号に対応する物品の部品配置図と、現在検査の対象となっている物品の部品配置図あるいは識別符号とで相違があるか判定する。

【0046】

ステップ：Ｓ０６（比較→相違あり）
相違があると判断した場合には、修理対象から除外し（一例として修理依頼元へ返却し）、処理を終了する。これにより、対象物品が修理対象であるか否かを判断する。一致すると判断した場合には次のステップに進み、処理を継続する。
このステップで相違があると判定された場合には、受付担当者に対して、当該対象物品の識別符号あるいは部品が一致しておらず修理不可であることを示すために、出力部１９０を介して、判断結果をモニタに表示させることができる。

【0047】

ステップ：Ｓ０７（比較→相違なし）
配置図および部品が一致していると判断した場合、画像データ判定部１５０は、部品配置取得部１４０から、画像データを取得する。

【0048】

ステップ：Ｓ０８
画像データ判定部１５０は、画像データを入力として機械学習により、形状異常や変色、汚れ及び異部品などの異常箇所があるか否かを判断する。異常箇所があると判断した場合には、次のステップＳ０９へ進み、異常箇所がないと判断した場合には、次のステップＳ０９を省略してステップＳ１０へ進む。

【0049】

ステップ：Ｓ０９（機械学習判定で異常箇所あり）
異常箇所があると判断した場合、確定済異常検出部１６０は、ＳＯＰデータベース部１４５に接続し、異常箇所と判断された位置に搭載されている部品の、部品名や位置等部品に関する情報を取得し、出力部１９０に送り、例えばモニタに表示させることができる。これにより、交換対象となる個々の部品を明確にできるため、受付担当者は次工程へ円滑に当該物品に関する情報を引き渡すことができる。部品によっては解析不可の場合も存在するが、その場合には解析工程を省略する。つまり、予め異常と判断された部品を特定できれば、次にどの工程へ進むべきかを的確に判断できる。

【0050】

ステップ：Ｓ１０（機械学習判定で異常箇所なし）
「ステップ：Ｓ０８」で異常箇所がないと判断した後、もしくは「ステップ：Ｓ０９」で部品に関する情報を出力部１９０に送った後、未確定異常検出部１７０は修理来歴データベース部１７５に接続する。未確定異常検出部１７０は、修理来歴データベース部１７５から同種物品で過去に交換対象となった部品に関する情報として、部品名や位置などの情報と、所定の条件とを照合し、条件に適合する部品に関する情報を出力部１９０に送る。所定の条件とは、例えば「交換対象となった件数の出現頻度歴（例えば上位１０件）」あるいは「過去に発生した症状の原因となりえた部品（例えば上位１０件）」などである。その結果、受付担当者はモニタを介して、交換部品に関する情報を確認できる。
修理来歴データベース部１７５の修理来歴データベースは、例えば図６が示すレコード構成になっている。

【0051】

ステップ：Ｓ１１
さらに未確定異常検出部１７０は、修理来歴データベース部１７５から同種物品で過去に発生した障害の原因に関する情報と、所定の条件とを照合し、条件に適合する情報を出力部１９０に送る。所定の条件とは、例えば「過去に発生した部品交換原因の頻度歴（例えば上位１０件）」などである。その結果受付担当者はモニタを介して、障害内容に関する情報を確認できる。
なお、「ステップ：Ｓ１０」と「ステップ：Ｓ１１」は逆の手順であっても良い。

【0052】

ステップ：Ｓ１２
未確定異常検出部１７０は、画像を修理用部品決定部１８０に送る。修理用部品決定部１８０は、部品在庫データベース部１８５に接続し、「ステップ：Ｓ１０」で抽出した情報に対応する、部品の在庫情報を取得し、取得した情報を出力部１９０に送る。受付担当者はモニタを介して該当部品の在庫を確認でき、在庫がなければ部品発注を行う。この時該当部品がいつ届くかも合わせて確認できる。
部品在庫データベース部１８５の部品在庫データベースは、例えば図７が示すレコード構成になっている。

【0053】

ステップ：Ｓ１３
出力部１９０は、確定済異常検出部１６０から送られてきた、異常箇所とその部品に関する情報、未確定異常検出部１７０から送られてきた、交換することの多い部品や障害となることが多い要因、修理用部品決定部１８０から送られてきた、修理用部品に関する情報を、プリンタに出力する。プリンタにより印刷された書類は対象物品に添付され、受付担当者は添付された書類に基づいて工程振り分け先を選定する。

【0054】

「ステップ：Ｓ０８」において、検査対象である物品に異常があるか否かに関する判定は、機械学習を用いて行う。

【0055】

学習時には、それぞれの物品について、少なくとも、新品状態での画像データを見本画像データベース部１５５から抽出した画像を用いる。新品状態での画像データの他にも、劣化はあるが程度が軽微であり交換の必要がない状態、明らかに異常である状態、劣化とまではいかなくとも重篤であり、部品交換の必要がある状態、などについても画像データを用意して学習するのが望ましい。
学習の際にはそれぞれの画像について正常状態の画像であるか異常状態の画像であるかを指定しつつ行うが、この判定結果を見本画像データベース自体に取り込むことで学習を自動的に行うようにしても良い。
学習時には本発明の装置のうち、画像データ判定部１５０と見本画像データベース部１５５のみを用いる。見本画像データベース部１５５における見本画像データベースの構成例を図５に示す。

【0056】

学習時及び判定時では、入力として、例えば以下のようなデータを用いることができる。（１）「判定対象画像と見本となる基準画像との差分が所定の範囲を越えた部分の座標、及び原画像からその周辺（例えば１００ピクセル四方）を切り出した部分画像」（１’）「特に注意して見るべき箇所がある場合には、現画像からその箇所を中心とした範囲（例えば１００ピクセル四方）を切り出した部分画像」（２）「各ピクセルを所定の明度を閾値として二値化した画像」（３）「画像から輪郭を抽出し、二値化した画像」（４）「画像全体を複数のブロックに（例えば２０×２０の大きなブロックに）分割し、それぞれのブロックを構成するピクセルのＲＧＢ値それぞれの平均値を当該ブロックの代表値とした、代表値の行列」。
（１）および（１’）を用いた場合には、基準画像と大きく異なる部分あるいは特に着目すべき箇所を中心にして詳細を分析することが容易であり、（２）を用いた場合には、どの部分で変色が発生しているか、色の変化を中心に分析することが容易であり、（３）を用いた場合には、部品などの脱落あるいや異物の存在などを分析することが容易であり、（４）を用いた場合には、全体の中でどの部分に異常があるか、あたりをつけることが容易になる。
この例示は入力として用いる画像の種類を限定するものではなく、同時に複数の種類を入力として用いても構わない。

【0057】

本実施形態によれば、修理対象品の特定や不良確認を、人の目視や習熟度に依存する必要がなくなる。さらに当該修理対象品の過去における修理来歴を参照して、将来発生する可能性のある不良の予測も可能となる。そのため、見逃しや見誤りのリスクが低減し、製品の品質を一定に保つことが可能である。

【0058】

＜第２の実施形態＞
単独の視点による画像では、死角に相当する部分での異常発生を判別するのが困難である。そのため図１１で示す構成にして、物品の画像を複数枚用意することで、死角に相当する部分での異常発生に対応する。
この場合すべての物品について同じ個数の画像を用意するようにしても良いし、物品によって、いくつの視点の画像を用いるかを変えるようにしても良い。

【0059】

本実施形態により一つの視点の画像で死角に相当する部分での異常が発生した場合でも、他の画像を用いて判定することが可能となるため、見逃しのリスクを最低限に抑えることができる。

【0060】

なお、上記特許文献の全開示内容は、本書に引用をもって繰り込み記載されているものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

【符号の説明】

【0061】

１００ 検査装置
１１０ 撮像部
１１０ａ 撮像部
１１０ｂ 撮像部
１２０ 画像データ取得部
１２０ａ 画像データ取得部
１２０ｂ 画像データ取得部
１３０ 画像データ記憶部
１３５ 画像データベース部
１４０ 部品配置取得部
１４５ ＳＯＰデータベース部
１５０ 画像データ判定部
１５５ 見本画像データベース部
１６０ 確定済異常検出部
１７０ 未確定異常検出部
１７５ 修理来歴データベース部
１８０ 修理用部品決定部
１８５ 部品在庫データベース部
１９０ 出力部
２００ 検査装置サーバ
２１０ ＣＰＵ
２２０ メモリ
２３０ 入出力インターフェース
２４０ ＮＩＣ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】