知財求人 - 知財ポータルサイト「IP Force」
特開2024-130933外観検査支援方法、外観検査支援システムおよびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130933
(43)【公開日】2024-09-30
(54)【発明の名称】外観検査支援方法、外観検査支援システムおよびプログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20240920BHJP
【ＦＩ】
G01N21/88 Z
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023040903
(22)【出願日】2023-03-15
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】井村 康治
(72)【発明者】
【氏名】堀内 孝治
(72)【発明者】
【氏名】濱田 匡夫
(72)【発明者】
【氏名】平澤 園子
【テーマコード（参考）】
2G051
【Ｆターム（参考）】
2G051AA07
2G051AA89
2G051AB07
2G051AC15
2G051BA20
2G051BC04
2G051CA03
2G051CA04
2G051CA06
2G051CB01
2G051CD02
(57)【要約】
【課題】検出が困難な異常を検出可能な条件を収集する。
【解決手段】外観検査支援方法は、対象物の表面に存在する欠陥である異常を撮影するカメラと対象物に対して照明光を照射する照明とを第１位置に移動させる第１のステップと、カメラの対象物に対する撮影角度を設定し、対象物に対する照明光の照射角度を設定し、カメラで撮影した対象物の撮影画像を画像処理し、画像処理した結果から異常を検出したか否かを判定する第２のステップと、第２のステップで異常を検出したと判定した場合、異常を検出した際のカメラおよび照明の位置、撮影角度および照射角度をデータベースに登録する第３のステップと、を備える。
【選択図】図１
【解決手段】外観検査支援方法は、対象物の表面に存在する欠陥である異常を撮影するカメラと対象物に対して照明光を照射する照明とを第１位置に移動させる第１のステップと、カメラの対象物に対する撮影角度を設定し、対象物に対する照明光の照射角度を設定し、カメラで撮影した対象物の撮影画像を画像処理し、画像処理した結果から異常を検出したか否かを判定する第２のステップと、第２のステップで異常を検出したと判定した場合、異常を検出した際のカメラおよび照明の位置、撮影角度および照射角度をデータベースに登録する第３のステップと、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象物の表面に存在する欠陥である異常を撮影するカメラと前記対象物に対して照明光を照射する照明とを第１位置に移動させる第１のステップと、
前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定し、前記カメラで撮影した前記対象物の撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する第２のステップと、
前記第２のステップで前記異常を検出したと判定した場合、前記異常を検出した際の前記カメラおよび前記照明の位置、前記撮影角度および前記照射角度をデータベースに登録する第３のステップと、を備える、
外観検査支援方法。
前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定し、前記カメラで撮影した前記対象物の撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する第２のステップと、
前記第２のステップで前記異常を検出したと判定した場合、前記異常を検出した際の前記カメラおよび前記照明の位置、前記撮影角度および前記照射角度をデータベースに登録する第３のステップと、を備える、
外観検査支援方法。
【請求項2】
前記第２のステップで前記異常を検出していないと判定した場合、前記カメラと前記照明とを前記第１位置とは異なる第２位置に移動し、前記第２のステップを実行する、
請求項１に記載の外観検査支援方法。
請求項１に記載の外観検査支援方法。
【請求項3】
前記第１のステップにおいて前記カメラと前記照明との移動する位置に関する移動点リストを取得し、前記移動点リストに含まれる全ての位置に対して前記第２のステップおよび前記第３のステップを実行する、
請求項１に記載の外観検査支援方法。
請求項１に記載の外観検査支援方法。
【請求項4】
前記第３のステップにおいて、前記撮影画像、前記対象物の属性情報、前記異常の種類または前記異常の大きさをさらにデータベースに登録する、
請求項１に記載の外観検査支援方法。
請求項１に記載の外観検査支援方法。
【請求項5】
前記第２のステップは、前記カメラのズーム倍率を設定し、前記照明の照明光の強度を設定するステップをさらに含む、
請求項１に記載の外観検査支援方法。
請求項１に記載の外観検査支援方法。
【請求項6】
入力された検索条件に基づき前記データベースに登録されている異常の情報を検索し、検索された異常の情報を表示デバイスに表示する第４のステップを、さらに備える、
請求項４に記載の外観検査支援方法。
請求項４に記載の外観検査支援方法。
【請求項7】
前記異常の情報は、前記カメラの位置、前記照明の位置、前記撮影角度、前記照射角度、前記対象物の属性情報、前記異常の種類または前記異常の大きさである、
請求項６に記載の外観検査支援方法。
請求項６に記載の外観検査支援方法。
【請求項8】
前記第４のステップにおいて、前記異常の情報を基に前記対象物に対する前記照明の位置および角度と、前記対象物を見る人物の目の位置および角度との情報を含む模式図を生成し、前記模式図を前記表示デバイスに表示する、
請求項６に記載の外観検査支援方法。
請求項６に記載の外観検査支援方法。
【請求項9】
前記第４のステップにおいて、前記異常の情報のリストと、前記模式図と、前記撮影画像と、を含む表示画面を生成し、前記表示デバイスに表示する、
請求項８に記載の外観検査支援方法。
請求項８に記載の外観検査支援方法。
【請求項10】
入力された検索条件に基づき前記データベースから前記検索条件に適合する前記カメラの撮影条件および前記照明の照明条件を検索し、前記撮影条件および前記照明条件の下で撮影した撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する第５のステップを、さらに備える、
請求項１に記載の外観検査支援方法。
請求項１に記載の外観検査支援方法。
【請求項11】
対象物の表面に存在する欠陥である異常を撮影するカメラと前記対象物に対して照明光を照射する照明とを第１位置に移動させる駆動制御部と、
前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定するカメラ照明制御部と、
前記対象物を撮影した撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する画像処理部と、
前記画像処理部が前記異常を検出したと判定した場合、前記異常を検出した際の前記カメラおよび前記照明の位置、前記撮影角度および前記照射角度を登録するデータベースと、を備える、
外観検査支援システム。
前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定するカメラ照明制御部と、
前記対象物を撮影した撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する画像処理部と、
前記画像処理部が前記異常を検出したと判定した場合、前記異常を検出した際の前記カメラおよび前記照明の位置、前記撮影角度および前記照射角度を登録するデータベースと、を備える、
外観検査支援システム。
【請求項12】
対象物の表面に存在する欠陥である異常を撮影するカメラと前記対象物に対して照明光を照射する照明とを第１位置に移動させる処理と、
前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定する処理と、
前記対象物を撮影した撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する処理と、
前記異常を検出したと判定した場合、前記異常を検出した際の前記カメラおよび前記照明の位置、前記撮影角度および前記照射角度をデータベースに登録する処理と、をコンピュータに実行させる、
プログラム。
前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定する処理と、
前記対象物を撮影した撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する処理と、
前記異常を検出したと判定した場合、前記異常を検出した際の前記カメラおよび前記照明の位置、前記撮影角度および前記照射角度をデータベースに登録する処理と、をコンピュータに実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、外観検査支援方法、外観検査支援システムおよびプログラムに関する。
【背景技術】
【0002】
特許文献１には、検査対象となる車両の車体側面部である塗装面をカメラで撮影し、主制御装置の傷検出部での画像処理により傷候補を抽出する検査装置が開示されている。検査装置は、傷検出部では画像解析により抽出した傷候補の明度の標準偏差分布と傷候補の総数および傷候補の形状変動率を個別パラメータとしてそれぞれ求めた上で、それらの個別パラメータを加算した評価パラメータとしてサポートベクターマシンを用いた傷の類似度を求める。また、検査装置は、この傷の類似度が判定しきい値よりも大きいときに傷候補を傷と判定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－１８４１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、製造された車等において、外観（例えば、塗装面）に傷または凹み等の異常がないか調べる検査が検査者等の人物の目視で行われる。
【0005】
特許文献１では、塗装面のうち照明を用いて照明光の照射部分をカメラで撮影し、撮影画像を解析することで傷を検出する。しかしながら、非常に微細な傷または凹み（例えば、マイクロメートルオーダの大きさ）等の異常は、検査対象物に対する照明の角度とカメラの角度とが適切な状態にならないと検出できないため、カメラ等の機械を用いて自動で全て検出するのは難しい。一方、人物による目視の検査においても、非常に微細な傷または凹み等は検査対象物に当てる照明の角度と見る角度とが適切でないと確認できないため、経験を積んだ技能レベルの高い熟練した人物でないと十分に検査が行えないという課題がある。また、数センチメートルオーダの比較的大きい異常であっても、例えば、浅い傷である場合等、機械での検出および目視での確認が難しい場合がある。
【0006】
このように、異常の検出方法は、人物の経験に依存するため、照明の角度および検査対象を見る角度のパラメータを定量化するのが難しいという課題がある。
【0007】
本開示は、上述した従来の状況に鑑みて案出され、検出が困難な異常を検出可能な条件を収集することを目的とする。
【課題を解決するための手段】
【0008】
本開示は、対象物の表面に存在する欠陥である異常を撮影するカメラと前記対象物に対して照明光を照射する照明とを第１位置に移動させる第１のステップと、前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定し、前記カメラで撮影した前記対象物の撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する第２のステップと、前記第２のステップで前記異常を検出したと判定した場合、前記第１位置、前記撮影角度および前記照射角度をデータベースに登録する第３のステップと、を備える、外観検査支援方法を提供する。
【0009】
また、本開示は、対象物の表面に存在する欠陥である異常を撮影するカメラと前記対象物に対して照明光を照射する照明とを第１位置に移動させる駆動制御部と、前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定するカメラ照明制御部と、前記対象物を撮影した撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する画像処理部と、前記画像処理部が前記異常を検出したと判定した場合、前記第１位置、前記撮影角度および前記照射角度を登録するデータベースと、を備える、外観検査支援システムを提供する。
【0010】
また、本開示は、対象物の表面に存在する欠陥である異常を撮影するカメラと前記対象物に対して照明光を照射する照明とを第１位置に移動させる処理と、前記カメラの前記対象物に対する撮影角度を設定し、前記対象物に対する照明光の照射角度を設定する処理と、前記対象物を撮影した撮影画像を画像処理し、画像処理した結果から前記異常を検出したか否かを判定する処理と、前記異常を検出したと判定した場合、前記第１位置、前記撮影角度および前記照射角度をデータベースに登録する処理と、をコンピュータに実行させる、プログラムを提供する。
【0011】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0012】
本開示によれば、検出が困難な異常を検出可能な条件を収集することができる。
【図面の簡単な説明】
【0013】
【図1】実施の形態１の外観検査支援システム構成図
【図2】移動点リストの一例を示す図
【図3】異常の検出およびデータベースへの登録処理のフローチャート
【図4】実施の形態２の外観検査支援システムのシステム構成図
【図5】表示画面の一例を示す図
【図6】実施の形態３の外観検査支援システムのシステム構成図
【図7】検査対象物を検査する処理のフローチャート
【図8】検査対象物の外観全体を検査する処理のフローチャート
【発明を実施するための形態】
【0014】
以下、図面を適宜参照して、本開示に係る外観検査支援方法、外観検査支援システムおよびプログラムを具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
【0015】
従来、製造された物品において、外観に傷または凹み等の異常に関する検査が行われる。ここで、物品は、例えば、車、溶接、金属部品または化粧品等の商品である。外観検査は、カメラおよび照明を用いて自動で検出を行う場合、小さな異常（数ミリメートルもしくは数マイクロメートルの大きさの傷等）はカメラおよび照明の角度の条件が適切でないと検出できないため、全てを自動で検出するのが難しいという課題がある。また、異常が数センチメートル以上の大きさのあるものであったとしても、傷が浅い等の理由で検出するのが難しい場合もある。
【0016】
上述した理由から、外観検査では最終的に検査者の目視によって行われる。しかしながら、目視による外観検査（以下、目視検査と称する）においても見る角度と物品に当てる光の角度とが傷に対して適切な角度とならないとみることができず、経験のある熟練者でないと異常の発見が難しい。さらに、目視検査では、検査者の経験で得た直感に依存するところが大きく、目視検査を他者に教え新たな検査者を教育するのが難しいという課題がある。このような状況から、熟練した検査者が目視で発見した、通常発見が困難な異常を検出可能な条件（カメラの撮影条件および照明条件）をデータベース化したいというニーズがある。
【0017】
（実施の形態１）
まず、実施の形態１では、熟練した検査者が目視で発見した確認が困難な異常を検出可能な条件を収集しデータベースに登録する方法について説明する。
まず、実施の形態１では、熟練した検査者が目視で発見した確認が困難な異常を検出可能な条件を収集しデータベースに登録する方法について説明する。
【0018】
【0019】
外観検査支援システム１は、検出装置１０、駆動・登録装置２０およびデータベースＤＢを含む。外観検査支援システム１は、検出装置１０でワークＷＫを撮影し、ワークＷＫに含まれる異常ＳＣをデータベースＤＢに登録する。
【0020】
検出装置１０は、ワークＷＫを撮影する装置である。検出装置１０は、カメラ１１、照明１２、駆動装置１３，１４およびレール１５，１６を含む。
【0021】
カメラ１１は、ワークＷＫを撮影する。カメラ１１は、レール１５を移動する駆動装置１３に取付けられる。カメラ１１は、駆動装置１３によってレール１５を移動することでワークＷＫを様々な位置から撮影することができる。カメラ１１は、チルト機構を有しワークＷＫに対してチルト回転自在であってもよいし、パン機構を有しワークＷＫに対しパン回転自在であってもよい。カメラ１１は、少なくとも光学素子としてのレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。レンズは、カメラ１１の撮影した領域の画角内からの対象物により反射された光を入射してイメージセンサの受光面（言い換えると、撮影面）に対象物の光学像を結像する。イメージセンサは、例えばＣｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（以下、「ＣＣＤ」と称する）あるいはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（以下、「ＣＭＯＳ」と称する）などの固体撮影素子である。イメージセンサは、所定時間（例えば１／３０（秒））ごとに、レンズを介して撮影面に結像した光学像を電気信号に変換する。例えば、所定時間が１／３０（秒）である場合、カメラ１１のフレームレートは３０ｆｐｓとなる。また、カメラ１１は、上述した所定時間ごとに、電気信号に所定の信号処理を施すことで画像データ（映像データ）を生成してもよい。カメラ１１は、画像データ（映像データ）を通信Ｉ／Ｆ２２を介して画像処理部２１４に出力する。なお、カメラ１１は画像データと映像データとのどちらを画像処理部２１４に出力してもよいが、説明の便宜上画像データを出力することとし、以下、撮影画像と称する。
【0022】
カメラ１１は、例えば、ズームレンズまたはフォーカスレンズ等の複数のレンズ（不図示）を有しワークＷＫに対するピント（フォーカス）調整およびワークＷＫの倍率（ズーム倍率）調整を行うことが可能である。
【0023】
照明１２は、ワークＷＫに照明光を照射する。照明１２は、例えば、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（以下、「ＬＥＤ」と称する）ライトまたは白色ランプ等である。照明１２は、レール１６を移動する駆動装置１４に取付けられる。照明１２は、駆動装置１４によってレール１６を移動することでワークＷＫを様々な位置から照らすことができる。照明１２は、チルト機構を有しワークＷＫに対してチルト回転自在であってもよいし、パン機構を有しワークＷＫに対しパン回転自在であってもよい。
【0024】
駆動装置１３は、カメラ１１が接続されレール１５内を移動する装置である。駆動装置１４は、照明１２が接続されレール１６内を移動する装置である。駆動装置１３，１４は、例えば、アクチュエータである。駆動装置１３は、駆動制御部２１１から通信Ｉ／Ｆ２２を介して受信した信号に基づきレール１５内を移動する。駆動装置１４は、駆動制御部２１２から通信Ｉ／Ｆ２２を介して受信した信号に基づきレール１６内を移動する。
【0025】
レール１５，１６は例えば２次元平面内における格子形状、直線形状、略円形状またはそれらを組合せた任意の形状のレールである。また、レール１５，１６は、カメラ１１および照明１２が３次元空間内を移動できるよう、井桁形状またはドーム形状であってもよい。
【0026】
駆動・登録装置２０は、検出装置１０から取得した撮影画像を解析し異常ＳＣの情報をデータベースＤＢに登録する装置である。駆動・登録装置２０は、プロセッサ２１、通信Ｉ／Ｆ２２、メモリ２３、入力デバイス２４および通信Ｉ／Ｆ２５を含む。
【0027】
プロセッサ２１は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（以下、「ＣＰＵ」と称する）、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（以下、「ＤＳＰ」と称する）、Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（以下、「ＧＰＵ」と称する）もしくはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（以下、「ＦＰＧＡ」と称する）である。プロセッサ２１は、駆動・登録装置２０の全体的な動作を司るコントローラとして機能する。プロセッサ２１は駆動・登録装置２０の各部の動作を統括するための制御処理、駆動・登録装置２０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ２１は、メモリ２３に記憶されたプログラムに従って動作する。プロセッサ２１は、動作時にメモリ２３を使用し、プロセッサ２１が生成または取得したデータをメモリ２３に一時的に保存する。プロセッサ２１は、メモリ２３に記憶されたプログラムおよびデータを用いることで、駆動制御部２１１，２１２、移動指示部２１３、画像処理部２１４、カメラ・照明制御部２１５およびデータベース登録部２１６のそれぞれの機能を実現する。
【0028】
駆動制御部２１１は、移動指示部２１３から受信したカメラ１１のレール１５に対する位置を制御する信号を基に通信Ｉ／Ｆ２２を介して駆動装置１３を制御する。駆動制御部２１２は、移動指示部２１３から受信した照明１２のレール１６に対する位置を制御する信号を基に通信Ｉ／Ｆ２２を介して駆動装置１４を制御する。
【0029】
移動指示部２１３は、メモリ２３に保存されているカメラ１１および照明１２のレール１５，１６内の位置に関する移動点リストＬＩ（図２参照）に基づきカメラ１１の位置に関する制御信号を駆動制御部２１１に出力する。移動指示部２１３は、メモリ２３に保存されている移動点リストＬＩに基づき照明１２の位置に関する制御信号を駆動制御部２１２に出力する。また、移動指示部２１３は、画像処理部２１４が解析した画像（以下、解析画像と称する）および撮影時刻等の情報をデータベース登録部２１６に出力する際、カメラ１１および照明１２の位置の情報をデータベース登録部２１６に出力する。
【0030】
画像処理部２１４は、カメラ１１から受信した撮影画像の解析処理を行いワークＷＫに存在する異常ＳＣを検出する。画像処理部２１４は、例えば、ノイズの除去と二値化処理を用いて撮影画像を処理し、ブロブ解析をすることで解析画像内の異常ＳＣの有無および異常ＳＣの大きさと形状とを特定する。また、画像処理部２１４は、エッジ検出処理を用いて解析画像内の異常ＳＣの有無および異常ＳＣの大きさと形状とを特定してもよい。また、画像処理部２１４は画像認識等の公知のＡｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（以下、「ＡＩ」と称する）技術を用いて解析画像内の異常ＳＣの有無および異常ＳＣの大きさと形状とを特定してもよい。画像処理部２１４は、解析画像に異常ＳＣがある場合、解析した解析画像および解析結果をデータベース登録部２１６に出力する。解析結果とは、異常ＳＣの大きさ、形状および種類等の情報である。異常ＳＣの種類とは、例えば、傷、凹みまたは汚れ等である。なお、画像処理部２１４は、異常ＳＣが検出できなかった解析画像に関してもデータベース登録部２１６に出力してもよい。また、画像処理部２１４は、解析画像に異常ＳＣがある場合、撮影画像をデータベース登録部２１６に出力してもよいし、解析画像および撮影画像の両方を出力してもよい。
【0031】
カメラ・照明制御部２１５は、カメラ１１および照明１２のワークＷＫに対する角度（つまり、チルト回転およびパン回転）を制御する。また、カメラ・照明制御部２１５は、照明１２の照明光の強さ、カメラ１１のズーム倍率およびピントを制御する。カメラ・照明制御部２１５は、制御信号を通信Ｉ／Ｆ２２を介してカメラ１１および照明１２に出力する。カメラ・照明制御部２１５は、画像処理部２１４が解析画像および撮影時刻等の情報をデータベース登録部２１６に出力する際、カメラ１１および照明１２のワークＷＫに対する角度、照明１２の照明光の強さ、カメラ１１のズーム倍率およびピントの情報をデータベース登録部２１６に出力する。
【0032】
データベース登録部２１６は、移動指示部２１３から受信した情報、画像処理部２１４から受信した情報およびカメラ・照明制御部２１５から受信した情報を紐づけて通信Ｉ／Ｆ２５を介してデータベースＤＢに送信し、データベースＤＢに登録する。
【0033】
通信Ｉ／Ｆ２２は、検出装置１０と駆動・登録装置２０との間で無線または有線で通信を行うインターフェース回路である。ここでＩ／Ｆは、インターフェースのことを表す。検出装置１０と駆動・登録装置２０との通信は、ネットワークを介してもよい。通信Ｉ／Ｆ２２による通信方式は、例えば、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（以下、「ＷＡＮ」と称する）、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（以下、「ＬＴＥ」と称する）、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）または携帯電話用の通信等である。
【0034】
メモリ２３は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（以下、「ＲＡＭ」と称する）とＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（以下、「ＲＯＭ」と称する）とを用いて構成され、駆動・登録装置２０の動作に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えば、駆動・登録装置２０の動作中に使用されるワークメモリである。ＲＯＭは、例えば、駆動・登録装置２０を制御するためのプログラムを予め記憶して保持する。メモリ２３は、入力デバイス２４からプロセッサ２１に入力された移動点リストＬＩを一時的に保存してもよい。
【0035】
入力デバイス２４は、移動点リストＬＩ（図２参照）に関する情報の入力を受け付けるデバイスである。また、入力デバイス２４は、ワークＷＫの属性に関する情報の入力を受け付ける。入力デバイス２４は、例えば、マウス、キーボード、タッチパッド、タッチパネルのうち少なくとも１つを用いて構成され、駆動・登録装置２０を使用するユーザの操作によって入力された情報を取得してプロセッサ２１に出力する。
【0036】
通信Ｉ／Ｆ２５は、駆動・登録装置２０とデータベースＤＢとの間で無線または有線で通信を行うインターフェース回路である。通信Ｉ／Ｆ２５による通信方式は、例えば、ＷＡＮ、ＬＡＮ、ＬＴＥ、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）または携帯電話用の通信等である。なお、通信Ｉ／Ｆ２２と通信Ｉ／Ｆ２５とは１つの通信Ｉ／Ｆで構成されてもよい。
【0037】
データベースＤＢは、通信Ｉ／Ｆ２５を介してデータベース登録部２１６から受信した異常ＳＣに関する情報を登録する。データベースＤＢは、駆動・登録装置２０が異常ＳＣを検出した際の、検出装置１０の情報を異常ＳＣの情報（形状、種類、大きさ等）および解析画像と紐づけて登録する。データベースＤＢは、不揮発性の記憶装置であり、例えば、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓメモリ、光ディスクまたは磁気テープである。なお、データベースＤＢは駆動・登録装置２０に組み込まれてもよく、例えば、不揮発性メモリであってもよい。
【0038】
ワークＷＫは、異常ＳＣを１つ有する対象物である。ワークＷＫに含まれる異常ＳＣは、例えば、熟練した検査者でないと見つけるのが困難な異常（例えば、小さい傷、小さい凹み、浅い傷等）である。ワークＷＫは、異常ＳＣの種類ごとに複数存在する。ワークＷＫは、例えば、位置が決められた所定の台の上に置いて検出装置１０によって撮影される。ワークＷＫは異常ＳＣを含んだ物体であればよくの大きさおよび形状は任意であってよいが、例えば、載置場所に応じて所定の大きさに加工されてもよい。この場合、ワークＷＫは、載置場所に対して一意の場所に置くことができる。ワークＷＫの大きさおよび形状に決まりがなく、様々な大きさおよび形状である場合は、例えば、所定の位置にワークＷＫの中心を合わせてワークＷＫは載置される。これにより、駆動・登録装置２０は、検出した異常ＳＣと、カメラ１１の位置（つまり、レール１５の座標）および照明１２の位置（つまり、レール１６の座標）とを対応させてデータベースＤＢに異常ＳＣの情報を登録することができる。なお、ワークＷＫ内の異常ＳＣの位置は任意の位置であってよいが、高精度な情報によるデータベースＤＢを構築する観点からおよそ真ん中にあることが望まれる。ワークＷＫは、例えば、金属、塗装された金属、プラスティックまたはガラス等である。
【0039】
【0040】
移動点リストＬＩは、カメラ１１と照明１２とのレール１５，１６内の位置を示す表データ等の数値データである。
【0041】
各番号は、カメラ１１のレール１５のＸ座標およびＹ座標の値と、照明１２のレール１６のＸ座標およびＹ座標の値と、の情報を含む。例えば、番号１は、カメラ１１のＸ座標が０、カメラ１１のＹ座標が０、照明１２のＸ座標が０および照明１２のＹ座標が０である。図２に示す例では、単位はセンチメートルである。なお、単位は一例でありセンチメートルに限られない。ここで、カメラ１１のＸＹ座標は、レール１５における座標であり、照明１２のＸＹ座標は、レール１６における座標である。
【0042】
番号２は、カメラ１１のＸ座標が５、カメラ１１のＹ座標が０、照明１２のＸ座標が０および照明１２のＹ座標が０である。つまり、カメラ１１および照明１２を番号１から番号２に移動させると、カメラ１１はＸ座標のみ５［ｃｍ］移動し、照明１２は、移動しない。このように、カメラ１１および照明１２は、各番号の座標に順次移動してワークＷＫを撮影する。
【0043】
なお、移動点リストＬＩは、一例であり、各番号のＸＹ座標の数値、および各番号の数値の変化方法は図２の例に限られない。
【0044】
次に、図３を参照して、異常ＳＣの検出およびデータベースＤＢへの登録処理について説明する。図３は、異常ＳＣの検出およびデータベースＤＢへの登録処理のフローチャートである。図３のフローチャートの各処理は、プロセッサ２１によって実行される。
【0045】
移動指示部２１３は、入力デバイス２４から入力された移動点リストＬＩを取得する（ステップＳｔ１００）。
【0046】
移動指示部２１３は、移動点リストＬＩの番号１（つまり、移動点リストＬＩの最初のデータ）の位置をカメラ１１および照明１２に対する（つまり、レール１５およびレール１６のＸＹ座標）ワークＷＫの初期位置としてメモリ２３に一時的に記録する（ステップＳｔ１０１）。例えば、ワークＷＫが所定の位置に載置される場合、ワークＷＫのおよそ真ん中が初期位置となる。
【0047】
データベース登録部２１６は、入力デバイス２４から入力されたワークＷＫの属性情報をメモリ２３に一時的に登録する（ステップＳｔ１０２）。ワークＷＫの属性情報は、ワークＷＫの種類および異常ＳＣの種類等である。
【0048】
駆動制御部２１１は、移動指示部２１３から移動点リストＬＩの番号１のカメラ１１のＸＹ座標を受信する。駆動制御部２１１は、移動指示部２１３から受信した信号に基づき通信Ｉ／Ｆ２２を介して駆動装置１３にカメラ１１を番号１の位置に移動させる信号を出力しカメラ１１を移動させる。駆動制御部２１２は、移動指示部２１３から移動点リストＬＩの番号１の照明１２のＸＹ座標を受信する。駆動制御部２１２は、移動指示部２１３から受信した信号に基づき通信Ｉ／Ｆ２２を介して駆動装置１４に照明１２を番号１の位置に移動させる信号を出力し照明１２を移動させる（ステップＳｔ１０３）。
【0049】
カメラ・照明制御部２１５は、カメラ１１と照明１２とをチルト回転およびパン回転を組み合わせてワークＷＫに対する向きを補正する（ステップＳｔ１０４）。
【0050】
カメラ・照明制御部２１５は、カメラ１１のズーム倍率と照明１２の照明光の強度を設定し、カメラ１１を制御しワークＷＫを撮影する（ステップＳｔ１０５）。例えば、カメラ・照明制御部２１５は、予め決められたズーム倍率にカメラ１１を適宜変更して、カメラ１１にワークＷＫを撮影させる。例えば、ズーム倍率が、等倍、１．５倍および２倍に決められている場合、カメラ・照明制御部２１５は、カメラ１１のズーム倍率を等倍、１．５倍および２倍に変更しそれぞれのズーム倍率でワークＷＫをカメラ１１に撮影させる。つまり、カメラ・照明制御部２１５は、カメラ１１に３つのズーム倍率で３回撮影させる。また、カメラ・照明制御部２１５は、照明光の強度を予め決められた強度に照明１２を適宜変更してワークＷＫを撮影する。例えば、照明光の強度が、弱、中および強に決められている場合、カメラ・照明制御部２１５は、照明１２の照明光の強度を弱、中および強に変更しそれぞれの照明光の強度においてワークＷＫをカメラ１１に撮影させる。上述した例では、３×３の９枚の撮影画像をカメラ１１は撮影する。なお、カメラ１１のズーム倍率および照明１２の照明光の強度は、一例であり、上述した例に限られない。カメラ１１は、少なくとも１つの撮影画像を通信Ｉ／Ｆ２２を介して画像処理部２１４に出力する。
【0051】
画像処理部２１４は、カメラ１１から受信した撮影画像の画像処理を実施する（ステップＳｔ１０６）。画像処理部２１４は、解析画像を生成する。
【0052】
画像処理部２１４は、解析画像に異常ＳＣに含まれるか否かを判定する（ステップＳｔ１０７）。
【0053】
画像処理部２１４は、解析画像に異常ＳＣが含まれない（つまり、異常ＳＣが検出されなかった）と判定した場合（ステップＳｔ１０７，ＮＯ）、ステップＳｔ１０９の処理を実行する。
【0054】
画像処理部２１４は、解析画像に異常ＳＣが含まれる（つまり、異常ＳＣが検出された）と判定した場合（ステップＳｔ１０７，ＹＥＳ）、異常ＳＣの形状および大きさを解析する。画像処理部２１４は、解析画像と、異常ＳＣの形状および大きさの解析結果をデータベース登録部２１６に出力する。なお、画像処理部２１４は、撮影画像をデータベース登録部２１６に出力してもよいし、撮影画像と解析画像との両方を出力してもよい。また画像処理部２１４は、ステップＳｔ１０５の処理でカメラ１１によって撮影された複数の撮影画像に対する複数の解析画像を全てデータベース登録部２１６に出力してもよいし、異常ＳＣが一番精度よく検出できた解析画像のみをデータベース登録部２１６に出力してもよい。データベース登録部２１６は、ステップＳｔ１０２の処理でメモリ２３に一時的に保存したワークＷＫの属性情報、カメラ１１および照明１２の位置情報および撮影時の情報をデータベースＤＢに通信Ｉ／Ｆ２５を介して出力し登録する（ステップＳｔ１０８）。撮影時の情報とは、撮影画像、解析画像、異常ＳＣの種類、形状および大きさ、撮影時刻等およびワークＷＫに紐づけられた識別情報（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）等である。例えば、ステップＳｔ１０８の処理で、データベース登録部２１６は、ワークＷＫの属性情報として「ＩＤが１、ワークＷＫの種類が金属、異常ＳＣの種類が傷、異常ＳＣの大きさが０．５［ｍｍ］」と、カメラ１１の位置情報として「高さが２０［ｃｍ］、位置（Ｘ，Ｙ）＝（５［ｃｍ］，０［ｃｍ］）、角度（Ｋ，Ｔ）＝（５度，０度）、倍率が等倍」と、照明１２の位置情報として「高さが１５［ｃｍ］、位置（Ｘ，Ｙ）＝（－１５［ｃｍ］，０［ｃｍ］）、角度（Ｋ，Ｔ）＝（４５度，０度）、照度が強」との情報を紐づけてデータベースＤＢに登録する。ここでＫ，Ｔは、一例として、それぞれチルト角、パン角を表す。以下、データベースＤＢに登録される異常ＳＣの情報を異常登録情報と称する。
【0055】
移動指示部２１３は、移動点リストＬＩの全ての移動点（つまり、移動点リストＬＩに含まれる全ての番号）を回った（つまり、カメラ１１と照明１２を全ての移動点に移動させた）か否かを判定する（ステップＳｔ１０９）。
【0056】
データベース登録部２１６は、移動点リストＬＩの全ての移動点を回ったと判定した場合（ステップＳｔ１０９，ＹＥＳ）、処理を終了する。
【0057】
移動指示部２１３は、移動点リストＬＩの全ての移動点を回っていないと判定した場合（ステップＳｔ１０９，ＮＯ）、移動点リストＬＩの次の番号の位置にカメラ１１と照明１２とを移動させる指示を駆動制御部２１１および駆動制御部２１２に出力する。駆動制御部２１１は、移動指示部２１３からの信号に基づき移動点リストＬＩの次の番号の位置にカメラ１１を移動させ、駆動制御部２１２は、移動指示部２１３からの信号に基づき移動点リストＬＩの次の番号の位置に照明１２を移動させる（ステップＳｔ１１０）。プロセッサ２１は、ステップＳｔ１１０の処理の後、ステップＳｔ１０４の処理を実行する。
【0058】
なお、プロセッサ２１は、移動点リストＬＩを用いずベイズ推定等の統計的手法を用いてカメラ１１および照明１２の移動点を計算しながら、カメラ１１および照明１２を移動させてもよい。これにより、駆動・登録装置２０は、移動点リストＬＩを用いて異常ＳＣを検出するよりも少ない回数で検出を完了することができ、効率的に異常ＳＣの情報を収集することができる。
【0059】
また、データベース登録部２１６がデータベースＤＢに登録する情報は、上述した例に限られず異常ＳＣの検出の参考になる情報であればどのような情報でもよい。例えば、ワークＷＫのロット番号、製造番号または製造場所等の情報である。
【0060】
また、カメラ１１は可視光カメラに限られず赤外線カメラであってもよい。また、外観検査支援システム１は、カメラを用いずレーザを用いて異常ＳＣを検出してもよい。この場合、データベース登録部２１６は、赤外線カメラまたはレーザの情報をデータベースＤＢに登録してもよい。例えば、データベース登録部２１６は、異常ＳＣの検出にどの機器（可視光カメラ、赤外線カメラ、レーザ）を用いたかの情報をデータベースＤＢに登録してもよい。
【0061】
また、ワークＷＫに、異常ＳＣの周辺に予めマークをつけ、当該マークを画像処理部２１４が検出し、当該マークのエリア周辺のみを画像処理の対象としてもよい。これにより、外観検査支援システム１は、誤検知を抑制することができ、また処理時間を短縮することができる。
【0062】
これにより、外観検査支援システム１は、熟練した検査者でないと発見が困難な異常ＳＣを検出するための条件を収集しデータベースＤＢを構築することができる。つまり、外観検査支援システム１は、定量的な評価が難しい異常ＳＣの検出方法に関して、異常ＳＣを検出可能なカメラ１１および照明１２の条件等をデータ化しデータベースＤＢを構築することができる。
【0063】
（実施の形態２）
実施の形態２では、実施の形態１の外観検査支援システム１で構築したデータベースＤＢを用いて、目視で発見が難しい異常ＳＣを発見できる人物を育成することを支援する外観検査支援システム２について説明する。なお、実施の形態１と同一の構成に関しては同一符合を付記し説明を省略する。
実施の形態２では、実施の形態１の外観検査支援システム１で構築したデータベースＤＢを用いて、目視で発見が難しい異常ＳＣを発見できる人物を育成することを支援する外観検査支援システム２について説明する。なお、実施の形態１と同一の構成に関しては同一符合を付記し説明を省略する。
【0064】
【0065】
外観検査支援システム２は、検出装置１０、駆動・登録装置２０、データベースＤＢおよび表示装置３０を含む。
【0066】
データベースＤＢは、実施の形態１で説明した通り、検出装置１０および駆動・登録装置２０を用いて収集された目視で発見が難しい異常ＳＣに関する情報を保存したデータベースである。
【0067】
表示装置３０は、データベースＤＢを用いて異常ＳＣを検出できた時の撮影条件等を表示し、訓練中の検査者等に対する目視検査の技能向上を支援する。なお、表示装置３０は、駆動・登録装置２０に組み込まれてもよい。表示装置３０は、通信Ｉ／Ｆ３１、条件入力デバイス３２、プロセッサ３３、表示デバイス３４およびメモリ３５を含む。
【0068】
通信Ｉ／Ｆ３１は、データベースＤＢと表示装置３０との間で無線または有線で通信を行うインターフェース回路である。通信Ｉ／Ｆ３１による通信方式は、例えば、ＷＡＮ、ＬＡＮ、ＬＴＥ、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）または携帯電話用の通信等である。
【0069】
条件入力デバイス３２は、データベースＤＢに保存された複数の異常登録情報の中から所望の情報を検索するための条件（以下、検索条件と称する）の入力を受け付けるデバイスである。条件入力デバイス３２は、検索条件としてワークＷＫの種類または異常ＳＣの種類等の入力を受け付ける。条件入力デバイス３２は、例えば、マウス、キーボード、タッチパッド、タッチパネルのうち少なくとも１つを用いて構成され、表示装置３０を使用するユーザの操作によって受け付けられたデータあるいは情報を取得してプロセッサ３３に出力する。
【0070】
プロセッサ３３は、例えばＣＰＵ、ＤＳＰ、ＧＰＵもしくはＦＰＧＡである。プロセッサ３３は、表示装置３０の全体的な動作を司るコントローラとして機能する。プロセッサ３３は表示装置３０の各部の動作を統括するための制御処理、表示装置３０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ３３は、メモリ３５に記憶されたプログラムに従って動作する。プロセッサ３３は、動作時にメモリ３５を使用し、プロセッサ３３が生成または取得したデータをメモリ３５に一時的に保存する。プロセッサ３３は、メモリ３５に記憶されたプログラムおよびデータを用いることで、検索処理部３３１、画像生成部３３２およびレイアウト生成部３３３のそれぞれの機能を実現する。
【0071】
検索処理部３３１は、条件入力デバイス３２から入力された検索条件に基づきデータベースＤＢに保存された異常登録情報を検索する。検索処理部３３１は、例えば、条件入力デバイス３２から、ワークＷＫの種類として「金属」との検索条件を受信した場合、データベースＤＢから「金属」に該当する異常登録情報を検索し抽出する。また、検索処理部３３１は、条件入力デバイス３２から複数の検索条件を受信した場合は、全ての検索条件を満たす異常登録情報もしくは少なくとも１つの検索条件を満たす異常登録情報をデータベースＤＢの中から検索し抽出する。検索処理部３３１は、検索条件を基に抽出した異常登録情報を画像生成部３３２およびレイアウト生成部３３３に出力する。
【0072】
画像生成部３３２は、検索処理部３３１から受信した異常登録情報に基づき、異常ＳＣを目視可能なワークＷＫに対する目の角度、照明の角度および目と照明との位置関係が直感的にわかる模式図（以下、目視ポイント画像と称する）を生成する。目視ポイント画像の例については図５で説明する。画像生成部３３２は、検索処理部３３１から複数の異常登録情報を受信した場合は、全ての異常登録情報に対する目視ポイント画像を生成する。画像生成部３３２は、作成した目視ポイント画像をレイアウト生成部３３３に出力する。
【0073】
レイアウト生成部３３３は、検索処理部３３１から受信した異常登録情報と、画像生成部３３２から受信した目視ポイント画像とを用いて表示デバイス３４に表示する表示画面を生成する。レイアウト生成部３３３が、生成する表示画面の例は図５で説明する。レイアウト生成部３３３は、検索処理部３３１から複数の異常登録情報を受信した場合は、全ての異常登録情報に関する表示画面を生成する。レイアウト生成部３３３は、複数の表示画面を生成した場合、ユーザ操作に基づき表示画面を切り替え可能であってもよい。この場合、レイアウト生成部３３３は、表示画面を異なる異常登録情報に関する表示画面に切り替え可能な操作ボタンを含む表示画面を生成する。
【0074】
表示デバイス３４は、レイアウト生成部３３３から通信Ｉ／Ｆ３１を介して受信した表示画面を表示する。表示デバイス３４は、例えば、ディスプレイ等である。なお、表示デバイス３４は、タッチパネルディスプレイ等の入力を受け付け可能な表示デバイスであってもよく、その場合、条件入力デバイス３２と一体に構成されてもよい。また、表示デバイス３４は、表示装置３０の外部にあってもよい。例えば、スマートフォン、パーソナルコンピュータ、タブレットまたはディスプレイ等の端末装置が表示装置３０と通信可能に接続され表示デバイスとして用いられてもよい。
【0075】
メモリ３５は、例えばＲＡＭとＲＯＭとを用いて構成され、表示装置３０の動作に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えば、表示装置３０の動作中に使用されるワークメモリである。ＲＯＭは、例えば、表示装置３０を制御するためのプログラムを予め記憶して保持する。メモリ３５は、条件入力デバイス３２に入力される検索条件、検索処理部３３１による異常登録情報の検索結果、画像生成部３３２の生成する目視ポイント画像およびレイアウト生成部３３３による表示画面を一時的に保存する。
【0076】
【0077】
表示画面ＭＮは、レイアウト生成部３３３によって生成され表示デバイス３４に表示される画面の一例である。
【0078】
リストＬＴは、ワークＷＫの種類、異常ＳＣの種類および異常ＳＣの検出パラメータ等をまとめた一覧データである。リストＬＴは、例えば、ワークＷＫの種別、異常ＳＣの種別、異常ＳＣの大きさ、照明１２の高さ、照明１２の位置、照明１２の向き、照明１２の照度、カメラ１１の高さ、カメラ１１の位置および／またはカメラ１１の向き等を含む。ワークＷＫの種別は、どのような材料かに関する情報であり、例えば「金属」である。なお、ワークＷＫの種別は、車の塗装面、溶接箇所またはプラスティックボトル等の用途の情報であってもよい。異常ＳＣの種別は、例えば「表面きず」である。照明１２の照度は、例えば、１００段階で照度を表してもよいし、「強・中・弱」のように表してもよい。なお、リストＬＴに表示する内容は上述した例に限られず、異常ＳＣの登録日時、異常ＳＣのＩＤまたは製造場所等の情報を表示してもよい。
【0079】
模式図ＡＲ１，ＡＲ２は、画像生成部３３２によって生成された目視ポイント画像である。模式図ＡＲ１，ＡＲ２は、ワークＷＫに対する照明ＳＯの位置および角度と、ワークＷＫを見る人物の目ＥＹの位置および角度との情報を含む。ワークＷＫを見る人物の目ＥＹは、異常登録情報に登録されているカメラ１１に対応し、異常ＳＣを検出した際のカメラ１１の撮影方向および位置を、目視ポイント画像において人物の目ＥＹとして表される。例えば、模式図ＡＲ１は、ワークＷＫ面の垂直方向の照明ＳＯの角度が２０度であり、目ＥＹのワークＷＫ面の垂直方向の角度が２２度である。また、模式図ＡＲ２は、照明ＳＯと目ＥＹとがワークＷＫを挟んで対面（つまり、直線状）にある位置関係であることを示す。模式図ＡＲ２は、ワークＷＫ面の平行方向の照明ＳＯの角度が５度であり、目ＥＹのワークＷＫ面の平行方向の角度が５度である。模式図ＡＲ１は、ワークＷＫの異常ＳＣが存在する面を横から見た図である。模式図ＡＲ２は、ワークＷＫの異常が存在する面を上から見た図である。なお、表示画面ＭＮに表示する目視ポイント画像は、横から見た図および上から見た図に限られず、３次元画像でありユーザ操作によって３６０度回転可能な図であってもよい。また、表示画面ＭＮには、模式図ＡＲ１または模式図ＡＲ２の一方のみ表示させてもよく、ユーザ操作によって模式図ＡＲ１または模式図ＡＲ２の２つの画像を切り替え可能であってもよい。また、模式図ＡＲ１，ＡＲ２は、ユーザ操作によって選択されるとポップアップ画面として拡大表示可能であってもよい。これにより、外観検査支援システム２は、目視ポイント画像をユーザに対し表示することで、異常ＳＣを目視確認する際のワークＷＫに対する目の位置および角度と照明光を当てる位置および角度とをユーザが直感的に理解することを支援することができる。
【0080】
画像ＡＲ３は、ワークＷＫの撮影画像または解析画像である。例えば、画像ＡＲ３は、異常ＳＣ部分を拡大した画像である。また、画像ＡＲ３は、異常ＳＣ部分を拡大した画像である場合、ユーザ操作によってワークＷＫ内の位置を変化可能であってもよい。また、画像ＡＲ３は、ユーザ操作によって拡大および縮小可能であってもよい。これにより、外観検査支援システム２は、ユーザが異常ＳＣの状態を表示デバイス３４を通じて事前に確認することで、異常ＳＣを発見容易にすることを支援することができる。また、外観検査支援システム２は、ユーザ操作によって異常ＳＣを表示デバイス３４上で拡大および縮小可能であるため、ユーザが異常ＳＣの形状を容易に確認することを支援することができる。
【0081】
これにより、外観検査支援システム２は、定量的に技能を継承するのが難しかった異常ＳＣの目視検査に関して、データベースＤＢに登録された異常ＳＣを検出するための条件を訓練中の検査者等のユーザに対し表示することで、異常ＳＣを目視確認する技能を向上することを支援することができる。
【0082】
（実施の形態３）
実施の形態３では、実施の形態１の外観検査支援システム１で構築したデータベースＤＢを用いて、検査される対象物（以下、検査対象物と称する）に異常ＳＣが存在するか否かを自動で検査をする外観検査支援システム３について説明する。なお、実施の形態１と同一の構成に関しては同一符合を付記し説明を省略する。
実施の形態３では、実施の形態１の外観検査支援システム１で構築したデータベースＤＢを用いて、検査される対象物（以下、検査対象物と称する）に異常ＳＣが存在するか否かを自動で検査をする外観検査支援システム３について説明する。なお、実施の形態１と同一の構成に関しては同一符合を付記し説明を省略する。
【0083】
【0084】
外観検査支援システム３は、検出装置１０、駆動・登録装置２０、データベースＤＢ、検査装置４０および検査対象物撮影装置５０を含む。
【0085】
データベースＤＢは、実施の形態１で説明した通り、検出装置１０および駆動・登録装置２０を用いて収集された目視で発見が難しい異常ＳＣに関する情報を保存したデータベースである。
【0086】
検査装置４０は、データベースＤＢおよび検査対象物ＯＢを撮影する検査対象物撮影装置５０と通信可能に接続される。検査装置４０は、データベースＤＢに登録された異常登録情報を利用して、検査対象物撮影装置５０から取得した撮影画像を解析し検査対象物ＯＢに異常ＳＣがあるか否かを判定する。検査対象物ＯＢは、例えば、ベルトコンベア上を流れている物体（例えば、部品、金属片または生産品等）である。また、検査対象物ＯＢは、車等の外観全体であってもよい。なお、検査装置４０は、駆動・登録装置２０に組み込まれてもよい。検査装置４０は、通信Ｉ／Ｆ４１、条件入力デバイス４２、プロセッサ４３、通信Ｉ／Ｆ４４、メモリ４５、データベース４６および通知デバイス４７を含む。
【0087】
通信Ｉ／Ｆ４１は、データベースＤＢと検査装置４０との間で無線または有線で通信を行うインターフェース回路である。通信Ｉ／Ｆ４１による通信方式は、例えば、ＷＡＮ、ＬＡＮ、ＬＴＥ、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）または携帯電話用の通信等である。
【0088】
条件入力デバイス４２は、データベースＤＢに保存された複数の異常登録情報の中から検査対象物ＯＢに関する情報を検索するための検索条件の入力を受け付けるデバイスである。例えば、検査対象物ＯＢが車の塗装面の場合、条件入力デバイス４２は、ワークＷＫの種類として金属または車の塗装面が検索条件とし入力される。条件入力デバイス４２は、例えば、マウス、キーボード、タッチパッド、タッチパネルのうち少なくとも１つを用いて構成され、検査装置４０を使用するユーザの操作によって受け付けられたデータあるいは情報を取得してプロセッサ４３に出力する。
【0089】
プロセッサ４３は、例えばＣＰＵ、ＤＳＰ、ＧＰＵもしくはＦＰＧＡである。プロセッサ４３は、検査装置４０の全体的な動作を司るコントローラとして機能する。プロセッサ４３は検査装置４０の各部の動作を統括するための制御処理、検査装置４０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ４３は、メモリ４５に記憶されたプログラムに従って動作する。プロセッサ４３は、動作時にメモリ４５を使用し、プロセッサ４３が生成または取得したデータをメモリ４５に一時的に保存する。プロセッサ４３は、メモリ４５に記憶されたプログラムおよびデータを用いることで、検索処理部４３１、移動指示部４３２、カメラ・照明制御部４３３、駆動制御部４３４，４３５および画像処理部４３６のそれぞれの機能を実現する。
【0090】
検索処理部４３１は、条件入力デバイス４２から入力された検索条件に基づきデータベースＤＢに保存された異常登録情報を検索する。検索処理部４３１は、例えば、条件入力デバイス３２から、ワークＷＫの種類として「金属」との検索条件を受信した場合、データベースＤＢから「金属」に該当する異常登録情報を検索し抽出する。また、検索処理部４３１は、条件入力デバイス４２から複数の検索条件を受信した場合は、全ての検索条件を満たす異常登録情報もしくは少なくとも１つの検索条件を満たす異常登録情報をデータベースＤＢの中から検索し抽出する。検索処理部４３１は、検索条件を基に抽出した異常登録情報を移動指示部４３２およびカメラ・照明制御部４３３に出力する。
【0091】
移動指示部４３２は、検索処理部４３１から受信した異常登録情報に基づく位置にカメラ５５を移動させる指示を駆動制御部４３４に出力する。移動指示部４３２は、検索処理部４３１から受信した異常登録情報に基づく位置に照明５６を移動させる指示を駆動制御部４３５に出力する。また、車等の検査対象物ＯＢ全体を検査する場合、移動指示部４３２は、検査対象物ＯＢに対してカメラ５５および照明５６をどのように動かすかに関するリスト（以下、全移動リストと称する）を用いてカメラ５５および照明５６を移動させる指示を駆動制御部４３４および駆動制御部４３５に出力する。全移動リストは、検査の管理者等のユーザによって予め定められたカメラ５５のレール５１のＸＹ座標および照明５６のレール５２のＸＹ座標の情報のリストである。全移動リストは、例えば、検査対象物ＯＢの表面を所定の大きさの領域に分け、全ての領域に対するカメラ５５および照明５６のＸＹ座標の情報を含む。つまりこの場合、移動指示部４３２は、全移動リストに含まれる各移動点において、異常登録情報に基づきカメラ５５および照明５６の位置を制御する。全移動リストは、例えば、メモリ４５に保存されている。移動指示部４３２は、検査対象物ＯＢに異常が検出された場合、異常が検査対象物ＯＢのどの位置にあるかに関する情報（つまり、全移動リストのどの移動点で異常が検出されたか）をデータベース４６に出力する。
【0092】
カメラ・照明制御部４３３は、検索処理部４３１から受信した異常登録情報に基づきカメラ５５および照明５６の検査対象物ＯＢに対する角度（つまり、チルト回転およびパン回転）を制御する。また、カメラ・照明制御部４３３は、検索処理部４３１から受信した異常登録情報に基づき、照明５６の照明光の強さ、カメラ５５のズーム倍率およびピントを制御する。
【0093】
駆動制御部４３４は、移動指示部４３２から受信した信号に基づき通信Ｉ／Ｆ４４を介して駆動装置５３を制御しカメラ５５を移動させる。駆動制御部４３５は、移動指示部４３２から受信した信号に基づき通信Ｉ／Ｆ４４を介して駆動装置５４を制御し照明５６を移動させる。
【0094】
画像処理部４３６は、カメラ５５が撮影した撮影画像を通信Ｉ／Ｆ４４を介して取得する。画像処理部４３６は、ノイズの除去と二値化処理を用いて撮影画像を処理し、ブロブ解析をすることで異常の有無および異常の大きさと形状とを検知する。また、画像処理部４３６は、エッジ検出処理を用いて撮影画像を解析し、異常の有無および異常の大きさと形状とを検出してもよい。また、画像処理部４３６は、画像認識等の公知のＡＩ技術を用いて解析画像内の異常の有無および異常の大きさと形状とを検出してもよい。画像処理部４３６は、検査対象物ＯＢに異常が検出された場合、移動指示部４３２から出力される異常の位置に関する情報（つまり、異常が検出された際の全移動リストの情報）と撮影画像と異常の情報（例えば、異常の大きさまたは形状等）とを紐づけてデータベース４６に登録する。なお、検査対象物ＯＢがベルトコンベア上を流れている物体（例えば、部品、金属片または生産品等）の場合、画像処理部４３６は、異常を検出した場合、物体のＩＤ等の識別情報と撮影画像とを紐づけてデータベース４６に登録してもよい。
【0095】
通信Ｉ／Ｆ４４は、プロセッサ４３と検査対象物撮影装置５０との間で無線または有線で通信を行うインターフェース回路である。通信Ｉ／Ｆ４４による通信方式は、例えば、ＷＡＮ、ＬＡＮ、ＬＴＥ、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信）または携帯電話用の通信等である。
【0096】
メモリ４５は、例えばＲＡＭとＲＯＭとを用いて構成され、検査装置４０の動作に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えば、検査装置４０の動作中に使用されるワークメモリである。ＲＯＭは、例えば、検査装置４０を制御するためのプログラムを予め記憶して保持する。メモリ４５は、撮影画像、全移動リストおよび検索条件等を一時的に保存してもよい。
【0097】
データベース４６は、移動指示部４３２から受信した全移動リストに関する情報、画像処理部４３６から受信した撮影画像、異常に関する情報および検査対象物ＯＢの識別情報を登録する。つまり、データベース４６は、検査対象物ＯＢの検査結果を保存する。データベース４６は、不揮発性メモリ等である。
【0098】
通知デバイス４７は、検査対象物ＯＢに異常が検出された旨の信号をプロセッサ４３から受信し、ユーザに異常が検出された旨の通知を出力するデバイスである。ここでユーザとは、検査対象物ＯＢを検査している人物または検査対象物ＯＢの管理者等である。通知デバイス４７は、例えば、パトランプ等のランプ、スピーカまたはディスプレイ等である。通知デバイス４７は、例えば、異常が検出された旨の信号をプロセッサ４３が受信した場合、ランプを光らせる、スピーカからアラート音を出力するまたはディスプレイに異常が検出された旨の表示をする。なお、通知デバイス４７は、検査装置４０から省略されてもよいし、検査装置４０と通信可能に接続される端末装置等であってもよい。
【0099】
検査対象物撮影装置５０は、検査対象物ＯＢを撮影する装置である。検査対象物撮影装置５０は、レール５１，５２、駆動装置５３，５４、カメラ５５、照明５６を含む。
【0100】
カメラ５５は、検査対象物を撮影する。カメラ５５は、レール５１を移動する駆動装置５３に取付けられる。カメラ５５は、駆動装置５３によってレール５１を移動することで検査対象物ＯＢを様々な位置から撮影することができる。カメラ５５は、チルト機構を有し検査対象物ＯＢに対してチルト回転自在であってもよいし、パン機構を有し検査対象物ＯＢに対しパン回転自在であってもよい。カメラ５５は、少なくとも光学素子としてのレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。レンズは、カメラ５５の撮影した領域の画角内からの対象物により反射された光を入射してイメージセンサの受光面（言い換えると、撮影面）に対象物の光学像を結像する。イメージセンサは、例えばＣＣＤあるいはＣＭＯＳなどの固体撮影素子である。イメージセンサは、所定時間（例えば１／３０（秒））ごとに、レンズを介して撮影面に結像した光学像を電気信号に変換する。例えば、所定時間が１／３０（秒）である場合、カメラ５５のフレームレートは３０ｆｐｓとなる。また、カメラ５５は、上述した所定時間ごとに、電気信号に所定の信号処理を施すことで撮影画像を生成してもよい。カメラ５５は、撮影画像を通信Ｉ／Ｆ４４を介して画像処理部４３６に出力する。
【0101】
カメラ５５は、例えば、ズームレンズまたはフォーカスレンズ等の複数のレンズ（不図示）を有し検査対象物ＯＢに対するピント（フォーカス）調整および検査対象物ＯＢの倍率（ズーム）調整を行うことが可能である。
【0102】
照明５６は、検査対象物ＯＢに照明光を照射する。照明５６は、例えば、ＬＥＤライトまたは白色ランプ等である。照明５６は、レール５２を移動する駆動装置５４に取付けられる。照明５６は、駆動装置５４によってレール５２を移動することで検査対象物ＯＢを様々な位置から照らすことができる。照明５６は、チルト機構を有し検査対象物ＯＢに対してチルト回転自在であってもよいし、パン機構を有しワークＷＫに対しパン回転自在であってもよい。
【0103】
駆動装置５３は、カメラ５５が接続されレール５１内を移動する装置である。駆動装置５４は、照明５６が接続されレール５２内を移動する装置である。駆動装置５３，５４は、例えば、アクチュエータである。駆動装置５３は、駆動制御部４３４から通信Ｉ／Ｆ４４を介して受信した信号に基づきレール５１内を移動する。駆動装置５４は、駆動制御部４３５から通信Ｉ／Ｆ４４を介して受信した信号に基づきレール５２内を移動する。
【0104】
レール５１，５２は例えば２次元平面内における格子形状、直線形状、略円形状またはそれらを組合せた任意の形状のレールである。また、レール５１，５２は、カメラ５５および照明５６が３次元空間内を移動できるよう、井桁形状またはドーム形状であってもよい。
【0105】
【0106】
検索処理部４３１は、条件入力デバイス４２から検査対象物ＯＢに関する検索条件を受信する（ステップＳｔ２００）。
【0107】
検索処理部４３１は、データベースＤＢに保存されている異常登録情報からステップＳｔ２００の処理で受信した検索条件に一致する異常登録情報（つまり、カメラの撮影条件および照明の条件）を検索する（ステップＳｔ２０１）。ここで、検索処理部４３１が検索した異常登録情報の数をＮ（Ｎ：１以上の整数）とする。また、検索処理部４３１が検索したＮ個の異常登録情報のうち現在検査に用いているものをＬ番目の異常登録情報とする。Ｌは整数である。以下、プロセッサ４３は、検索したＮ個の異常登録情報に基づき、カメラ５５の検査対象物ＯＢに対する位置および向きの撮影条件と、照明５６の検査対象物ＯＢに対する位置および向きの照明条件の下で、検査対象物ＯＢをカメラ５５に撮影させ、異常の検出を行う。
【0108】
検索処理部４３１は、Ｌ＝０と設定し（ステップＳｔ２０２）、ステップＳｔ２０１の処理で検索したＮ個の異常登録情報のうち１つの異常登録情報を移動指示部４３２に出力する。移動指示部４３２は、Ｌ番目の検索結果のカメラ５５および照明５６の位置情報を駆動制御部４３４および駆動制御部４３５に出力する（ステップＳｔ２０３）。検索処理部４３１は、Ｌ番目の検索結果のカメラ５５および照明５６の向きの情報をカメラ・照明制御部４３３に出力する。
【0109】
駆動制御部４３４は、ステップＳｔ２０３の処理で受信した信号に基づきカメラ５５を移動させる。駆動制御部４３５は、ステップＳｔ２０３の処理で受信した信号に基づき照明５６を移動させる。カメラ・照明制御部４３３は、検索処理部４３１から受信した情報に基づき、カメラ５５および照明５６の検査対象物ＯＢに対する向きを調整する（ステップＳｔ２０４）。
【0110】
カメラ・照明制御部４３３は、検索処理部４３１から受信した情報に基づきカメラ５５の検査対象物ＯＢに対する倍率および照明５６の照度を調整する（ステップＳｔ２０５）。
【0111】
カメラ・照明制御部４３３は、カメラ５５に撮影を実行させる（ステップＳｔ２０６）。
【0112】
画像処理部４３６は、カメラ５５から取得した撮影画像に対し解析処理を行う（ステップＳｔ２０７）。
【0113】
画像処理部４３６は、検査対象物ＯＢに異常があるか否かを判定する（ステップＳｔ２０８）。
【0114】
画像処理部４３６は、検査対象物ＯＢに異常があると判定した場合（ステップＳｔ２０８，ＹＥＳ）、異常検出後処理を実行する（ステップＳｔ２０９）。画像処理部４３６は、異常検出後処理として、通知デバイス４７に異常が検出されたことを通知させる信号を出力する。また、画像処理部４３６は、異常検出後処理として、物体のＩＤ等の識別情報と撮影画像とを紐づけてデータベース４６に登録する。画像処理部４３６は、ステップＳｔ２０９の処理の後、処理を終了する。
【0115】
画像処理部４３６は、検査対象物ＯＢに異常がないと判定した場合（ステップＳｔ２０８，ＮＯ）、異常が検出されなかった旨の信号を検索処理部４３１に出力する。検索処理部４３１は、Ｌ＝Ｌ＋１に設定する（ステップＳｔ２１０）。
【0116】
検索処理部４３１は、ＬがＮ以上であるか否かを判定する（ステップＳｔ２１１）。検索処理部４３１は、ＬがＮ以上である（つまり、検索された全ての異常登録情報に基づき検査した）と判定した場合（ステップＳｔ２１１，ＹＥＳ）、処理を終了する。
【0117】
検索処理部４３１は、ＬがＮ以上ではない（つまり、検索された全ての異常登録情報に基づき検査が終了していない）と判定した場合（ステップＳｔ２１１，ＮＯ）、再びステップＳｔ２０３の処理を実行する。
【0118】
これにより、外観検査支援システム３は、検出が困難な異常の情報が登録されているデータベースＤＢを利用し、検査対象物ＯＢの外観検査を行い、検出が困難な異常を自動で短時間に検出することができる。外観検査支援システム３は、例えば、データベースＤＢを用いることでベルトコンベア上を流れている物体の外観検査を高精度に行うことができる。また、外観検査支援システム３は、検出が困難な異常も含めて自動で検査対象物ＯＢの外観検査を行うことで高効率に検査を行うことができる。
【0119】
また、外観検査支援システム３は、車等の外観全体を自動で検査することもできる。以下、図８のフローチャートを用いて、検査対象物の外観全体を自動で検査する方法を説明する。
【0120】
図８は、検査対象物の外観全体を検査する処理を説明する。図８は、検査対象物の外観全体を検査する処理のフローチャートである。図８のフローチャートの各処理はプロセッサ４３によって実行される。なお、図７と同様の処理に関しては同一の符合を付記し説明を省略する。
【0121】
検索処理部４３１が実行するステップＳｔ２０２の処理の後、移動指示部４３２は、メモリ４５から全移動リストを取得する。移動指示部４３２は、全移動リストの最初の移動点（つまり、初期位置）にカメラ５５と照明５６とを移動させる指示を駆動制御部４３４および駆動制御部４３５に出力する。駆動制御部４３４は、移動指示部４３２から受信した信号に基づき駆動装置５３を制御しカメラ５５を初期位置に移動させる。駆動制御部４３５は、移動指示部４３２から受信した信号に基づき駆動装置５４を制御し照明５６を初期位置に移動させる（ステップＳｔ３００）。
【0122】
移動指示部４３２は、Ｌ番目の検索結果（つまり、異常登録情報）に基づき、ステップＳｔ３００の処理で移動させた領域におけるカメラ５５と照明５６との相対的な位置を調整する。つまり、移動指示部４３２は、ステップＳｔ３００の処理で移動させた領域をワークＷＫに対応するとし、異常登録情報に記録されたカメラと照明との位置関係と同じ位置関係になるようにカメラ５５と照明５６とを移動させる。移動指示部４３２は、Ｌ番目の検索結果に基づきカメラ５５を移動させる信号を駆動制御部４３４に出力する。駆動制御部４３４は、移動指示部４３２から受信した信号に基づき駆動装置５３を制御しカメラ５５を移動させる。移動指示部４３２は、Ｌ番目の検索結果に基づき照明５６を移動させる信号を駆動制御部４３５に出力する。駆動制御部４３５は、移動指示部４３２から受信した信号に基づき駆動装置５４を制御し照明５６を移動させる（ステップＳｔ３０１）。
【0123】
プロセッサ４３は、ステップＳｔ３０１の処理の後、図７のフローチャートと同様にステップＳｔ２０４からステップＳｔ２１１までの処理を実行する。
【0124】
検索処理部４３１は、ＬがＮ以上であると判定した場合（ステップＳｔ２１１，ＹＥＳ）、Ｎ個の全ての検索結果に基づく検査を完了したと移動指示部４３２に出力する。
【0125】
移動指示部４３２は、検査対象物ＯＢの全領域を検査したか否か判定する（ステップＳｔ３０２）。移動指示部４３２は、検査対象物ＯＢの全領域を検査した（つまり、全移動リストの全ての位置を検査した）と判定した場合（ステップＳｔ３０２，ＹＥＳ）、処理を終了する。移動指示部４３２は、検査対象物ＯＢの全領域を検査していないと判定した場合（ステップＳｔ３０２，ＮＯ）、検索処理部４３１からの信号に基づき全移動リストの次の移動点にカメラ５５および照明５６を移動させる指示を駆動制御部４３４および駆動制御部４３５に出力する。駆動制御部４３４は、検索処理部４３１から受信した信号に基づき駆動装置５３を制御しカメラ５５を移動させる。駆動制御部４３５は、検索処理部４３１から受信した信号に基づき駆動装置５４を制御し照明５６を移動させる（ステップＳｔ３０３）。駆動制御部４３４，４３５は、ステップＳｔ３０３の処理のあとステップＳｔ３０１の処理を実行する。また、検索処理部４３１は、ＬがＮ未満であると判定した場合（ステップＳｔ２１１，ＮＯ）、ＬがＮ未満である旨の信号を駆動制御部４３４，４３５に出力する。駆動制御部４３４，４３５は、検索処理部４３１からの信号を受信すると、ステップＳｔ３０１の処理を実行する。
【0126】
これにより、外観検査支援システム３は、全移動リストの全ての移動点において、データベースＤＢに登録された異常登録情報を利用して発見が困難な異常を検出することができる。外観検査支援システム３は、車等の大きい検査対象物に関しても、外観に異常がないか自動で短時間に検査することができる。
【0127】
（本実施の形態のまとめ）
以上の本実施の形態の記載により、下記技術が開示される。
以上の本実施の形態の記載により、下記技術が開示される。
【0128】
＜技術１＞
本実施の形態に係る外観検査支援方法は、対象物（例えば、ワークＷＫ）の表面に存在する欠陥である異常を撮影するカメラ（例えば、カメラ１１）と対象物に対して照明光を照射する照明（例えば、照明１２）とを第１位置に移動させる第１のステップと、カメラの対象物に対する撮影角度を設定し、対象物に対する照明光の照射角度を設定し、カメラで撮影した対象物の撮影画像を画像処理し、画像処理した結果から異常を検出したか否かを判定する第２のステップと、第２のステップで異常を検出したと判定した場合、異常を検出した際のカメラおよび照明の位置、撮影角度および照射角度をデータベース（例えば、データベースＤＢ）に登録する第３のステップと、を備える。
本実施の形態に係る外観検査支援方法は、対象物（例えば、ワークＷＫ）の表面に存在する欠陥である異常を撮影するカメラ（例えば、カメラ１１）と対象物に対して照明光を照射する照明（例えば、照明１２）とを第１位置に移動させる第１のステップと、カメラの対象物に対する撮影角度を設定し、対象物に対する照明光の照射角度を設定し、カメラで撮影した対象物の撮影画像を画像処理し、画像処理した結果から異常を検出したか否かを判定する第２のステップと、第２のステップで異常を検出したと判定した場合、異常を検出した際のカメラおよび照明の位置、撮影角度および照射角度をデータベース（例えば、データベースＤＢ）に登録する第３のステップと、を備える。
【0129】
これにより、本実施の形態に係る外観検査支援方法は、検出が困難な異常が存在する対象物を予め用意し、異常を検出することで、検出が困難な異常を検出可能なカメラおよび照明の条件を収集することができる。
【0130】
＜技術２＞
技術１に記載の外観検査支援方法は、第２のステップで異常を検出していないと判定した場合、カメラと照明とを第１位置とは異なる第２位置に移動し、第２のステップを実行する。
技術１に記載の外観検査支援方法は、第２のステップで異常を検出していないと判定した場合、カメラと照明とを第１位置とは異なる第２位置に移動し、第２のステップを実行する。
【0131】
これにより、本実施の形態に係る外観検査支援方法は、検出が困難な異常が存在する対象物に対し、カメラと照明との位置および角度を様々に変更して撮影することで、異常を高精度に検出することができる。これにより、外観検査支援方法は、高精度な異常の検出条件を収集したデータベースを構築することができる。
【0132】
＜技術３＞
技術１または２に記載の外観検査支援方法において、第１のステップにおいてカメラと照明との移動する位置に関する移動点リストを取得し、移動点リストに含まれる全ての位置に対して第２のステップおよび第３のステップを実行する。
技術１または２に記載の外観検査支援方法において、第１のステップにおいてカメラと照明との移動する位置に関する移動点リストを取得し、移動点リストに含まれる全ての位置に対して第２のステップおよび第３のステップを実行する。
【0133】
これにより、本実施の形態に係る外観検査支援方法は、移動点リストに含まれる全ての位置にカメラおよび照明を移動させ異常を検出することで、全ての位置の中で最も異常が鮮明に検出できる条件を得ることができる。これにより、外観検査支援方法は、ユーザが異常をより目視し易い条件を収集することができる。
【0134】
＜技術４＞
技術１から３のいずれか１つに記載の外観検査支援方法は、第３のステップにおいて、撮影画像、対象物の属性情報、異常の種類または異常の大きさをさらにデータベースに登録する。
技術１から３のいずれか１つに記載の外観検査支援方法は、第３のステップにおいて、撮影画像、対象物の属性情報、異常の種類または異常の大きさをさらにデータベースに登録する。
【0135】
これにより、本実施の形態に係る外観検査支援方法は、検出条件と検出した異常の情報と対象物の属性情報とを紐づけた情報を保存したデータベースを構築することができる。これにより、外観検査支援方法は、ユーザが様々な条件で検索可能な利用しやすいデータベースを構築することができる。
【0136】
＜技術５＞
技術１から４のいずれか１つに記載の外観検査支援方法において、第２のステップは、カメラのズーム倍率を設定し、照明の照明光の強度を設定するステップをさらに含む。
技術１から４のいずれか１つに記載の外観検査支援方法において、第２のステップは、カメラのズーム倍率を設定し、照明の照明光の強度を設定するステップをさらに含む。
【0137】
これにより、本実施の形態に係る外観検査支援方法は、対象物の異常をより鮮明に撮影し高精度に検出することができる。外観検査支援方法は、異常を誤検知することを防ぎ、高精度な情報をデータベースに登録することができる。
【0138】
＜技術６＞
技術１から５のいずれか１つに記載の外観検査支援方法において、入力された検索条件に基づきデータベースに登録されている異常の情報を検索し、検索された異常の情報を表示デバイスに表示する第４のステップを、さらに備える。
技術１から５のいずれか１つに記載の外観検査支援方法において、入力された検索条件に基づきデータベースに登録されている異常の情報を検索し、検索された異常の情報を表示デバイスに表示する第４のステップを、さらに備える。
【0139】
これにより、本実施の形態に係る外観検査支援方法は、データベースに登録されている異常の情報をユーザに対し表示することで、ユーザが検出が困難な異常を検出することを支援することができる。これにより、外観検査支援方法は、異常の目視確認に関して訓練中のユーザに対して、ユーザの目視確認の技能の向上を支援することができる。
【0140】
＜技術７＞
技術１から６のいずれか１つに記載の外観検査支援方法において、異常の情報は、カメラの位置、照明の位置、撮影角度、照射角度、対象物の属性情報、異常の種類または異常の大きさである。
技術１から６のいずれか１つに記載の外観検査支援方法において、異常の情報は、カメラの位置、照明の位置、撮影角度、照射角度、対象物の属性情報、異常の種類または異常の大きさである。
【0141】
これにより、本実施の形態に係る外観検査支援方法は、ユーザが検索した異常の情報をユーザが確認可能にすることができる。
【0142】
＜技術８＞
技術１から７のいずれか１つに記載の外観検査支援方法において、第４のステップにおいて、異常の情報を基に対象物に対する照明の位置および角度と、対象物を見る人物の目の位置および角度との情報を含む模式図を生成し、模式図を前記表示デバイスに表示する。
技術１から７のいずれか１つに記載の外観検査支援方法において、第４のステップにおいて、異常の情報を基に対象物に対する照明の位置および角度と、対象物を見る人物の目の位置および角度との情報を含む模式図を生成し、模式図を前記表示デバイスに表示する。
【0143】
これにより、本実施の形態に係る外観検査支援方法は、対象物を見る位置および角度と対象物に対する照明の位置および角度とをユーザが直感的に理解することを支援することができる。
【0144】
＜技術９＞
技術１から８のいずれか１つに記載の外観検査支援方法において、第４のステップにおいて、異常の情報のリストと、模式図と、撮影画像と、を含む表示画面を生成し、表示デバイスに表示する。
技術１から８のいずれか１つに記載の外観検査支援方法において、第４のステップにおいて、異常の情報のリストと、模式図と、撮影画像と、を含む表示画面を生成し、表示デバイスに表示する。
【0145】
これにより、本実施の形態に係る外観検査支援方法は、ユーザが異常の情報、模式図および撮影画像を１つの画面で確認可能にし、ユーザに対する情報取得の利便性を向上させることができる。
【0146】
＜技術１０＞
技術１から９のいずれか１つに記載の外観検査支援方法において、入力された検索条件に基づきデータベースから検索条件に適合するカメラの撮影条件および照明の照明条件を検索し、撮影条件および照明条件の下で撮影した撮影画像を画像処理し、画像処理した結果から異常を検出したか否かを判定する第５のステップを、さらに備える。
技術１から９のいずれか１つに記載の外観検査支援方法において、入力された検索条件に基づきデータベースから検索条件に適合するカメラの撮影条件および照明の照明条件を検索し、撮影条件および照明条件の下で撮影した撮影画像を画像処理し、画像処理した結果から異常を検出したか否かを判定する第５のステップを、さらに備える。
【0147】
これにより、本実施の形態に係る外観検査支援方法は、データベースを利用することで、検出が困難な異常を自動で検出することができる。
【0148】
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0149】
本開示の技術は、検出が困難な異常を検出可能な条件を収集する外観検査支援方法、外観検査支援システムおよびプログラムとして有用である。
【符号の説明】
【0150】
１，２，３ 外観検査支援システム
１０ 検出装置
１１，５５ カメラ
１２，５６，ＳＯ 照明
１３，１４，５３，５４ 駆動装置
１５，１６，５１，５２ レール
２０ 駆動・登録装置
２１，３３，４３ プロセッサ
２２，２５，３１，４１，４４ 通信Ｉ／Ｆ
２３，３５，４５ メモリ
２４ 入力デバイス
３０ 表示装置
３２，４２ 条件入力デバイス
３４ 表示デバイス
４０ 検査装置
４７ 通知デバイス
５０ 検査対象物撮影装置
２１１，２１２，４３４，４３５ 駆動制御部
２１３，４３２ 移動指示部
２１４，４３６ 画像処理部
２１５，４３３ カメラ・照明制御部
２１６ データベース登録部
３３１，４３１ 検索処理部
３３２ 画像生成部
３３３ レイアウト生成部
ＤＢ，４６ データベース
ＷＫ ワーク
ＳＣ 異常
ＬＩ 移動点リスト
ＬＴ リストＬＴ
ＭＮ 表示画面
ＡＲ１，ＡＲ２ 模式図
ＡＲ３ 画像
ＥＹ 目
ＯＢ 検査対象物
１０ 検出装置
１１，５５ カメラ
１２，５６，ＳＯ 照明
１３，１４，５３，５４ 駆動装置
１５，１６，５１，５２ レール
２０ 駆動・登録装置
２１，３３，４３ プロセッサ
２２，２５，３１，４１，４４ 通信Ｉ／Ｆ
２３，３５，４５ メモリ
２４ 入力デバイス
３０ 表示装置
３２，４２ 条件入力デバイス
３４ 表示デバイス
４０ 検査装置
４７ 通知デバイス
５０ 検査対象物撮影装置
２１１，２１２，４３４，４３５ 駆動制御部
２１３，４３２ 移動指示部
２１４，４３６ 画像処理部
２１５，４３３ カメラ・照明制御部
２１６ データベース登録部
３３１，４３１ 検索処理部
３３２ 画像生成部
３３３ レイアウト生成部
ＤＢ，４６ データベース
ＷＫ ワーク
ＳＣ 異常
ＬＩ 移動点リスト
ＬＴ リストＬＴ
ＭＮ 表示画面
ＡＲ１，ＡＲ２ 模式図
ＡＲ３ 画像
ＥＹ 目
ＯＢ 検査対象物
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】