特表 2022-553782 自動ビークル修復システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-26

(54)【発明の名称】自動ビークル修復システム

(51)【国際特許分類】

   G01N 21/95 20060101AFI20221219BHJP

【ＦＩ】

G01N21/95 Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022524912

(86)(22)【出願日】2020-10-20

(85)【翻訳文提出日】2022-04-27

(86)【国際出願番号】 IB2020059851

(87)【国際公開番号】W WO2021084381

(87)【国際公開日】2021-05-06

(31)【優先権主張番号】62/926,819

(32)【優先日】2019-10-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】505005049

【氏名又は名称】スリーエム イノベイティブ プロパティズ カンパニー

(74)【代理人】

【識別番号】100130339

【弁理士】

【氏名又は名称】藤井 憲

(74)【代理人】

【識別番号】100135909

【弁理士】

【氏名又は名称】野村 和歌子

(74)【代理人】

【識別番号】100133042

【弁理士】

【氏名又は名称】佃 誠玄

(74)【代理人】

【識別番号】100171701

【弁理士】

【氏名又は名称】浅村 敬一

(72)【発明者】

【氏名】アルサー，ジョナサン ビー．

(72)【発明者】

【氏名】へメス，ブレット アール．

(72)【発明者】

【氏名】ストレイ，トーマス ジェイ．

(72)【発明者】

【氏名】スキミドット，ジョン ジェイ．

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA89

2G051AB07

2G051AB12

2G051CA04

2G051CB01

2G051DA06

2G051DA20

(57)【要約】

ビークルアセンブリラインの欠陥検出及びランク付けシステムが提供される。システムは、ビークルアセンブリライン上のビークルの複数の画像を捕捉する画像捕捉デバイスを含む。システムはまた、複数の捕捉された画像を分析し、かつ分析に基づいて、ビークルの表面上の複数の欠陥を検出する、欠陥検出器を含む。複数の欠陥の各々は、関連付けられたｘ－ｙ－ｚ座標位置、欠陥種類、及び欠陥重症度を有する。システムはまた、ビークルアセンブリライン上のビークルのビークル仕様及びビークル仕様に基づく欠陥優先順位を含むデータストアを含む。システムはまた、欠陥検出器から複数の欠陥を受信し、ビークル仕様及び欠陥優先順位を取り出し、欠陥優先順位を複数の欠陥に適用し、優先順位付けされた欠陥のリストであって、優先順位付けされた欠陥のリストを出力するように構成された欠陥優先順位付け生成器を含む。欠陥優先順位付け生成器は、優先順位付けされた欠陥のリストをビークルアセンブリラインに関連付けられた出力デバイスに出力する。

【特許請求の範囲】

【請求項1】

ビークルアセンブリラインの欠陥検出及びランク付けシステムであって、
前記ビークルアセンブリライン上のビークルの複数の画像を捕捉する画像捕捉デバイスと、
前記ビークルアセンブリライン上の前記ビークルのビークル仕様及び前記ビークル仕様に基づく欠陥優先順位を含むデータストアと、
前記複数の捕捉された画像を分析し、前記分析に基づいて、前記ビークルの表面上の複数の欠陥を検出する欠陥検出器であって、それぞれの前記検出検出器が、前記複数の欠陥の各々について、ｘ－ｙ－ｚ座標位置、欠陥種類、及び欠陥重症度を関連付ける、欠陥検出器と、
欠陥優先順位付け生成器であって、
前記欠陥検出器から前記複数の欠陥を受信し、
前記ビークル仕様及び前記欠陥優先順位を取り出し、
前記欠陥優先順位を前記複数の欠陥に適用し、
優先順位付けされた欠陥のリストを生成する、
ように構成された、欠陥優先順位付け生成器と、
を備え、
前記欠陥優先順位付け生成器が、前記優先順位付けされた欠陥のリストを前記ビークルアセンブリラインに関連付けられた出力デバイスに出力する、
欠陥検出及びランク付けシステム。

【請求項2】

前記欠陥種類が、傷、へこみ、又は過剰な塗料のうちの１つである、請求項１に記載の欠陥検出及びランク付けシステム。

【請求項3】

前記複数の欠陥が、第１の欠陥位置を有する第１の欠陥と、第２の欠陥位置を有する第２の欠陥と、を含み、前記欠陥優先順位が、欠陥の位置であり、前記第１の欠陥が、前記第２の欠陥よりも高く優先順位付けされる、請求項１又は２に記載の欠陥検出及びランク付けシステム。

【請求項4】

前記ビークルが、乗用車であり、前記第１の欠陥が、前記乗用車の運転者側ドア上に位置し、前記第２の欠陥が、前記乗用車のルーフ上に位置している、請求項３に記載の欠陥検出及びランク付けシステム。

【請求項5】

前記ビークル仕様が、第１のビークル色であり、前記複数の欠陥のうちの１つの欠陥種類が、傷であり、前記傷の前記欠陥優先順位が、第２のビークル色に対してよりも前記第１のビークル色に対して、より高い、請求項１～４のいずれか一項に記載の欠陥検出及びランク付けシステム。

【請求項6】

前記第１の色が、黒色であり、前記第２の色が、銀色である、請求項５に記載の欠陥検出及びランク付けシステム。

【請求項7】

前記ビークルを識別するように構成されたセンサを更に備え、前記欠陥優先順位付け生成器が、前記識別されたビークルに基づいて、前記ビークル仕様及び前記欠陥優先順位を自動的に取り出す、請求項１～６のいずれか一項に記載の欠陥検出及びランク付けシステム。

【請求項8】

前記欠陥優先順位付け生成器が、前記複数の欠陥が受信されたときに、前記ビークル仕様及び前記欠陥優先順位を自動的に適用する、請求項７に記載の欠陥検出及びランク付けシステム。

【請求項9】

前記欠陥優先順位付け生成器がまた、前記優先順位付けされた欠陥のリストと共に修復の推奨を提供し、前記修復の推奨が、前記ビークルを現場で修復するか、又は前記ビークルを修復のために迂回させるか、のいずれかである、請求項１～８のいずれか一項に記載の欠陥検出及びランク付けシステム。

【請求項10】

前記修復の推奨がまた、前記複数の欠陥のサブセットを修復しないという命令を含む、請求項９に記載の欠陥検出及びランク付けシステム。

【請求項11】

前記修復の推奨がまた、少なくとも１つの欠陥を修復するという、修復ロボットへの命令を含み、前記命令が、前記修復ロボットへの遠隔測定値を含む、請求項１０に記載の欠陥検出及びランク付けシステム。

【請求項12】

前記命令がまた、前記少なくとも１つの欠陥についての研磨製品、適用する力、軌道、及びドエルタイムを含む、請求項１１に記載の欠陥検出及びランク付けシステム。

【請求項13】

前記欠陥優先順位が、モデル優先順位、色優先順位、欠陥位置優先順位、仕向地優先順位、ビークルグレード優先順位、ビークル塗料優先順位、塗料塗布優先順位から選択される、請求項１～１２のいずれか一項に記載の欠陥検出及びランク付けシステム。

【請求項14】

前記捕捉された複数の画像が、修復系統データベースに記憶され、前記欠陥優先順位付け生成器が、前記修復系統データベースから欠陥の画像を取り出し、前記欠陥優先順位付け生成器が、前記取り出された画像に少なくとも部分的に基づいて、前記欠陥を優先順位付けする、請求項１～１３のいずれか一項に記載の欠陥検出及びランク付けシステム。

【請求項15】

前記出力デバイスが、ユーザフィードバックの指標を受信するように構成された入力デバイスを含み、前記ユーザフィードバックの指標が、前記優先順位付けされた欠陥のリスト内の欠陥の順位を変更する、請求項１～１４のいずれか一項に記載の欠陥検出及びランク付けシステム。

【請求項16】

前記ユーザフィードバックの指標が、前記データストアに記憶される、請求項１５に記載の欠陥検出及びランク付けシステム。

【請求項17】

前記ビークル仕様が、前記ビークルの表面の三次元マップを含む、請求項１～１６のいずれか一項に記載の欠陥検出及びランク付けシステム。

【請求項18】

アセンブリライン上のビークル上の検出された表面欠陥をランク付けする、コンピュータで実施される方法であって、
前記ビークルの識別を受信するステップと、
欠陥リスト検索器を使用して、欠陥メモリに記憶された欠陥データベースにアクセスし、前記ビークル上の複数の検出された表面欠陥であって、前記複数の検出された表面欠陥の各々が、欠陥位置、欠陥種類、及び欠陥重症度を有する、複数の検出された表面欠陥を、受信するステップと、
仕様検索器を使用して、仕様メモリに記憶された仕様データベースにアクセスし、前記ビークルの前記識別に基づいて、第１のビークル仕様及び第２のビークル仕様を、ビークル仕様検索器を使用して自動的に取り出すステップと、
欠陥優先順位検索器を使用して、優先順位メモリに記憶された欠陥優先順位データベースにアクセスし、前記第１のビークル仕様に基づく第１の欠陥優先順位、及び前記第２のビークル仕様に基づく第２の欠陥優先順位を、自動的に取り出すステップと、
欠陥優先順位付け生成器を使用して、前記第１の欠陥優先順位及び前記第２の欠陥優先順位を前記複数の欠陥に適用することによって、欠陥優先順位リストであって、前記第１の欠陥優先順位及び前記第２の欠陥優先順位を前記欠陥位置、前記欠陥種類、及び前記欠陥重症度に適用することに基づいて、前記複数の欠陥のうちの第１の欠陥が前記複数の欠陥のうちの第２の欠陥よりも高くランク付けされるように、前記複数の検出された表面のランク付けを含む、欠陥優先順位リストを生成するステップと、
前記アセンブリラインに関連付けられた出力デバイスへの出力として前記欠陥優先順位リストを提供するステップと、
をプロセッサ上で実行するステップを含み、
識別を受信する前記ステップと、複数の検出された表面欠陥を受信する前記ステップと、ビークル仕様を取り出す前記ステップと、欠陥優先順位リストを生成する前記ステップと、欠陥優先順位リストを提供する前記ステップとが、命令を含む非一時的コンピュータ可読記憶媒体によって実行され、前記命令が、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたときに、前記欠陥リスト検索器の前記ステップ、前記ビークル仕様検索器の前記ステップ、前記欠陥優先順位リストの前記ステップ、及び前記欠陥優先順位リストを提供する前記ステップを前記少なくとも１つのプロセッサに実行させる、
方法。

【請求項19】

前記第１のビークル仕様及び前記第２のビークル仕様が、ビークルモデル、ビークル色、ビークルオプション、ビークル仕向地、ビークル塗料種類、ビークル塗料塗布からなる群から選択される、請求項１８に記載の方法。

【請求項20】

前記第１の欠陥優先順位及び前記第２の欠陥優先順位が、欠陥位置優先順位、欠陥分類優先順位、ビークル色優先順位、ビークルグレード優先順位、及び相対的な欠陥位置優先順位からなる群から選択される、請求項１８又は１９に記載の方法。

【請求項21】

前記ビークルを撮像するステップであって、カメラを使用して複数の画像を捕捉するステップと、プロセッサを使用して前記複数の画像をスティッチングするステップと、を含む、撮像するステップと、
前記ビークル上の前記複数の表面欠陥を検出するステップであって、潜在的な欠陥について前記プロセッサが前記スティッチングされた画像を分析するステップを含み、前記欠陥検出プロセッサが、欠陥特徴であって、それぞれの検出された表面欠陥の前記欠陥位置及び前記欠陥種類を含む欠陥特徴を識別する、検出するステップと、
を更に含む、請求項１８～２０のいずれか一項に記載の方法。

【請求項22】

前記出力デバイスが、スクリーンを有し、前記欠陥優先順位リストが、前記スクリーン上に提供される、請求項１８～２１のいずれか一項に記載の方法。

【請求項23】

前記出力デバイスがまた、前記欠陥優先順位リストのユーザフィードバックを受信するように構成された入力デバイスを有し、前記ユーザフィードバックが、前記第１のビークル仕様及び前記第２のビークル仕様に自動的に関連付けられる、請求項１８～２２のいずれか一項に記載の方法。

【請求項24】

前記ビークルが、第１のビークルであり、前記第１のビークル仕様及び前記第２のビークル仕様を有する第２のビークルの識別を受信すると、前記ユーザフィードバックが、取り出され、前記第２のビークルに関連付けられた第２の複数の欠陥に適用される、請求項２３に記載の方法。

【請求項25】

前記出力デバイスがまた、前記欠陥優先順位リストのユーザフィードバックを受信するように構成された入力デバイスを有し、前記ユーザフィードバックが、前記第１の欠陥優先順位及び前記第２の欠陥優先順位に自動的に関連付けられる、請求項１８～２４のいずれか一項に記載の方法。

【請求項26】

前記ビークルが、第１のビークルであり、前記第１の欠陥優先順位及び前記第２の欠陥優先順位を有する第２のビークルの識別を受信すると、前記ユーザフィードバックが、取り出され、前記第２のビークルに関連付けられた第２の複数の欠陥に適用される、請求項２５に記載の方法。

【請求項27】

前記第１のビークル仕様が、ビークルモデルであり、前記第１の欠陥優先順位が、欠陥位置であり、第１の検出された欠陥位置及びビークルモデルの前記優先順位付けが、第２の位置を有する第２の検出された欠陥に対してよりも高い、請求項１８～２６のいずれか一項に記載の方法。

【請求項28】

前記第１のビークル仕様が、第１のビークル色であり、前記欠陥優先順位が、欠陥種類であり、第１の欠陥種類を有する第１の検出された欠陥の前記優先順位付けが、第２の欠陥種類を有する第２の検出された欠陥よりも高い、請求項１８～２７のいずれか一項に記載の方法。

【請求項29】

前記第１のビークル色とは異なる第２のビークル色を有する第２のビークルについて、前記第２の検出された欠陥の前記優先順位付けが、前記第１の検出された欠陥よりも高い、請求項２８に記載の方法。

【請求項30】

アセンブリラインのビークル修復優先順位付けシステムであって、
前記アセンブリライン上のビークルの仕様を含むビークル仕様データベースであって、前記データベースが、第１の仕様及び第２の仕様を含み、前記第１の仕様が、前記ビークルのビークル色指標である、ビークル仕様データベースと、
前記ビークルの検出された欠陥のリストを含む欠陥データベースであって、各検出された欠陥が、関連付けられた欠陥位置及び欠陥種類を有する、欠陥データベースと、
その上に命令が記憶された非一時的コンピュータ可読媒体であって、前記命令が、プロセッサによって実行されると、
前記第１の仕様及び前記第２の仕様を取り出し、
前記第１の仕様に基づく第１の優先順位であって、色優先順位である、第１の優先順位、及び前記第２の仕様に基づく第２の優先順位を取り出し、
前記検出された欠陥のリストを取り出し、
前記欠陥のリスト上の各欠陥に前記第１の優先順位及び前記第２の優先順位を適用して、修復される欠陥の優先順位を決定することによって、優先順位付けされた欠陥のリストを生成し、
前記優先順位付けされた欠陥のリストを前記ビークルアセンブリラインに関連付けられた出力デバイスに出力する、
ように構成されている、非一時的コンピュータ可読媒体と、
を備える、システム。

【請求項31】

前記システムが、ネットワーク化されたシステムである、請求項３０に記載のシステム。

【請求項32】

前記システムがまた、前記ビークル修復優先順位付けシステムと通信する修復システムを含む、請求項３１に記載のシステム。

【請求項33】

前記修復システムが、以前に修復された欠陥の印を記憶する修復系統データベースを備え、印が、修復前画像、修復後画像、ロボット修復の遠隔測定値、並びに適用される研磨製品の種類及び量のうちの少なくとも１つを含む、請求項３２に記載のシステム。

【請求項34】

前記プロセッサが、前記仕様を自動的に取り出し、前記検出された欠陥を取り出し、前記ビークルの修復の準備ができているという、受信した指標に基づいて、優先順位付けされた欠陥のリストを生成する、請求項３０～３３のいずれか一項に記載のシステム。

【請求項35】

前記指標が、アセンブリライン上の前記ビークルを検出するセンサから受信される、請求項３４に記載のシステム。

【請求項36】

前記検出された欠陥のリストが、カメラと、前記カメラによって捕捉された画像を分析するように構成されたプロセッサと、を含む欠陥検出システムから提供され、前記プロセッサが、前記分析に基づいて、前記ビークル上の欠陥を検出し、前記欠陥に欠陥位置及び欠陥種類を割り当てる、ように構成されている、請求項３０～３５のいずれか一項に記載のシステム。

【請求項37】

前記第２のビークル仕様が、ビークルモデル、ビークル仕向地、ビークル塗料種類、ビークル塗料塗布パラメータ、又はビークルオプションからなる群から選択される、請求項３０～３６のいずれか一項に記載のシステム。

【請求項38】

前記優先順位付けされたリストが、順序付けされた修復される欠陥のリストである、請求項３０～３７のいずれか一項に記載のシステム。

【請求項39】

前記優先順位付けされたリストが、修復されるように指定された検出された欠陥の第１のサブセット及び修復されないように指定された欠陥の第２のサブセットを含む、請求項３０～３８のいずれか一項に記載のシステム。

【請求項40】

前記プロセッサがまた、前記ビークルの修復の推奨を出力するように構成されており、前記修復の推奨が、前記ビークルを前記アセンブリライン上で修復するか、又は前記ビークルを修復のために迂回させるか、のいずれかである、請求項３０～３９のいずれか一項に記載のシステム。

【請求項41】

前記修復の推奨がまた、前記優先順位付けされた欠陥のリスト上の複数の欠陥を修復するための、修復ロボットへの遠隔測定値を含む、請求項４０に記載のシステム。

【請求項42】

前記修復の推奨がまた、前記優先順位付けされた欠陥のリスト上の欠陥に対する製品の推奨を含む、請求項４１に記載のシステム。

【請求項43】

前記製品の推奨が、第１の仕様及び第２の仕様を有する以前のビークルの以前の修復履歴に部分的に基づく、請求項４２に記載のシステム。

【請求項44】

前記製品の推奨が、前記欠陥と同様の欠陥を有する以前のビークルの以前の修復履歴に部分的に基づく、請求項４２に記載のシステム。

【請求項45】

前記修復の推奨が、修復ロボットに通信される、請求項４２に記載のシステム。

【請求項46】

前記優先順位付けされた欠陥のリストが、前記ビークルを修復するように割り当てられた修復ロボットに出力される、請求項３０～４５のいずれか一項に記載のシステム。

【請求項47】

前記出力デバイスが、ロボット修復ユニットであり、前記ロボット修復ユニットが、前記優先順位付けされた欠陥のリストに基づいて修復を実施するように構成されている、請求項３０～４６のいずれか一項に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

世界中で毎年多くの異なる種類のビークルが製造されている。乗用車、トラック、客車、及び飛行機などのビークルは、製造プロセス中に塗布された塗料及びクリアコートの１つ以上のコーティングを有することが多い。塗装プロセスで発生する欠陥を補正するプロセスは、多くの場合、時間がかかる手動タスクである。

【発明の概要】

【0002】

ビークルアセンブリラインの欠陥検出及びランク付けシステムが提供される。システムは、ビークルアセンブリライン上のビークルの複数の画像を捕捉する画像捕捉デバイスを含む。システムはまた、複数の捕捉された画像を分析し、かつ分析に基づいて、ビークルの表面上の複数の欠陥を検出する、欠陥検出器を含む。複数の欠陥の各々は、関連付けられたｘ－ｙ－ｚ座標位置、欠陥種類、及び欠陥重症度を有する。システムはまた、ビークルアセンブリライン上のビークルのビークル仕様及びビークル仕様に基づく欠陥優先順位を含むデータストアを含む。システムはまた、欠陥検出器から複数の欠陥を受信し、ビークル仕様及び欠陥優先順位を取り出し、欠陥優先順位を複数の欠陥に適用し、優先順位付けされた欠陥のリストであって、優先順位付けされた欠陥のリストを出力するように構成された欠陥優先順位付け生成器を含む。欠陥優先順位付け生成器は、優先順位付けされた欠陥のリストをビークルアセンブリラインに関連付けられた出力デバイスに出力する。

【図面の簡単な説明】

【0003】

【図1】ビークル表面上の欠陥を検出及び補正するための製造環境の概念図である。

【図2】製造環境における欠陥検出及び修復の方法のブロック図である。

【図3】ビークル修復システムを示すブロック図である。

【図4】欠陥検出及びランク付けシステムのブロック図である。

【図5】ネットワーク化されたビークル修復システムのブロック図である。

【図6】修復のために欠陥を優先順位付けする方法のブロック図である。

【図7】ビークル修復システムを示す。

【図8】ビークル修復システムの例示的なユーザインタフェースである。

【図9】欠陥検出及びランク付けシステムアーキテクチャのブロック図である。

【図10】前の図に示される実施形態で使用することができるモバイルデバイスの例を示す。

【図11】前の図に示される実施形態で使用することができるモバイルデバイスの例を示す。

【図12】前の図に示される実施形態で使用することができるコンピューティング環境のブロック図である。

【図13A】実施例においてより詳細に説明する欠陥及び例示的なフィードバックを示す。

【図13B】実施例においてより詳細に説明する欠陥及び例示的なフィードバックを示す。

【図14A】実施例においてより詳細に説明する欠陥及び例示的なフィードバックを示す。

【図14B】実施例においてより詳細に説明する欠陥及び例示的なフィードバックを示す。

【図15A】実施例においてより詳細に説明する欠陥及び例示的なフィードバックを示す。

【図15B】実施例においてより詳細に説明する欠陥及び例示的なフィードバックを示す。

【図16】実施例においてより詳細に説明する欠陥及び例示的なフィードバックを示す。

【0004】

本開示に記載される実施例に対する構造的な変更は、本開示の技術の範囲から逸脱することなく、行なうことができる。図は、必ずしも一定の比率の縮尺ではない。図面で使用されている同様の番号は、同様の構成要素を示す。しかし、所与の図中のある構成要素を示す数字の使用は、同じ数字を付した別の図中の構成要素を限定することを意図するものではない。

【発明を実施するための形態】

【0005】

ビークル製造プロセスの自動化は、数十年にわたって進行中である。ビークル製造業界は、人間の作業者によってこれまで行われてきた手作業を置き換えるために、ロボットの導入を開始した。自動化は、ロボットを使用して、困難な、危険な、又は時間のかかるタスクを達成することによって、製造プロセスの効率を高め、作業場の事故を低減することができる。ロボットは、精度を向上し、廃棄物を低減することもできる。

【0006】

しかしながら、自動化が困難であることが証明されている１つの領域は、欠陥、特に塗装プロセス中に引き起こされ得る、又は増大され得る表面欠陥の修復である。図に関してより深く説明するように、ビークルは、多くの場合、プライマー、色、及びクリアコートのいくつかのコーティングを含む可能性のある、いくつかの塗料がコーティングされる。ビークルの表面上の欠陥は、塗装プロセスにおける混入物質、凝集、及び流動の問題、並びに乾燥不規則性によって引き起こされることがある。

【0007】

ビークルの購入者は、購入見込みのビークルが満たす必要がある美的基準を有する。例えば、新しい乗用車を買う人は、その乗用車に傷、へこみ、又は他の欠陥がないことが確実であることを期待する。乗用車を精査し、製造施設を出る前に検出されたあらゆる欠陥を修復することに、著しい時間及び努力が払われる。

【0008】

本明細書に記載の実施例は、欠陥検出及び修復プロセスが乗用車及びトラックなどの自動車の製造に適用される際の欠陥検出及び修復プロセスを説明する。しかしながら、本明細書に記載される多くの実施形態は、ボート及び他の船舶、客車及び機関車、飛行機及び他の飛行ビークル、ロケットなどの他のビークルに等しく適用可能であることが明確に企図される。

【0009】

本明細書で使用されるとき、「塗料」という用語は、プライマー、顔料層、クリアコート、及び乗用車に適用され得る任意の他のコーティングを含むことが意図される。

【0010】

本明細書で使用されるとき、「欠陥」という用語は、塗装プロセス後にビークル上に存在し得るあらゆる欠陥を指すことが意図される。例えば、欠陥としては、傷、へこみ、塗料コーティング内に閉じ込められた破片、過剰又は不均一に塗布された塗料、ヘイズ、一貫性のない光沢、又は他の表面ベースの欠陥を挙げることができるが、これらに限定されない。

【0011】

図１は、ビークル表面上の欠陥を検出及び補正するための例示的な製造環境を示す概念図である。製造環境１００では、ビークル１０は、最初にステーション１１０で欠陥について検査され、修復計画が生成された後に、ステーション１５０での修復のために送られる。多くの製造環境では、ステーション１１０及び１５０は、欠陥が識別され、次いで修復されるように、連続的である。しかしながら、いくつかの実施形態では、これらのステップは、少なくとも部分的に同時に行うことができる。

【0012】

ビークル１０は、塗装プロセスの後に、複数の欠陥２０、１２、１４、１６、２２、及び１８を有する。製造施設に応じて、より多くの又はより少ない欠陥が存在してもよく、欠陥は、異なる位置に位置し、異なる種類及び重症度であってもよい。

【0013】

ビークル１０上の各欠陥は、欠陥種類（例えば、傷又はへこみ）及び重症度（例えば、重度又は軽度）を有する。欠陥はまた、ビークル１０上に位置を有する。ビークル１０の種類に応じて、異なる欠陥が、それらの種類、重症度、及び位置に応じてより重要である又はあまり重要でないことがある。例えば、小さな乗用車１０では、ドアハンドルの近くの欠陥１８は、乗用車１０のルーフ上の欠陥１２又はフロントバンパーの下の欠陥１６よりも、見込み顧客に対して問題である可能性がはるかに高い。

【0014】

欠陥を検出及び修復するために製造中に利用可能な時間は、限られている。適時に修復することができる欠陥よりも多くの欠陥が検出された場合、ビークル１０を組み立て中に修復する代わりに、修復のために迂回させる必要があり得る。

【0015】

図１に示されるように、欠陥検出ステーション１１０は、１つ以上のカメラ４０及び１つ以上の光源５０ａ、５０ｂなどを有する視覚システムを含む。視覚システムは、ビークル１０の表面の不規則性を検出し、続いてマッピングすることによって、動作する。いくつかの実施形態では、欠陥検出ステーション１１０は、コンベヤベルト３０及び搬送機構３２によって示されるように、動くアセンブリラインの一部である。しかしながら、他の実施形態では、欠陥検出ステーション１１０は、静止位置でのビークル１０を含む。

【0016】

欠陥検出システムは、当該技術分野で既知である。例えば、両方ともがＩｎｎｏｖｉｓｉｏｎ Ｓｏｆｔｗａｒｅ Ｓｏｌｕｔｉｏｎｓ Ｉｎｃ．によって所有される、２０１８年５月９日に出願された米国特許出願公開第２０１９／００９６０５７号、及び２０１６年３月２２日に出願された同第２０１７／０２７７９７９号は、いくつかの例示的な欠陥検出システムを記載している。

【0017】

欠陥が識別されると、それらは、修復ステーション１５０で修復される。修復ステーション１５０は、関節１６４を使用して動くことができるロボット１６０を含んでもよい。研磨材は、アプリケータ１６２を使用してビークルに適用することができる。

【0018】

しかしながら、ロボット１６０は、図１で修復を達成するように示されているが、多くの場合、修復計画は、人間のオペレータによって策定される。多くの場合、修復の少なくとも一部も、人間によって行われる。しかしながら、人間のオペレータは、修復プロセスにバイアスを導入することがある。例えば、人間のオペレータは、ビークルの前面で開始し、例えば、欠陥１６を修復し、欠陥２０を最後に修復することによって後部で終了することを好む場合がある。同様に、人間のオペレータは、欠陥１８又は２２の前に、ビークルの上部にある欠陥１２を修復することを優先的に選択することがある。

【0019】

ロボット修復システム１６０を使用することはまた、人間の修復技能者を越える利点を提供することができる。ロボット修復システム１６０は、欠陥検出ステーション１１０から提供される座標ベースの位置システムを使用して、欠陥に接近して修復する。人間は、欠陥の位置を特定するために、視覚に依存する。しかしながら、研磨剤又は他の研磨材を有する研磨パッドが適用される場合、欠陥は、人間の眼にもはや視認できないことがある。ロボット修復システム１６０は、修復中に欠陥に照準を定めることを必要としないが、代わりに、修復が正しい場所で行われることを確実にするために、座標に依存する。これにより、ロボット１６０がより正確であるため、より信頼性の高い修復、かつ多くの場合、より小さい修復面積となる。

【0020】

ビークルの製造中は、時間が最も重要であり、どの欠陥を修復するか、及びどれをそのままにするかを選択することにより、ビークルの販売準備ができていると宣言されるか否かの間の差を生むことができる。

【0021】

ビークル表面上の検出された欠陥を修復するための修復計画１２０を決定するには、革新が必要である。修復計画は、どの欠陥をどの順序で修復するべきかを決定するために、ビークル１０に関する既知の情報（メイク、モデル、色、及び塗料塗布パラメータ）、並びに検出された欠陥（数、位置、重症度）及び仕向地市場（国、販売業者、見込み顧客）に関する情報を考慮する必要がある。システムはまた、欠陥を修復するためにどの研磨製品を使用するかに関して、推奨する、又はロボット修復システム１６０への命令を提供することができる。

【0022】

図２は、本発明の実施形態が有用であり得る、欠陥検出及び修復の方法のブロック図である。方法２００は、乗用車、トラック、ボート、飛行機、列車、ヘリコプターなどを含む多種多様なビークルに適用可能である。

【0023】

ブロック２１０では、ビークルが製造される。製造は、ビークルの構造アセンブリ２１２を含む。製造はまた、塗料の１回以上の塗布２１４も含む。塗料が塗布された後に、ビークルは、均一な塗料乾燥を促進するために、焼き付けプロセス２１６を経る。塗装ステーションと焼き付けステーションとの間の移動により、ほこり又は他の破片をビークル表面に取り込むことがあり、これにより、欠陥が生じることがある。加えて、ビークルは、アセンブリ２１２、塗装２１４、又は焼き付け２１６中に傷がつく、又はへこむことがある。塗料はまた、不均一に塗布されて、一部の領域における過剰な塗料蓄積、一貫性のない表面、ヘイズ、又は一貫性のない光沢をもたらすことがある。

【0024】

ブロック２２０では、欠陥が検出される。欠陥検出システムは、多くの場合、ビークルを照明する１つ以上の光源を含む。ブロック２２２に示されるように、スキャンシステムも含まれる。スキャンシステムは、ブロック２２４に示されるように、塗料表面の欠陥を検出し、各欠陥の位置を決定する。ブロック２２６に示されるように、各欠陥について種類が識別される。例えば、欠陥は、例えば、表面上のへこみ、傷、又は過剰な塗料として識別され得る。欠陥はまた、隆起面、例えば、過剰な塗料若しくは塗料に閉じ込められた破片、又はへこみ若しくは傷などの凹面として識別され得る。いくつかの実施形態では、欠陥の位置は、ビークル上の識別された欠陥の座標位置、並びに影響を受けた領域を含む。例えば、破片の小片は、１平方センチメートルの塗料にのみ影響を及ぼし得るが、より大きな破片は、１平方インチに影響を及ぼすことがある。欠陥はまた、重症度２２８を有するとして分類される。

【0025】

ブロック２３０及び２４０では、識別された欠陥が修復される。従来、欠陥は、人間の修復技能者によって修復される。識別された欠陥は、視覚システムから技能者に提供され、技能者は、印刷出力及び目視検査に基づいてどの欠陥を直すかを決定する。多くの場合、目視検査に基づいて、ビークルをアセンブリプロセス中に修復することができるかどうか、又はビークルをより集中的な修復のために迂回させる必要があるかどうかについての決定が行われる。迂回は、ビークルに対する、より長いアセンブリ時間及びより多くの工数をもたらし、より高いコストをもたらす。本明細書に記載のシステム及び方法は、修復プロセスの効率を高めるように設計されている。加えて、本明細書で設計されたシステム及び方法はまた、ロボット修復システムの使用を容易にし、これにより、修復の精度を高め、必要な修復製品の量を低減し、全体的な修復時間を短縮する。

【0026】

ブロック２３０では、多くの場合、水、研磨剤、又は別の流体と組み合わせて研磨製品を使用して、欠陥がサンディングされる。サンディングの前又は後に、欠陥領域を洗浄することができる。水又は別の流体が適用された後に、欠陥領域を拭いて乾燥させることができる。

【0027】

ブロック２４０では、サンディングされた欠陥が研磨される。研磨は、水、研磨剤、又は別の流体と組み合わせて研磨製品又は非研磨製品を使用することを含んでもよい。研磨の前又は後に、欠陥領域を洗浄又は拭いて乾燥させることができる。研磨後に、ブロック２４２に示されるように、修復された欠陥を検査することができる。これは、修復検証プロセスの一部として行われてもよい。

【0028】

ブロック２５０では、ビークルは、販売のためにアセンブリプロセスから送り出される。これは、多くの場合、州又は国の境界を越えて販売業者にビークルを輸送することを伴う。ビークルが販売業者に到着すると、ブロック２５２に示されるように、多くの場合、再び検査される。販売時点で検査が予想されるため、ブロック２３０及び２４０中にどの欠陥を修復するかの選択は、ビークルが販売業者から不合格と判定されないことを確実にするために重要である。

【0029】

図３は、ビークル修復システムを示すブロック図である。ビークル修復システム３００は、いくつかの実施形態では、ビークルアセンブリ及び製造システムの一部として実装することができる。

【0030】

ビークル仕様３１０は、一実施形態では、データストアに記憶することができる。ビークル仕様は、欠陥検出及びランク付けシステム３５０によって現在評価されているビークルに利用可能である。ビークル仕様は、例えば、ビークルメイク３１２、モデル３１４、及び色３１６を含む。例えば、黒色のホンダ（登録商標）ＣＲ－Ｖ（登録商標）が、アセンブリライン上にあってもよい。ビークルは、特定の仕様、例えば、ドアの数及びそれらの位置３２２（２ドア又は４ドアモデルの乗用車又はトラックなど）を有することができる。異なる自動車は、異なるボンネット細部詳細３２４又はトランク細部詳細３２６を有することができる。例えば、美的理由並びに空気力学的理由から、異なる乗用車のメイク及びモデルは、異なる輪郭を有する異なる設計のボンネットを有する。しかしながら、本明細書に記載の多くの実施例は、乗用車及びトラックを指し、多くの実施形態は、他のビークル種類に等しく適用可能である。例えば、飛行機又はヘリコプターは、ノーズ設計３２８及びテール設計３３２に関する仕様を有する。その他の仕様３１８も所与のビークルに利用可能であってもよい。

【0031】

欠陥検出及びランク付けシステム３５０は、欠陥検出システム３５２及び欠陥優先順位付けシステム３５２を含む。システム３５０は、ビークル仕様３１０を受信し、いくつかのビークル仕様、及び欠陥検出システム３５２によって検出された欠陥に少なくとも基づいて、欠陥優先順位付けシステムは、修復のための優先順位付けされた欠陥のセットを欠陥修復システム３６０に提供する。

【0032】

少なくとも一部のビークルについて、市場情報３４０もまた、優先順位付けシステム３５４に重要であり得る。市場情報は、最終仕向地３４２、乗用車グレード３４４、顧客３４６、又は他の情報を含んでもよい。例えば、日本又は欧州市場向けの乗用車は、販売業者によって許容可能と見なされるために、より少ない未処理の欠陥を有する必要があり得る。より高い乗用車グレード３４４を有する乗用車はまた、修復された欠陥に対するより高い基準、並びに、存在する場合、より少ない未処理の欠陥を有することができる。例えば、Ｌａｍｂｏｒｇｈｉｎｉ（商標）は、Ｆｏｒｄ（商標）Ｒａｎｇｅｒ（商標）よりも高い乗用車グレードと見なされる。顧客情報もまた、欠陥を優先順位付けするために利用可能であり、かつ重要であり得る。例えば、日本市場の顧客は、一般に、米国市場の顧客よりも背が低い。したがって、異なる市場向けの乗用車は、予想される顧客の視界範囲に応じて、異なる欠陥優先順位付けを有してもよい。

【0033】

欠陥検出システム３５２は、ビークルに関連する一連の欠陥を検出するように構成されている。欠陥検出システム３５２は、視覚システムを使用して欠陥を検出するように構成されている。欠陥検出システム３５２は、欠陥優先順位付けシステム３５４に一連の欠陥を出力する。一連の欠陥の各々の欠陥は、欠陥種類、欠陥位置、及び欠陥重症度に関連付けられている。

【0034】

欠陥優先順位付けシステム３５４は、一連の欠陥を受信し、仕様３１０、市場情報３４０の少なくともいくつかに基づいて、修復のために欠陥を順序付けする。欠陥優先順位付けシステム３５４はまた、どの欠陥が修復されるべきであるか、及びどの欠陥を修復しないままにするかについて決定を行うことができる。欠陥優先順位付けシステムはまた、ビークルをアセンブリラインプロセスの一部として修復するべきかどうか、又は別個の修復プロセスのために迂回させるべきかどうかについての推奨を提供することができる。迂回は、例えば、検出された傷の長さ又は閉じ込められた破片のサイズなどの欠陥閾値に基づいて、自動的に推奨されてもよい。迂回はまた、欠陥の数、欠陥の種類の数、又は別の閾値に基づいて推奨されてもよい。

【0035】

ビークル仕様３１０及び市場情報３４０に応じて、欠陥優先順位付けシステム３５４は、欠陥を取り出された仕様に応じて異なるようにランク付けする、欠陥修復リスト又は欠陥修復順序を生成する。例えば、より背の高い乗用車の場合、ルーフ上の欠陥は、低い優先順位である。銀色の乗用車の場合、傷は、赤色の乗用車上の傷よりも、目立たず、低い優先順位である。黒色の乗用車のボンネット又はトランクなどの黒色の表面上では、全ての表面欠陥は、より目立ち、修復に対してより高い優先順位である。運転者側ドア上、特にハンドルの周りの欠陥は、ビークル上の他の場所の欠陥よりも高い優先順位である。欠陥は、それらが外装トリムラインの上にある場合よりも外装トリムラインの下にある場合に、より低い優先順位であり得る。クリアコーティングされた漆黒塗装されたセダンのボンネット上の欠陥は、白色の全く同じ乗用車のボンネット上の同じ欠陥よりもはるかに視認可能であり得る。トラック上のビークルの底部にある欠陥は、トラックの認識されている目的及び耐久性、並びに粗い予想寿命により、乗用車に対する同じ欠陥よりもはるかにより容易に受け入れられ得る。

【0036】

欠陥検出及びランク付けシステム３５０はまた、いくつかの実施形態では、欠陥修復システム３６０と通信する。いくつかの実施形態では、欠陥修復システム３６０は、ロボット修復システムであってもよい。所与の欠陥を修復する時間及び欠陥間を移動する時間などのロボット修復ユニットの性能に関する情報もまた、欠陥修復計画を作成するときに欠陥優先順位付けシステム３５４によって考慮され得る。欠陥修復システムは、研磨材アプリケータ３６４と、水及び／又は研磨剤のディスペンサ３６６とを含む、サンディングロボット３６２を有することができる。欠陥修復システムはまた、研磨材アプリケータ３７２と、水及び／又は研磨剤の流体ディスペンサ３７４とを有する、研磨ロボット３７０を有することができる。サンディングロボット３６２及び研磨ロボット３７０は、別個のロボットシステムであってもよく、又は１つのロボット修復システムの一部であってもよい。欠陥修復システム３６０はまた、品質について、修復された欠陥を検査することができる検証システム３８０を有することができる。

【0037】

図４は、欠陥検出及びランク付けシステムのブロック図である。欠陥検出及びランク付けシステム４００は、図３の欠陥検出及びランク付けシステム３５０と同様である。欠陥検出及びランク付けシステムは、欠陥及び位置の予備リスト４２０を出力する欠陥検出システム４１０と、欠陥及び位置の優先順位付けリスト４８０を出力する欠陥優先順位付けシステム４３０と、を含む。

【0038】

欠陥検出システム４１０は、１つ以上のカメラ４１２と、１つ以上の照明システム４１４と、画像スティッチング及び欠陥検出システム４１６と、を含む。照明システム４１４は、カメラ４１２がビークルの画像又はビデオを捕捉している間に、ビークルの一部分を照明する。撮像スティッチング及び欠陥検出器４１６は、捕捉された画像又はビデオを精査してビークルの撮像された表面上の欠陥を検出する、プロセッサを含む。精査することは、いくつかの実施形態では、画像をスティッチングすることを含んでもよい。

【0039】

検出された欠陥は、欠陥のリスト４２０として欠陥検出システム４１０から出力される。欠陥の予備リストは、各欠陥について、位置分類及び重症度を含む。欠陥検出器４１６は、位置を座標系形式で出力してもよい。予備欠陥リスト４２０の座標系形式は、最終的な修復のために修復システム４９４に提供され得る。

【0040】

欠陥優先順位付けシステム４３０は、予備欠陥リスト４２０を受信する。欠陥優先順位付けシステムは、ビークル情報データベース４４０、欠陥データベース４５０、及びフィードバックデータベース４７０に記憶された情報を使用して、予備欠陥リスト４２０を評価及び優先順位付けする。

【0041】

ビークル情報データベース４４０は、評価されているビークルに関する情報を含む。所与のビークルは、モデル４４４、色４４６、詳細仕様４４２、及びその他の特徴４４８を有する。

【0042】

欠陥データベース４５０は、欠陥の予備リスト４２０で識別された欠陥を含む。識別及び修復システムを使用して、多くの異なる種類の表面欠陥を識別して修復することができる。欠陥検出システム４１０を使用して識別することができる欠陥のいくつかの例としては、傷４５２、へこみ４５４、過剰な塗料４５６、ヘイズ４６２、不規則な表面４６４、一貫性のない光沢４６６、又はその他の欠陥４５８が挙げられる。

【0043】

いくつかの実施形態では、欠陥検出及びランク付けシステム４００は、生成された修復計画を経時的に改善することができるように、何らかの機械学習機能を含む。ユーザ駆動フィードバックデータベース４７０は、将来の使用を改善するために、以前のビークルについて提供されたユーザフィードバックを受信し、記憶する。

【0044】

例えば、ユーザは、分類された欠陥重症度４７２に関して、例えば、重症度が誤っていたことを示すフィードバックを提供することができる。加えて、フィードバックは、割り当てられた欠陥の種類４７４に関して提供されてもよい。ビークル詳細４７６はまた、ユーザフィードバックインタフェースを使用して補正されてもよい。欠陥位置４７８、並びに所与の欠陥によって影響を受けた潜在的な領域も補正することができる。一般に、欠陥詳細は、欠陥検出システム４１０によって捕捉されたビークルの画像に基づいて識別される。ユーザフィードバックは、欠陥識別、分類、及び位置情報が経時的により正確になることを確実にするのに役立つ。

【0045】

調整された欠陥のリスト４８０が提供される。調整された欠陥のリスト４８０は、オペレータがフィードバック４８２を精査して提供することができるように、ユーザインタフェース上に提示されてもよく、フィードバック４８２は、将来の使用のためにユーザ駆動フィードバックデータベース４７０に組み込まれてもよい。

【0046】

ビークルについて欠陥が判明すると、修復判断４９０を行う必要がある。欠陥がほとんどない、及び／又は容易に修復される場合、ビークルは、現場修復プロセス４９４を通ることができる。しかしながら、欠陥が多過ぎる、又は欠陥がアセンブリライン上で容易に修復されない場合、ビークルをより集中的な修復のために迂回させることができる。

【0047】

一実施形態では、調整された欠陥のリスト４８０は、修復の推奨と共に提供される。推奨は、例えば、ユーザに、修復判断点４９０で提示されてもよい。ユーザは、修復の推奨を確認して、例えば、推奨されるようにビークルを現場で修復するか、若しくは迂回させるか、のいずれかとすることができ、又はユーザは、推奨に同意せずオーバーライドすることができる。

【0048】

調整された欠陥のリスト４８０は、優先順位付けされた、欠陥及び欠陥位置のリストとして提供されてもよい。優先順位付けは、修復を必要とする欠陥の推奨される修復の順序を含んでもよい。優先順位付けはまた、修復される必要がない１つ以上の欠陥を含んでもよい。修復が推奨される欠陥の場合、推奨はまた、修復プロセスのための製品の推奨４９６を含んでもよい。

【0049】

図５は、ネットワーク化されたビークル修復システムのブロック図である。欠陥検出及びランク付けシステム５００は、一実施形態ではネットワーク５００上で、アクセス可能である。本明細書で使用されるとき、ネットワーク５００という用語は、有線ネットワーク、無線ネットワーク、又はクラウドベースのネットワークを含む。

【0050】

欠陥検出システム５１０は、視覚システム５１１を使用してビークルを検査する。視覚システム５１１は、ビークルを照明するための１つ以上の光源と、カメラ又はビデオカメラなどの１つ以上の画像捕捉システムと、を含む。欠陥は、捕捉された画像に基づいて識別される。

【0051】

各欠陥について、欠陥種類識別器５１５を使用して、欠陥種類が識別される。欠陥種類識別器５１５は、視覚システム５１１による欠陥の捕捉された画像に基づいて、各欠陥を識別する。例えば、欠陥種類識別器５１６は、傷に対応する表面の不連続性を検出することができる。へこみ又は過剰な塗料は、表面上に存在しないはずの影によって検出することができる。各検出された欠陥に対して、欠陥重症度識別器５１４は、重症度を割り当てる。例えば、深い傷は、浅い傷よりも重度である。長い傷は、短い傷よりも重度である。

【0052】

座標系識別器５１２は、ビークルの座標系を識別する。欠陥位置識別器５１６は、ビークルの座標系を使用して、少なくともいくつかの欠陥についての、欠陥中心及び欠陥領域を識別することができる。例えば、塗装プロセス中に閉じ込められた一片の破片の場合、欠陥の中心、並びに修復中にサンディングされる必要がある総面積を識別することができる。傷の場合、欠陥の中心、並びに長さ及び方向を識別することができる。

【0053】

欠陥優先順位付けシステム５２０は、欠陥リスト検索器５２２を使用して、欠陥検出システム５１０から識別された欠陥を取り出す。識別された欠陥は、位置、種類、及び重症度と共に提供することができる。欠陥優先順位付けシステムはまた、ビークル仕様検索器５２１を使用して、ビークル仕様データベース５４０からビークル仕様を取り出す。

【0054】

ビークル仕様データベース５４０は、製造アセンブリプロセスにおけるビークルに関する情報を記憶する。ビークル仕様は、欠陥座標系を一致させることができる、ビークルの表面の三次元マップを含む。修復判断のために現在評価されているビークルは、モデル５４１、１つ以上の色５４２、１つ以上のオプション５４３（例えば、自動車の場合、２ドア又は４ドア、スポイラー、ドアトリム、ボンネット装飾など）を有することができる。ビークルはまた、意図された市場又はより具体的に言えば販売業者であり得る、仕向地５４４を有することができる。加えて、各ビークルは、塗料種類５４６及び塗料塗布プロセス５４５を有することができる。例えば、ほとんどのビークルは、塗布された塗料のいくつかの層、並びにクリアコートのいくつかの層を有する。１つ以上のプライマー層も適用することができる。各層は、関連付けられた厚さ及び硬化法を有する。硬化は、層が塗布間で完全に乾燥することを確実にするために、ビークルを空気乾燥させること、又は熱若しくは別の硬化プロセスを施すことを含んでもよい。

【0055】

ビークル仕様検索器５２１は、ビークル仕様データベース５４０からビークルの表面マップを含む情報を取り出す。取り出された異なる仕様は、取り出された欠陥を、欠陥優先順位付けシステム５２０に異なるようにランク付けさせることができる。例えば、傷は、より明るい色に対するよりも、黒色のビークルに対する方が顧客には、はるかに見易い。過剰な塗料は、銀色又は他の金属色などでは視認できない。

【0056】

欠陥優先順位付け検索器５２３は、欠陥優先順位付けデータベース５３０から優先順位付け情報を取り出す。取り出された優先順位はまた、ビークル仕様検索器５２１によって取り出されたビークル仕様情報に基づいてもよい。異なるビークルモデルは、異なるモデル優先順位５３１を有する。例えば、トラックは、どのような欠陥が修復されなければならないかに関して、セダンなどとは異なる優先順位を有する。異なる色スキームを有するビークルはまた、異なる色優先順位５３２を有する。異なる仕向地市場はまた、異なる市場優先順位５３４を有することができる。異なるクラスのビークルはまた、異なるビークルクラス優先順位５３５を有する。例えば、ヨットは、ローエンドのモーターボートとは異なる欠陥優先順位及び基準を有する。

【0057】

一実施形態では、欠陥優先順位付けデータベース５３０内のデータは、ルックアップテーブル５３６として記憶することができる。しかしながら、他の記憶形式５３７も想定される。

【0058】

修復オプション検索器５２６は、修復データベース５５０から情報を取り出す。例えば、識別された欠陥についての修復系統５６０に関する現在の情報を取り出すことができる。修復系統５６０は、欠陥の位置を含む、欠陥に関連付けられた遠隔測定値５６２、及びロボット修復の試みが行われた後の、修復ロボットの移動に関する遠隔測定値を含む。修復系統５６０はまた、修復前の画像及び修復の検証中に撮影された修復後の画像を含む、修復に関連付けられた画像５６４を含む。他の情報５６８も取り出すことができる。修復系統５６０はまた、現在の修復に関連し得る以前の欠陥修復について取り出すことができる。例えば、以前に修復されたボンネット上の傷についての遠隔測定値５６２は、修復計画及び推定修復時間を決定する際に、欠陥優先順位付け生成器５２８によって参照されてもよい。所与の欠陥についての修復系統５６０はまた、修復に使用された製品５６６を含んでもよい。例えば、研磨グリット、研磨剤の種類及び量、供給された水若しくは他の流体の量、又は他の製品パラメータは、欠陥修復に関連付けられた製品５６６として記憶することができる。

【0059】

修復オプション検索器５２６はまた、修復データベース５５０から他の情報を取り出すことができる。例えば、利用可能なサンディング研磨材５５２及びサンディングロボットのパラメータ５５４。例えば、異なる研磨材グリットが利用可能であってもよく、及び／又はサンディングをサポートする異なる流体が利用可能であってもよい。加えて、異なる研磨用研磨材５５６は、研磨ロボットのパラメータ５５８と共に利用可能であってもよい。

【0060】

ロボット状態検索器５２７は、修復システム５７０と通信して、修復ロボットの状態を判定する。例えば、追加のサンディング材又は研磨材が必要である場合、又は報告されているエラーがある場合、ロボット状態検索器５２７は、そのような情報を取り出し、それをユーザインタフェース４８０に提示することができる。

【0061】

欠陥優先順位付け生成器５２８は、ビークル仕様検索器５２１によって取り出された仕様、欠陥優先順位付け検索器５２３によって取り出された欠陥優先順位付け情報、及び欠陥リスト検索器５２２によって取り出された欠陥のリストを使用して、優先順位付けされた欠陥リストを自動的に生成する。例えば、欠陥優先順位付け生成器５２８は、修復されなければならない欠陥として高優先順位領域内の欠陥を選択することができ、修復オプション検索器５２６及びロボット状態検索器５２７から取り出された情報に基づいて、それらの欠陥を修復計画において順序付けすることができる。例えば、以前の修復から既知の遠隔測定値情報５６２を使用して、欠陥優先順位付け生成器は、最短時間で最も高い優先順位の欠陥に対処するためにロボット移動経路を最適化することができる。

【0062】

ネットワーク化された修復システム５００は、ユーザインタフェース５８０を含んでもよい。ユーザインタフェース５８０は、アセンブリラインの修復部分のオペレータが欠陥優先順位付けシステム５２０と相互作用することを可能にすることができる。とりわけ、ユーザインタフェース５８０は、優先順位付けされた欠陥リスト５８２及び修復の推奨５８４を提示することができる。修復の推奨５８４は、修復する欠陥の順序及び／又は推奨される製品、並びに各欠陥についての遠隔測定値、供給する製品量、ドエルタイム、及び他のパラメータを含む修復計画を含んでもよい。修復の優先順位付けはまた、アセンブリライン対停止ステーション対オフライン修復ステーション上で利用可能な修復サイクルの利用可能性によって決定することができる。多数の重大でない欠陥が識別されているが、その生産期間中のビークル製造に対して高い需要がある場合、欠陥修復は、優先順位が下がることがある。あるいは、停止ステーション及びオフライン修復ステーションが利用可能でない又は満杯である場合、欠陥修復はまた、再優先順位付けされる場合がある。

【0063】

ユーザインタフェース５８０はまた、オペレータが修復系統５６０と相互作用すること、例えば、欠陥画像５６４、修復中の製品使用５６６、又は修復に関連する他の情報５６８を見ることを可能にすることができる。加えて、ユーザインタフェース５８０を使用して、オペレータは、優先順位付けされた欠陥リスト５８２及び修復の推奨５８４に関するフィードバックを提供することができる場合がある。例えば、オペレータは、優先順位付けされた欠陥リスト５８２上の欠陥の優先順位を変更することができる、又は所与の欠陥について異なる修復計画５８４を入力することができる。

【0064】

図６は、修復のために欠陥を優先順位付けする方法のブロック図である。方法６００は、一実施形態では、修復優先順位付けシステムのプロセッサによって自動的に実行される。

【0065】

ブロック６１０では、優先順位付け仕様が取り出される。例えば、優先順位付け仕様は、評価されているビークル６１２に関する情報を含む。例えば、ビークルのメイク、モデル、色、細部詳細オプションなどを取り出すことができる。所与のビークルについてのビークルグレード優先順位、仕向地優先順位、及び他の関連する優先順位を含む、優先順位付け仕様６１４も取り出される。同様のビークルの以前の修復に関する情報を含む、修復仕様６１６も取り出される。加えて、以前のユーザフィードバックも取り出すことができる。

【0066】

ブロック６２０では、検出された欠陥のリストが受信される。１つ以上の光源及びビークルの画像を捕捉する１つ以上のカメラを多くの場合含む視覚システムを使用して、欠陥がビークル上で検出される。視覚システムはまた、ビークルの捕捉された画像に基づいて欠陥を検出するプロセッサを含む。欠陥のリストは、多くの場合、各欠陥に関連付けられた一連の座標として提供される。各欠陥はまた、欠陥種類及び／又は重症度ランク付けを含んでもよい。

【0067】

ブロック６３０では、優先順位付けされた欠陥のリストが生成される。優先順位付けされた欠陥のリストは、取り出された優先順位付けされた仕様を取り出された欠陥のリストに適用することによって、自動的に生成される。例えば、ビークルに応じて、異なる特徴により、異なる欠陥がより高く優先順位付けされることになり得る。欠陥の優先順位付けは、色６３２、欠陥位置６３４、ビークルの表面に対する欠陥の相対位置６３６、欠陥種類６３８、捕捉された欠陥画像６４２、仕向地市場６４４、及び／又はビークルグレード６４６を考慮する。優先順位付けは、修復順序で欠陥を順序付けすることを含んでもよい。優先順位付けはまた、取り出された優先順位付け仕様に応じて、「修復」又は「修復しない」などのグループに欠陥をグループ化することを含んでもよい。

【0068】

生成された優先順位付けされた欠陥リストは、ブロック６４０で提供される。優先順位付けされた欠陥リストは、例えば、ユーザインタフェース上で、精査するためにアセンブリラインのオペレータに提供することができる。優先順位付けされた欠陥リストを提供することはまた、優先順位付けされた欠陥リスト上の少なくともいくつかの欠陥を修復するための命令を修復ロボットに提供することを含んでもよい。

【0069】

ブロック６５０では、フィードバックが受信される。一実施形態では、フィードバックは、優先順位付けされた欠陥リストに基づいて、オペレータからユーザインタフェースを介して受信される。しかしながら、いくつかの実施形態では、フィードバックは、修復が完了した後にのみ提供される。

【0070】

本明細書に記載のシステム及び方法を使用する利点は、欠陥修復の効率の向上を含む。人間ベースの修復計画は、多くの場合、ビークルの前後及び周囲での人間の必要な移動を制限すること、及び欠陥が見落とされないことを確実にすることなどの、バイアスを含む。この理由から、人間は、多くの場合、規則的な方法で、上部から底部に、前部から後部に、ビークル上の欠陥を修復する。欠陥を修復するためにロボットを使用し、修復のために欠陥を優先順位付けするための自動システムを有することにより、修復される必要のある欠陥を見落とすことなく、人間の修復技能者のバイアスを排除する。欠陥はまた、測定可能な基準によって客観的に考慮及びランク付けされ、これにより、人間の修復技能者の主観性を排除する。加えて、欠陥を修復するのに必要な時間が低減される。方法６００のブロック６１０～６４０は、いくつかの実施形態では、約５分未満で達成することができる。いくつかの実施形態では、ブロック６１０～６４０は、約１分未満で達成することができる。これにより、人間の精査によって行うよりも速く送達される、カスタマイズ可能な基準に基づく、より客観的な修復計画をもたらす。

【0071】

図７は、ビークル修復システムを示す。システム７００は、本明細書に記載のシステム及び方法を使用することができる１つの例示的なシステムを示す。しかしながら、本明細書に記載のシステム及び方法は、図７に示されるシステムに限定されない。

【0072】

コントローラ７１０は、ロボットモーションコントローラ７３０に命令を提供し、これにより、ロボット７２０を移動させる。ロボット７２０の移動により、研磨ツール７２４がビークルの表面に接触することを可能にする。研磨ツール７２４は、サンディング又は研磨ツールを含んでもよい。研磨ツール７２４はまた、水、研磨剤、又は他の流体を供給することができる流体ディスペンサを含んでもよい。力コンプライアンス機構７２２は、研磨ツール７２４によって表面に加えられる力の量を調整することができる。異なるドエルタイムにわたる異なる量の力により、ビークル表面から異なる量の塗料が除去される。図７は、単純化のために１つのロボット７２０のみを示しているが、他の実施形態では、より多くのロボット、又は追加の研磨ツール７２４が存在してもよい。

【0073】

いくつかの実施形態では、検証ロボット７４０もシステム７００に存在する。しかしながら、検証ロボット７４０は、コントローラ７１０から制御信号を受信する別個のシステムとして示されているが、いくつかの実施形態では、検証システムは、修復ロボット７２０の一部として含まれてもよいことも理解される。

【0074】

コントローラ７１０は、一実施形態では、修復ロボット７２０のための修復計画を生成する。修復計画は、優先順位付けされた修復される欠陥のリストに基く修復される欠陥の順序を含む。コントローラ７１０はまた、一実施形態では、ビークルに関して受信した情報に基づいて、優先順位付けされた欠陥のリストを生成することができる。ビークルに関する情報及びビークルの修復優先順位に関する情報は、システム７５０からもたらされる。システム７５０はまた、ユーザインタフェースを含むことができ、それにより、オペレータは、優先順位付けされた欠陥のリスト及び／又は修復計画を精査して、将来の修復の優先順位付けを改善するためのフィードバックを提供することができる。

【0075】

図８は、ビークル修復システムの例示的なユーザインタフェースである。図８は、ユーザインタフェースディスプレイスクリーン８０２と共に示されているコンピュータ８００を示す。スクリーン８０２は、タッチスクリーン、又はペン若しくはスタイラスからの入力を受信するペン対応インタフェースであってもよい。コンピュータ８００は、画面上の仮想キーボードを使用することもできる。当然ながら、コンピュータ８００は、例えば、無線リンク又はＵＳＢポートなどの好適な取り付け機構を介して、キーボード又は他のユーザ入力デバイスに取り付けられてもよい。コンピュータ８００はまた、例示的に、音声入力を受信することもできる。コンピュータ８００は、タブレットとして示されているが、他の実施形態では、コンピュータ８００はまた、デスクトップコンピュータ又はラップトップコンピュータであってもよい。

【0076】

スクリーン８０２上には、一実施形態では、座標の予備リスト８０４がある。これらの座標は、優先順位付けの前に、欠陥検出システムから出力された座標であってもよい。従来の修復システムでは、これらの座標は、人間の修復技能者がビークルを修復するための基準として機能するであろう。

【0077】

また、一実施形態では、各欠陥についての位置、欠陥の種類、及び重症度を含む優先順位付けされた欠陥のリスト８０６が存在する。いくつかの実施形態では、リスト８０６内の各欠陥は、選択可能であってもよく、それにより、オペレータは、どの優先順位がランク付けに寄与したかを見ることができる。リスト８０６内の各欠陥はまた、一実施形態では、ユーザフィードバックの形態として構成可能であってもよい。

【0078】

評価されているビークルに関する情報はまた、情報ボックス８１０内に提示することができる。例えば、日本の東京の販売業者向けの銀色のホンダ（商標）ＣＲ－Ｖが提示されている。

【0079】

ブロック８２０に示すように、修復の推奨も提供することができる。例えば、検出された欠陥に基づいて、言及されたビークルは、現場で修復することができる。修復の推奨８２０は、いくつかの実施形態では、選択可能であってもよく、それにより、オペレータは、遠隔測定値及び使用される研磨製品を含む、修復ロボットに送信される修復命令を精査することができる。

【0080】

図９は、欠陥検出及びランク付けシステムアーキテクチャのブロック図である。リモートサーバアーキテクチャ９００は、欠陥検出及びランク付けシステム９１０の実装の一実施形態を示す。一例として、リモートサーバアーキテクチャ９００は、サービスを送達するシステムの物理的位置又は構成のエンドユーザ知識を必要としない計算、ソフトウェア、データアクセス、及び記憶サービスを提供することができる。様々な実施形態では、リモートサーバは、適切なプロトコルを使用して、インターネットなどの広域ネットワークを介してサービスを送達することができる。例えば、リモートサーバは、広域ネットワークを介してアプリケーションを送達することができ、ウェブブラウザ又は任意の他のコンピューティング構成要素を介してアクセスすることができる。図１～図８に示される又は記載されるソフトウェア又は構成要素、並びに対応するデータは、遠隔位置のサーバ上に記憶することができる。リモートサーバ環境内のコンピューティングリソースは、リモートデータセンター位置に統合されることができる、又はコンピューティングリソースは、分散されることができる。リモートサーバインフラストラクチャは、ユーザに対して単一のアクセスポイントとして見えるとしても、共有データセンターを介してサービスを送達することができる。したがって、本明細書に記載される構成要素及び機能は、リモートサーバアーキテクチャを使用して遠隔位置のリモートサーバから提供することができる。あるいは、本明細書に記載される構成要素及び機能は、クライアントデバイス上に直接、又は他の方法でインストールされた従来のサーバによって提供することができる。

【0081】

図９に示される実施例では、いくつかのアイテムは、前の図に示されるものと同様である。図９は、具体的には、欠陥検出及びランク付けシステムをリモートサーバ位置９０２に配置することができることを示す。したがって、コンピューティングデバイス９２０は、リモートサーバ位置９０２を介してそれらのシステムにアクセスする。オペレータ９５０は、コンピューティングデバイス９２０を使用して、ユーザインタフェース９２２に同様にアクセスすることができる。

【0082】

図９はまた、リモートサーバアーキテクチャの別の実施例を示す。図９は、本明細書に記載のシステムのいくつかの要素がリモートサーバ位置９０２に配置されているが、他は配置されていないことも企図されることを示す。例として、記憶装置９３０、９４０、若しくは９６０、又は修復システム９７０は、位置９０２から分離した位置に配置され、位置９０２のリモートサーバを介してアクセスすることができる。記憶装置９３０、９４０、若しくは９６０、又は修復システム９７０が位置する場所に関係なく、それらは、コンピューティングデバイス７２０によって直接アクセスされ、ネットワーク（ワイドエリアネットワーク又はローカルエリアネットワークのいずれか）を介して、サービスによってリモートサイトでホストされ、サービスとして提供され、又は遠隔位置に存在する接続サービスによってアクセスされ得る。また、データは、実質的に任意の位置に記憶され、関心のある関係者によって断続的にアクセスされる、又は関心のある関係者に転送することができる。例えば、電磁波キャリアの代わりに、又は電磁波キャリアに加えて、物理的キャリアを使用することができる。

【0083】

また、図１～図５の要素又はそれらの一部分は、多種多様な異なるデバイス上に配置することができることにも留意されたい。それらのデバイスのいくつかは、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、又はパームトップコンピュータ、携帯電話、スマートフォン、マルチメディアプレーヤー、パーソナルデジタルアシスタントなどの他のモバイルデバイスを含む。

【0084】

図１０～図１１は、前の図に示される実施形態で使用することができるモバイルデバイスの例を示す。

【0085】

図１０は、本システム（又はその一部）を展開することができる、ユーザ又はクライアントのハンドヘルドデバイス１６として（例えば、図９のコンピューティングデバイス９２０として）使用することができるハンドヘルド又はモバイルコンピューティングデバイスの１つの例示的な実施例の簡略化したブロック図である。例えば、モバイルデバイスは、データの生成、処理、又は表示に使用するために、コンピューティングデバイス９２０のオペレータ区画内に展開することができる。図１１は、ハンドヘルド又はモバイルデバイスの別の実施例である。

【0086】

図１０は、図１～図５に示されるいくつかの構成要素を実行することができ、それらと相互作用する、又は一部を実行し、かつ一部と相互作用する、クライアントデバイス１０１６の構成要素の一般的なブロック図を提供する。デバイス１０１６では、ハンドヘルドデバイスが他のコンピューティングデバイスと通信することを可能にし、かつ、いくつかの実施形態では、スキャンなどによって情報を自動的に受信するためのチャネルを提供する、通信リンク１０１３が提供される。通信リンク１０１３の例としては、ネットワークへのセルラーアクセスを提供するために使用される無線サービス、並びにネットワークへのローカル無線接続を提供するプロトコルなどの、１つ以上の通信プロトコルを介した通信を可能にすることが挙げられる。

【0087】

他の実施例では、アプリケーションは、インタフェース１０１５に接続された取り外し可能なセキュアデジタル（Secure Digital；ＳＤ）カード上で受信することができる。インタフェース１０１５及び通信リンク１０１３は、メモリ１０２１及び入力／出力（input/output；Ｉ／Ｏ）構成要素１０２３、並びにクロック１０２５及び位置システム１０２７にも接続されたバス１０１９に沿って、プロセッサ１０１７（プロセッサを具現化することもできる）と通信する。

【0088】

Ｉ／Ｏ構成要素１０２３は、一実施形態では、入力及び出力動作を容易にするために提供され、デバイス１０１６は、ボタン、タッチセンサ、光学センサ、マイクロフォン、タッチスクリーン、近接センサ、加速度計、向きセンサなどの入力構成要素と、表示デバイス、スピーカ、及び又はプリンタポートなどの出力構成要素と、を含んでもよい。他のＩ／Ｏ構成要素１０２３も同様に使用することができる。

【0089】

クロック１０２５は、例示的に、時間及び日付を出力するリアルタイムクロック構成要素を含む。クロック１０２５はまた、プロセッサ１０１７のタイミング機能を提供することができる。

【0090】

例示的に、位置システム１０２７は、デバイス１０１６の現在の地理的位置を出力する構成要素を含む。これは、例えば、全地球測位システム（global positioning system；ＧＰＳ）受信機、ＬＯＲＡＮシステム、自律航法システム、セルラー三角測量システム、又は他の測位システムを挙げることができる。位置システム１０２７はまた、例えば、所望のマップ、ナビゲーション経路、及び他の地理的機能を生成するマッピングソフトウェア又はナビゲーションソフトウェアも含んでもよい。

【0091】

メモリ１０２１は、オペレーティングシステム１０２９、ネットワーク設定１０３１、アプリケーション１０３３、アプリケーション構成設定１０３５、データストア１０３７、通信ドライバ１０３９、及び通信構成設定１０４１を記憶する。メモリ１０２１は、全ての種類の有形の揮発性及び不揮発性コンピュータ可読メモリデバイスを含んでもよい。メモリ１０２１はまた、コンピュータ記憶媒体（以下に記載）も含んでもよい。メモリ１０２１は、プロセッサ１０１７によって実行されたときに、命令に従ってコンピュータで実施するステップ又は機能を、プロセッサに実行させるコンピュータ可読命令を記憶する。プロセッサ１０１７は、他の構成要素によってアクティブ化され、それらの機能も同様に促進することができる。

【0092】

図１１は、デバイスがスマートフォン１０７１であってもよいことを示す。スマートフォン１０７１は、アイコン若しくはタイル又は他のユーザ入力機構１０７５を表示するタッチ感知ディスプレイ１０７３を有する。機構１０７５は、アプリケーションを実行し、電話をかけ、データ転送動作などを実行するためにユーザによって使用されることができる。一般に、スマートフォン１０７１は、モバイルオペレーティングシステム上に構築され、フィーチャーフォンよりも高度なコンピューティング能力及び接続性を提供する。

【0093】

デバイス１０１６の他の形態が可能であることに留意されたい。

【0094】

図１２は、前の図に示される実施形態で使用することができるコンピューティング環境のブロック図である。

【0095】

図１２は、図１～図５の要素、又はそれらの一部（例えば）を展開することができるコンピューティング環境の一例である。図１２を参照すると、いくつかの実施形態を実装するための例示的なシステムは、コンピュータ１１１０の形態の汎用コンピューティングデバイスを含む。コンピュータ１１１０の構成要素は、処理ユニット１１２０（プロセッサを含み得る）と、システムメモリ１１３０と、システムメモリを含む様々なシステム構成要素を処理ユニット１１２０に結合するシステムバス１１２１と、を含み得るが、これらに限定されない。システムバス１１２１は、メモリバス又はメモリコントローラ、周辺バス、及び様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、いくつかの種類のバス構造のうちのいずれかであってもよい。図１～図５に関して説明したメモリ及びプログラムは、図１２の対応する部分に展開することができる。

【0096】

コンピュータ１１１０は、典型的には、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１１０によってアクセスすることができ、かつ揮発性／不揮発性媒体及び取り外し可能／取り外し不可能な媒体の両方を含む、任意の利用可能な媒体であってもよい。限定ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含んでもよい。コンピュータ記憶媒体は、変調データ信号又は搬送波とは異なり、かつ変調データ信号又は搬送波を含まない。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの、情報を記憶するための任意の方法又は技術で実装される揮発性／不揮発性媒体及び取り外し可能／取り外し不可能な媒体の両方を含むハードウェア記憶媒体を含む。コンピュータ記憶媒体としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（digital versatile disk；ＤＶＤ）、若しくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶デバイス、若しくは他の磁気記憶デバイス、又は所望の情報を記憶するために使用することができ、かつコンピュータ１１１０によってアクセスすることができる任意の他の媒体が挙げられるが、これらに限定されない。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は搬送機構内の他のデータを具現化することができ、任意の情報送達媒体を含む。「変調データ信号」という用語は、信号内に情報を符号化するように設定又は変更されたその特性のうちの１つ以上を有する信号を意味する。

【0097】

システムメモリ１１３０は、読み取り専用メモリ（read only memory；ＲＯＭ）１１３１及びランダムアクセスメモリ（random access memory；ＲＡＭ）１１３２などの揮発性及び／又は不揮発性メモリの形態のコンピュータ記憶媒体を含む。起動中などに、コンピュータ１１１０内の要素間で情報を転送するのに役立つ基本ルーチンを含むベーシックインプット／アウトプットシステム１１３３（basic input/output system；ＢＩＯＳ）は、典型的には、ＲＯＭ１１３１に記憶されている。ＲＡＭ１１３２は、典型的には、処理ユニット１１２０によって直ちにアクセス可能である、かつ／又は現在動作している、データ及び／又はプログラムモジュールを含む。限定ではなく例として、図１２は、オペレーティングシステム１１３４、アプリケーションプログラム１１３５、他のプログラムモジュール１１３６、及びプログラムデータ１１３７を示す。

【0098】

コンピュータ１１１０はまた、他の取り外し可能／取り外し不可能な、かつ揮発性／不揮発性のコンピュータ記憶媒体を含んでもよい。単なる例として、図１２は、取り外し不可能な、不揮発性の磁気媒体、不揮発性磁気ディスク１１５２、光ディスクドライブ１１５５、及び不揮発性光ディスク１１５６から読み取る、又はそれらに書き込む、ハードディスクドライブ１１４１を示す。ハードディスクドライブ１１４１は、典型的には、インタフェース１１４０などの取り外し不可能なメモリインタフェースを介してシステムバス１１２１に接続され、光ディスクドライブ１１５５は、典型的には、インタフェース１１５０などの取り外し可能なメモリインタフェースによってシステムバス１１２１に接続されている。

【0099】

代替的に、又は追加的に、本明細書に記載の機能は、少なくとも部分的に、１つ以上のハードウェア論理構成要素によって実行することができる。例えば、限定するものではないが、使用することができるハードウェア論理構成要素の例示的な種類としては、フィールドプログラマブルゲートアレイ（Field-programmable Gate Array；ＦＰＧＡ）、特定用途向け集積回路（例えば、Application-specific Integrated Circuit；ＡＳＩＣ）、特定用途向け標準製品（例えば、Application-specific Standard Product；ＡＳＳＰ）、システムオンチップシステム（System-on-a-chip system；ＳＯＣ）、複合プログラマブルロジックデバイス（Complex Programmable Logic Device；ＣＰＬＤ）などが挙げられる。

【0100】

上述され、かつ図１２に示されるドライブ及びそれらの関連付けられたコンピュータ記憶媒体は、コンピュータ１１１０のコンピュータ可読命令、データ構造、プログラムモジュール、及び他のデータの記憶を提供する。図１２では、例えば、ハードディスクドライブ１１４１は、オペレーティングシステム１１４４、アプリケーションプログラム１１４５、他のプログラムモジュール１１４６、及びプログラムデータ１１４７を記憶するものとして示されている。これらの構成要素は、オペレーティングシステム１１３４、アプリケーションプログラム１１３５、他のプログラムモジュール１１３６、及びプログラムデータ１１３７と同じであるか、又は異なるか、のいずれかであってもよいことに留意されたい。

【0101】

ユーザは、キーボード１１６２、マイクロフォン１１６３、及びマウス、トラックボール、又はタッチパッドなどのポインティングデバイス１１６１などの入力デバイスを介してコマンド及び情報をコンピュータ１１１０に入力することができる。他の入力デバイス（図示せず）としては、ジョイスティック、ゲームパッド、衛星受信機、スキャナなどを挙げることができる。これら及び他の入力デバイスは、多くの場合、システムバスに結合されたユーザ入力インタフェース１１６０を介して処理ユニット１１２０に接続されるが、他のインタフェース及びバス構造によって接続されてもよい。視覚ディスプレイ１１９１又は他の種類の表示デバイスもまた、ビデオインタフェース１１９０などのインタフェースを介してシステムバス１１２１に接続されている。モニタに加えて、コンピュータはまた、出力周辺インタフェース１１９５を介して接続することができるスピーカ１１９７及びプリンタ１１９６などの他の周辺出力デバイスを含んでもよい。

【0102】

コンピュータ１１１０は、リモートコンピュータ１１８０などの１つ以上のリモートコンピュータへの、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）又はワイドエリアネットワーク（Wide Area Network；ＷＡＮ）などの論理接続を使用して、ネットワーク化された環境で動作する。

【0103】

ＬＡＮネットワーク環境で使用される場合、コンピュータ１１１０は、ネットワークインタフェース又はアダプタ１１７０を介してＬＡＮ１１７１に接続される。ＷＡＮネットワーク環境で使用される場合、コンピュータ１１１０は、典型的には、インターネットなどのＷＡＮ１１７３を介した通信を確立するためのモデム１１７２又は他の手段を含む。ネットワーク化された環境では、プログラムモジュールは、リモートメモリ記憶デバイスに記憶することができる。図１２は、例えば、リモートアプリケーションプログラム１１８５がリモートコンピュータ１１８０上に存在することができることを示す。

【0104】

本明細書に記載の異なる実施形態は、異なる方法で組み合わせることができることにも留意されたい。すなわち、１つ以上の実施形態の一部は、１つ以上の他の実施形態の一部と組み合わせることができる。このすべてが本明細書で企図される。

【0105】

実施形態
実施形態１は、ビークルアセンブリラインの欠陥検出及びランク付けシステムである。システムは、ビークルアセンブリライン上のビークルの複数の画像を捕捉する画像捕捉デバイスを含む。システムはまた、ビークルアセンブリライン上のビークルのビークル仕様及びビークル仕様に基づく欠陥優先順位を含むデータストアを含む。システムはまた、複数の捕捉された画像を分析し、分析に基づいて、ビークルの表面上の複数の欠陥を検出する、欠陥検出器を含む。それぞれの検出検出器は、複数の欠陥の各々について、ｘ－ｙ－ｚ座標位置、欠陥種類、及び欠陥重症度を関連付ける。システムはまた、欠陥検出器から複数の欠陥を受信し、ビークル仕様及び欠陥優先順位を取り出し、欠陥優先順位を複数の欠陥に適用し、優先順位付けされた欠陥のリストを生成する、ように構成された欠陥優先順位付け生成器を含む。欠陥優先順位付け生成器は、優先順位付けされた欠陥のリストをビークルアセンブリラインに関連付けられた出力デバイスに出力する。

【0106】

実施形態２は、実施形態１に記載の特徴を含むが、欠陥種類は、傷、へこみ、又は過剰な塗料のうちの１つである。

【0107】

実施形態３は、実施形態１又は２に記載の特徴を含むが、複数の欠陥は、第１の欠陥位置を有する第１の欠陥と、第２の欠陥位置を有する第２の欠陥と、を含む。欠陥優先順位は、欠陥の位置である。第１の欠陥は、第２の欠陥よりも高く優先順位付けされる。

【0108】

実施形態４は、実施形態３に記載の特徴を含むが、ビークルは、乗用車であり、第１の欠陥は、乗用車の運転者側ドア上に位置し、第２の欠陥は、乗用車のルーフ上に位置している。

【0109】

実施形態５は、実施形態１～４のいずれか一項に記載の特徴を含むが、ビークル仕様は、第１のビークル色である。複数の欠陥のうちの１つの欠陥種類は、傷である。傷の欠陥優先順位は、第２のビークル色に対してよりも第１のビークル色に対して、より高い。

【0110】

実施形態６は、実施形態５に記載の特徴を含むが、第１の色は、黒色であり、第２の色は、銀色である。

【0111】

実施形態７は、実施形態１～６に記載の特徴を含むが、また、ビークルを識別するように構成されたセンサを含む。欠陥優先順位付け生成器は、識別されたビークルに基づいて、ビークル仕様及び欠陥優先順位を自動的に取り出す。

【0112】

実施形態８は、実施形態７に記載の特徴を含むが、欠陥優先順位付け生成器は、複数の欠陥が受信されたときに、ビークル仕様及び欠陥優先順位を自動的に適用する。

【0113】

実施形態９は、実施形態１～８のいずれか一項に記載の特徴を含むが、欠陥優先順位付け生成器はまた、優先順位付けされた欠陥のリストと共に修復の推奨を提供する。修復の推奨は、ビークルを現場で修復するか、又はビークルを修復のために迂回させるか、のいずれかである。

【0114】

実施形態１０は、実施形態９に記載の特徴を含むが、修復の推奨はまた、複数の欠陥のサブセットを修復しないという命令を含む。

【0115】

実施形態１１は、実施形態１０に記載の特徴を含むが、修復の推奨はまた、少なくとも１つの欠陥を修復するという、修復ロボットへの命令を含む。命令は、修復ロボットへの遠隔測定値を含む。

【0116】

実施形態１２は、実施形態１１に記載の特徴を含むが、命令はまた、少なくとも１つの欠陥についての研磨製品、適用する力、軌道、及びドエルタイムを含む。

【0117】

実施形態１３は、実施形態１～１２のいずれか一項に記載の特徴を含むが、欠陥優先順位は、モデル優先順位、色優先順位、欠陥位置優先順位、仕向地優先順位、ビークルグレード優先順位、ビークル塗料優先順位、塗料塗布優先順位から選択される。

【0118】

実施形態１４は、実施形態１～１３のいずれか一項に記載の特徴を含むが、捕捉された複数の画像は、修復系統データベースに記憶される。欠陥優先順位付け生成器は、修復系統データベースから欠陥の画像を取り出す。欠陥優先順位付け生成器は、取り出された画像に少なくとも部分的に基づいて、欠陥を優先順位付けする。

【0119】

実施形態１５は、実施形態１～１４のいずれか一項に記載の特徴を含むが、出力デバイスは、ユーザフィードバックの指標を受信するように構成された入力デバイスを含む。ユーザフィードバックの指標は、優先順位付けされた欠陥のリスト内の欠陥の順位を変更する。

【0120】

実施形態１６は、実施形態１５に記載の特徴を含むが、ユーザフィードバックの指標は、データストアに記憶される。

【0121】

実施形態１７は、実施形態１～１６のいずれか一項に記載の特徴を含むが、ビークル仕様は、ビークルの表面の三次元マップを含む。

【0122】

実施形態１８は、アセンブリライン上のビークル上の検出された表面欠陥をランク付けするコンピュータにより実施される方法である。方法は、ビークルの識別を受信するステップを含む。方法はまた、欠陥リスト検索器を使用して、欠陥メモリに記憶された欠陥データベースにアクセスし、ビークル上の複数の検出された表面欠陥を受信するステップを含む。複数の検出された表面欠陥の各々は、欠陥位置、欠陥種類、及び欠陥重症度を有する。方法はまた、仕様検索器を使用して、仕様メモリに記憶された仕様データベースにアクセスし、ビークルの識別に基づいて、第１のビークル仕様及び第２のビークル仕様を、ビークル仕様検索器を使用して自動的に取り出すステップを含む。方法はまた、欠陥優先順位検索器を使用して、優先順位メモリに記憶された欠陥優先順位データベースにアクセスし、第１のビークル仕様に基づく第１の欠陥優先順位及び第２のビークル仕様に基づく第２の欠陥優先順位を、自動的に取り出すステップを含む。方法はまた、欠陥優先順位付け生成器を使用して、第１の欠陥優先順位及び第２の欠陥優先順位を複数の欠陥に適用することによって、欠陥優先順位リストを生成するステップを含む。欠陥優先順位リストは、第１の欠陥優先順位及び第２の欠陥優先順位を欠陥位置、欠陥種類、及び欠陥重症度に適用することに基づいて、複数の欠陥のうちの第１の欠陥が複数の欠陥のうちの第２の欠陥よりも高くランク付けされるように、複数の検出された表面のランク付けを含む。方法はまた、アセンブリラインに関連付けられた出力デバイスへの出力として欠陥優先順位リストを提供するステップを含む。識別を受信するステップと、複数の検出された表面欠陥を受信するステップと、ビークル仕様を取り出すステップと、欠陥優先順位リストを生成するステップと、欠陥優先順位リストを提供するステップとは、命令を含む非一時的コンピュータ可読記憶媒体によって実行され、命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたときに、欠陥リスト検索器のステップ、ビークル仕様検索器のステップ、欠陥優先順位リストのステップ、及び欠陥優先順位リストを提供するステップを少なくとも１つのプロセッサに実行させる。

【0123】

実施形態１９は、実施形態１８に記載の特徴を含むが、第１のビークル仕様及び第２のビークル仕様は、ビークルモデル、ビークル色、ビークルオプション、ビークル仕向地、ビークル塗料種類、ビークル塗料塗布からなる群から選択される。

【0124】

実施形態２０は、実施形態１８又は１９に記載の特徴を含むが、第１の欠陥優先順位及び第２の欠陥優先順位は、欠陥位置優先順位、欠陥分類優先順位、ビークル色優先順位、ビークルグレード優先順位、及び相対的な欠陥位置優先順位からなる群から選択される。

【0125】

実施形態２１は、実施形態１８～２０のいずれか一項に記載の特徴を含むが、ビークルを撮像するステップも含む。撮像するステップは、カメラを使用して複数の画像を捕捉するステップと、プロセッサを使用して複数の画像をスティッチングするステップと、を含む。方法はまた、ビークル上の複数の表面欠陥を検出するステップを含む。検出するステップは、潜在的な欠陥についてプロセッサがスティッチングされた画像を分析するステップを含む。欠陥検出プロセッサは、欠陥特徴を識別する。欠陥特徴は、それぞれの検出された表面欠陥の欠陥位置及び欠陥種類を含む。

【0126】

実施形態２２は、実施形態１８～２１のいずれか一項に記載の特徴を含むが、出力デバイスは、スクリーンを有し、欠陥優先順位リストは、スクリーン上に提供される。

【0127】

実施形態２３は、実施形態８１～２２のいずれか一項に記載の特徴を含むが、出力デバイスはまた、欠陥優先順位リストに関するユーザフィードバックを受信するように構成された入力デバイスを有する。ユーザフィードバックは、第１のビークル仕様及び第２のビークル仕様に自動的に関連付けられる。

【0128】

実施形態２４は、実施形態２３に記載の特徴を含むが、ビークルは、第１のビークルである。第１のビークル仕様及び第２のビークル仕様を有する第２のビークルの識別を受信すると、ユーザフィードバックは、取り出され、第２のビークルに関連付けられた第２の複数の欠陥に適用される。

【0129】

実施形態２５は、実施形態１８～２４のいずれか一項に記載の特徴を含むが、出力デバイスはまた、欠陥優先順位リストに関するユーザフィードバックを受信するように構成された入力デバイスを有する。ユーザフィードバックは、第１の欠陥優先順位及び第２の欠陥優先順位に自動的に関連付けられる。

【0130】

実施形態２６は、実施形態２５に記載の特徴を含むが、ビークルは、第１のビークルである。第１の欠陥優先順位及び第２の欠陥優先順位を有する第２のビークルの識別を受信すると、ユーザフィードバックは、取り出され、第２のビークルに関連付けられた第２の複数の欠陥に適用される。

【0131】

実施形態２７は、実施形態１８～２６のいずれか一項に記載の特徴を含むが、第１のビークル仕様は、ビークルモデルである。第１の欠陥優先順位は、欠陥位置である。第１の検出された欠陥位置及びビークルモデルの優先順位付けは、第２の位置を有する第２の検出された欠陥に対してよりも高い。

【0132】

実施形態２８は、実施形態１８～２７のいずれか一項に記載の特徴を含むが、第１のビークル仕様は、第１のビークル色である。欠陥優先順位は、欠陥種類である。第１の欠陥種類を有する第１の検出された欠陥の優先順位付けは、第２の欠陥種類を有する第２の検出された欠陥よりも高い。

【0133】

実施形態２９は、実施形態２８に記載の特徴を含むが、第１のビークル色とは異なる第２のビークル色を有する第２のビークルについて、第２の検出された欠陥の優先順位付けは、第１の検出された欠陥よりも高い。

【0134】

実施形態３０は、アセンブリラインのビークル修復優先順位付けシステムである。システムは、アセンブリライン上のビークルの仕様を含むビークル仕様データベースを含み、データベースは、第１の仕様及び第２の仕様を含む。第１の仕様は、ビークルのビークル色指標である。システムはまた、ビークルの検出された欠陥のリストを含む欠陥データベースを含む。各検出された欠陥は、関連付けられた欠陥位置及び欠陥種類を有する。システムはまた、その上に命令が記憶された非一時的コンピュータ可読媒体を含み、命令は、プロセッサによって実行されたときに、第１の仕様及び第２の仕様を取り出し、第１の仕様に基づく第１の優先順位及び第２の仕様に基づく第２の優先順位を取り出す、ように構成されている。第１の優先順位は、色優先順位である。コンピュータ可読媒体はまた、検出された欠陥のリストを取り出し、欠陥のリスト上の各欠陥に第１の優先順位及び第２の優先順位を適用して、修復される欠陥の優先順位を決定することによって、優先順位付けされた欠陥のリストを生成し、優先順位付けされた欠陥のリストをアセンブリラインに関連付けられた出力デバイスに出力するように構成されている。

【0135】

実施形態３１は、実施形態３０に記載の特徴を含むが、システムは、ネットワーク化されたシステムである。

【0136】

実施形態３２は、実施形態３１に記載の特徴を含むが、システムはまた、ビークル修復優先順位付けシステムと通信する修復システムを含む。

【0137】

実施形態３３は、実施形態３２に記載の特徴を含むが、修復システムは、以前に修復された欠陥の印を記憶する修復系統データベースを含む。印は、修復前画像、修復後画像、ロボット修復の遠隔測定値、並びに適用される研磨製品の種類及び量のうちの少なくとも１つを含む。

【0138】

実施形態３４は、実施形態３０～３３のいずれか一項に記載の特徴を含むが、プロセッサは、仕様を自動的に取り出し、検出された欠陥を取り出し、ビークルの修復の準備ができているという、受信した指標に基づいて、優先順位付けされた欠陥のリストを生成する。

【0139】

実施形態３５は、実施形態３４に記載の特徴を含むが、指標は、アセンブリライン上のビークルを検出するセンサから受信される。

【0140】

実施形態３６は、実施形態３０～３５のいずれか一項に記載の特徴を含むが、検出された欠陥のリストは、カメラと、カメラによって捕捉された画像を分析するように構成されたプロセッサと、を含む欠陥検出システムから提供される。プロセッサは、分析に基づいて、ビークル上の欠陥を検出し、欠陥に欠陥位置及び欠陥種類を割り当てる、ように構成されている。

【0141】

実施形態３７は、実施形態３０～３６のいずれか一項に記載の特徴を含むが、第２のビークル仕様は、ビークルモデル、ビークル仕向地、ビークル塗料種類、ビークル塗料塗布パラメータ、又はビークルオプションからなる群から選択される。

【0142】

実施形態３８は、実施形態３０～３７のいずれか一項に記載の特徴を含むが、優先順位付けされたリストは、順序付けされた修復される欠陥のリストである。

【0143】

実施形態３９は、実施形態３０～３８のいずれか一項に記載の特徴を含むが、優先順位付けされたリストは、修復されるように指定された検出された欠陥の第１のサブセット及び修復されないように指定された欠陥の第２のサブセットを含む。

【0144】

実施形態４０は、実施形態３０～３９のいずれか一項に記載の特徴を含むが、プロセッサはまた、ビークルの修復の推奨を出力するように構成されている。修復の推奨は、ビークルをアセンブリライン上で修復するか、又はビークルを修復のために迂回させるか、のいずれかである。

【0145】

実施形態４１は、実施形態４０に記載の特徴を含むが、修復の推奨はまた、優先順位付けされた欠陥のリスト上の複数の欠陥を修復するための、修復ロボットへの遠隔測定値を含む。

【0146】

実施形態４２は、実施形態４１に記載の特徴を含むが、修復の推奨はまた、優先順位付けされた欠陥のリスト上の欠陥に対する製品の推奨を含む。

【0147】

実施形態４３は、実施形態４２に記載の特徴を含むが、製品の推奨は、第１の仕様及び第２の仕様を有する以前のビークルの以前の修復履歴に部分的に基づく。

【0148】

実施形態４４は、実施形態４２に記載の特徴を含むが、製品の推奨は、その欠陥と同様の欠陥を有する以前のビークルの以前の修復履歴に部分的に基づく。

【0149】

実施形態４５は、実施形態４２に記載の特徴を含むが、修復の推奨は、修復ロボットに通信される。

【0150】

実施形態４６は、実施形態３０～４５のいずれか一項に記載の特徴を含むが、優先順位付けされた欠陥のリストは、ビークルを修復するように割り当てられた修復ロボットに出力される。

【0151】

実施形態４７は、実施形態３０～４６のいずれか一項に記載の特徴を含むが、出力デバイスは、ロボット修復ユニットである。ロボット修復ユニットは、優先順位付けされた欠陥のリストに基づいて修復を実施するように構成されている。

【実施例】

【0152】

実施例１：欠陥を検出する
典型的な欠陥の一般的な発生源としては、塗布された塗料内に閉じ込められた粒子、塗料成分の凝集、傷、へこみ、又は過剰な塗料が挙げられる。図１１Ａは、サイズが１ミリメートルの１０分の１未満の高反射性塗料の混入物質の粒子によって引き起こされた欠陥を示す。図１１Ａは、クリアコートを有する黒色塗装表面上の拡大された、顕微鏡下で示されている欠陥である。

【0153】

図１１Ｂは、上面の反射内の同様の欠陥を示す。欠陥は検出可能であり、画像内に影として見える。

【0154】

理解を容易にするために、以下の実施例は、ビークル上の欠陥の小さいセットに関する。しかしながら、多くのアセンブリサイトでは、所与のビークルは、修復のために評価し、次いで優先順位付けする必要のある多数の表面欠陥を有し得ることを理解されたい。

【0155】

実施例２：欠陥を優先順位付けする
以下の表１は、欠陥検出システムから出力された例示的な欠陥リストを示す。欠陥は、欠陥体積及び欠陥種類と共に座標系を通して出力される。

【0156】

【表1】

【0157】

表１では、ｘ、ｙ、及びｚは、三次元空間内の位置を提供する。体積は、欠陥のサイズを表し、空間内の欠陥の中心が一般化された体積に関連している。この場合の種類は、ｄ－滴、ｓ－傷、及びｃ－へこみを使用している。

【0158】

表１では、欠陥は、欠陥位置に基づいて元々優先順位付けされている。しかしながら、ユーザは、サイズのより大きな欠陥がビークル上の位置より上にサイズのより大きな欠陥を優先順位付けするというフィードバックを提供することができる。これにより、優先順位付けを変更することができ、サイズに基づいて欠陥のセットを再優先順位付けされ、表２となる。

【0159】

【表2】

【0160】

実施例３：欠陥優先準付けテーブル
全ての欠陥に修復が必要ではない。優先順位付けスキームの一部は、欠陥を精査するステップと、修復を必要としない欠陥を除去するステップと、を含む。図１２Ａは、ルックアップテーブルに返された検出された欠陥のサンプル出力を示す。アレイは、左から右に、サンプルＩＤ、ｘ、ｙ、ｚ座標、ミリメートルでの欠陥のサイズ、及び欠陥分類を含む。

【0161】

０．０１以上の欠陥が除去される。加えて、２０５、３１４、４００の表面境界の欠陥は、高優先順位の欠陥である。図１２Ｂに示されるように、除去された欠陥は、優先順位付けされた欠陥のリスト上に提示されない。

【0162】

実施例４：ユーザフィードバックを組み込む
図１３Ａ及び図１３Ｂは、ユーザフィードバックが修復のための欠陥の優先順位付けにどのように組み込まれるかの例を示す。図１３Ａは、欠陥の初期リストを示し、図１３Ｂは、優先順位付けされた欠陥のリストを示す。「ｄ」に分類された欠陥は、所与のビークルの塗料及び欠陥位置について優先順位を下げるべきであるというユーザフィードバックの入力であった。ＩＤ番号４及び６を有する欠陥もまた、人による欠陥の直接の精査に基づいて優先順位付けされる必要があるものとして示された。

【0163】

実施例５：現場での修復又は迂回
ビークルがアセンブリラインで行うことができる修復よりも大規模な修復を必要とするという判定を早期に行うことにより、長い目で見れば時間を節約することができる。修復作業が開始される前に、欠陥を優先順位付けして、ビークルが大規模な修復を必要とする欠陥を検出することにより、アセンブリラインを動かし続けることが可能になる。図１４～図１６は、優先順位付けのための欠陥のセットの一部分を示す。実施例３の優先順位付け規則は、図１４のセットを取得するために適用されるが、追加の優先順位付けも存在し、追加の優先順位付けは、０．５ｍｍ以上のサイズの欠陥が検出された場合に修復のために迂回させる必要があるとしてビークルを自動的に分類する。欠陥ＩＤ番号１６は、そのようなサイズを有するため、ビークルは、修復のために迂回させられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14A】

【図14B】

【図15A】

【図15B】

【図16】

【国際調査報告】