特許 6658054 車体部品の施工部位判定システム及び施工部位判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6658054

(24)【登録日】2020年2月10日

(45)【発行日】2020年3月4日

(54)【発明の名称】車体部品の施工部位判定システム及び施工部位判定方法

(51)【国際特許分類】

   B23K 11/24 20060101AFI20200220BHJP

【ＦＩ】

   B23K11/24 338

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2016-27110(P2016-27110)

(22)【出願日】2016年2月16日

(65)【公開番号】特開2017-144454(P2017-144454A)

(43)【公開日】2017年8月24日

【審査請求日】2018年4月23日

(73)【特許権者】

【識別番号】000110321

【氏名又は名称】トヨタ車体株式会社

(74)【代理人】

【識別番号】110000648

【氏名又は名称】特許業務法人あいち国際特許事務所

(72)【発明者】

【氏名】有元 克秀

(72)【発明者】

【氏名】水野 貴夫

(72)【発明者】

【氏名】横道 雄太

【審査官】 金丸 治之

(56)【参考文献】

【文献】 特開２０１０−０２５６１５（ＪＰ，Ａ）

【文献】 特開２００４−０７８９８７（ＪＰ，Ａ）

【文献】 特開２００７−１５２３７１（ＪＰ，Ａ）

【文献】 特開２０１３−８８１６９（ＪＰ，Ａ）

【文献】 特開２０１５−１９７２９７（ＪＰ，Ａ）

【文献】 特開２０１７−１４６２２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２３Ｋ １１／２４

(57)【特許請求の範囲】

【請求項1】

車体部品の３次元画像を記録する撮影装置と、
上記撮影装置によって記録された上記車体部品の３次元画像に基づいて、上記車体部品の施工部位を判定する処理を行う処理装置と、を備え、
上記処理装置は、
上記３次元画像を３次元画像データに変換する画像処理部と、
上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品において上記施工部位と異なる基準部位とを抽出する抽出部と、
上記基準部位を位置合わせ基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行う位置合わせ部と、
上記位置合わせ部によって位置合わせされた上記３次元画像データ及び上記３次元設計データについて、上記抽出部によって上記３次元画像データから抽出された上記施工部位と上記抽出部によって上記３次元設計データから抽出された上記施工部位との関係を判定する判定部と、を備える、車体部品の施工部位判定システム。

【請求項2】

上記処理装置の上記抽出部は、上記施工部位及び上記基準部位のそれぞれの形状の特徴を識別するように予め機械学習がなされた分類器を有し、上記分類器によって上記施工部位及び上記基準部位のそれぞれを抽出する、請求項１に記載の、車体部品の施工部位判定システム。

【請求項3】

上記処理装置の上記判定部は、上記３次元画像データから上記施工部位が抽出され且つ該施工部位と上記３次元設計データから抽出された上記施工部位との間の距離が予め設定された許容値を下回る場合に、上記関係として上記車体部品における上記施工部位に設計通りの施工がなされていると判定する、請求項１または２に記載の、車体部品の施工部位判定システム。

【請求項4】

上記車体部品における上記施工部位は、スポット溶接による打点が形成される部位である、請求項１〜３のいずれか一項に記載の、車体部品の施工部位判定システム。

【請求項5】

上記処理装置の上記判定部による判定結果を出力する出力装置を備える、請求項１〜４のいずれか一項に記載の、車体部品の施工部位判定システム。

【請求項6】

上記出力装置は、上記判定結果とともに上記施工部位の３次元画像を表示する、請求項５に記載の、車体部品の施工部位判定システム。

【請求項7】

車体部品の施工部位を判定する、車体部品の施工部位判定方法であって、
上記車体部品の３次元画像を記録する撮影装置を準備し、
上記撮影装置によって記録された上記車体部品の３次元画像を３次元画像データに変換し、
変換した上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品において上記施工部位と異なる基準部位とを抽出し、
抽出した上記基準部位を位置合わせ基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行い、
位置合わせした上記３次元画像データ及び上記３次元設計データについて、上記３次元画像データから抽出した上記施工部位と上記３次元設計データから抽出した上記施工部位との関係を判定する、車体部品の施工部位判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車体部品の施工部位を判定する技術に関する。

【背景技術】

【0002】

自動車の製造工程においては、種々の車体部品に対してスポット溶接が施工された後、このスポット溶接が予め作成された工法書に従って適正になされているか否かが検査される。従来、この検査は、スポット溶接によって形成された打点を作業者が目視で確認する視覚的検査として行われていた。例えば、作業者は、スポット溶接が施工された車体部品について、スポット溶接によって形成された打点の数と位置を目視によって確認する。その後、作業者は、その検査結果をチェックシート等に手書きで記入する。ところが、このような検査手法は、作業者本人の判断のみによるため人為的な誤判定の原因になり得る。

【0003】

そこで、視覚的検査による検査手法の問題点を解消するべく、下記特許文献１には、カメラを用いて打点の判定を行う検査システムが開示されている。この検査システムでは、車体部品における打点を指し示す指示具と、指示具に設けられた識別部に向けて配置されるカメラと、が使用される。カメラを車体部品に対して固定位置に配置した後、このカメラによって車体部品を撮影することによってカメラからの撮像信号に基づいて打点の位置を検出する。そして、検出した打点の位置を予め登録された打点の位置と照合することによって、検出した打点の位置が適正であるか否かを判定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−１５２３７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１に開示の検査システムを用いる場合、カメラを車体部品に対して決まった位置に固定配置する必要がある。従って、準備作業に時間及び工数がかかる。また、カメラとは別に、該カメラを固定する固定部材、及び打点を指し示す指示具を少なくとも準備する必要があり、検査に要するコストが高い。
そこで、この種のシステムの設計に際しては、車体部品の施工部位を簡単に且つ低コストで判定できる技術が求められている。また、この技術では、スポット溶接の打点が形成された施工部位のみならず、車体部品に開口形成された開口穴、車体部品に溶接されたボルト、ナット、座金などの施工部位についても同様に判定できるのが好ましい。

【0006】

本発明は、かかる課題に鑑みてなされたものであり、車体部品の施工部位を簡単に且つ低コストで判定するのに有効な技術を提供しようとするものである。

【課題を解決するための手段】

【0007】

本発明の一態様は、
車体部品の３次元画像を記録する撮影装置と、
上記撮影装置によって記録された上記車体部品の３次元画像に基づいて、上記車体部品の施工部位を判定する処理を行う処理装置と、を備え、
上記処理装置は、
上記３次元画像を３次元画像データに変換する画像処理部と、
上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品において上記施工部位と異なる基準部位とを抽出する抽出部と、
上記基準部位を位置合わせ基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行う位置合わせ部と、
上記位置合わせ部によって位置合わせされた上記３次元画像データ及び上記３次元設計データについて、上記抽出部によって上記３次元画像データから抽出された上記施工部位と上記抽出部によって上記３次元設計データから抽出された上記施工部位との関係を判定する判定部と、を備える、車体部品の施工部位判定システムにある。

【0008】

本発明の他の態様は、
車体部品の施工部位を判定する、車体部品の施工部位判定方法であって、
上記車体部品の３次元画像を記録する撮影装置を準備し、
上記撮影装置によって記録された上記車体部品の３次元画像を３次元画像データに変換し、
変換した上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品において上記施工部位と異なる基準部位とを抽出し、
抽出した上記基準部位を位置合わせ基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行い、
位置合わせした上記３次元画像データ及び上記３次元設計データについて、上記３次元画像データから抽出した上記施工部位と上記３次元設計データから抽出した上記施工部位との関係を判定する、車体部品の施工部位判定方法にある。

【発明の効果】

【0009】

上記の、車体部品の施工部位判定システム、及び車体部品の施工部位判定方法によれば、３次元画像データから基準部位を抽出し、且つこの基準部位を基準にして３次元画像データと３次元設計データとの位置合わせを行うことができる。このため、撮影装置を車体部品に対して決まった位置に固定配置する必要がない。従って、可搬式の３Ｄカメラのような比較的安価な撮影装置を使用することができる。また、作業者は撮影環境（車体部品に対する角度、明るさ、距離など）を気にすることなく、撮影装置によって車体部品を簡単に撮影することができる。更に、施工部位についての判定が視覚的な判定によらない場合には、作業に要する時間及び工数を低く抑えることができ、また人為的な誤判定が生じるのを阻止できる。

【0010】

以上のごとく、上記の車体部品の施工部位判定システム、及び車体部品の施工部位判定方法によれば、車体部品の施工部位を簡単に且つ低コストで判定することが可能になる。

【図面の簡単な説明】

【0011】

【図1】本実施形態の、車体部品の施工部位判定システムの概要を示す図。

【図2】図１中の処理装置におけるデータ確認画面の表示例を示す図。

【図3】図１中の処理装置による処理フローを示す図。

【図4】図３の処理フローの第１ステップにおける処理を模式的に示す図。

【図5】図３の処理フローの第２ステップにおける、施工部位についてのデータの抽出を模式的に示す図。

【図6】図３の処理フローの第２ステップにおける、基準部位についてのデータの抽出を模式的に示す図。

【図7】図３の処理フローの第３ステップにおける、施工部位についてのデータの抽出を模式的に示す図。

【図8】図３の処理フローの第３ステップにおける、基準部位についてのデータの抽出を模式的に示す図。

【図9】第３ステップで用いる抽出ロジックを説明するための図。

【図10】３次元設計データと３次元画像データとの座標系の相違を説明するための図。

【図11】座標系の変換ロジックを説明するための図。

【図12】３次元設計データと３次元画像データとを同一の座標系で重ね合わせた状態の図。

【図13】帳票の記載例を示す図。

【発明を実施するための形態】

【0012】

本実施形態において、「施工部位」とは、車体を構成する車体部品において所定の施工がなされた部位、若しくは所定の施工が予定された部位をいう。従って、施工部位の判定によって、施工部位に実際になされている施工結果が設計通りのものであるか否かが判定され、若しくは施工部位に予定通り施工されているか否かが判定される。

【0013】

また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記抽出部は、上記施工部位及び上記基準部位のそれぞれの形状の特徴を識別するように予め機械学習がなされた分類器を有し、上記分類器によって上記施工部位及び上記基準部位のそれぞれを抽出するのが好ましい。これにより、抽出部が施工部位及び基準部位のそれぞれを抽出する精度を高めることができる。

【0014】

また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記位置合わせ部は、上記抽出部によって抽出された上記基準部位を基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行うのが好ましい。これにより、位置合わせ部における３次元画像データと３次元設計データとの位置合わせの精度を高めることができる。

【0015】

また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記判定部は、上記３次元画像データから上記施工部位が抽出され且つ該施工部位と上記３次元設計データから抽出された上記施工部位との間の距離が予め設定された許容値を下回る場合に、上記関係として上記車体部品における上記施工部位に設計通りの施工がなされていると判定するのが好ましい。これにより、判定部による適正な判定が可能になる。

【0016】

また、上記の車体部品の施工部位判定システムにおいて、上記車体部品における上記施工部位は、スポット溶接による打点が形成される部位であるのが好ましい。これにより、スポット溶接による打点について、３次元画像データにおける打点と３次元設計データにおける打点との関係を判定することができる。

【0017】

また、上記の車体部品の施工部位判定システムは、上記処理装置の上記判定部による判定結果を出力する出力装置を備えるのが好ましい。これにより、出力装置によって出力された判定結果を複数の人でチェックできる。その結果、人為的な誤判定を起こりにくくすることができる。

【0018】

また、上記の車体部品の施工部位判定システムにおいて、上記出力装置は、上記判定結果とともに上記施工部位の３次元画像を表示するのが好ましい。これにより、作業者若しくは確認者は、施工部位の３次元画像に着目することによって、施工部位に設計通りの施工がなされているか否かを一目で確認できる。

【0019】

以下、本実施形態の車体部品の施工部位判定システム及び施工部位判定方法について、図面を参照しつつ説明する。

【0020】

図１に示されるように、施工部位判定システム１は、車体部品Ｗの施工部位を判定するシステムである。この施工部位判定システム１は、撮影装置１０、処理装置２０、出力装置３０、サーバ４０及びＬＡＮ５０を含む。この施工部位判定システム１を、「施工部位判定装置」ということもできる。車体部品Ｗとして、自動車の車体を構成する各種の製品を対象とすることができる。この車体部品Ｗには、施工部位Ｐ及び基準部位Ｑが含まれている。

【0021】

撮影装置１０は、車体部品Ｗの撮影によってこの車体部品Ｗの３次元画像を記録する機能を有する。この撮影装置１０は、処理装置２０に接続されることによって、処理装置２０との間でのデータの送受信が可能になる。この撮影装置１０は、車体部品Ｗの撮影時に処理装置２０に接続された状態であってもよいし、或いは処理装置２０から分離された状態であってもよい。

【0022】

本実施形態では、この撮影装置１０が３Ｄカメラによって構成されている。３Ｄカメラとして、２つのレンズのそれぞれで撮影された画像を合成することによって３次元画像を得る複眼式のカメラや、１つのレンズで角度を変えて２回撮影された画像を合成することによって３次元画像を得る単眼式のカメラを用いることができる。この３Ｄカメラとして、可搬式の小型カメラや、特定の位置に設置される大型の定点カメラを用いることができる。処理装置２０による後述の処理についての要求精度が高くない場合には、コストメリットの高い安価な可搬式の小型カメラを用いるのが好ましい。

【0023】

処理装置２０は、撮影装置１０によって記録された車体部品Ｗの３次元画像に基づいて、車体部品Ｗの施工部位Ｐを判定する処理を行う機能を有する。この処理装置２０は、画像処理部２１、記憶部２２、入出力部２３及び演算部２４を備えている。この処理装置２０は、モニター（表示手段）、キーボード（入力手段）、マウス（選択手段）、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する、デスクトップ型若しくはノート型のパーソナルコンピュータ（ＰＣ）によって構成されている。

【0024】

出力装置３０は、データを印字によって出力するプリンター、データを表示によって出力するモニター、データを音声によって出力するスピーカーのうちの少なくとも１つによって構成されている。

【0025】

サーバ４０は、ＬＡＮ５０を介して送信された入力データを記憶する一方で、記憶しているデータを要求先からの制御信号に応じて読み出して要求先に送信する機能を有する。このサーバ４０は、上記の入力データとして、複数の車体部品Ｗのそれぞれについての３次元設計データ（「３次元ＣＡＤデータ」ともいう。）を記憶するように構成されている。この３次元設計データは、車体部品Ｗの設計上の３次元の点群データであり、車体部品Ｗの要求仕様書（工法書）に基づいて作製されている。

【0026】

画像処理部２１は、撮影装置１０によって撮影された車体部品Ｗの３次元画像を、直交座標（Ｘ，Ｙ，Ｚ）で表現される３次元の点群データ、即ち３次元画像データ（「３次元製品データ」ともいう。）に変換する機能を有する。この画像処理部２１によって得られた、車体部品Ｗの３次元画像データは、記憶部２２に送信される。

【0027】

この画像処理部２１は、所定の処理開始信号に応じて３次元画像を３次元画像データに変更する変換処理を実行するように構成されている。一方で、この画像処理部２１は、撮影装置１０と処理装置２０との接続時にこの変換処理を自動的に実行するように構成されてもよい。

【0028】

記憶部２２は、撮影装置１０から送信された３次元画像、画像処理部２１から送信された３次元画像データ、及びサーバ４０から入出力部２３を経由して送信された３次元設計データを記憶（格納）する機能を有する。この記憶部２２は、画像処理部２１、入出力部２３及び演算部２４のそれぞれとの間でデータの送受信が可能になっている。

【0029】

入出力部２３は、外部機器との間でデータの送受信を行う機能を有する。この外部機器は、上記の出力装置３０、サーバ４０及びＬＡＮ５０のそれぞれに接続された複数のＯＡ端末等によって構成されている。

【0030】

演算部２４は、記憶部２２或いは入出力部２３から入力された情報を処理する機能を有し、抽出部２５、位置合わせ部２６、判定部２７を備えている。

【0031】

抽出部２５は、画像処理部２１によって変換された３次元画像データと、車体部品Ｗの設計に用いられる３次元設計データとのそれぞれを記憶部２２から読み出して、これら３次元画像データ及び３次元設計データとの双方からそれぞれ、施工部位及び基準部位を抽出する機能を有する。

【0032】

本実施形態の場合、車体部品Ｗの施工部位Ｐは、スポット溶接によるスポット溶接打点（以下、単に「打点」ともいう。）が形成される部位として予め設定されている。また、車体部品Ｗの基準部位Ｑは、開口穴が開口形成された部位として予め設定されている。

【0033】

位置合わせ部２６は、抽出部２５によって抽出された基準部位Ｑａ，Ｑｂを基準にして３次元画像データ及び３次元設計データの位置合わせを行う機能を有する。基準部位Ｑａは、抽出部２５によって３次元設計データから抽出される。基準部位Ｑｂは、抽出部２５によって３次元画像データから抽出される。

【0034】

判定部２７は、位置合わせ部２６によって位置合わせされた３次元画像データ及び３次元設計データについて、抽出部２５によって３次元設計データから抽出された施工部位Ｐａと抽出部２５によって３次元画像データから抽出された施工部位Ｐｂとの関係を判定する。具体的には、実際に施工がなされる予定の施工部位Ｐに対応した施工部位Ｐｂの状態が、要求仕様書に係る施工部位Ｐａの通りであるか否か、即ち施工部位Ｐに設計通りの施工がなされているか否かが、この判定部２７によって判定される。

【0035】

この判定において、施工部位Ｐに実際に施工がなされているか否かは問わない。施工部位Ｐに実際に施工がなされている場合には、施工部位Ｐａと施工部位Ｐｂとの対比によって、施工部位Ｐになされている施工結果（数及び位置）が設計通りのものであるか否かが判定される。これに対して、施工部位Ｐに実際に施工がなされていない場合には、施工部位Ｐａと施工部位Ｐｂとの対比によって、施工部位Ｐに予定通り施工されているか否かが判定される。

【0036】

撮影装置１０によって記録された車体部品Ｗの３次元画像ｄは、例えば、処理装置２０のモニターに表示されるデータ確認画面（図２参照）上で登録される。このデータ確認画面には、登録情報をプルダウンリストから選択可能な複数の入力欄６１が表示される。入力欄６１における登録情報には、車体部品Ｗにスポット溶接が施工されたロボットの管理番号等が含まれている。また、このデータ確認画面の表示部６２には、複数の入力欄６１の登録情報によって特定される、車体部品Ｗの３次元設計データｄ１が表示される。更に、このデータ確認画面の表示部６４には、ファイル欄６３において指定されたファイル先に保存されている、車体部品Ｗの３次元画像ｄが表示される。

【0037】

なお、処理装置２０において処理を実行する前の準備作業として、作業者は、撮影装置１０を使用して車体部品Ｗを撮影する。このとき、車体部品Ｗの施工部位Ｐ及び基準部位Ｑの双方が写るように撮影される必要がある。これにより、処理装置２０の処理で使用される、車体部品Ｗの３次元画像ｄが得られる。

【0038】

表示部６４に表示された３次元画像ｄは、「処理対象に追加」と表示された表示領域６５がクリックされることによって、３次元設計データｄ１に紐付けされた情報として記憶部１２に記憶される。「判定処理実行」と表示された表示領域６６がクリックされると、所定の処理開始信号によって処理装置２０による処理が自動的に実行される。この処理について、以下に図３〜１３を参照しつつ説明する。

【0039】

処理装置２０による処理には、図３中のステップＳ１０１からステップＳ１０５までのステップが含まれている。これらのステップに対して、必要に応じて１または複数のステップが追加されてもよい。

【0040】

ステップＳ１０１は、指定された車体部品Ｗについて、その３次元画像ｄを３次元画像データｄ２に変換するステップ（第１ステップ）である。このステップＳ１０１は、処理装置２０の画像処理部２１によって実行される。このステップＳ１０１によれば、車体部品Ｗの３次元画像ｄが記憶部２２から読み出され、直交座標（Ｘ，Ｙ，Ｚ）で表現される３次元の点群データである３次元画像データｄ２に変換される。このステップＳ１０１で得られた３次元画像データｄ２は、記憶部２２に記憶される。

【0041】

なお、処理装置２０における処理精度を高めるためには、図４が参照されるように、車体部品Ｗが異なる角度で撮影された複数種類の３次元画像ｄ（図４では、３次元画像ｄａと３次元画像ｄｂとの２種類について記載）を使用するのが好ましい。

【0042】

ステップＳ１０２は、指定された車体部品Ｗについて、３次元設計データｄ１の特徴点である施工部位Ｐａ及び基準部位Ｑａのそれぞれの取り込みを行うステップ（第２ステップ）である。このステップＳ１０２は、処理装置２０の抽出部２５によって実行される。このステップＳ１０２によれば、記憶部２２から３次元設計データｄ１が読み出され、この３次元設計データｄ１から施工部位Ｐａについてのデータが取り込まれる（抽出される）。

【0043】

図５に示されるように、この施工部位Ｐａには、車体部品Ｗにスポット溶接によって形成される予定の５つの打点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１が含まれている。同様に、３次元設計データｄ１から基準部位Ｑａについてのデータが取り込まれる（抽出される）。図６に示されるように、この基準部位Ｑａには、車体部品Ｗに設けられる予定の３つの開口穴Ｌ１，Ｍ１，Ｎ１が含まれている。

【0044】

ステップＳ１０３は、指定された車体部品Ｗについて、３次元画像データｄ２の特徴点である施工部位Ｐｂ及び基準部位Ｑｂのそれぞれの検出を行うステップ（第３ステップ）である。このステップＳ１０３は、処理装置２０の抽出部２５によって実行される。このステップＳ１０３は、ステップＳ１０２と同時並行的に実行されてもよいし、或いはステップＳ１０２よりも前に実行されてもよいし、或いはステップＳ１０２に引き続いて実行されてもよい。

【0045】

このステップＳ１０３によれば、記憶部２２から３次元画像データｄ２が読み出され、この３次元画像データｄ２から施工部位Ｐｂについてのデータが検出（抽出される）。図７に示されるように、この施工部位Ｐｂには、車体部品Ｗにスポット溶接によって形成されていると想定される５つの打点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２が含まれている。同様に、３次元画像データｄ２から基準部位Ｑｂについてのデータが検出（抽出される）。図８に示されるように、この基準部位Ｑｂには、車体部品Ｗに設けられている３つの開口穴Ｌ２，Ｍ２，Ｎ２が含まれている。

【0046】

本実施形態では、ステップＳ１０２における施工部位Ｐａ及び基準部位Ｑａや、ステップＳ１０３における施工部位Ｐｂ及び基準部位Ｑｂを精度良く抽出するために、図９に示される抽出ロジックを用いている。この抽出ロジックを実行するために、処理装置２０の抽出部２５は分類器ＤＣを備えている。

【0047】

図９に示されるように、例えば施工部位Ｐｂに含まれる打点Ａ２を抽出する場合、分類器ＤＣは、打点Ａ２の形状の特徴を識別するように予め機械学習がなされている。この場合、打点Ａ２が含まれる複数のサンプル画像データＳａと、打点Ａ２とは異なる形状Ａ３が含まれる複数のサンプル画像データＳｂと、を準備する。そして、これらの複数のサンプル画像データＳａ，Ｓｂを分類器ＤＣに入力して、サンプル画像データＳａに含まれる打点Ａ２の形状の特徴を学習させる。これにより、打点Ａ２の形状、若しくは打点Ａ２の形状に近い形状を有する識別対象を識別可能な分類器ＤＣを作成できる。この分類器ＤＣによれば、入力画像データＳｃに打点Ａ２及び形状Ａ３の双方が含まれる場合、この入力画像データＳｃに含まれる情報から識別対象としての打点Ａ２を識別できる。
その他の打点や、基準点についても、この打点Ａ２の場合と同様の抽出ロジックを使用した抽出が可能である。

【0048】

なお、分類器ＤＣの具体的な作成手法については、例えば、Ｈａａｒ−Ｌｉｋｅアルゴリズムによる分類器作成についてリンクhttp://gihyo.jp/dev/feature/01/opencv/0003に記載されている説明、ＬＢＰアルゴリズムによる分類器作成についてリンクhttp://compsci.world.coocan.jp/OUJ/2012PR/pr_15_a.pdfに記載されている説明、ＨＯＧアルゴリズムによる分類器作成についてリンクhttp://www.vision.cs.chubu.ac.jp/joint_hog/pdf/HOG+Boosting_LN.pdfに記載されている説明等を参考にすることができる。

【0049】

ステップＳ１０４は、抽出部２５によって抽出された基準部位Ｑａ，Ｑｂを基準にして３次元設計データｄ１及び３次元画像データｄ２の位置合わせを行うステップ（第４ステップ）である。このステップＳ１０４は、ステップＳ１０２及びステップＳ１０３の終了後に、処理装置２０の位置合わせ部２６によって実行される。

【0050】

ここで、３次元画像データの座標系は、人による撮影位置等に応じて撮影毎に変わる（１つに定まらない）ため、３次元設計データの座標系と異なる。従って、図１０が参照されるように、３次元画像データｄ２の座標系は３次元設計データｄ１の座標系と相違する。そこで、この位置合わせ部２６によれば、基準部位Ｑａと基準部位Ｑｂとを互いに合わせることによって、３次元画像データｄ２の座標系を３次元設計データｄ１の座標系に合わせることができる。

【0051】

具体的には、図１１の座標系の変換ロジックが参照されるように、３次元設計データｄ１の基準部位Ｑａに含まれる３つの開口穴Ｌ１，Ｍ１，Ｎ１を頂点とした三角形Ｔ１と、３次元画像データｄ２の基準部位Ｑｂに含まれる３つの開口穴Ｌ２，Ｍ２，Ｎ２を頂点とした三角形Ｔ２とを対比する。そして、開口穴Ｌ２を開口穴Ｌ１に合わせ、且つ開口穴Ｍ２を開口穴Ｍ１に合わせ、且つ開口穴Ｎ２を開口穴Ｎ１に合わせるように、３次元画像データｄ２の座標系を変換する。

【0052】

その結果、図１２に示されるように、３次元設計データｄ１及び３次元画像データｄ２は、同一の座標系で且つ基準部位Ｑａと基準部位Ｑｂとが一致するように互いに重ね合わせられた状態で表示される。この変換ロジックでは、異なる座標系を互いに合わせるために、開口穴のような基準点が少なくとも３つ必要になる。

【0053】

ステップＳ１０５は、３次元画像データｄ２から抽出された施工部位Ｐｂと３次元設計データｄ１から抽出された施工部位Ｐａとの関係を判定するステップである。このステップＳ１０５は、ステップＳ１０４の終了後に、処理装置２０の判定部２７によって実行される。このステップＳ１０５によれば、図１２が参照されるように、３次元設計データｄ１（図中の実線参照）における施工部位Ｐａ（打点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１）と、３次元画像データｄ２（図中の二点鎖線参照）における施工部位Ｐｂ（打点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２）との関係が判定される。

【0054】

具体的には、３次元画像データｄ２を３次元設計データｄ１と対比することによって、３次元画像データｄ２に３次元設計データｄ１の各打点に対応した打点が有るか否かが判定される（第１の判定）。図１２では、互いに重ね合わせられた３次元設計データｄ１及び３次元画像データｄ２について、３次元設計データｄ１に含まれている打点が「△」で示され、３次元画像データｄ２に含まれている打点が「□」で示されている。この第１の判定によれば、車体部品Ｗに実際に施工された打点の数（Ｎｕｍｂｅｒ）を確認できる。

【0055】

第１の判定において、３次元画像データｄ２に３次元設計データｄ１の打点に対応した打点が有ると判定された場合（第１の判定結果が「ＹＥＳ」の場合）、更に、３次元設計データｄ１の打点に対する３次元画像データｄ２の打点の位置ずれ（以下、「誤差」という。）が予め設定された許容値を下回るか否かが判定される（第２の判定）。この場合、誤差は、比較する２つの打点間の距離として算出される。この第２の判定によれば、車体部品Ｗに実際に施工された打点の位置（Ｐｏｓｉｔｉｏｎ）を確認できる。

【0056】

そして、第１の判定結果が「ＹＥＳ」であり、且つ第２の判定結果が「ＹＥＳ」の場合に、判定に係る打点が合格（ＯＫ）であり、打点が設計通り形成されていると判定される。そして、判定対象である全打点について合格（ＯＫ）である場合に、車体部品Ｗの施工部位Ｐに設計通りの施工がなされていると判定される。

【0057】

図１３に示されるように、本実施形態では、上記の判定部２７による判定結果を示す帳票７０が上記の出力装置３０によって印字出力される。帳票７０には、車体部品Ｗの３次元画像ｄを表示する欄７１と、施工部位Ｐの打点のチェック結果（３次元画像データｄ２における施工部位Ｐｂの判定結果）を示すチェック結果一覧７２と、が記載されている。チェック結果一覧７２には、施工部位Ｐの各打点を示す打点番号の欄７３、打点画像の欄７４、誤差の欄７５及び結果の欄７６が含まれている。
なお、欄７１に３次元画像ｄに代えて３次元画像データｄ２が表示されてもよい。また、帳票７０の印字に代えて或いは加えて、帳票７０の記載の内容がモニター（図示省略）に表示されてもよい。

【0058】

誤差の欄７５において、誤差ｅ１は、打点Ａ１と打点Ａ２との間の距離として算出されている。誤差ｅ２は、打点Ｂ１と打点Ｂ２との間の距離として算出されている。誤差ｅ３は、打点Ｃ１と打点Ｃ２との間の距離として算出されている。誤差ｅ４は、打点Ｄ１と打点Ｄ２との間の距離として算出されている。誤差ｅ５は、打点Ｅ１と打点Ｅ２との間の距離として算出されている。

【0059】

作業者若しくは確認者は、結果の欄７６を視認することによって、各打点のチェック結果が合格（ＯＫ）であるか否かを確認できる。これにより、車体部品Ｗに実際に施工されている打点の数及び位置のチェック（ＮＰチェック）を容易に行うことができる。

【0060】

また、本実施形態では、打点画像の欄７４に、車体部品Ｗに実際に施工された打点の３次元画像が表示されるように設定されている。このため、スポット溶接が実際に施工されている場合には、打点画像の欄７４に打点の３次元画像が母材の３次元画像とともに表示される。一方で、スポット溶接が実際に施工されていない場合には、打点画像の欄７４に打点の３次元画像は表示されずに母材の３次元画像のみが表示される。従って、作業者若しくは確認者は、この打点画像の欄７４を視認することによって、スポット溶接が予定された部位に実際に打点が形成されているか否かを一目で確認できる。

【0061】

なお、処理装置２０の抽出部２５によって３次元画像データｄ２から抽出された打点の数の合計値や、３次元設計データｄ１から抽出された打点の数の合計値が帳票７０に記載されるようにしてもよい。

【0062】

上記の実施形態によれば、以下のような作用効果が得られる。

【0063】

上記の施工部位判定システム１、及び施工部位判定システム１を使用した判定方法によれば、３次元画像データｄ２から基準部位Ｑｂを抽出し、且つこの基準部位Ｑｂを基準にして３次元画像データｄ２と３次元設計データｄ１との位置合わせを行うことができる。このため、撮影装置１０を車体部品Ｗに対して決まった位置に固定配置する必要がない。従って、可搬式の３Ｄカメラのような比較的安価な撮影装置１０を使用することができる。また、作業者は撮影環境（車体部品Ｗに対する角度、明るさ、距離など）を気にすることなく、撮影装置１０によって車体部品Ｗを簡単に撮影することができる。更に、施工部位Ｐについての判定が処理装置２０によって自動的に実行され、当該判定が視覚的な判定によらないため、作業に要する時間及び工数を低く抑えることができ、また人為的な誤判定が生じるのを阻止できる。その結果、車体部品Ｗの施工部位Ｐの状態を簡単に且つ低コストで判定することが可能になる。

【0064】

また、処理装置２０の抽出部２５が分類器ＤＣを備えているため、抽出部２５が施工部位Ｐａ，Ｐｂ及び基準部位Ｑａ，Ｑｂのそれぞれを抽出する精度を高めることができる。

【0065】

また、処理装置２０の位置合わせ部２６は、基準部位Ｑａ，Ｑｂを基準にして３次元画像データｄ２の座標系と３次元設計データｄ１の座標系とを合わせるため、３次元画像データｄ２と３次元設計データｄ１との位置合わせの精度を高めることができる。

【0066】

また、処理装置２０の判定部２７による判定結果を出力する出力装置３０が用いられるため、この出力装置３０によって出力された判定結果を複数の人でチェックできる。その結果、人為的な誤判定を起こりにくくすることができる。また、この出力装置３０による出力情報には、処理装置２０の判定部２７による判定結果とともに施工部位Ｐの３次元画像が含まれている。このため、作業者若しくは確認者は、施工部位Ｐの３次元画像に着目することによって、施工部位Ｐに設計通りの施工がなされているか否かを一目で確認できる。

【0067】

本発明は、上記の典型的な実施形態のみに限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の応用や変形が考えられる。例えば、上記の実施形態を応用した次の各形態を実施することもできる。

【0068】

上記の実施形態では、溶接スポット溶接によって打点が形成される部位を車体部品Ｗの施工部位Ｐとする場合について例示したが、その他の部位を施工部位Ｐとすることもできる。その他の部位として、典型的には、車体部品Ｗに開口穴が開口形成された部位や、車体部品Ｗにボルト、ナット、座金などが接合された部位などが挙げられる。

【0069】

上記の実施形態では、開口穴が形成された部位を車体部品Ｗの基準部位Ｑとする場合について例示したが、その他の部位を基準部位Ｑとすることもできる。その他の部位として、典型的には、車体部品Ｗにボルト、ナット、座金などが接合された部位や、溶接スポット溶接による打点が形成される部位などが挙げられる。参考例では、施工部位と同一の部位を基準部位にすることもできる。

【0070】

上記の実施形態では、撮影装置１０として３Ｄカメラを用いる場合について例示したが、３Ｄカメラに代えて、該３Ｄカメラと同様の機能を備えた装置、例えばタブレット型の端末を用いることもできる。

【符号の説明】

【0071】

１ 施工部位判定システム
１０ 撮影装置
２０ 処理装置
２１ 画像処理部
２５ 抽出部
２６ 位置合わせ部
２７ 判定部
３０ 出力装置
ｄ，ｄａ，ｄｂ ３次元画像
ｄ１ ３次元設計データ
ｄ２ ３次元画像データ
ＤＣ 分類器
Ｐ，Ｐａ，Ｐｂ 施工部位
Ｑ，Ｑａ，Ｑｂ 基準部位
Ｗ 車体部品

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】