特開 2024-58314 三次元形状測定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024058314

(43)【公開日】2024-04-25

(54)【発明の名称】三次元形状測定システム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20240418BHJP

   G01B 11/25 20060101ALI20240418BHJP

   G01B 11/245 20060101ALI20240418BHJP

【ＦＩ】

G01B11/24 K

G01B11/25 H

G01B11/245 H

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022165592

(22)【出願日】2022-10-14

(71)【出願人】

【識別番号】000149066

【氏名又は名称】オークマ株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】片岡 章人

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA53

2F065BB05

2F065FF01

2F065FF04

2F065FF05

2F065FF07

2F065FF09

2F065GG12

2F065HH05

2F065HH06

2F065JJ03

2F065JJ05

2F065JJ26

2F065QQ21

2F065QQ31

2F065RR08

(57)【要約】

【課題】対象物の位置やサイズが変化する場合でも、対象物を撮像した画像から不要なデータを容易に除去できる三次元形状測定システムを提供する。
【解決手段】三次元形状測定システム１０は、対象物４０を撮像して、基礎画像４２を取得するカメラ３２と、コントローラ１２と、を備え、前記コントローラ１２は、複数の既知構造物の三次元形状データを予め記憶しており、前記複数の既知構造物の中から１以上の構造物を、１以上の参照構造物５２として特定し、前記三次元形状データに基づいて、前記１以上の参照構造物５２それぞれを所定の押し出し方向に押し出した押し出し領域５６を１以上算出し、前記１以上の押し出し領域５６と前記基礎画像４２とに基づいて、前記基礎画像４２を部分的にトリミングした演算用画像４４を生成し、前記演算用画像４４に基づいて、前記対象物４０の形状を測定する、ように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物を撮像して、基礎画像を取得するカメラと、
前記対象物の形状を測定するコントローラと、
を備え、前記コントローラは、
複数の既知構造物の三次元形状データを予め記憶しており、
前記複数の既知構造物の中から１以上の構造物を、１以上の参照構造物として特定し、
前記三次元形状データに基づいて、前記１以上の参照構造物それぞれを所定の押し出し方向に押し出した押し出し領域を１以上算出し、
前記１以上の押し出し領域と前記基礎画像とに基づいて、前記基礎画像を部分的にトリミングした演算用画像を生成し、
前記演算用画像に基づいて、前記対象物の形状を測定する、
ように構成されたことを特徴とする三次元形状測定システム。

【請求項2】

請求項１に記載の三次元形状測定システムであって、
前記１以上の参照構造物は、前記対象物と連動して移動または姿勢変更する構造物を含む、ことを特徴とする三次元形状測定システム。

【請求項3】

請求項１に記載の三次元形状測定システムであって、
前記コントローラは、前記カメラに対して、前記対象物を互いに異なる撮像条件で撮像した複数の基礎画像の取得を指示し、前記複数の基礎画像それぞれに対応する前記演算用画像を生成する、ように構成されており、
前記コントローラは、前記基礎画像の前記撮像条件が変更されても、前記演算用画像の生成に利用する前記１以上の参照構造物および前記１以上の押し出し領域を変更しないように構成されている、
ことを特徴とする三次元形状測定システム。

【請求項4】

請求項１に記載の三次元形状測定システムであって、
前記基礎画像の撮像方向は、常に、前記１以上の押し出し方向の一つと平行または直交する方向である、ことを特徴とする三次元形状測定システム。

【請求項5】

請求項１に記載の三次元形状測定システムであって、
前記コントローラは、
前記参照構造物が単一の場合、前記参照構造物の前記押し出し領域を対象領域として特定し、
前記参照構造物が複数の場合、複数の前記参照構造物それぞれの前記押し出し領域の論理積領域または論理和領域を前記対象領域として特定し、
前記基礎画像から前記対象領域以外の部分をトリミングして前記演算用画像を生成する、
ように構成されていることを特徴とする三次元形状測定システム。

【請求項6】

請求項５に記載の三次元形状測定システムであって、
前記コントローラは、前記押し出し方向が互いに平行な複数の前記押し出し領域の論理和領域と、前記押し出し方向が互いに直交する複数の前記押し出し領域の論理積領域と、を前記対象領域として特定する、ように構成されていることを特徴とする三次元形状測定システム。

【請求項7】

請求項１に記載の三次元形状測定システムであって、
前記１以上の参照構造物は、前記対象物が取り付けられる対象物設置装置を含み、
前記対象物の前記対象物設置装置への取り付け方向が、前記対象物設置装置の前記押し出し方向として規定されている、
ことを特徴とする三次元形状測定システム。

【請求項8】

請求項７に記載の三次元形状測定システムであって、
前記コントローラは、前記演算用画像に基づいて前記対象物の三次元形状データを生成するように構成され、
前記コントローラは、
前記対象物設置装置に取り付けられる前記対象物の特性に応じた属性を前記対象物設置装置に対応付けて予め記憶し、
前記対象物設置装置が前記参照構造物の一つとして選択された場合、前記対象物の三次元形状データに、前記対象物設置装置に対応付けられた属性を付与する、
ように構成されていることを特徴とする三次元形状測定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、対象物を撮像した画像に基づいて、対象物の形状を測定する三次元形状測定システムを開示する。

【背景技術】

【0002】

従来から、対象物を撮像した画像に基づいて、対象物の形状を測定する技術が知られている。

【0003】

例えば、特許文献１には、ステージに載置された対象物に、パターン光を照射し、対象物をカメラで撮像し、得られた画像に基づいて対象物の立体形状を表す点群データを生成する技術が開示されている。ここで、通常、カメラで撮像された画像には、対象物以外の不要な領域も含まれている。かかる不要な領域を含む画像に基づいて、点群データを生成した場合、演算量が多くなるばかりでなく、対象物の形状が誤って測定される可能性もある。そこで、特許文献１では、予め、ステージ上の空間に対して有効領域と無効領域とを識別するための領域情報を記憶しておき、有効領域に対応する点群データのみを生成している。かかる構成とすることで、対象物の形状測定に要する演算量を低減できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－４２７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術は、有効領域が不変であるため、対象物のサイズやカメラに対する位置が、常に一定の範囲内に収まる場合にしか利用できない。一方で、三次元形状測定システムの中には、対象物の位置やサイズが適宜、変更されるものもある。例えば、三次元形状測定システムが、工作機械に組み込まれる場合がある。この場合、三次元形状測定システムは、ワークや工具等を対象物とし、これらの形状を測定する。ここで、工作機械では、様々な品種の製品の加工を行う。製造する製品の品種が変更されるたびに、ワークや工具等の位置およびサイズが大きく変化する。また、一つのワークを加工する期間中においても、加工の進捗に応じて、ワークや工具等の位置が変化する。かかる場合には、特許文献１の技術を利用できず、対象物（ワーク等）を撮像した画像から不要領域を除去することが難しかった。

【0006】

そこで、本明細書では、対象物の位置やサイズが変化する場合でも、対象物を撮像した画像から不要なデータを容易に除去できる三次元形状測定システムを開示する。

【課題を解決するための手段】

【0007】

本明細書で開示する三次元形状測定システムは、対象物を撮像して、基礎画像を取得するカメラと、前記対象物の形状を測定するコントローラと、を備え、前記コントローラは、複数の既知構造物の三次元形状データを予め記憶しており、前記複数の既知構造物の中から１以上の構造物を、１以上の参照構造物として特定し、前記三次元形状データに基づいて、前記１以上の参照構造物それぞれを所定の押し出し方向に押し出した押し出し領域を１以上算出し、前記１以上の押し出し領域と前記基礎画像とに基づいて、前記基礎画像を部分的にトリミングした演算用画像を生成し、前記演算用画像に基づいて、前記対象物の形状を測定する、ように構成されていることを特徴とする。

【0008】

この場合、前記１以上の参照構造物は、前記対象物と連動して移動または姿勢変更する構造物を含んでもよい。

【0009】

また、前記コントローラは、前記カメラに対して、前記対象物を互いに異なる撮像条件で撮像した複数の基礎画像の取得を指示し、前記複数の基礎画像それぞれに対応する前記演算用画像を生成する、ように構成されており、前記コントローラは、前記基礎画像の前記撮像条件が変更されても、前記演算用画像の生成に利用する前記１以上の参照構造物および前記１以上の押し出し領域を変更しないように構成されていてもよい。

【0010】

また、前記基礎画像の撮像方向は、常に、前記１以上の押し出し方向の一つと平行または直交する方向でもよい。

【0011】

前記コントローラは、前記参照構造物が単一の場合、前記参照構造物の前記押し出し領域を対象領域として特定し、前記参照構造物が複数の場合、複数の前記参照構造物それぞれの前記押し出し領域の論理積領域または論理和領域を前記対象領域として特定し、前記基礎画像から前記対象領域以外の部分をトリミングして前記演算用画像を生成する、ように構成されていてもよい。

【0012】

また、前記コントローラは、前記押し出し方向が互いに平行な複数の前記押し出し領域の論理和領域と、前記押し出し方向が互いに直交する複数の前記押し出し領域の論理積領域と、を前記対象領域として特定する、ように構成されていてもよい。

【0013】

また、前記１以上の参照構造物は、前記対象物が取り付けられる対象物設置装置を含み、前記対象物の前記対象物設置装置への取り付け方向が、前記対象物設置装置の前記押し出し方向として規定されていてもよい。

【0014】

この場合、前記コントローラは、前記演算用画像に基づいて前記対象物の三次元形状データを生成するように構成され、前記コントローラは、前記対象物設置装置に取り付けられる前記対象物の特性に応じた属性を前記対象物設置装置に対応付けて予め記憶し、前記対象物設置装置が前記参照構造物の一つとして選択された場合、前記対象物の三次元形状データに、前記対象物設置装置に対応付けられた属性を付与する、ように構成されてもよい。

【発明の効果】

【0015】

本明細書で開示する三次元形状測定システムによれば、参照構造物の押し出し領域に基づいて演算用画像を生成するため、対象物の位置やサイズが変化する場合でも、対象物を撮像した画像から不要なデータを容易に除去できる。

【図面の簡単な説明】

【0016】

【図1】三次元形状測定システムの構成を示すブロック図である。

【図2】三次元形状測定システムの構成を示すブロック図である。

【図3】対象物のモデルデータの生成の様子を示す図である。

【図4】対象物の一例を示す図である。

【図5】対象物を矢印Ａ方向から撮像した場合に得られる第一基礎画像を示す図である。

【図6】第一基礎画像から第一演算画像を算出する様子を示す図である。

【図7】第二基礎画像から第二演算画像を算出する様子を示す図である。

【図8A】マシニングセンタ用の構造物テーブルの一例を示す図である。

【図8B】タレット旋盤用の構造物テーブルの一例を示す図である。

【図9】参照構造物が複数ある場合における演算用画像の算出の様子を示す図である。

【図10】対象物のモデルデータを生成する処理の流れを示すフローチャートである。

【図11】演算用画像を生成する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、図面を参照して三次元形状測定システム１０の構成について説明する。図１は三次元形状測定システム１０の構成を示すブロック図である。図１の例において、三次元形状測定システム１０は、工作機械８０と組み合わせて使用される。

【0018】

工作機械８０は、製品を製造するためにワーク９０に対して所定の加工を施す。かかる工作機械８０の種類は、特に限定されない。例えば、工作機械８０は、ワーク９０をプレスするプレス装置や、ワーク９０に塗装を施す塗装装置、ワーク９０に対して切削加工を施す切削加工機でもよい。図１において、工作機械８０は、並進可能なテーブル８６を有するマシニングセンタである。この工作機械８０は、主軸頭９４と、テーブル８６と、を含む。

【0019】

かかる工作機械８０は、数値制御装置８２を含む。数値制御装置８２は、加工プログラム（「ＮＣプログラム」ともいう）を解析して、ワークに対する工具経路、加工に必要な作業の工程等を、数値および符号で構成した数値情報を生成する。数値制御装置８２は、この数値情報に基づいて、工作機械８０の駆動を制御する。かかる数値制御装置８２は、物理的には、プロセッサとメモリとを含むコンピュータである。工作機械８０は、さらに、オペレータに情報を提示するとともにオペレータからの指令を受け付ける操作パネル８４も含む。数値制御装置８２は、有線通信または無線通信により、三次元形状測定システム１０のコントローラ１２と通信可能である。

【0020】

三次元形状測定システム１０は、対象物４０の形状を示す点群データ４６および三次元形状データ４８（例えば、ＣＡＤデータ等）を生成する。以下では、三次元形状データを「モデルデータ」と略す。ここで、対象物４０は、後述する撮像ユニット３０で撮像可能な物品であれば、特に限定されない。したがって、対象物４０は、例えば、ワーク９０や工具９２、治具等でもよい。対象物４０のモデルデータ４８は、数値制御装置８２に送られ、各種シミュレーションや、判定に利用される。例えば、対象物４０がワーク９０の場合、数値制御装置８２は、ワーク９０のモデルデータ４８に基づいて、工具９２とワーク９０との干渉チェックや、工具９２の経路生成、加工精度の判定、対象物４０の形状が基準形状と一致するかの判定、対象物４０が所定の位置にあるか否かの判定等を行う。また、対象物４０が工具９２の場合、数値制御装置８２は、工具９２のモデルデータ４８に基づいて、工具９２の摩耗判定や、工具９２の種類判定、工具９２の取付状態の良否判定等を行う。

【0021】

三次元形状測定システム１０は、コントローラ１２と、撮像ユニット３０と、を含む。撮像ユニット３０は、コントローラ１２から送信される撮像条件７０に従って、対象物４０を撮像し、基礎画像４２を取得する。なお、撮像条件７０は、基礎画像４２を撮像する際の条件であり、例えば撮像方向や、撮像位置、撮像倍率等を含む。撮像ユニット３０は、基礎画像４２をコントローラ１２に送信する。

【0022】

コントローラ１２は、撮像ユニット３０による撮像処理を制御するとともに、対象物４０の形状を把握するために、基礎画像４２に基づいて対象物４０の点群データ４６およびモデルデータ４８を生成する。生成されたモデルデータ４８は、数値制御装置８２に送信される。また、後に詳説する通り、コントローラ１２は、数値制御装置８２から加工情報６６を取得する。加工情報６６は、工作機械８０に設けられた既知構造物の制御状態を含む。すなわち、工作機械８０は、テーブル８６や主軸頭９４等、その形状が既知の構造物を複数含む。こうした既知構造物の中には、加工の進捗に伴い、位置や姿勢が変化するものがある。加工情報６６は、こうした既知構造物の位置や姿勢に関する情報を含む。

【0023】

次に、三次元形状測定システム１０の構成について、より詳細に説明する。図２は、三次元形状測定システム１０の構成を示すブロック図である。図２に示すように、また、上述した通り、三次元形状測定システム１０は、コントローラ１２と、撮像ユニット３０と、を含む。

【0024】

コントローラ１２は、物理的には、プロセッサ１４と、メモリ１６と、通信Ｉ／Ｆ２２と、ＵＩ装置２４と、を有したコンピュータである。この「コンピュータ」には、コンピュータシステムを一つの集積回路に組み込んだマイクロコントローラも含まれる。また、プロセッサ１４とは、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0025】

メモリ１６は、各種データを記憶する装置で、プロセッサ１４が直接アクセスする主記憶装置、および、プロセッサ１４が入出力チャネルを介してアクセスする補助記憶装置の双方を含む。主記憶装置は、例えば、半導体メモリを含む。補助記憶装置は、例えば半導体メモリや、磁気記憶装置を含む。

【0026】

メモリ１６は、モデルＤＢ１８および構造物テーブル２０を記憶している。モデルＤＢ１８は、複数の既知構造物それぞれのモデルデータを記憶したデータベースである。既知構造物は、予め形状が既知の構造物であれば、特に限定されない。したがって、既知構造物は、例えば、テーブル８６、主軸頭９４、バイス８８、カバー、および、固定台の少なくとも一つを含んでもよい。また、工作機械８０が旋盤または複合加工機等の場合、既知構造物は、上記に替えて、または、加えて、ワーク主軸、タレット、刃物台、心押台の少なくとも一つを含んでもよい。こうした既知構造物のモデルデータを、コントローラ１２が生成してもよいし、他のコンピュータ（例えば数値制御装置８２等）が生成してもよい。他のコンピュータが生成したモデルデータは、通信Ｉ／Ｆ２２を介してコントローラ１２に送信され、モデルＤＢ１８に登録される。構造物テーブル２０は、複数の既知構造物それぞれの情報を記録したテーブル８６である。この構造物テーブル２０に記録される情報については、後に詳説する。

【0027】

通信Ｉ／Ｆ２２は、外部の他の電子機器と、有線通信または無線通信により、データを送受する。通信Ｉ／Ｆ２２は、例えば、数値制御装置８２および撮像ユニット３０と通信する。ＵＩ装置２４は、オペレータに各種情報を提示するとともに、オペレータからの指示を受け付ける。かかるＵＩ装置２４は、例えば、ディスプレイやスピーカ等の出力装置と、キーボードやマウス、マイク、タッチパネル等の入力装置と、を含む。なお、本例では、ＵＩ装置２４を、コントローラ１２の構成要素として記載しているが、ＵＩ装置２４の一部または全ては、コントローラ１２とは、完全に異なる別の装置として構成されてもよい。例えば、ＵＩ装置２４の一部機能は、オペレータが所有するとともにコントローラ１２と通信可能な情報端末（例えばスマートホン等）のユーザインターフェースで実現されてもよい。また、コントローラ１２は、単一のコンピュータである必要はなく、物理的に離隔した複数のコンピュータを組み合わせて構成されてもよい。

【0028】

撮像ユニット３０は、工作機械８０の加工室内に存在する対象物４０を撮像する。撮像ユニット３０は、図２に示すように、カメラ３２と、光源３４と、を含む。カメラ３２は、対象物４０を撮像し、基礎画像４２を取得する。カメラ３２は、基礎画像４２をコントローラ１２に送信する。なお、カメラ３２は、一つでもよいし、複数でもよい。光源３４は、対象物４０を照射する。かかる光源３４は、対象物４０を単純に照らし出すライトでもよいし、対象物４０に所定のパターン光を照射するプロジェクタでもよい。

【0029】

次に、三次元形状測定システム１０による対象物４０のモデルデータ４８の生成について図３を参照して説明する。対象物４０のモデルデータ４８を生成する場合、コントローラ１２は、撮像ユニット３０を駆動して、対象物４０の基礎画像４２を取得する。このとき、対象物４０の一部の面または全ての面について基礎画像４２が得られるように、カメラ３２に対する対象物４０の相対的な位置および角度を変更して、複数回撮像を行う。なお、カメラ３２に対する対象物４０の相対的な位置および角度を変更するために、対象物４０を動かしてもよいし、カメラ３２を動かしてもよいし、対象物およびカメラ３２の双方を動かしてもよい。また、撮像ユニット３０は、専用の可動機構を有してもよい。また、撮像ユニット３０は、工作機械８０の可動体（例えば、マシニングセンタにおける主軸頭９４、旋盤における刃物台等）に取り付けられてもよい。この場合、可動体が動くことで、撮像ユニット３０の対象物４０に対する相対的な位置および角度を変更できる。

【0030】

コントローラ１２は、得られた基礎画像４２を部分的にトリミングし、演算用画像４４を生成する。図３の上段は、２つの基礎画像４２から抽出された２つの演算用画像４４ａ，４４ｂを示している。この演算用画像４４の生成手順については後述する。次に、コントローラ１２は、演算用画像４４に基づいて、対象物４０の点群データ４６を生成する。図３の例では、コントローラ１２は、対象物４０を第一の方向から撮像した演算用画像４４ａと、対象物４０を第一の方向と異なる第二の方向から撮像した演算用画像４４ｂと、を取得する。コントローラ１２は、この二つの演算用画像４４ａ，４４ｂそれぞれから、対象物４０の点群データ４６ａ，４６ｂを生成する。コントローラ１２は、複数の点群データ４６ａ，４６ｂを合成したうえで、合成後の点群データ４６に基づいてモデルデータ４８を生成する。

【0031】

なお、点群データ４６は、光切断法または位相シフト法または三角法またはステレオ法またはこれらの組み合わせで、算出される。なお、光切断法または位相シフト法を用いる場合、光源３４は、これらの手法に適したパターン光を対象物４０に照射する。また、三角法を用いる場合、撮像ユニット３０は、互いに離隔して配置された２以上のカメラ３２で、一つの対象物４０を並行して撮像する。

【0032】

また、点群データ４６からモデルデータ４８を生成する手順は、従来技術を利用できるため、ここでの詳説は、省略する。また、上記の例では、複数の点群データ４６ａ，４６ｂを合成した後にモデルデータ４８を生成しているが、この順序は、逆でもよい。例えば、複数の点群データ４６ａ，４６ｂそれぞれに基づいて、サーフェースデータを生成し、その後、複数のサーフェースデータを合成して、モデルデータ４８を生成してもよい。

【0033】

ところで、上述した通り、本例では、基礎画像４２を部分的にトリミングして演算用画像４４を生成し、この演算用画像４４に基づいて点群データ４６を生成する。このように演算用画像４４を生成するのは、誤測定を防止し、また、演算量を低減するためである。すなわち、通常、カメラ３２で取得される基礎画像４２には、対象物４０以外の像も多数含まれている。かかる基礎画像４２から直接、点群データ４６を算出した場合、対象物４０の形状が誤って測定される可能性がある。また、この場合、対象物４０と関係ない箇所の点も算出する必要があり、演算量が多くなる。そこで、本例では、基礎画像４２のうち不要部分をトリミングした演算用画像４４を生成している。

【0034】

以下、この演算用画像４４の生成について説明する。本例においては、既知構造物のモデルデータを利用して演算用画像４４を生成する。図４～図７は、演算用画像４４の生成の様子を示す模式図である。

【0035】

本例においては、特定の既知構造物を参照構造物５２とし、この参照構造物５２を所定の押し出し方向に押し出した押し出し領域５６に基づいて演算用画像４４を生成する。すなわち、上述した通り、工作機械８０には、テーブル８６やバイス８８などの既知構造物が多数設けられている。対象物４０の形状を測定する場合、オペレータは、この複数の既知構造物のうち、１以上の構造物を参照構造物５２として指定する。コントローラ１２は、参照構造物５２を所定の押し出し方向に押し出した押し出し領域５６を演算する。そして、得られた押し出し領域５６を基礎画像４２に重ね合わせ、押し出し領域５６の内側の領域を対象領域６０として残し、押し出し領域５６の外側の領域を不要領域としてトリミングする。このトリミングにより得られる画像が演算用画像４４となる。

【0036】

例えば、図４に示すように、テーブル８６の上にバイス８８が固定され、バイス８８に対象物４０であるワーク９０が、取り付けられているとする。なお、テーブル８６は、加工の進捗に伴い、並進する。こうしたテーブル８６の動きは数値制御装置８２によって制御される。バイス８８は、手動でテーブル８６に固定される。バイス８８のテーブル８６に対する相対位置は、工作機械８０に設けられたセンサ（図示せず）により、予め測定される。数値制御装置８２からコントローラ１２に送られる加工情報６６は、こうしたテーブル８６の位置および姿勢に関する情報、および、バイス８８の固定位置に関する情報を含む。

【0037】

図４に示す状態で、バイス８８が、参照構造物５２として選択され、矢印Ａ方向が、押し出し方向として特定された場合を考える。この場合、コントローラ１２は、押し出し方向と平行な方向または直交する方向を、撮像方向として撮像ユニット３０に指示する。図５は、対象物４０であるワーク９０を矢印Ａ方向から撮像した場合に得られる第一基礎画像４２ａである。図５から明らかな通り、この場合、第一基礎画像４２ａには、ワーク９０以外の像も多数含まれている。なお、基礎画像４２の解像度を向上するために、もしくは、１ショットの画角より広い領域を基礎画像とするために、同一方向かつ互いに異なる位置から対象物４０を複数回撮像し、得られた複数の画像を合成した画像を、一つの基礎画像４２として取り扱ってもよい。

【0038】

コントローラ１２は、第一基礎画像４２ａから不要部分を除去するために、参照構造物５２であるバイス８８を押し出し方向（すなわち矢印Ａ方向）に押し出した押し出し領域５６を演算する。そして、得られた押し出し領域５６を第一基礎画像４２ａに重ね合わせる。図６は、第一基礎画像４２ａと押し出し領域５６とを重ね合わせた様子を示す図である。コントローラ１２は、押し出し領域５６の内側を対象領域６０、押し出し領域５６の外側を不要領域として特定する。図６において、クロスハッチングを施した領域が不要領域である。コントローラ１２は、第一基礎画像４２ａのうち対象領域６０のみを抽出した画像、換言すれば、第一基礎画像４２ａから不要領域をトリミングした画像を、第一演算用画像４４ａとして算出する。その後は、この第一演算用画像４４ａに基づいて、対象物４０の点群データ４６を生成する。

【0039】

ワーク９０を別の方向から撮像して得られる別の基礎画像４２に対しても、同様の処理を施す。例えば、図７は、ワーク９０を矢印Ｂ方向から撮像した場合に得られる第二基礎画像４２ｂを示す図である。この場合も、コントローラ１２は、バイス８８を押し出し方向（すなわち矢印Ａ方向）に押し出した押し出し領域５６を演算し、得られた押し出し領域５６を第二基礎画像４２ｂに重ねあわせる。そして、押し出し領域５６の内側を対象領域６０、押し出し領域５６の外側を不要領域として特定する。図７において、クロスハッチングを施した領域が不要領域である。コントローラ１２は、第二基礎画像４２ｂのうち対象領域６０のみを抽出した画像を、第二演算用画像４４ｂとして算出する。その後、コントローラ１２は、この第二演算用画像４４ｂに基づいて、点群データ４６を生成する。

【0040】

以上の説明から明らかな通り、本例では、基礎画像４２を部分的にトリミングした演算用画像４４を算出し、この演算用画像４４に基づいて点群データ４６を生成する。これにより点群データ４６の算出に必要な演算量を低減でき、また、対象物４０以外の物体を対象物４０として誤測定するリスクを低減できる。

【0041】

ところで、基礎画像４２の不要部分をトリミングする場合、他の技術も考えられる。例えば、特許文献１では、基礎画像４２から演算用画像４４として抽出すべき領域を予め記憶している。しかし、特許文献１の技術の場合、記憶されている領域が不変であるため、対象物４０の位置やサイズが大きく変化すると、演算用画像４４を適切に抽出できないという問題がある。一方、本例の場合、対象物４０に応じて、オペレータが参照構造物５２を指定するため、対象物４０の位置やサイズが大きく変化しても、対象領域６０を適切に設定できる。

【0042】

また、別の技術として、オペレータが、基礎画像４２を観察しながら、マウス等の入力手段を用いて、対象領域６０となる矩形範囲指定する技術も考えられる。以下では、このようにオペレータが対象領域６０を直接指定する技術を「直接指定方式」と呼ぶ。直接指定方式によれば、対象物４０の位置やサイズが大きく変化したとしても、対象領域６０を適切に設定できる。しかし、直接指定方式の場合、オペレータは、複数の基礎画像４２それぞれについて対象領域６０の指定作業を行わなければならず、手間であった。例えば、図６および図７における第一演算用画像４４ａおよび第二演算用画像４４ｂを直接指定方式で指定する場合を考える。この場合、オペレータは、対象領域６０の指定作業を２回行わなければならず、オペレータの手間が多くなる。

【0043】

一方、本例のように、参照構造物５２の押し出し領域５６を対象領域６０として抽出する技術の場合、複数の基礎画像４２から複数の演算用画像４４を算出するために必要なオペレータの手間を削減できる。例えば、図６および図７における第一演算用画像４４ａおよび第二演算用画像４４ｂを算出する場合を考える。本例の場合、オペレータは、最初に、参照構造物５２（すなわちバイス８８）および押し出し方向（すなわち矢印Ａ方向）を指定さえすれば、撮像方向が変化しても、適切な演算用画像４４を算出できる。結果として、本例によれば、オペレータの手間を、直接指定方式に比べて大幅に低減できる。

【0044】

さらに、本例では、参照構造物５２として、対象物４０とともに動く構造物を選択している。すなわち、図４の例では、参照構造物５２として、ワーク９０が取り付けられたバイス８８が選択されている。そのため、テーブル８６の位置および姿勢の変化に伴い、ワーク９０（すなわち対象物４０）の位置および姿勢が変化したとしても、ワーク９０に対するバイス８８（すなわち参照構造物５２）の相対位置は変化しない。そして、この場合、ワーク９０の位置および姿勢が変化しても、演算用画像４４を適切に抽出できる。

【0045】

特に、工作機械８０では、一つのワーク９０の形状測定を、加工の進捗に応じて、複数回行うことがある。例えば、加工開始前、荒加工完了後、仕上げ加工完了後のそれぞれのタイミングで、一つのワーク９０の形状を測定する場合がある。このとき、タイミングによって、ワーク９０の位置が変化する可能性がある。参照構造物５２として対象物４０とともに動く構造物を選択しておけば、ワーク９０の位置が変化した場合でも、参照構造物５２を再度指定しなくても、演算用画像４４を適切に抽出できる。結果として、オペレータの手間を大幅に軽減できる。

【0046】

次に、押し出し方向の決定について説明する。繰り返し説明する通り、本例では、参照構造物５２を押し出し方向に押し出した押し出し領域５６に基づいて演算用画像４４を抽出している。ここで、押し出し方向は、オペレータにより指定されてもよいし、予め規定されていてもよい。例えば、対象物４０が取り付けられる対象物設置装置の場合、対象物４０の取り付け方向を押し出し方向として事前に規定してもよい。ここで、対象物４０がワークの場合、バイス８８、テーブル８６、および、ワーク主軸等が、対象物設置装置に該当する。そして、例えば、ワーク９０は、Ａ方向からバイス８８に取り付けられるため、Ａ方向をバイス８８の押し出し方向として事前に規定してもよい。同様に、旋盤において、ワーク９０は、ワーク回転軸方向からワーク主軸に取り付けられるため、ワーク回転軸方向をワーク主軸の押し出し方向として事前に規定してもよい。

【0047】

また、対象物４０が工具９２の場合、マシニングセンタにおける主軸頭９４や、タレット旋盤におけるタレット等が対象物設置装置に該当する。ただし、通常、タレットは、工具取り付け部を複数有している。換言すれば、タレットへの対象物４０（工具）の取り付け方向は、複数存在する。かかる場合、コントローラ１２は、複数の取り付け方向を押し出し方向の候補としてオペレータに提示してもよい。オペレータは、複数の候補の中から一つの押し出し方向を選択する。

【0048】

さらに、別の形態として、オペレータが押し出し方向を指定してもよい。押し出し方向の指定手順は、特に限定されない。例えば、オペレータは、二つの点の座標を指定し、コントローラ１２は、この二つの点を通る直線と平行な方向を押し出し方向として特定してもよい。また、別の形態として、オペレータは、特定の平面を指定し、コントローラ１２は、指定された面に対して直交する方向を押し出し方向として特定してもよい。

【0049】

構造物テーブル２０には、既知構造物と、押し出し方向と、が対応付けて記録されている。図８Ａは、マシニングセンタ用の構造物テーブル２０の一例を示す図であり、図８Ｂは、タレット旋盤用の構造物テーブル２０の一例を示す図である。コントローラ１２は、オペレータにより参照構造物５２が指定された場合、当該参照構造物５２を構造物テーブル２０に照らし合わせ、当該参照構造物５２の押し出し方向を特定する。構造物テーブル２０において、参照構造物５２の押し出し方向として単一の方向が記録されている場合、コントローラ１２は、当該単一の方向を押し出し方向として自動的に決定する。また、構造物テーブル２０において、押し出し方向として複数の方向が記録されている場合、コントローラ１２は、この複数の方向を押し出し方向の候補としてオペレータに提示する。また、構造物テーブル２０において、押し出し方向として「オペレータ指定」が記録されている場合、コントローラ１２は、オペレータに対して押し出し方向の指定を促す。

【0050】

次に、参照構造物５２の指定について説明する。上述した通り、本例では、オペレータが１以上の参照構造物５２を指定する。この参照構造物５２の指定の形態は、特に限定されない。したがって、参照構造物５２の指定のために、ＵＩ装置２４のディスプレイに既知構造物の画像（例えばイラストやＣＧ画像等）を表示してもよい。例えば、参照構造物５２の指定をオペレータから受け付ける場合、コントローラ１２は、対象物４０の撮像画像を取得し、この撮像画像に、参照構造物５２として指定可能な既知構造物の画像を重畳してディスプレイに表示してもよい。この場合、オペレータは、参照構造物５２として利用したい既知構造物の画像を選択すればよい。かかる構成とすることで、オペレータは、参照構造物５２に適した既知構造物を視覚的に判断できる。もちろん、こうした指定手順に替えて、他の指定手順を採用してもよい。例えば、オペレータは、参照構造物５２として利用したい既知構造物のモデルデータファイルのファイルパスを入力してもよい。

【0051】

また、指定される参照構造物５２は、一つに限らず、複数でもよい。複数の参照構造物５２が選択された場合、コントローラ１２は、複数の押し出し領域５６の論理和または論理積をとり、この論理演算により得られる領域を対象領域６０として特定する。

【0052】

より具体的に説明すると、コントローラ１２は、複数の参照構造物５２の押し出し領域５６が互いに平行な場合、複数の押し出し領域５６の論理和領域を対象領域６０として特定する。また、コントローラ１２は、複数の参照構造物５２の押し出し領域５６が互いに非平行である場合、複数の押し出し領域５６の論理積領域を対象領域６０として特定する。

【0053】

例えば、図９に示すように、テーブル８６の上にワーク９０が載置されており、ワーク９０の側方に、複数のカバー９６ａ～９６ｄが配置されている場合を考える。テーブル８６の押し出し方向は、Ｚ方向（すなわち紙面垂直方向）であり、カバー９６ａ～９６ｄの押し出し方向は、Ｙ方向（すなわち紙面上下方向）である。かかる場合において、ワーク９０の形状を測定するために、テーブル８６とカバー９６ｂとカバー９６ｃとが参照構造物５２として選択されたとする。

【0054】

この場合、コントローラ１２は、押し出し方向が互いに平行な参照構造物５２が同一グループに属するように、複数の参照構造物５２を、押し出し方向に基づいてグルーピングする。続いて、コントローラ１２は、同一グループに属する参照構造物５２の押し出し領域５６の論理和を演算する。続いて、コントローラ１２は、１以上のグループそれぞれの押し出し領域５６の論理積を演算し、演算で得られた領域を対象領域６０とする。

【0055】

図９の例において、コントローラ１２は、二つのカバー９６ｂ，９６ｃが属する第一グループと、テーブル８６が属する第二グループと、にグルーピングする。続いて、コントローラ１２は、カバー９６ｂの押し出し領域５６ｂと、カバー９６ｃの押し出し領域５６ｃと、の論理和領域５７を求める。その後、コントローラ１２は、この論理和領域５７と、テーブル８６の押し出し領域５６ｔと、の論理積領域を対象領域６０として算出する。図９の下段において、ハッチングが施されていない領域が対象領域６０である。なお、本例では、押し出し方向に基づいて、論理和および論理積のいずれを算出するかを自動的に決定しているが、オペレータが、こうした決定を行ってもよい。したがって、オペレータが希望する場合には、押し出し方向が互いに異なる二つの押し出し領域５６の論理和を演算してもよい。

【0056】

ところで、参照構造物５２の中には、対象物４０が取り付けられる対象物設置装置がある。かかる対象物設置装置に、予め、または、オペレータの指示により、対象物４０のモデルデータ４８に付与すべき属性情報を関連付けてもよい。

【0057】

すなわち、三次元形状測定システム１０は、対象物４０のモデルデータ４８を生成する。このモデルデータ４８は、干渉チェック等のシミュレーションに利用される。こうしたシミュレーションを適切に行うためには、対象物４０のモデルデータ４８に、予め、種々の属性情報、例えば、切削可能か否か等の情報が付与されていることが求められる。しかし、こうした属性情報を、モデルデータ４８の生成の度に、オペレータが設定することは手間であった。

【0058】

そこで、対象物設置装置に、属性情報を、予め関連付けていてもよい。対象物設置装置が参照構造物５２として選択された場合、コントローラ１２は、参照構造物５２（すなわち対象物設置装置）を利用して生成されたモデルデータ４８に、属性情報を自動的に付与する。こうした属性情報は、例えば、構造物テーブル２０に事前に記録されてもよい。図８Ａ、図８Ｂの例の場合、属性情報として削り取りの可否が記録されている。テーブル８６やバイス８８等のようにワーク９０が取り付けられる対象物設置装置は、削り取りが「可」として記録されている。そのため、コントローラ１２は、参照構造物５２としてテーブル８６が選択された場合、当該参照構造物５２（テーブル８６）を利用して生成されたモデルデータ４８に削り取り「可」の属性情報を自動的に付与する。また、図８の例の場合、主軸頭９４やタレット等のように、工具９２が取り付けられる対象物設置装置は、削り取りが「不可」として記録されている。そのため、コントローラ１２は、参照構造物５２として主軸頭９４が選択された場合、当該参照構造物５２（主軸頭９４）を利用して生成されたモデルデータ４８に削り取り「不可」の属性情報を自動的に付与する。かかる構成とすることで、オペレータの手間をより軽減できる。なお、こうした属性情報は、構造物テーブル２０に事前記録するのではなく、オペレータが指定してもよい。

【0059】

次に、対象物４０のモデルデータ４８を生成する処理の流れについて図１０、図１１を参照して説明する。対象物４０の三次元形状データ４８を生成したい場合、コントローラ１２は、参照構造物５２および押し出し方向を決定する（Ｓ１０）。参照構造物５２は、オペレータにより指定される。また、指定される参照構造物５２は、一つでもよいし複数でもよい。押し出し方向は、コントローラ１２が自動的に決定してもよいし、オペレータが指定してもよい。

【0060】

次に、コントローラ１２は、決定された押し出し方向に基づいて、対象物４０の撮像条件７０を決定する（Ｓ１２）。ここで、コントローラ１２は、撮像方向ごとに、一つの撮像条件７０を決定する。したがって、対象物４０を五つの撮像方向から撮像する場合、コントローラ１２は、五つの撮像条件７０を決定する。また、通常、撮像方向、ひいては、撮像条件７０は、複数となる。すなわち、対象物４０の全体の形状を把握するためには、撮像方向を変えながら、対象物４０を複数回、撮像する必要がある。そこで、ステップＳ１２において、コントローラ１２は、撮像方向が互いに異なる複数の撮像条件７０を決定する。また、コントローラ１２は、押し出し方向に対して平行する方向および直交する方向を撮像方向として決定する。

【0061】

撮像条件７０は、少なくとも撮像方向を含み、さらに、撮像位置、撮像倍率、および、撮像回数の少なくとも一つを含んでもよい。ここで、上述した通り、一つの撮像方向に関して、参照構造物５２を複数回撮像してもよい。例えば、カメラ３２の光軸をＡ方向と平行に保ったまま、カメラ３２を並進させながら、参照構造物５２を複数回撮像してもよい。そして、得られた複数の画像を合成して、一つの基礎画像４２としてもよい。そのため、コントローラ１２は、撮像方向ごとに、参照構造物５２全体の像が得られるような撮像位置、撮像倍率、撮像回数を撮像条件７０として決定してもよい。なお、参照構造物５２が不動で位置固定の場合、当該参照構造物５２の位置は、モデルＤＢ１８に記録されている。一方、参照構造物５２の位置が変化する場合、例えば、参照構造物５２が主軸頭９４等である場合、当該参照構造物５２の位置は、数値制御装置８２から送られる加工情報６６に基づいて特定される。

【0062】

続いて、コントローラ１２は、パラメータｉを、初期値「１」に設定する（Ｓ１４）。その後、コントローラ１２は、撮像ユニット３０に対して、ｉ番目の撮像条件７０に基づく撮像を指示し、ｉ番目の基礎画像４２を取得する（Ｓ１６）。なお、繰り返し述べる通り、ｉ番目の基礎画像４２は、１回の撮像で取得してもよいし、２以上の画像を合成して生成されてもよい。ｉ番目の基礎画像４２が得られれば、コントローラ１２は、ステップＳ１０で決定した参照構造物５２および押し出し方向を利用して、基礎画像４２からｉ番目の演算用画像４４を抽出する（Ｓ１８）。

【0063】

具体的には、図１１に示すように、コントローラ１２は参照構造物５２のモデルデータと、加工情報６６と、に基づいて、機械座標における参照構造物５２の位置および形状を特定する（Ｓ３０）。次に、撮像条件７０に基づいて、参照構造物５２の位置を機械座標からカメラ座標に変換する（Ｓ３２）。

【0064】

参照構造物５２のカメラ座標が取得できれば、コントローラ１２は、１以上の参照構造物５２それぞれについて、基礎画像４２における押し出し領域５６を特定する（Ｓ３４）。さらに、コントローラ１２は、算出された１以上の押し出し領域５６に基づいて対象領域６０を特定する（Ｓ３６）。具体的には、押し出し領域５６が単一の場合、コントローラ１２は、当該押し出し領域５６を対象領域６０として特定する。一方、押し出し領域５６が複数の場合、コントローラ１２は、押し出し方向に基づいて、複数の押し出し領域５６の論理和または論理積を求め、論理演算で得られた領域を対象領域６０として特定する。

【0065】

対象領域６０が特定できれば、コントローラ１２は基礎画像４２から対象領域６０のみを演算用画像４４として抽出する（Ｓ３８）。演算用画像４４が抽出できれば、図１０のステップＳ２０に進む。ステップＳ２０において、コントローラ１２は、ｉ番目の演算用画像４４から対象物４０の点群データ４６を算出する。算出された点群データ４６は、撮像条件７０とともにメモリ１６に一時記憶される。

【0066】

次に、コントローラ１２はパラメータｉと、数値ｉｍａｘと、を比較する（Ｓ２２）。なお、ｉｍａｘは、ステップＳ１２で特定された撮像条件７０、ひいては、撮像方向の個数である。ｉｍａｘは、通常、２以上の自然数である。ｉ＜ｉｍａｘの場合、パラメータｉをインクリメントしたうえで（Ｓ２４）、ステップＳ１６～Ｓ２２を再度繰り返す。一方、ｉ≧ｉｍａｘとなれば、コントローラ１２は、メモリ１６に一時記憶されているｉｍａｘ個の点群データ４６を合成したうえで（Ｓ２６）、対象物４０のモデルデータ４８を生成する（Ｓ２８）。

【0067】

以上の説明から明らかな通り、本例では、基礎画像４２の撮像方向が変更されても、演算用画像４４の生成に利用する参照構造物５２および押し出し領域５６を変更しない。そのため、オペレータは、ステップＳ１０で、参照構造物５２のみを指定、または、参照構造物５２と押し出し方向の双方を指定するだけでよく、複数の演算用画像４４を生成するために必要なオペレータの手間を軽減できる。

【0068】

ただし、これまで説明した構成はいずれも一例であり、１以上の参照構造物５２それぞれを、対応する押し出し方向に押し出して、１以上の押し出し領域５６を算出し、この１以上の押し出し領域５６に基づいて、基礎画像４２を部分的にトリミングした演算用画像４４を生成するのであれば、その他の構成は適宜変更されてもよい。例えば、撮像方向が変化するたびに、参照構造物５２を指定するようにしてもよい。また、上述の例においては、押し出し領域５６の内側を対象領域６０として特定している。しかし、押し出し領域５６の内側をトリミング領域とし、押し出し領域５６の外側を対象領域６０として特定してもよい。

【0069】

また、三次元形状測定システム１０は、工作機械８０ではなく、他の装置と組み合わせて使用されてもよい。三次元形状測定システム１０は、いずれの装置とも組み合わされることなく、単独で使用されてもよい。また、これまでの説明では、三次元形状測定システム１０を、工作機械８０と独立した別の装置として説明している。しかし、三次元形状測定システム１０は、工作機械８０と一体化されてもよい。例えば、工作機械８０の数値制御装置８２および操作パネル８４により、三次元形状測定システム１０のコントローラ１２を構成し、撮像ユニット３０は、工具９２またはワーク９０の替わりに、工作機械８０に設けられた保持装置に取り付けられてもよい。

【符号の説明】

【0070】

１０ 三次元形状測定システム、１２ コントローラ、１４ プロセッサ、１６ メモリ、１８ モデルＤＢ、２０ 構造物テーブル、２２ 通信Ｉ／Ｆ、２４ ＵＩ装置、３０ 撮像ユニット、３２ カメラ、３４ 光源、４０ 対象物、４２ 基礎画像、４４ 演算用画像、４６ 点群データ、４８ 三次元形状データ（モデルデータ）、５２ 参照構造物、５６ 押し出し領域、５７ 論理和領域、６０ 対象領域、６６ 加工情報、７０ 撮像条件、８０ 工作機械、８２ 数値制御装置、８４ 操作パネル、８６ テーブル、８８ バイス、９０ ワーク、９２ 工具、９４ 主軸頭、９６ カバー。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】