特開 2024-15880 三次元点群データ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024015880

(43)【公開日】2024-02-06

(54)【発明の名称】三次元点群データ処理システム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20240130BHJP

【ＦＩ】

G06T7/593

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022118246

(22)【出願日】2022-07-25

(71)【出願人】

【識別番号】000149066

【氏名又は名称】オークマ株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】廣田 重元

(72)【発明者】

【氏名】片岡 章人

(72)【発明者】

【氏名】大友 隆行

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096FA02

5L096KA04

(57)【要約】      （修正有）

【課題】より少ない計算量で点群データを生成できる三次元点群データ処理システムを提供する。
【解決手段】三次元点群データ処理システム１０は、対象物１００を撮像して、１以上の輝度情報３２を取得する１以上のカメラを有する撮像ユニット２２と、１以上の輝度情報３２から対象物１００の点群データを算出するコントローラ１２と、を備える。コントローラ１２は、１以上の輝度情報３２の少なくとも一つから、対象物１００を取り囲むとともに１以上の矩形を組み合わせて成る少なくとも一つのバウンディングボックスを算出し、少なくとも一つのバウンディングボックスと、１以上の輝度情報３２と、に基づいて点群データを算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物を撮像して、１以上の輝度情報を取得する１以上の撮像器と、
前記１以上の輝度情報から前記対象物の三次元点群データを算出するコントローラと、
を備え、前記コントローラは、
前記１以上の輝度情報の少なくとも一つから、前記対象物を取り囲むとともに１以上の矩形を組み合わせて成る少なくとも一つのＢＢを算出し、
前記少なくとも一つのＢＢと、前記１以上の輝度情報と、に基づいて前記三次元点群データを算出する、
ように構成されている、ことを特徴とする三次元点群データ処理システム。

【請求項2】

請求項１に記載の三次元点群データ処理システムであって、
前記１以上の輝度情報は、前記対象物を第一方向から撮像した第一輝度情報と、前記対象物を前記第一方向と異なる第二方向から撮像した第二輝度情報と、を含む、ことを特徴とする三次元点群データ処理システム。

【請求項3】

請求項２に記載の三次元点群データ処理システムであって、
前記コントローラは、
前記第二輝度情報から、前記対象物を取り囲む第二ＢＢと、前記第二ＢＢを前記第二方向に押し出した第二ＢＢ押し出し空間と、を算出し、
前記第一輝度情報から算出される点のうち、前記第二ＢＢ押し出し空間の外側の点をノイズとして除去する、
ように構成されている、ことを特徴とする三次元点群データ処理システム。

【請求項4】

請求項１から３のいずれか１項に記載の三次元点群データ処理システムであって、
前記１以上の輝度情報は、前記対象物を第一方向から撮像した前記第一輝度情報を含み、
前記コントローラは、
前記第一輝度情報に基づいて、前記対象物を囲む第一ＢＢを算出し、
前記第一輝度情報を構成する複数の画素値のうち、前記第一ＢＢの外側に位置する画素値をノイズとして除去し、除去後の第一輝度情報に基づいて、前記三次元点群データを算出する、
ように構成されている、ことを特徴とする三次元点群データ処理システム。

【請求項5】

請求項１または２に記載の三次元点群データ処理システムであって、
前記コントローラは、少なくとも前記少なくとも一つのＢＢと前記１以上の輝度情報を入力とし、前記１以上の輝度情報を構成する複数の画素それぞれにおける有効点の有無を出力として、予め機械学習させたＡＩとして機能するように構成されている、ことを特徴とする三次元点群データ処理システム。

【請求項6】

請求項１または２に記載の三次元点群データ処理システムであって、
前記コントローラは、少なくとも前記少なくとも一つのＢＢと前記１以上の輝度情報を入力とし、三次元空間を三次元マトリクス状に区切って成る複数の格子空間それぞれにおける有効点の有無を出力として、予め機械学習させたＡＩとして機能するように構成されている、ことを特徴とする三次元点群データ処理システム。

【請求項7】

請求項３に記載の三次元点群データ処理システムであって、
前記１以上の輝度情報は、さらに、１以上の追加の輝度情報を含み、
前記コントローラは、前記１以上の追加の輝度情報から算出される１以上の追加のＢＢと、前記第二ＢＢと、前記第一輝度情報と、に基づき前記三次元点群データを算出する、ように構成されている、ことを特徴とする三次元点群データ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物を撮像して得られる画像データから、対象物の三次元形状を示す三次元点群データを生成する三次元点群データ処理システムを開示する。

【背景技術】

【0002】

近年、対象物を撮像して得られた画像データに基づいて、対象物の三次元形状を示す三次元点群データ（以下「点群データ」と略す）を生成する技術が提案されている。かかる点群データは、例えば、工作機械において、加工対象物の三次元形状の測定に利用でき、この形状測定の結果は、工具と加工対象物との干渉検知や、工具の経路生成、加工精度の測定、物の有無判定等に利用できる。

【0003】

ところで、点群データを生成する際には、画像データから物体の表面を示す点を抽出して得られた点のデータ（以下、画像データから抽出された点データを「一次点データ」と呼ぶ）を、ワールド座標系（システムごとにただ一つの座標系、工作機械の場合は例えば機械座標系やワーク座標系とすればよい）に変換する。ただし、画像データから抽出した一次点データの中には、対象物とは無関係の点、すなわち、ノイズも多く含まれている。かかるノイズが多量に存在すると、対象物の形状を正確に把握できず、また、データサイズが非常に大きくなる。そのため、従来から、点群データからノイズを除去するための技術が多数提案されている。

【0004】

例えば、特許文献１には、対象物の設計形状データを予め記憶しておき、この設計形状データと点群データとを比較し、点群データからノイズを除去する技術が開示されている。

【0005】

また、特許文献２は、点群データから、ＸＺ断面図を作成し、ＸＺ断面から地層表面を推定し、地層以下の点をノイズとして除去する技術が提案されている。また、特許文献３には、点群データを回転させ、回転させたデータから地層表面を割り出し、地層表面から標準偏差の大きい点群を、ノイズとして除去する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１４４６８６号公報

【特許文献2】国際公開第２０１５／０６１４００号公報

【特許文献3】特開２００５－０２４３７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、特許文献１は、予め、設計形状データを有している必要があり、設計形状データがない対象物については、点群データを生成することが難しい。また、特許文献２，３では、地層の推定、および、標準偏差の算出のための計算量が多くなり、ノイズ除去処理に時間がかかるという問題があった。

【0008】

そこで、本明細書では、より少ない計算量で点群データを生成できる三次元点群データ処理システムを開示する。

【課題を解決するための手段】

【0009】

本明細書で開示する三次元点群データ処理システムは、対象物を撮像して、１以上の輝度情報を取得する１以上の撮像器と、前記１以上の輝度情報から前記対象物の三次元点群データを算出するコントローラと、を備え、前記コントローラは、前記１以上の輝度情報の少なくとも一つから、前記対象物を取り囲むとともに１以上の矩形を組み合わせて成る少なくとも一つのＢＢ（バウンティングボックス）を算出し、前記少なくとも一つのＢＢと、前記１以上の輝度情報と、に基づいて前記三次元点群データを算出する、ように構成されている、ことを特徴とする。

【0010】

この場合、前記１以上の輝度情報は、前記対象物を第一方向から撮像した第一輝度情報と、前記対象物を前記第一方向と異なる第二方向から撮像した第二輝度情報と、を含んでもよい。

【0011】

また、前記コントローラは、前記第二輝度情報から、前記対象物を取り囲む第二ＢＢと、前記第二ＢＢを前記第二方向に押し出した第二ＢＢ押し出し空間と、を算出し、前記第一輝度情報から算出される点のうち、前記第二ＢＢ押し出し空間の外側の点をノイズとして除去する、ように構成されていてもよい。

【0012】

また、前記１以上の輝度情報は、前記対象物を第一方向から撮像した前記第一輝度情報を含み、前記コントローラは、前記第一輝度情報に基づいて、前記対象物を囲む第一ＢＢを算出し、前記第一輝度情報を構成する複数の画素値のうち、前記第一ＢＢの外側に位置する画素値をノイズとして除去し、除去後の第一輝度情報に基づいて、前記三次元点群データを算出する、ように構成されていてもよい。

【0013】

また、前記コントローラは、少なくとも前記少なくとも一つのＢＢと前記１以上の輝度情報を入力とし、前記１以上の輝度情報を構成する複数の画素それぞれにおける有効点の有無を出力として、予め機械学習させたＡＩとして機能するように構成されていてもよい。

【0014】

また、前記コントローラは、少なくとも前記少なくとも一つのＢＢと前記１以上の輝度情報を入力とし、三次元空間を三次元マトリクス状に区切って成る複数の格子空間それぞれにおける有効点の有無を出力として、予め機械学習させたＡＩとして機能するように構成されていてもよい。

【0015】

また、前記１以上の輝度情報は、さらに、１以上の追加の輝度情報を含み、前記コントローラは、前記１以上の追加の輝度情報から算出される１以上の追加のＢＢと、前記第二ＢＢと、前記第一輝度情報と、に基づき前記三次元点群データを算出する、ように構成されていてもよい。

【発明の効果】

【0016】

本明細書で開示する技術によれば、１以上の矩形を組み合わせたＢＢは、単純形状であり、その算出のための計算量は少ない。かかるＢＢと輝度情報とに基づいて点群データを生成することで、より少ない計算量で点群データを生成できる。

【図面の簡単な説明】

【0017】

【図1】三次元点群データ処理システムの構成を示す模式図である。

【図2】三次元点群データ処理システムの構成を示すブロック図である。

【図3】三次元モデル作成の大まかな流れを説明する図である。

【図4】高精度ノイズ除去を説明する模式図である。

【図5】対象物の一例を示す図である。

【図6】ＢＢの一例を示す図である。

【図7】他のＢＢの算出の様子を示す図である。

【図8】ＢＢの他の一例を示す図である。

【図9】ＢＢを利用した二次元的なノイズ除去を説明する模式図である。

【図10】ＢＢ押し出し空間を説明する模式図である。

【図11】三次元的なノイズ除去を説明する模式図である。

【図12】三次元的なノイズ除去を説明する模式図である。

【図13】ＢＢ押し出し空間の座標変換を説明する図である。

【図14】ＣＡＤデータの生成処理の前半の流れを示すフローチャートである。

【図15】ＣＡＤデータの生成処理の後半の流れを示すフローチャートである。

【図16】ＣＡＤデータの生成処理の前半の流れの他の例を示すフローチャートである。

【図17】ＡＩの構成の一例を示す図である。

【図18】ＣＡＤデータの生成処理の前半の流れの他の例を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、図面を参照して三次元点群データ処理システム１０の構成について説明する。図１は、三次元点群データ処理システム１０の構成を示す模式図である。図１の例では、三次元点群データ処理システム１０は、工作機械８０と組み合わせて使用される。

【0019】

工作機械８０は、加工製品を製造するためにワークに対して所定の加工を施す。かかる工作機械８０の種類は、特に限定されないが、例えば工作機械８０は、金属製のワークに対して金属加工（例えば切削加工やプレス加工等）を施す金属加工機でもよい。図１において、工作機械８０は、主軸８１および刃物台を有する旋盤である。以下の説明では、この工作機械８０で取り扱うワークを、形状計測の対象物１００として取り扱う。ただし、形状計測の対象物１００はワークに限らず、他の部材、例えば工具や治具等でもよい。

【0020】

かかる工作機械８０は、数値制御装置８２を有している。数値制御装置８２は、加工プログラム（「ＮＣプログラム」ともいう）を解析して、工作機械８０を操作するために、ワークに対する工具経路、加工に必要な作業の工程等を、数値および符号で構成した数値情報で指令する装置である。この数値制御装置８２は、ワーク（すなわち対象物１００）の形状を示すＣＡＤデータ４４に基づいて、工具とワークとの干渉チェックや、工具の経路生成、加工精度の判定、対象物１００の形状が基準形状と一致するかの判定、対象物１００が所定の位置にあるかないかの判定等を行う。かかる数値制御装置８２は、物理的には、プロセッサとメモリとを有したコンピュータである。工作機械８０には、さらに、オペレータに情報を提示するとともにオペレータからの指令を受け付ける操作パネル８４も設けられている。数値制御装置８２は、有線通信または無線通信により、三次元点群データ処理システム１０のコントローラ１２と通信可能である。

【0021】

三次元点群データ処理システム１０は、対象物１００の形状を示す点群データ４０およびＣＡＤデータ４４を生成するもので、コントローラ１２と、撮像ユニット２２と、を有している。撮像ユニット２２は、対象物１００を撮像する。撮像ユニット２２で撮像された画像データ３０は、コントローラ１２に送信される。画像データ３０は、複数の画素ごとに輝度値が記録された情報、すなわち、輝度情報３２である。

【0022】

コントローラ１２は、撮像ユニット２２による撮像処理を制御するとともに、得られた画像データ３０に基づいて点群データ４０（図１では図示せず）およびＣＡＤデータ４４を生成する。生成されたＣＡＤデータ４４は、数値制御装置８２に送信される。

【0023】

次に、三次元点群データ処理システム１０の構成について、より詳細に説明する。図２は、三次元点群データ処理システム１０の構成を示すブロック図である。図２に示すように、また、上述した通り、三次元点群データ処理システム１０は、コントローラ１２と、撮像ユニット２２と、を有する。

【0024】

コントローラ１２は、物理的には、プロセッサ１４と、メモリ１６と、通信Ｉ／Ｆ１８と、ＵＩ装置２０と、を有したコンピュータである。この「コンピュータ」には、コンピュータシステムを一つの集積回路に組み込んだマイクロコントローラも含まれる。また、プロセッサ１４とは、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0025】

メモリ１６は、各種データを記憶するもので、プロセッサ１４が直接アクセスする主記憶装置、および、入出力チャネルを介してアクセスされる補助記憶装置の双方を含む。主記憶装置は、例えば半導体メモリで構成される。補助記憶装置は、例えば半導体メモリや、磁気記憶装置で構成される。

【0026】

通信Ｉ／Ｆ１８は、外部の他の電子機器と、有線通信または無線通信により、データを送受する。通信Ｉ／Ｆ１８は、例えば、数値制御装置８２および撮像ユニット２２が、通信相手となる。ＵＩ装置２０は、オペレータに各種情報を提示するとともに、オペレータからの指示を受け付ける。かかるＵＩ装置２０は、例えば、ディスプレイやスピーカなどの出力装置と、キーボードやマウス、マイク、タッチパネル等の入力装置と、を有している。なお、本例では、ＵＩ装置２０を、コントローラ１２の構成要素として記載しているが、ＵＩ装置２０の一部または全ては、コントローラ１２とは、完全に異なる別の装置として構成されてもよい。例えば、ＵＩ装置２０の一部機能は、オペレータが所有するとともにコントローラ１２と通信可能な情報端末（例えばスマートホン等）のユーザインターフェースで実現されてもよい。また、コントローラ１２は、単一のコンピュータである必要はなく、物理的に離隔した複数のコンピュータを組み合わせて構成されてもよい。

【0027】

撮像ユニット２２は、工作機械８０の加工室内に存在する対象物１００を撮像する。撮像ユニット２２は、図２に示すように、カメラ２４と、光源２６と、を有する。カメラ２４は、対象物１００を撮像し、画像データ３０を生成する。このカメラ２４で得られた画像データ３０は、コントローラ１２に送られる。なお、カメラ２４は、一つでもよいし、複数でもよい。

【0028】

光源２６は、対象物１００を照射する。かかる光源２６は、対象物１００を単純に照らし出すライトでもよいし、対象物１００に所定のパターン光を照射するプロジェクタでもよい。

【0029】

次に、三次元点群データ処理システム１０による対象物１００の点群データ４０の生成原理について図３を参照して説明する。対象物１００の点群データ４０を生成する場合、コントローラ１２は、撮像ユニット２２を駆動して、対象物１００の画像データ３０を取得する。このとき、対象物１００の全ての面について画像データ３０が得られるように、カメラ２４に対する対象物１００の相対的な姿勢を変更して、複数回撮像を行う。なお、カメラ２４に対する対象物１００の相対的な姿勢を変更するために、対象物１００を動かしてもよいし、カメラ２４を動かしてもよい。本例では、対象物１００を保持する主軸８１を駆動して、対象物１００のカメラ２４に対する姿勢を変更する。

【0030】

コントローラ１２は、得られた画像データ３０（すなわち輝度情報３２）に基づいて、対象物１００の点群データ４０を生成する。図３の例では、対象物１００を第一の方向から撮像した画像データ３０ａ、および、対象物１００を第一の方向と異なる第二の方向から撮像した画像データ３０ｂそれぞれから、対象物１００の点群データ４０ａ，４０ｂを生成し、さらに、これらに基づいて対象物１００のＣＡＤデータ４４を生成している。

【0031】

点群データ４０を生成する場合には、画像データ３０を構成する画素ごとに、対象物１００の外表面を構成する点（以下「有効点」という）の有無と、有効点がある場合には、その座標と、を特定する。ここで、特定される座標は、カメラ２４の光軸を基準とするカメラ座標系での座標である。そして、こうした有効点の演算を行うことで、カメラ座標系での点群データ４０が得られる。

【0032】

複数の画像データ３０ａ，３０ｂそれぞれについて、カメラ座標系での点群データ４０ａ，４０ｂが得られれば、これらに基づいて、対象物１００の形状を示すＣＡＤデータ４４を生成する。ＣＡＤデータ４４を生成する際に、画像データ３０ａ，３０ｂそれぞれから算出されたデータの合成と、点群データからメッシュデータへの変換と、メッシュデータからソリッドデータへの変換と、を行う。このうち、データの合成は、メッシュデータへの変換前に行ってもよいし、メッシュデータへの変換後に行ってもよい。すなわち、複数の点群データ４０ａ，４０ｂを、ワールド座標系に変換して合成し、合成後の点群データ４０から一つのメッシュデータを算出してもよい。また、別の形態として、複数の点群データ４０ａ，４０ｂを、それぞれ、メッシュデータに変換したうえで、これら複数のメッシュデータをワールド座標系に変換して合成してもよい。

【0033】

点群データ４０は、光切断法または位相シフト法または三角法またはステレオ法またはこれらの組み合わせで、算出される。なお、光切断法または位相シフト法を用いる場合、光源２６は、これらの手法に適したパターン光を対象物１００に照射する。また、三角法を用いる場合、撮像ユニット２２は、互いに離隔して配置された２以上のカメラ２４で、一つの対象物１００を同時に撮像する。

【0034】

ところで、単純に画像データ３０から抽出された点群データ４０には、対象物１００とは無関係な点、いわゆるノイズも多数含まれる。こうしたノイズを除去するために従来からノイズ除去技術が多数提案されている。図４は、高精度ノイズ除去技術の一例を示すイメージ図である。この高精度ノイズ除去技術では、点群データ４０が配される空間を、三次元マトリクス状に配置された複数の格子空間４６で分割し、格子空間４６ごとに、点の密度を求める。そして、密度が一定以下の格子空間４６については、当該格子空間４６の内部にある点をノイズとみなし削除する。図４の例では、格子空間４６ａは、点の密度が高いため、格子空間４６ａ内の点は、有効点として判断される。一方、格子空間４６ｂは、点の密度が低いため、格子空間４６ｂ内の点は、ノイズとして除去される。

【0035】

かかる高精度ノイズ除去技術によれば、高精度にノイズを除去できる一方で、計算量が多くなり、最終的な点群データ４０の取得に時間がかかるという問題があった。そこで、本例では、高精度ノイズ除去技術を適用する前に、予め、後述するバウンティングボックス５０（以下「ＢＢ５０」と呼ぶ）を利用して、粗めのノイズ除去を実施する。以下、このＢＢ５０を利用したノイズ除去技術を「ＢＢ式ノイズ除去」と呼ぶ。

【0036】

はじめに、ＢＢ式ノイズ除去で使用するＢＢ５０について説明する。図５は、対象物１００の斜視図であり、図６は、この対象物１００を撮像した画像データ３０の模式図である。ＢＢ５０は、対象物１００を取り囲む図形であり、１以上の矩形を組み合わせて構成される。図６の例では、対象物１００の最も右側の縁に沿った線と、対象物１００の最も上側の縁に沿った線と、対象物１００の最も左側の縁に沿った線と、対象物１００の最も下側の縁に沿った線と、で構成される矩形Ｓを、所定量だけ外側にオフセットした図形をＢＢ５０として抽出している。

【0037】

また、ＢＢ５０は、２以上の矩形を組み合わせて構成されてもよい。例えば、図７に示すように、対象物１００全体を取り囲む第一の矩形ＢＸ１を抽出した後、当該第一の矩形ＢＸ１の内部において対象物１００が存在しない（すなわち輝度のない）角の領域ＢＸ２を求める。その後、図８に示すように、その領域ＢＸ２に基づいて、第一の矩形ＢＸ１を、複数の矩形ＢＸ３，ＢＸ４，ＢＸ５に分割してもよい。そして、この三つの矩形ＢＸ３，ＢＸ４，ＢＸ５を、最終的なＢＢ５０として取得してもよい。

【0038】

なお、ＢＢ５０を求める場合には、対象物１００が存在する範囲を明確に特定できるように、画像データ３０に対して１以上の画像処理を施してもよい。例えば、画像データ３０に対して、エッジ強調、ソラリゼーション、二値化処理、モフォロジー処理、ブロブ処理、およびこれらの組み合わせを施してもよい。例えば、画像データ３０に対して、エッジ強調およびソラリゼーションを施し、さらに、二値化処理とモフォロジー処理を施すと、画像データ３０に写った物体は、連続する黒の塊となる。コントローラ１２は、連続する黒の塊を取り囲む外接矩形をＢＢ５０として抽出する。一つの画像データ３０に複数の黒の塊が存在する場合には、複数の塊それぞれについて外接矩形を求め、複数の矩形のうち最も大きな矩形を、ＢＢ５０として抽出する。また、こうしたＢＢ５０の算出過程で、対象物１００の背景が邪魔になる場合は、予め、背景画像データを記憶しておき、差分法で背景を画像データ３０から除去したうえで、ＢＢ５０を求めるようにしてもよい。

【0039】

ＢＢ５０は、対象物１００の存在する範囲を示す枠であるため、このＢＢ５０の外側にある点は、対象物１００とは無関係なノイズとして排除できる。そこで、本例では、画像データ３０から対象物１００のＢＢ５０を特定し、このＢＢ５０の外側にある画素の情報または輝度情報３２から算出される点をノイズとして除去する。

【0040】

このノイズ除去処理は、一つの画像データ３０だけで完結する二次元的なノイズ除去処理と、互いに異なる方向から撮像された二以上の画像データ３０を利用して行う三次元的なノイズ除去処理と、に大別される。

【0041】

はじめに、二次元的なノイズ除去処理について図９を参照して説明する。この場合、コントローラ１２は、一つの画像データ３０（以下、「第一画像データ３０ｆ」または「第一輝度情報３２ｆ」と呼ぶ）から当該第一画像データ３０ｆに写った対象物１００を取り囲む第一ＢＢ５０ｆを算出する。その後、コントローラ１２は、この第一ＢＢ５０ｆの外側に位置する画素値（すなわち、その画素の輝度値）または第一輝度情報３２ｆから算出される点をノイズとして除去する。コントローラ１２は、この処理を、撮像された全ての画像データ３０に対して実行する。この二次元的なノイズ除去は、点群データ４０を算出する前に行われてもよいし、点群データ４０を算出した後に行ってもよい。また、この場合、点群データ４０は、カメラ座標系で表されていてもよいし、ワールド座標系に変換されていてもよい。図９の例では、黒塗りの点または画素値が、第一撮像方向（すなわちｚ１方向）からみて第一ＢＢ５０ｆの外側に位置しているため、この黒塗りの点または画素値が、ノイズとして除去される。

【0042】

ここで、第一ＢＢ５０ｆは、カメラ座標系に平行な直線で構成される単純形状である。かかる単純形状の第一ＢＢ５０ｆは、対象物１００の外形形状そのものに比べて、非常に簡単に算出できる。また、点または画素が第一ＢＢ５０ｆの内側か否かを判断するための計算量も、点または画素が対象物１００の外形形状の内側か否かを判断するための計算量よりも、大幅に低減できる。結果として、第一ＢＢ５０ｆを利用してノイズを除去する場合、対象物１００の外形形状そのものを利用してノイズを除去する場合に比べて、計算量を大幅に低減できる。

【0043】

ただし、第一ＢＢ５０ｆそのものは二次元的な情報しかないため、第一ＢＢ５０ｆだけでは、三次元的なノイズ除去はできない。そこで、本例では、さらに、第一輝度情報３２ｆとは撮像方向が異なる第二輝度情報３２ｓを利用して、三次元的なノイズ除去を行う。これについて、図１０、図１１を参照して説明する。コントローラ１２は、一つの画像データ３０（以下「第一画像データ３０ｆ」または「第一輝度情報３２ｆ」という）から点群データ４０を算出する。ここでいう点群データ４０は、カメラ座標系で表される点群データでもよいし、ワールド座標系で表される点群データでもよい。また、コントローラ１２は、第一画像データ３０ｆと異なる方向から対象物１００を撮像した他の画像（以下「第二画像データ３０ｓ」または「第二輝度情報３２ｓ」という）から、対象物１００を取り囲む第二ＢＢ５０ｓと、当該第二ＢＢ押し出し空間５２ｓと、を算出する。図１０は、第二ＢＢ５０ｓおよび第二ＢＢ押し出し空間５２ｓを示す模式図である。

【0044】

以下では、第一輝度情報３２ｆにおけるカメラ座標系を第一カメラ座標系（ｘ１，ｙ１，ｚ１）と呼び、第二輝度情報３２ｓにおけるカメラ座標系を第二カメラ座標系（ｘ２，ｙ２，ｚ２）と呼ぶ。図９に示すように、第一ＢＢ５０ｆは、第一カメラ座標系のｘ１－ｙ１平面と平行な二次元図形である。また、図１０に示すように、第二ＢＢ５０ｓは、第二カメラ座標系のｘ２－ｙ２平面と平行な二次元図形である。さらに、第二ＢＢ押し出し空間５２ｓは、ｚ２方向に長い三次元形状である。

【0045】

第二ＢＢ押し出し空間５２ｓが算出できれば、コントローラ１２は、第二ＢＢ押し出し空間５２ｓを、第一輝度情報３２ｆから求まる点群データ４０に重畳させる。この点群データ４０が第一カメラ座標系で表されている場合、第二ＢＢ押し出し空間５２ｓは、第一カメラ座標系に座標変換されたうえで、点群データ４０に重畳される。点群データ４０がワールド座標系に変換されている場合、第二ＢＢ押し出し空間５２ｓは、ワールド座標系に座標変換されたうえで、点群データ４０に重畳される。

【0046】

図１３は、第二ＢＢ押し出し空間５２ｓを、第一カメラ座標系に座標変換する様子を示している。図１３では、説明を簡単にするために、第二カメラ座標系は、第一カメラ座標系に対して９０度回転している。この図１３に示すように、第二ＢＢ押し出し空間５２ｓが、第二カメラ座標系において、ｘ２方向にａ、ｙ２方向にｂ、ｚ２方向に無限大の大きさを持つ形状であったとする。この第二ＢＢ押し出し空間５２ｓを、第一カメラ座標系に座標変換した場合、第二ＢＢ押し出し空間５２ｓは、ｚ１方向にａ、ｙ１方向にｂ、ｘ１方向に無限大の大きさを持つ形状となる。

【0047】

図１１は、第一輝度情報３２ｆから求まる点群データ４０に、第二ＢＢ押し出し空間５２ｓを重畳させた様子を示している。なお、図１１において、第一輝度情報３２ｆから求まる点群データ４０には、予め、第一ＢＢ５０ｆを利用した二次元的なノイズ除去が施されている。コントローラ１２は、第一輝度情報３２ｆから求まる点群データ４０のうち、第一ＢＢ押し出し空間５２ｆの外側に位置する点を、ノイズとみなし、削除する。図１１の例では、点群のうち、黒塗りの点がノイズとして除去される。

【0048】

このように、第二輝度情報３２ｓから算出される第二ＢＢ押し出し空間５２ｓを、第一輝度情報３２ｆから求まる点群データ４０に重ね合わせることで、当該点群に含まれるノイズを三次元的に除去することができる。その一方、第二ＢＢ押し出し空間５２ｓは、第二ＢＢ５０ｓを一方向に押し出しただけの単純形状である。そのため、当該第二ＢＢ押し出し空間５２ｓを算出するための計算、および、点が当該第二ＢＢ押し出し空間５２ｓの外側に位置するか否かの計算は、いずれも比較的少ない計算量で行うことができる。結果として、本例によれば、短時間でノイズを三次元的に除去できる。

【0049】

なお、ここでは、第一輝度情報３２ｆから求まる点群データ４０に、第二ＢＢ押し出し空間５２ｓのみを重畳している。しかし、さらに別の方向から撮像した追加の輝度情報に基づいて追加のＢＢ押し出し空間を算出し、第二ＢＢ押し出し空間５２ｓに加えて、この追加のＢＢ押し出し空間を、第一輝度情報３２ｆから求まる点群データ４０に重畳してもよい。例えば、図１２に示すように、第三撮像方向から撮像した第三輝度情報から第三ＢＢ押し出し空間５２ｔを求め、これを第一輝度情報３２ｆから求まる点群データ４０に重畳してもよい。そして、点群のうち、第三ＢＢ押し出し空間５２ｔの外側となる点をノイズとして除去してもよい。図１２の例では、第三ＢＢ押し出し空間５２ｔを追加で重畳することで、バツ印を施した点が新たにノイズとして除去される。

【0050】

なお、こうした追加の輝度情報の個数は、特に限定されない。しかし、理論的には、ノイズ除去の対象である第一輝度情報３２ｆの撮像方向と、第二輝度情報３２ｓの撮像方向と、一つの追加の輝度情報の撮像方向と、が互いに直交するようにすれば、少ないデータ量で、効率的に三次元的にノイズを除去できる。

【0051】

次に、ＢＢ式ノイズ除去を利用した対象物１００のＣＡＤデータ４４の生成処理について図１４、図１５を参照して説明する。ＣＡＤデータ４４を生成する際には、まず、三次元点群データ処理システム１０の初期化を行う（Ｓ１０）。この初期化では、例えば、カメラ２４や光源２６の動作パラメータの設定や、カメラ座標系とワールド座標系との座標合わせ等が行われる。続いて、オペレータは、対象物１００を、カメラ２４で撮像可能な状態にセットする（Ｓ１２）。本例の場合、対象物１００を、工作機械８０の主軸８１に取り付ける。

【0052】

この状態になれば、コントローラ１２は、対象物１００の姿勢を調整する（Ｓ１４）。具体的には、コントローラ１２は、工作機械８０に対し、対象物１００が所定の姿勢になるように指示する。この指示を受けて、工作機械８０は、主軸８１を回転させ、カメラ２４が、任意の方向から対象物１００を撮像できるように、対象物１００の姿勢を調整する。

【0053】

対象物１００の姿勢が調整できれば、カメラ２４により対象物１００を撮像する（Ｓ１６）。撮像で得られた画像データ３０は、カメラ２４からコントローラ１２に送られ、撮像位置または撮像方向に関する情報と紐づけられた状態で輝度情報３２としてメモリ１６に記憶される。コントローラ１２は、得られた輝度情報３２から点群データ４０を生成する（Ｓ１８）。具体的には、コントローラ１２は、例えば、光切断法または位相シフト法または三角法またはこれらの組み合わせで、画素ごとに有効点の有無、および、有効点が存在する場合には、当該有効点のカメラ座標系でのｚ方向位置を判別する。こうして得られた点の集合が、点群データ４０となる。なお、光切断法または位相シフト法を用いる場合、光源２６は、これらの手法に適したパターン光を対象物１００に照射する。

【0054】

続いて、コントローラ１２は、対象物１００について必要な面、全ての撮像が完了したか否かを確認する（Ｓ２０）。撮像する面の数は、対象物１００の上面、底面、右側面、および、左側面のうちの２～４面とする場合が多いが、精度を上げるために、さらに多数の面を撮像してもよい。また、撮像する面は、互いに直交する必要はなく、任意の角度の面でもよい。

【0055】

撮像できていない面がある場合、ステップＳ１４に戻り、対象物１００の姿勢を変更したうえで、対象物１００の撮像と点群データ４０の生成を行う（Ｓ１６、Ｓ１８）。一方、全ての面の撮像が完了した場合、コントローラ１２は、得られた点群データ４０からノイズを除去する（Ｓ２２～Ｓ２８）。

【0056】

具体的には、コントローラ１２は、まず、得られた画像データ３０それぞれについてＢＢ５０を算出する（Ｓ２２）。続いて、画像データ３０ごとに得られた点群データ４０に対して、背景ノイズの除去処理を施す（Ｓ２４）。背景ノイズの除去処理では、予め、対象物１００が無い状態で撮像した背景画像データを取得しておき、この背景画像データと実際の画像データ３０との比較に基づいて、画像データ３０のうち、背景となるエリアを背景エリアとして特定する。その後、画像データから算出された点群データ４０から、背景エリアにある点を一括削除する。ステップＳ２４では、この背景ノイズの除去処理を、得られた複数の画像データ３０全てに対して施す。なお、この背景ノイズの除去処理は、省略されてもよい。

【0057】

次に、コントローラ１２は、ＢＢ式ノイズ除去を適用し、点群データ４０に含まれるノイズを除去する（Ｓ２６）。具体的には、コントローラ１２は、第一輝度情報３２ｆから得られる点群データ４０ｆのうち、第一撮像方向からみて、第一ＢＢ５０ｆの外側に位置する点をノイズとして除去する。なお、この点群データ４０ｆは、上述した背景ノイズの除去処理が施された後の点群データである。

【0058】

また、コントローラ１２は、第二輝度情報３２ｓから算出された第二ＢＢ５０ｓを、第二撮像方向に押し出して、第二ＢＢ押し出し空間５２ｓを算出する。その後、コントローラ１２は、第二ＢＢ押し出し空間５２ｓを、座標変換したうえで、点群データ４０ｆに重ね合わせる。そして、コントローラ１２は、点群データ４０のうち、第二ＢＢ押し出し空間５２ｓの外側にある点をノイズとして除去する。さらに、同様の処理を、追加のＢＢ押し出し空間を使用して行う。

【0059】

コントローラ１２は、こうしたＢＢ５０を利用した二次元的なノイズ除去および三次元的なノイズ除去を、第一輝度情報３２ｆ、第二輝度情報３２ｓ、および、追加の輝度情報の割り当てを順次変えて、全ての輝度情報３２に対して行う。例えば、１回目のノイズ除去では、１回目の撮像で得られた輝度情報を「第一輝度情報３２ｆ」、２回目の撮像で得られた輝度情報を「第二輝度情報３２ｓ」、３回目の撮像で得られた輝度情報を「追加の輝度情報」としてノイズ除去を行い、２回目のノイズ除去では、２回目の撮像で得られた輝度情報を「第一輝度情報３２ｆ」、３回目の撮像で得られた輝度情報を「第二輝度情報３２ｓ」、１回目の撮像で得られた輝度情報を「追加の輝度情報」としてノイズ除去を行う。

【0060】

ＢＢ式ノイズ除去が完了すれば、点群データ４０に含まれるノイズは大幅に低減されており、点群データ４０を構成する点の数、ひいてはデータサイズも大幅に低減されている。この状態になれば、コントローラ１２は、点群データ４０に対して、高精度ノイズ除去を適用する（Ｓ２８）。高精度ノイズ除去は、上述した通り、また、図４に示す通り、点群データ４０に複数の格子空間４６を重ね合わせ、格子空間４６ごとの点の密度からノイズを除去する。この高精度ノイズ除去は、計算量が多く、計算時間も長くなりやすい。しかし、本例では、予め、背景ノイズ除去およびＢＢ式ノイズ除去で、大多数のノイズを除去し、データ量を低減しているため、高精度ノイズ除去の処理時間を大幅に短くできる。

【0061】

高精度ノイズ除去が完了すれば、続いて、コントローラ１２は、点群データ４０を構成する点を、ＣＡＤデータ４４生成に必要な程度までに間引く（Ｓ３０）。次に、コントローラ１２は、輝度情報３２ごとに得られた複数の点群データ４０からメッシュデータを生成し、これをさらに、ソリッドモデル、すなわち、ＣＡＤデータ４４に変換する（Ｓ３０～Ｓ４２）。メッシュデータの生成は、輝度情報３２ごとに得られた複数の点群データ４０を合成してから行ってもよい（Ｓ３４，Ｓ３６）。また、別の形態として、複数の点群データ４０それぞれをメッシュデータに変換し、得られた複数のメッシュデータを合成してもよい（Ｓ３８，Ｓ４０）。いずれにしても、最終的には、対象物１００を三次元形状を示す一つのメッシュデータ、さらには、ＣＡＤデータ４４が得られる（Ｓ４２）。なお、点群データ４０をメッシュ化するのではなく、ボクセル化し、このボクセル化データをＣＡＤデータ４４に変換してもよい。生成されたＣＡＤデータ４４は、通信Ｉ／Ｆ１８を介して、工作機械８０に送信される。

【0062】

なお、点群データ４０またはメッシュデータを合成する場合には、各点群データ４０またはメッシュデータをワールド座標系に変換する必要がある。この座標変換に際しては、対象物１００の撮像方向を正確に取得する必要がある。撮像方向は、工作機械８０（すなわち対象物１００の保持装置）から送られる主軸８１の回転角度のような工作機械の位置情報から判別してもよいし、平面方程式で判別してもよい。平面方程式では、対象物１００または対象物１００に対して位置および姿勢が不変の基準物に基準マークを設けておく。そして、対象物１００を撮像した画像内での基準マークの位置および形状から、対象物１００の姿勢を判別する。

【0063】

次に、ＣＡＤデータ４４の生成処理の他の例について説明する。図１４、図１５では、全ての点群データ４０を生成してから、ＢＢ式ノイズ除去を適用している。しかし、ＢＢ式ノイズ除去は、点群データ４０を生成する過程で適用されてもよい。

【0064】

例えば、図１４のステップＳ１４～Ｓ２６に替えて、図１６のステップＳ５０～Ｓ６０を実行してもよい。この場合、コントローラ１２は、対象物１００の姿勢を変更しながら、対象物１００を撮像する（Ｓ５０～Ｓ５４）。必要な面全ての撮像が完了すれば、コントローラ１２は、複数の輝度情報３２それぞれについてＢＢ５０およびＢＢ押し出し空間５２を算出する（Ｓ５６）。

【0065】

続いて、コントローラ１２は、第一輝度情報３２ｆに第一ＢＢ５０ｆを重ね、当該第一ＢＢ５０ｆの外側に位置する画素値を削除する（Ｓ５８）。すなわち、第一輝度情報３２ｆから点群データ４０ｆを生成する前に、不要な情報を削除する。これにより、次に、行う点群データ４０ｆの生成に要する計算量を大幅に低減できる。コントローラ１２は、こうした二次元的なノイズ除去を、第一輝度情報３２ｆの割り当てを変更して、全ての輝度情報３２に対して行う。すなわち、１回目の二次元ノイズ除去では、１回目の撮像で得られた輝度情報を「第一輝度情報３２ｆ」とし、２回目の二次元ノイズ除去では、２回目の撮像で得られた輝度情報を「第一輝度情報３２ｆ」とする。

【0066】

全ての輝度情報３２に対して、二次元ノイズ除去が完了すれば、コントローラ１２は、点群データ４０の生成と、三次元的なノイズ除去と、を行う（Ｓ６０）。すなわち、コントローラ１２は、輝度情報３２に基づいて、画素ごとに有効点の有無および有効点のカメラ座標系のｚ方向位置を判定する。このとき、コントローラ１２は、さらに、各有効点が、対象の輝度情報３２（すなわち、第一輝度情報３２ｆ）とは異なる撮像角度の輝度情報３２（すなわち、第二輝度情報３２ｓまたは追加の輝度情報）から求まるＢＢ押し出し空間５２（すなわち、第二ＢＢ押し出し空間５２ｓまたは追加のＢＢ押し出し空間）の外側か否かを判断する。有効点が、撮像角度が異なるＢＢ押し出し空間５２の外側にある場合、コントローラ１２は、当該有効点は、ノイズであると判断し、当該有効点を除去する。一方で、有効点が、撮像角度が異なるＢＢ押し出し空間５２の内側にある場合、コントローラ１２は、当該点を、点群データ４０を構成する点の一つとして記憶する。三次元的なノイズ除去が完了すれば、図１５のステップＳ２８に進む。

【0067】

このように、点群データ４０を生成する前、すなわち、輝度情報３２の状態で、ＢＢ５０を利用して二次元的にノイズを除去することで、点群データ４０を生成するための計算時間を大幅に低減できる。また、点群データ４０の生成過程で、ＢＢ押し出し空間５２を利用して、三次元的にノイズを除去することで、点群データ４０のデータ量を低減できる。結果として、その後に行う高精度ノイズ除去や、ＣＡＤデータの生成に要する計算量および計算時間を低減できる。

【0068】

次に、ＣＡＤデータ４４の生成処理の他の例について説明する。上述した例では、コントローラ１２が、点ごと、または、画素ごとに、個別に演算してノイズ除去を行っているが、予め学習したＡＩを構築し、当該ＡＩによりノイズ除去を行ってもよい。具体的には、ＡＩは、第一ＢＢ５０ｆ、第二ＢＢ５０ｓ、および、第一輝度情報３２ｆを入力とし、第一輝度情報３２ｆから生成される点群データ４０を出力として、予め学習させた教師あり学習器である。こうしたＡＩは、コントローラ１２の一機能として構築できる。かかるＡＩ６０は、例えば、図１７に示すように、一つの入力層６２と、１以上の中間層６４と、一つの出力層６６と、を有する３層のニューラルネットワークもしくは４層以上のディープニューラルネットワークでもよい。図１７の例では、第一撮像位置、第二撮像位置、第一輝度情報３２ｆ、第一ＢＢ５０ｆ、第二ＢＢ５０ｓ、第二ＢＢ押し出し空間５２ｓが入力値となる。出力値は、第一輝度情報３２ｆを構成する複数の画素それぞれでの有効点の存在確率、あるいは、三次元空間を複数の格子空間４６に分割した際の複数の格子空間４６それぞれでの有効点の存在確率である。画素それぞれの有効点の存在確率が出力された場合、コントローラ１２は、存在確率が一定以上の画素それぞれについて、当該画素に存在する点のｚ方向位置を求め、点群データ４０を生成する。また、格子空間４６それぞれの有効点の存在確率が出力された場合、コントローラ１２は、存在確率が一定以上の格子空間４６に点があるとみなして、点群データ４０を生成する。

【0069】

こうしたＡＩ６０を利用してノイズ除去を行う場合には、例えば、図１４のステップＳ１４～Ｓ２６に替えて、図１８のステップＳ７０～Ｓ８０を実行する。すなわち、コントローラ１２は、対象物１００の姿勢を変更しながら、対象物１００を撮像し（Ｓ７０，Ｓ７２）、得られた輝度情報３２からＢＢ５０およびＢＢ押し出し空間５２を算出する（Ｓ７４）。全ての面の輝度情報３２が得られれば、コントローラ１２は、得られた輝度情報３２、各輝度情報３２を得たときの撮像位置、輝度情報３２それぞれのＢＢ５０およびＢＢ押し出し空間５２を、ＡＩ６０に入力する（Ｓ７８）。その後、ＡＩ６０から出力された出力値に基づいて、点群データ４０を生成する（Ｓ８０）。その後は、図１５のステップＳ２８に進む。

【0070】

以上の説明で明らかな通り、第一輝度情報３２ｆおよび第二ＢＢ５０ｓを入力として、画素または格子空間４６ごとの有効点の存在確率を出力とするＡＩ６０を構築することで、点群データ４０の生成およびノイズ除去の処理を簡易化できる。

【0071】

なお、これまで説明した構成は、いずれも一例であり、少なくとも、１以上の輝度情報３２と、１以上のＢＢ５０と、に基づいて点群データ４０を生成するのであれば、その他の構成は変更されてもよい。例えば、本例では、工作機械８０に対象物１００を取り付け、工作機械８０の機能を利用して対象物１００の姿勢を変更しているが、対象物１００は、工作機械８０とは、無関係の装置で保持されてもよい。また、対象物１００を動かすのではなく、カメラ２４を動かしてもよい。また、これまでの説明では、ＢＢ５０を利用した二次元的なノイズ除去と、ＢＢ押し出し空間５２を利用した３次元的なノイズ除去の双方を実行しているが、いずれか一方のみを実行するのでもよい。

【符号の説明】

【0072】

１０ 三次元点群データ処理システム、１２ コントローラ、１４ プロセッサ、１６ メモリ、１８ 通信Ｉ／Ｆ、２０ ＵＩ装置、２２ 撮像ユニット、２４ カメラ、２６ 光源、３０ 画像データ、３２ 輝度情報、４０ 点群データ、４４ ＣＡＤデータ、４６ 格子空間、５０ ＢＢ、５２ ＢＢ押し出し空間、６２ 入力層、６４ 中間層、６６ 出力層、８０ 工作機械、８１ 主軸、８２ 数値制御装置、８４ 操作パネル、１００ 対象物。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】