(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129620
(43)【公開日】2024-09-27
(54)【発明の名称】光学計測装置、光学計測方法および光学計測プログラム
(51)【国際特許分類】
G01B 11/00 20060101AFI20240919BHJP
G01B 11/26 20060101ALI20240919BHJP
G06T 7/70 20170101ALI20240919BHJP
【FI】
G01B11/00 H
G01B11/26 H
G06T7/70 Z
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023038945
(22)【出願日】2023-03-13
(11)【特許番号】
(45)【特許公報発行日】2024-07-26
(71)【出願人】
【識別番号】390033916
【氏名又は名称】大塚メカトロニクス株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】大庭 泰治
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA04
2F065AA37
2F065FF04
2F065JJ03
2F065JJ05
2F065JJ26
2F065QQ21
2F065QQ31
2F065QQ38
2F065RR08
2F065SS13
5L096AA06
5L096AA09
5L096CA21
5L096DA01
5L096EA15
5L096EA16
5L096EA26
5L096FA67
5L096FA69
5L096GA51
5L096JA03
5L096KA11
(57)【要約】
【課題】計測対象物に設定される特定点の位置を計測する技術を提供する。
【解決手段】光学計測装置は、実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを取得する取得部と、計測対象物から取得された三次元点群データと最も類似するモデル点群データの姿勢を検索する検索部と、検索された姿勢に基づいて、計測対象物の特定点に対応する座標を算出する算出部とを含む。
【選択図】
図10
【特許請求の範囲】
【請求項1】
実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを保持する保持部と、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索する検索部と、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出する算出部とを備える、光学計測装置。
【請求項2】
前記検索部は、前記モデル点群データを平行移動および回転させることで、前記三次元点群データと最も類似する姿勢を検索する、請求項1に記載の光学計測装置。
【請求項3】
前記検索部は、前記モデル点群データを間引いたデータと、前記モデル点群データを間引いたデータとを用いて、前記三次元点群データと最も類似する姿勢を検索する、請求項1に記載の光学計測装置。
【請求項4】
前記検索部は、前記三次元点群データと前記モデル点群データとの類似度が高い順に所定数の姿勢候補を抽出する、請求項1に記載の光学計測装置。
【請求項5】
前記検索部は、前記所定数の姿勢候補のうち最も類似度の高い姿勢候補の他の姿勢候補に対する一意性を評価する、請求項4に記載の光学計測装置。
【請求項6】
前記計測対象物のレファレンスとなる物体から取得された三次元点群データに対して、指定された1または複数の領域に対応する部分データを前記モデル点群データとして決定するモデル生成部をさらに備える、請求項1に記載の光学計測装置。
【請求項7】
前記検索部は、
前記三次元点群データに存在する不確かさを反映して、前記三次元点群データから複数の三次元点群データを生成し、
前記生成された複数の三次元点群データの各々から前記特定点に対応する座標を算出し、
前記算出された座標のばらつきに基づいて、前記算出された座標に存在する不確かさを算出する、請求項1に記載の光学計測装置。
【請求項8】
実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを取得するステップと、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索するステップと、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出するステップとを備える、光学計測方法。
【請求項9】
コンピュータに、
実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを取得するステップと、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索するステップと、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出するステップとを実行させる、光学計測プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光学計測装置、光学計測方法および光学計測プログラムに関する。
【背景技術】
【0002】
従来より、光学的に物体の位置および姿勢を認識する技術が知られている。
例えば、特開2022-042103号公報(特許文献1)は、対象物体の位置及び姿勢の認識に関してノイズの影響を抑制し得る構成を開示する。また、特開2018-189510号公報(特許文献2)は、3次元シーン中の対象物をより高速に認識する構成を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-042103号公報
【特許文献2】特開2018-189510号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の先行技術は、カメラを基準として物体全体の位置および姿勢を認識するものであり、例えば、物体の絶対的な位置を特定するような用途は想定されていない。
【0005】
本発明の一つの目的は、計測対象物に設定される特定点の位置を計測する技術を提供することである。
【課題を解決するための手段】
【0006】
(構成1)本発明のある局面に従う光学計測装置は、実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、実空間における特定点の座標とを含むモデルを保持する保持部と、計測対象物から取得された三次元点群データと最も類似するモデル点群データの姿勢を検索する検索部と、検索された姿勢に基づいて、計測対象物の特定点に対応する座標を算出する算出部とを含む。
【0007】
(構成2)構成1において、検索部は、モデル点群データを平行移動および回転させることで、三次元点群データと最も類似する姿勢を検索してもよい。
【0008】
(構成3)構成1または2において、検索部は、モデル点群データを間引いたデータと、モデル点群データを間引いたデータとを用いて、三次元点群データと最も類似する姿勢を検索してもよい。
【0009】
(構成4)構成1~3のいずれかにおいて、検索部は、三次元点群データとモデル点群データとの類似度が高い順に所定数の姿勢候補を抽出してもよい。
【0010】
(構成5)構成4において、検索部は、所定数の姿勢候補のうち最も類似度の高い姿勢候補の他の姿勢候補に対する一意性を評価してもよい。
【0011】
(構成6)構成1~5のいずれかにおいて、光学計測装置は、計測対象物のレファレンスとなる物体から取得された三次元点群データに対して、指定された1または複数の領域に対応する部分データをモデル点群データとして決定するモデル生成部をさらに含んでいてもよい。
【0012】
(構成7)構成1~6のいずれかにおいて、検索部は、三次元点群データに存在する不確かさを反映して、三次元点群データから複数の三次元点群データを生成し、生成された複数の三次元点群データの各々から特定点に対応する座標を算出し、算出された座標のばらつきに基づいて、算出された座標に存在する不確かさを算出してもよい。
【0013】
(構成8)本発明の別の局面に従う光学計測方法は、実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、実空間における特定点の座標とを含むモデルを取得するステップと、計測対象物から取得された三次元点群データと最も類似するモデル点群データの姿勢を検索するステップと、検索された姿勢に基づいて、計測対象物の特定点に対応する座標を算出するステップとを含む。
【0014】
(構成9)本発明の別の局面に従う光学計測プログラムは、コンピュータに、実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、実空間における特定点の座標とを含むモデルを取得するステップと、計測対象物から取得された三次元点群データと最も類似するモデル点群データの姿勢を検索するステップと、検索された姿勢に基づいて、計測対象物の特定点に対応する座標を算出するステップとを実行させる。
【発明の効果】
【0015】
本発明のある実施の形態によれば、非接触で計測対象物に設定される特定点の位置を計測できる。
【図面の簡単な説明】
【0016】
【
図1】本実施の形態に従う光学計測装置のハードウェア構成例を示す模式図である。
【
図2】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。
【
図3】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。
【
図4】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。
【
図5】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。
【
図6】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。
【
図7】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。
【
図8】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。
【
図9】本実施の形態に従う光学計測方法のモデル生成に係る処理手順の一例を示すフローチャートである。
【
図10】本実施の形態に従う光学計測方法の特定点の位置計測に係る処理手順の一例を示すフローチャートである。
【
図11】本実施の形態に従う光学計測方法の概略マッチングの処理例を示す図である。
【
図12】本実施の形態に従う光学計測方法の概略姿勢修正の処理例を示す図である。
【
図13】本実施の形態に従う光学計測方法の精密姿勢修正の処理例を示す図である。
【
図14】本実施の形態に従う光学計測方法の精密姿勢修正の処理結果例を示す図である。
【
図15】本実施の形態に従う光学計測装置のソフトウェア構成例を示す模式図である。
【
図16】本実施の形態に従う光学計測方法におけるサンプリングポイントの点群間隔について説明するための図である。
【
図17】本実施の形態に従う光学計測方法による検索結果の一例を示す図である。
【
図18】ヘッドライト検査装置の一例を示す模式図である。
【
図19】先進運転支援システム(ADAS:Advanced Driver Assistance System)の検査装置の一例を示す模式図である。
【
図20】本実施の形態に従う光学計測方法における特定点の座標に存在する不確かさを評価する方法を説明するための図である。
【発明を実施するための形態】
【0017】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0018】
本実施の形態に従う光学計測方法は、任意の計測対象物に設定される任意の点(以下、「特定点」とも称す。)の実空間上の位置を計測する。特定点は、計測対象物を基準に設定される。
【0019】
本明細書において、「実空間」は、座標系が予め定義された、現実に存在する空間を意味する。
【0020】
<A.装置構成例>
まず、本実施の形態に従う光学計測方法を実現するための装置構成の一例について説明する。
【0021】
図1は、本実施の形態に従う光学計測装置のハードウェア構成例を示す模式図である。
図1を参照して、光学計測装置100は、1または複数のプロセッサ102と、メモリ104と、ストレージ106と、入力部108と、出力部110と、カメラインターフェイス112と、メディアドライブ114とを含む。
【0022】
プロセッサ102は、ストレージ106に格納されている1または複数のプログラムをメモリ104に読み出して実行する。プロセッサ102は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などからなる。プロセッサ102は、FPGA(Field-Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などのハードワイヤードロジック回路を含んでいてもよい。
【0023】
メモリ104は、プロセッサ102がプログラムを実行するためのワーキングメモリとして機能する。メモリ104は、例えば、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などからなる。
【0024】
ストレージ106は、プロセッサ102が実行するプログラム(コンピュータ読取可能命令の集合)および処理に必要なデータを格納する。ストレージ106は、例えば、ハードディスクやフラッシュメモリなどの非一過性のコンピュータ読取可能媒体からなる。ストレージ106は、例えば、オペレーティングシステム120(OS:Operating System)と、モデル生成プログラム122と、計測プログラム124と、モデルセット126と、GUI(Graphical User Interface)プログラム128とを格納する。
【0025】
オペレーティングシステム120は、プロセッサ102がプログラムを実行する環境を実現するためのコンピュータ読取可能命令を含む。モデル生成プログラム122は、モデル36を生成するためのコンピュータ読取可能命令を含む。計測プログラム124は、計測対象物の特定点の位置を計測するためのコンピュータ読取可能命令を含む。モデルセット126は、1または複数のモデル36を含む。GUIプログラム128は、処理に必要なユーザとの対話を提供するためのコンピュータ読取可能命令を含む。
【0026】
入力部108は、ユーザ操作を受け付ける。入力部108は、キーボードやマウスなどの入力デバイスを含んでいてもよいし、入力デバイスからユーザ操作を示す信号またはデータを受信するための通信インターフェイスを含んでいてもよい。
【0027】
出力部110は、プロセッサ102によるプログラムの実行結果などを出力する。出力部110は、ディスプレイなどの出力デバイスを含んでいてもよいし、出力デバイスに対して出力すべき情報を送信するための通信インターフェイスを含んでいてもよい。
【0028】
カメラインターフェイス112は、1または複数のカメラ10から画像データを取得する。本実施の形態に従う光学計測方法においては、計測対象物の三次元点群データを取得できればよいので、カメラインターフェイス112は、カメラ10に限らず任意のデバイスから、三次元点群データを取得するための情報、および/または、三次元点群データそのものを取得する。
【0029】
メディアドライブ114は、非一過性のコンピュータ読取可能媒体(例えば、光学ディスク116など)から、光学計測装置100での処理に必要なプログラムおよび/またはデータを読み出して、ストレージ106に格納する。なお、光学計測装置100での処理に必要なプログラムおよび/またはデータは、ネットワーク上のサーバ装置からダウンロードされてもよい。また、モデル36についてもネットワーク上のサーバ装置から適宜ダウンロードされてもよい。
【0030】
本明細書において、「光学計測装置」は、単一の装置であってもよいし、複数の装置の集合であってもよい。また、一部の処理をクラウドなどのコンピューティングリソースを用いて実現してもよい。
【0031】
<B.三次元点群データの取得>
本実施の形態に従う光学計測方法において、三次元点群データは、計測対象物または計測対象物と実質的に同一形状の物体の表面形状を定義する情報である。三次元点群データは、表面に存在する各点の座標(x,y,z)を含む。三次元点群データに含まれる各点の座標は、例えば、カメラ10を基準とした座標系において定義される。
【0032】
三次元点群データはどのような方法で取得してもよい。例えば、ステレオカメラを用いたパッシブスキャン方式を採用してもよい。また、TOF(Time Of Flight)や三角測距などのアクティブスキャン方式を採用してもよい。三角測距としては、アクティブステレオカメラや空間コードが知られている。空間コードとしては、例えば、ランダムドット、および、縞投影などの特徴ベースマッチングが知られている。さらに、時間コードや光切断(例えば、ビームスキャンやコンベア)などを採用してもよい。
【0033】
このように、三次元点群データが取得できれば、カメラ10および撮像の方式はどのようなものであってもよい。これによって、本実施の形態に従う光学計測方法において使用可能なハードウェアの制約を下げることができる。
【0034】
<C.全体処理手順>
次に、本実施の形態に従う光学計測方法の一例について説明する。
【0035】
図2~
図8は、本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。
【0036】
まず、任意の実空間2が定義されるとともに、実空間2の座標原点4が定義される(
図2参照)。実空間2は、例えば、任意の検査装置に関連付けられる空間である。
【0037】
次に、実空間2の任意の位置にカメラ10が配置される(
図3参照)。カメラ10は、計測対象物または計測対象物と実質的に同一形状の物体を撮像して、三次元点群データ(以下、単に「点群データ」とも称す。)を生成する。このとき、配置されたカメラ10と座標原点4との位置関係が定義される。
【0038】
次に、計測対象物と実質的に同一形状の物体(以下、「レファレンス20」とも称す。)をカメラ10で撮像し、レファレンス20の三次元点群データ(以下、「レファレンス点群データ30」とも称す。)が取得される。レファレンス点群データ30は、レファレンス20の表面形状を定義する(
図4参照)。
【0039】
次に、
図5(A)に示すように、計測対象物の姿勢(位置および角度、もしくは、位置)を検索するために用いられる領域(以下、「特定領域」とも称す。)が決定され、レファレンス点群データ30から、1または複数の特定領域に対応する三次元点群データ(以下、「モデル点群データ32」とも称す。)が抽出される。すなわち、モデル点群データ32のうち、計測対象物の検索に用いられなくてもよい点群データ、あるいは、計測対象物の検索においてノイズとなり得る点群データが除外される。
【0040】
このように、光学計測装置100は、レファレンス点群データ30に対して、指定された1または複数の特定領域に対応する部分データをモデル点群データ32として決定する。
【0041】
また、レファレンス点群データ30において計測対象となる点(以下、「特定点34」とも称す。)が指定される。
【0042】
最終的に、
図5(B)に示すように、座標原点4と、モデル点群データ32と、特定点34の情報とがモデル36として登録される。座標原点4は、実空間2の座標系の定義である。モデル点群データ32は、計測対象物40のレファレンスとなる物体(レファレンス20)の表面形状の少なくとも一部を示す。特定点34の情報は、実空間2における特定点34の座標を含む。より具体的には、モデル36は、座標原点4を基準とする座標系(以下、「実空間座標系」とも称す。)における特定点34の座標p0(Xp0,Yp0,Zp0)を含む。
【0043】
次に、実際の計測においては、カメラ10が計測対象物40を撮像することで、計測対象物40の点群データ(以下、「シーン点群データ50」とも称す。)が生成される(
図6参照)。なお、実空間2におけるカメラ10の位置(すなわち、配置されたカメラ10と座標原点4との位置関係)は、モデル36の登録時と同一であるとする。
【0044】
光学計測装置100は、計測対象物40から取得されたシーン点群データ50と最も類似するモデル点群データ32の姿勢を検索する(
図7参照)。言い換えれば、シーン点群データ50とマッチングするように、モデル点群データ32(あるいは、モデル36において定義された実空間座標系)を平行移動および/または回転させる。
【0045】
説明の便宜上、
図7には、モデル点群データ32を平行移動する例を示すが、モデル点群データ32の位置および角度は、どのように変化させてもよい。このように、シーン点群データ50の中から、モデル36のモデル点群データ32と最も類似する点群データが検索される。
図7に示す例では、モデル36の座標原点4を座標原点6に移動することで、モデル点群データ32とシーン点群データ50に含まれる点群データとが最も類似する。
【0046】
図8を参照して、モデル36のモデル点群データ32とシーン点群データ50に含まれる点群データとが最も類似する状態の情報に基づいて、計測対象物40の特定点44(特定点34に対応する点)の座標が算出される。すなわち、光学計測装置100は、検索された姿勢に基づいて、計測対象物40の特定点44に対応する座標を算出する。
【0047】
より具体的には、モデル36が取得された実空間2(実空間座標系)と、シーン点群データ50に含まれる点群データと最も類似した状態の空間(座標原点6を基準とする座標系(以下、「シーン座標系」とも称す。))との位置関係に基づいて、モデル36の特定点34の座標を変換することで、計測対象物40の特定点44の実空間2における座標を算出する。
【0048】
計測対象物40の特定点44の実空間2における座標を算出するための具体的な手順例について説明する。
【0049】
上述した検索においては、座標原点4を基準とする実空間座標系を座標原点6を基準とするシーン座標系に変換するための同次変換行列Hposeが算出される。ここで、同次変換行列Hposeは以下のようになる。
【0050】
Hpose=[TransX,TransY,TransZ,RotX,RotY,RotZ]
なお、回転は、YPR(Yaw Pitch Roll) Conventionに従っている。
【0051】
同次変換行列Hposeは、以下に示すように、平行移動行列H(T)と回転行列H(R)とに分離することもできる。
【0052】
【0053】
モデル36の特定点34を同次変換行列により平行移動および回転することで、計測対象物40の特定点44の実空間座標系における座標を算出する。シーン座標系において、モデル点群データ32とシーン点群データ50に含まれる点群データとが最も類似するので、座標変換後の座標は、計測対象物40の特定点44の座標と一致することになる。すなわち、同次変換行列を用いて、モデル36の特定点34の座標をシーン座標系に写像することで、計測対象物40の特定点44の座標を算出する。
【0054】
より具体的には、以下に示すような変換式に従って、モデル36の特定点34の座標(Xp0,Yp0,Zp0)から計測対象物40の特定点44の座標p(Xp,Yp,Zp)が算出される。
【0055】
【0056】
なお、モデル36を生成する際の実空間2の座標原点4と、シーン点群データ50を取得した実空間の座標原点との間に差(平行移動)がある場合には、当該差を反映して座標を補正してもよい。
【0057】
例えば、座標原点の差Offset[OffsetX,OffsetY,OffsetZ]とすると、以下に示すような変換式に従って、モデル36の特定点34の座標(Xp0,Yp0,Zp0)から計測対象物40の特定点44の座標p(Xp,Yp,Zp)が算出される。
【0058】
【0059】
<D.処理手順>
次に、本実施の形態に従う光学計測方法の処理手順の一例について説明する。
【0060】
(d1:モデル生成)
図9は、本実施の形態に従う光学計測方法のモデル生成に係る処理手順の一例を示すフローチャートである。
図9に示す各ステップは、光学計測装置100の1または複数のプロセッサ102がモデル生成プログラム122(
図1)を実行することで実現されてもよい。
【0061】
図9を参照して、光学計測装置100は、実空間2の定義および実空間2の座標原点4の定義を受け付ける(ステップS100)。続いて、光学計測装置100は、レファレンス20のレファレンス点群データ30を取得する(ステップS102)。
【0062】
光学計測装置100は、取得したレファレンス点群データ30に対する1または複数の特定領域の指定を受け付ける(ステップS104)とともに、特定点の指定を受け付ける(ステップS106)。光学計測装置100は、1または複数の特定領域の指定に応じて、レファレンス点群データ30からモデル点群データ32を抽出する(ステップS108)。そして、光学計測装置100は、モデル点群データ32と、特定点34の座標と、座標原点4とを含むデータ集合をモデル36として登録する(ステップS110)。以上により、1つのモデル36を登録する処理は終了する。
【0063】
複数のモデル36を登録する場合には、
図9に示す処理がモデル36の数だけ繰り返される。
【0064】
(d2:特定点の位置計測)
図10は、本実施の形態に従う光学計測方法の特定点の位置計測に係る処理手順の一例を示すフローチャートである。
図10に示す各ステップは、光学計測装置100の1または複数のプロセッサ102が計測プログラム124(
図1)を実行することで実現されてもよい。
【0065】
図10を参照して、光学計測装置100は、計測対象物40に対応するモデル36を取得する(ステップS200)。光学計測装置100は、計測対象物40のシーン点群データ50を取得する(ステップS202)。続いて、光学計測装置100は、計測対象物40から取得されたシーン点群データ50と最も類似するモデル点群データ32の姿勢を検索する。すなわち、光学計測装置100は、シーン点群データ50の中からモデル点群データ32と最も類似する部分を探索する(サーフェイスマッチング)。
【0066】
ここで、光学計測装置100は、シーン点群データ50を間引いたデータと、モデル点群データ32を間引いたデータとを用いて、シーン点群データ50と最も類似するモデル点群データ32の姿勢を検索してもよい(以下に説明する概略マッチング(approximate matching)および概略姿勢修正(sparse pose refinement))。
【0067】
まず、光学計測装置100は、概略マッチングを実行する。
図11は、本実施の形態に従う光学計測方法の概略マッチングの処理例を示す図である。
【0068】
具体的には、光学計測装置100は、指定された点群間隔に従って、シーン点群データ50から概略マッチングに用いるシーンサンプルポイントを抽出する(ステップS204)とともに、ノイズ成分と判断される点を除外する(ステップS206)。さらに、光学計測装置100は、ノイズ成分を除外されたシーンサンプルポイントのうち指定された割合の点をキーポイントとして設定する(ステップS208)。
【0069】
図11(A)の左図は、シーン点群データ50の一例を示し、
図11(A)の右図は、シーン点群データ50から抽出されたシーンサンプルポイントおよびキーポイントの一例を示す。
【0070】
また、光学計測装置100は、指定された点群間隔に従って、モデル点群データ32から概略マッチングに用いるモデルサンプルポイントを抽出する(ステップS210)。
【0071】
図11(B)の左図は、モデル点群データ32の一例を示し、
図11(B)の右図は、モデル点群データ32から抽出されたモデルサンプルポイントの一例を示す。
【0072】
なお、ステップS204~S208の処理とステップS210の処理との実行順序は問わない。また、2つの処理を並列的に実行してもよい。
【0073】
そして、光学計測装置100は、シーン点群データ50に設定されたキーポイントと、モデル点群データ32から抽出されたモデルサンプルポイントとの間でマッチング処理を実行する(ステップS212)。
【0074】
図11(C)の左図は、シーン点群データ50から抽出されたキーポイントの一例を示し、
図11(C)の右図は、モデル点群データ32から抽出されたモデルサンプルポイントの一例を示す。
【0075】
マッチング処理において、光学計測装置100は、モデル点群データ32(モデルサンプルポイント)の姿勢(位置および角度、もしくは、位置)を順次更新するとともに、各姿勢における類似度を算出することで、類似度が高い姿勢を検索する。光学計測装置100は、類似度が高い順に所定数(例えば、9個)の姿勢をマッチング候補の姿勢として決定する(ステップS214)。このように、光学計測装置100は、シーン点群データ50とモデル点群データ32との類似度が高い順に所定数のマッチング候補(姿勢候補)を抽出してもよい。
【0076】
次に、光学計測装置100は、概略姿勢修正を実行する。
具体的には、光学計測装置100は、決定されたマッチング候補のうち1つを選択し(ステップS216)、選択した姿勢を基準として、シーン点群データ50に設定されたキーポイント(ステップS208)と、モデル点群データ32から抽出されたモデルサンプルポイント(ステップS210)との間で誤差が最小化するように、マッチング候補の姿勢を修正する(ステップS218)。
【0077】
図12は、本実施の形態に従う光学計測方法の概略姿勢修正の処理例を示す図である。
図12の左図は、シーン点群データ50から抽出されたキーポイントの一例を示し、
図12の右図は、モデル点群データ32から抽出されたモデルサンプルポイント(姿勢修正後)の一例を示す。
【0078】
決定されたマッチング候補のすべてを選択したか否かを判断し(ステップS220)、決定されたマッチング候補のうち選択されていないものがあれば(ステップS220においてNO)、ステップS216以下の処理が繰り返される。
【0079】
決定されたマッチング候補のすべてが選択されていれば(ステップS220においてYES)、概略姿勢修正は終了する。概略姿勢修正によって、マッチング候補の姿勢の各々は修正される。
【0080】
最終的に、光学計測装置100は、精密姿勢修正(dense pose refinement)を実行する。
【0081】
具体的には、修正後のマッチング候補のうち1つを選択し(ステップS222)、選択した姿勢を基準として、シーン点群データ50とモデル点群データ32との間で誤差が最小化するように、マッチング候補の姿勢をさらに修正する(ステップS224)。
【0082】
図13は、本実施の形態に従う光学計測方法の精密姿勢修正の処理例を示す図である。
図13の左図は、シーン点群データ50の一例を示し、
図13の右図は、モデル点群データ32の一例を示す。
【0083】
修正後のマッチング候補のすべてを選択したか否かを判断し(ステップS226)、修正後のマッチング候補のうち選択されていないものがあれば(ステップS226においてNO)、ステップS222以下の処理が繰り返される。
【0084】
修正後のマッチング候補のすべてが選択されていれば(ステップS226においてYES)、精密姿勢修正は終了する。
【0085】
図14は、本実施の形態に従う光学計測方法の精密姿勢修正の処理結果例を示す図である。
図14に示すように、シーン点群データ50からモデル点群データ32が検索される。
【0086】
精密姿勢修正の実行後、光学計測装置100は、マッチング候補毎に、姿勢および類似度を出力する(ステップS228)。姿勢は同次変換行列Hposeの形で出力され、類似度はスコアの形で出力されてもよい。
【0087】
例えば、スコア=(シーン点群データ50のうちモデル点群データ32と対応(マッチ)した数)/(モデル36に含まれるモデル点群データ32の総数)として算出できる。すなわち、モデル点群データ32の総数のうち、シーン点群データ50と対応した数の割合をスコアとして算出してもよい。この場合、スコアは、0~1の範囲の値をとる。
【0088】
続いて、光学計測装置100は、一意性判断処理を実行する。具体的には、光学計測装置100は、マッチング候補毎の類似度に基づいて、一意性があるか否かを判断する(ステップS230)。
【0089】
一意性があると判断されると(ステップS230においてYES)、光学計測装置100は、最も類似度が高いマッチング候補の姿勢と、モデル36の特定点34の座標とに基づいて、計測対象物40の特定点44の座標を算出し(ステップS232)、算出した計測対象物40の特定点44の座標を出力する(ステップS234)。すなわち、光学計測装置100は、検索された姿勢に基づいて、計測対象物40の特定点44に対応する座標を算出する。そして、処理は終了する。
【0090】
これに対して、一意性がないと判断されると(ステップS230においてNO)、光学計測装置100は、一意性がない旨の情報を出力する(ステップS236)。そして、処理は終了する。
【0091】
<E.ソフトウェア構成>
図15は、本実施の形態に従う光学計測装置のソフトウェア構成例を示す模式図である。
図15に示すソフトウェア構成例は、例えば、光学計測装置100の1または複数のプロセッサ102がモデル生成プログラム122および計測プログラム124(いずれも
図1)を実行することで実現されてもよい。
【0092】
図15を参照して、光学計測装置100は、例えば、モデル生成部150と、モデル保持部152と、検索部154と、座標算出部156とを含む。
【0093】
モデル生成部150は、生成部に相当し、レファレンス20のレファレンス点群データ30を取得し、ユーザ操作などに従って、モデル36を生成する。
【0094】
モデル保持部152は、保持部または取得部に相当し、モデル生成部150が生成したモデル36および/またはサーバ装置などから取得したモデル36を保持する。
【0095】
検索部154は、計測対象物40のシーン点群データ50と最も類似するようにモデル36に含まれるモデル点群データ32の姿勢を検索する。検索部154が検索した姿勢は、そのまま出力されてもよい。
【0096】
座標算出部156は、算出部に相当し、検索部154が検索した姿勢に基づいて、計測対象物40の特定点44の座標を算出する。
【0097】
<F.サンプルポイントの点群間隔の最適化>
次に、モデル点群データ32およびシーン点群データ50から抽出されるサンプルポイントの点群間隔の最適化について説明する。
【0098】
上述したように、概略マッチングにおいては、モデル点群データ32およびシーン点群データ50を指定された点群間隔で間引くことでそれぞれ抽出されるモデルサンプルポイントおよびシーンサンプルポイントが用いられる。これらのサンプルポイントを抽出するための点群間隔について説明する。
【0099】
マッチングにモデルサンプルポイントおよびシーンサンプルポイントを用いるのは、検索に要する時間(マッチング実行時間)を短縮するためである。点群データを点群間隔で間引くことで、検索の対象となる点数が減少するので、検索に要する時間を短縮できる。
【0100】
図16は、本実施の形態に従う光学計測方法におけるサンプリングポイントの点群間隔について説明するための図である。
図16には、点群間隔を異ならせた場合の座標移動量(対数スケール)およびマッチング実行時間の一例を示す。点群間隔は、任意に規格化された距離を示す。座標移動量は、概略マッチングにより暫定的に計測された特定点44の位置と最終的に決定された特定点44の位置との差(XYZの各軸成分)を示す。
【0101】
図16には、一例として、点群間隔を0.01を初期値としている。なお、点群間隔の初期値における座標移動量はゼロのため、図示は省略している。
【0102】
図16を参照して、点群間隔は、例えば、検索に要する時間(マッチング実行時間)と特定点44の位置の差(すなわち、概略姿勢修正および精密姿勢修正による修正量)とに基づいて、最適化することができる。
図16に示す例では、点群間隔は、0.05~0.15の範囲に設定してもよい。
【0103】
なお、検索に要する時間のみに着目して点群間隔を決定してもよいし、特定点44の位置の差のみに着目して点群間隔を決定してもよい。
【0104】
なお、モデルサンプルポイントおよびシーンサンプルポイントを抽出するための点群間隔は、同一でなくてもよい。
【0105】
特定点の位置計測(
図10)において、点群間隔は、予め指定されていてもよいし、都度設定されてもよい。また、最適化された点群間隔の値を対応するモデル36に含めてもよい。
【0106】
<G.一意性判断処理>
次に、本実施の形態に従う光学計測方法における一意性判断処理(ステップS230)の処理例について説明する。
【0107】
一意性判断処理においては、シーン点群データ50の中でモデル点群データ32と最も類似する点群データの位置が一意的に決定されているか否かを判断する。この一意性を判断するために、最も類似するとして検索された部分の類似度が他の部分の類似度に比較して突出しているか否かが判断される。すなわち、光学計測装置100は、所定数のマッチング候補(姿勢候補)のうち最も類似度の高いマッチング候補の他のマッチング候補に対する一意性を評価する。
【0108】
図17は、本実施の形態に従う光学計測方法による検索結果の一例を示す図である。
図17には、一例として、8つのマッチング候補が示されている。
【0109】
一意性判断処理においては、検索されたマッチング候補毎の類似度(スコア)を統計的に評価する。統計的な評価には、例えば、四分位範囲を用いることができる。
【0110】
より具体的には、検索されたすべてのマッチング候補の類似度から第3四分位数が算出される。そして、算出された第3四分位数から算出される判定しきい値と第1位のマッチング候補の類似度とを比較する。第1位のマッチング候補の類似度が判定しきい値より大きければ、検索結果に一意性があると判断できる。
【0111】
以下には、9個のマッチング候補の類似度を昇順に並べた結果例を示す。
【0112】
【0113】
上表によれば、以下のように各値を算出できる。
・第1四分位数Q1(25%)=0.127
・中央値Q2=0.148
・第3四分位数Q3(75%)=0.300
ここで、外れ値の判定しきい値を「Q3+(Q3-Q1)×1.5」とすると、判定しきい値は0.560と算出できる。
【0114】
No.9のマッチング候補の類似度は0.618であり、外れ値の判定しきい値である0.560より大きいので、一意性がある(すなわち外れ値に相当する)と判断できる。
【0115】
なお、最も類似度が高いマッチング候補が検索されたマッチング候補の集合に対して、一意性があるか否かを判断する手法は、他の公知の方法を用いてもよい。
【0116】
<H.アプリケーション例>
次に、本実施の形態に従う光学計測方法のアプリケーション例について説明する。なお、本実施の形態に従う光学計測方法は、以下に説明するアプリケーションに限らず、任意のアプリケーションに用いることができる。
【0117】
図18は、ヘッドライト検査装置の一例を示す模式図である。
図18を参照して、ヘッドライト検査装置200は、車両のヘッドライトの照射向きや明るさを検査する。このとき、車両のヘッドライトの光軸を調整する必要がある。ヘッドライトの光軸の調整において、ヘッドライトのレンズに予め指定されている基準位置を取得する必要がある。
【0118】
基準位置を取得する方法として、ヘッドライトが発する光の輝度分布の重心を基準位置とみなす方法がある。この方法では、ヘッドライトが多数の光源を有している場合には、輝度分布の重心から決定される基準位置と、ヘッドライトに予め設定されている本来の基準位置とが一致しない場合がある。
【0119】
また、光の輝度分布の時間的な変化、および、ヘッドライトを構成する部品の製造上の個体差などにより、輝度分布の重心から決定される基準位置の安定性が低くなることもある。
【0120】
これに対して、本実施の形態に従う光学計測方法を用いることで、光の輝度分布ではなく、ヘッドライトの表面形状に基づいて基準位置を取得できる。
【0121】
図19は、先進運転支援システムの検査装置の一例を示す模式図である。
図19を参照して、検査時には、正対装置212を用いて、固定された検査装置210と車両(基準位置220)との位置関係が調整される。正対装置212は、車両を車両の進行方向に直交する方向(左右方向)に調整する。ただし、正対装置212は、タイヤ表面を調整面として車両を整列させるので、タイヤを剛体とみなすことができない場合もあるため、検査装置210と車両との位置関係が適切に調整できていない可能性もある。
【0122】
これに対して、本実施の形態に従う光学計測方法を用いることで、車両の表面形状に基づいて基準位置を取得できるので、検査装置210と車両との位置関係を適切に調整でき、これによって、検査自体も適切に行うことができる。
【0123】
以上のように、本実施の形態に従う光学計測方法は、検査設備の実空間上の位置と検査対象の車両の実空間上の位置とを正確かつ汎用的に計測できるので、車両のさまざまな検査工程に適用可能である。
【0124】
<I.変形例>
上述した実施の形態については、さまざまな変形が可能である。
【0125】
(i1:特定点の座標に存在する不確かさ)
計測対象物40の三次元点群データは、計測の揺らぎなどにより不確かさを含む。その結果、計測された特定点の位置(座標)にも不確かさが存在する。そこで、計測された特定点の座標に存在する不確かさを評価する処理を実行してもよい。
【0126】
図20は、本実施の形態に従う光学計測方法における特定点の座標に存在する不確かさを評価する方法を説明するための図である。
【0127】
図20を参照して、計測対象物40のシーン点群データ50を取得した後、シーン点群データ50に含まれる各点に存在する不確かさの値に基づいて、複数のシーン点群データ50Aをランダムに生成する。より具体的には、シーン点群データ50に含まれる1または複数の点を選択するとともに、選択された各点の座標を不確かさの値の正規分布に従って座標をランダムに修正することで、複数のシーン点群データ50Aを生成する。
【0128】
複数のシーン点群データ50Aに対して、上述した特定点の位置計測処理を実行することで、シーン点群データ50A毎に特定点44の座標を決定する。
【0129】
決定された特定点44の複数の座標についての標準偏差を算出し、算出した標準偏差を特定点44の位置に存在する不確かさとして出力してもよい。
【0130】
このように、光学計測装置100は、シーン点群データ50に存在する不確かさを反映して、シーン点群データ50から複数のシーン点群データ50Aを生成し、生成した複数のシーン点群データ50Aの各々から特定点44に対応する座標を算出し、算出した座標のばらつきに基づいて、算出された座標に存在する不確かさを算出する。
【0131】
このような不確かさを算出することで、特定点44の位置についての精度を評価できる。
【0132】
(i2:モデルの生成および提供)
レファレンス20の三次元点群データ(レファレンス点群データ30)を用いて、モデル36を生成する処理例について説明したが、現実のレファレンス20を用意せず、CAD(Computer Aided Design)データなどを用いて、シミュレーションによりモデル36を生成してもよい。この場合には、仮想空間上にレファレンス20に相当するオブジェクトを配置して仮想撮像することで生成される三次元点群データを用いることができる。
【0133】
この場合には、実空間と仮想空間との位置関係を予め定義することで、モデル36に必要な実空間2の座標原点4を取得できる。
【0134】
このように、現実にレファレンス20を用いることなくモデル36を用意できるので、さまざまな計測対象物40に対応することができる。
【0135】
さらに、予め用意された複数のモデル36をサーバ装置などに予め格納しておき、複数の光学計測装置100の各々が必要に応じてダウンロードできるようにしてもよい。サーバ装置が複数のモデル36を光学計測装置100の各々に適宜提供することで、モデル36を生成するための事前知識を有していないユーザであっても、光学計測装置100を容易に利用できる。
【0136】
(i3:探索処理)
上述の説明においては、モデル点群データ32を平行移動および回転させることで、シーン点群データ50と最も類似する姿勢を検索する処理例を示したが、モデル点群データ32を平行移動のみさせることで、シーン点群データ50と最も類似する姿勢を検索してもよい。平行移動および回転させた場合には、平行移動行列および回転行列を含む同次変換行列が算出される。一方、平行移動させた場合には、平行移動行列が算出される。このように、シーン点群データ50と最も類似するモデル点群データ32の姿勢を検索する処理において、モデル点群データ32を平行移動のみさせるようにしてもよい。
【0137】
例えば、計測対象物40が回転しないことが保証されているような場合には、検索時間を短縮できる。
【0138】
また、計測対象物40が回転し得る場合であっても、複数のカメラ10を用いて三次元点群データをそれぞれ取得し、それぞれのモデル36を用いた検索を行うとともに、それぞれの検索結果を統合することで、計測対象物40の特定点の位置をより正確に計測できる。
【0139】
(i4:同次変換行列の出力)
計測対象物40の特定点44の座標を出力する処理例を説明したが、特定点44の座標に加えて、あるいは、特定点44の座標に代えて、同次変換行列(あるいは、平行移動行列および/または回転行列)を出力するようにしてもよい。
【0140】
同次変換行列は、計測対象物40の基準位置からのずれを示すものであり、そのずれの情報も検査装置などにおいて有効である。そのため、算出された同次変換行列(あるいは、平行移動行列および/または回転行列)を検査装置の検査結果に付加してもよい。
【0141】
このように、本実施の形態に従う光学計測方法は、計測対象物40の特定点44の座標を出力する処理に加えて、算出された同次変換行列(あるいは、平行移動行列および/または回転行列)を出力する処理も含む。
【0142】
<J.利点>
本実施の形態に従う光学計測方法によれば、光学的に非接触で特定点の実空間上の位置を計測できる。計測対象物の形状はどのようなものであってもよい。また、計測対象物が回転し得る場合であっても、特定点の実空間上の位置を計測できる。
【0143】
実空間上の位置を計測する方法として、例えば、計測対象物にプローブなどを物理的に接触させる方法があるが、品質などの観点から接触できない計測対象物には適用できない。これに対して、本実施の形態に従う光学計測方法によれば、非接触で計測ができるので、このような制約がない。
【0144】
また、実空間上の位置を計測する方法として、二次元画像のパターンマッチングを用いる方法があるが、ノイズに弱く、安定した計測が難しいという課題がある。また、計測対象物とテンプレートとの間で、サイズや角度が必ずしも一致しないので、ロバスト性を高めるためには、複数のテンプレートを用意する必要がある。これに対して、本実施の形態に従う光学計測方法によれば、モデルを平行移動および/または回転することで、シーンと最も類似するモデルの位置および/または角度を検索するので、安定した計測ができるとともに、複数のモデルを用意する必要もない。
【0145】
また、計測対象物にマーカなどを配置して、位置関係を複数のカメラにより撮像された画像データから算出する方法もある。この方法では、マーカなどを配置する必要がある。これに対して、本実施の形態に従う光学計測方法によれば、モデルを用意するだけでよく、計測対象物にマーカなどを配置する必要もない。
【0146】
また、レーザや超音波などを用いて、特定の一点を計測する方法もある。この方法では、位置を正確に計測するためには、複数のセンサなどを配置する必要があり、また、複数のセンサの出力に対して複雑なデータ処理が必要となる。これに対して、本実施の形態に従う光学計測方法によれば、短時間に精度の高い計測が可能である。
【0147】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0148】
2 実空間、4,6 座標原点、10 カメラ、20 レファレンス、30 レファレンス点群データ、32 モデル点群データ、34,44 特定点、36 モデル、40 計測対象物、50,50A シーン点群データ、100 光学計測装置、102 プロセッサ、104 メモリ、106 ストレージ、108 入力部、110 出力部、112 カメラインターフェイス、114 メディアドライブ、116 光学ディスク、120 オペレーティングシステム、122 モデル生成プログラム、124 計測プログラム、126 モデルセット、128 プログラム、150 モデル生成部、152 モデル保持部、154 検索部、156 座標算出部、200 ヘッドライト検査装置、210 検査装置、212 正対装置、220 基準位置。
【手続補正書】
【提出日】2024-05-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを保持する保持部と、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索する検索部と、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出する算出部とを備え、
前記検索部は、
前記三次元点群データに存在する不確かさを反映して、前記三次元点群データから複数の三次元点群データを生成し、
前記生成された複数の三次元点群データの各々から前記特定点に対応する座標を算出し、
前記算出された座標のばらつきに基づいて、前記算出された座標に存在する不確かさを算出する、光学計測装置。
【請求項2】
前記検索部は、前記モデル点群データを平行移動および回転させることで、前記三次元点群データと最も類似する姿勢を検索する、請求項1に記載の光学計測装置。
【請求項3】
前記検索部は、前記モデル点群データを間引いたデータと、前記モデル点群データを間引いたデータとを用いて、前記三次元点群データと最も類似する姿勢を検索する、請求項1に記載の光学計測装置。
【請求項4】
前記検索部は、前記三次元点群データと前記モデル点群データとの類似度が高い順に所定数の姿勢候補を抽出する、請求項1~3のいずれか1項に記載の光学計測装置。
【請求項5】
前記検索部は、前記所定数の姿勢候補のうち最も類似度の高い姿勢候補の他の姿勢候補に対する一意性を評価する、請求項4に記載の光学計測装置。
【請求項6】
前記計測対象物のレファレンスとなる物体から取得された三次元点群データに対して、
指定された1または複数の領域に対応する部分データを前記モデル点群データとして決定するモデル生成部をさらに備える、請求項1~3のいずれか1項に記載の光学計測装置。
【請求項7】
実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを取得するステップと、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索するステップと、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出するステップとを備え、
前記検索するステップは、
前記三次元点群データに存在する不確かさを反映して、前記三次元点群データから複数の三次元点群データを生成するステップと、
前記生成された複数の三次元点群データの各々から前記特定点に対応する座標を算出するステップと、
前記算出された座標のばらつきに基づいて、前記算出された座標に存在する不確かさを算出するステップとを含む、光学計測方法。
【請求項8】
コンピュータに、
実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを取得するステップと、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索するステップと、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出するステップとを実行させ、
前記検索するステップは、
前記三次元点群データに存在する不確かさを反映して、前記三次元点群データから複数の三次元点群データを生成するステップと、
前記生成された複数の三次元点群データの各々から前記特定点に対応する座標を算出するステップと、
前記算出された座標のばらつきに基づいて、前記算出された座標に存在する不確かさを算出するステップとを含む、光学計測プログラム。