特許 7523165 光学計測装置、光学計測方法および光学計測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-18

(45)【発行日】2024-07-26

(54)【発明の名称】光学計測装置、光学計測方法および光学計測プログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20240719BHJP

   G01B 11/26 20060101ALI20240719BHJP

   G06T 7/70 20170101ALI20240719BHJP

【ＦＩ】

G01B11/00 H

G01B11/26 H

G06T7/70 Z

【請求項の数】 8

(21)【出願番号】P 2023038945

(22)【出願日】2023-03-13

【審査請求日】2024-05-17

【早期審査対象出願】

(73)【特許権者】

【識別番号】390033916

【氏名又は名称】大塚メカトロニクス株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】大庭 泰治

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０２１－７６５３２（ＪＰ，Ａ）

【文献】国際公開第２０２２／１０７６８４（ＷＯ，Ａ１）

【文献】特開２０２２－０２４９６５（ＪＰ，Ａ）

【文献】特開２０１５－１９１２８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを保持する保持部と、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索する検索部と、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出する算出部とを備え、
前記検索部は、
前記三次元点群データに存在する不確かさを反映して、前記三次元点群データから複数の三次元点群データを生成し、
前記生成された複数の三次元点群データの各々から前記特定点に対応する座標を算出し、
前記算出された座標のばらつきに基づいて、前記算出された座標に存在する不確かさを算出する、光学計測装置。

【請求項2】

前記検索部は、前記モデル点群データを平行移動および回転させることで、前記三次元点群データと最も類似する姿勢を検索する、請求項１に記載の光学計測装置。

【請求項3】

前記検索部は、前記モデル点群データを間引いたデータと、前記モデル点群データを間引いたデータとを用いて、前記三次元点群データと最も類似する姿勢を検索する、請求項１に記載の光学計測装置。

【請求項4】

前記検索部は、前記三次元点群データと前記モデル点群データとの類似度が高い順に所定数の姿勢候補を抽出する、請求項１～３のいずれか１項に記載の光学計測装置。

【請求項5】

前記検索部は、前記所定数の姿勢候補のうち最も類似度の高い姿勢候補の他の姿勢候補に対する一意性を評価する、請求項４に記載の光学計測装置。

【請求項6】

前記計測対象物のレファレンスとなる物体から取得された三次元点群データに対して、
指定された１または複数の領域に対応する部分データを前記モデル点群データとして決定するモデル生成部をさらに備える、請求項１～３のいずれか１項に記載の光学計測装置。

【請求項7】

実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを取得するステップと、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索するステップと、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出するステップとを備え、
前記検索するステップは、
前記三次元点群データに存在する不確かさを反映して、前記三次元点群データから複数の三次元点群データを生成するステップと、
前記生成された複数の三次元点群データの各々から前記特定点に対応する座標を算出するステップと、
前記算出された座標のばらつきに基づいて、前記算出された座標に存在する不確かさを算出するステップとを含む、光学計測方法。

【請求項8】

コンピュータに、
実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを取得するステップと、
前記計測対象物から取得された三次元点群データと最も類似する前記モデル点群データの姿勢を検索するステップと、
前記検索された姿勢に基づいて、前記計測対象物の前記特定点に対応する座標を算出するステップとを実行させ、
前記検索するステップは、
前記三次元点群データに存在する不確かさを反映して、前記三次元点群データから複数の三次元点群データを生成するステップと、
前記生成された複数の三次元点群データの各々から前記特定点に対応する座標を算出するステップと、
前記算出された座標のばらつきに基づいて、前記算出された座標に存在する不確かさを算出するステップとを含む、光学計測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学計測装置、光学計測方法および光学計測プログラムに関する。

【背景技術】

【0002】

従来より、光学的に物体の位置および姿勢を認識する技術が知られている。
例えば、特開２０２２－０４２１０３号公報（特許文献１）は、対象物体の位置及び姿勢の認識に関してノイズの影響を抑制し得る構成を開示する。また、特開２０１８－１８９５１０号公報（特許文献２）は、３次元シーン中の対象物をより高速に認識する構成を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－０４２１０３号公報

【文献】特開２０１８－１８９５１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の先行技術は、カメラを基準として物体全体の位置および姿勢を認識するものであり、例えば、物体の絶対的な位置を特定するような用途は想定されていない。

【0005】

本発明の一つの目的は、計測対象物に設定される特定点の位置を計測する技術を提供することである。

【課題を解決するための手段】

【0006】

（構成１）本発明のある局面に従う光学計測装置は、実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、実空間における特定点の座標とを含むモデルを保持する保持部と、計測対象物から取得された三次元点群データと最も類似するモデル点群データの姿勢を検索する検索部と、検索された姿勢に基づいて、計測対象物の特定点に対応する座標を算出する算出部とを含む。

【0007】

（構成２）構成１において、検索部は、モデル点群データを平行移動および回転させることで、三次元点群データと最も類似する姿勢を検索してもよい。

【0008】

（構成３）構成１または２において、検索部は、モデル点群データを間引いたデータと、モデル点群データを間引いたデータとを用いて、三次元点群データと最も類似する姿勢を検索してもよい。

【0009】

（構成４）構成１～３のいずれかにおいて、検索部は、三次元点群データとモデル点群データとの類似度が高い順に所定数の姿勢候補を抽出してもよい。

【0010】

（構成５）構成４において、検索部は、所定数の姿勢候補のうち最も類似度の高い姿勢候補の他の姿勢候補に対する一意性を評価してもよい。

【0011】

（構成６）構成１～５のいずれかにおいて、光学計測装置は、計測対象物のレファレンスとなる物体から取得された三次元点群データに対して、指定された１または複数の領域に対応する部分データをモデル点群データとして決定するモデル生成部をさらに含んでいてもよい。

【0012】

（構成７）構成１～６のいずれかにおいて、検索部は、三次元点群データに存在する不確かさを反映して、三次元点群データから複数の三次元点群データを生成し、生成された複数の三次元点群データの各々から特定点に対応する座標を算出し、算出された座標のばらつきに基づいて、算出された座標に存在する不確かさを算出してもよい。

【0013】

（構成８）本発明の別の局面に従う光学計測方法は、実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、実空間における特定点の座標とを含むモデルを取得するステップと、計測対象物から取得された三次元点群データと最も類似するモデル点群データの姿勢を検索するステップと、検索された姿勢に基づいて、計測対象物の特定点に対応する座標を算出するステップとを含む。

【0014】

（構成９）本発明の別の局面に従う光学計測プログラムは、コンピュータに、実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、実空間における特定点の座標とを含むモデルを取得するステップと、計測対象物から取得された三次元点群データと最も類似するモデル点群データの姿勢を検索するステップと、検索された姿勢に基づいて、計測対象物の特定点に対応する座標を算出するステップとを実行させる。

【発明の効果】

【0015】

本発明のある実施の形態によれば、非接触で計測対象物に設定される特定点の位置を計測できる。

【図面の簡単な説明】

【0016】

【図1】本実施の形態に従う光学計測装置のハードウェア構成例を示す模式図である。

【図2】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。

【図3】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。

【図4】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。

【図5】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。

【図6】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。

【図7】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。

【図8】本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。

【図9】本実施の形態に従う光学計測方法のモデル生成に係る処理手順の一例を示すフローチャートである。

【図10】本実施の形態に従う光学計測方法の特定点の位置計測に係る処理手順の一例を示すフローチャートである。

【図11】本実施の形態に従う光学計測方法の概略マッチングの処理例を示す図である。

【図12】本実施の形態に従う光学計測方法の概略姿勢修正の処理例を示す図である。

【図13】本実施の形態に従う光学計測方法の精密姿勢修正の処理例を示す図である。

【図14】本実施の形態に従う光学計測方法の精密姿勢修正の処理結果例を示す図である。

【図15】本実施の形態に従う光学計測装置のソフトウェア構成例を示す模式図である。

【図16】本実施の形態に従う光学計測方法におけるサンプリングポイントの点群間隔について説明するための図である。

【図17】本実施の形態に従う光学計測方法による検索結果の一例を示す図である。

【図18】ヘッドライト検査装置の一例を示す模式図である。

【図19】先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance System）の検査装置の一例を示す模式図である。

【図20】本実施の形態に従う光学計測方法における特定点の座標に存在する不確かさを評価する方法を説明するための図である。

【発明を実施するための形態】

【0017】

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

【0018】

本実施の形態に従う光学計測方法は、任意の計測対象物に設定される任意の点（以下、「特定点」とも称す。）の実空間上の位置を計測する。特定点は、計測対象物を基準に設定される。

【0019】

本明細書において、「実空間」は、座標系が予め定義された、現実に存在する空間を意味する。

【0020】

＜Ａ．装置構成例＞
まず、本実施の形態に従う光学計測方法を実現するための装置構成の一例について説明する。

【0021】

図１は、本実施の形態に従う光学計測装置のハードウェア構成例を示す模式図である。
図１を参照して、光学計測装置１００は、１または複数のプロセッサ１０２と、メモリ１０４と、ストレージ１０６と、入力部１０８と、出力部１１０と、カメラインターフェイス１１２と、メディアドライブ１１４とを含む。

【0022】

プロセッサ１０２は、ストレージ１０６に格納されている１または複数のプログラムをメモリ１０４に読み出して実行する。プロセッサ１０２は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などからなる。プロセッサ１０２は、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードワイヤードロジック回路を含んでいてもよい。

【0023】

メモリ１０４は、プロセッサ１０２がプログラムを実行するためのワーキングメモリとして機能する。メモリ１０４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などからなる。

【0024】

ストレージ１０６は、プロセッサ１０２が実行するプログラム（コンピュータ読取可能命令の集合）および処理に必要なデータを格納する。ストレージ１０６は、例えば、ハードディスクやフラッシュメモリなどの非一過性のコンピュータ読取可能媒体からなる。ストレージ１０６は、例えば、オペレーティングシステム１２０（ＯＳ：Operating System）と、モデル生成プログラム１２２と、計測プログラム１２４と、モデルセット１２６と、ＧＵＩ（Graphical User Interface）プログラム１２８とを格納する。

【0025】

オペレーティングシステム１２０は、プロセッサ１０２がプログラムを実行する環境を実現するためのコンピュータ読取可能命令を含む。モデル生成プログラム１２２は、モデル３６を生成するためのコンピュータ読取可能命令を含む。計測プログラム１２４は、計測対象物の特定点の位置を計測するためのコンピュータ読取可能命令を含む。モデルセット１２６は、１または複数のモデル３６を含む。ＧＵＩプログラム１２８は、処理に必要なユーザとの対話を提供するためのコンピュータ読取可能命令を含む。

【0026】

入力部１０８は、ユーザ操作を受け付ける。入力部１０８は、キーボードやマウスなどの入力デバイスを含んでいてもよいし、入力デバイスからユーザ操作を示す信号またはデータを受信するための通信インターフェイスを含んでいてもよい。

【0027】

出力部１１０は、プロセッサ１０２によるプログラムの実行結果などを出力する。出力部１１０は、ディスプレイなどの出力デバイスを含んでいてもよいし、出力デバイスに対して出力すべき情報を送信するための通信インターフェイスを含んでいてもよい。

【0028】

カメラインターフェイス１１２は、１または複数のカメラ１０から画像データを取得する。本実施の形態に従う光学計測方法においては、計測対象物の三次元点群データを取得できればよいので、カメラインターフェイス１１２は、カメラ１０に限らず任意のデバイスから、三次元点群データを取得するための情報、および／または、三次元点群データそのものを取得する。

【0029】

メディアドライブ１１４は、非一過性のコンピュータ読取可能媒体（例えば、光学ディスク１１６など）から、光学計測装置１００での処理に必要なプログラムおよび／またはデータを読み出して、ストレージ１０６に格納する。なお、光学計測装置１００での処理に必要なプログラムおよび／またはデータは、ネットワーク上のサーバ装置からダウンロードされてもよい。また、モデル３６についてもネットワーク上のサーバ装置から適宜ダウンロードされてもよい。

【0030】

本明細書において、「光学計測装置」は、単一の装置であってもよいし、複数の装置の集合であってもよい。また、一部の処理をクラウドなどのコンピューティングリソースを用いて実現してもよい。

【0031】

＜Ｂ．三次元点群データの取得＞
本実施の形態に従う光学計測方法において、三次元点群データは、計測対象物または計測対象物と実質的に同一形状の物体の表面形状を定義する情報である。三次元点群データは、表面に存在する各点の座標（ｘ，ｙ，ｚ）を含む。三次元点群データに含まれる各点の座標は、例えば、カメラ１０を基準とした座標系において定義される。

【0032】

三次元点群データはどのような方法で取得してもよい。例えば、ステレオカメラを用いたパッシブスキャン方式を採用してもよい。また、ＴＯＦ（Time Of Flight）や三角測距などのアクティブスキャン方式を採用してもよい。三角測距としては、アクティブステレオカメラや空間コードが知られている。空間コードとしては、例えば、ランダムドット、および、縞投影などの特徴ベースマッチングが知られている。さらに、時間コードや光切断（例えば、ビームスキャンやコンベア）などを採用してもよい。

【0033】

このように、三次元点群データが取得できれば、カメラ１０および撮像の方式はどのようなものであってもよい。これによって、本実施の形態に従う光学計測方法において使用可能なハードウェアの制約を下げることができる。

【0034】

＜Ｃ．全体処理手順＞
次に、本実施の形態に従う光学計測方法の一例について説明する。

【0035】

図２～図８は、本実施の形態に従う光学計測方法の処理手順の一例を説明するための図である。

【0036】

まず、任意の実空間２が定義されるとともに、実空間２の座標原点４が定義される（図２参照）。実空間２は、例えば、任意の検査装置に関連付けられる空間である。

【0037】

次に、実空間２の任意の位置にカメラ１０が配置される（図３参照）。カメラ１０は、計測対象物または計測対象物と実質的に同一形状の物体を撮像して、三次元点群データ（以下、単に「点群データ」とも称す。）を生成する。このとき、配置されたカメラ１０と座標原点４との位置関係が定義される。

【0038】

次に、計測対象物と実質的に同一形状の物体（以下、「レファレンス２０」とも称す。）をカメラ１０で撮像し、レファレンス２０の三次元点群データ（以下、「レファレンス点群データ３０」とも称す。）が取得される。レファレンス点群データ３０は、レファレンス２０の表面形状を定義する（図４参照）。

【0039】

次に、図５（Ａ）に示すように、計測対象物の姿勢（位置および角度、もしくは、位置）を検索するために用いられる領域（以下、「特定領域」とも称す。）が決定され、レファレンス点群データ３０から、１または複数の特定領域に対応する三次元点群データ（以下、「モデル点群データ３２」とも称す。）が抽出される。すなわち、モデル点群データ３２のうち、計測対象物の検索に用いられなくてもよい点群データ、あるいは、計測対象物の検索においてノイズとなり得る点群データが除外される。

【0040】

このように、光学計測装置１００は、レファレンス点群データ３０に対して、指定された１または複数の特定領域に対応する部分データをモデル点群データ３２として決定する。

【0041】

また、レファレンス点群データ３０において計測対象となる点（以下、「特定点３４」とも称す。）が指定される。

【0042】

最終的に、図５（Ｂ）に示すように、座標原点４と、モデル点群データ３２と、特定点３４の情報とがモデル３６として登録される。座標原点４は、実空間２の座標系の定義である。モデル点群データ３２は、計測対象物４０のレファレンスとなる物体（レファレンス２０）の表面形状の少なくとも一部を示す。特定点３４の情報は、実空間２における特定点３４の座標を含む。より具体的には、モデル３６は、座標原点４を基準とする座標系（以下、「実空間座標系」とも称す。）における特定点３４の座標ｐ０（Ｘｐ０，Ｙｐ０，Ｚｐ０）を含む。

【0043】

次に、実際の計測においては、カメラ１０が計測対象物４０を撮像することで、計測対象物４０の点群データ（以下、「シーン点群データ５０」とも称す。）が生成される（図６参照）。なお、実空間２におけるカメラ１０の位置（すなわち、配置されたカメラ１０と座標原点４との位置関係）は、モデル３６の登録時と同一であるとする。

【0044】

光学計測装置１００は、計測対象物４０から取得されたシーン点群データ５０と最も類似するモデル点群データ３２の姿勢を検索する（図７参照）。言い換えれば、シーン点群データ５０とマッチングするように、モデル点群データ３２（あるいは、モデル３６において定義された実空間座標系）を平行移動および／または回転させる。

【0045】

説明の便宜上、図７には、モデル点群データ３２を平行移動する例を示すが、モデル点群データ３２の位置および角度は、どのように変化させてもよい。このように、シーン点群データ５０の中から、モデル３６のモデル点群データ３２と最も類似する点群データが検索される。図７に示す例では、モデル３６の座標原点４を座標原点６に移動することで、モデル点群データ３２とシーン点群データ５０に含まれる点群データとが最も類似する。

【0046】

図８を参照して、モデル３６のモデル点群データ３２とシーン点群データ５０に含まれる点群データとが最も類似する状態の情報に基づいて、計測対象物４０の特定点４４（特定点３４に対応する点）の座標が算出される。すなわち、光学計測装置１００は、検索された姿勢に基づいて、計測対象物４０の特定点４４に対応する座標を算出する。

【0047】

より具体的には、モデル３６が取得された実空間２（実空間座標系）と、シーン点群データ５０に含まれる点群データと最も類似した状態の空間（座標原点６を基準とする座標系（以下、「シーン座標系」とも称す。））との位置関係に基づいて、モデル３６の特定点３４の座標を変換することで、計測対象物４０の特定点４４の実空間２における座標を算出する。

【0048】

計測対象物４０の特定点４４の実空間２における座標を算出するための具体的な手順例について説明する。

【0049】

上述した検索においては、座標原点４を基準とする実空間座標系を座標原点６を基準とするシーン座標系に変換するための同次変換行列Ｈｐｏｓｅが算出される。ここで、同次変換行列Ｈｐｏｓｅは以下のようになる。

【0050】

Ｈｐｏｓｅ＝［ＴｒａｎｓＸ，ＴｒａｎｓＹ，ＴｒａｎｓＺ，ＲｏｔＸ，ＲｏｔＹ，ＲｏｔＺ］
なお、回転は、ＹＰＲ（Yaw Pitch Roll） Ｃｏｎｖｅｎｔｉｏｎに従っている。

【0051】

同次変換行列Ｈｐｏｓｅは、以下に示すように、平行移動行列Ｈ（Ｔ）と回転行列Ｈ（Ｒ）とに分離することもできる。

【0052】

【数1】

【0053】

モデル３６の特定点３４を同次変換行列により平行移動および回転することで、計測対象物４０の特定点４４の実空間座標系における座標を算出する。シーン座標系において、モデル点群データ３２とシーン点群データ５０に含まれる点群データとが最も類似するので、座標変換後の座標は、計測対象物４０の特定点４４の座標と一致することになる。すなわち、同次変換行列を用いて、モデル３６の特定点３４の座標をシーン座標系に写像することで、計測対象物４０の特定点４４の座標を算出する。

【0054】

より具体的には、以下に示すような変換式に従って、モデル３６の特定点３４の座標（Ｘｐ０，Ｙｐ０，Ｚｐ０）から計測対象物４０の特定点４４の座標ｐ（Ｘｐ，Ｙｐ，Ｚｐ）が算出される。

【0055】

【数2】

【0056】

なお、モデル３６を生成する際の実空間２の座標原点４と、シーン点群データ５０を取得した実空間の座標原点との間に差（平行移動）がある場合には、当該差を反映して座標を補正してもよい。

【0057】

例えば、座標原点の差Ｏｆｆｓｅｔ［ＯｆｆｓｅｔＸ，ＯｆｆｓｅｔＹ，ＯｆｆｓｅｔＺ］とすると、以下に示すような変換式に従って、モデル３６の特定点３４の座標（Ｘｐ０，Ｙｐ０，Ｚｐ０）から計測対象物４０の特定点４４の座標ｐ（Ｘｐ，Ｙｐ，Ｚｐ）が算出される。

【0058】

【数3】

【0059】

＜Ｄ．処理手順＞
次に、本実施の形態に従う光学計測方法の処理手順の一例について説明する。

【0060】

（ｄ１：モデル生成）
図９は、本実施の形態に従う光学計測方法のモデル生成に係る処理手順の一例を示すフローチャートである。図９に示す各ステップは、光学計測装置１００の１または複数のプロセッサ１０２がモデル生成プログラム１２２（図１）を実行することで実現されてもよい。

【0061】

図９を参照して、光学計測装置１００は、実空間２の定義および実空間２の座標原点４の定義を受け付ける（ステップＳ１００）。続いて、光学計測装置１００は、レファレンス２０のレファレンス点群データ３０を取得する（ステップＳ１０２）。

【0062】

光学計測装置１００は、取得したレファレンス点群データ３０に対する１または複数の特定領域の指定を受け付ける（ステップＳ１０４）とともに、特定点の指定を受け付ける（ステップＳ１０６）。光学計測装置１００は、１または複数の特定領域の指定に応じて、レファレンス点群データ３０からモデル点群データ３２を抽出する（ステップＳ１０８）。そして、光学計測装置１００は、モデル点群データ３２と、特定点３４の座標と、座標原点４とを含むデータ集合をモデル３６として登録する（ステップＳ１１０）。以上により、１つのモデル３６を登録する処理は終了する。

【0063】

複数のモデル３６を登録する場合には、図９に示す処理がモデル３６の数だけ繰り返される。

【0064】

（ｄ２：特定点の位置計測）
図１０は、本実施の形態に従う光学計測方法の特定点の位置計測に係る処理手順の一例を示すフローチャートである。図１０に示す各ステップは、光学計測装置１００の１または複数のプロセッサ１０２が計測プログラム１２４（図１）を実行することで実現されてもよい。

【0065】

図１０を参照して、光学計測装置１００は、計測対象物４０に対応するモデル３６を取得する（ステップＳ２００）。光学計測装置１００は、計測対象物４０のシーン点群データ５０を取得する（ステップＳ２０２）。続いて、光学計測装置１００は、計測対象物４０から取得されたシーン点群データ５０と最も類似するモデル点群データ３２の姿勢を検索する。すなわち、光学計測装置１００は、シーン点群データ５０の中からモデル点群データ３２と最も類似する部分を探索する（サーフェイスマッチング）。

【0066】

ここで、光学計測装置１００は、シーン点群データ５０を間引いたデータと、モデル点群データ３２を間引いたデータとを用いて、シーン点群データ５０と最も類似するモデル点群データ３２の姿勢を検索してもよい（以下に説明する概略マッチング（approximate matching）および概略姿勢修正（sparse pose refinement））。

【0067】

まず、光学計測装置１００は、概略マッチングを実行する。
図１１は、本実施の形態に従う光学計測方法の概略マッチングの処理例を示す図である。

【0068】

具体的には、光学計測装置１００は、指定された点群間隔に従って、シーン点群データ５０から概略マッチングに用いるシーンサンプルポイントを抽出する（ステップＳ２０４）とともに、ノイズ成分と判断される点を除外する（ステップＳ２０６）。さらに、光学計測装置１００は、ノイズ成分を除外されたシーンサンプルポイントのうち指定された割合の点をキーポイントとして設定する（ステップＳ２０８）。

【0069】

図１１（Ａ）の左図は、シーン点群データ５０の一例を示し、図１１（Ａ）の右図は、シーン点群データ５０から抽出されたシーンサンプルポイントおよびキーポイントの一例を示す。

【0070】

また、光学計測装置１００は、指定された点群間隔に従って、モデル点群データ３２から概略マッチングに用いるモデルサンプルポイントを抽出する（ステップＳ２１０）。

【0071】

図１１（Ｂ）の左図は、モデル点群データ３２の一例を示し、図１１（Ｂ）の右図は、モデル点群データ３２から抽出されたモデルサンプルポイントの一例を示す。

【0072】

なお、ステップＳ２０４～Ｓ２０８の処理とステップＳ２１０の処理との実行順序は問わない。また、２つの処理を並列的に実行してもよい。

【0073】

そして、光学計測装置１００は、シーン点群データ５０に設定されたキーポイントと、モデル点群データ３２から抽出されたモデルサンプルポイントとの間でマッチング処理を実行する（ステップＳ２１２）。

【0074】

図１１（Ｃ）の左図は、シーン点群データ５０から抽出されたキーポイントの一例を示し、図１１（Ｃ）の右図は、モデル点群データ３２から抽出されたモデルサンプルポイントの一例を示す。

【0075】

マッチング処理において、光学計測装置１００は、モデル点群データ３２（モデルサンプルポイント）の姿勢（位置および角度、もしくは、位置）を順次更新するとともに、各姿勢における類似度を算出することで、類似度が高い姿勢を検索する。光学計測装置１００は、類似度が高い順に所定数（例えば、９個）の姿勢をマッチング候補の姿勢として決定する（ステップＳ２１４）。このように、光学計測装置１００は、シーン点群データ５０とモデル点群データ３２との類似度が高い順に所定数のマッチング候補（姿勢候補）を抽出してもよい。

【0076】

次に、光学計測装置１００は、概略姿勢修正を実行する。
具体的には、光学計測装置１００は、決定されたマッチング候補のうち１つを選択し（ステップＳ２１６）、選択した姿勢を基準として、シーン点群データ５０に設定されたキーポイント（ステップＳ２０８）と、モデル点群データ３２から抽出されたモデルサンプルポイント（ステップＳ２１０）との間で誤差が最小化するように、マッチング候補の姿勢を修正する（ステップＳ２１８）。

【0077】

図１２は、本実施の形態に従う光学計測方法の概略姿勢修正の処理例を示す図である。図１２の左図は、シーン点群データ５０から抽出されたキーポイントの一例を示し、図１２の右図は、モデル点群データ３２から抽出されたモデルサンプルポイント（姿勢修正後）の一例を示す。

【0078】

決定されたマッチング候補のすべてを選択したか否かを判断し（ステップＳ２２０）、決定されたマッチング候補のうち選択されていないものがあれば（ステップＳ２２０においてＮＯ）、ステップＳ２１６以下の処理が繰り返される。

【0079】

決定されたマッチング候補のすべてが選択されていれば（ステップＳ２２０においてＹＥＳ）、概略姿勢修正は終了する。概略姿勢修正によって、マッチング候補の姿勢の各々は修正される。

【0080】

最終的に、光学計測装置１００は、精密姿勢修正（dense pose refinement）を実行する。

【0081】

具体的には、修正後のマッチング候補のうち１つを選択し（ステップＳ２２２）、選択した姿勢を基準として、シーン点群データ５０とモデル点群データ３２との間で誤差が最小化するように、マッチング候補の姿勢をさらに修正する（ステップＳ２２４）。

【0082】

図１３は、本実施の形態に従う光学計測方法の精密姿勢修正の処理例を示す図である。図１３の左図は、シーン点群データ５０の一例を示し、図１３の右図は、モデル点群データ３２の一例を示す。

【0083】

修正後のマッチング候補のすべてを選択したか否かを判断し（ステップＳ２２６）、修正後のマッチング候補のうち選択されていないものがあれば（ステップＳ２２６においてＮＯ）、ステップＳ２２２以下の処理が繰り返される。

【0084】

修正後のマッチング候補のすべてが選択されていれば（ステップＳ２２６においてＹＥＳ）、精密姿勢修正は終了する。

【0085】

図１４は、本実施の形態に従う光学計測方法の精密姿勢修正の処理結果例を示す図である。図１４に示すように、シーン点群データ５０からモデル点群データ３２が検索される。

【0086】

精密姿勢修正の実行後、光学計測装置１００は、マッチング候補毎に、姿勢および類似度を出力する（ステップＳ２２８）。姿勢は同次変換行列Ｈｐｏｓｅの形で出力され、類似度はスコアの形で出力されてもよい。

【0087】

例えば、スコア＝（シーン点群データ５０のうちモデル点群データ３２と対応（マッチ）した数）／（モデル３６に含まれるモデル点群データ３２の総数）として算出できる。すなわち、モデル点群データ３２の総数のうち、シーン点群データ５０と対応した数の割合をスコアとして算出してもよい。この場合、スコアは、０～１の範囲の値をとる。

【0088】

続いて、光学計測装置１００は、一意性判断処理を実行する。具体的には、光学計測装置１００は、マッチング候補毎の類似度に基づいて、一意性があるか否かを判断する（ステップＳ２３０）。

【0089】

一意性があると判断されると（ステップＳ２３０においてＹＥＳ）、光学計測装置１００は、最も類似度が高いマッチング候補の姿勢と、モデル３６の特定点３４の座標とに基づいて、計測対象物４０の特定点４４の座標を算出し（ステップＳ２３２）、算出した計測対象物４０の特定点４４の座標を出力する（ステップＳ２３４）。すなわち、光学計測装置１００は、検索された姿勢に基づいて、計測対象物４０の特定点４４に対応する座標を算出する。そして、処理は終了する。

【0090】

これに対して、一意性がないと判断されると（ステップＳ２３０においてＮＯ）、光学計測装置１００は、一意性がない旨の情報を出力する（ステップＳ２３６）。そして、処理は終了する。

【0091】

＜Ｅ．ソフトウェア構成＞
図１５は、本実施の形態に従う光学計測装置のソフトウェア構成例を示す模式図である。図１５に示すソフトウェア構成例は、例えば、光学計測装置１００の１または複数のプロセッサ１０２がモデル生成プログラム１２２および計測プログラム１２４（いずれも図１）を実行することで実現されてもよい。

【0092】

図１５を参照して、光学計測装置１００は、例えば、モデル生成部１５０と、モデル保持部１５２と、検索部１５４と、座標算出部１５６とを含む。

【0093】

モデル生成部１５０は、生成部に相当し、レファレンス２０のレファレンス点群データ３０を取得し、ユーザ操作などに従って、モデル３６を生成する。

【0094】

モデル保持部１５２は、保持部または取得部に相当し、モデル生成部１５０が生成したモデル３６および／またはサーバ装置などから取得したモデル３６を保持する。

【0095】

検索部１５４は、計測対象物４０のシーン点群データ５０と最も類似するようにモデル３６に含まれるモデル点群データ３２の姿勢を検索する。検索部１５４が検索した姿勢は、そのまま出力されてもよい。

【0096】

座標算出部１５６は、算出部に相当し、検索部１５４が検索した姿勢に基づいて、計測対象物４０の特定点４４の座標を算出する。

【0097】

＜Ｆ．サンプルポイントの点群間隔の最適化＞
次に、モデル点群データ３２およびシーン点群データ５０から抽出されるサンプルポイントの点群間隔の最適化について説明する。

【0098】

上述したように、概略マッチングにおいては、モデル点群データ３２およびシーン点群データ５０を指定された点群間隔で間引くことでそれぞれ抽出されるモデルサンプルポイントおよびシーンサンプルポイントが用いられる。これらのサンプルポイントを抽出するための点群間隔について説明する。

【0099】

マッチングにモデルサンプルポイントおよびシーンサンプルポイントを用いるのは、検索に要する時間（マッチング実行時間）を短縮するためである。点群データを点群間隔で間引くことで、検索の対象となる点数が減少するので、検索に要する時間を短縮できる。

【0100】

図１６は、本実施の形態に従う光学計測方法におけるサンプリングポイントの点群間隔について説明するための図である。図１６には、点群間隔を異ならせた場合の座標移動量（対数スケール）およびマッチング実行時間の一例を示す。点群間隔は、任意に規格化された距離を示す。座標移動量は、概略マッチングにより暫定的に計測された特定点４４の位置と最終的に決定された特定点４４の位置との差（ＸＹＺの各軸成分）を示す。

【0101】

図１６には、一例として、点群間隔を０．０１を初期値としている。なお、点群間隔の初期値における座標移動量はゼロのため、図示は省略している。

【0102】

図１６を参照して、点群間隔は、例えば、検索に要する時間（マッチング実行時間）と特定点４４の位置の差（すなわち、概略姿勢修正および精密姿勢修正による修正量）とに基づいて、最適化することができる。図１６に示す例では、点群間隔は、０．０５～０．１５の範囲に設定してもよい。

【0103】

なお、検索に要する時間のみに着目して点群間隔を決定してもよいし、特定点４４の位置の差のみに着目して点群間隔を決定してもよい。

【0104】

なお、モデルサンプルポイントおよびシーンサンプルポイントを抽出するための点群間隔は、同一でなくてもよい。

【0105】

特定点の位置計測（図１０）において、点群間隔は、予め指定されていてもよいし、都度設定されてもよい。また、最適化された点群間隔の値を対応するモデル３６に含めてもよい。

【0106】

＜Ｇ．一意性判断処理＞
次に、本実施の形態に従う光学計測方法における一意性判断処理（ステップＳ２３０）の処理例について説明する。

【0107】

一意性判断処理においては、シーン点群データ５０の中でモデル点群データ３２と最も類似する点群データの位置が一意的に決定されているか否かを判断する。この一意性を判断するために、最も類似するとして検索された部分の類似度が他の部分の類似度に比較して突出しているか否かが判断される。すなわち、光学計測装置１００は、所定数のマッチング候補（姿勢候補）のうち最も類似度の高いマッチング候補の他のマッチング候補に対する一意性を評価する。

【0108】

図１７は、本実施の形態に従う光学計測方法による検索結果の一例を示す図である。図１７には、一例として、８つのマッチング候補が示されている。

【0109】

一意性判断処理においては、検索されたマッチング候補毎の類似度（スコア）を統計的に評価する。統計的な評価には、例えば、四分位範囲を用いることができる。

【0110】

より具体的には、検索されたすべてのマッチング候補の類似度から第３四分位数が算出される。そして、算出された第３四分位数から算出される判定しきい値と第１位のマッチング候補の類似度とを比較する。第１位のマッチング候補の類似度が判定しきい値より大きければ、検索結果に一意性があると判断できる。

【0111】

以下には、９個のマッチング候補の類似度を昇順に並べた結果例を示す。

【0112】

【表1】

【0113】

上表によれば、以下のように各値を算出できる。
・第１四分位数Ｑ１（２５％）＝０．１２７
・中央値Ｑ２＝０．１４８
・第３四分位数Ｑ３（７５％）＝０．３００
ここで、外れ値の判定しきい値を「Ｑ３＋（Ｑ３－Ｑ１）×１．５」とすると、判定しきい値は０．５６０と算出できる。

【0114】

Ｎｏ．９のマッチング候補の類似度は０．６１８であり、外れ値の判定しきい値である０．５６０より大きいので、一意性がある（すなわち外れ値に相当する）と判断できる。

【0115】

なお、最も類似度が高いマッチング候補が検索されたマッチング候補の集合に対して、一意性があるか否かを判断する手法は、他の公知の方法を用いてもよい。

【0116】

＜Ｈ．アプリケーション例＞
次に、本実施の形態に従う光学計測方法のアプリケーション例について説明する。なお、本実施の形態に従う光学計測方法は、以下に説明するアプリケーションに限らず、任意のアプリケーションに用いることができる。

【0117】

図１８は、ヘッドライト検査装置の一例を示す模式図である。
図１８を参照して、ヘッドライト検査装置２００は、車両のヘッドライトの照射向きや明るさを検査する。このとき、車両のヘッドライトの光軸を調整する必要がある。ヘッドライトの光軸の調整において、ヘッドライトのレンズに予め指定されている基準位置を取得する必要がある。

【0118】

基準位置を取得する方法として、ヘッドライトが発する光の輝度分布の重心を基準位置とみなす方法がある。この方法では、ヘッドライトが多数の光源を有している場合には、輝度分布の重心から決定される基準位置と、ヘッドライトに予め設定されている本来の基準位置とが一致しない場合がある。

【0119】

また、光の輝度分布の時間的な変化、および、ヘッドライトを構成する部品の製造上の個体差などにより、輝度分布の重心から決定される基準位置の安定性が低くなることもある。

【0120】

これに対して、本実施の形態に従う光学計測方法を用いることで、光の輝度分布ではなく、ヘッドライトの表面形状に基づいて基準位置を取得できる。

【0121】

図１９は、先進運転支援システムの検査装置の一例を示す模式図である。
図１９を参照して、検査時には、正対装置２１２を用いて、固定された検査装置２１０と車両（基準位置２２０）との位置関係が調整される。正対装置２１２は、車両を車両の進行方向に直交する方向（左右方向）に調整する。ただし、正対装置２１２は、タイヤ表面を調整面として車両を整列させるので、タイヤを剛体とみなすことができない場合もあるため、検査装置２１０と車両との位置関係が適切に調整できていない可能性もある。

【0122】

これに対して、本実施の形態に従う光学計測方法を用いることで、車両の表面形状に基づいて基準位置を取得できるので、検査装置２１０と車両との位置関係を適切に調整でき、これによって、検査自体も適切に行うことができる。

【0123】

以上のように、本実施の形態に従う光学計測方法は、検査設備の実空間上の位置と検査対象の車両の実空間上の位置とを正確かつ汎用的に計測できるので、車両のさまざまな検査工程に適用可能である。

【0124】

＜Ｉ．変形例＞
上述した実施の形態については、さまざまな変形が可能である。

【0125】

（ｉ１：特定点の座標に存在する不確かさ）
計測対象物４０の三次元点群データは、計測の揺らぎなどにより不確かさを含む。その結果、計測された特定点の位置（座標）にも不確かさが存在する。そこで、計測された特定点の座標に存在する不確かさを評価する処理を実行してもよい。

【0126】

図２０は、本実施の形態に従う光学計測方法における特定点の座標に存在する不確かさを評価する方法を説明するための図である。

【0127】

図２０を参照して、計測対象物４０のシーン点群データ５０を取得した後、シーン点群データ５０に含まれる各点に存在する不確かさの値に基づいて、複数のシーン点群データ５０Ａをランダムに生成する。より具体的には、シーン点群データ５０に含まれる１または複数の点を選択するとともに、選択された各点の座標を不確かさの値の正規分布に従って座標をランダムに修正することで、複数のシーン点群データ５０Ａを生成する。

【0128】

複数のシーン点群データ５０Ａに対して、上述した特定点の位置計測処理を実行することで、シーン点群データ５０Ａ毎に特定点４４の座標を決定する。

【0129】

決定された特定点４４の複数の座標についての標準偏差を算出し、算出した標準偏差を特定点４４の位置に存在する不確かさとして出力してもよい。

【0130】

このように、光学計測装置１００は、シーン点群データ５０に存在する不確かさを反映して、シーン点群データ５０から複数のシーン点群データ５０Ａを生成し、生成した複数のシーン点群データ５０Ａの各々から特定点４４に対応する座標を算出し、算出した座標のばらつきに基づいて、算出された座標に存在する不確かさを算出する。

【0131】

このような不確かさを算出することで、特定点４４の位置についての精度を評価できる。

【0132】

（ｉ２：モデルの生成および提供）
レファレンス２０の三次元点群データ（レファレンス点群データ３０）を用いて、モデル３６を生成する処理例について説明したが、現実のレファレンス２０を用意せず、ＣＡＤ（Computer Aided Design）データなどを用いて、シミュレーションによりモデル３６を生成してもよい。この場合には、仮想空間上にレファレンス２０に相当するオブジェクトを配置して仮想撮像することで生成される三次元点群データを用いることができる。

【0133】

この場合には、実空間と仮想空間との位置関係を予め定義することで、モデル３６に必要な実空間２の座標原点４を取得できる。

【0134】

このように、現実にレファレンス２０を用いることなくモデル３６を用意できるので、さまざまな計測対象物４０に対応することができる。

【0135】

さらに、予め用意された複数のモデル３６をサーバ装置などに予め格納しておき、複数の光学計測装置１００の各々が必要に応じてダウンロードできるようにしてもよい。サーバ装置が複数のモデル３６を光学計測装置１００の各々に適宜提供することで、モデル３６を生成するための事前知識を有していないユーザであっても、光学計測装置１００を容易に利用できる。

【0136】

（ｉ３：探索処理）
上述の説明においては、モデル点群データ３２を平行移動および回転させることで、シーン点群データ５０と最も類似する姿勢を検索する処理例を示したが、モデル点群データ３２を平行移動のみさせることで、シーン点群データ５０と最も類似する姿勢を検索してもよい。平行移動および回転させた場合には、平行移動行列および回転行列を含む同次変換行列が算出される。一方、平行移動させた場合には、平行移動行列が算出される。このように、シーン点群データ５０と最も類似するモデル点群データ３２の姿勢を検索する処理において、モデル点群データ３２を平行移動のみさせるようにしてもよい。

【0137】

例えば、計測対象物４０が回転しないことが保証されているような場合には、検索時間を短縮できる。

【0138】

また、計測対象物４０が回転し得る場合であっても、複数のカメラ１０を用いて三次元点群データをそれぞれ取得し、それぞれのモデル３６を用いた検索を行うとともに、それぞれの検索結果を統合することで、計測対象物４０の特定点の位置をより正確に計測できる。

【0139】

（ｉ４：同次変換行列の出力）
計測対象物４０の特定点４４の座標を出力する処理例を説明したが、特定点４４の座標に加えて、あるいは、特定点４４の座標に代えて、同次変換行列（あるいは、平行移動行列および／または回転行列）を出力するようにしてもよい。

【0140】

同次変換行列は、計測対象物４０の基準位置からのずれを示すものであり、そのずれの情報も検査装置などにおいて有効である。そのため、算出された同次変換行列（あるいは、平行移動行列および／または回転行列）を検査装置の検査結果に付加してもよい。

【0141】

このように、本実施の形態に従う光学計測方法は、計測対象物４０の特定点４４の座標を出力する処理に加えて、算出された同次変換行列（あるいは、平行移動行列および／または回転行列）を出力する処理も含む。

【0142】

＜Ｊ．利点＞
本実施の形態に従う光学計測方法によれば、光学的に非接触で特定点の実空間上の位置を計測できる。計測対象物の形状はどのようなものであってもよい。また、計測対象物が回転し得る場合であっても、特定点の実空間上の位置を計測できる。

【0143】

実空間上の位置を計測する方法として、例えば、計測対象物にプローブなどを物理的に接触させる方法があるが、品質などの観点から接触できない計測対象物には適用できない。これに対して、本実施の形態に従う光学計測方法によれば、非接触で計測ができるので、このような制約がない。

【0144】

また、実空間上の位置を計測する方法として、二次元画像のパターンマッチングを用いる方法があるが、ノイズに弱く、安定した計測が難しいという課題がある。また、計測対象物とテンプレートとの間で、サイズや角度が必ずしも一致しないので、ロバスト性を高めるためには、複数のテンプレートを用意する必要がある。これに対して、本実施の形態に従う光学計測方法によれば、モデルを平行移動および／または回転することで、シーンと最も類似するモデルの位置および／または角度を検索するので、安定した計測ができるとともに、複数のモデルを用意する必要もない。

【0145】

また、計測対象物にマーカなどを配置して、位置関係を複数のカメラにより撮像された画像データから算出する方法もある。この方法では、マーカなどを配置する必要がある。これに対して、本実施の形態に従う光学計測方法によれば、モデルを用意するだけでよく、計測対象物にマーカなどを配置する必要もない。

【0146】

また、レーザや超音波などを用いて、特定の一点を計測する方法もある。この方法では、位置を正確に計測するためには、複数のセンサなどを配置する必要があり、また、複数のセンサの出力に対して複雑なデータ処理が必要となる。これに対して、本実施の形態に従う光学計測方法によれば、短時間に精度の高い計測が可能である。

【0147】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0148】

２ 実空間、４，６ 座標原点、１０ カメラ、２０ レファレンス、３０ レファレンス点群データ、３２ モデル点群データ、３４，４４ 特定点、３６ モデル、４０ 計測対象物、５０，５０Ａ シーン点群データ、１００ 光学計測装置、１０２ プロセッサ、１０４ メモリ、１０６ ストレージ、１０８ 入力部、１１０ 出力部、１１２ カメラインターフェイス、１１４ メディアドライブ、１１６ 光学ディスク、１２０ オペレーティングシステム、１２２ モデル生成プログラム、１２４ 計測プログラム、１２６ モデルセット、１２８ プログラム、１５０ モデル生成部、１５２ モデル保持部、１５４ 検索部、１５６ 座標算出部、２００ ヘッドライト検査装置、２１０ 検査装置、２１２ 正対装置、２２０ 基準位置。

【要約】

【課題】計測対象物に設定される特定点の位置を計測する技術を提供する。
【解決手段】光学計測装置は、実空間の座標系の定義と、計測対象物のレファレンスとなる物体の表面形状を示すモデル点群データと、前記実空間における特定点の座標とを含むモデルを取得する取得部と、計測対象物から取得された三次元点群データと最も類似するモデル点群データの姿勢を検索する検索部と、検索された姿勢に基づいて、計測対象物の特定点に対応する座標を算出する算出部とを含む。
【選択図】図１０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】