2024-64250 システム、ランドマーク、コンピュータプログラム、および、データ処理装置。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024064250

(43)【公開日】2024-05-14

(54)【発明の名称】システム、ランドマーク、コンピュータプログラム、および、データ処理装置。

(51)【国際特許分類】

   G01B 21/00 20060101AFI20240507BHJP

   G01B 11/00 20060101ALI20240507BHJP

【ＦＩ】

G01B21/00 E

G01B11/00 Z

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022172697

(22)【出願日】2022-10-27

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】平林 裕貴

(72)【発明者】

【氏名】ウー カージャ

【テーマコード（参考）】

2F065

2F069

【Ｆターム（参考）】

2F065AA04

2F065BB05

2F065BB28

2F065FF05

2F065FF09

2F065FF11

2F065HH04

2F065HH06

2F065HH07

2F065JJ03

2F065JJ05

2F065JJ26

2F065PP25

2F065QQ28

2F065QQ31

2F069AA04

2F069FF07

2F069GG04

2F069GG07

2F069HH09

2F069JJ01

(57)【要約】

【課題】ランドマークを用いて点群を示す三次元データを処理するための技術を開示する。
【解決手段】
ランドマークの表面は、三次元センサにて測定される際に測定対象とされる特定面を含む。処理装置は、特定面を示す複数の点を用いて算出されるランドマークの特徴量を取得し、特定面を含む物体の表面を示す点群を示す点群データであって三次元センサによって物体の表面を測定することによって生成される点群データを取得し、点群を用いて物体の特徴量を算出し、物体の特徴量とランドマークの特徴量とを用いて、点群の座標系におけるランドマークの位置を特定する。特徴量は、対象物の表面上の注目点に対して設定される複数の参照領域であって第１領域と第２領域とを含む複数の参照領域のそれぞれについて算出される領域特徴量を含む。特定面は、第１領域に対応する第１部分と第２領域に対応する第２部分とを含む。第１部分の形状と第２部分の形状とは異なる。
【選択図】 図４

【特許請求の範囲】

【請求項1】

ランドマークとデータ処理装置とを備えるシステムであって、
前記ランドマークの表面は、三次元センサによって測定される際に測定対象とされるべき特定面を含み、
前記データ処理装置は、
前記ランドマークの前記特定面を示す複数個の点を用いて算出される前記ランドマークの三次元特徴量を取得する特徴量取得部と、
前記三次元センサによって１以上の物体の表面を測定することによって生成される点群データを取得する点群取得部であって、前記１以上の物体の表面は前記ランドマークの前記特定面を含み、前記点群データは、前記１以上の物体の表面を示す複数個の点を含む点群を示す、前記点群取得部と、
前記点群を用いて前記１以上の物体の前記三次元特徴量を算出する特徴量算出部と、
前記１以上の物体の前記三次元特徴量と、前記ランドマークの前記三次元特徴量と、を用いて、前記点群の座標系における前記ランドマークの位置を特定する特定部と、
特定される前記ランドマークの位置を用いて、前記点群の座標系に関する特定処理を実行する特定処理部と、
を備え、
前記三次元特徴量は、対象物の表面上の注目点に対して設定される複数個の参照領域であって第１領域と第２領域とを含む前記複数個の参照領域のそれぞれについて算出される領域特徴量を含み、
前記領域特徴量は、前記参照領域内に位置する複数個の点を用いて算出される量であり、
前記ランドマークの前記特定面は、前記第１領域に対応する第１部分と、前記第２領域に対応する第２部分と、を含み、
前記第１部分の形状と、前記第２部分の形状とは、異なる、システム。

【請求項2】

請求項１に記載のシステムであって、
前記特定面上の任意の位置における最大法線角度は、９０度以下であり、
一の位置の前記最大法線角度は、前記特定面のうち前記一の位置から１ｍｍ以内の局所領域に位置する任意の２点の法線がなす角度の最大値である、システム。

【請求項3】

請求項１に記載のシステムであって、
前記特定面は、頂点を含む錐面と、前記錐面とは異なる形状を有する他面と、を含み、
前記第１部分は、錐面の少なくとも一部であり、
前記第２部分は、前記他面の少なくとも一部である、システム。

【請求項4】

請求項３に記載のシステムであって、
前記第１領域は、前記注目点を含む内側領域に配置される１以上の内側参照領域を含み、
前記第２領域は、前記内側領域の外側に位置する外側領域に配置される１以上の外側参照領域と、を含み、
前記錐面は、前記錐面の頂点を前記注目点とする場合に前記内側領域に対応し、
前記他面は、前記錐面の頂点を前記注目点とする場合に前記外側領域に対応し、前記錐面の軸線を中心軸とする円筒座標系における径方向の外側に位置する外側面である、システム。

【請求項5】

請求項４に記載のシステムであって、
前記１以上の外側参照領域は、第１外側参照領域と第２外側参照領域とを含む複数個の前記外側参照領域を含み、
複数個の前記外側参照領域は、前記注目点を通る特定の直線を中心軸とする円筒座標系における周方向の位置が互いに異なり、
前記外側面は、前記第１外側参照領域に対応する第１外側面と、前記第２外側参照領域に対応する第２外側面と、を含み、
前記第１外側面と前記第２外側面とでは、形状と表面積との少なくとも一方が互いに異なる、システム。

【請求項6】

請求項５に記載のシステムであって、
前記第１外側面の前記円筒座標系における径方向の長さは、前記第２外側面の前記円筒座標系における径方向の長さとは、異なる、システム。

【請求項7】

請求項４に記載のシステムであって、
前記１以上の外側参照領域は、第１外側参照領域と第２外側参照領域とを含む複数個の前記外側参照領域を含み、
複数個の前記外側参照領域は、前記注目点を通る特定の直線を中心軸とする円筒座標系における周方向の位置が互いに異なり、
前記外側面は、前記第１外側参照領域に対応する面を含み、前記第２外側参照領域に対応する面を含まない、システム。

【請求項8】

請求項６または７に記載のシステムであって、
前記第１外側参照領域の周方向の位置と、前記第２外側参照領域の周方向の位置とは、９０度異なる、システム。

【請求項9】

請求項６または７に記載のシステムであって、
前記第１外側参照領域の周方向の位置と、前記第２外側参照領域の周方向の位置とは、１８０度異なる、システム。

【請求項10】

請求項１に記載のシステムであって、
前記複数個の参照領域は、さらに、第３領域を含み、
前記特定面は、さらに、前記第３領域に対応する第３部分を含み、
前記第３部分の形状は、記第１部分の形状とは異なり、かつ、前記第２部分の形状とは異なる、システム。

【請求項11】

請求項１０に記載のシステムであって、
前記第１部分は、錐面の少なくとも一部であり、前記第２部分は、球面の一部であり、前記第３部分は、平面である、システム。

【請求項12】

請求項４に記載のシステムであって、
前記ランドマークの前記外側面を有する部材は、板状の部材である、システム。

【請求項13】

請求項１に記載のシステムであって、
前記三次元特徴量は、ＳＨＯＴ（Signature of Histograms of OrienTations）特徴量である、システム。

【請求項14】

請求項１に記載のシステムであって、
前記特定処理は、特定される前記点群の座標系における前記ランドマークの位置と、他の座標系における前記ランドマークの位置と、を用いて、前記点群の座標系と、他の座標系と、の対応関係を特定する処理を含む、システム。

【請求項15】

ランドマークであって、
三次元センサによって測定される際に測定対象とされるべき特定面を備え、
前記三次元センサによる測定によって生成される前記特定面上の複数個の点を示す点群データは、前記ランドマークの三次元特徴量を算出するために用いられ、
前記三次元特徴量は、注目点に対して設定される複数個の参照領域であって第１領域と第２領域とを含む前記複数個の参照領域のそれぞれについて算出される領域特徴量を含み、
前記領域特徴量は、前記参照領域内に位置する複数個の点を用いて算出される量であり、
前記特定面は、前記第１領域に対応する第１部分と、前記第２領域に対応する第２部分と、を含み、
前記第１部分の形状と、前記第２部分の形状とは、異なる、ランドマーク。

【請求項16】

コンピュータプログラムであって、
ランドマークの特定面を示す複数個の点を用いて算出される前記ランドマークの三次元特徴量を取得する特徴量取得機能であって、前記特定面は、前記ランドマークの表面のうち、三次元センサによって測定される際に測定対象とされるべき面である、前記特徴量取得機能と、
前記三次元センサによって１以上の物体の表面を測定することによって生成される点群データを取得する点群取得機能であって、前記１以上の物体の表面は前記ランドマークの前記特定面を含み、前記点群データは、前記１以上の物体の表面を示す複数個の点を含む点群を示す、前記点群取得機能と、
前記点群を用いて前記１以上の物体の前記三次元特徴量を算出する特徴量算出機能と、
前記１以上の物体の前記三次元特徴量と、前記ランドマークの前記三次元特徴量と、を用いて、前記点群の座標系における前記ランドマークの位置を特定する特定機能と、
特定される前記ランドマークの位置を用いて、前記点群の座標系に関する特定処理を実行する特定処理機能と、
をコンピュータに実現させ、
前記三次元特徴量は、対象物の表面上の注目点に対して設定される複数個の参照領域であって第１領域と第２領域とを含む前記複数個の参照領域のそれぞれについて算出される領域特徴量を含み、
前記領域特徴量は、前記参照領域内に位置する複数個の点を用いて算出される量であり、
前記ランドマークの前記特定面は、前記第１領域に対応する第１部分と、前記第２領域に対応する第２部分と、を含み、
前記第１部分の形状と、前記第２部分の形状とは、異なる、コンピュータプログラム。

【請求項17】

データ処理装置であって、
ランドマークの特定面を示す複数個の点を用いて算出される前記ランドマークの三次元特徴量を取得する特徴量取得部であって、前記特定面は、前記ランドマークの表面のうち、三次元センサによって測定される際に測定対象とされるべき面である、前記特徴量取得部と、
前記三次元センサによって１以上の物体の表面を測定することによって生成される点群データを取得する点群取得部であって、前記１以上の物体の表面は前記ランドマークの前記特定面を含み、前記点群データは、前記１以上の物体の表面を示す複数個の点を含む点群を示す、前記点群取得部と、
前記点群を用いて前記１以上の物体の前記三次元特徴量を算出する特徴量算出部と、
前記１以上の物体の前記三次元特徴量と、前記ランドマークの前記三次元特徴量と、を用いて、前記点群の座標系における前記ランドマークの位置を特定する特定部と、
特定される前記ランドマークの位置を用いて、前記点群の座標系に関する特定処理を実行する特定処理部と、
を備え、
前記三次元特徴量は、対象物の表面上の注目点に対して設定される複数個の参照領域であって第１領域と第２領域とを含む前記複数個の参照領域のそれぞれについて算出される領域特徴量を含み、
前記領域特徴量は、前記参照領域内に位置する複数個の点を用いて算出される量であり、
前記ランドマークの前記特定面は、前記第１領域に対応する第１部分と、前記第２領域に対応する第２部分と、を含み、
前記第１部分の形状と、前記第２部分の形状とは、異なる、データ処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、ランドマークを用いるシステム、ランドマーク、コンピュータプログラム、および、データ処理装置に関する。

【背景技術】

【0002】

実空間に配置されるランドマーク上の点を示す三次元データを使用して、複数個の座標系の関係を特定する技術が知られている。例えば、特許文献１に開示されるシステムでは、制御用ＰＣは、表面に複数個のランドマークポイントを有する市松模様が付されたキャリブレーションボードを三次元測量器にて計測することによって、複数個のランドマークポイントの三次元座標系における座標を取得する。制御用ＰＣは、キャリブレーションボードを複数個のビデオカメラにて撮影することによって得られる複数個のビデオ画像データを用いて、複数個のランドマークポイントのビデオ画像の２次元座標系における座標を取得する。制御用ＰＣは、取得された三次元座標系における座標と、２次元座標系の座標と、に基づいて、実世界の三次元座標系と、ビデオ画像の２次元座標系と、の位置関係を示す射影変換行列を導出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－２２４４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように、ランドマークを用いて、点群を示す三次元データは、位置と姿勢の決定など、種々の処理に使用され得る。

【0005】

本明細書は、ランドマークを用いて、点群を示す三次元データを処理するための新たな技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］ランドマークとデータ処理装置とを備えるシステムであって、前記ランドマークの表面は、三次元センサによって測定される際に測定対象とされるべき特定面を含み、前記データ処理装置は、前記ランドマークの前記特定面を示す複数個の点を用いて算出される前記ランドマークの三次元特徴量を取得する特徴量取得部と、前記三次元センサによって１以上の物体の表面を測定することによって生成される点群データを取得する点群取得部であって、前記１以上の物体の表面は前記ランドマークの前記特定面を含み、前記点群データは、前記１以上の物体の表面を示す複数個の点を含む点群を示す、前記点群取得部と、前記点群を用いて前記１以上の物体の前記三次元特徴量を算出する特徴量算出部と、前記１以上の物体の前記三次元特徴量と、前記ランドマークの前記三次元特徴量と、を用いて、前記点群の座標系における前記ランドマークの位置を特定する特定部と、特定される前記ランドマークの位置を用いて、前記点群の座標系に関する特定処理を実行する特定処理部と、を備え、前記三次元特徴量は、対象物の表面上の注目点に対して設定される複数個の参照領域であって第１領域と第２領域とを含む前記複数個の参照領域のそれぞれについて算出される領域特徴量を含み、前記領域特徴量は、前記参照領域内に位置する複数個の点を用いて算出される量であり、前記ランドマークの前記特定面は、前記第１領域に対応する第１部分と、前記第２領域に対応する第２部分と、を含み、前記第１部分の形状と、前記第２部分の形状とは、異なる、システム。

【0008】

上記構成によれば、ランドマークの特定面の第１部分の形状と第２部分の形状とは、互いに異なっている。このために、ランドマークの三次元特徴量は、第１領域の領域特徴量と第２領域の領域特徴量とが互いに異なる特徴量になる。この結果、ランドマークを含む１以上の物体の三次元特徴量と、ランドマークの三次元特徴量と、を用いて、点群の座標系におけるランドマークの位置を特定する際に、例えば、他の物体をランドマークであると認識する誤認識を抑制して、ランドマークの位置を精度良く推定できる。したがって、推定されるランドマークの位置を用いて、点群の座標系に関する特定処理を適切に実行できる。

【0009】

なお、本明細書に開示された技術は、種々の形態で実現可能であり、例えば、データ処理装置、ランドマーク、データ処理装置やランドマークを用いる方法、または、データ処理装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0010】

【図1】一実施例としてのデータ処理装置を示す概略図。

【図2】局所的特徴量の第１の説明図。

【図3】局所的特徴量の第２の説明図。

【図4】第１実施例のランドマーク３００の説明図。

【図5】ランドマーク特徴量の説明図。

【図6】第１実施例のデータ処理装置２００の処理のフローチャート。

【図7】シーン点群データＰＤｓによって示されるシーン点群ＰＣｓの例を示す斜視図。

【図8】変換行列Ｍｓｌの例を示す図。

【図9】第２実施例の装置構成の説明図。

【図10】第２実施例のデータ処理装置２００の処理のフローチャート。

【図11】第２実施例のデータ処理装置２００の処理の説明図。

【図12】第３実施例の説明図。

【図13】第３実施例のデータ処理装置２００の処理のフローチャート。

【図14】第４実施例のランドマーク３００Ｂの説明図。

【図15】第５実施例のランドマーク３００Ｃの説明図。

【図16】第６実施例のランドマーク３００Ｄの説明図。

【発明を実施するための形態】

【0011】

Ａ．実施例
Ａ１．装置構成
図１は、一実施例としてのデータ処理装置を示す概略図である。データ処理装置２００は、例えば、パーソナルコンピュータである。データ処理装置２００には、三次元センサ１１０と、ロボットアーム１２０とが、接続されている。ロボットアーム１２０の前には、トレイ１３０が配置されている。トレイ１３０上には、処理対象の複数の対象物体ＯＢと、ランドマーク３００と、が配置されている。後述するように、データ処理装置２００は、三次元センサ１１０からの情報を使用してロボットアーム１２０を制御し、ロボットアーム１２０に対象物体ＯＢを把持させる。図示を省略するが、データ処理装置２００は、ロボットアーム１２０に、対象物体ＯＢをトレイ１３０から別の場所（例えば、製造ラインのベルトコンベア）に移動させる。

【0012】

三次元センサ１１０は、物体の表面上の複数の点のそれぞれの三次元座標を測定するセンサである。三次元センサ１１０の種類は、種々の種類であってよく、例えば、立体視、構造化光パターン、飛行時間のいずれかであってよい。立体視は、パッシブステレオ方式とも呼ばれ、複数のカメラによる撮影画像を使用して物体の表面上の三次元座標を測定する方式である。構造化光パターンは、アクティブステレオ方式とも呼ばれ、物体に投影された光のパターンを使用して物体の表面上の三次元座標を測定する方式である。飛行時間は、レーザや赤外線などの光が送信されてから、物体からの反射光が戻るまでの時間を使用して物体の表面上の三次元座標を測定する方式である。三次元センサは、三次元センサから物体の表面までの距離（深度とも呼ばれる）を測定する深度センサとも呼ばれる。本実施例では、三次元センサ１１０の測定方向１１０ｘは、トレイ１３０の方向を向いている（測定方向１１０ｘは、測定可能な方向を示している）。三次元センサ１１０は、トレイ１３０上のランドマーク３００を含む物体群（例えば、トレイ１３０とランドマーク３００と複数の対象物体ＯＢ）を測定する。

【0013】

ロボットアーム１２０の構成は、物体を移動させることが可能な種々の構成であってよい。本実施例では、ロボットアーム１２０は、オープンチェーン構造を有するリンク機構１２５を形成する複数のリンク１２１－１２４と、物体を挟み持つことが可能な複数の指１２６と、を有している。複数の指１２６は、リンク機構１２５の先端に取り付けられている。リンク機構１２５と複数の指１２６とは、図示しない複数の電気モータによって駆動される。データ処理装置２００は、複数の電気モータを制御することによって、ロボットアーム１２０を動かすことができる。

【0014】

データ処理装置２００は、プロセッサ２１０と、記憶装置２１５と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、を有している。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。

【0015】

プロセッサ２１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。不揮発性記憶装置２３０は、コンピュータプログラムＰＧと、ランドマーク特徴量データＬＭＤと、シーン点群データＰＤｓと、を格納している。コンピュータプログラムＰＧは、後述する図２や図６の処理をプロセッサ２１０に実現させる。コンピュータプログラムＰＧは、例えば、ロボットアーム１２０の製造業者や、ロボットアーム１２０の制御プログラムの製造事業者によって提供される。ランドマーク特徴量データＬＭＤとシーン点群データＰＤｓとについては後述する。

【0016】

表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部２５０は、ボタン、レバー、表示部２４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部２５０を操作することによって、種々の指示をデータ処理装置２００に入力可能である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。通信インタフェース２７０には、三次元センサ１１０とロボットアーム１２０とが接続される。

【0017】

Ａ２.局所的特徴量
本実施例では、ランドマークの局所的特徴量と、三次元センサ１１０を用いて測定される複数の物体の表面を示す点群に基づく局所的特徴量と、をマッチングすることで、複数の物体に含まれるランドマークの位置や姿勢を特定する。先ず、本実施例にて用いられる局所的特徴量について説明する。

【0018】

図２、図３は、局所的特徴量の説明図である。局所的特徴量は、物体の表面上の１つの注目点（例えば、後述するランドマーク３００の頂点ＴＰ、あるいは、後述するシーン対象点）の特徴を示す三次元特徴量である。局所的特徴量は、物体の表面を示す点群のうちの注目点の近傍の複数個の点に基づいて算出される量である。本実施例では、局所的特徴量として、ＳＨＯＴ（Signature of Histograms of OrienTations）特徴量が採用される。

【0019】

図２（Ａ）は、局所的特徴量の算出のフローチャートである。Ｓ１では、複数個の点ＰＴから成る点群から、局所的特徴量を算出すべき１つの注目点ＰＴｉが決定される。図２（Ｂ）には、複数の点ＰＴと、これらの点ＰＴから決定される注目点ＰＴｉと、が図示されている。複数の点ＰＴは、物体の表面上に分散して配置され、該物体の表面を示す点群である。

【0020】

Ｓ２では、注目点ＰＴｉにおける局所座標系を決定する。図２（Ｂ）、（Ｃ）には、注目点ＰＴｉを中心とする半径Ｒ１を有するサポート球ＳＰが示されている。サポート球ＳＰ内の領域は、注目点ＰＴｉからの距離がゼロ以上半径Ｒ１以下の領域（以下、サポート領域ＳＲとも呼ぶ）である。

【0021】

図２（Ｃ）に示すように、注目点ＰＴｉに対して決定される局所座標系は、注目点ＰＴｉを原点とし、互いに直交する単位ベクトルによって定義される３個の座標軸Ｘｌ、Ｙｌ、Ｚｌによって定められる座標系である。

【0022】

３個の座標軸Ｘｌ、Ｙｌ、Ｚｌの決定方法、すなわち、注目点ＰＴｉにおける局所座標系の決定方法は、種々の方法であってよい。本実施例では、サポート領域ＳＲ（図２（Ｃ））内の複数の点ＰＴに対していわゆる主成分分析を行うことによって、分散共分散行列の３個の固有ベクトル、すなわち、第１固有ベクトルｖｉ、第２固有ベクトルｖｉｉ、第３固有ベクトルｖｉｉｉが算出される。３個の固有ベクトルｖｉ、ｖｉｉ、ｖｉｉｉが座標軸Ｘｌ、Ｙｌ、Ｚｌに決定されることで、局所座標系が決定される。この方法によって、座標軸Ｘｌは、サポート領域ＳＲ内の複数個の点ＰＴの分布のバラツキ（分散）が最大となる方向に決定される。座標軸Ｙｌは、座標軸Ｘｌと直交する方向のうち、上記分布のバラツキが最大となる方向に決定される。座標軸Ｚｌは、座標軸Ｘｌと座標軸Ｙｌとに直交する方向に決定される。座標軸Ｘｌおよび座標軸Ｙｌとの両方に平行な平面ＰＬ（図２（Ｃ））は、サポート領域ＳＲに含まれる複数の点ＰＴを近似する近似平面であると言うことができるので、座標軸Ｚｌを示す第３固有ベクトルｖｉｉｉは、注目点ＰＴｉにおける法線ベクトルｖｎ（平面ＰＬに垂直なベクトル）でもある。

【0023】

Ｓ３では、注目点ＰＴｉに対して、Ｋ個の参照領域が設定される。本実施例では、参照領域の個数Ｋは、３２である。

【0024】

具体的には、図３（Ａ）に示すように、注目点ＰＴｉのサポート球ＳＰの内側に、サポート球ＳＰよりも小さな内球ＳＰｉが設定される。内球ＳＰｉは、注目点ＰＴｉを中心とし、サポート球ＳＰの半径の半分の半径Ｒ２を有する球である。さらに、注目点ＰＴｉを通り、座標軸Ｚｌと垂直な平面Ｆｚが設定される。内球ＳＰｉと平面Ｆｚとによって、サポート球ＳＰ内のサポート領域ＳＲは、４個の領域、すなわち、注目点ＰＴｉを含む上内側領域Ｓｉｕ、下内側領域Ｓｉｂと、その外側に位置する上外側領域Ｓｏｕ、下外側領域Ｓｏｂに分割される。上内側領域Ｓｉｕは、内球ＳＰｉ内の領域のうち、平面Ｆｚよりも上側（座標軸Ｚｌの正方向側）の半球の領域である。上外側領域Ｓｏｕは、サポート球ＳＰ内の領域のうち、平面Ｆｚよりも上側の半球の領域から上内側領域Ｓｉｕを除いた領域である。下内側領域Ｓｉｂは、内球ＳＰｉ内の領域のうち、平面Ｆｚよりも下側（座標軸Ｚｌの負方向側）の半球の領域である。下外側領域Ｓｏｂは、サポート球ＳＰ内の領域のうち、平面Ｆｚよりも下側の半球の領域から下内側領域Ｓｉｂを除いた領域である。

【0025】

さらに、座標軸Ｚｌを含む４個の平面Ｆａ～Ｆｄが設定される。図３（Ｂ）には、下外側領域Ｓｏｂと下内側領域Ｓｉｂとを座標軸Ｚｌの正方向側（＋Ｚｌ側）から、負方向側（－Ｚｌ側）に向かって見た図が示されている。平面Ｆａは、座標軸Ｚｌと座標軸Ｘｌとを含む平面である。平面Ｆｃは、座標軸Ｚｌと座標軸Ｙｌとを含む平面である。平面Ｆｂと平面Ｆｄとは、互いに直交し、かつ、平面Ｆａ、Ｆｃとの間の角度が４５度である平面である。図３（Ｂ）に示すように、平面Ｆａ～Ｆｄにより、下外側領域Ｓｏｂは、８個の外側参照領域Ｓｏｂ１～Ｓｏｂ８に分割される。図３（Ｂ）に示すように、平面Ｆａ～Ｆｄにより、下内側領域Ｓｉｂは、８個の内側参照領域Ｓｉｂ１～Ｓｉｂ８に分割される。図示は省略するが、上外側領域Ｓｏｕと上内側領域Ｓｉｕも、同様に、平面Ｆａ～Ｆｄにより、それぞれ、８個の参照領域に分割される。これによって、合計で３２個の参照領域が注目点ＰＴｉに対して設定される。

【0026】

以上の説明から解るように、３２個の参照領域は、下内側領域Ｓｉｂに配置される内側参照領域Ｓｉｂ１～Ｓｉｂ８と、その外側に位置する下外側領域Ｓｏｂに配置される外側参照領域Ｓｏｂ１～Ｓｏｂ８と、を含む。８個の外側参照領域Ｓｏｂ１～Ｓｏｂ８は、互いに周方向の位置が異なっており、８個の内側参照領域Ｓｉｂ１～Ｓｉｂ８は、互いに周方向の位置が異なっている。

【0027】

Ｓ４では、各参照領域の領域特徴量が算出される。すなわち、図３（Ｃ）に示すように、３２個の参照領域のそれぞれの領域特徴量ＨＧ１～ＨＧ３２が算出される。１つの領域特徴量は、対応する参照領域内に含まれる複数個の点ＰＴを、各点ＰＴの法線ベクトルと注目点ＰＴｉの法線ベクトルｖｎ（座標軸Ｚｌ）との角度θに応じて、Ｌ個のビンに分類して得られるヒストグラムデータである。本実施例では、１つの領域特徴量のビン数Ｌは、１１である。各点ＰＴの法線ベクトルは、上述した注目点ＰＴｉの法線ベクトルｖｎ（座標軸Ｚｌ）を決定する処理と同様の主成分分析を、各点ＰＴについて実行することによって決定される。角度θは、各点ＰＴの法線ベクトルと、注目点ＰＴｉの法線ベクトルｖｎと、の内積を算出することによって求められる。角度θは、０～１８０度の値を取る。１つの領域特徴量は、１１個の各ビンに分類された点数を示す１１次元のベクトルで表される。このために、３２個の参照領域と一対一で対応する３２個の領域特徴量の全体は、（３２×１１）次元、すなわち、３５２次元のベクトルである。この３５２次元のベクトルを正規化したベクトルＦＶが１つの注目点ＰＴｉの局所的特徴量である。

【0028】

Ａ３．ランドマーク
図４は、第１実施例のランドマーク３００の説明図である。図４（Ａ）には、ランドマーク３００を＋Ｚｍ方向側から－Ｚｍ方向に向かって見た図が示されている。図４（Ｃ）、（Ｄ）には、ランドマーク３００の斜視図が示されている。

【0029】

ランドマーク３００は、三次元センサ１１０を用いて測定される。そして、該測定によって得られる点群を用いて、点群の座標系（後述するシーン座標系）におけるランドマーク３００の位置および姿勢が特定される。このために、ランドマーク３００の形状は、点群の座標系におけるランドマーク３００の位置および姿勢が精度良く、確実に特定されるように設計されている。ランドマーク３００の表面は、図４にてハッチングで示す特定面ＦＦを含む。特定面ＦＦは、三次元センサ１１０によって測定される際に測定対象とされるべき面である。ランドマーク３００の表面は、特定面ＦＦとは異なる面として、側面ＳＦと裏面ＢＦとを含んでいる。

【0030】

ランドマーク３００の特定面ＦＦは、全体として凸状の形状を有している。凸状の面は、凹状の面と比較して、三次元センサ１１０を用いて測定される際に、三次元センサ１１０から見て死角になる部分が生じにくい。

【0031】

ランドマーク３００の特定面ＦＦは、鋭角を為す部分を含んでいない。例えば、円錐状の内側部３１０を、代表点ＴＰを通り、座標軸Ｚｍを含む平面で切断した断面において円錐面が為す角度θｍ（図４（Ｃ））は、鈍角である。また、特定面ＦＦの他の部分も、局所的に鋭角を為す部分を含んでいない。ここで、鋭角を為す部分を含まないことは、本明細書では、特定面ＦＦ上の任意の位置における最大法線角度が９０度以下であることである、と定義する。例えば、特定面ＦＦ上の一の位置、例えば、図４（Ｃ）の位置Ｐｘにおける最大法線角度は、特定面ＦＦのうち一の位置Ｐｘから所定距離ｒｘ内の局所領域ＣＡに位置する任意の２点の法線がなす角度の最大値である。所定距離ｒｘは、例えば、１ｍｍである。変形例では、所定距離ｒｘは、ランドマーク３００の最大幅の所定の割合（例えば、０．５％～数％）の長さであっても良い。最大幅は、ランドマーク３００のあらゆる方向の長さのうち、最長の長さである。仮に特定面ＦＦが鋭角を為す部分を含む場合には、三次元センサ１１０を用いて測定される際に、三次元センサ１１０から見て死角になる部分が生じやすい。

【0032】

図４（Ａ）、図４（Ｃ）、図４（Ｄ）には、互いに直交する３個の座標軸Ｘｍ、Ｙｍ、Ｚｍが示されている。該座標軸Ｘｍ、Ｙｍ、Ｚｍを有し、かつ、ランドマーク３００の代表点ＴＰを原点とする座標系をランドマーク座標系と呼ぶ。

【0033】

ランドマーク３００は、ランドマーク座標系を局所座標系として、代表点ＴＰの局所的特徴量が算出されることが想定されている。換言すれば、ランドマーク３００の局所的特徴量は、代表点ＴＰを注目点ＰＴｉとして、図２、図３を参照して上述したように算出される。ランドマーク３００の代表点ＴＰの局所的特徴量をランドマーク特徴量とも呼ぶ。図４（Ａ）には、ランドマーク特徴量を算出する際に設定される３２個の参照領域のうち、代表点ＴＰよりも－Ｚｍ側に設定される１６個の参照領域Ｓｉｂ１～Ｓｉｂ８、Ｓｏｂ１～Ｓｏｂ８が破線で示される。ランドマーク３００は、全体が１６個の参照領域Ｓｉｂ１～Ｓｉｂ８、Ｓｏｂ１～Ｓｏｂ８のいずれかに含まれるサイズに設計されている。例えば、本実施例では、サポート球ＳＰの直径（２×Ｒ１）は、３～５ｃｍに設定されるので、ランドマーク３００の最大幅は、３～５ｃｍである。

【0034】

ランドマーク３００は、内側部３１０と、外側部３２０と、を備えている。内側部３１０は、内側の８個の参照領域Ｓｉｂ１～Ｓｉｂ８に対応する部分である。ここで、特定の参照領域に対応する部分は、ランドマーク特徴量の算出時に設定される特定の参照領域に含まれることが想定されている部分を意味する。内側部３１０は、円錐形状を有している。内側部３１０の円錐形状の頂点は、代表点ＴＰである。

【0035】

外側部３２０は、８個の外側参照領域Ｓｏｂ１～Ｓｏｂ８の少なくとも一部に対応する部分である。本実施例のランドマーク３００の外側部３２０は、８個の外側参照領域Ｓｏｂ１～Ｓｏｂ８のうちの６個の参照領域Ｓｏｂ１、Ｓｏｂ４～Ｓｏｂ８に対応する部分を含み、２個の参照領域Ｓｏｂ２、Ｓｏｂ３に対応する部分を含まない。外側部３２０は、板状の部分である。外側部３２０は、表面が球面になるように湾曲している。

【0036】

ランドマーク３００の特定面ＦＦは、内側部３１０の表面と、外側部３２０の表面とを含む。特定面ＦＦは、８個の内側参照領域Ｓｉｂ１～Ｓｉｂ８に対応する内側面Ｆｉ１～Ｆｉ８と、６個の外側参照領域Ｓｏｂ１、Ｓｏｂ４～Ｓｏｂ８に対応する外側面Ｆｏ１、Ｆｏ４～Ｆｏ８と、を含む。内側面Ｆｉ１～Ｆｉ８は、それぞれ、円錐面の一部分であり、外側面Ｆｏ１、Ｆｏ４～Ｆｏ８は、それぞれ、球面の一部分である。

【0037】

外側部３２０のうち、外側参照領域Ｓｏｂ６、Ｓｏｂ７に対応する部分の径方向の長さは、外側参照領域Ｓｏｂ１、Ｓｏｂ４、Ｓｏｂ５、Ｓｏｂ８に対応する部分の径方向の長さよりも短い。このために、特定面ＦＦのうち、外側面Ｆｏ６、Ｆｏ７の径方向の長さは、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８の径方向の長さよりも短い。本実施例では、外側面Ｆｏ６、Ｆｏ７の径方向の長さは、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８の径方向の長さの半分である。ここで、径方向とは、代表点ＴＰを通り、座標軸Ｚｍと平行な直線ＡＸ（図４（Ｃ））を軸線とする円筒座標系における径方向を意味する。また、周方向と言うとき、該直線ＡＸを軸線とする円筒座標系における周方向を意味するものとする。

【0038】

図４（Ｂ）には、上述した特定面ＦＦの形状を１６個の参照領域Ｓｉｂ１～Ｓｉｂ８に対応する部分ごとに文言で記述したコンセプト図が示されている。図４（Ｂ）のコンセプト図には、特定面ＦＦのうち、内側面Ｆｉ１～Ｆｉ８は、それぞれ、円錐面の一部分であることが「円錐」という文言で記述されている。また、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８は、それぞれ、球面の一部分であることが「球面」という文言で記述されている。また、外側面Ｆｏ６、Ｆｏ７は球面であり、その径方向の長さは、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８の径方向の長さの半分であることが「球面（半）」という文言で記述されている。さらには、特定面ＦＦは、外側参照領域Ｓｏｂ２、Ｓｏｂ３に対応する部分を含まないことが「無」という文言で記述されている。

【0039】

図５は、ランドマーク特徴量の説明図である。図５（Ａ）には、ランドマーク特徴量のうち、内側の８個の参照領域Ｓｉｂ１～Ｓｉｂ２のそれぞれにおいて算出される領域特徴量ＨＧａが示されている。すなわち、領域特徴量ＨＧａは、円錐面の一部である内側面Ｆｉ１～Ｆｉ８の特徴を示す。円錐面上の複数個の点ＰＴの法線のそれぞれと座標軸Ｚｍとがなす角度は、全ての点ＰＴにおいて等しい。このために、領域特徴量ＨＧａは、１つのビンに全ての点ＰＴが分類されたヒストグラムとなっている。

【0040】

図５（Ｂ）には、ランドマーク特徴量のうち、４個の外側参照領域Ｓｏｂ１、Ｓｏｂ４、Ｓｏｂ５、Ｓｏｂ８のそれぞれにおいて算出される領域特徴量ＨＧｂが示されている。すなわち、領域特徴量ＨＧｂは、球面の一部である外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８の特徴を示す。球面上の複数個の点ＰＴの法線のそれぞれと座標軸Ｚｍとがなす角度は、点ＰＴのＺｍ方向の位置に応じて異なる。このために、領域特徴量ＨＧｂは、法線が取り得る角度の範囲に対応する複数個のビンに概ね均等に点ＰＴが分類されたヒストグラムとなっている。

【0041】

図５（Ｃ）には、ランドマーク特徴量のうち、２個の外側参照領域Ｓｏｂ６、Ｓｏｂ７のそれぞれにおいて算出される領域特徴量ＨＧｃが示されている。すなわち、領域特徴量ＨＧｃは、球面の一部である外側面Ｆｏ６、Ｆｏ７の特徴を示す。球面上の複数個の点ＰＴの法線のそれぞれと座標軸Ｚｍとがなす角度は、点ＰＴのＺｍ方向の位置に応じて異なる。このために、領域特徴量ＨＧｃは、法線が取り得る角度の範囲に対応する複数個のビンに概ね均等に点ＰＴが分類されたヒストグラムとなっている。さらに、外側面Ｆｏ６、Ｆｏ７の径方向の長さは、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８の径方向の長さよりも短いので、法線が取り得る角度の範囲が狭い。このために、領域特徴量ＨＧｃにて点ＰＴが分類されるビンの個数は、領域特徴量ＨＧｂにて点ＰＴが分類されるビンの個数よりも少なくなっている。

【0042】

このようなランドマーク特徴量は、例えば、ランドマーク３００を示すＣＡＤデータを使用して、予め生成される（ＣＡＤは、computer-aided designの略）。例えば、図４（Ｄ）に示すように、ＣＡＤデータによって示されるランドマーク３００の特定面ＦＦ上に複数の点ＰＴが配置される。そして、各点ＰＴの座標が、ＣＡＤデータに従って、算出される。そして、上述したランドマーク座標系を局所座標系とし、ランドマーク３００の代表点ＴＰを注目点として、図２の処理が実行されて、ランドマーク特徴量が算出される。算出されたランドマーク特徴量を示すランドマーク特徴量データＬＭＤは、不揮発性記憶装置２３０に格納される（図１）。

【0043】

特定面ＦＦのうち、内側面Ｆｉ１～Ｆｉ８の形状を円錐面としている理由は、円錐面の頂点を代表点ＴＰとするためである。円錐面の頂点は、周囲の環境が、他の部位とは異なる特異点である。このために、円錐面の頂点を代表点ＴＰとしてランドマーク特徴量を算出することで、ランドマーク特徴量を、ランドマーク３００の他の部位の局所的特徴量や他の物体の局所的特徴量と大きく異なるユニークな量とすることができる。これによって、後述するシーン点群ＰＣｓにおいて、ランドマーク３００の位置をピンポイントで精度良く特定することができる。

【0044】

外側面Ｆｏ１、Ｆｏ４～Ｆｏ８の役割について説明する。外側面Ｆｏ１、Ｆｏ４～Ｆｏ８は、内側面Ｆｉ１～Ｆｉ８の形状（円錐面）とは異なる形状（球面）とされている。これによって、ランドマーク特徴量のユニークさを向上させることができる。これによって、ランドマーク３００の周囲に対象物体ＯＢなどの様々な物体が存在する状態であっても、これらの物体群を示すシーン点群ＰＣｓにおいて、ランドマーク３００の位置を特定できる可能性を高めることができる。

【0045】

さらに、外側面Ｆｏ１、Ｆｏ４～Ｆｏ８は、シーン点群ＰＣｓにおいて特定面ＦＦ上に配置される複数個の点ＰＴの分布を制御している。シーン点群ＰＣｓを用いて、ランドマーク３００の代表点ＴＰの局所的特徴量が算出される際には、代表点ＴＰの局所座標系（図２（Ｂ））が、想定するランドマーク座標系（図４（Ａ）等）と一致するように決定される必要がある。

【0046】

すなわち、局所座標系が決定される際には、上述のように、主成分解析によって、第１固有ベクトルｖｉがランドマーク座標系の座標軸Ｘｍの方向（Ｘｍ方向とも呼ぶ）に決定され、かつ、第２固有ベクトルｖｉｉがランドマーク座標系の座標軸Ｙｍの正方向（Ｙｍ方向とも呼ぶ）に決定され、かつ、第３固有ベクトルｖｉｉｉがランドマーク座標系の座標軸Ｚｍの方向（Ｚｍ方向とも呼ぶ）に決定される必要がある。

【0047】

第１固有ベクトルｖｉは、複数個の点ＰＴの分布のバラツキが最大となる方向に決定される。複数個の点ＰＴの分布範囲は、特定面ＦＦが位置する範囲である。このために、特定面ＦＦが位置するＸｍ方向の範囲が、特定面ＦＦが位置するＹｍ方向の範囲よりも広くなることが好ましい。このために、本実施例では、ランドマーク３００において、特定面ＦＦが位置するＸｍ方向の範囲を広げるために、代表点ＴＰから見て＋Ｘｍ方向に、外側面Ｆｏ１、Ｆｏ８が配置されている。そして、代表点ＴＰから見て－Ｘｍ方向に、外側面Ｆｏ４、Ｆｏ５が配置されている。そして、ランドマーク３００において、特定面ＦＦが位置するＹｍ方向の範囲を狭くするために、代表点ＴＰから見て＋Ｙｍ方向には、外側面Ｆｏ１、Ｆｏ８、Ｆｏ４、Ｆｏ５よりも径方向の長さが短い外側面Ｆｏ６、Ｆｏ７が配置されている。そして、代表点ＴＰから見て－Ｙｍ方向には、外側面は配置されていない。これによって、特定面ＦＦが位置するＸｍ方向の範囲が、特定面ＦＦが位置するＹｍ方向の範囲よりも十分に広くなっている。

【0048】

換言すれば、特定面ＦＦにおいて、径方向の長さが長い外側面Ｆｏ１、Ｆｏ８、Ｆｏ４、Ｆｏ５の周方向の位置と、径方向の長さが短い外側面Ｆｏ６、Ｆｏ７の周方向の位置とは、９０度異なる。参照領域の観点から見れば、径方向の長さが長い外側面に対応する外側参照領域Ｓｏｂ１、Ｓｏｂ８、Ｓｏｂ４、Ｓｏｂ５の周方向の位置と、径方向の長さが短い外側面に対応する外側参照領域Ｓｏｂ６、Ｓｏｂ７の周方向の位置とは、９０度異なる。そして、特定面ＦＦにおいて、外側面Ｆｏ１、Ｆｏ８、Ｆｏ４、Ｆｏ５の周方向の位置と、外側面が配置されない周方向の位置とは、９０度異なる。参照領域の観点から見れば、径方向の長さが長い外側面に対応する外側参照領域Ｓｏｂ１、Ｓｏｂ８、Ｓｏｂ４、Ｓｏｂ５の周方向の位置と、対応する外側面が配置されない外側参照領域Ｓｏｂ２、Ｓｏｂ３の周方向の位置とは、９０度異なる。

【0049】

さらに、第２固有ベクトルｖｉｉは、第１固有ベクトルｖｉと直交する方向のうち、複数個の点ＰＴの分布のバラツキが最大となる方向に決定される。このために、特定面ＦＦが位置するＹｍ方向の範囲が、特定面ＦＦが位置するＺｍ方向の範囲よりも広くなることが好ましい。このために、本実施例では、特定面ＦＦのＹｍ方向の長さが、特定面ＦＦのＺｍ方向の長さより十分に長くされている。

【0050】

さらに、代表点ＴＰの局所座標系（図２（Ｂ））が、想定するランドマーク座標系（図４（Ａ）等）と一致するように決定されるためには、固有ベクトルｖｉ、ｖｉｉ、ｖｉｉｉの正方向が、それぞれ、ランドマーク座標系の座標軸Ｘｍ、Ｙｍ、Ｚｍの正方向と一致するように決定される必要がある。このためには、特定面ＦＦの形状は、Ｘｍ方向とＹｍ方向とＺｍ方向とのうちの２方向について非対称である必要がある。ここで、特定方向について非対称であるとは、特定方向と垂直な対称面が存在しないことを意味する。２方向について非対称であれば良い理由は、３個の固有ベクトルｖｉ、ｖｉｉ、ｖｉｉのうちの２個の固有ベクトルの正負の方向が決まれば、残りの１つの固有ベクトルの正負の方向は、自動的に決まるからである。さらに言えば、特定面ＦＦの形状は、Ｘｍ方向とＹｍ方向とＺｍ方向とのうちの２方向については、十分に対称性が低い必要がある。例えば、特定面ＦＦの形状が、２方向について非対称であったとしても、該２方向のうちの少なくとも一方向についてほぼ対称に近い形状であると、固有ベクトルｖｉ、ｖｉｉ、ｖｉｉｉの正方向が安定して同じ方向に決定されない場合があるためである。

【0051】

本実施例では、頂点ＴＰから見て＋Ｙｍ方向に、外側面Ｆｏ６、Ｆｏ７が配置され、頂点ＴＰから見て－Ｙｍ方向に、外側面が配置されていない。これによって、特定面ＦＦの形状のＹｍ方向の対称性が十分に低くされている。特定面ＦＦの形状は、Ｚｍ方向については、十分に対称性が低い形状である。このように、特定面ＦＦの形状は、Ｙｍ方向とＺｍ方向との２方向について、十分に対称性が低い形状になっている。

【0052】

以上の説明から解るように、特定面ＦＦの外側面Ｆｏ１、Ｆｏ４～Ｆｏ８は、代表点ＴＰの局所座標系（図２（Ｂ））が、想定するランドマーク座標系（図４（Ａ）等）と一致するように決定されるように、特定面ＦＦが位置する範囲や対称性を調整する役割を担う。

【0053】

Ａ４．データ処理装置２００の動作
図６は、第１実施例のデータ処理装置２００の処理のフローチャートである。この処理は、ランドマーク３００を利用して、トレイ１３０の座標系（トレイ座標系とも呼ぶ）と、三次元センサ１１０の座標系（シーン座標系とも呼ぶ）との対応関係を取得する処理である。例えば、ロボットアーム１２０は、トレイ座標系の座標に基づいて、トレイ１３０内の対象物体ＯＢを操作できるように設定されている。このために、トレイ座標系とシーン座標系との対応関係が解れば、三次元センサ１１０を用いて特定される対象物体ＯＢの位置や姿勢（シーン座標系における位置や姿勢）を、トレイ座標系における位置や姿勢に変換できるので、ロボットアーム１２０は、対象物体ＯＢの把持等を行うことができる。図６の処理は、例えば、ランドマーク３００は、トレイ座標系とランドマーク座標系とが一致するように、トレイ１３０に配置された状態で行われる。ランドマーク３００は、特定面ＦＦが三次元センサ１１０によって測定されるように、特定面ＦＦを三次元センサ１１０に向けて配置される。

【0054】

Ｓ１０では、データ処理装置２００のプロセッサ２１０は、ランドマーク特徴量を取得する。すなわち、プロセッサ２１０は、不揮発性記憶装置２３０からランドマーク特徴量データＬＭＤを取得する。

【0055】

Ｓ２０では、プロセッサ２１０は、シーン点群データＰＤｓを取得する。本実施例では、プロセッサ２１０は、三次元センサ１１０（図１）に、ランドマーク３００を含む物体群を測定させることによって、三次元センサ１１０からシーン点群データＰＤｓを取得する。図７は、シーン点群データＰＤｓによって示されるシーン点群ＰＣｓの例を示す斜視図である。シーン点群ＰＣｓは、三次元センサ１１０の測定範囲内の物体の表面のうち、三次元センサ１１０から視認可能な表面上の複数の点ＰＴである。シーン点群データＰＤｓは、これらの複数の点ＰＴのそれぞれの３次元座標（ｘｓ、ｙｓ、ｚｓ）を示す座標データである。図７は、シーン点群ＰＣｓの一部を示している。図中には、トレイ１３０の一部と、トレイ１３０上の２個の対象物体ＯＢと、トレイ１３０上のランドマーク３００と、が示されている。図中では、個々の点ＰＴは、ランドマーク３００近傍の拡大図にのみ示され、全体図では、複数の点ＰＴによって表される表面がハッチングで示されている。

【0056】

Ｓ３０では、プロセッサ２１０は、シーン点群データＰＤｓに対して、前処理を実行する。前処理では、後述するマッチング処理（Ｓ６０）にて利用しやすいように、シーン点群ＰＣｓを適宜に間引く処理である。

【0057】

Ｓ４０では、プロセッサ２１０は、シーン点群ＰＣｓの中から、複数個のシーン対象点を選択する。シーン対象点は、シーン点群ＰＣｓの複数個の点ＰＴのうち、局所的特徴量の算出対象とされる点である。例えば、シーン点群ＰＣｓの複数個の点ＰＴのうち、１０～５０％程度の点がシーン対象点として選択される。シーン点群ＰＣｓの複数個の点ＰＴのうちの一部だけを局所的特徴量の算出対象とすることで、計算時間を短縮することができる。複数個のシーン対象点は、例えば、測定される物体群の表面の全体に分散するように、一部分に過度に偏らないように選択される。

【0058】

Ｓ５０では、プロセッサ２１０は、複数個のシーン対象点の局所的特徴量をそれぞれ算出する。局所的特徴量（本実施例ではＳＨＯＴ特徴量）は、各シーン対象点を注目点ＰＴｉとして、図２、３にて説明した算出方法に従って算出される。

【0059】

Ｓ６０では、プロセッサ２１０は、局所的特徴量を用いたマッチング処理を実行して、シーン座標系におけるランドマーク３００の位置と姿勢を特定する。具体的には、プロセッサ２１０は、複数個のシーン対象点のそれぞれの評価値ＥＶを算出する。評価値ＥＶは、シーン対象点の局所的特徴量とランドマーク特徴量との差異を評価する値である。評価値ＥＶには、例えば、シーン対象点の局所的特徴量と、ランドマーク特徴量と、の間のユークリッド距離が用いられる。シーン対象点の局所的特徴量とランドマーク特徴量とは、いずれも同次元のベクトル（例えば、３５２次元のベクトル）であるので、ユークリッド距離を算出できる。プロセッサ２１０は、複数個のシーン対象点のうち、最良の評価値ＥＶを有する点、本実施例では、最小の評価値ＥＶ（ユークリッド距離）を有する点を、ランドマーク対応点ＬＰとして特定する。ランドマーク対応点ＬＰは、シーン点群ＰＣｓによって示される物体群に含まれるランドマーク３００の代表点ＴＰに最も近いシーン対象点である。図７に示すように、ランドマーク３００の内側部３１０の長点に位置するシーン対象点が、ランドマーク対応点ＬＰとして特定される。ランドマーク対応点ＬＰが特定されると、プロセッサ２１０は、ランドマーク対応点ＬＰの局所的特徴量を算出する際にシーン座標系において定義されたランドマーク対応点ＬＰの局所座標系を取得する。ランドマーク対応点ＬＰの局所座標系（原点ＬＰと３つの軸線）は、シーン座標系においてランドマーク３００の位置と姿勢とを示すランドマーク座標系と言うことができる。

【0060】

Ｓ７０では、プロセッサ２１０は、シーン座標系と、ランドマーク座標系と、の間の対応関係を示す変換行列Ｍｓｌを算出する。本実施例では、ランドマーク座標系とトレイ座標系とが一致するようにランドマーク３００が配置されるので、変換行列Ｍｓｌは、シーン座標系とトレイ座標系との対応関係を示すとも言うことができる。

【0061】

図８は、変換行列Ｍｓｌの例を示す図である。この変換行列Ｍｓｌは、ランドマーク座標系の座標を、シーン座標系の座標に変換する行列である。変換行列Ｍｓｌは、回転と並進移動を含む座標変換を表現する４行４列の同次変換行列である。図８の変換行列Ｍｓｌの第１列の４個の成分は、シーン座標系においてランドマーク座標系のＸ軸方向を定義する単位ベクトルｖＸの３個の成分（ａ、ｂ、ｃ）とゼロとで構成される。第２列の４個の成分は、シーン座標系においてランドマーク座標系のＹ軸方向を定義する単位ベクトルｖＹの３個の成分（ｄ、ｅ、ｆ）とゼロとで構成される。第３列の４個の成分は、シーン座標系においてランドマーク座標系のＺ軸方向を定義する単位ベクトルｖＸの３個の成分（ｇ、ｈ、ｉ）とゼロとで構成される。第４列の４個の成分は、シーン座標系においてランドマーク座標系の原点ＰＯを示す座標（Ａ、Ｂ、Ｃ）と１とで構成される。

【0062】

以上説明した第１実施例によれば、データ処理装置２００（プロセッサ２１０）は、ランドマーク３００の特定面ＦＦを示す複数個の点ＰＴを用いて算出されるランドマーク特徴量を取得する（図６のＳ１０）。データ処理装置２００は、ランドマーク３００の特定面ＦＦを含む物体群の表面を示す複数個の点ＰＴを含むシーン点群ＰＣｓを示すシーン点群データＰＤｓを取得する（図６のＳ２０）。データ処理装置２００は、シーン点群ＰＣｓを用いて物体群の局所的特徴量を算出する（図６のＳ５０）。データ処理装置２００は、物体群の局所的特徴量と、ランドマーク特徴量と、を用いて、シーン座標系におけるランドマーク３００の位置と姿勢を示すランドマーク座標系を特定する（図６のＳ６０）。データ処理装置２００は、特定されるランドマーク３００の位置と姿勢を用いて、すなわち、特定されたランドマーク座標系を用いて、シーン座標系に関する特定処理を実行する（図６のＳ７０）。本実施例の特定処理は、シーン座標系と、ランドマーク座標系（例えば、トレイ座標系と一致）と、の対応関係を示す変換行列Ｍｓｌを算出する処理である。

【0063】

用いられる局所的特徴量は、注目点ＰＴｉに対して設定される３２個の参照領域（例えば、参照領域Ｓｏｂ１～Ｓｏｂ８、Ｓｉｂ１～Ｓｉｂ８）のそれぞれについて算出される領域特徴量ＨＧ１～ＨＧ３２（図３（Ｃ））を含む。領域特徴量ＨＧ１～ＨＧ３２は、参照領域内に位置する複数個の点ＰＴを用いて算出される量である。ランドマーク３００の特定面ＦＦは、内側参照領域Ｓｉｂ１～Ｓｉｂ８に対応する内側面Ｆｉ１～Ｆｉ８と、外側参照領域Ｓｏｂ１、Ｓｏｂ４～Ｓｏｂ８に対応する外側面Ｆｏ１、Ｆｏ４～Ｆｏ８と、を含む。内側面Ｆｉ１～Ｆｉ８の形状と、外側面Ｆｏ１、Ｆｏ４～Ｆｏ８の形状と、は異なっている。本実施例では、内側面Ｆｉ１～Ｆｉ８の形状は、円錐面の一部を構成する形状であり、外側面Ｆｏ１、Ｆｏ４～Ｆｏ８の形状は、球面の一部を構成する形状である。

【0064】

このように、内側面Ｆｉ１～Ｆｉ８の形状と、外側面Ｆｏ１、Ｆｏ４～Ｆｏ８の形状と、は異なっているので、ランドマーク特徴量は、内側面Ｆｉ１～Ｆｉ８に対応する内側参照領域の領域特徴量（例えば、図５（Ａ）の領域特徴量ＨＧａ）と、外側面Ｆｏ１～Ｆｏ８に対応する外側参照領域の領域特徴量（例えば、図５（Ｂ）、（Ｃ）の領域特徴量ＨＧｂ、ＨＧｃ）とが互いに異なる特徴量になる。この結果、ランドマーク３００を含む物体群の局所的特徴量と、ランドマーク特徴量と、に基づいて、対象点群の座標系におけるランドマークの位置を特定する際に、例えば、他の物体（対象物体ＯＢやトレイ１３０）をランドマーク３００であると認識する誤認識を抑制して、ランドマーク３００の位置や姿勢を精度良く特定できる。したがって、特定されるランドマーク３００の位置と姿勢を用いて、シーン座標系に関する特定処理を適切に実行できる。

【0065】

例えば、本実施例では、ランドマーク特徴量は、第１参照領域の領域特徴量ＨＧａと第２参照領域の領域特徴量ＨＧｂと明らかに異なる特徴量を示す。このために、ランドマーク特徴量が、ランドマーク３００の代表点ＴＰとは異なる点、例えば、対象物体ＯＢ上の点において算出される局所的特徴量とは明確に異なる可能性が高くなる。このために、上述した誤認識を抑制することができる。

【0066】

さらに、本実施例では、上述のように、特定面ＦＦは鋭角を為す部分を含んでいない。すなわち、特定面ＦＦ上の任意の位置における最大法線角度は、９０度以下である。仮に、最大法線角度が９０度を超える位置を含む部分、すなわち、鋭角を為す部分が存在すると、特定面ＦＦが三次元センサ１１０によって測定される際に、測定の方向によって特定面ＦＦに死角になる部分が生じやすい。この場合には、特定面ＦＦを示す適切なシーン点群ＰＣｓが取得できない可能性がある。本実施例では、このような不具合を抑制することができる。

【0067】

さらに、本実施例では、特定面ＦＦは、頂点ＴＰ（代表点ＴＰ）を含む錐面（例えば、内側面Ｆｉ１～Ｆｉ８）と、錐面とは異なる形状を有する他面（例えば、外側面Ｆｏ１、Ｆｏ４～Ｆｏ８）と、を含む。この結果、特定面ＦＦは、特徴的な点である錐面の頂点ＴＰを含むので、データ処理装置２００は、頂点ＴＰの局所的特徴量であるランドマーク特徴量に基づいて、シーン点群ＰＣｓに存在するランドマーク３００の頂点（ランドマーク対応点ＬＰ（図７））を特定することで、ランドマークの位置を精度良く特定できる。

【0068】

さらに、本実施例では、錐面は、錐面の頂点ＴＰを注目点ＰＴｉとする場合に下内側領域Ｓｉｂに対応し、他面は、下外側領域Ｓｏｂに対応し、錐面の軸線ＡＸを中心軸とする円筒座標系における径方向の外側に位置する外側面Ｆｏ１、Ｆｏ４～Ｆｏ８である。この結果、例えば、錐面によって上述のようにランドマークの位置を精度良く特定できる構成としつつ、外側面によってランドマーク３００の特定面ＦＦに求められる機能を実現しやすい。例えば、外側面の形状によって、錐面の頂点ＴＰを注目点ＰＴｉとする場合に算出される局所的特徴量を、他の物体上の点を注目点ＰＴｉとする場合に算出される局所的特徴量と大きく異なるように、構成しやすい。例えば、本実施例では、下外側領域Ｓｏｂに配置される８個の外側参照領域Ｓｏｂ１～Ｓｏｂ８のうちの一部の参照領域Ｓｏｂ１、Ｓｏｂ４～Ｓｏｂ８にのみ外側面を設け、他の一部の参照領域Ｓｏｂ２、Ｓｏｂ３には外側面を設けない構成とし得る。また、後述する第４、第５実施例のように、８個の外側参照領域Ｓｏｂ１～Ｓｏｂ８のうち、一部の参照領域に配置される外側面と、他の参照領域に配置される外側面と、を互いに異なる形状とすることも容易である。この結果、ランドマーク３００の特定面ＦＦの形状を、類似する形状を有する物体が少ないユニークな形状に構成しやすい。さらには、具体的には、さらに後述するように、特定面ＦＦを三次元センサ１１０によって測定して得られる複数個の点ＰＴの分布の調整や特定面ＦＦの対称性の調整も、外側面の配置や形状を調整することで容易に行うことができる。

【0069】

より具体的には、本実施例の外側面は、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８と、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８よりも表面積が小さな外側面Ｆｏ６、Ｆｏ７と、を備えている（図４）。さらに、具体的には、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８と、外側面Ｆｏ６、Ｆｏ７とは、径方向の長さが互いに異なっている（図４）。これによって、複数個の点ＰＴの分布の調整や特定面ＦＦの対称性の調整が実現されている。

【0070】

外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８の周方向の位置と、外側面Ｆｏ６、Ｆｏ７の周方向の位置とは、９０度異なっている（図４）。参照領域の観点から言えば、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８に対応する外側参照領域Ｓｏｂ１、Ｓｏｂ４、Ｓｏｂ５、Ｓｏｂ８の周方向の位置と、外側面Ｆｏ６、Ｆｏ７に対応する外側参照領域Ｓｏｂ６、Ｓｏｂ７の周方向の位置とは、９０度異なっている（図４）。この結果、特定面ＦＦを三次元センサ１１０によって測定して得られる複数個の点ＰＴが分布する範囲を、例えば、図４のＸｍ方向とＹｍ方向との間で異ならせることができる。これによって、上述したように、複数個の点ＰＴを用いて決定される代表点ＴＰの局所座標系がランドマーク座標系と一致するように決定される確率を高めることができる。

【0071】

さらに、本実施例の外側面は、外側参照領域Ｓｏｂ１、Ｓｏｂ４～Ｓｏｂ８に対応する外側面Ｆｏ１、Ｆｏ４～Ｆｏ８を含み、外側参照領域Ｓｏｂ２、Ｓｏｂ３に対応する外側面を含まない。これによって、特定面ＦＦの形状を、類似する形状を有する物体が少ないユニークな形状に構成すること、および、ＦＦを三次元センサ１１０によって測定して得られる複数個の点ＰＴの分布の調整や特定面ＦＦの対称性の調整を実現できる。

【0072】

具体的には、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８の周方向の位置と、外側面が配置されない領域の周方向の位置とは、９０度異なっている（図４）。参照領域の観点から言えば、外側面Ｆｏ１、Ｆｏ４、Ｆｏ５、Ｆｏ８に対応する外側参照領域Ｓｏｂ１、Ｓｏｂ４、Ｓｏｂ５、Ｓｏｂ８の周方向の位置と、対応する外側面が無い外側参照領域Ｓｏｂ２、Ｓｏｂ３の周方向の位置とは、９０度異なっている（図４）。この結果、特定面ＦＦを三次元センサ１１０によって測定して得られる複数個の点ＰＴが分布する範囲を、例えば、図４のＸｍ方向とＹｍ方向との間で異ならせることができる。これによって、上述したように、複数個の点ＰＴを用いて決定される代表点ＴＰの局所座標系がランドマーク座標系と一致するように決定される確率を高めることができる。

【0073】

さらに、外側面Ｆｏ６、Ｆｏ７の周方向の位置と、外側面が配置されない領域の周方向の位置とは、１８０度異なっている（図４）。参照領域の観点から言えば、外側面Ｆｏ６、Ｆｏ７に対応する外側参照領域Ｓｏｂ６、Ｓｏｂ７の周方向の位置と、対応する外側面が無い外側参照領域Ｓｏｂ２、Ｓｏｂ３の周方向の位置とは、１８０度異なっている（図４）。この結果、例えば、図４のＹｍ方向の対称性を低下させることができる。これによって、上述したように、複数個の点ＰＴを用いて決定される代表点ＴＰの局所座標系がランドマーク座標系と一致するように決定される確率を高めることができる。

【0074】

さらに、上記実施例では、ランドマーク３００のうち、外側面Ｆｏ１、Ｆｏ４～Ｆｏ８が形成された部材である外側部３２０は、板状の部材である。この結果、三次元センサ１１０がランドマーク３００を測定する方向によって、取得される点群が異なることを抑制できる。例えば、取得される点群に含まれる複数個の点ＰＴは、特定面ＦＦを示す複数個の点ＰＴのみであることが好ましい。実際には、三次元センサ１１０による測定方向によって、ランドマーク３００の側面ＳＦ（図４）の一部が測定され得るので、取得される点群を、特定面ＦＦを示す点のみとすることは困難である場合が多い。本実施例では、外側部３２０を板状の部材とすることで、側面ＳＦの面積を小さくすることができるので、側面ＳＦの影響を小さくできる。また、板状の部材の一方の特定面ＦＦが三次元センサ１１０によって測定対象になる場合には、板状の部材の裏側の面は、三次元センサ１１０によって測定されない。このために、ランドマーク３００の特定面ＦＦとは異なる表面が三次元センサ１１０によって測定対象となることを抑制できる。この結果、ランドマーク３００を三次元センサ１１０によって測定する方向によって、シーン座標系におけるランドマーク３００の位置や姿勢の特定精度が低下することを抑制できる。

【0075】

さらに、本実施例では、特定面ＦＦのうち、１つの参照領域に対応する部分は、円錐の一部や球面などのシンプルで単純な形状のみを含む。この結果、ランドマーク特徴量の各領域特徴量ＨＧａ～ＨＧｂ（図５）は、シンプルで、かつ、特徴的なヒストグラムになる。一般的な物体、例えば、対象物体ＯＢ上の点の局所的特徴量が算出される際に、設定される１つの内側参照領域には、円錐の一部のみが位置し、かつ、隣接する１つの外側領域には、球面の一部のみが位置することは、極めて稀である。ランドマーク３００は、設定される内側参照領域や外側参照領域のサイズ（例えば、サポート球ＳＰの半径Ｒ１や内球ＳＰｉの半径Ｒ２によって定まる）を考慮して、特定面ＦＦの形状や寸法が決定されることで、１つの参照領域に対応する部分は、円錐の一部や球面などのシンプルで単純な形状のみを含むように構成されている。これによって、ランドマーク特徴量を、他の物体上の点において算出され得る局所的特徴量と明確に差別化できる。したがって、他の物体（対象物体ＯＢやトレイ１３０）をランドマーク３００であると認識する誤認識を効果的に抑制できる。

【0076】

さらに、上記実施例では、使用される局所的特徴量は、ＳＨＯＴ（Signature of Histograms of OrienTations）特徴量である（図２、図３）。この結果、ＳＨＯＴ特徴量を用いて、ユニークなランドマーク特徴量を生成できるので、誤認識を抑制して、シーン座標系におけるランドマーク３００の位置や姿勢を精度良く特定できる。

【0077】

さらに、上記実施例では、特定されたランドマーク３００の位置や姿勢を用いて行われる特定処理は、シーン座標系とトレイ座標系との対応関係を示す変換行列Ｍｓｌを算出する処理である。すなわち、本実施例の特定処理は、シーン座標系におけるランドマークの位置と姿勢と、他の座標系（本実施例では、トレイ座標系）におけるランドマークの位置と姿勢と、を用いて、シーン座標系とトレイ座標系との対応関係を特定する処理である。この結果、例えば、トレイ座標系に基づいて制御されるロボットアーム１２０を適切に動作させることができる。

【0078】

以上の説明から解るように、本実施例の内側参照領域Ｓｉｂ１～Ｓｉｂ８は、第１領域の例であり、外側参照領域Ｓｏｂ１～Ｓｏｂ８は、第２領域の例である。

【0079】

Ｂ．第２実施例
第２実施例では、ランドマーク３００が配置される位置と、データ処理装置２００が実施する処理と、が第１実施例とは異なる。図９は、第２実施例の装置構成の説明図である。図１０は、第２実施例のデータ処理装置２００の処理のフローチャートである。

【0080】

第２実施例では、図９に示すように、ランドマーク３００は、ロボットアーム１２０の所定の位置、例えば、ロボットアーム１２０の指１２６の近傍の所定の位置に、治具１２８を介して固定されている。

【0081】

ロボットアーム１２０の指１２６の基準位置ＲＰｔは、例えば、対象物体ＯＢを把持する際に、指１２６を操作するための基準として用いられる位置である。ロボットアーム１２０の指１２６の基準位置ＲＰｔ（ツール基準位置ＲＰｔとも呼ぶ）と、ランドマーク３００の代表点ＴＰと、の位置関係は、ロボットアーム１２０のリンク機構１２５を動作させても変動しない。

【0082】

データ処理装置２００は、ロボットアーム１２０の固定された基準位置ＲＰｒ（ロボット基準位置ＲＰｒとも呼ぶ）を原点とするロボット座標系におけるツール基準位置ＲＰｔの座標（ｘＴ、ｙＴ、ｚＴ）を認識している。データ処理装置２００は、ロボットアーム１２０のリンク機構１２５を制御してツール基準位置ＲＰｔの座標を移動させた場合でも、リンク機構１２５の制御量に基づいて常にツール基準位置ＲＰｔの座標を認識可能である。

【0083】

ツール基準位置ＲＰｔとランドマーク３００の代表点ＴＰとの位置関係は、固定されているので、データ処理装置２００は、ツール基準位置ＲＰｔの座標に基づいて、ロボット座標系におけるランドマーク３００の代表点ＴＰの座標（ｘＬ、ｙＬ、ｚＬ）を認識可能である。

【0084】

図１０は、第２実施例のデータ処理装置２００の処理のフローチャートである。図１１は、第２実施例のデータ処理装置２００の処理の説明図である。この処理は、ランドマーク３００を利用して、ロボット座標系とシーン座標系との対応関係を取得する処理である。Ｓ１００では、データ処理装置２００のプロセッサ２１０は、図６のＳ１０と同様に、不揮発性記憶装置２３０からランドマーク特徴量データＬＭＤを取得する。

【0085】

Ｓ１０５では、プロセッサ２１０は、ロボットアーム１２０を制御して、ランドマーク３００を所定の測定位置に移動させる。所定の測定位置は、図９に示すように、ランドマーク３００の特定面ＦＦを三次元センサ１１０に向けた位置である。

【0086】

Ｓ１０７では、プロセッサ２１０は、所定の測定位置、すなわち、現時点でのランドマーク３００の位置を取得する。すなわち、ロボット座標系におけるランドマーク３００の代表点ＴＰの座標が取得される。ロボット座標系における代表点ＴＰの座標は、現在の所定の測定位置にランドマーク３００を移動させた後のリンク機構１２５の位置情報に基づいて、認識可能である。

【0087】

Ｓ１１０では、プロセッサ２１０は、図６のＳ２０と同様に、三次元センサ１１０（図１）に、ランドマーク３００を含む物体群を測定させることによって、三次元センサ１１０からシーン点群データＰＤｓを取得する。この場合の物体群は、例えば、ランドマーク３００と、ロボットアーム１２０の一部（例えば、指１２６やリンク１２４）を含む。

【0088】

Ｓ１１５では、プロセッサ２１０は、全ての測定位置にて、三次元センサ１１０による測定を行って、シーン点群データＰＤｓを取得したか否かを判断する。未測定の測定位置がある場合には（Ｓ１１５：ＮＯ）、プロセッサ２１０は、Ｓ１０５に戻る。全ての測定位置にて測定を行った場合には（Ｓ１１５：ＹＥＳ）、プロセッサ２１０は、Ｓ１２０に処理を進める。

【0089】

例えば、ｎカ所（ｎは、３以上の整数）の異なる測定位置にて、順次に測定が行なわれる。ｎカ所の測定位置は、例えば、三次元センサ１１０の測定可能範囲内で、測定方向１１０ｘと概ね垂直にランドマーク３００を適宜に移動させた位置である。本実施例では、４カ所の測定位置にて、測定が行われる。

【0090】

Ｓ１２０に進んだ時点で、ｎカ所の測定位置で測定されたｎ個のシーン点群データＰＤｓが取得されている。Ｓ１２０では、プロセッサ２１０は、ｎ個のシーン点群データＰＤｓから１つの処理対称のシーン点群データＰＤｓを選択する。

【0091】

Ｓ１２５では、プロセッサ２１０は、処理対象のシーン点群データＰＤｓを用いて、図６のＳ３０～５０の処理を実行する。Ｓ１２６では、図６のＳ６０と同様に、局所的特徴量を用いたマッチング処理を実行する。ただし、本実施例では、ランドマーク３００の姿勢を特定する必要がないため、シーン座標系におけるランドマーク３００の位置のみを特定し、姿勢の特定は行わない。すなわち、シーン座標系におけるランドマーク３００の代表点ＴＰの座標が特定される。

【0092】

Ｓ１３５では、プロセッサ２１０は、ｎ個のシーン点群データＰＤｓの全てを処理したか否かを判断する。未処理のシーン点群データＰＤｓがある場合には（Ｓ１３５：ＮＯ）、プロセッサ２１０は、Ｓ１２０に戻る。全てのシーン点群データＰＤｓを処理した場合には（Ｓ１３５：ＹＥＳ）、プロセッサ２１０は、Ｓ１４５に処理を進める。

【0093】

Ｓ１４５の時点で、ｎ個の測定位置のそれぞれについて、シーン座標系におけるランドマーク３００の位置（代表点ＴＰの座標）と、ロボット座標系におけるランドマーク３００の位置（代表点ＴＰの座標）と、が取得されている。

【0094】

Ｓ１４５では、プロセッサ２１０は、ｎ個のランドマーク３００の位置から３個の注目位置を選択する。ｎ個の位置から３個の注目位置を選択する組み合わせの数は、_ｎＣ_３種類であるが、_ｎＣ_３種類の組み合わせが順次に選択される。

【0095】

Ｓ１５０では、プロセッサ２１０は、３個の注目位置を用いて測定されたランドマーク３００の座標系（以下、測定座標系とも呼ぶ）を定義する。図１１（Ａ）には、測定座標系の説明図が示されている。図１１（Ａ）には、３個の注目位置Ｐ、Ｑ、Ｒと、３個の注目位置Ｐ、Ｑ、Ｒを用いて定義される三次元座標系の３つの軸ＸＬ、ＹＬ、ＺＬを規定する３つの単位ベクトルｖＸＬ、ｖＹＬ、ｖＺＬが示されている。例えば、軸ＸＬを規定する単位ベクトルｖＸＬは、ベクトル（ｖＰＱ＋ｖＰＲ）を正規化したベクトルに決定される。ベクトル（ｖＰＱ＋ｖＰＲ）は、位置Ｐと位置Ｑとを結ぶベクトルｖＰＱと、位置Ｐと位置Ｒとを結ぶベクトルｖＰＲと、の和である。軸ＺＬを規定する単位ベクトルｖＺＬは、ベクトルｖＰＱとベクトルｖＰＲとを含む平面と垂直な単位ベクトルに決定される。軸ＹＬを規定する単位ベクトルｖＹＬは、単位ベクトルｖＸＬと単位ベクトルｖＹＬとの外積である。測定座標系の原点ＯＰは、例えば、位置Ｐに決定される。

【0096】

シーン座標系における３個の注目位置を用いて、シーン座標系における測定座標系が定義され、ロボット座標系における３個の注目位置を用いて、ロボット座標系における測定座標系が定義される。シーン座標系における測定座標系は、原点ＯＰｓと、３つの単位ベクトルｖＸＬｓ、ｖＹＬｓ、ｖＺＬｓによって定義される。ロボット座標系における測定座標系は、原点ＯＰｒと、３つの単位ベクトルｖＸＬｒ、ｖＹＬｒ、ｖＺＬｒによって定義される。

【0097】

Ｓ１５５では、定義された測定座標系を介して、ロボット座標系とシーン座標系との対応関係を示す変換行列Ｍｒｓを算出する。変換行列Ｍｒｓは、ロボット座標系の座標をシーン座標系の座標に変換する同次変換行列である。同次変換行列は、回転と並進移動を含む座標変換を表現する４行４列の行列である。図１１（Ｂ）に示すように、変換行列Ｍｒｓは、ロボット座標系と測定座標系との対応関係を示す第２変換行列Ｍｒｐと、シーン座標系と測定座標系との対応関係を示す第１変換行列Ｍｓｐの逆行列と、の積である。

【0098】

図１１（Ｃ）に示すように、第１変換行列Ｍｓｐは、シーン座標系における測定座標系を定義する値を要素とする同次変換行列である。具体的には、第１列の４個の成分は、単位ベクトルｖＸＬｓの３個の成分（ｒｓ００、ｒｓ１０、ｒｓ２０）とゼロとで構成される。第２列の４個の成分は、単位ベクトルｖＹＬｓの３個の成分（ｒｓ０１、ｒｓ１１、ｒｓ２１）とゼロとで構成される。第３列の４個の成分は、単位ベクトルｖＺＬｓの３個の成分（ｒｓ０２、ｒｓ１２、ｒｓ２２）とゼロとで構成される。第４列の４個の成分は、原点ＰＯｓの座標（ｔｓｘ、ｔｓｙ、ｔｓｚ）と１とで構成される。

【0099】

図１１（Ｄ）に示すように、第２変換行列Ｍｒｐは、ロボット座標系における測定座標系を定義する値を要素とする同次変換行列である。具体的には、第１列の４個の成分は、単位ベクトルｖＸＬｒの３個の成分（ｒｒ００、ｒｒ１０、ｒｒ２０）とゼロとで構成される。第２列の４個の成分は、単位ベクトルｖＹＬｒの３個の成分（ｒｒ０１、ｒｒ１１、ｒｒ２１）とゼロとで構成される。第３列の４個の成分は、単位ベクトルｖＺＬｒの３個の成分（ｒｒ０２、ｒｒ１２、ｒｒ２２）とゼロとで構成される。第４列の４個の成分は、原点ＰＯｒの座標（ｔｒｘ、ｔｒｙ、ｔｒｚ）と１とで構成される。

【0100】

Ｓ１６０では、プロセッサ２１０は、ｎ個のランドマーク３００の位置から３個の注目位置を選択する全ての組み合わせを処理したか否かを判断する。未処理の組み合わせがある場合には（Ｓ１６０：ＮＯ）、プロセッサ２１０は、Ｓ１４５に戻る。全ての組み合わせを処理した場合には（Ｓ１６０：ＹＥＳ）、プロセッサ２１０は、Ｓ１６５に処理を進める。

【0101】

Ｓ１６５では、プロセッサ２１０は、各組み合わせについて算出された変換行列Ｍｒｓを用いて、最終的な１つの変換行列Ｍｒｓｆを算出する。例えば、変換行列Ｍｒｓｆは、_ｎＣ_３種類の変換行列Ｍｒｓを統計的に処理することで算出される。例えば、プロセッサ２１０は、_ｎＣ_３種類の変換行列Ｍｒｓのうちの並進移動ベクトル（第４列）の平均ベクトルを算出することで、平均処理された並進移動ベクトルを決定する。プロセッサ２１０は、_ｎＣ_３種類の変換行列Ｍｒｓのうちの回転行列を、回転ベクトルやクオータニオンなどの近似的に平均処理可能な表現形式に変換する。プロセッサ２１０は、平均処理可能な表現形式にて、_ｎＣ_３種類の回転成分の平均値を算出し、該平均値を回転行列に戻すことで、平均処理された回転行列を決定する。プロセッサ２１０は、平均処理された回転行列と、並進移動ベクトルと、を含む変換行列を、最終的な変換行列Ｍｒｓｆとして算出する。

【0102】

以上説明した第２実施例によれば、ランドマーク３００を用いて、ロボット座標系と、シーン座標系（三次元センサ１１０の座標系）との間の対応関係を示す変換行列Ｍｒｓｆを算出できる。このために、例えば、データ処理装置２００は、三次元センサ１１０を用いてシーン座標系において対象物体ＯＢの位置や姿勢を把握すれば、ロボット座標系においても対象物体ＯＢの位置や姿勢を把握できる。したがって、データ処理装置２００は、ロボットアーム１２０を制御して、対象物体ＯＢの把持等を適切に実行できる。

【0103】

また、本実施例では、ｎ個のランドマーク３００の位置が必要であるが、姿勢は必要ない。この結果、ランドマーク３００の位置が精度良く特定できれば、シーン座標系とロボット座標系との対応関係を精度良く特定できる。

【0104】

Ｃ.第３実施例
第３実施例では、三次元センサ１１０が配置される位置と、データ処理装置２００が実施する処理と、が第１実施例とは異なる。図１２は、第３実施例の説明図である。図１３は、第３実施例のデータ処理装置２００の処理のフローチャートである。

【0105】

図１２（Ａ）には、第３実施例の装置構成が示されている。第３実施例では、図１２（Ａ）に示すように、三次元センサ１１０は、ロボットアーム１２０の所定の位置、例えば、ロボットアーム１２０の指１２６の近傍の所定の位置に、治具１２９を介して固定されている。ランドマーク３００は、ロボットアーム１２０に固定された三次元センサ１１０にて測定可能な範囲内に配置されている。図１２（Ａ）の例では、第１実施例と同様に、ランドマーク３００は、トレイ１３０上に配置されている。

【0106】

第２実施例にて説明したように、ロボット座標系とシーン座標系との間の対応関係を示す変換行列Ｍｒｓが算出できれば、データ処理装置２００は、ロボットアーム１２０を制御して、対象物体ＯＢの把持等を適切に実行できる。ここで、データ処理装置２００は、ロボット基準位置ＲＰｒを原点とするロボット座標系と、ツール基準位置ＲＰｔを原点とするツール座標系と、の対応関係を認識している。すなわち、ロボット座標系とツール座標系との対応関係を示す変換行列Ｍｒｔは、既知である。なお、ロボットアーム１２０のリンク機構１２５の動作に応じてロボット座標系に対してツール座標系の位置や姿勢は変動するので、変換行列Ｍｒｔは、リンク機構１２５の動作に応じて変動する。ツール座標系とシーン座標系との対応関係は、ロボットアーム１２０のリンク機構１２５を動作させても変動しない。

【0107】

図１２（Ｂ）に示すように、ロボット座標系とシーン座標系との間の対応関係を示す変換行列Ｍｒｓは、ロボット座標系とツール座標系との対応関係を示す変換行列Ｍｒｔ（既知）と、ツール座標系とシーン座標系との対応関係を示す変換行列Ｍｔｓと、の積である。しがって、変換行列Ｍｔｓ（固定値）が算出できれば、ロボット座標系とシーン座標系との間の対応関係を示す変換行列Ｍｒｓは、リンク機構１２５を動作に応じて算出可能である。このために、本実施例のデータ処理装置２００の処理は、ツール座標系とシーン座標系との対応関係を示す変換行列Ｍｔｓを算出する。

【0108】

図１３は、第３実施例のデータ処理装置２００の処理のフローチャートである。この処理は、ランドマーク３００を利用して、ロボット座標系とシーン座標系との対応関係を取得する処理である。図１３では、図１０と同一の処理には、図１０と同一の符号が付され、図１０と異なる処理には、符号の末尾に「Ｂ」が付されている。図１３の処理を図１０と異なる部分を中心に説明する。

【0109】

Ｓ１１０にてランドマーク特徴量データＬＭＤを取得すると、Ｓ１０３Ｂでは、プロセッサ２１０は、ロボット座標系におけるランドマーク３００の位置、すなわち、ロボット座標系におけるランドマーク３００の代表点ＴＰの座標を取得する。ランドマーク３００の代表点ＴＰの座標は、例えば、ダイレクトティーチングによって取得される。具体的には、作業者がロボットアーム１２０を手で動かして、ロボットアーム１２０のツール基準位置ＲＰｔ、もしくは、ツール基準位置ＲＰｔに対する相対的な位置が認識可能な他の位置（例えば、指１２６の先端）を、ランドマーク３００の代表点ＴＰに接触させる。プロセッサ２１０は、その状態で、変換行列Ｍｒｔに基づいて、ランドマーク３００の代表点ＴＰと接触している位置のロボット座標系における座標を算出する。算出された座標がロボット座標系におけるランドマーク３００の位置として取得される。

【0110】

Ｓ１０５Ｂでは、プロセッサ２１０は、ロボットアーム１２０を制御して、三次元センサ１１０を所定の測定位置に移動させる。所定の測定位置は、図１２（Ａ）に示すように、ランドマーク３００の特定面ＦＦを測定可能な位置である。

【0111】

Ｓ１０７Ｂでは、プロセッサ２１０は、所定の測定位置にて、ツール座標系におけるランドマーク３００の位置、すなわち、現時点のツール座標系におけるランドマーク３００の代表点ＴＰの座標を取得する。ロボット座標系におけるランドマーク３００の代表点ＴＰの座標は、Ｓ１０３Ｂにて取得済みである。また、ロボット座標系とツール座標系との対応関係を示す変換行列Ｍｒｔは、既知である。このために、プロセッサ２１０は、ロボット座標系におけるランドマーク３００の代表点ＴＰの座標を、所定の測定位置における変換行列Ｍｒｔの逆行列を用いてツール座標系における座標に変換する。これによって、現時点のツール座標系におけるランドマーク３００の代表点ＴＰの座標が算出される。

【0112】

Ｓ１１０では、プロセッサ２１０は、図１０のＳ１１０と同様に、三次元センサ１１０（図１）に、ランドマーク３００を含む物体群を測定させることによって、三次元センサ１１０からシーン点群データＰＤｓを取得する。この場合の物体群は、例えば、第１実施例と同様に、ランドマーク３００と、トレイ１３０と、対象物体ＯＢと、を含み得る。

【0113】

Ｓ１１５では、プロセッサ２１０は、全ての測定位置にて、三次元センサ１１０による測定を行って、シーン点群データＰＤｓを取得したか否かを判断する。未測定の測定位置がある場合には（Ｓ１１５：ＮＯ）、プロセッサ２１０は、Ｓ１０５に戻る。全ての測定位置にて測定を行った場合には（Ｓ１１５：ＹＥＳ）、プロセッサ２１０は、Ｓ１２０に処理を進める。

【0114】

例えば、第２実施例と同様に、ｎカ所（ｎは、３以上の整数）の測定位置にて、順次に測定が行なわれる。ｎカ所の測定位置は、例えば、三次元センサ１１０の測定可能範囲内にランドマーク３００が含まれるように、かつ、三次元センサ１１０の姿勢が変化しないように、三次元センサ１１０を適宜に移動させた位置である。本実施例では、４カ所の測定位置にて、測定が行われる。

【0115】

Ｓ１２０に進んだ時点で、第２実施例と同様に、ｎカ所の測定位置で測定されたｎ個のシーン点群データＰＤｓが取得されている。図１３のＳ１２０～Ｓ１３５は、図１０のＳ１２０～Ｓ１３５と同一である。

【0116】

Ｓ１４５Ｂに進んだ時点で、ｎ個の測定位置のそれぞれについて、シーン座標系におけるランドマーク３００の位置（代表点ＴＰの座標）と、ツール座標系におけるランドマーク３００の位置と、が取得されている。

【0117】

Ｓ１４５Ｂでは、プロセッサ２１０は、ｎ個のランドマーク３００の位置から３個の注目位置を選択する。ｎ個の位置から３個の注目位置を選択する組み合わせの数は、_ｎＣ_３種類であるが、_ｎＣ_３種類の組み合わせが順次に選択される。

【0118】

Ｓ１５０Ｂでは、プロセッサ２１０は、３個の注目位置を用いて測定座標系を定義する。具体的には、シーン座標系の３個の注目位置を用いて、シーン座標系における測定座標系が定義される。同様に、ツール座標系における３個の注目位置を用いて、ツール座標系における測定座標系が定義される。３個の注目位置から測定座標系を定義する方法は、図１１（Ａ）を参照して説明した通りである。

【0119】

シーン座標系における測定座標系は、原点ＯＰｓと、３つの単位ベクトルｖＸＬｓ、ｖＹＬｓ、ｖＺＬｓによって定義される。ツール座標系における測定座標系は、原点ＯＰｔと、３つの単位ベクトルｖＸＬｔ、ｖＹＬｔ、ｖＺＬｔによって定義される。

【0120】

Ｓ１５５Ｂでは、定義された測定座標系を介して、ツール座標系とシーン座標系との対応関係を示す変換行列Ｍｔｓを算出する。図１２（Ｃ）に示すように、変換行列Ｍｔｓは、ツール座標系と測定座標系との対応関係を示す変換行列Ｍｔｐと、シーン座標系と測定座標系との対応関係を示す変換行列Ｍｓｐの逆行列と、の積である。変換行列Ｍｓｐは、シーン座標系における測定座標系を定義する値（原点ＯＰｓ、単位ベクトルｖＸＬｓ、ｖＹＬｓ、ｖＺＬｓ）を要素とする同次変換行列であり、上述した図１１（Ｃ）に示されている。変換行列Ｍｔｐは、ツール座標系における測定座標系を定義する値（原点ＯＰｔ、単位ベクトルｖＸＬｔ、ｖＹＬｔ、ｖＺＬｔ）を要素とする同次変換行列である（図示省略）。

【0121】

Ｓ１６０では、プロセッサ２１０は、ｎ個のランドマーク３００の位置から３個の注目位置を選択する全ての組み合わせを処理したか否かを判断する。未処理の組み合わせがある場合には（Ｓ１６０：ＮＯ）、プロセッサ２１０は、Ｓ１４５Ｂに戻る。全ての組み合わせを処理した場合には（Ｓ１６０：ＹＥＳ）、プロセッサ２１０は、Ｓ１６５Ｂに処理を進める。

【0122】

Ｓ１６５Ｂでは、図１０のＳ１６５と同様に、プロセッサ２１０は、各組み合わせについて算出された変換行列Ｍｔｓを用いて、最終的な１つの変換行列Ｍｔｓｆを算出する。

【0123】

以上説明した第３実施例によれば、ランドマーク３００を用いて、シーン座標系（三次元センサ１１０の座標系）と、ツール座標系と、の間の対応関係を示す変換行列Ｍｔｓｆを算出できる。シーン座標系とツール座標系との間の対応関係を示す変換行列Ｍｔｓｆが既知であれば、上述のように、シーン座標系とロボット座標系との対応関係を示す変換行列Ｍｒｓを算出できる。このために、例えば、データ処理装置２００は、三次元センサ１１０を用いてシーン座標系において対象物体ＯＢの位置や姿勢を把握すれば、ロボット座標系においても対象物体ＯＢの位置や姿勢を把握できる。したがって、データ処理装置２００は、ロボットアーム１２０を制御して、対象物体ＯＢの把持等を適切に実行できる。

【0124】

また、本実施例では、第２実施例と同様に、ｎ個のランドマーク３００の位置が必要であるが、姿勢は必要ない。この結果、ランドマーク３００の位置が精度良く特定できれば、シーン座標系とロボット座標系との対応関係を精度良く特定できる。

【0125】

Ｄ．第４実施例
第４実施例では、ランドマークの構成が図４のランドマーク３００とは異なる。第４実施例の３００Ｂは、第１～第３実施例のいずれの処理（図６、図１０、図１３）においても用いることができる。

【0126】

図１４は、第４実施例のランドマーク３００Ｂの説明図である。図１４（Ａ）には、ランドマーク３００Ｂを＋Ｚｍ方向側から－Ｚｍ方向に向かって見た図が示されている。図１４（Ｂ）には、ランドマーク３００Ｂのコンセプト図が示されている。図１４（Ｃ）には、ランドマーク３００Ｂの斜視図が示されている。

【0127】

ランドマーク３００Ｂは、内側部３１０Ｂと、外側部３２０Ｂと、を備えている。ランドマーク３００Ｂの特定面ＦＦＢは、内側部３１０Ｂの＋Ｚｍ側の表面である内側面Ｆｉ１ｂ～Ｆｉ８ｂと、外側部３２０Ｂの＋Ｚｍ側の表面である外側面Ｆｏ１ｂ、Ｆｏ４ｂ～Ｆｏ８ｂと、を備えている。また、特定面ＦＦＢは、図４の特定面ＦＦと同様に、外側参照領域Ｓｏｂ２、Ｓｏｂ３に対応する部分を含まない。内側面Ｆｉ１ｂ～Ｆｉ８ｂは、内側参照領域Ｓｉｂ１～Ｓｉｂ８に対応し、外側面Ｆｏ１ｂ、Ｆｏ４ｂ～Ｆｏ８ｂは、外側参照領域Ｓｏｂ１、Ｓｏｂ４～Ｓｏｂ８に対応している。

【0128】

内側面Ｆｉ１ｂ～Ｆｉ８ｂは、全体として錐面を構成しているが、角錐面の一部と円錐面の一部とを含んでいる。具体的には、内側面Ｆｉ１ｂ、Ｆｉ２ｂ、Ｆｉ７ｂ、Ｆｉ８ｂは、それぞれ、円錐面の一部である。内側面Ｆｉ３ｂ～Ｆｉ６ｂは、八角錐面の一部である（図１４（Ａ）～（Ｃ））。

【0129】

外側面Ｆｏ１ｂ、Ｆｏ４ｂ～Ｆｏ８ｂは、球面の一部と、平面と、を含んでいる。具体的には、外側面Ｆｏ１ｂ、Ｆｏ７ｂ、Ｆｏ８ｂは、それぞれ、球面の一部である。外側面Ｆｏ４ｂ～Ｆｏ６ｂは、平面の一部である。外側面Ｆｏ６ｂ、Ｆｏ７ｂの径方向の長さは、外側面Ｆｏ１ｂ、Ｆｏ４ｂ、Ｆｏ５ｂ、Ｆｏ８ｂの径方向の長さよりも短い。例えば、外側面Ｆｏ６ｂの径方向の長さは、外側面Ｆｏ４ｂ、Ｆｏ５ｂの径方向の長さの半分である。外側面Ｆｏ７ｂの径方向の長さは、外側面Ｆｏ１ｂ、Ｆｏ８ｂの径方向の長さの半分である。

【0130】

外側面Ｆｏ４ｂ～Ｆｏ６ｂの法線とＺｍ方向とが為す角度は、角錐面の一部である内側面Ｆｉ３ｂ～Ｆｉ６ｂとＺｍ方向とが為す角度と同一である。このために、外側面Ｆｏ４ｂと内側面Ｆｉ４ｂとは、連続した１つの平面を構成している。同様に、外側面Ｆｏ５ｂと内側面Ｆｉ５ｂ、外側面Ｆｏ６ｂと内側面Ｆｉ６ｂとは、連続した１つの平面を構成している。変形例では、外側面Ｆｏ４ｂ～Ｆｏ６ｂの法線とＺｍ方向とが為す角度は、角錐面の一部である内側面Ｆｉ３ｂ～Ｆｉ６ｂとＺｍ方向とが為す角度とは異なっていても良い。

【0131】

図１４（Ｂ）のコンセプト図には、上述した特定面ＦＦＢの構成が文言で記述されている。例えば、内側面Ｆｉ１ｂ～Ｆｉ８ｂの形状を示す記述は、円錐面の一部であることを示す「円錐」、あるいは、角錐面の一部であることを示す「角錐」のいずれかである。外側面Ｆｏ１ｂ、Ｆｏ４ｂ～Ｆｏ８ｂに対応する記述は、球面の一部であることを示す「球面」、あるいは、平面であることを示す「平面」のいずれかである。また、外側面Ｆｏ６ｂ、Ｆｏ７ｂの記述には、その径方向の長さが外側面Ｆｏ１ｂ、Ｆｏ４ｂ、Ｆｏ５ｂ、Ｆｏ８ｂの径方向の長さの半分であることを示す「（半）」が付されている。さらには、特定面ＦＦＢは、外側参照領域Ｓｏｂ２、Ｓｏｂ３に対応する部分を含まないことが「無」という文言で記述されている。

【0132】

以上説明した第４実施例によれば、内側部３１０Ｂの頂点ＴＰｂの局所的特徴量をランドマーク特徴量として用いることで、第１～第３実施例と同様に、シーン点群ＰＣｓに存在するランドマーク３００Ｂの頂点を特定することで、ランドマーク３００Ｂの位置を精度良く特定できる。

【0133】

さらに、第４実施例によれば、特定面ＦＦＢの形状は、３種類の形状、すなわち、錐面（例えば、内側面Ｆｉ１ｂ～Ｆｉｂ８）と、球面の一部（例えば、外側面Ｆｏ１ｂ、Ｆｏ７ｂ、Ｆｏ８ｂ）と、平面（例えば、Ｆｏ４～Ｆｏ６）と、を備えている。この結果、特定面ＦＦＢの形状がよりユニークな形状となるので、より誤認識を抑制できる。

【0134】

Ｅ．第５実施例
第４実施例のランドマーク３００Ｂのように、特定面が錐面（円錐面および角錐面）と、球面の一部と、平面と、を備える別の例を、第５実施例として説明する。

【0135】

図１５は、第５実施例のランドマーク３００Ｃの説明図である。図１５（Ａ）には、ランドマーク３００Ｃを＋Ｚｍ方向側から－Ｚｍ方向に向かって見た図が示されている。図１５（Ｂ）には、ランドマーク３００Ｃのコンセプト図が示されている。図１５（Ｃ）には、ランドマーク３００Ｃの斜視図が示されている。

【0136】

ランドマーク３００Ｃは、内側部３１０Ｃと、外側部３２０Ｃと、を備えている。ランドマーク３００Ｃの特定面ＦＦＣは、内側部３１０Ｃの＋Ｚｍ側の表面である内側面Ｆｉ１ｃ～Ｆｉ８ｃと、外側部３２０Ｃの＋Ｚｍ側の表面である外側面Ｆｏ１ｃ、Ｆｏｂｃ～Ｆｏ８ｃと、を備えている。また、特定面ＦＦＣは、図４の特定面ＦＦと同様に、外側参照領域Ｓｏｂ２、Ｓｏｂ３に対応する部分を含まない。内側面Ｆｉ１ｃ～Ｆｉ８ｃは、内側参照領域Ｓｉｂ１～Ｓｉｂ８に対応し、外側面Ｆｏ１ｃ、Ｆｏ４ｃ～Ｆｏ８ｃは、外側参照領域Ｓｏｂ１、Ｓｏｂ４～Ｓｏｂ８に対応している。

【0137】

内側面Ｆｉ１ｃ～Ｆｉ８ｃは、全体として錐面を構成しているが、角錐面の一部と円錐面の一部とを含んでいる。具体的には、円錐面の一部である内側面Ｆｉ１ｃ、Ｆｉ３ｃ、Ｆｉ５ｃ、Ｆｉ７ｃと、八角錐面の一部である内側面Ｆｉ２ｃ、Ｆｉ４ｃ、Ｆｉ６ｃ、Ｆｉ８ｃは、周方向に交互に並んでいる。（図１５（Ａ）～（Ｃ））。

【0138】

外側面Ｆｏ１ｃ、Ｆｏ４ｃ～Ｆｏ８ｃは、球面の一部と、平面と、を含んでいる。具体的には、平面の一部である外側面Ｆｏ４ｃ、Ｆｏ６ｃ、Ｆｏ８ｃと、球面の一部である外側面Ｆｏ５ｃ、Ｆｏ７ｃ、Ｆｏ１ｃは、周方向に交互に並んでいる。（図１５（Ａ）～（Ｃ））。外側面Ｆｏ６ｃ、Ｆｏ７ｃの径方向の長さは、外側面Ｆｏ１ｃ、Ｆｏ４ｃ、Ｆｏ５ｃ、Ｆｏ８ｃの径方向の長さよりも短い。例えば、外側面Ｆｏ６ｃの径方向の長さは、外側面Ｆｏ４ｃ、Ｆｏ８ｃの径方向の長さの半分である。外側面Ｆｏ７ｃの径方向の長さは、外側面Ｆｏ１ｃ、Ｆｏ５ｃの径方向の長さの半分である。

【0139】

図１５（Ｂ）のコンセプト図には、上述した特定面ＦＦＣの構成が、図１４（Ｂ）と同様に、文言で記述されている。

【0140】

以上説明した第５実施例によれば、内側部３１０Ｃの頂点ＴＰｃの局所的特徴量をランドマーク特徴量として用いることで、第１～第３実施例と同様に、シーン点群ＰＣｓに存在するランドマーク３００Ｃの頂点を特定することで、ランドマーク３００Ｃの位置を精度良く特定できる。

【0141】

さらに、第５実施例によれば、第４実施例と同様に、特定面ＦＦＣの形状は、３種類の形状、すなわち、錐面（例えば、内側面Ｆｉ１ｃ～Ｆｉ８ｃ）と、球面の一部（例えば、外側面Ｆｏ５ｃ、Ｆｏ７ｃ、Ｆｏ１ｃ）と、平面（例えば、Ｆｏ４ｃ、Ｆｏ６ｃ、Ｆｏ８ｃ）と、を備えている。この結果、特定面ＦＦＣの形状がよりユニークな形状となるので、より誤認識を抑制できる。

【0142】

Ｆ．第６実施例
第４、第５実施例のランドマーク３００Ｂ、３００Ｃのように、特定面が３種類の形状を備える別の例を、第６実施例として説明する。図１６は、第６実施例のランドマーク３００Ｄの説明図である。図１６（Ａ）には、ランドマーク３００Ｄを＋Ｚｍ方向側から－Ｚｍ方向に向かって見た図が示されている。図１６（Ｂ）には、ランドマーク３００Ｄのコンセプト図が示されている。図１６（Ｃ）には、ランドマーク３００Ｃの斜視図が示されている。

【0143】

第６実施例のランドマーク３００Ｄの特定面ＦＦＤは、その法線とＺｍ方向とが為す角度が互いに異なる３種類の平面の形状を備える。その法線とＺｍ方向とが為す角度が互いに異なる３種類の平面は、特徴量が互いに異なるので、互いに異なる形状であると言うことができる。

【0144】

ランドマーク３００Ｄは、内側部３１０Ｄと、外側部３２０Ｄと、を備えている。ランドマーク３００Ｄの特定面ＦＦＤは、内側部３１０Ｄの＋Ｚｍ側の表面である内側面Ｆｉ１ｄ～Ｆｉ８ｄと、外側部３２０Ｄの＋Ｚｍ側の表面である外側面Ｆｏ１ｄ、Ｆｏｂｄ～Ｆｏ８ｄと、を備えている。また、特定面ＦＦＤは、図４の特定面ＦＦと同様に、外側参照領域Ｓｏｂ２、Ｓｏｂ３に対応する部分を含まない。内側面Ｆｉ１ｄ～Ｆｉ８ｄは、内側参照領域Ｓｉｂ１～Ｓｉｂ８に対応し、外側面Ｆｏ１ｄ、Ｆｏ４ｄ～Ｆｏ８ｄは、外側参照領域Ｓｏｂ１、Ｓｏｂ４～Ｓｏｂ８に対応している。

【0145】

内側面Ｆｉ１ｄ～Ｆｉ８ｄは、全体として八角錐面を構成している。すなわち、内側面Ｆｉ１ｄ～Ｆｉ８ｄは、それぞれ、八角錐面の一部である平面である（図１６（Ａ）～（Ｃ））。

【0146】

外側面Ｆｏ１ｃ、Ｆｏ４ｃ～Ｆｏ８ｃは、その法線とＺｍ方向とが為す角度が互いに異なる３種類の平面を含んでいる。具体的には、外側面Ｆｏ６ｄ、Ｆｏ７ｄは、その法線とＺｍ方向とが為す角度が最も大きな平面である。外側面Ｆｏ６ｄ、Ｆｏ７ｄは、図１６（Ｂ）のコンセプト図では、「平面（大）」と記述されている。外側面Ｆｏ８ｄ、Ｆｏ５ｄは、その法線とＺｍ方向とが為す角度が、外側面Ｆｏ６ｄ、Ｆｏ７ｄよりも小さな平面である。外側面Ｆｏ８ｄ、Ｆｏ５ｄは、図１６（Ｂ）のコンセプト図では、「平面（中）」と記述されている。外側面Ｆｏ４ｄ、Ｆｏ１ｄは、その法線とＺｍ方向とが為す角度が、外側面Ｆｏ８ｄ、Ｆｏ５ｄよりも小さな平面である。外側面Ｆｏ４ｄ、Ｆｏ１ｄは、図１６（Ｂ）のコンセプト図では、「平面（小）」と記述されている。

【0147】

これらの３種類の外側面は、径方向の長さも互いに異なっている。具体的には、外側面Ｆｏ６ｄ、Ｆｏ７ｄの径方向の長さは、外側面Ｆｏ８ｄ、Ｆｏ５ｄの径方向の長さよりも短い。外側面Ｆｏ８ｄ、Ｆｏ５ｄの径方向の長さは、外側面Ｆｏ４ｄ、Ｆｏ１ｄの径方向の長さよりも短い。

【0148】

以上説明した第６実施例によれば、内側部３１０Ｄの頂点ＴＰｄの局所的特徴量をランドマーク特徴量として用いることで、第１～第３実施例と同様に、シーン点群ＰＣｓに存在するランドマーク３００Ｃの頂点を特定することで、ランドマーク３００Ｃの位置を精度良く特定できる。

【0149】

さらに、第６実施例によれば、特定面ＦＦＤの形状は、３種類の形状、すなわち、その法線とＺｍ方向とが為す角度が互いに異なる３種類の平面を含んでいる。この結果、特定面ＦＦＣの形状がよりユニークな形状となるので、より誤認識を抑制できる。

【0150】

さらに、第６実施例によれば、３種類の外側面の径方向の長さが互いに異なっていることで、他の実施例のランドマーク３００、３００Ｂ、３００Ｃと同様に、特定面ＦＦＤが位置する範囲や対称性が調整されている。この結果、頂点ＴＰｄの局所座標系が、想定するランドマーク座標系と一致するように決定される。

【0151】

Ｇ．変形例
（１）上記第１実施例では、互いに異なる形状として、錐面（円錐面）と球面との組み合わせを例示した。また、第４、第５実施例では、互いに異なる形状として、錐面（角錐面、円錐面）と、球面と、平面との組み合わせを例示した。さらに、第６実施例では、互いに異なる形状として、その法線とＺｍ方向とが為す角度が互いに異なる３種類の平面を例示した。これに限らず、互いに異なる形状としては、他の様々な組み合わせが採用され得る。例えば、互いに異なる形状は、その曲率や中心の位置が互いに異なる球面であっても良い。

【0152】

（２）上記各実施例のランドマーク３００において、１つの参照領域に対応する各種の形状を例示したが、１つの参照領域に対応する形状は、様々な形状が採用され得る。例えば、第５、第６実施例において、１つの参照領域に対応する形状として１つの平面（例えば、外側面Ｆｏ４ｃ、Ｆｏ４ｄ）が採用されている。これに代えて、例えば、外側面Ｆｏ４ｃ、Ｆｏ４ｄは、角度が互いに異なる２以上の平面を含んでも良い。また、１つの参照領域に対応する形状は、例えば、球面に代えて、曲率がＺｍ方向の位置に応じて段階的に変化する曲面を含んでも良い。

【0153】

（４）上記各実施例の特定面が位置する範囲や対称性を調整する手法は、一例であり、これに限られない。例えば、第１実施例のランドマーク３００では、外側面Ｆｏ６、Ｆｏ７と周方向の位置が１８０度異なる位置に、外側面を設けないことで、Ｙｍ方向の対称性を低下させている。これに限らず、例えば、外側面Ｆｏ６、Ｆｏ７と周方向の位置が１８０度異なる位置に、外側面Ｆｏ６、Ｆｏ７とは径方向の長さが異なる外側面を配置することで、Ｙｍ方向の対称性を低下させても良い。

【0154】

さらには、外側面Ｆｏ６、Ｆｏ７と周方向の位置が１８０度異なる位置に、外側面Ｆｏ６、Ｆｏ７とは径方向の長さが同じ外側面を配置し、該外側面に１または複数の貫通孔を形成することで、Ｙｍ方向の対称性を低下させても良い。このように、周方向の位置が１８０度異なる外側面の形状を互いに異ならせる（例えば、貫通孔の有無）ことで、Ｙｍ方向の対称性を低下させても良い。

【0155】

第１実施例のランドマーク３００では、外側面Ｆｏ５、Ｆｏ４、Ｆｏ１、Ｆｏ８と周方向の位置が９０度異なる位置に、外側面を設けないことと、径方向の長さが短い外側面Ｆｏ６、Ｆｏ７を設けることと、によって、特定面が位置するＸｍ方向やＹｍ方向の範囲を調整している。これに代えて、外側面Ｆｏ５、Ｆｏ４、Ｆｏ１、Ｆｏ８と周方向の位置が９０度異なる位置に、外側面Ｆｏ５、Ｆｏ４、Ｆｏ１、Ｆｏ８と同等のサイズの外側面を設け、該外側面に１または複数の貫通孔を形成しても良い。このように、周方向の位置が９０度異なる外側面の形状を互いに異ならせる（例えば、貫通孔の有無）ことで、特定面が位置するＸｍ方向やＹｍ方向の範囲、ひいては、該特定面にて測定される複数個の点ＰＴの分布を調整しても良い。

【0156】

（５）ランドマーク３００の全体の形状や、特定面の形状は、適宜に変更されて良い。例えば、ランドマーク３００の内側部３１０は、錐面とは異なる形状であっても良い。内側部３１０は、例えば、頂点ＴＰのように、周囲とは異なる特異点を有することが好ましい。内側部３１０は、例えば、細い針状の形状を有する部材（例えば、円筒、角筒）であっても良い。外側部３２０は、板状の部材に代えて、比較的長い側面ＳＦを有する部材であっても良い。また、ランドマーク３００の特定面は、凹状の部分や鋭角の部分を局所的に含んでいても良い。また、ランドマーク３００は、他の部材に固定するための治具と一体に形成されてしても良い。

【0157】

また、特定面ＦＦの内側面の形状によって、Ｙｍ方向の対称性を十分に低くできる場合には、外側面によってＹｍ方向の対称性を低下させなくても良い。また、内側面の形状によって、特定面にて測定される複数個の点ＰＴのＹｍ方向とＸｍ方向の分布を十分に異ならせることができる場合には、外側面によって特定面にて測定される複数個の点ＰＴのＹｍ方向とＸｍ方向の分布が調整されなくても良い。

【0158】

（６）上記実施例では、局所的特徴量として、ＳＨＯＴ特徴量が採用されているが、これに限られない。局所的特徴量としては、注目点に対して複数個の参照領域が設定され、参照領域ごとに領域特徴量が算出されるタイプの任意の特徴量が採用され得る。例えば、ＣＳＨＯＴ（Color SHOT）などの改良されたＳＨＯＴ特徴量が採用されても良い。また、例えば、参照領域ごとに算出される領域特徴量は、参照領域内の各点の法線と座標軸Ｚｌとの為す角度とは異なる量（例えば、各点における曲率）を用いて算出されても良い。また、上記実施例では、図３にて説明したように３２個の参照領域が設定されるが、設定される参照領域の個数、形状、大きさは、適宜に変更され得る。この場合には、ランドマークの形状や大きさは、設定される参照領域の個数、形状、大きさに応じて、設定されることが好ましい。

【0159】

ランドマークの形状は、採用される局所的特徴量において設定される複数個の参照領域に応じて、実施例とは異なる形状になり得る。例えば、複数個の参照領域が、周方向の位置が互いに異なる複数個の参照領域を含むが、内側領域と外側領域とには分かれていない場合には、ランドマークは、内側部と外側部とを備えていなくても良く、周方向の位置が互いに異なる複数個の参照領域に対応する部分を備えていれば良い。

【0160】

（７）さらに、上記第１実施例のデータ処理装置２００の処理は、シーン座標系とトレイ座標系との対応関係を特定するための処理であり、第２、第３実施例のデータ処理装置２００の処理は、シーン座標系とロボット座標系との対応関係を特定するための処理であるが、これに限られない。例えば、ランドマーク３００は対象物体ＯＢの所定の位置に固定され、データ処理装置２００の処理は、ランドマーク３００の位置や姿勢を特定することで、シーン座標系における対象物体ＯＢの位置や姿勢を特定する処理であっても良い。

【0161】

さらには、データ処理装置２００の処理は、ロボットアーム１２０の制御に関連する処理に限らず、他の様々な処理であって良い。例えば、製品上に取り付けられた部品の位置と姿勢とを特定し、該製品上において部品が正しい位置に正しい姿勢で取り付けられているか否かを検査するために、データ処理装置２００の処理は、該製品の座標系とシーン座標系との対応関係を特定する処理であっても良い。

【0162】

（８）上記各実施例のデータ処理装置２００の処理も適宜に変更されて良い。例えば、第１実施例では、１個のランドマーク３００を三次元センサ１１０によって測定している。これに代えて、３個のランドマーク３００を三次元センサ１１０によって測定しても良い。この場合には、各ランドマーク３００の位置と姿勢の両方を特定する必要はなく、各ランドマークの位置が特定されれば良い。そして、データ処理装置２００は、３個のランドマーク３００の位置に基づいて、図１１（Ａ）に示すように、シーン座標系におけるランドマーク座標系を定義すれば良い。

【0163】

（９）データ処理装置の構成は、図１のデータ処理装置２００の構成に代えて、他の種々の構成であってよい。例えば、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、実施例のデータ処理装置２００が実行する処理を一部ずつ分担して実行して、全体として、データ処理装置２００が実行する処理を実行してもよい。

【0164】

（１０）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、局所的特徴量や大局特徴量の算出の機能を、専用のハードウェア回路によって実現してもよい。

【0165】

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0166】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0167】

１１０…三次元センサ,１２０…ロボットアーム,１２５…リンク機構,１２６…指,１２８,１２９…治具,１３０…トレイ,２００…データ処理装置,２１０…プロセッサ,２１５…記憶装置,２２０…揮発性記憶装置,２３０…不揮発性記憶装置,２４０…表示部,２５０…操作部,２７０…通信インタフェース,３００,３００Ｂ～３００Ｄ…ランドマーク,３１０,３１０Ｂ～３１０Ｄ…内側部,３２０,３２０Ｂ～３２０Ｄ…外側部,ＢＦ…裏面,ＦＦ,ＦＦＢ～ＦＦＤ…特定面,Ｆｉ１～Ｆｉ８,Ｆｉ１ｂ～Ｆｉ８ｂ,Ｆｉ１ｃ～Ｆｉ８ｂ,Ｆｉ１ｄ～Ｆｉ８ｄ…内側面,Ｆｏ１～Ｆｏ８,Ｆｏ１ｂ～Ｆｏ８ｂ,Ｆｏ１ｃ～Ｆｏ８ｃ,Ｆｏ１ｄ～Ｆｏ８ｄ…外側面，ＨＧ１～ＨＧ３２…領域特徴量,ＬＭＤ…ランドマーク特徴量データ,Ｍｒｐ,Ｍｒｓ,Ｍｒｓｆ,Ｍｓｌ,Ｍｓｐ…変換行列,ＯＢ…対象物体,ＯＰ…原点,ＯＰｍ…原点,ＯＰｓ…原点,Ｐ…注目位置,ＰＣｓ…シーン点群,ＰＤｓ…シーン点群データ,ＰＧ…コンピュータプログラム,Ｓｉｂ１～Ｓｉｂ８…内側参照領域,Ｓｏｂ１～Ｓｏｂ８…外側参照領域,ＴＰ,ＴＰｂ～ＴＰｄ…頂点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】