特開 2024-15907 三次元データ生成方法、演算装置、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024015907

(43)【公開日】2024-02-06

(54)【発明の名称】三次元データ生成方法、演算装置、及び、コンピュータプログラム

(51)【国際特許分類】

   G01B 11/245 20060101AFI20240130BHJP

   G06T 7/00 20170101ALI20240130BHJP

【ＦＩ】

G01B11/245 H

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022118285

(22)【出願日】2022-07-25

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 公開の事実１：令和３（２０２１）年８月６日に「２０２１年度春学期 立命館大学大学院理工学研究科 修士論文公聴会」（オンライン開催（Ｚｏｏｍ））にて発表 公開の事実２：令和４（２０２２）年３月２８日に「ＣＯＭＰＵＴＥＲ－ＡＩＤＥＤ ＣＩＶＩＬ ＡＮＤ ＩＮＦＲＡＳＴＲＵＣＴＵＲＥ ＥＮＧＩＮＥＥＲＩＮＧ（Ｖｏｌｕｍｅ３７，Ｐａｇｅｓ １３３５－１３４８， Ｂｌａｃｋｗｅｌｌ Ｐｕｂｌｉｓｈｅｒｓ）」のウェブサイト（ｈｔｔｐｓ：／／ｏｎｌｉｎｅｌｉｂｒａｒｙ．ｗｉｌｅｙ．ｃｏｍ／ｄｏｉ／１０．１１１１／ｍｉｃｅ．１２８４０）に掲載

(71)【出願人】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(72)【発明者】

【氏名】馬 書根

(72)【発明者】

【氏名】田 陽

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB15

2F065CC14

2F065DD03

2F065FF04

2F065FF05

2F065FF11

2F065GG04

2F065HH04

2F065JJ03

2F065JJ05

2F065MM06

2F065MM16

2F065PP22

2F065QQ03

2F065QQ21

2F065QQ24

2F065QQ28

2F065QQ31

2F065UU05

5L096AA02

5L096AA06

5L096AA09

5L096CA04

5L096DA02

5L096DA05

5L096FA09

5L096FA66

5L096FA67

5L096FA69

5L096HA01

5L096HA11

5L096JA11

(57)【要約】      （修正有）

【課題】物体表面の三次元の位置データを取得して三次元データを生成する際に、位置データを取得するセンサの位置関係が精度よく推定する演算装置を提供する。
【解決手段】三次元データ生成システムにおいて、演算装置１０は、移動可能なセンサ３０によって、第１の位置及び第２の位置夫々で得られた物体２００表面のセンシングデータの入力を受け付け、前記データから、第１の位置と第２の位置との位置関係を求めるための特徴点抽出に用いる特徴のタイプを、機械学習されたモデルである特徴選択器によって決定し、決定したタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置夫々のセンシングデータから抽出した特徴点をマッチングさせることで位置関係を求め、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置夫々からの物体表面の三次元位置を表す位置データを合成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

物体表面を表す三次元データを生成する方法であって、
移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた前記物体表面のセンシング結果を示すセンシングデータの入力を受け付け、
前記センシングデータから、前記第１の位置と前記第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、
決定された前記タイプの特徴を示す特徴量を用いて、前記第１の位置及び前記第２の位置それぞれの前記センシングデータの中からそれぞれの特徴点を抽出し、
前記第１の位置及び前記第２の位置それぞれの前記センシングデータにおける前記それぞれの特徴点をマッチングさせることにより前記位置関係を求め、
前記位置関係を用いて、前記第１の位置又は前記第１の位置との相対位置関係が既知である位置及び前記第２の位置又は前記第２の位置との相対位置関係が既知である位置それぞれからの前記物体表面の三次元位置を表す位置データを合成する、ことを備え、
前記特徴選択器は、前記センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、
前記特徴のタイプを決定することは、前記モデルに前記センシングデータを入力して前記モデルからの出力を得ることを含む
三次元データ生成方法。

【請求項2】

前記センシングデータは、前記センサによって得られた画像データを含む
請求項１に記載の三次元データ生成方法。

【請求項3】

前記センサは、対象物に対して撮影によって得られた画像データと表面までの距離を示す距離データとを出力するカメラを含む
請求項１に記載の三次元データ生成方法。

【請求項4】

前記センシングデータは、前記第１の位置及び前記第２の位置それぞれにおいて前記カメラによって撮影された前記物体を含む前記画像データであり、
前記位置データは、前記第１の位置及び前記第２の位置それぞれにおける前記カメラからの前記物体表面までの前記距離データから得られた前記物体表面の三次元座標を示す
請求項３に記載の三次元データ生成方法。

【請求項5】

前記位置データを合成することは、前記カメラによって異なる複数の位置で得られた複数の前記位置データを合成することを含み、
前記カメラによって前記複数の位置で得られた複数の前記画像データのうちの隣接する位置で得られた２つの前記画像データごとに、前記特徴のタイプを決定し、
前記隣接する位置で得られた前記画像データの、決定されたそれぞれの前記特徴のタイプを用いて、前記隣接する位置の前記位置関係を求め、
前記位置データを合成することは、前記隣接する位置ごとの前記位置関係を用いて、前記複数の前記位置データを構成することを含む
請求項４に記載の三次元データ生成方法。

【請求項6】

前記センサは、対象物を撮影することによって得られた画像データを前記センシングデータとして出力し、表面までの距離を示す距離データを前記位置データとして出力するカメラを含み、
前記センサは、移動しながら複数の時刻それぞれでの前記画像データ及び前記位置データを出力し、
前記位置データを合成することは、前記カメラが移動することによって複数の時刻で得られた複数の前記位置データを合成することを含み、
前記カメラが移動することによって前記複数の時刻で得られた複数の前記画像データのそれぞれについて、前記画像データと、その得られた時刻の直前の時刻に得られた画像データとから、前記特徴のタイプを決定し、
前記画像データと、前記直前の時刻に得られた画像データとについて、決定された前記タイプの特徴を示す特徴量を求めて前記位置関係を求め、
前記位置データを合成することは、前記複数の時刻それぞれの前記画像データの前記直前の時刻の前記画像データとの前記位置関係を用いて、前記複数の前記位置データを合成することを含む
請求項１に記載の三次元データ生成方法。

【請求項7】

物体表面を表す三次元データの生成処理を実行する演算装置であって、
移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた前記物体表面のセンシング結果を示すセンシングデータの入力を受け付け、
前記センシングデータから、前記第１の位置と前記第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、
決定された前記タイプの特徴を示す特徴量を用いて、前記第１の位置及び前記第２の位置それぞれの前記センシングデータの中からそれぞれの特徴点を抽出し、
前記第１の位置及び前記第２の位置それぞれの前記センシングデータにおける前記それぞれの特徴点をマッチングさせることにより前記位置関係を求め、
前記位置関係を用いて、前記第１の位置又は前記第１の位置との相対位置関係が既知である位置及び前記第２の位置又は前記第２の位置との相対位置関係が既知である位置それぞれからの前記物体表面の三次元位置を表す位置データを合成する、ように構成され、
前記特徴選択器は、前記センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、
前記特徴のタイプを決定することは、前記モデルに前記センシングデータを入力して前記モデルからの出力を得ることを含む
演算装置。

【請求項8】

物体表面を表す三次元データの生成処理をコンピュータに実行させるコンピュータプログラムであって、
前記コンピュータに、
移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた前記物体表面のセンシング結果を示すセンシングデータの入力を受け付け、
前記センシングデータから、前記第１の位置と前記第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、
決定された前記タイプの特徴を示す特徴量を用いて、前記第１の位置及び前記第２の位置それぞれの前記センシングデータの中からそれぞれの特徴点を抽出し、
前記第１の位置及び前記第２の位置それぞれの前記センシングデータにおける前記それぞれの特徴点をマッチングさせることにより前記位置関係を求め、
前記位置関係を用いて、前記第１の位置又は前記第１の位置との相対位置関係が既知である位置及び前記第２の位置又は前記第２の位置との相対位置関係が既知である位置それぞれからの前記物体表面の三次元位置を表す位置データを合成する、ことを実行させ、
前記特徴選択器は、前記センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、
前記特徴のタイプを決定することは、前記モデルに前記センシングデータを入力して前記モデルからの出力を得ることを含む
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、三次元データ生成方法、演算装置、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

プラントなどの物体表面の三次元の位置を表す位置データである点群データをセンサによって取得し、点群データを用いて三次元データを生成することが行われている。例えば、下の非特許文献１，２には、撮影による画像データと対象物までの距離データとが得られるＲＧＢ－Ｄカメラをセンサとして用い、物体表面のセンシング結果を用いて物体表面の三次元データを生成するシステムを開示している。

【0003】

ＲＧＢ－Ｄカメラを用いる場合、ＲＧＢ－Ｄカメラの撮影によって得られた画像データの特徴量から位置データを取得の際のカメラの位置及び姿勢などである位置関係を推定し、推定された位置関係を用いて点群データの合成を行うものである。非特許文献１，２に開示されているような従来の方法では、画像データから位置関係を推定するために用いる特徴のタイプは予め設定され、画像データに関わらず固定されたものである。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Haonan Xu a, Junyi Hou a, Lei Yu a, Shumin Fei著、「3D Reconstruction system for collaborative scanning based on multiple RGB-D cameras」、Pattern Recognition Letters、Volume 128、Pages 505-512、２０１９年１２月

【非特許文献2】Qiang LV1, Huican LIN1, Guosheng WANG1, Heng WEI1, Yang WANG2著、「ORB-SLAM-based Tracing and 3D Reconstruction for Robot using Kinect 2.0」、29th Chinese Control And Decision Conference (CCDC)、Pages 3319-3324、２０１７年５月

【発明の概要】

【0005】

複数の位置データ間の位置関係を画像データから推定するために用いる適切な特徴のタイプは、画像ごとによって異なる。そのため、非特許文献１，２に開示されているように特徴のタイプが画像データに関わらずに固定されていると、画像データによっては適切な特徴量が得られない場合もある。その結果、画像データによっては、センサの位置関係が精度よく推定されない場合がある。そこで、センサの位置関係が精度よく推定される三次元データ生成方法、演算装置、及び、コンピュータプログラムが望まれる。

【0006】

ある実施の形態に従うと、三次元データ生成方法は、物体表面を表す三次元データを生成する方法であって、移動可能なセンサによって、第１の位置及び第２の位置のそれぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ことを備え、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。

【0007】

ある実施の形態に従うと、演算装置は、物体表面を表す三次元データの生成処理を実行する演算装置であって、移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ように構成され、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。

【0008】

ある実施の形態に従うと、コンピュータプログラムは、物体表面を表す三次元データの生成処理をコンピュータに実行させるコンピュータプログラムであって、コンピュータに、移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ことを実行させ、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。

【0009】

更なる詳細は、後述の実施形態として説明される。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る三次元データ生成システム（以下、システム）の構成を表した概略図である。

【図2】図２は、図１のシステムにおいて、センサから演算装置に入力されるデータを説明するための図である。

【図3】図３は、システムに含まれる演算装置の概略構成図である。

【図4】図４は、実施の形態に係る三次元データの生成方法の一例を表した図である。

【図5】図５は、演算装置が用いる特徴選択器の一例であって、第１の例に係る特徴選択器の概略図である。

【図6】図６は、演算装置が用いる特徴選択器の一例であって、第２の例に係る特徴選択器の概略図である。

【図7】図７は、演算装置が用いる特徴選択器の一例であって、第３の例に係る特徴選択器の概略図である。

【図8】図８は、演算装置が用いる特徴選択器の一例であって、第４の例に係る特徴選択器の概略図である。

【図9】図９は、演算装置が用いる特徴選択器の一例であって、第５の例に係る特徴選択器の概略図である。

【図10】図１０は、演算装置が用いる特徴選択器の一例であって、第６の例に係る特徴選択器の概略図である。

【図11】図１１は、図４のステップＳ５の位置関係の推定の流れの一例を表した図である。

【図12】図１２は、発明者らが行った、実施の形態に係るシステムでの位置関係の推定の精度を検証する実験で用いた画像対を表した図である。

【図13】図１３は、発明者らが行った、実施の形態に係るシステムでの位置関係の推定の精度を検証する実験結果を表した図である。

【発明を実施するための形態】

【0011】

＜１．三次元データ生成方法、演算装置、及び、コンピュータプログラムの概要＞

【0012】

（１）実施の形態に係る三次元データ生成方法は、三次元データ生成方法は、物体表面を表す三次元データを生成する方法であって、移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ことを備え、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。

【0013】

第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを決定することで、センシング結果に応じて特徴のタイプが得られるようになる。そのため、予め規定された固定の特徴のタイプを用いる場合に比べて、センシング結果に適した特徴のタイプが決定され、位置関係が高精度で得られる。また、そのとき、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含んだ特徴選択器を用いることで、モデルからの出力を得ることで容易に特徴のタイプを決定することができる。

【0014】

センサからのセンシングデータは、一例として、物体表面を含む画像であって、センサは、例えばカメラである。この場合、この方法においては、予め規定された固定の特徴のタイプを用いる方法に比べて位置関係が高精度で得られることは、発明者らによる実験によって検証されている。

【0015】

（２）好ましくは、センシングデータは、センサによって得られた画像データを含む。画像データが得られることで、位置関係を推定するための特徴のタイプを精度よく得ることができる。

【0016】

（３）好ましくは、センサは、対象物に対して撮影によって得られた画像データと表面までの距離を示す距離データとを出力するカメラを含む。カメラは、例えば、ＲＧＢ－Ｄカメラである。これにより、センサから、センシングデータとしての画像データと距離データとが得られる。

【0017】

（４）好ましくは、センシングデータは、第１の位置及び第２の位置それぞれにおいてカメラによって撮影された物体を含む画像データであり、位置データは、第１の位置及び第２の位置それぞれにおけるカメラからの物体表面までの距離データから得られた物体表面の三次元座標を示す。これにより、画像データによって第１の位置と第２の位置との位置関係が推定できるとともに、それを用いて三次元座標を合成することによって物体表面を表す三次元データを生成することができる。

【0018】

（５）好ましくは、位置データを合成することは、カメラによって異なる複数の位置で得られた複数の位置データを合成することを含み、カメラによって複数の位置で得られた複数の画像データのうちの隣接する位置で得られた２つの画像データごとに、特徴のタイプを決定し、隣接する位置で得られた画像データの、決定されたそれぞれの特徴のタイプを用いて、隣接する位置の位置関係を求め、位置データを合成することは、隣接する位置ごとの位置関係を用いて、複数の位置データを構成することを含む。画像データごとに特徴のタイプを決定して隣接する位置との位置関係を求めることで、画像に関わらずに固定された特徴のタイプを用いて位置関係を求めるより高精度で位置関係が得られる。その結果、その位置関係を用いて合成することで得られる物体表面を表す三次元データが高品質となる。

【0019】

（６）好ましくは、センサは、対象物を撮影することによって得られた画像データをセンシングデータとして出力し、表面までの距離を示す距離データを位置データとして出力するカメラを含み、センサは、移動しながら複数の時刻それぞれでの画像データ及び位置データを出力し、位置データを合成することは、カメラが移動することによって複数の時刻で得られた複数の位置データを合成することを含み、カメラが移動することによって複数の時刻で得られた複数の画像データのそれぞれについて、画像データと、その得られた時刻の直前の時刻に得られた画像データとから、特徴のタイプを決定し、画像データと、直前の時刻に得られた画像データとについて、決定されたタイプの特徴を示す特徴量を求めて位置関係を求め、位置データを合成することは、複数の時刻それぞれの画像データの直前の時刻の画像データとの位置関係を用いて、複数の位置データを合成することを含む。画像データそれぞれについて特徴のタイプを決定して直前の時刻における画像データとの位置関係を求めることで、画像に関わらずに固定された特徴のタイプを用いて位置関係を求めるより高精度で位置関係が得られる。その結果、その位置関係を用いて合成することで得られる物体表面を表す三次元データが高品質となる。

【0020】

（７）実施の形態に係る演算装置は、物体表面を表す三次元データの生成処理を実行する演算装置であって、移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ように構成され、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。

【0021】

演算装置が、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを決定することで、センシング結果に応じて特徴のタイプが得られるようになる。そのため、予め規定された固定の特徴のタイプを用いる演算装置に比べて、センシング結果に適した特徴のタイプが決定され、位置関係が高精度で得られる。また、そのとき、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含んだ特徴選択器を用いることで、モデルからの出力を得ることで容易に特徴のタイプを決定することができる。

【0022】

（８）実施の形態に係るコンピュータプログラムは、物体表面を表す三次元データの生成処理をコンピュータに実行させるコンピュータプログラムであって、コンピュータに、移動可能なセンサによって、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータの入力を受け付け、センシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを特徴選択器によって決定し、決定されたタイプの特徴を示す特徴量を用いて、第１の位置及び第２の位置それぞれのセンシングデータの中からそれぞれの特徴点を抽出し、第１の位置及び第２の位置それぞれのセンシングデータにおけるそれぞれの特徴点をマッチングさせることにより位置関係を求め、位置関係を用いて、第１の位置又は第１の位置との相対位置関係が既知である位置及び第２の位置又は第２の位置との相対位置関係が既知である位置それぞれからの物体表面の三次元位置を表す位置データを合成する、ことを実行させ、特徴選択器は、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含み、特徴のタイプを決定することは、モデルにセンシングデータを入力してモデルからの出力を得ることを含む。

【0023】

コンピュータが、第１の位置及び第２の位置それぞれにて得られた物体表面のセンシング結果を示すセンシングデータから、第１の位置と第２の位置との位置関係を求めるための特徴点を抽出するのに用いる特徴のタイプを決定することで、センシング結果に応じて特徴のタイプが得られるようになる。そのため、予め規定された固定の特徴のタイプを用いる生成処理を行うコンピュータに比べて、センシング結果に適した特徴のタイプが決定され、位置関係が高精度で得られる。また、そのとき、センシングデータが入力されると特徴のタイプを出力するよう機械学習されたモデルを含んだ特徴選択器を用いることで、モデルからの出力を得ることで容易に特徴のタイプを決定することができる。

【0024】

＜２．三次元データ生成方法、演算装置、及び、コンピュータプログラムの例＞

【0025】

図１は、本実施の形態に係る三次元データ生成システム（以下、システム）１００の構成を表した概略図である。システム１００は、移動可能なセンサ３０を有する。システム１００は、演算装置１０を有する。センサ３０からの信号は、信号変換部５０によってセンシング結果を示す信号に変換されて、演算装置１０に入力される。演算装置１０は、センサ３０による物体２００の表面についてのセンシング結果を用いて、物体２００の表面を表す三次元データの生成処理を実行する。物体２００は、例えば工業用配管（パイプ）である。

【0026】

図１の例では、演算装置１０にセンサ３０が信号変換部５０を介して有線にて接続されているが、他の例では、演算装置１０とセンサ３０とは無線通信を行ってもよい。また、信号変換部５０は、演算装置１０に含まれていてもよい。

【0027】

センサ３０は、撮影機能と距離測定機能とを有して物体２００の表面をセンシングし、センシング結果を示す信号を信号変換部５０に出力する。一例として、センサ３０は、ＲＧＢ－Ｄカメラ３１を含む。ＲＧＢ－Ｄカメラ３１は、カラー（ＲＧＢ）画像を得るＲＧＢカメラと、物体２００の表面までの距離（Ｄ）を画像として取得可能なＤｅｐｔｈカメラと、を含んで、物体２００の表面を含むカラー（ＲＧＢ）画像と、物体２００の表面までの距離とをセンシング結果を示すセンシングデータとして出力する。

【0028】

信号変換部５０から演算装置１０には、物体２００の表面を含むカラー画像を表す画像データと、物体２００の表面までの距離を表す距離データとが入力される。距離データは、一例として、物体２００の表面の複数の点の三次元位置を表す点群データである。

【0029】

センサ３０は、ＲＧＢ－Ｄカメラ３１に替えて他のセンサを含んでもよい。例えば、ＲＧＢカメラとＤｅｐｔｈカメラとが、相対位置関係が既知の異なるセンサであってもよい。この場合、後述する三次元データの生成処理において、上記の相対位置関係を用いてカラー（ＲＧＢ）画像と物体２００の表面までの距離との一方を変換すればよい。

【0030】

センサ３０の移動は、一例として、センサ３０に含まれるＲＧＢ－Ｄカメラ３１の移動を含む。センサ３０の移動は、他の例として、システム１００全体の移動を含んでもよいし、センサ３０の移動とシステム１００全体の移動との組み合せであってもよい。

【0031】

センサ３０は、ＲＧＢ－Ｄカメラ３１を移動させる駆動部３２を有する。駆動部３２は、例えばモータなどであって、後述する処理によって出力された演算装置１０からの制御信号に従って動作する。すなわち、ＲＧＢ－Ｄカメラ３１は、演算装置１０での制御に従って移動する。これにより、ＲＧＢ－Ｄカメラ３１は、物体２００に対する相対位置が変化する。センサ３０が移動しながらセンシングすることによって、物体２００に対して異なる複数の位置のＲＧＢ－Ｄカメラ３１からのセンシングデータが得られる。

【0032】

センサ３０の移動は、図１の例では、ＲＧＢ－Ｄカメラ３１の鉛直方向の中心軸を回転中心としたＸ回転、及び、水平面に設定されたＹ軸並びにＺ軸に平行な方向への移動のうちの少なくとも１つを含む。例えば、水平面内で移動することなくＸ回転のみの場合も、センサ３０の移動に含まれる。具体的には、システム１００を固定し、ＲＧＢ－Ｄカメラ３１をＸ回転のみさせる場合も、センサ３０の移動に含まれる。

【0033】

図２は、センサ３０から信号変換部５０を介して演算装置１０に入力されるデータを説明するための図である。センサ３０は、移動しながらＲＧＢ－Ｄカメラ３１によって同時刻にカラー画像と距離とをセンシングし、センシング結果を示すセンシングデータとして、得られた画像データと点群データ（距離データ）とを信号変換部５０を介して演算装置１０に入力する。

【0034】

図２では、横軸が時刻を表し、時刻（ｋ－１），ｋ，（ｋ＋１），…に、それぞれ、画像データＩ（ｋ－１）及び点群データＰ（ｋ－１）、画像データＩ（ｋ）及び点群データＰ（ｋ）、画像データＩ（ｋ＋１）及び点群データＰ（ｋ＋１）、…が得られて、演算装置１０に入力されることを表している。時刻（ｋ－１）で得られた画像データＩ（ｋ－１）は第１の位置にて得られたセンシング結果、時刻ｋで得られた画像データＩ（ｋ）は第２の位置にて得られたセンシング結果である。時刻（ｋ－１）で得られた点群データＰ（ｋ－１）、及び、時刻ｋで得られた点群データＰ（ｋ）は、第１の位置及び第２の位置それぞれからの物体２００の表面の案次元位置を表す位置データである。

【0035】

図３は、演算装置１０の概略構成図である。演算装置１０は、プロセッサ１１とメモリ１２とを有するコンピュータで構成される。演算装置１０は、１台のコンピュータによって構成されるものであってもよいし、複数台のコンピュータが協働して構成されていてもよい。１又は複数の装置は、一般的なコンピュータであってよい。演算装置１０は、少なくとも一部がネットワーク上のサーバであってもよい。

【0036】

演算装置１０は、一例として、１台のコンピュータによって構成されている。演算装置１０は、プロセッサ１１とメモリ１２とを有する。プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）である。メモリ１２は、プログラム１２１を記憶している。また、メモリ１２は、センサ３０からの画像データ及び点群データを記憶するためのセンシングデータ記憶部１２２を有する。また、メモリ１２は、後述するマージデータを記憶するためのマージデータ記憶部１２３を有する。

【0037】

演算装置１０は、センサインタフェース（Ｉ／Ｆ）１３を有し、センサ３０と接続されている。詳しくは、演算装置１０は、センサＩ／Ｆ１３によって、信号変換部５０を介してＲＧＢ－Ｄカメラ３１と接続されている。これにより、ＲＧＢ－Ｄカメラ３１で得られた画像データ及び点群データが入力される。また、演算装置１０は、センサＩ／Ｆ１３によって駆動部３２と接続されている。これにより、プロセッサ１１は後述する駆動処理１１３に従って制御信号を駆動部３２に対して出力することができる。

【0038】

プログラム１２１は、プロセッサ１１に三次元データ生成処理１１１を実行させる。三次元データ生成処理１１１は、後述する特徴選択器１１２を用いて、センサ３０からの画像データ及び点群データに基づいて物体２００の表面を表す三次元データを生成する処理である。三次元データ生成処理１１１の詳細は後述する。

【0039】

また、プログラム１２１は、プロセッサ１１に駆動処理１１３を実行させる。駆動処理１１３は、センサ３０を移動させるために駆動部３２を駆動させる処理である。一例として、演算装置１０は図示しない操作部を有してユーザ操作を受け付けて、ユーザ操作によって指定された移動をセンサ３０に行わせる駆動部３２の制御量を、駆動部３２に指示する。これにより、指定された移動をセンサ３０に行わせることができる。

【0040】

また、プログラム１２１は、プロセッサ１１に出力処理１１４を実行させる。出力処理１１４は、三次元データ生成処理１１１によって生成された三次元データを出力する処理であって、一例として、演算装置１０の有するディスプレイ１４に表示させることを含む。他の例として、演算装置は図示しない通信装置を有して、三次元データを指定された宛先に送信してもよい。

【0041】

図４は、本実施の形態に係る三次元データの生成方法の一例を表した図である。図３の三次元データの生成方法は、演算装置１０のプロセッサ１１が三次元データ生成処理１１１を実行することによって実現される。

【0042】

三次元データの生成方法は、時刻ｋでＲＧＢ－Ｄカメラ３１によって得られた画像データＩ（ｋ）と点群データＰ（ｋ）との入力を受け付けること（ステップＳ１）を含む。演算装置１０のプロセッサ１１は、ステップＳ１で入力された画像データＩ（ｋ）と点群データＰ（ｋ）を、センシングデータ記憶部１２２に記憶させる（ステップＳ２）。これにより、異なる時刻で得られた、つまり、異なる位置で得られた画像データ及び点群データが、センシングデータ記憶部１２２に記憶される。

【0043】

三次元データの生成方法は、隣接する第１の位置と第２の位置とで得られた画像データＩ（ｋ－１），Ｉ（ｋ）ごとに、これら画像データＩ（ｋ－１），Ｉ（ｋ）から第１の位置と第２の位置との位置関係を推定するための特徴のタイプを決定すること（ステップＳ３）を含む。ステップＳ３では、プロセッサ１１は、センシングデータ記憶部１２２から隣接する第１の位置と第２の位置とで得られた画像データＩ（ｋ－１），Ｉ（ｋ）を読み出し、特徴選択器１１２を用いて特徴のタイプを決定する。

【0044】

特徴選択器１１２は、第１の位置と第２の位置とで得られた画像データＩ（ｋ－１），Ｉ（ｋ）が入力されると、これら画像データから第１の位置と第２の位置との位置関係を推定するための特徴のタイプを出力するよう機械学習されたモデルを含む。特徴選択器１１２は、プロセッサ１１が予め記憶しているものであってもよいし、他の装置に記憶されていてプロセッサ１１がアクセスするものであってもよい。ステップＳ３においてプロセッサ１１は、第１の位置と第２の位置とで得られた画像データＩ（ｋ－１），Ｉ（ｋ）を特徴選択器１１２に入力し、特徴選択器１１２からの出力を得る。

【0045】

図５は、第１の例に係る特徴選択器１１２Ａの概略図である。特徴選択器１１２Ａは、画像データＩ（ｋ－１），Ｉ（ｋ）それぞれの入力を受け付けて特徴を抽出する初期ブロック２１と、初期ブロック２１からの出力をそれぞれ受ける反復型ブロック（Shuttle-shaped Block）２２と、画像データＩ（ｋ－１）についての反復型ブロック２２からの出力と画像データＩ（ｋ）についての反復型ブロック２２からの出力とを統合する統合ブロック２３と、統合ブロック２３からの出力を分類する分類器２４と、を含む。特徴選択器１１２Ａにおいて、画像データＩ（ｋ－１）についての反復型ブロック２２と画像データＩ（ｋ）についての反復型ブロック２２とは、ウェイトシェアリングを行う。これにより、パラメータを削減できる。

【0046】

反復型ブロック２２は、複数個、直列に設けられていてもよい。後述の他の例でも同様である。特徴選択器１１２Ａにおいて、第１反復型ブロック２２Ａ及び第２反復型ブロック２２Ｂが直列に設けられている。統合ブロック２３は、画像データＩ（ｋ－１）及び画像データＩ（ｋ）それぞれの第１反復型ブロック２２Ａからの出力を統合することと、画像データＩ（ｋ－１）及び画像データＩ（ｋ）それぞれの第２反復型ブロック２２Ｂからの出力を統合すること、の両方を行ってもよい。この場合、第１反復型ブロック２２Ａからの出力の統合結果を分類する分類器２４は補助トレーニングモジュールとして機能して、補助データＤ１を出力する。第２反復型ブロック２２Ｂからの出力の統合結果を分類する分類器２４は、特徴のタイプを識別するデータＤを出力する。

【0047】

反復型ブロック２２は、チャンネル数を調整するものであって、一例として、畳み込み（Ｃｏｎｖ）層と、ボトルネック層と、展開率が６であるＲｅＬＵ層と、空間方向の畳み込み（ＤＷ）層と、の組み合わせで構成される。この組み合わせは、好ましくは、出力値の精度を保ちつつ計算量を削減する組み合わせである。

【0048】

画像データから第１の位置と第２の位置との位置関係を推定することは、２つの画像における特徴点の位置関係を求めることを含む。画像の特徴点は、画像認識において用いられる、その画像の特徴を表した点に相当する。その特徴は、例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）特徴、ＳＵＲＦ（Speeded-Up Robust Features）特徴、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）特徴、ＭＳＥＲ特徴、ＫＡＺＥ特徴などが知られている。

【0049】

特徴選択器１１２から出力されるデータＤは、入力された２つの画像に適した特徴点、つまり、用いる特徴を示している。図５の例では、「ＯＲＢ－ＯＲＢ」は、両画像についてＯＲＢ特徴点を抽出して特徴量を算出し、比較することを指す。「ＳＵＲＦ－ＳＵＲＦ」は、両画像についてＳＵＲＦ特徴点を抽出して特徴量を算出し、比較することを指す。「ＳＵＲＦ－ＢＲＩＳＫ」は、一方の画像についてＳＵＲＦ特徴点を抽出して特徴量を算出し、他方の画像についてＢＲＩＳＫ特徴点を抽出して特徴量を算出し、これらを比較することを指す。「ＭＳＥＲ－ＳＵＲＦ」は、一方の画像についてＭＳＥＲ特徴点を抽出して特徴量を算出し、他方の画像についてＳＵＲＦ特徴点を抽出して特徴量を算出し、これらを比較することを指す。「ＫＡＺＥ－ＫＡＺＥ」は、両画像についてＫＡＺＥ特徴点を抽出して特徴量を算出し、比較することを指す。図５の例では、画像データＩ（ｋ－１），Ｉ（ｋ）を特徴選択器１１２に入力したところ、特徴選択器１１２から「ＫＡＺＥ－ＫＡＺＥ」を示すデータＤが出力されたことを表している。

【0050】

なお、図５の第１の例に係る特徴選択器１１２Ａは特徴選択器１１２の一例であって、特徴選択器１１２は特徴選択器１１２Ａに限定されない。図６～図１０は、他の例として、第２の例に係る特徴選択器１１２Ｂ～第６の例に係る特徴選択器１１２Ｆを概略図である。特徴選択器１１２は、例えば、これら特徴選択器１１２Ｂ～特徴選択器１１２Ｆのうちのいずれかであってもよい。

【0051】

詳しくは、第２の例に係る特徴選択器１２Ｂは、特徴選択器１１２Ａから補助トレーニングモジュールを除いた構成を有する。第３の例に係る特徴選択器１２Ｃは、特徴選択器１１２Ａから補助トレーニングモジュール及びウェイトシェアリングを除いた構成を有する。第４の例に係る特徴選択器１２Ｄは、第３の例に係る特徴選択器１２Ｃの第１反復型ブロック２２Ａ及び第２反復型ブロック２２Ｂに替えて、第１残差ブロック２５Ａ及び第２残差ブロック２５Ｂを含む。第５の例に係る特徴選択器１２Ｅは、特徴選択器１１２Ａから補助トレーニングモジュールを除いた構成を有し、さらに、初期ブロック２１と反復型ブロック２２との間、及び、第１反復型ブロック２２Ａと第２反復型ブロック２２Ｂとの間にＥＣＡ（efficient channel attention）モジュール２６が配置されている。第６の例に係る特徴選択器１２Ｆは、第５の例に係る特徴選択器１２ＥのＥＣＡモジュール２６に替えてチャネルシャッフルモジュール２７が配置されている。

【0052】

三次元データの生成方法は、ステップＳ３で決定された特徴のタイプを用いて、第１の位置と第２の位置との位置関係を推定すること（ステップＳ５）を含む。図１１は、ステップＳ５の位置関係の推定の流れの一例を表した図である。

【0053】

演算装置１０のプロセッサ１１は、画像データＩ（ｋ－１），Ｉ（ｋ）それぞれについて、ステップＳ３で決定した特徴を用いて特徴量Ｆ（ｋ－１），Ｆ（ｋ）を算出し、特徴量に基づいて特徴点を抽出する（ステップＳ１１）。次に、プロセッサ１１は、画像データＩ（ｋ－１），Ｉ（ｋ）それぞれから得られた特徴点をマッチングし（ステップＳ１２）、その結果を用いて位置関係を特定する（ステップＳ１３）。

【0054】

一例として、特徴量Ｆ（ｋ－１），Ｆ（ｋ）をマッチングすることによって、ステップＳ１２では、画像データＩ（ｋ－１），Ｉ（ｋ）に含まれる同一物体が検出される。図１１の例では、画像データＩ（ｋ－１），Ｉ（ｋ）それぞれから物体５００が検出される。

【0055】

ステップＳ１３では、画像データＩ（ｋ－１）における物体５００の形状５００Ａと、画像データＩ（ｋ）における物体５００の形状５００Ｂ、すなわち、画像データＩ（ｋ－１），Ｉ（ｋ）中の物体５００の姿勢を比較することで、画像データＩ（ｋ－１）中の物体５００に対する画像データＩ（ｋ）中の物体５００の角度変化や移動量が得られる。

【0056】

プロセッサ１１は、画像データＩ（ｋ－１）中の物体５００に対する画像データＩ（ｋ）中の物体５００の角度変化や移動量を用いて、第１の位置と第２の位置との位置関係を算出する。図１１の例では、形状５００Ａと形状５００Ｂとを比較することによって、位置Ｃ１と位置２との関係が得られる。第１の位置と第２の位置との位置関係は、第１の位置から第２の位置へのセンサ３０の移動を表した移動データに相当する。移動データは、移動方向及び移動距離であってもよいし、移動角度であってもよいし、それらの組み合わせであってもよい。

【0057】

三次元データの生成方法は、ステップＳ５で推定された第１の位置と第２の位置との位置関係を用いて、点群データＰ（ｋ）を合成する（ステップＳ６）ことを含む。ステップＳ６でプロセッサ１１は、マージデータ記憶部１２３から、点群データＰ（ｋ－１）までの点群データを合成して得られたマージデータＭ（ｋ－１）を読み出し、マージデータＭ（ｋ－１）と点群データＰ（ｋ）を合成してマージデータＭ（ｋ）を得る。

【0058】

このとき、プロセッサ１１は、ステップＳ５で推定された第１の位置と第２の位置との位置関係を用いて点群データＰ（ｋ）を変換してマージデータＭ（ｋ－１）と合成する。具体的には、プロセッサ１１は、第２の位置を第１の位置と一致させるように点群データＰ（ｋ）を変換した上でマージデータＭ（ｋ－１）と合成する。

【0059】

ステップＳ６で得られたマージデータＭ（ｋ）は、マージデータ記憶部１２３に記憶される（ステップＳ７）。マージデータＭ（ｋ）は、マージデータＭ（ｋ－１）に上書きされてもよい。

【0060】

三次元データの生成方法では、ステップＳ１～ステップＳ７が繰り返し行われる。又は、三次元データの生成方法では、物体２００についての画像データ及び点群データが予めすべてセンシングデータ記憶部１２２に記憶されており、ステップＳ３～Ｓ７が繰り返し行われてもよい。

【0061】

これにより、本システム１００では、センサ３０が移動しながら複数の時刻それぞれでの画像データ及び位置データを出力し、センシングデータ記憶部１２２に記憶される。センサ３０が移動することによって複数の時刻で得られた複数の画像データのそれぞれについて、画像データと、その得られた時刻の直前の時刻に得られた画像データとから、位置関係を推定するために用いる特徴のタイプが決定される。これにより、画像データごとに、その得られた時刻の直前の時刻に得られた画像データとのセンサ３０の位置関係を得るために用いる特徴のタイプが決定され、画像ごとに最適なタイプの特徴量が得られるようになる。

【0062】

発明者らは、システム１００での位置関係の推定の精度の検証のため、システム１００での推定方法と他の推定方法とでの精度を比較する実験を行った。システム１００での推定方法としては、特徴選択器１１２Ａを用いた。

【0063】

比較対例に係る推定方法は従来のシステムにおいて行われていた推定方法であって、画像に関わらず全ての画像データに対して予め規定した特徴を用いて特徴量を算出することで位置関係を推定する方法である。具体的には、全ての画像データにＳＵＲＦ特徴を適用して特徴量を算出する方法、ＫＡＺＥ特徴を適用して特徴量を算出する方法、及び、事前学習された、ニューラルネットワークによる特徴量算出手法であるＳｕｐｅｒＰｏｉｎｔを用いて特徴量を算出する方法を比較例とした。

【0064】

実験に用いた画像は、図１２に示された、直線パイプの３組の画像対、他のタイプのパイプの３組の画像対、及び、特殊な状況の３組の画像対である、Ｓｃｅｎｅ１～９の画像対（シーン）である。図１２のＳｃｅｎｅ１～９のそれぞれの左右の画像の位置関係を推定した。

【0065】

精度を比較するための評価指標Ａｃｃｕｒａｃｙは下の式（１）で定義される。係数ａは、ここでは、図の傾向を示すための０．５に設定されている。式（１）において用いられている相対誤差Ｅは、推定された回転行列から計算された回転角θEと実測された回転角θGTとの間の誤差であって、下の式（２）で得られる。
Ａｃｃｕｒａｃｙ＝ａ＾Ｅ …（１）
Ｅ＝（│θE－θGT│）／θGT×１００［％］ …（２）

【0066】

評価指標Ａｃｃｕｒａｃｙは、値が大きいほど位置関係の推定精度が高く、値が小さいほど精度が低いことを表している。評価指標Ａｃｃｕｒａｃｙの値が０のときは、用いた推定方法がこの画像の位置関係の推定には機能しない方法であることを示している。

【0067】

図１３は、シーンごとに算出された、各方法での評価指標Ａｃｃｕｒａｃｙを表している。上図の結果Ｌ１は、本システム１００での方法でのＳｃｅｎｅ１～９の位置関係を推定した際のそれぞれの評価指標Ａｃｃｕｒａｃｙを表している。下図の結果Ｌ２～Ｌ４は、それぞれ、比較例でのＳＵＲＦ特徴を用いた結果、ＫＡＺＥ特徴を用いた結果、及び、ＳｕｐｅｒＰｏｉｎｔを用いた結果を表している。

【0068】

図１３の結果Ｌ２～Ｌ４より、シーンごとに精度の高い推定方法が異なることがわかる。すなわち、シーン１～６では結果Ｌ２～Ｌ４のうちの結果Ｌ２の値が高いため、これら方法の中ではＳＵＲＦ特徴を用いた方法が精度が一番高いことが分かる。一方、シーン７～９では結果Ｌ２～Ｌ４のうちの結果Ｌ３の値が高いため、これら方法の中ではＫＡＺＥ特徴を用いた方法が精度が一番高いことが分かる。結果Ｌ４に示されるＳｕｐｅｒＰｏｉｎｔを用いた方法は、シーン４，６で結果Ｌ２の値に近く、概ね精度が高いことが分かる。従って、従来のシステムで行われていたように、画像に関わらず１つの特徴を用いた場合、画像によっては精度が低くなったり位置関係の推定には機能しなかったりすることが分かった。

【0069】

これに対して、結果Ｌ１では、各シーンについて、結果Ｌ２～Ｌ４より値が高い。具体的には、シーン１～６ではＳＵＲＦ特徴を用いた場合の結果Ｌ２の値と等しく、シーン７～９ではＫＡＺＥ特徴を用いた場合の結果Ｌ３の値と等しい。これより、システム１００の方法では、シーン１～６それぞれの２つの画像データを特徴選択器１１２Ａに入力したときにＳＵＲＦ特徴が出力され、シーン７～９それぞれの２つの画像データを特徴選択器１１２Ａに入力したときにＫＡＺＥ特徴が出力されたことが分かる。従って、この実験より、システム１００の方法では、画像に関わらず１つの特徴を用いた場合より高精度で位置関係が推定されることが検証された。

【0070】

以上の説明では、一例として、センサ３０からセンシング結果として得られた画像データを用いて位置関係を推定するための特徴のタイプを求め、第１の位置と第２の位置との位置関係を推定するものとしている。センサ３０からの位置データである点群データを用いるよりデータ量が多いため、精度よく特徴のタイプが得られる。

【0071】

他の例として、センサ３０からの位置データである点群データを用いて特徴のタイプを求め、第１の位置と第２の位置との位置関係を推定してもよい。例えば、点群データから画像を生成し、その画像を用いて特徴のタイプを求めて位置関係を推定してもよい。これにより、センサ３０は点群データのみ得られるものとすることができる。

【0072】

＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

【符号の説明】

【0073】

１０ ：演算装置
１１ ：プロセッサ
１２ ：メモリ
１２Ｂ ：特徴選択器
１２Ｃ ：特徴選択器
１２Ｄ ：特徴選択器
１２Ｅ ：特徴選択器
１２Ｆ ：特徴選択器
１３ ：センサＩ／Ｆ
１４ ：ディスプレイ
２１ ：初期ブロック
２２ ：反復型ブロック
２２Ａ ：第１反復型ブロック
２２Ｂ ：第２反復型ブロック
２３ ：統合ブロック
２４ ：分類器
２５Ａ ：第１残差ブロック
２５Ｂ ：第２残差ブロック
２６ ：ＥＣＡモジュール
２７ ：チャネルシャッフルモジュール
３０ ：センサ
３１ ：ＲＧＢ－Ｄカメラ
３２ ：駆動部
５０ ：信号変換部
１００ ：システム
１１１ ：三次元データ生成処理
１１２ ：特徴選択器
１１２Ａ ：特徴選択器
１１２Ｂ ：特徴選択器
１１２Ｆ ：特徴選択器
１１３ ：駆動処理
１１４ ：出力処理
１２１ ：プログラム
１２２ ：センシングデータ記憶部
１２３ ：マージデータ記憶部
２００ ：物体
５００ ：物体
５００Ａ ：形状
５００Ｂ ：形状
Ｄ ：データ
Ｄ１ ：補助データ
Ｆ ：特徴量
Ｉ ：画像データ
Ｌ１ ：結果
Ｌ２ ：結果
Ｌ３ ：結果
Ｌ４ ：結果
Ｍ ：マージデータ
Ｐ ：点群データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】