特開 2024-128867 ３次元点群位置合わせ装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128867

(43)【公開日】2024-09-24

(54)【発明の名称】３次元点群位置合わせ装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240913BHJP

【ＦＩ】

G06T1/00 500A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023038131

(22)【出願日】2023-03-10

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】大城 篤志

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA24

5B057CA13

5B057CB13

5B057CD02

5B057CD03

5B057CE02

5B057DA07

5B057DB03

5B057DC19

5B057DC40

(57)【要約】

【課題】複数の３次元点群データ同士の位置合わせの精度を向上させる。
【解決手段】取得部３２が、周辺環境の各点の３次元位置を検出する複数のカメラの各々によるセンシング結果である複数の３次元点群データを取得し、受付部３４が、複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、３次元画像の各々において、複数の３次元点群データ間の位置合わせの基準となる領域の指定を受け付け、調整部が、複数の３次元点群データの各々の領域に対応する部分３次元点群データ同士の位置合わせを行う。
【選択図】図３

【特許請求の範囲】

【請求項1】

周辺環境の各点の３次元位置を検出する複数のセンサの各々によるセンシング結果である複数の３次元点群データを取得する取得部と、
前記複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、前記３次元画像の各々において、前記複数の３次元点群データ間の位置合わせの基準となる領域の指定を受け付ける受付部と、
前記複数の３次元点群データの各々の前記領域に対応する部分３次元点群データ同士の位置合わせを行う調整部と、
を含む３次元点群位置合わせ装置。

【請求項2】

前記受付部は、位置と、３次元の各方向のサイズとをそれぞれ変更可能な３次元枠を前記画面に表示し、前記３次元枠に対する変更操作を受け付けることにより、前記領域の指定を受け付ける請求項１に記載の３次元点群位置合わせ装置。

【請求項3】

前記受付部は、前記３次元画像の各々及び前記３次元枠を、拡大、縮小、及び回転可能に前記画面に表示する請求項２に記載の３次元点群位置合わせ装置。

【請求項4】

３次元点群データに含まれる物体の領域を抽出するように訓練された機械学習モデルにより抽出される領域を、前記基準となる物体を示す領域の候補として提示する提示部を含み、
前記受付部は、前記候補に対応付けて前記画面に表示された前記３次元枠に対する変更操作を受け付ける
請求項２に記載の３次元点群位置合わせ装置。

【請求項5】

前記調整部は、前記部分３次元点群データ同士の同次変換行列を算出する請求項１に記載の３次元点群位置合わせ装置。

【請求項6】

前記調整部による位置合わせ結果に基づいて、前記複数の３次元点群データを統合する統合部を含む請求項１に記載の３次元点群位置合わせ装置。

【請求項7】

前記調整部は、ノイズ除去後の前記部分３次元点群データ同士の位置合わせを行う請求項１に記載の３次元点群位置合わせ装置。

【請求項8】

前記調整部による位置合わせ済みの複数のセンサに、新たなセンサを追加する場合、
前記受付部は、前記複数のセンサのいずれか１つについての前記３次元画像と、前記新たなセンサについての３次元画像とに対する前記領域の指定を受け付け、
前記調整部は、前記複数のセンサのいずれか１つについての３次元点群データと、前記新たなセンサについての３次元点群データとの前記領域に対応する部分３次元点群データ同士の位置合わせを行う
請求項１に記載の３次元点群位置合わせ装置。

【請求項9】

取得部と、受付部と、調整部とを含む３次元点群位置合わせ装置が実行する３次元点群位置合わせ方法であって、
前記取得部が、周辺環境の各点の３次元位置を検出する複数のセンサの各々によるセンシング結果である複数の３次元点群データを取得し、
前記受付部が、前記複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、前記３次元画像の各々において、前記複数の３次元点群データ間の位置合わせの基準となる領域の指定を受け付け、
前記調整部が、前記複数の３次元点群データの各々の前記領域に対応する部分３次元点群データ同士の位置合わせを行う
３次元点群位置合わせ方法。

【請求項10】

コンピュータを、
周辺環境の各点の３次元位置を検出する複数のセンサの各々によるセンシング結果である複数の３次元点群データを取得する取得部、
前記複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、前記３次元画像の各々において、前記複数の３次元点群データ間の位置合わせの基準となる領域の指定を受け付ける受付部、及び、
前記複数の３次元点群データの各々の前記領域に対応する部分３次元点群データ同士の位置合わせを行う調整部
として機能させるための３次元点群位置合わせプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元点群位置合わせ装置、３次元点群位置合わせ方法、及び３次元点群位置合わせプログラムに関する。

【背景技術】

【0002】

従来、カメラ等の複数のセンサによるセンシング結果の位置合わせを行う技術が提案されている。例えば、クラスタ毎に、共通視野を利用して設定したクラスタ座標系における各カメラの位置及び姿勢を求め、クラスタ毎に複数のカメラの画像からローカル座標系での物体位置を算出するカメラシステムが提案されている。このシステムは、各共通カメラの位置及び姿勢について隣接クラスタ間にて所定の誤差を持たせることによりクラスタ座標系の相互の配置関係を調整した統合座標系を設定し、クラスタ座標系での物体位置を統合座標系に変換する（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－９３７８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ある環境を複数のセンサでセンシングした複数の３次元点群データ同士の位置合わせを行う場合、一般的には、各３次元点群データ内から特徴点を抽出し、３次元点群データ間で特徴点の対応付けを行う。しかし、環境内に、机、ディスプレイ等、同一の物体が複数存在する場合、特徴点の対応付けに誤りが生じ、位置合わせが失敗する場合がある。特に工場では同じ製品を大量に生産する関係上、同一の物体が複数存在する環境になることが多い。

【0005】

本発明は、複数の３次元点群データ同士の位置合わせの精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る３次元点群位置合わせ装置は、周辺環境の各点の３次元位置を検出する複数のセンサの各々によるセンシング結果である複数の３次元点群データを取得する取得部と、前記複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、前記３次元画像の各々において、前記複数の３次元点群データ間の位置合わせの基準となる領域の指定を受け付ける受付部と、前記複数の３次元点群データの各々の前記領域に対応する部分３次元点群データ同士の位置合わせを行う調整部と、を含んで構成される。

【0007】

また、前記受付部は、位置と、３次元の各方向のサイズとをそれぞれ変更可能な３次元枠を前記画面に表示し、前記３次元枠に対する変更操作を受け付けることにより、前記領域の指定を受け付けてもよい。

【0008】

また、前記受付部は、前記３次元画像の各々及び前記３次元枠を、拡大、縮小、及び回転可能に前記画面に表示してもよい。

【0009】

また、本発明に係る３次元点群位置合わせ装置は、３次元点群データに含まれる物体の領域を抽出するように訓練された機械学習モデルにより抽出される領域を、前記基準となる物体を示す領域の候補として提示する提示部を含み、前記受付部は、前記候補に対応付けて前記画面に表示された前記３次元枠に対する変更操作を受け付けてもよい。

【0010】

また、前記調整部は、前記部分３次元点群データ同士の同次変換行列を算出してもよい。

【0011】

また、本発明に係る３次元点群位置合わせ装置は、前記調整部による位置合わせ結果に基づいて、前記複数の３次元点群データを統合する統合部を含んでもよい。

【0012】

また、前記調整部は、ノイズ除去後の前記部分３次元点群データ同士の位置合わせを行うようにしてもよい。

【0013】

また、前記調整部による位置合わせ済みの複数のセンサに、新たなセンサを追加する場合、前記受付部は、前記複数のセンサのいずれか１つについての前記３次元画像と、前記新たなセンサについての３次元画像とに対する前記領域の指定を受け付け、前記調整部は、前記複数のセンサのいずれか１つについての３次元点群データと、前記新たなセンサについての３次元点群データとの前記領域に対応する部分３次元点群データ同士の位置合わせを行うようにしてもよい。

【0014】

本発明に係る３次元点群位置合わせ方法は、取得部と、受付部と、調整部とを含む３次元点群位置合わせ装置が実行する３次元点群位置合わせ方法であって、前記取得部が、周辺環境の各点の３次元位置を検出する複数のセンサの各々によるセンシング結果である複数の３次元点群データを取得し、前記受付部が、前記複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、前記３次元画像の各々において、前記複数の３次元点群データ間の位置合わせの基準となる領域の指定を受け付け、前記調整部が、前記複数の３次元点群データの各々の前記領域に対応する部分３次元点群データ同士の位置合わせを行う方法である。

【0015】

また、本発明に係る３次元点群位置合わせプログラムは、コンピュータを、周辺環境の各点の３次元位置を検出する複数のセンサの各々によるセンシング結果である複数の３次元点群データを取得する取得部、前記複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、前記３次元画像の各々において、前記複数の３次元点群データ間の位置合わせの基準となる領域の指定を受け付ける受付部、及び、前記複数の３次元点群データの各々の前記領域に対応する部分３次元点群データ同士の位置合わせを行う調整部として機能させるためのプログラムである。

【発明の効果】

【0016】

本発明に係る３次元点群位置合わせ装置、方法、及びプログラムによれば、複数の３次元点群データ同士の位置合わせの精度を向上させることができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態が適用される作業環境の一例を示す図である。

【図2】３次元点群位置合わせ装置のハードウェア構成を示すブロック図である。

【図3】３次元点群位置合わせ装置の機能構成の例を示すブロック図である。

【図4】３次元点群データの計測の一例を示す図である。

【図5】カメラ毎の３次元点群データの一例を示す図である。

【図6】領域指定時の受付画面の一例を示す図である。

【図7】候補表示時の受付画面の一例を示す図である。

【図8】統合３次元画像表示時の受付画面の一例を示す図である。

【図9】３次元点群位置合わせ処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法及び比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0019】

本実施形態では、例えば、図１に示すような作業環境を、複数の視点の各々からカメラで撮影し、各カメラで３次元点群データが計測される場合を想定する。なお、本実施形態では、センサが３次元点群データを取得可能なカメラである場合を例に説明するが、センサはレーザレーダ等であってもよい。複数の視点から３次元点群データを計測して統合することにより、１台のカメラでは死角となって３次元点群データが欠損してしまう部分を補間することができる。

【0020】

複数の３次元点群データを統合するためには、３次元点群データ同士を精度良く位置合わせする必要がある。一般的な位置合わせの手法では、各３次元点群データ内から特徴点を抽出し、３次元点群データ間で特徴点の対応付けを行う。しかしこの場合、環境内に、机、ディスプレイ等、同一又は類似の外観を有する物体が複数存在する場合、特徴点の対応付けに誤りが生じ、位置合わせが失敗する場合がある。

【0021】

また、例えば、椅子の座面と背もたれとのように、回転対象な形状の物体から特徴点が抽出された場合、一方のカメラの３次元点群データにおける座面の特徴点と、他方のカメラの３次元点群データにおける背もたれの特徴点とが対応付けられる可能性がある。この場合、位置合わせの際に、一方の３次元点群データの上下が反転してしまう場合もある。

【0022】

さらに、繰り返し処理により位置合わせの調整を行う場合において、上記のように位置合わせの精度が低い場合には、繰り返し回数が多くなるなど、位置合わせに要する時間が増大する。

【0023】

そこで、本実施形態では、簡易な方法で３次元点群データの位置合わせの精度を向上させる手法を提案する。以下、本実施形態に係る３次元点群位置合わせ装置について説明する。

【0024】

図２は、本実施形態に係る３次元点群位置合わせ装置１０のハードウェア構成を示すブロック図である。図２に示すように、３次元点群位置合わせ装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、メモリ１４、記憶装置１６、入力装置１８、出力装置２０、記憶媒体読取装置２２、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２４を有する。各構成は、バス２６を介して相互に通信可能に接続されている。

【0025】

記憶装置１６には、３次元点群位置合わせ処理を実行するための３次元点群位置合わせプログラムが格納されている。ＣＰＵ１２は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ１２は、記憶装置１６からプログラムを読み出し、メモリ１４を作業領域としてプログラムを実行する。ＣＰＵ１２は、記憶装置１６に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

【0026】

メモリ１４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置１６は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0027】

入力装置１８は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置２０は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置２０として、タッチパネルディスプレイを採用することにより、入力装置１８として機能させてもよい。

【0028】

記憶媒体読取装置２２は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ、ブルーレイディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の各種記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。通信Ｉ／Ｆ２４は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0029】

次に、本実施形態に係る３次元点群位置合わせ装置１０の機能構成について説明する。図３は、３次元点群位置合わせ装置１０の機能構成の例を示すブロック図である。図３に示すように、３次元点群位置合わせ装置１０は、機能構成として、取得部３２と、受付部３４と、提示部３６と、調整部３８と、統合部４０とを含む。また、３次元点群位置合わせ装置１０の所定の記憶領域には、候補抽出モデル４２が記憶される。各機能構成は、ＣＰＵ１２が記憶装置１６に記憶された３次元点群位置合わせプログラムを読み出し、メモリ１４に展開して実行することにより実現される。

【0030】

取得部３２は、周辺環境の各点の３次元位置を検出する複数のカメラの各々によるセンシング結果である複数の３次元点群データを取得する。例えば、図４に示すような環境を、カメラ１とカメラ２とがそれぞれ異なる視点から撮影して、それぞれ３次元点群データを計測するとする。この場合、取得部３２は、例えば、図５に示すように、カメラ１及びカメラ２の各々についての３次元点群データを取得する。

【0031】

受付部３４は、複数の３次元点群データの各々を示す３次元画像の各々を画面に表示する。そして、受付部３４は、３次元画像の各々において、周辺環境に含まれる物体のうち、複数の３次元点群データ間の位置合わせの基準となる物体（以下、「ターゲット」という）を示す領域の指定を受け付ける。

【0032】

例えば、受付部３４は、図６に示すような受付画面５０を、出力装置２０の一例であるディスプレイに表示する。図６の例では、受付画面５０は、表示領域５２と、領域指定枠５４と、候補表示ボタン５６と、領域指定ボタン５８と、値指定領域６０と、カメラ選択領域６２と、位置合わせボタン６４とを含む。受付部３４は例えばＣＰＵ１２により実現される。

【0033】

表示領域５２には、各カメラの３次元点群データを示す３次元画像、領域指定枠５４、後述する候補枠６６、複数の３次元点群データを統合した統合３次元点群データを示す統合３次元画像等が表示される。

【0034】

領域指定枠５４は、表示領域５２内での位置と、３次元の各方向のサイズとをそれぞれ変更可能な３次元枠である。受付部３４は、ドラッグ操作、又は値指定領域６０への値の入力により、領域指定枠５４に対する変更操作を受け付ける。ユーザは、領域指定枠５４を、拡大、縮小、回転等させることにより、ターゲットを囲むように領域指定枠５４を変形させる。また、３次元点群データを示す３次元画像の方を拡大、縮小、回転等させてもよい。受付部３４は、領域指定枠５４の内部の３次元の領域を、ターゲットの領域として受け付ける。受付部３４は、領域指定枠５４で指定された最新の領域の位置情報をいったん所定の記憶領域に記憶しておき、再度、領域指定を行う場合に、記憶しておいた位置情報に基づいて、領域指定枠５４を表示する。なお、図６では、キューブ形状の領域指定枠５４の例を示しているが、これに限定されず、領域指定枠５４は、球形状、カプセル形状等であってもよい。

【0035】

候補表示ボタン５６は、ターゲットの候補を表示する場合に選択されるボタンである。候補表示ボタン５６が選択されると、後述する提示部３６により、候補に対応する部分を囲む候補枠６６が表示領域５２に表示される。図７に、候補表示ボタン５６が選択された場合の受付画面５０の一例を示す。図７では、候補枠６６を破線で示している。図７では、領域指定枠５４と同様、キューブ形状の候補枠６６の例を示しているが、これに限定されず、候補枠６６は、球形状、カプセル形状等であってもよい。

【0036】

受付部３４は、１又は複数の候補枠６６が選択されると、選択された候補枠６６を領域指定枠５４に変更し、上記の領域指定枠５４に対する変更操作を受け付ける。このように、いったん候補を表示することで、ユーザによるターゲットの選択を容易にすることができる。また、物体を囲む候補枠６６から変更された領域指定枠５４に対して変更操作を行えばよいため、微調整程度の簡易な操作で、ターゲットの領域を指定することができる。

【0037】

領域指定ボタン５８は、領域指定を行う際に選択されるボタンである。受付部３４は、領域指定ボタン５８が選択されると、図６に示すように、カメラ選択領域６２で選択されたカメラの３次元点群データを示す３次元画像を表示領域５２に表示すると共に、変更操作可能な領域指定枠５４を表示領域５２に表示する。

【0038】

値指定領域６０は、領域指定枠５４の表示領域５２内での位置と、３次元の各方向のサイズとをそれぞれ変更するために、値を直接指定するための領域である。すなわち、領域指定枠５４は、ドラッグ操作による変更操作も可能であるし、値指定領域６０への値の入力によっても変更操作が可能である。

【0039】

カメラ選択領域６２は、処理対象の３次元点群データに対応するカメラを選択するための領域である。ユーザは、領域指定ボタン５８を選択している場合には、領域指定を行う対象の３次元点群データに対応するカメラを選択する。また、ユーザは、位置合わせボタン６４を選択している場合には、位置合わせを行う対象の３次元点群データに対応するカメラを選択する。

【0040】

位置合わせボタン６４は、複数の３次元点群データの位置合わせを行う際に選択されるボタンである。受付部３４は、位置合わせボタン６４が選択されると、カメラ選択領域６２で選択されているカメラに対応する複数の３次元点群データの各々について、領域指定枠５４で指定されたターゲットの領域に対応する部分３次元点群データの情報を調整部３８へ受け渡す。

【0041】

提示部３６は、受付画面５０で候補表示ボタン５６が選択されると、３次元点群データを候補抽出モデル４２に入力し、３次元点群データから候補を抽出する。候補抽出モデル４２は、３次元点群データから物体の領域を抽出するように予め訓練された機械学習モデルとしてよい。なお、候補として抽出する物体を、ターゲットに適した物体、例えば、同一又は類似の外観を持つ複数の物体が環境内に存在しない物体に絞り込んで、候補抽出モデル４２を訓練しておいてもよい。提示部３６は、３次元画像において、抽出された候補に対応する部分を囲む候補枠６６を表示領域５２に表示する。

【0042】

調整部３８は、各カメラに対応する部分３次元点群データ同士の位置合わせを行う。具体的には、調整部３８は、複数のカメラのうちの１つを基準とし、基準のカメラに対する他のカメラの位置及び回転の変位を示す同次変換行列を算出する。例えば、調整部３８は、各部分３次元点群データからＦＰＦＨ（Fast Point Feature Histograms）により特徴点を抽出して対応付けを行うことにより、同次変換行列を算出する。さらに、調整部３８は、ＩＣＰ（Iterative Closest Point）を適用して、ＦＰＦＨにより算出された同次変換行列の精度を上げるようにしてもよい。

【0043】

なお、調整部３８は、各部分３次元点群データからノイズを除去した後に、位置合わせを行うようにしてもよい。これにより、誤った特徴点の対応付けが行われることをより抑制することができる。

【0044】

統合部４０は、調整部３８による位置合わせ結果に基づいて、複数の３次元点群データを統合する。具体的には、統合部４０は、基準となるカメラの３次元点群データと、他のカメラの３次元点群データに調整部３８で算出された同次変換行列を適用した３次元点群データとを統合し、統合３次元点群データを生成する。統合部４０は、図８に示すように、統合３次元点群データを示す統合３次元画像を、受付画面５０の表示領域５２に表示する。

【0045】

次に、本実施形態に係る３次元点群位置合わせ装置１０の作用について説明する。図９は、３次元点群位置合わせ装置１０のＣＰＵ１２により実行される３次元点群位置合わせ処理の流れを示すフローチャートである。ＣＰＵ１２が記憶装置１６から３次元点群位置合わせプログラムを読み出して、メモリ１４に展開して実行することにより、ＣＰＵ１２が３次元点群位置合わせ装置１０の各機能構成として機能し、図９に示す３次元点群位置合わせ処理が実行される。

【0046】

ステップＳ１０で、取得部３２が、カメラ毎の３次元点群データを取得する。次に、ステップＳ１２で、受付部３４が、例えば、図６に示すような受付画面５０を表示する。次に、ステップＳ１４で、受付部３４が、受付画面５０の候補表示ボタン５６が選択されたか否かを判定する。候補表示ボタン５６が選択された場合には、ステップＳ１６へ移行し、選択されていない場合には、ステップＳ１８へ移行する。

【0047】

ステップＳ１６では、受付部３４が、カメラ選択領域６２で選択されたカメラの３次元点群データを示す３次元画像を表示領域５２に表示する。そして、提示部３６が、３次元点群データを候補抽出モデル４２に入力し、３次元点群データからターゲットの候補を抽出し、３次元画像において、抽出された候補に対応する部分を囲む候補枠６６を、表示領域５２に表示する。

【0048】

次に、ステップＳ１８で、受付部３４が、領域指定ボタン５８が選択されたか否かを判定する。領域指定ボタン５８が選択された場合には、ステップＳ２０へ移行し、選択されていない場合には、ステップＳ２２へ移行する。ステップＳ２０では、受付部３４が、１又は複数の候補枠６６の選択を受け付け、選択された候補枠６６を領域指定枠５４に変更し、領域指定枠５４に対する変更操作を受け付けることにより、ターゲットの領域の指定を受け付ける。受付部３４は、カメラ選択領域６２でのカメラの選択を受け付け、各カメラについての３次元点群データに対するターゲットの領域の指定を受け付ける。

【0049】

次に、ステップＳ２２で、受付部３４が、位置合わせボタン６４が選択されたか否かを判定する。位置合わせボタン６４が選択された場合には、ステップＳ２４へ移行し、選択されていない場合には、ステップＳ１４に戻る。

【0050】

ステップＳ２４では、受付部３４が、各カメラに対応する複数の３次元点群データの各々について指定されたターゲットの領域に対応する部分３次元点群データの情報を調整部３８へ受け渡す。そして、調整部３８が、複数のカメラのうちの１つを基準とし、基準のカメラに対する他のカメラの位置及び回転の変位を示す同次変換行列を算出する。

【0051】

次に、ステップＳ２６で、統合部４０が、基準となるカメラの３次元点群データと、他のカメラの３次元点群データに上記ステップＳ２４で算出された同次変換行列を適用した３次元点群データとを統合して、統合３次元点群データを生成する。そして、統合部４０が、統合３次元点群データを示す統合３次元画像を表示領域５２に表示して、３次元点群位置合わせ処理は終了する。

【0052】

以上説明したように、本実施形態に係る３次元点群位置合わせ装置は、周辺環境の各点の３次元位置を検出する複数のセンサの各々によるセンシング結果である複数の３次元点群データを取得する。また、３次元点群位置合わせ装置は、複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、３次元画像の各々において、周辺環境に含まれる物体のうち、複数の３次元点群データ間の位置合わせの基準となる物体を示す領域の指定を受け付ける。そして、複数の３次元点群データの各々の領域に対応する部分３次元点群データ同士の位置合わせを行う。このように、本実施形態に係る３次元点群位置合わせ装置は、ユーザによる簡易な操作で指定されたターゲットの領域に含まれる３次元点群データのみを使って、複数の３次元点群同士の位置合わせを行う。そのため、対応付けの誤りがなく、複数の３次元点群データ同士の位置合わせの精度を向上させることができる。

【0053】

また、例えば、椅子の座面と背もたれとのように、回転対象な形状を含む物体をターゲットとする場合でも、脚部分も含めて領域指定を行うことで、３次元点群データ同士の位置合わせの際に上下が反転するような状況を抑制することができる。

【0054】

また、繰り返し処理により３次元点群データ同士の位置合わせの調整を行う場合、本実施形態では、精度の高い位置合わせにより調整の収束が早まり、位置合わせに要する時間を削減することができる。

【0055】

また、位置合わせ済みの複数のカメラに、新たなカメラを追加する場合、位置合わせ調整済みの複数のカメラのいずれか１つについての３次元画像と、新たなカメラについての３次元画像とに対する領域の指定を受け付ければよい。この場合、複数のカメラのいずれか１つについての３次元点群データと、新たなカメラについての３次元点群データとで、指定された領域に対応する部分３次元点群データ同士の位置合わせが行われる。これにより、新たにカメラを追加する場合に、再度全てのカメラの位置合わせを行う必要がなく、改変後の設備を早期に立ち上げることができる。

【0056】

また、本実施形態に係る３次元点群データ位置合わせ装置は、図１に示すような、人とロボットとが協働して作業を行うような環境に適用することができる。複数のカメラで得られた複数の３次元点群データを統合することで、死角のない３次元点群データが得られる。この３次元点群データを用いて作業環境を認識し、ロボットの制御に反映することで、ロボットの作業空間を適切に生成することができる。

【0057】

なお、上記実施形態では、位置合わせの基準となる物体をターゲットとして、その領域を指定する場合について説明したが、基準となる領域は必ずしも物体を含まなくてもよい。

【0058】

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した３次元点群位置合わせ処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、３次元点群位置合わせ処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0059】

また、上記実施形態では、３次元点群位置合わせプログラムが記憶装置に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ブルーレイディスク、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0060】

以下に、本開示に関する付記項を記載する。

【0061】

（付記項１）
周辺環境の各点の３次元位置を検出する複数のセンサの各々によるセンシング結果である複数の３次元点群データを取得する取得部と、
前記複数の３次元点群データの各々を示す３次元画像の各々を画面に表示すると共に、前記３次元画像の各々において、前記複数の３次元点群データ間の位置合わせの基準となる領域の指定を受け付ける受付部と、
前記複数の３次元点群データの各々の前記領域に対応する部分３次元点群データ同士の位置合わせを行う調整部と、
を含む３次元点群位置合わせ装置。

【0062】

（付記項２）
前記受付部は、位置と、３次元の各方向のサイズとをそれぞれ変更可能な３次元枠を前記画面に表示し、前記３次元枠に対する変更操作を受け付けることにより、前記領域の指定を受け付ける付記項１に記載の３次元点群位置合わせ装置。

【0063】

（付記項３）
前記受付部は、前記３次元画像の各々及び前記３次元枠を、拡大、縮小、及び回転可能に前記画面に表示する付記項２に記載の３次元点群位置合わせ装置。

【0064】

（付記項４）
３次元点群データに含まれる物体の領域を抽出するように訓練された機械学習モデルにより抽出される領域を、前記基準となる物体を示す領域の候補として提示する提示部を含み、
前記受付部は、前記候補に対応付けて前記画面に表示された前記３次元枠に対する変更操作を受け付ける
付記項２又は付記項３に記載の３次元点群位置合わせ装置。

【0065】

（付記項５）
前記調整部は、前記部分３次元点群データ同士の同次変換行列を算出する付記項１～付記項４のいずれか１項に記載の３次元点群位置合わせ装置。

【0066】

（付記項６）
前記調整部による位置合わせ結果に基づいて、前記複数の３次元点群データを統合する統合部を含む付記項１～付記項５のいずれか１項に記載の３次元点群位置合わせ装置。

【0067】

（付記項７）
前記調整部は、ノイズ除去後の前記部分３次元点群データ同士の位置合わせを行う付記項１～付記項６のいずれか１項に記載の３次元点群位置合わせ装置。

【0068】

（付記項８）
前記調整部による位置合わせ済みの複数のセンサに、新たなセンサを追加する場合、
前記受付部は、前記複数のセンサのいずれか１つについての前記３次元画像と、前記新たなセンサについての３次元画像とに対する前記領域の指定を受け付け、
前記調整部は、前記複数のセンサのいずれか１つについての３次元点群データと、前記新たなセンサについての３次元点群データとの前記領域に対応する部分３次元点群データ同士の位置合わせを行う
付記項１～付記項７のいずれか１項に記載の３次元点群位置合わせ装置。

【符号の説明】

【0069】

１０ ３次元点群位置合わせ装置
１２ ＣＰＵ
１４ メモリ
１６ 記憶装置
１８ 入力装置
２０ 出力装置
２２ 記憶媒体読取装置
２４ 通信Ｉ／Ｆ
２６ バス
３２ 取得部
３４ 受付部
３６ 提示部
３８ 調整部
４０ 統合部
４２ 候補抽出モデル
５０ 受付画面
５２ 表示領域
５４ 領域指定枠
５６ 候補表示ボタン
５８ 領域指定ボタン
６０ 値指定領域
６２ カメラ選択部
６４ 位置合わせボタン
６６ 候補枠

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】