特許 6967816 情報処理装置、及び、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6967816

(24)【登録日】2021年10月28日

(45)【発行日】2021年11月17日

(54)【発明の名称】情報処理装置、及び、情報処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20211108BHJP

   G06F 3/0481 20130101ALI20211108BHJP

   G06F 3/0484 20130101ALI20211108BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/0481 150

   G06F3/0484 150

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2021-79100(P2021-79100)

(22)【出願日】2021年5月7日

【審査請求日】2021年5月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】518144986

【氏名又は名称】シンメトリー・ディメンションズ・インク

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】瀬古 保次

(72)【発明者】

【氏名】柳川 光理

(72)【発明者】

【氏名】クラネン トンミ

(72)【発明者】

【氏名】イェン メハグ

(72)【発明者】

【氏名】沼倉 正吾

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２０１９−２１２２２５（ＪＰ，Ａ）

【文献】 特開２０１２−０５７９６０（ＪＰ，Ａ）

【文献】 特許第６８６３６３４（ＪＰ，Ｂ１）

【文献】 国際公開第２０１２／１１７７０６（ＷＯ，Ａ１）

【文献】 特開２０１２−０６３８６６（ＪＰ，Ａ）

【文献】 特開２０２０−１３５６７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

Ｇ０６Ｆ ３／０４８−３／０４８９

(57)【特許請求の範囲】

【請求項1】

現実空間を撮像した撮像画像に前記現実空間を３次元スキャンして得られた３次元点群データを重畳させる情報処理装置であって、プロセッサ及びメモリを備え、
前記プロセッサは前記メモリと協働して、
前記３次元点群データのセグメンテーションが前記撮像画像のセグメンテーションにマッチングするように前記３次元点群データを調整して、前記撮像画像に対応する第１の点群画像を生成し、
前記撮像画像に少なくとも４つの画像選定点を設定し、
前記第１の点群画像に、前記少なくとも４つの画像選定点に対応する少なくとも４つの点群選定点を設定し、
前記画像選定点と前記点群選定点の対応関係に基づいて、前記撮像画像に適合する第２の点群画像を生成する、情報処理装置。

【請求項2】

前記プロセッサは、前記撮像画像に前記第２の点群画像を重畳した画像を生成し、表示装置に表示する、
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、前記撮像画像から特徴点を検出し、検出した前記特徴点の中から前記画像選定点を設定する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記特徴点は、前記撮像画像を４分割した各区画から検出されたものである、
請求項３に記載の情報処理装置。

【請求項5】

前記プロセッサは、地物の共通部分における撮像画像の特徴点の特徴量と、前記共通部分における３次元点群データの特徴点の特徴量との対応関係を学習済みである学習器を用いて、前記画像選定点に対応する前記点群選定点を設定する、
請求項３又は４に記載の情報処理装置。

【請求項6】

前記プロセッサは、
前記撮像画像と前記第１の点群画像とを表示装置に表示し、
表示された前記撮像画像に対する前記画像選定点をユーザに設定させ、
表示された前記第１の点群画像に対して前記画像選定点に対応する前記点群選定点を前記ユーザに設定させる、
請求項１又は２に記載の情報処理装置。

【請求項7】

現実空間を撮像した撮像画像に前記現実空間を３次元スキャンして得られた３次元点群データを重畳させる情報処理装置であって、プロセッサ及びメモリを備え、
前記プロセッサは前記メモリと協働して、
前記撮像画像から特徴点を検出し、検出した前記特徴点の中から少なくとも４つの画像選定点を設定し、
前記撮像画像の撮像位置及び撮像方向に対応する視点位置及び視点方向から前記３次元点群データを見た場合の点群画像である第１の点群画像に、地物の共通部分における撮像画像の特徴点の特徴量と前記共通部分における３次元点群データの特徴点の特徴量との対応関係を学習済みである学習器を用いて、前記少なくとも４つの画像選定点に対応する少なくとも４つの点群選定点を設定し、
前記画像選定点と前記点群選定点の対応関係に基づいて、前記撮像画像に適合する第２の点群画像を生成する、情報処理装置。

【請求項8】

情報処理装置によって、現実空間を撮像した撮像画像に前記現実空間を３次元スキャンして得られた３次元点群データを重畳させる情報処理方法であって、
前記３次元点群データのセグメンテーションが前記撮像画像のセグメンテーションにマッチングするように記３次元点群データを調整して、前記撮像画像に対応する第１の点群画像を生成し、
前記撮像画像に少なくとも４つの画像選定点を設定し、
前記第１の点群画像に、前記少なくとも４つの画像選定点に対応する少なくとも４つの点群選定点を設定し、
前記画像選定点と前記点群選定点の対応関係に基づいて、前記撮像画像に適合する第２の点群画像を生成する、情報処理方法。

【請求項9】

情報処理装置によって、現実空間を撮像した撮像画像に前記現実空間を３次元スキャンして得られた３次元点群データを重畳させる情報処理方法であって、
前記撮像画像から特徴点を検出し、検出した前記特徴点の中から少なくとも４つの画像選定点を設定し、
前記撮像画像の撮像位置及び撮像方向に対応する視点位置及び視点方向から前記３次元点群データを見た場合の点群画像である第１の点群画像に、地物の共通部分における撮像画像の特徴点の特徴量と前記共通部分における３次元点群データの特徴点の特徴量との対応関係を学習済みである学習器を用いて、前記少なくとも４つの画像選定点に対応する少なくとも４つの点群選定点を設定し、
前記画像選定点と前記点群選定点の対応関係に基づいて、前記撮像画像に適合する第２の点群画像を生成する、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、及び、情報処理方法に関する。

【背景技術】

【0002】

特許文献１には、現実空間を撮像した撮像画像に仮想空間を重畳させた複合現実空間を表す画像を表示する情報処理端末が開示される。特許文献１では、現実空間を撮像した撮像画像における仮想空間の重畳位置を規定するアンカー情報をもとに算出された座標に基づいて、仮想空間における３次元のオブジェクトを適切な位置及び向きで撮像画像上に配置して表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０−１７７３３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示される方法の場合、仮想空間における３次元のオブジェクトを適切な位置及び向きで撮像画像に合わせ込むためには、ユーザはアンカー情報の配置調整を行う必要があり、これは非常に手間のかかる作業である。

【0005】

本開示の目的は、より簡単に、３次元のオブジェクトを適切な位置及び向きで撮像画像に合わせ込むことができる技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る情報処理装置は、現実空間を撮像した撮像画像に前記現実空間を３次元スキャンして得られた３次元点群データを重畳させる情報処理装置であって、プロセッサ及びメモリを備え、前記プロセッサは前記メモリと協働して、前記撮像画像に少なくとも４つの画像選定点を設定し、前記撮像画像の撮像位置及び撮像方向に対応する視点位置及び視点方向から前記３次元点群データを見た場合の点群画像である第１の点群画像に、前記少なくとも４つの画像選定点に対応する少なくとも４つの点群選定点を設定し、前記画像選定点と前記点群選定点の対応関係に基づいて、前記撮像画像に適合する第２の点群画像を生成する。

【0007】

本開示の一態様に係る情報処理方法は、情報処理装置によって、現実空間を撮像した撮像画像に前記現実空間を３次元スキャンして得られた３次元点群データを重畳させる情報処理方法であって、前記撮像画像に少なくとも４つの画像選定点を設定し、前記撮像画像の撮像位置及び撮像方向に対応する視点位置及び視点方向から前記３次元点群データを見た場合の点群画像である第１の点群画像に、前記少なくとも４つの画像選定点に対応する少なくとも４つの点群選定点を設定し、前記画像選定点と前記点群選定点の対応関係に基づいて、前記撮像画像に適合する第２の点群画像を生成する。

【0008】

なお、これらの態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよい。あるいは、これらの態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

本開示によれば、より簡単に、３次元のオブジェクトを適切な位置及び向きで撮像画像に合わせ込むことができる。

【図面の簡単な説明】

【0010】

【図1A】現実空間の撮像画像の表示画面を示す図である。

【図1B】現実空間の３次元点群データを図１Ａの撮像画像の撮像位置から撮像方向に見た場合の透視投影画像の表示画面を示す図である。

【図2】本実施の形態に係る情報処理システムの構成例を示すブロック図である。

【図3A】本実施の形態に係る第１の方法における撮像画像の表示画面を示す図である。

【図3B】本実施の形態に係る第１の方法における第１の点群画像の表示画面を示す図である。

【図4】本実施の形態に係る第１の点群画像の生成処理の一例を示すフローチャートである。

【図5】本実施の形態に係る第１の方法における第２の点群画像の生成処理の一例を示すフローチャートである。

【図6A】本実施の形態に係る第２の方法における撮像画像３１の表示画面を示す図である。

【図6B】本実施の形態に係る第２の方法における第２の点群画像の表示画面を示す図である。

【図7】本実施の形態に係る第２の方法における第２の点群画像の生成処理の一例を示すフローチャートである。

【図8】本実施の形態に係る学習器の生成処理の一例を示すフローチャートである。

【図9】本実施の形態に係る学習器の学習処理を説明するための模式図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本開示の実施の形態について詳細に説明する。ただし、公知の事項又は重複する事項については説明を省略する場合がある。また、図面及び以下の記載は一例に過ぎず、特許請求の範囲の記載の主題を限定することは意図されていない。

【0012】

（本実施の形態）
＜本開示に至る経緯＞
図１Ａは、現実空間の撮像画像３１の表示画面を示す図である。以下、撮像画像３１を撮像した位置を撮像位置と称し、撮像画像３１を撮像した方向を撮像方向と称する。図１Ｂは、現実空間の点群画像７０の表示画面を示す図である。点群画像７０は、現実空間を３Ｄレーザスキャナでセンシングして得られた複数の３次元座標点（３Ｄ点）によって構成されたデータである３次元（３Ｄ）点群データ３２（図２参照）を、撮像位置から撮像方向に見た場合の透視投影画像である。

【0013】

現実空間の地物を撮像した撮像画像３１に点群画像７０を重畳してＡＲ（Augmented Reality）画像を生成し、その生成したＡＲ画像を表示することが行われる。

【0014】

撮像画像３１に対応する点群画像７０を３Ｄ点群データ３２から得るために、従来、ユーザは、次のステップＳ１〜Ｓ３の作業を行う。

【0015】

（Ｓ１）ユーザは、撮像画像３１のある位置に、撮像時の水平面に対する撮像装置１１（図２参照）の傾き（例えば上下方向の傾き及び左右方向の傾き）を示すアンカー情報を設定する。ユーザは、撮像画像３１に複数のアンカー情報を設定してもよい。以下、撮像画像３１に設定されたアンカー情報を、画像アンカー７１と称する。

【0016】

（Ｓ２）ユーザは、３Ｄ点群データ３２の画像アンカー７１と対応する位置に、アンカー情報を設定する。以下、３Ｄ点群データ３２に設定されたアンカー情報を、点群アンカー７２と称する。

【0017】

（Ｓ３）ユーザは、画像アンカー７１の傾きに合うように、点群アンカー７２の傾きを調節する。このとき、ユーザは、点群アンカー７２の奥行方向の傾きは画面上からわかりにくいので、３Ｄ点群データ３２の視点位置及び視点方向を変えながら、点群アンカー７２の奥行方向の傾きを調節する必要がある。

【0018】

ユーザは、上記のステップＳ２とＳ３を繰り返して、点群アンカー７２の位置及び傾きが画像アンカー７１の位置及び傾きと合うように調節し、撮像画像３１に適合する点群画像７０を得る。

【0019】

しかし、上記の作業は、画像アンカー７１及び点群アンカー７２の細かな調節が必要なため、ユーザにとって非常に手間と時間のかかる作業である。そこで、本実施の形態では、撮像画像３１に、３次元のオブジェクトデータの一例である３Ｄ点群データ３２を合わせ込んで撮像画像３１に適合する点群画像７０を得ることを、簡単に行うことができる技術について説明する。

【0020】

＜システム構成＞
図２は、本実施の形態に係る情報処理システム１の構成例を示すブロック図である。

【0021】

情報処理システム１は、撮像装置１１、入力装置１２、表示装置１３、及び、情報処理装置２０を含んで構成される。

【0022】

撮像装置１１は、現実空間の地物を撮像し、撮像画像３１を生成する。撮像装置１１はカメラと読み替えられてもよい。撮像画像３１は、静止画又は動画のいずれであってもよい。

【0023】

入力装置１２は、ユーザからの入力操作を受け付ける。入力装置１２の例として、キーボード、マウス、マイク、コントローラ、タッチパネル、又は、ジェスチャセンサ等が挙げられる。

【0024】

表示装置１３は、画像を表示する。表示装置１３の例として、液晶ディスプレイ、有機ＥＬディスプレイ、又は、透過型ディスプレイ等が挙げられる。

【0025】

情報処理装置２０は、プロセッサ２１、メモリ２２、通信Ｉ／Ｆ（Interface）２３、入力Ｉ／Ｆ２４、表示Ｉ／Ｆ２５、ストレージ２６、及び、バス２７を備える。プロセッサ２１、メモリ２２、通信Ｉ／Ｆ２３、入力Ｉ／Ｆ２４、表示Ｉ／Ｆ２５、及び、ストレージ２６は、双方向通信可能なバス２７に接続される。

【0026】

メモリ２２は、情報処理装置２０が取り扱うプログラム及びデータ等を記憶する。メモリ２２は、ＲＯＭ（Read-Only Memory）及びＲＡＭ（Random Access Memory）を含んでよい。

【0027】

プロセッサ２１は、他の構成要素２２〜２６と協働しながら種々の処理を実行することにより、本実施の形態に係る情報処理装置２０が提供する機能を実現する。例えば、プロセッサ２１は、メモリ２２からプログラムを読み出して実行することにより、本実施の形態に係る情報処理装置２０が提供する機能を実現する。したがって、本実施の形態において情報処理装置２０を主体として説明する処理は、情報処理装置２０が備えるプロセッサ２１を主体とする処理に読み替えることができる。また、プロセッサ２１は、ＣＰＵ（Central Processing Unit）、コントローラ、制御部、制御装置、制御回路といった他の用語に読み替えられてもよい。なお、情報処理装置２０（又はプロセッサ２１）が行う処理の詳細については後述する。

【0028】

通信Ｉ／Ｆ２３は、情報処理装置２０を、インターネットに代表される所定の通信ネットワーク（図示しない）に接続するためのインタフェースである。通信Ｉ／Ｆ２３は、無線信号を送受信する無線通信Ｉ／Ｆ、又は、有線ケーブルが接続される有線通信Ｉ／Ｆのうちの少なくとも１つを含んでよい。無線通信Ｉ／Ｆが対応する通信方式の例として、Ｗｉ−Ｆｉ（登録商標）、ＬＴＥ（Long Term Evolution）、４Ｇ、５Ｇが挙げられる。有線通信Ｉ／Ｆが対応する通信方式の例として、Ｅｔｈｅｒｎｅｔ（登録商標）が挙げられる。

【0029】

また、通信Ｉ／Ｆ２３には、撮像装置１１が接続されてよい。通信Ｉ／Ｆ２３は、撮像装置１１から撮像画像３１を受信し、その受信した撮像画像３１をプロセッサ２１、メモリ２２又はストレージ２６に送信してよい。

【0030】

入力Ｉ／Ｆ２４は、入力装置１２を接続するためのインタフェースである。入力Ｉ／Ｆ２４は、入力装置１２からユーザの入力操作に関する情報を受信し、その受信した入力操作に関する情報をプロセッサ２１へ送信してよい。

【0031】

表示Ｉ／Ｆ２５は、表示装置１３を接続するためのインタフェースである。表示Ｉ／Ｆ２５は、プロセッサ２１から画像に関するデータを受信し、その受信した画像に関するデータを表示装置１３へ送信してよい。表示装置１３は、画像に関するデータを受信し、画像を表示する。

【0032】

ストレージ２６は、不揮発性記憶媒体の一例であり、情報処理装置２０が取り扱うプログラム及びデータ等を格納する。ストレージ２６の例として、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、フラッシュメモリが挙げられる。

【0033】

例えば、ストレージ２６は、情報又はデータとして、撮像画像３１、３Ｄ点群データ３２、ＡＲ画像３３、及び、学習器３４を格納する。これらの情報又はデータの少なくとも一部は、メモリ２２に格納されてもよい。これらの情報又はデータの詳細については適宜説明する。

【0034】

なお、撮像装置１１及び表示装置１３は一体型の装着可能なヘッドセットであってよい。情報処理装置２０はヘッドセットに組み込まれてもよい。あるいは、情報処理装置２０とヘッドセットとは別体であり、ヘッドセットは有線又は無線によって情報処理装置２０に接続されてもよい。

【0035】

＜撮像画像に３Ｄ点群データを合わせ込む第１の方法＞
次に、図３Ａ、図３Ｂ、図４、図５を参照して、撮像画像３１に３Ｄ点群データ３２を合わせ込む第１の方法について説明する。

【0036】

図３Ａは、本実施の形態に係る第１の方法における撮像画像３１の表示画面を示す図である。図３Ｂは、本実施の形態に係る第１の方法における第１の点群画像の表示画面を示す図である。図４は、本実施の形態に係る第１の点群画像の生成処理の一例を示すフローチャートである。図５は、本実施の形態に係る第１の方法における第２の点群画像の生成処理の一例を示すフローチャートである。

【0037】

まず、図４に示すフローチャートについて説明する。

【0038】

情報処理装置２０は、撮像画像３１の撮像位置及び撮像方向を特定する（Ｓ１１）。例えば、情報処理装置２０は、撮像装置１１が備えるＧＮＳＳ（Global Navigation Satellite System）の受信機を用いて撮像位置を特定し、撮像装置１１が備える電子コンパス（磁気センサ）を用いて撮像方向を特定する。撮像位置は、緯度及び経度にて表現されてよい。撮像方向は、北を基準とした３６０度の値（つまり方位角）によって表現されてよい。

【0039】

情報処理装置２０は、撮像位置及び撮像方向における現実空間を３Ｄレーザスキャナによって３Ｄスキャンして生成された３Ｄ点群データ３２を、例えば、所定のサーバ（図示しない）から取得する（Ｓ１２）。３Ｄレーザスキャナの例として、ＴｏＦ（Time of Flight）センサ、又は、ＬｉＤＡＲ（Light Detection and Ranging）が挙げられる。なお、３Ｄ点群データ３２は、３Ｄレーザスキャナによる生成に限られず、どのような方法で生成されてもよい。例えば、３Ｄ点群データ３２は、フォトグラメトリ技術により、現実空間の地物を複数の互いに異なる方向から撮像した複数の画像に基づいて生成されてもよい。

【0040】

情報処理装置２０は、公知の点群セグメンテーション技術を用いて、３Ｄ点群データ３２における各地物のセグメンテーションを検出する（Ｓ１３）。点群セグメンテーション技術の例として、３Ｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｓｅｇｍｅｎｔａｔｉｏｎ、ＰｏｉｎｔＮｅｔ又はＰｏｉｎｔＮｅｔ＋＋などが挙げられる。例えば、情報処理装置２０は、３Ｄ点群データ３２から、建物のセグメンテーション、道路のセグメンテーション、標識のセグメンテーション等を検出する。

【0041】

情報処理装置２０は、公知の画像セグメンテーション技術を用いて、撮像画像３１における各地物のセグメンテーションを検出する（Ｓ１４）。画像セグメンテーション技術の例として、ＳｅｇＮｅｔ又はＵ−Ｎｅｔなどが挙げられる。例えば、情報処理装置２０は、撮像画像３１から、建物のセグメンテーション、道路のセグメンテーション、標識のセグメンテーション等を検出する。

【0042】

情報処理装置２０は、３Ｄ点群データ３２のある地物のセグメンテーションが、撮像画像３１の同じ地物を示すセグメンテーションとマッチングするように、３Ｄ点群データ３２の視点位置及び視点方向、並びに、拡大縮小率を調整し、撮像画像３１に対応する第１の点群画像３６を得る（Ｓ１５）。すなわち、第１の点群画像３６は、３Ｄ点群データ３２を撮像位置から撮像方向に見た場合の点群画像に相当する。ただし、第１の点群画像３６は、上述したように、セグメンテーションのマッチングによって得られたものであるため、撮像画像３１に対する第１の点群画像３６の適合精度は、後述する撮像画像３１に対する第２の点群画像（図示しない）の適合精度と比べて、低くなりやすい。

【0043】

次に、図５に示すフローチャートについて説明する。図５に示す処理は、図４に示す処理の後に実行される。

【0044】

情報処理装置２０は、図３Ａに示すように、撮像画像３１を表示装置１３に表示する（Ｓ２１）。

【0045】

ユーザは、図３Ａに示すように、入力装置１２を操作して、表示された撮像画像３１に少なくとも４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄを設定する（Ｓ２２）。例えば、ユーザは、撮像画像３１において特徴的な位置（例えば物体の角、物体と物体の境界など）に画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄを設定する。なお、以下の説明にいて、画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄを区別しない場合は、画像選定点４１と表現する。ここで、画像選定点４１の数が４つ以上である理由は、次のとおりである。すなわち、３次元の位置関係が既知である４つ以上の点がある場合、これらの点をある２次元平面に射影して形成される４つの点から、元の３次元位置を算出できる、という数学的公理による。

【0046】

情報処理装置２０は、図３Ｂに示すように、図４のステップＳ１５で生成された第１の点群画像３６を表示装置１３に表示する（Ｓ２３）。なお、情報処理装置２０は、図３Ａに示す撮像画像３１及びそれに設定した画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄと、図３Ｂに示す第１の点群画像３６と、を並べて表示装置１３に表示してもよい。これにより、ユーザは、次のステップＳ２４にて、画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄの位置を見ながら、点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｄを設定することができる。なお、点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｄを区別しない場合は、点群選定点４２と表現する。

【0047】

ユーザは、図３Ｂに示すように、入力装置１２を操作して、表示された第１の点群画像３６に、ステップＳ２２で設定した４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄに対応する４つの点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｄを設定する（Ｓ２４）。

【0048】

情報処理装置２０は、４つの点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｄが４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄとそれぞれ一致するように、視点位置及び視点方向から決定される３次元座標系において、３Ｄ点群データ３２の平行移動距離、回転角度、並びに、拡大縮小率を算出し、撮像画像３１に対応する第２の点群画像（図示しない）を得る（Ｓ２５）。例えば、情報処理装置２０は、４つの点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｄが４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄとそれぞれ一致する平行移動距離、回転角度、拡大縮小率を一般化逆行列により瞬時に算出し、これら平行移動距離、回転角度、拡大縮小率を３Ｄ点群データ３２に適用して、第２の点群画像を生成する。このように、４つの点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｄと４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｄとをそれぞれ一致させることにより、撮像画像３１に対する第２の点群画像の適合精度は、撮像画像３１に対する第１の点群画像の適合精度と比べて、高くなる。

【0049】

情報処理装置２０は、撮像画像３１と第２の点群画像とを重畳してＡＲ画像３３を生成し、表示装置１３に表示する（Ｓ２６）。

【0050】

上述した処理によれば、ユーザは、画像選定点４１と点群選定点４２を設定すればよく、従来のように、画像アンカー７１及び点群アンカー７２の位置及び傾きを調整する場合と比べて、簡単かつ効率的に撮像画像３１に３Ｄ点群データ３２を合わせ込むことができる。

【0051】

なお、情報処理装置２０は、ステップＳ２１にて撮像画像３１を表示する際に、画像選定点４１を設定するに適切な位置（以下、画像選定点の候補と称する）を、撮像画像３１上に表示してもよい。情報処理装置２０は、例えばＡＫＡＺＥ法により撮像画像３１から特徴点（以下、２Ｄ特徴点と称する）を検出し、当該２Ｄ特徴点における特徴量（以下、２Ｄ特徴量と称する）に基づいて、画像選定点の候補を決定してよい。例えば、情報処理装置２０は、撮像画像３１において、周囲の各位置における２Ｄ特徴量と大きく異なる２Ｄ特徴量を有する２Ｄ特徴点を、画像選定点の候補に決定する。２Ｄ特徴量は多元ベクトルで表現されてよく、２つの２Ｄ特徴量が大きく異なる場合とは、２つの多元ベクトルの内積が所定の閾値以上である場合、あるいは、２つの多元ベクトルの各要素の差の絶対値が所定の閾値以上である場合であってよい。これにより、ユーザは、表示された画像選定点の候補の中から４つの画像選定点４１を選択すればよく、より簡単に画像選定点４１を設定できる。

【0052】

また、情報処理装置２０は、ステップＳ２３にて第１の点群画像３６を表示する際に、点群選定点４２を設定するに適切な位置（以下、点群選定点の候補と称する）を、第１の点群画像３６上に表示してよい。情報処理装置２０は、後述する学習器３４を用いて、ステップＳ２２にて設定された画像選定点４１における２Ｄ特徴点に対応する３Ｄ特徴点と特定し、その特定した３Ｄ特徴点を点群選定点の候補に決定してよい。これにより、ユーザは、表示された点群選定点の候補のうち、画像選定点４１に正しく対応している点群選定点の候補を点群選定点４２として選択すればよく、より簡単に点群選定点４２を設定できる。

【0053】

＜撮像画像に３Ｄ点群データを合わせ込む第２の方法＞
次に、図４、図６Ａ、図６Ｂ、図７を参照して、撮像画像３１に３Ｄ点群データ３２を合わせ込む第２の方法について説明する。

【0054】

図６Ａは、本実施の形態に係る第２の方法における撮像画像３１の表示画面を示す図である。図６Ｂは、本実施の形態に係る第２の方法における第２の点群画像の表示画面を示す図である。図７は、本実施の形態に係る第２の方法における第２の点群画像の生成処理の一例を示すフローチャートである。

【0055】

次に、図７に示すフローチャートについて説明する。図７に示す処理は、図４に示す処理の後に実行される。

【0056】

情報処理装置２０は、図６Ａに示すように、撮像画像３１を、中心で交差する２本の直線５１Ａ、５１Ｂによって４分割する（Ｓ３１）。２本の直線５１Ａ、５１Ｂは、水平方向に延びる直線５１Ａと、垂直方向に延びる直線５１Ｂであってよい。あるいは、２本の直線５１Ａ、５１Ｂは、撮像画像３１の対角線であってよい。なお、撮像画像３１の分割方法は２本の直線による分割に限られず、少なくとも４分割できれば、どのような分割方法であってもよい。また、分割数も４分割に限られず、２分割以上であれば何分割であってもよい。

【0057】

情報処理装置２０は、撮像画像３１における４分割によって形成された４つの区画５２Ａ、５２Ｂ、５２Ｃ、５２Ｄのそれぞれから少なくとも１つの２Ｄ特徴点を検出できるか否かを判定する（Ｓ３２）。

【0058】

情報処理装置２０は、４つの区画５２Ａ、５２Ｂ、５２Ｃ、５２Ｄのそれぞれから少なくとも１つの２Ｄ特徴点を検出できる場合（Ｓ３２：ＹＥＳ）、各区画５２Ａ、５２Ｂ、５２Ｃ、５２Ｄから１つずつ２Ｄ特徴点を選択し、それらを画像選定点４１に設定する（Ｓ３３）。これにより、４つの画像選定点４１が得られる。加えて、４つの画像選定点４１が撮像画像３１の一部分に偏って設定されることなく、４つの画像選定点４１が撮像画像３１の全体に満遍なく設定されるので、後述するステップＳ３６において、撮像画像３１により適合する第２の点群画像を生成することができる。そして、情報処理装置２０は、処理をステップＳ３６に進める。

【0059】

情報処理装置２０は、２Ｄ特徴点を検出できない区画が存在する場合（Ｓ３２：ＮＯ）、まず、２Ｄ特徴点を検出できた各区画５２Ｂ、５２Ｃ、５２Ｄから１つずつ２Ｄ特徴点６１Ａ、６１Ｂ、６１Ｃを選択し、それらを画像選定点４１Ａ、４１Ｂ、４１Ｃに設定する（Ｓ３４）。次に、情報処理装置２０は、検出できなかった数だけ、２Ｄ特徴点を検出できなかった区画５２Ａとは異なる区画５２Ｃから検出された２Ｄ特徴点６１Ｅを選択し、画像選定点４１Ｅとする（Ｓ３５）。これにより、４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｅが得られる。そして、情報処理装置２０は、処理をステップＳ３６に進める。

【0060】

ステップＳ３６として、情報処理装置２０は、学習器３４を用いて、図６Ｂに示すように、３Ｄ点群データ３２から、４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｅ（２Ｄ特徴点６１Ａ、６１Ｂ、６１Ｃ、６１Ｅ）に対応する４つの３Ｄ特徴点６３Ａ、６３Ｂ、６３Ｃ、６３Ｅを検出し、点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｅとする（Ｓ３６）。学習器３４は、地物の共通部分における撮像画像３１の２Ｄ特徴量６２（図９参照）と３Ｄ点群データ３２の３Ｄ特徴量６５（図９参照）との対応関係を予め学習させた学習モデルである。学習器３４は、２Ｄ特徴量６２を入力すると、当該２Ｄ特徴量６２に対応する３Ｄ特徴量６５を出力する。情報処理装置２０は、この出力された３Ｄ特徴量６５を有する３Ｄ特徴点６３を３Ｄ点群データ３２から特定することにより、画像選定点４１（２Ｄ特徴点６１）に対応する３Ｄ特徴点６３（つまり点群選定点４２）を検出することができる。なお、３Ｄ特徴量６５は、多元ベクトルで表現されてよい。また、学習器３４の生成方法については後述する。

【0061】

情報処理装置２０は、４つの点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｅが４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｅとそれぞれ一致するように、視点位置及び視点方向から決定される３次元座標系において、３Ｄ点群データ３２の平行移動距離、回転角度、並びに、拡大縮小率を算出し、撮像画像３１に対応する第２の点群画像（図示しない）を得る（Ｓ３７）。例えば、情報処理装置２０は、４つの点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｅが４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｅとそれぞれ一致する平行移動距離、回転角度、拡大縮小率を一般化逆行列により瞬時に算出し、これら平行移動距離、回転角度、拡大縮小率を３Ｄ点群データ３２に適用して、第２の点群画像を生成する。このように、４つの点群選定点４２Ａ、４２Ｂ、４２Ｃ、４２Ｅと４つの画像選定点４１Ａ、４１Ｂ、４１Ｃ、４１Ｅとをそれぞれ一致させることにより、撮像画像３１に対する第２の点群画像の適合精度は、撮像画像３１に対する第１の点群画像の適合精度と比べて、高くなる。

【0062】

情報処理装置２０は、撮像画像３１と第２の点群画像とを重畳してＡＲ画像３３を生成し、表示装置１３に表示する（Ｓ３８）。

【0063】

上述した処理によれば、第１の方法と比べて、ユーザに画像選定点４１及び点群選定点４２を手動設定させることなく、情報処理装置２０は、撮像画像３１に３Ｄ点群データ３２を自動的に合わせ込むことができる。

【0064】

＜学習器の生成方法＞
次に、図８、図９を参照して、学習器３４の生成方法について説明する。

【0065】

図８は、本実施の形態に係る学習器３４の生成処理の一例を示すフローチャートである。図９は、本実施の形態に係る学習器３４の学習処理を説明するための模式図である。

【0066】

次に、図８に示すフローチャートについて説明する。なお、以下では、情報処理装置２０が学習器３４を生成しているが、他の装置が学習器３４を生成してもよい。この場合、情報処理装置２０は、他の装置で生成された学習器３４を取得して利用すればよい。

【0067】

情報処理装置２０は、現実空間の地物の３Ｄモデルデータである仮想地物モデルデータを仮想空間内に配置する（Ｓ５１）。仮想地物モデルデータは、ユーザ又は他の装置によって予め作成されたものであってよい。

【0068】

情報処理装置２０は、仮想空間内に仮想的な３Ｄレーザスキャナ（以下、仮想３Ｄレーザスキャナと称する）を設置して、仮想地物モデルデータを３Ｄスキャンし、当該仮想地物モデルデータの３Ｄ点群データ（以下、仮想３Ｄ点群データと称する）を生成する（Ｓ５２）。

【0069】

情報処理装置２０は、仮想空間内の仮想３Ｄレーザスキャナと同じ位置に仮想的な撮像装置（以下、仮想撮像装置と称する）を設置して、仮想地物モデルデータを撮像し、当該仮想地物モデルデータの撮像画像（以下、仮想撮像画像と称する）を生成する（Ｓ５３）。仮想空間内であるため、仮想３Ｄレーザスキャナと仮想撮像装置を同じ位置に設置できる。これにより、共通の位置から共通の方向を３Ｄスキャン及び撮像した仮想３Ｄ点群データ３２及び仮想撮像画像を得ることができる。

【0070】

情報処理装置２０は、仮想３Ｄ点群データから３Ｄ特徴点６３を検出し、当該３Ｄ特徴点６３における３Ｄ特徴量６４を算出する（Ｓ５４）。

【0071】

情報処理装置２０は、仮想撮像画像から２Ｄ特徴点６１を検出し、当該２Ｄ特徴点６１における２Ｄ特徴量６２を算出する（Ｓ５５）。

【0072】

情報処理装置２０は、図９に示すように、２Ｄ特徴点６１の２Ｄ特徴量６２を入力データとし、当該２Ｄ特徴点６１と同じ位置における３Ｄ特徴点６３の３Ｄ特徴量６４を正解データとする教師データセットを生成する（Ｓ５６）。上述したように、仮想レーザスキャナと仮想撮像装置は、同じ位置に設置されるので、仮想地物モデルデータにおける共通部分の２Ｄ特徴点６１と３Ｄ特徴点６３との間にずれが存在しない。加えて、上述したステップＳ５２〜Ｓ５６の処理は仮想空間を用いた処理であるため、情報処理装置２０は、教師データセットを大量に生成することができる。

【0073】

情報処理装置２０は、生成した大量の教師データセットを用いて、２Ｄ特徴量６２を入力した場合に、共通部分における正解の３Ｄ特徴量６４を出力するように、学習器３４の機械学習（例えばディープラーニング）を行う（Ｓ５７）。ディープラーニングを適用する場合、学習器３４はＤＮＮ（Deep Neural Network）として構成されてよい。例えば、図９に示すように、情報処理装置２０は、学習器３４に２Ｄ特徴量６２を入力した場合に出力される３Ｄ特徴量６５と、正解の３Ｄ特徴量６４とを比較して、そのずれが小さくなるように学習器３４の学習を行う。これにより、撮像画像３１と３Ｄ点群データ３２の共通部分における２Ｄ特徴量６２と３Ｄ特徴量６５とを関連付けることができる学習器３４を生成できる。

【0074】

（本開示のまとめ）
本開示は以下のように表現できる。

【0075】

＜表現１＞
現実空間を撮像した撮像画像３１に当該現実空間を３次元スキャンして得られた３次元点群データ３２を重畳させる情報処理装置２０は、プロセッサ２１及びメモリ２２を備え、プロセッサ２１はメモリ２２と協働して、撮像画像３１に少なくとも４つの画像選定点４１を設定し、撮像画像３１の撮像位置及び撮像方向と共通する視点位置及び視点方向から３次元点群データ３２を見た場合の点群画像である第１の点群画像に、少なくとも４つの画像選定点４１に対応する少なくとも４つの点群選定点４２を設定し、画像選定点４１と点群選定点４２の対応関係に基づいて、撮像画像３１に適合する第２の点群画像を生成する。
これにより、撮像画像３１に対する３次元点群データ３２の合わせ込み、すなわち、撮像画像３１に適合する第２の点群画像の生成を簡単かつ効率的に行うことができる。加えて、第１の点群画像よりも撮像画像３１に対する適合精度が高い第２の点群画像を生成することができる。

【0076】

＜表現２＞
表現１に記載の情報処理装置２０において、プロセッサ２１は、撮像画像３１に第２の点群画像を重畳した画像（ＡＲ画像３３）を生成し、表示装置１３に表示してよい。
これにより、撮像画像３１と第２の点群画像とが精度良く重畳された画像（ＡＲ画像３３）を表示することができる。

【0077】

＜表現３＞
表現１又は２に記載の情報処理装置２０において、プロセッサ２１は、撮像画像３１のセグメンテーションと、３Ｄ点群データ３２のセグメンテーションとのマッチングに基づいて、第１の点群画像を生成してよい。
これにより、効率的に第１の点群画像を生成できる。

【0078】

＜表現４＞
表現１から３のいずれか１つに記載の情報処理装置２０において、プロセッサ２１は、撮像画像３１から特徴点（２Ｄ特徴点６１）を検出し、検出した特徴点（２Ｄ特徴点６１）の中から画像選定点４１を設定してよい。
これにより、自動的に画像選定点４１を設定することができる。

【0079】

＜表現５＞
表現４に記載の情報処理装置２０において、上記特徴点（２Ｄ特徴点６１）は、撮像画像３１を４分割した各区画５２Ａ、５２Ｂ、５２Ｃ、５２Ｄから検出されたものであってよい。
これにより、画像選定点４１が撮像画像３１の全体に満遍なく設定されるので、撮像画像３１により適合する第２の点群画像を生成することができる。

【0080】

＜表現６＞
表現１から５のいずれか１つに記載の情報処理装置２０において、プロセッサ２１は、地物の共通部分における撮像画像の特徴点（２Ｄ特徴点６１）の特徴量（２Ｄ特徴量６２）と、当該共通部分における３次元点群データ３２の特徴点（３Ｄ特徴点６３）の特徴量（３Ｄ特徴量６５）との対応関係を学習済みである学習器３４を用いて、画像選定点４１に対応する点群選定点４２を設定してよい。
これにより、自動的に画像選定点４１に対応する点群選定点４２を設定することができる。

【0081】

＜表現７＞
表現１から３のいずれか１つに記載の情報処理装置２０において、プロセッサ２１は、撮像画像３１と第１の点群画像とを表示装置１３に表示し、表示された撮像画像３１に対する画像選定点４１をユーザに設定させ、表示された第１の点群画像に対して画像選定点４１に対応する点群選定点４２をユーザに設定させてよい。
これにより、ユーザは、画像選定点４１と点群選定点４２を設定すればよいので、撮像画像３１に３次元点群データ３２を合わせ込む作業を簡単かつ効率的に行うことができる。

【0082】

＜表現８＞
情報処理装置２０によって、現実空間を撮像した撮像画像３１に現実空間を３次元スキャンして得られた３次元点群データ３２を重畳させる情報処理方法では、撮像画像３１に少なくとも４つの画像選定点４１を設定し、撮像画像３１の撮像位置及び撮像方向に対応する視点位置及び視点方向から３次元点群データ３２を見た場合の点群画像である第１の点群画像に、少なくとも４つの画像選定点４１に対応する少なくとも４つの点群選定点４２を設定し、画像選定点４１と点群選定点４２の対応関係に基づいて、撮像画像３１に適合する第２の点群画像を生成する。
これにより、撮像画像３１に対する３次元点群データ３２の合わせ込み、すなわち、撮像画像３１に適合する第２の点群画像の生成を簡単かつ効率的に行うことができる。加えて、第１の点群画像よりも撮像画像３１に対する適合精度が高い第２の点群画像を生成することができる。

【0083】

上述した実施の形態の各構成要素は、発明の趣旨を逸脱しない範囲において、変更、修正、置換、付加、削除、均等等が可能である。加えて、上述した実施の形態の各構成要素は、発明の趣旨を逸脱しない範囲において、任意に組み合わせが可能である。

【産業上の利用可能性】

【0084】

本開示の技術は、現実空間を撮像した画像に３次元のオブジェクトを重畳して表示するシステム又は装置等に有用である。

【符号の説明】

【0085】

１ 情報処理システム
１１ 撮像装置
１２ 入力装置
１３ 表示装置
２０ 情報処理装置
２１ プロセッサ
２２ メモリ
２３ 通信Ｉ／Ｆ
２４ 入力Ｉ／Ｆ
２５ 表示Ｉ／Ｆ
２６ ストレージ
２７ バス
３１ 撮像画像
３２ ３Ｄ点群データ
３３ ＡＲ画像
３４ 学習器
３６ 第１の点群画像
４１、４１Ａ、４１Ｂ、４１Ｃ、４１Ｄ、４１Ｅ 画像選定点
４２、４２Ａ、４２Ｂ、４２Ｃ、４２Ｄ、４２Ｅ 点群選定点
５１Ａ、５１Ｂ 直線
５２Ａ、５２Ｂ、５２Ｃ、５２Ｄ 区画
６１ ２Ｄ特徴点
６２ ２Ｄ特徴量
６３ ３Ｄ特徴点
６４、６５ ３Ｄ特徴量
７０ 点群画像
７１ 画像アンカー
７２ 点群アンカー

【要約】

【課題】撮像画像に対する３次元点群データの合わせ込みを簡易化する。
【解決手段】現実空間を撮像した撮像画像に現実空間を３次元スキャンして得られた３次元点群データを重畳させる情報処理装置は、撮像画像に少なくとも４つの画像選定点を設定し、撮像画像の撮像位置及び撮像方向に対応する視点位置及び視点方向から３次元点群データを見た場合の点群画像である第１の点群画像に、少なくとも４つの画像選定点に対応する少なくとも４つの点群選定点を設定し、画像選定点と点群選定点の対応関係に基づいて、撮像画像に適合する第２の点群画像を生成する。
【選択図】図３Ａ

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】