IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ Cellid株式会社の特許一覧

特開2024-84183情報処理装置、情報処理方法及びプログラム
<>
  • 特開-情報処理装置、情報処理方法及びプログラム 図1
  • 特開-情報処理装置、情報処理方法及びプログラム 図2
  • 特開-情報処理装置、情報処理方法及びプログラム 図3
  • 特開-情報処理装置、情報処理方法及びプログラム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024084183
(43)【公開日】2024-06-25
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20240618BHJP
   G06F 3/04815 20220101ALN20240618BHJP
【FI】
G06T19/00 A
G06F3/04815
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022198316
(22)【出願日】2022-12-13
(71)【出願人】
【識別番号】521023539
【氏名又は名称】Cellid株式会社
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】呉 剣明
(72)【発明者】
【氏名】サイ コウシン
(72)【発明者】
【氏名】許 瀚文
(72)【発明者】
【氏名】鎌田 悠奨
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050AA10
5B050BA09
5B050CA07
5B050CA08
5B050EA09
5B050EA27
5B050FA02
5B050FA05
5B050FA09
5E555AA27
5E555BA83
5E555BA87
5E555BB08
5E555BC08
5E555BE16
5E555CA02
5E555CA42
5E555CB05
5E555CB07
5E555DB53
5E555DB57
5E555DC26
5E555DC27
5E555DC51
5E555FA00
(57)【要約】      (修正有)
【課題】対象物の全体と対象物の詳細とを確認しやすくする。
【解決手段】情報処理装置1は、観察の対象物に対応する複数の三次元座標を含む点群データを取得する取得部151と、取得した点群データと、仮想カメラとを仮想空間に配置する配置部152と、点群データの外縁の外側を周回する軌道上で仮想カメラを移動させる第1操作を受け付ける第1操作モード又は点群データの外縁の内側で仮想カメラを移動させる第2操作を受け付ける第2操作モードを選択する操作を受け付けることにより操作モードを選択するモード選択部154と、ユーザの操作に応じて仮想カメラの位置及び撮像向きを制御するカメラ制御部155と、仮想カメラの位置及び撮像向きから仮想カメラが撮像した場合に仮想カメラの撮像範囲に映る点群データに基づいて対象物を示す画像を生成する画像生成部156と、生成された画像を表示部12に表示させる表示制御部157と、を有する。
【選択図】図2
【特許請求の範囲】
【請求項1】
観察の対象物に対応する複数の三次元座標を含む点群データを取得する取得部と、
前記取得部が取得した前記点群データと、前記点群データが示す前記対象物を描画するための仮想カメラとを仮想空間に配置する配置部と、
前記点群データの外縁の外側を周回する軌道上で前記仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は前記点群データの外縁の内側で前記仮想カメラを移動させる第2操作を受け付ける第2操作モードのいずれかを選択する操作を受け付けることにより操作モードを選択するモード選択部と、
ユーザの操作に応じて前記仮想カメラの位置及び撮像向きを制御するカメラ制御部と、
前記仮想カメラの位置及び撮像向きから前記仮想カメラが撮像した場合に前記仮想カメラの撮像範囲に映る点群データに基づいて前記対象物を示す画像を生成する画像生成部と、
前記画像生成部が生成した画像を表示部に表示させる表示制御部と、
を有する情報処理装置。
【請求項2】
前記カメラ制御部は、前記第1操作モードが選択されている場合に前記モード選択部が前記第2操作モードに切り替える操作を受け付けると、前記仮想カメラの位置を、切り替える操作が行われた時点における前記仮想カメラの位置に対応する、前記点群データの外縁の内側の位置に移動させ、前記第2操作モードが選択されている場合に前記モード選択部が前記第1操作モードに切り替える操作を受け付けると、前記仮想カメラの位置を、切り替える操作が行われた時点における前記仮想カメラの位置に対応する、前記点群データの外縁の外側の位置に移動させる、
請求項1に記載の情報処理装置。
【請求項3】
前記カメラ制御部は、前記第1操作モードが選択されている場合に前記モード選択部が前記第2操作モードに切り替える操作を受け付けると、前記仮想カメラの位置を、切り替える操作が行われた時点における前記仮想カメラの位置を起点とし、前記点群データの外縁の内側の位置であって、切り替える操作が行われた時点における前記仮想カメラの撮像向きの直線上の位置に移動させる、
請求項2に記載の情報処理装置。
【請求項4】
前記仮想空間に対し、前記画像生成部が前記点群データに基づく描画を行う対象の空間である表示空間を設定する設定部をさらに有し、
前記画像生成部は、前記点群データのうち、前記設定部が設定した表示空間に含まれる点群データである部分点群データに基づいて前記対象物を描画することにより前記対象物の画像を生成する、
請求項1又は2に記載の情報処理装置。
【請求項5】
前記設定部は、前記点群データに基づいて前記点群データが示す対象物の重心位置を特定し、特定した重心位置から第1距離以内の空間を前記表示空間に設定する、
請求項4に記載の情報処理装置。
【請求項6】
前記設定部は、前記点群データが示す複数の三次元座標のうち、前記重心位置からの距離が最も大きい三次元座標を特定し、前記重心位置から、特定した三次元座標までの距離に基づいて前記第1距離を設定する、
請求項5に記載の情報処理装置。
【請求項7】
前記設定部は、前記点群データに基づいて前記点群データが示す対象物の重心位置を特定し、前記点群データが示す複数の三次元座標のうち、特定した重心位置との距離が所定距離未満の三次元座標を含まず、特定した重心位置との距離が前記所定距離以上の三次元座標を含む空間を前記表示空間に設定する、
請求項4に記載の情報処理装置。
【請求項8】
前記画像生成部により出力された前記画像に映る前記対象物の少なくとも一部の領域の選択を受け付け、選択された領域の測量を行う測量部をさらに有する、
請求項1に記載の情報処理装置。
【請求項9】
前記配置部は、前記画像生成部により出力された前記画像に映る前記対象物の少なくとも一部の領域の選択を受け付け、前記点群データのうち、選択された領域を示す部分点群データを新たな仮想空間に配置するとともに、新たな仮想カメラを当該新たな仮想空間に配置し、
前記画像生成部は、前記新たな仮想カメラが撮像した場合に前記新たな仮想カメラの撮像範囲に映る前記部分点群データに基づいて前記対象物の一部の領域を描画することにより前記対象物の一部の領域の画像を生成する、
請求項1に記載の情報処理装置。
【請求項10】
コンピュータが実行する、
観察の対象物に対応する複数の三次元座標を含む点群データを取得するステップと、
取得した前記点群データと、前記点群データが示す前記対象物を描画するための仮想カメラとを仮想空間に配置するステップと、
前記点群データの外縁の外側を周回する軌道上で前記仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は前記点群データの外縁の内側で前記仮想カメラを移動させる第2操作を受け付ける第2操作モードのいずれかを選択する操作を受け付けることにより操作モードを選択するステップと、
ユーザの操作に応じて前記仮想カメラの位置及び撮像向きを制御するステップと、
前記仮想カメラの位置及び撮像向きから前記仮想カメラが撮像した場合に前記仮想カメラの撮像範囲に映る点群データに基づいて前記対象物を示す画像を生成するステップと、
生成した画像を表示部に表示させるステップと、
を有する情報処理方法。
【請求項11】
コンピュータを、
観察の対象物に対応する複数の三次元座標を含む点群データを取得する取得部、
前記取得部が取得した前記点群データと、前記点群データが示す前記対象物を描画するための仮想カメラとを仮想空間に配置する配置部、
前記点群データの外縁の外側を周回する軌道上で前記仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は前記点群データの外縁の内側で前記仮想カメラを移動させる第2操作を受け付ける第2操作モードのいずれかを選択する操作を受け付けることにより操作モードを選択するモード選択部、
ユーザの操作に応じて前記仮想カメラの位置及び撮像向きを制御するカメラ制御部、
前記仮想カメラの位置及び撮像向きから前記仮想カメラが撮像した場合に前記仮想カメラの撮像範囲に映る点群データに基づいて前記対象物を示す画像を生成する画像生成部、及び、
前記画像生成部が生成した画像を表示部に表示させる表示制御部、
として機能させるプログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
施設等の対象物を計測することにより得られた複数の三次元座標を含む点群データに基づいて生成した対象物の三次元モデルを表示装置に表示させることにより、対象物の検査を行うことが行われている。例えば、特許文献1には、対象物の点群データに基づいて生成した対象物の三次元モデルを表示装置に表示させ、三次元モデルの拡大、縮小、表示位置の移動操作を受け付けることにより、対象物の状態を確認可能とするシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-154467号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
対象物が施設や工場である場合には、対象物の全体を見回しながら、確認が必要な部分について詳細な確認を行いながら、対象物の確認を進める場合がある。これに対し、従来のシステムは、三次元モデルの拡大、縮小、表示位置の移動操作を受け付けるものに過ぎず、対象物の全体を見回しながら、確認が必要な部分について詳細な確認を容易に行うことができないという問題があった。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、対象物の全体と対象物の詳細とを確認しやすくすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様に係る情報処理装置は、観察の対象物に対応する複数の三次元座標を含む点群データを取得する取得部と、前記取得部が取得した前記点群データと、前記点群データが示す前記対象物を描画するための仮想カメラとを仮想空間に配置する配置部と、前記点群データの外縁の外側を周回する軌道上で前記仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は前記点群データの外縁の内側で前記仮想カメラを移動させる第2操作を受け付ける第2操作モードのいずれかを選択する操作を受け付けることにより操作モードを選択するモード選択部と、ユーザの操作に応じて前記仮想カメラの位置及び撮像向きを制御するカメラ制御部と、前記仮想カメラの位置及び撮像向きから前記仮想カメラが撮像した場合に前記仮想カメラの撮像範囲に映る点群データに基づいて前記対象物を示す画像を生成する画像生成部と、前記画像生成部が生成した画像を表示部に表示させる表示制御部と、を有する。
【0007】
前記カメラ制御部は、前記第1操作モードが選択されている場合に前記モード選択部が前記第2操作モードに切り替える操作を受け付けると、前記仮想カメラの位置を、切り替える操作が行われた時点における前記仮想カメラの位置に対応する、前記点群データの外縁の内側の位置に移動させ、前記第2操作モードが選択されている場合に前記モード選択部が前記第1操作モードに切り替える操作を受け付けると、前記仮想カメラの位置を、切り替える操作が行われた時点における前記仮想カメラの位置に対応する、前記点群データの外縁の外側の位置に移動させてもよい。
【0008】
前記カメラ制御部は、前記第1操作モードが選択されている場合に前記モード選択部が前記第2操作モードに切り替える操作を受け付けると、前記仮想カメラの位置を、切り替える操作が行われた時点における前記仮想カメラの位置を起点とし、前記点群データの外縁の内側の位置であって、切り替える操作が行われた時点における前記仮想カメラの撮像向きの直線上の位置に移動させてもよい。
【0009】
前記情報処理装置は、前記仮想空間に対し、前記画像生成部が前記点群データに基づく描画を行う対象の空間である表示空間を設定する設定部をさらに有し、前記画像生成部は、前記点群データのうち、前記設定部が設定した表示空間に含まれる点群データである部分点群データに基づいて前記対象物を描画することにより前記対象物の画像を生成してもよい。
【0010】
前記設定部は、前記点群データに基づいて前記点群データが示す対象物の重心位置を特定し、特定した重心位置から第1距離以内の空間を前記表示空間に設定してもよい。
前記設定部は、前記点群データが示す複数の三次元座標のうち、前記重心位置からの距離が最も大きい三次元座標を特定し、前記重心位置から、特定した三次元座標までの距離に基づいて前記第1距離を設定してもよい。
【0011】
前記設定部は、前記点群データに基づいて前記点群データが示す対象物の重心位置を特定し、前記点群データが示す複数の三次元座標のうち、特定した重心位置との距離が所定距離未満の三次元座標を含まず、特定した重心位置との距離が前記所定距離以上の三次元座標を含む空間を前記表示空間に設定してもよい。
前記情報処理装置は、前記画像生成部により出力された前記画像に映る前記対象物の少なくとも一部の領域の選択を受け付け、選択された領域の測量を行う測量部をさらに有してもよい。
【0012】
前記配置部は、前記画像生成部により出力された前記画像に映る前記対象物の少なくとも一部の領域の選択を受け付け、前記点群データのうち、選択された領域を示す部分点群データを新たな仮想空間に配置するとともに、新たな仮想カメラを当該新たな仮想空間に配置し、前記画像生成部は、前記新たな仮想カメラが撮像した場合に前記新たな仮想カメラの撮像範囲に映る前記部分点群データに基づいて前記対象物の一部の領域を描画することにより前記対象物の一部の領域の画像を生成してもよい。
【0013】
本発明の第2の態様に係る情報処理方法は、コンピュータが実行する、観察の対象物に対応する複数の三次元座標を含む点群データを取得するステップと、取得した前記点群データと、前記点群データが示す前記対象物を描画するための仮想カメラとを仮想空間に配置するステップと、前記点群データの外縁の外側を周回する軌道上で前記仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は前記点群データの外縁の内側で前記仮想カメラを移動させる第2操作を受け付ける第2操作モードのいずれかを選択する操作を受け付けることにより操作モードを選択するステップと、ユーザの操作に応じて前記仮想カメラの位置及び撮像向きを制御するステップと、前記仮想カメラの位置及び撮像向きから前記仮想カメラが撮像した場合に前記仮想カメラの撮像範囲に映る点群データに基づいて前記対象物を示す画像を生成するステップと、生成した画像を表示部に表示させるステップと、を有する。
【0014】
本発明の第3の態様に係るプログラムは、コンピュータを、観察の対象物に対応する複数の三次元座標を含む点群データを取得する取得部、前記取得部が取得した前記点群データと、前記点群データが示す前記対象物を描画するための仮想カメラとを仮想空間に配置する配置部、前記点群データの外縁の外側を周回する軌道上で前記仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は前記点群データの外縁の内側で前記仮想カメラを移動させる第2操作を受け付ける第2操作モードのいずれかを選択する操作を受け付けることにより操作モードを選択するモード選択部、ユーザの操作に応じて前記仮想カメラの位置及び撮像向きを制御するカメラ制御部、前記仮想カメラの位置及び撮像向きから前記仮想カメラが撮像した場合に前記仮想カメラの撮像範囲に映る点群データに基づいて前記対象物を示す画像を生成する画像生成部、及び、前記画像生成部が生成した画像を表示部に表示させる表示制御部、として機能させる。
【発明の効果】
【0015】
本発明によれば、対象物の全体と対象物の詳細とを確認しやすくすることができるという効果を奏する。
【図面の簡単な説明】
【0016】
図1】情報処理装置の概要を示す図である。
図2】情報処理装置の機能構成を示す図である。
図3】各操作モードにおける操作方法を説明する図である。
図4】点群データを取得してから仮想カメラの位置に対応する画像が生成されるまでの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0017】
[情報処理装置1の概要]
図1は、情報処理装置1の概要を示す図である。情報処理装置1は、パーソナルコンピュータやサーバ等のコンピュータであり、観察の対象物に対応する複数の三次元座標を含む点群データに基づいて対象物を示す画像データを生成する。情報処理装置1は、仮想カメラの位置及び撮像向きから仮想カメラが仮想空間を撮像した場合に仮想カメラの撮像範囲に映る点群データに基づいて、仮想空間内の対象物を示す画像データを生成する。情報処理装置1は、生成した画像データを表示部に表示させる。
【0018】
情報処理装置1は、対象物に対応する点群データを取得し、当該点群データと、点群データが示す対象物を描画するための仮想カメラとを仮想空間に配置する。情報処理装置1は、点群データの外縁の外側を周回する軌道上で仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は前記点群データの外縁の内側で仮想カメラを移動させる第2操作を受け付ける第2操作モードのいずれかを選択する操作を受け付けることにより操作モードを切り替える。情報処理装置1は、ユーザの操作に応じて、選択されている操作モードに対応して、仮想空間における仮想カメラの位置及び撮像向きを制御する。
【0019】
このようにすることで、ユーザは、対象物の外縁の外側で仮想カメラを移動させることにより対象物の全体を確認しやすい第1操作モードと、対象物の外縁の内側で仮想カメラを移動させることにより対象物の詳細を確認しやすい第2操作モードとのいずれかで仮想カメラを移動させながら対象物を確認することができる。したがって、情報処理装置1は、対象物の全体と対象物の詳細とを確認しやすくすることができる。
【0020】
[情報処理装置1の機能構成]
続いて、情報処理装置1の構成の詳細を説明する。図2は、情報処理装置1の機能構成を示す図である。情報処理装置1は、操作部11と、表示部12と、通信部13と、記憶部14と、制御部15とを有する。
【0021】
操作部11は、マウスやキーボード等のユーザの操作を受け付ける入力デバイスである。
表示部12は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等により構成される。
通信部13は、インターネット等のネットワークを介してサーバ等の外部装置とデータを送受信するための通信インターフェースである。
【0022】
記憶部14は、各種のデータを記憶する記憶媒体であり、ROM(Read Only Memory)、RAM(Random Access Memory)、及びハードディスク等を有する。記憶部14は、制御部15が実行するプログラムを記憶する。記憶部14は、制御部15を、取得部151、配置部152、設定部153、モード選択部154、カメラ制御部155、画像生成部156、表示制御部157、及び測量部158として機能させるプログラムを記憶する。
【0023】
制御部15は、例えばCPU(Central Processing Unit)である。制御部15は、記憶部14に記憶されたプログラムを実行することにより、取得部151、配置部152、設定部153、モード選択部154、カメラ制御部155、画像生成部156、表示制御部157、及び測量部158として機能する。
【0024】
取得部151は、観察の対象物に対応する複数の三次元座標を含む点群データを取得する。例えば、記憶部14には、観察の対象物を含む施設内を移動する車両やドローン等の移動体に搭載された撮影装置(不図示)が当該施設内の複数の視点位置で撮影して得られた映像データが予め記憶されている。取得部151は、操作部11を介してユーザから、記憶部14に記憶されている映像データの選択操作と、選択された映像データに基づく点群データの生成指示とを受け付ける。取得部151は、選択操作と生成指示とを受け付けると、選択された映像データが示す映像に含まれる複数の画像データから点群データを生成する技術であるSfM(Structure-from-motion)を用いて、取得した映像データから点群データを取得する。
【0025】
例えば、取得部151は、記憶部14に記憶されている、さまざまな視点位置から撮影して生成された映像データを取得し、取得した映像データに含まれる複数の視点位置に対応する複数の画像データそれぞれに含まれる特徴点を抽出する。取得部151は、複数の画像データから抽出した特徴点のマッチングを行う。取得部151は、複数の画像データのうち、例えば一致する特徴点が相対的に多い2つの画像データを選択し、選択した2つの画像データに含まれる、複数の一致する特徴点の位置関係に基づいて三次元空間座標系における、特徴点の三次元の座標位置を特定する。
【0026】
取得部151は、撮像位置及び撮像向きが未知の画像データを選択した場合、選択した画像データに含まれる特徴点と、三次元の座標位置を特定済みの特徴点とのPnP問題を解くことにより、選択した画像データの撮像位置及び撮像向きを推定する。取得部151は、選択した画像データの撮像位置及び撮像向きと、既に三次元の座標位置が特定されている特徴点の三次元の座標位置とに基づいて三角測量処理を行うことにより、選択した画像データに含まれる特徴点のうち、三次元の座標位置が特定されていない特徴点の三次元の座標位置を算出する。
【0027】
その後、取得部151は、新たな画像データを一つずつ追加し、三次元の座標位置が特定されていない特徴点の三次元の座標位置の算出を繰り返すことにより、三次元の座標位置が特定された複数の特徴点、すなわち、点群データを取得する。なお、特徴点には、三次元の座標位置の他に、カラーの色(R値、G値、B値)やグレースケールの色(256階調)、白黒の色(2階調)を示す画素値が関連付けられていてもよい。
【0028】
なお、取得部151は、複数の画像データと、複数の画像データから取得した点群データとを用いて、さらに密な点群データを復元する技術であるMVS(Multi-View Stereo)を用いて、SfMにより取得した点群データと、複数の画像データとから、密な点群データを復元してもよい。
【0029】
また、取得部151は、ユーザにより選択された映像データを解析することにより点群データを取得したが、これに限らない。例えば、予め生成された観察の対象物に対応する点群データが記憶部14に記憶されていてもよい。取得部151は、記憶部14に記憶されている点群データの選択をユーザから受け付けることにより、選択された点群データを取得してもよい。また、取得部151は、通信部13を介して外部装置に格納されている点群データを取得してもよい。
【0030】
配置部152は、取得部151が取得した点群データと、当該点群データが示す対象物を描画するための仮想カメラとを仮想空間に配置する。具体的にはまず、配置部152は、取得部151が取得した点群データの重心を算出する。点群データが示す複数の点iそれぞれの三次元座標を(x,y,z)(ただし、0≦i≦N)とすると、点群データの重心の三次元座標(X,Y,Z)は、以下に示す式(1)~式(3)で導出される。
【0031】
【数1】
【0032】
配置部152は、仮想空間の原点の位置に、算出した点群データの重心が位置するように点群データを配置する。また、配置部152は、例えば、点群データの外縁の外側を周回する軌道上に仮想カメラを配置するとともに、仮想カメラの画角の中心が仮想空間の原点位置に対応するように仮想カメラの撮像向きを設定する。
【0033】
ここで、点群データの外縁は、例えば、点群データに含まれる複数の三次元座標のうち、原点の位置からの距離が最も大きい三次元座標に基づいて特定されてもよい。例えば、点群データの外縁を、原点の位置を中心とし、原点の位置からの距離が最も大きい三次元座標と原点の位置との距離、又は当該距離よりも大きい距離を半径とした球体の表面としてもよい。
【0034】
また、配置部152は、仮想カメラを仮想空間に配置した時点における、当該仮想カメラを移動させる操作を受け付ける操作モードを、第1操作モードに設定する。なお、配置部152は、例えば、点群データの外縁の内側に仮想カメラを配置し、仮想カメラの撮像向きを予め定められた所定の向きに設定してもよい。この場合、配置部152は、仮想カメラを仮想空間に配置した時点における仮想カメラの操作モードを第2操作モードに設定してもよい。
【0035】
設定部153は、仮想空間に対し、画像生成部156が点群データに基づく描画を行う対象の空間である表示空間を設定する。例えば、設定部153は、操作部11を介してユーザから、仮想空間に配置されている点群データを内包するように表示空間の設定操作を受け付けることにより、表示空間を設定する。また、設定部153は、仮想カメラの視野角、アスペクト比を設定する。設定部153は、仮想カメラの視野角、仮想カメラの位置から撮像することにより生成される画像の縦の長さと横の長さとの比率であるアスペクト比を予め設定された値に設定するものとするが、これに限らず、ユーザから設定を受け付けるようにしてもよい。
【0036】
なお、設定部153は、ユーザから表示空間の設定操作を受け付けることにより表示空間を設定することとしたが、これに限らない。設定部153は、点群データに基づいて点群データが示す対象物の重心位置を特定し、特定した重心位置から第1距離以内の空間を表示空間に設定してもよい。
【0037】
例えば、設定部153は、点群データが示す複数の三次元座標のうち、点群データの重心位置からの距離が最も大きい三次元座標を特定し、点群データの重心位置から、特定した三次元座標までの距離に基づいて第1距離を設定する。第1距離は、点群データの重心位置から、特定した三次元座標までの距離であってもよいし、点群データの重心位置から、特定した三次元座標までの距離よりも大きい距離であってもよい。このようにすることで、情報処理装置1は、点群データ全てを表示空間内に収めて、点群データが示す対象物を表示部12に表示させることができる。
【0038】
また、設定部153は、点群データが示す複数の三次元座標のうち、特定した重心位置との距離が所定距離未満の三次元座標を含まず、特定した重心位置との距離が所定距離以上の三次元座標を含む空間を表示空間に設定してもよい。このようにすることで、情報処理装置1は、重心位置から所定距離以上の場所の点群データを表示部12に表示させることができる。
【0039】
また、上述したように第1距離を設定して点群データ全てを表示空間内に収める場合において、重心位置との距離が第1距離よりも短い第2距離未満の三次元座標に対応する点群データを含まず、特定した重心位置との距離が第2距離以上の三次元座標に対応する部分点群データを含む空間を表示することで、情報処理装置1は、点群データのうち、重心位置から第1距離未満、かつ、第2距離以上の点群データに絞って表示部12に表示させることもできる。例えば、山の森の三次元モデルに対応する点群データに対して重心位置とされる山頂から表示距離を設定すると、山頂、山腹、山麓のそれぞれの領域ごとに点群データが確認できる。そして、それぞれの領域に対応する部分点群データそれぞれに対してオブジェクト認識を利用することにより、それぞれの領域の樹木の数量や種類などの集計情報を得ることができる。
【0040】
モード選択部154は、操作部11を介して、点群データの外縁の外側を周回する軌道上で仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は点群データの外縁の内側で仮想カメラを移動させる第2操作を受け付ける第2操作モードのいずれかを選択する操作をユーザから受け付けることにより操作モードを選択する。
【0041】
図3は、各操作モードにおける操作方法を説明する図である。図3に示すように、第1操作モードは、マウス操作により仮想カメラを操作するモードである。例えば、左クリックにより表示部12に映っている点群データが示す対象物をドラッグした状態でマウスを上下左右に移動させることにより、仮想空間の原点の位置、すなわち、点群データの重心位置を中心とし、点群データの外縁の外側を周回する軌道上で仮想カメラを移動させる第1操作としての軌道操作を行うことができる。ここで、点群データの外縁の外側を周回する軌道は、仮想空間の原点からの距離が一定の位置を周回する軌道であってもよいし、仮想空間の原点からの距離が可変の楕円軌道であってもよい。
【0042】
また、第1操作モードでは、右クリックで対象物をドラッグした状態でマウスを上下左右に移動させることにより、仮想カメラの撮像向きを上下左右に変化させるパン操作を行うことができる。また、第1操作モードでは、マウスホイールを回転させることにより、仮想カメラを仮想空間の原点位置に近づく方向に移動させるズーム操作、又は原点位置から遠ざかる方向に移動させるズームアウト操作を行うことができる。
【0043】
第2操作モードは、図3に示すように、主にキーボードにより点群データの外縁の内側で仮想カメラを操作するモードである。例えば、Wキーを押下することにより、仮想カメラを前方方向(撮像向き)に移動させることができ、Aキーを押下することにより、仮想カメラを後ろ方向に移動させることができる。
【0044】
カメラ制御部155は、ユーザの操作に応じて仮想カメラの位置及び撮像向きを制御する。カメラ制御部155は、操作部11により、選択されている操作モードに対応する操作をユーザから受け付け、受け付けた操作に基づいて仮想カメラの位置と撮像向きとを変更する。
【0045】
例えば、カメラ制御部155は、モード選択部154により第1操作モードが選択されている場合において、左クリックにより対象物をドラッグした状態で、マウスに移動させる操作を受け付けると、仮想空間の原点位置と、仮想カメラとの距離を現在の距離に保ったまま、仮想カメラを点群データの外縁の外側を周回する軌道上で移動させる。例えば、カメラ制御部155は、左クリックにより対象物がドラッグされた状態で、マウスが左右方向に動かされると、画面枠を基準としたときの水平方向の軌道上で仮想カメラを移動させる。また、カメラ制御部155は、左クリックにより対象物をドラッグされた状態で、マウスが上下方向に動かされると、画面枠を基準としたときの上下方向の軌道上で仮想カメラを移動させる。
【0046】
また、カメラ制御部155は、モード選択部154により第2操作モードが選択されている場合において、Wキーを押下する操作を受け付けると、仮想カメラの撮像向きに仮想カメラを移動させる。
【0047】
また、カメラ制御部155は、第1操作モードが選択されている場合にモード選択部154が第2操作モードに切り替える操作を受け付けると、仮想カメラの位置を、切り替える操作が行われた時点における仮想カメラの位置に対応する、点群データの外縁の内側の位置に移動させる。
【0048】
具体的には、カメラ制御部155は、第1操作モードが選択されている場合にモード選択部154が第2操作モードに切り替える操作を受け付けると、仮想カメラの位置を、切り替える操作が行われた時点における仮想カメラの位置を起点とし、点群データの外縁の内側の位置であって、切り替える操作が行われた時点における仮想カメラの撮像向きの直線上の位置に移動させる。また、カメラ制御部155は、操作モードの切替後の仮想カメラの撮像向きを、操作モードを切り替える操作が行われた時点における仮想カメラの撮像向きとする。
【0049】
カメラ制御部155は、操作モードが第2操作モードに切り替えられた場合、仮想カメラの位置を、映像データの撮影位置に移動させるようにしてもよい。カメラ制御部155がこのように動作できるように、映像データを生成する撮像装置が車両やドローン等に設けられており、点群データの生成に使用した映像データを撮影した位置が、点群データの外縁の内側に位置する場合、記憶部14において、点群データの三次元座標と、映像データの撮影位置を示す三次元座標とが関連付けられていてもよい。この場合、カメラ制御部155は、仮想カメラの位置を、切り替える操作が行われた時点における仮想カメラの位置を起点とし、切り替える操作が行われた時点における仮想カメラの撮像向きの直線に対して最も距離が短い撮影位置に移動させるようにしてもよい。このようにすることで、情報処理装置1は、仮想カメラを、映像データの撮影位置、すなわち、点群の三次元座標と重ならない位置に移動させることができる。
【0050】
また、カメラ制御部155は、第2操作モードが選択されている場合にモード選択部154が第1操作モードに切り替える操作を受け付けると、仮想カメラの位置を、切り替える操作が行われた時点における仮想カメラの位置に対応する、点群データの外縁の外側の位置に移動させる。例えば、カメラ制御部155は、仮想カメラの位置を、仮想空間の原点位置を起点とし、点群データの外縁の外側の位置であって、切り替える操作が行われた時点における仮想カメラの位置を通る直線上の位置に移動させる。また、カメラ制御部155は、操作モードの切替後の仮想カメラの撮像向きを、操作モードを切り替える操作が行われた時点における仮想カメラの撮像向きとする。
【0051】
このように、操作モードを切り替えた場合に、仮想カメラの位置及び撮影方向を、操作モードを切り替える前の仮想カメラの位置及び撮影方向に対応させることにより、情報処理装置1は、仮想空間における仮想カメラと点群データとの位置関係をユーザに把握させやすくすることができる。
【0052】
画像生成部156は、カメラ制御部155により制御された仮想カメラの位置及び撮像向きから仮想カメラが撮像した場合に仮想カメラの撮像範囲に映る点群データに基づいて対象物を示す画像を生成する。具体的には、画像生成部156は、点群データのうち、設定部153が設定した表示空間に含まれる点群データである部分点群データに基づいて対象物を描画することにより対象物の画像を生成する。このように表示空間を限定して対象物を描画することにより、情報処理装置1は、表示空間を限定しない場合に比べて、対象物の画像の生成に係る負荷を軽減することができる。
表示制御部157は、画像生成部156が生成した画像を表示部12に出力することにより、当該画像を表示部12に表示させる。
【0053】
測量部158は、操作部11を介して、画像生成部156により出力された画像に映る対象物の少なくとも一部の領域の選択をユーザから受け付け、選択された領域を測量する。例えば、測量部158は、画像生成部156が生成した画像に、測量を行うための直線、曲線、円、球体といった複数のオブジェクトを表示させる。測量部158は、複数のオブジェクトの中から測量に用いるオブジェクトの選択を受け付ける。オブジェクトは、仮想空間内で伸縮可能なオブジェクトであるものとする。
【0054】
測量部158は、選択されたオブジェクトを仮想空間内で伸縮させて、対象物における測定対象の位置に配置する操作と、測量の開始操作を受け付ける。測量部158は、測量の開始操作を受け付けると、選択されたオブジェクトを用いて測量を行い、測量結果を画像生成部156により生成される画像に表示させる。例えば、測量部158は、選択されたオブジェクトが直線状のオブジェクトである場合、伸縮されたオブジェクトの始端と終端との長さを測量し、測量結果を画像生成部156により生成される画像に表示させる。また、測量部158は、選択されたオブジェクトが球体状のオブジェクトである場合、伸縮されたオブジェクトの半径を測量し、測量結果を画像生成部156により生成される画像に表示させる。このようにすることで、ユーザは、仮想空間内で対象物の測量を行うことができる。
【0055】
[動作フロー]
続いて、情報処理装置1の処理の流れについて説明する。図4は、点群データを取得してから仮想カメラの位置に対応する画像が生成されるまでの処理の流れを示すフローチャートである。
まず、取得部151は、観察の対象物に対応する複数の三次元座標を含む点群データを取得する(S1)。
続いて、配置部152は、取得部151が取得した点群データと、仮想カメラとを仮想空間に配置する(S2)。ここでは、配置部152は、操作モードを第1操作モードに設定するものとする。
【0056】
続いて、設定部153は、仮想空間に対し、画像生成部156が点群データに基づく描画を行う対象の空間である表示空間を設定する(S3)。また、設定部153は、仮想カメラの視野角、アスペクト比を設定する。
【0057】
続いて、カメラ制御部155は、モード選択部154により、操作モードが第2操作モードから第1操作モードに切り替えられたかを判定する(S4)。カメラ制御部155は、第1操作モードに切り替えられたと判定すると(S4のYES)、S5に処理を移し、第1操作モードに切り替えられていないと判定すると(S4のNO)、S6に処理を移る。
【0058】
S5において、カメラ制御部155は、仮想カメラを点群データの外縁の外側に移動さる。具体的には、カメラ制御部155は、仮想カメラの撮像向きを維持した状態で、仮想カメラの位置を、切り替える操作が行われた時点における仮想カメラの位置を起点とし、点群データの外縁の内側の位置であって、切り替える操作が行われた時点における仮想カメラの撮像向きの直線上の位置に移動させる。
【0059】
S6において、カメラ制御部155は、モード選択部154により、操作モードが第1操作モードから第2操作モードに切り替えられたかを判定する。カメラ制御部155は、第2操作モードに切り替えられたと判定すると(S6のYES)、S7に処理を移し、第2操作モードに切り替えられていないと判定すると(S6のNO)、S8に処理を移す。
【0060】
S7において、カメラ制御部155は、仮想カメラを点群データの外縁の内側に移動させる。具体的には、カメラ制御部155は、仮想カメラの撮像向きを維持した状態で、仮想カメラの位置を、仮想空間の原点位置を起点とし、点群データの外縁の外側の位置であって、切り替える操作が行われた時点における仮想カメラの位置を通る直線上の位置に移動させる。
【0061】
S8において、カメラ制御部155は、現在の操作モードに対応した移動操作を受け付けたか否かを判定する。カメラ制御部155は、移動操作を受け付けたと判定すると(S8のYES)、入力された移動指示情報に基づいて、仮想化カメラの位置及び撮像方向を変更する(S9)。カメラ制御部155は、移動操作を受け付けていないと判定すると(S8のNO)、S10に処理を移す。
【0062】
続いて、画像生成部156は、カメラ制御部155により制御された仮想カメラの位置及び撮像向きから仮想カメラが撮像した場合に仮想カメラの撮像範囲に映る点群データに基づいて対象物の画像を生成する(S10)。
続いて、表示制御部157は、画像生成部156が生成した画像を表示部12に表示させる(S11)。
【0063】
続いて、制御部15は、ユーザから、画像生成部156が生成した画像の表示を終了させる終了操作を受け付けたか否かを判定する(S12)。制御部15は、終了操作を受け付けたと判定すると(S12のYES)、本フローチャートに係る処理を終了し、終了操作を受け付けていないと判定すると(S12のNO)、S4に処理を移す。
【0064】
[変形例1]
上述の実施の形態において、配置部152は、取得部151が取得した点群データと、当該点群データが示す対象物を描画するための仮想カメラとを仮想空間に配置したが、これに限らない。配置部152は、操作部11を介して、画像生成部156により出力された画像に映る対象物の少なくとも一部の領域の選択を受け付けるとともに、選択された一部の領域を新たな仮想空間に配置する指示を受け付けてもよい。そして、配置部152は、選択された一部の領域を新たな仮想空間に配置する指示を受け付けたことに応じて、取得部151が取得した点群データのうち、選択された領域を示す部分点群データを新たな仮想空間に配置するとともに、新たな仮想カメラを当該新たな仮想空間に配置してもよい。
【0065】
カメラ制御部155は、新たな仮想空間に配置された新たな仮想カメラの位置及び撮像向きを、当初の仮想空間に配置された仮想カメラの位置及び撮像向きを変更するのと同様に変更する。画像生成部156は、新たな仮想空間に配置された新たな仮想カメラが撮像した場合に新たな仮想カメラの撮像範囲に映る部分点群データに基づいて対象物の一部の領域を描画することにより対象物の一部の領域の画像を生成する。
【0066】
表示制御部157は、当初の仮想空間に配置された仮想カメラに対応して画像生成部156が生成した画像と、新たな仮想空間に配置された新たな仮想カメラに対応して画像生成部156が生成した画像とのどちらを表示させるかの選択をユーザから受け付け、選択された画像を表示部12に表示させる。このようにすることで、ユーザは、部分点群データを切り出して、当該部分点群データに対応する対象物の一部の領域を示す画像を確認することができるので、対象物の詳細を確認しやすくなる。
【0067】
[変形例2]
上述の実施の形態において、配置部152は、仮想空間に対して、点群データが示す対象物を描画するための仮想カメラを一台配置することとしたが、これに限らない。配置部152は、第1操作モードに対応する第1の仮想カメラを点群データの外縁の外側を周回する軌道上に配置するとともに、第2操作モードに対応する第2の仮想カメラを点群データの外縁の内側に配置するようにしてもよい。
【0068】
そして、画像生成部156は、第1の仮想カメラと第2の仮想カメラとのうち、選択されている操作モードに対応する仮想カメラの位置及び撮像向きから仮想カメラが撮像した場合に仮想カメラの撮像範囲に映る点群データに基づいて対象物を示す画像を生成してもよい。
【0069】
また、カメラ制御部155は、現在選択されている操作モードに対応する仮想カメラの最新の位置及び撮像向きを記憶部14に記憶させておいてもよい。そして、カメラ制御部155は、操作モードが切り替えられたことに応じて、記憶部14に記憶されている、操作モードが切り替えられる前の仮想カメラの最新の位置及び撮像向きに基づいて、切替後の操作モードに対応する仮想カメラの位置及び撮像向きを設定してもよい。
【0070】
例えば、カメラ制御部155は、第1操作モードが選択されている場合にモード選択部154が第2操作モードに切り替える操作を受け付けると、第2の仮想カメラの位置を、切り替える操作が行われた時点における第1の仮想カメラの位置に対応する、点群データの外縁の内側の位置に移動させる。また、カメラ制御部155は、第2操作モードが選択されている場合にモード選択部154が第1操作モードに切り替える操作を受け付けると、第1の仮想カメラの位置を、切り替える操作が行われた時点における第2の仮想カメラの位置に対応する、点群データの外縁の外側の位置に移動させる。
【0071】
[情報処理装置1による効果]
以上説明したように、本実施の形態に係る情報処理装置1は、観察の対象物に対応する複数の三次元座標を含む点群データと、仮想カメラとを仮想空間に配置し、点群データの外縁の外側を周回する軌道上で仮想カメラを移動させる第1操作を受け付ける第1操作モード、又は点群データの外縁の内側で仮想カメラを移動させる第2操作を受け付ける第2操作モードを選択する操作を受け付けることにより操作モードを選択する。そして、情報処理装置1は、ユーザの操作に応じて仮想カメラの位置及び撮像向きを制御し、仮想カメラの位置及び撮像向きから仮想カメラが撮像した場合に仮想カメラの撮像範囲に映る点群データに基づいて対象物を示す画像を生成し、生成された画像を表示部12に表示させる。このようにすることで、情報処理装置1は、対象物の全体と対象物の詳細とを確認しやすくすることができる。
【0072】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0073】
1 情報処理装置
11 操作部
12 表示部
13 通信部
14 記憶部
15 制御部
151 取得部
152 配置部
153 設定部
154 モード選択部
155 カメラ制御部
156 画像生成部
157 表示制御部
158 測量部

図1
図2
図3
図4