特開 2024-58041 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024058041

(43)【公開日】2024-04-25

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240418BHJP

【ＦＩ】

G06T7/70

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022165152

(22)【出願日】2022-10-14

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】松本 侑也

(72)【発明者】

【氏名】安倍 次朗

(72)【発明者】

【氏名】住谷 達哉

(72)【発明者】

【氏名】小倉 一峰

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA05

5L096FA67

5L096FA69

5L096JA03

(57)【要約】

【課題】画像を撮影した際のカメラの位置及び姿勢をより適切に推定すること。
【解決手段】３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成する生成部（１１）と、前記生成部により生成された複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する推定部（１２）と、を有する情報処理装置（１０）を提供する。
【選択図】図３

【特許請求の範囲】

【請求項1】

３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成する生成部と、
前記生成部により生成された複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する推定部と、
を有する情報処理装置。

【請求項2】

前記点群データは、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、及び３Ｄ（Ｄｉｍｅｎｓｉｏｎ）スキャナの少なくとも一つにより生成される、
請求項１に記載の情報処理装置。

【請求項3】

前記生成部は、前記点群データに含まれる複数の点に基づいて特定された物体の面の法線方向に基づいて、前記仮想カメラの位置及び姿勢を決定する、
請求項１または２に記載の情報処理装置。

【請求項4】

前記生成部は、前記点群データに基づいて特定の物体の領域及び人間が立ち入り可能な領域の少なくとも一方を認識し、認識した情報に基づいて、前記仮想カメラの位置及び姿勢の少なくとも一方を決定する、
請求項１または２に記載の情報処理装置。

【請求項5】

前記生成部は、前記推定部により推定されたの位置及び姿勢に基づいて、仮想カメラの位置及び姿勢を決定し、前記３次元空間における当該仮想カメラで撮影される仮想カメラ画像を生成する、
請求項１または２に記載の情報処理装置。

【請求項6】

前記推定部は、前記生成部により生成された複数の仮想カメラ画像のそれぞれの画像特徴と、前記カメラ画像の画像特徴と、に基づいて、前記類似度をそれぞれ算出する、
請求項１または２に記載の情報処理装置。

【請求項7】

前記推定部は、前記生成部により生成された複数の仮想カメラ画像のうち、前記カメラ画像との類似度が高い順に少なくとも一つを特定し、前記カメラの位置及び姿勢として推定する、
請求項１または２に記載の情報処理装置。

【請求項8】

前記推定部は、前記カメラにより取得された、前記カメラ画像が撮影された際の前記カメラの位置情報に基づいて、前記生成部により生成された複数の仮想カメラ画像のうち、前記カメラ画像との類似度を算出する複数の仮想カメラ画像を決定する、
請求項１または２に記載の情報処理装置。

【請求項9】

３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成し、
生成した複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する、
情報処理方法。

【請求項10】

３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成し、
生成した複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する、
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、三次元点群に含まれる少なくとも１つの物体上の三次元点の三次元座標の集合を得て、入力画像から入力画像に含まれるエッジの端点を表す座標の集合を得て、三次元座標の集合とエッジの端点を表す座標の集合とを用いて、位置姿勢情報を修正することにより、入力画像を撮影した際のカメラの位置及び姿勢を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－２００５０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１記載の技術では、例えば、画像を撮影した際のカメラの位置及び姿勢を推定する処理に比較的時間がかかるという問題点がある。

【0005】

本開示の目的は、上述した課題を鑑み、画像を撮影した際のカメラの位置及び姿勢をより適切に推定できる技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示に係る第１の態様では、３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成する生成部と、前記生成部により生成された複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する推定部と、を有する情報処理装置が提供される。

【0007】

また、本開示に係る第２の態様では、３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成し、生成した複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する、情報処理方法が提供される。

【0008】

また、本開示に係る第３の態様では、３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成し、生成した複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する、処理をコンピュータに実行させるプログラムが提供される。

【発明の効果】

【0009】

一側面によれば、画像を撮影した際のカメラの位置及び姿勢をより適切に推定できる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る情報処理装置の構成の一例を示す図である。

【図2】実施形態に係る情報処理装置のハードウェア構成例を示す図である。

【図3】実施形態に係る情報処理装置の仮想カメラ画像を生成する処理の一例を示すフローチャートである。

【図4】実施形態に係る点群データＤＢ（データベース）に記憶される情報の一例を示す図である。

【図5】実施形態に係る点群データの一例を示す図である。

【図6】実施形態に係る人間が立ち入り可能な領域の一例を示す図である。

【図7】実施形態に係る仮想カメラ画像の一例を示す図である。

【図8】実施形態に係る仮想カメラ画像の一例を示す図である。

【図9】実施形態に係る仮想カメラ画像の一例を示す図である。

【図10】実施形態に係る仮想カメラ画像ＤＢに記憶される情報の一例を示す図である。

【図11】実施形態に係る情報処理装置のカメラ画像の撮影位置及び姿勢を推定する処理の一例を示すフローチャートである。

【図12】実施形態に係るカメラ画像の一例を示す図である。

【図13】実施形態に係るカメラ画像の一例を示す図である。

【図14】実施形態に係る点群データ及びカメラ画像が撮影された際のカメラの位置及び姿勢の表示例の一例を示す図である。

【発明を実施するための形態】

【0011】

本開示の原理は、いくつかの例示的な実施形態を参照して説明される。これらの実施形態は、例示のみを目的として記載されており、本開示の範囲に関する制限を示唆することなく、当業者が本開示を理解および実施するのを助けることを理解されたい。本明細書で説明される開示は、以下で説明されるもの以外の様々な方法で実装される。
以下の説明および特許請求の範囲において、他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
以下、図面を参照して、本発明の実施形態を説明する。

【0012】

（実施の形態１）
＜構成＞
図１を参照し、実施形態に係る情報処理装置１０の構成について説明する。図１は、実施形態に係る情報処理装置１０の構成の一例を示す図である。情報処理装置１０は、生成部１１、及び推定部１２を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムと、情報処理装置１０のプロセッサ、及びメモリ等のハードウェアとの協働により実現されてもよい。

【0013】

生成部１１は、３次元空間の点群データに基づいて、３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成する。推定部１２は、生成部１１により生成された複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、カメラ画像が撮影された際のカメラの位置及び姿勢を推定する。

【0014】

（実施の形態２）
次に、図２を参照し、実施形態に係る情報処理装置１０の構成について説明する。
＜ハードウェア構成＞
図２は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図２の例では、情報処理装置１０（コンピュータ１００）は、プロセッサ１０１、メモリ１０２、通信インターフェイス１０３を含む。これら各部は、バス等により接続されてもよい。メモリ１０２は、プログラム１０４の少なくとも一部を格納する。通信インターフェイス１０３は、他のネットワーク要素との通信に必要なインターフェイスを含む。

【0015】

プログラム１０４が、プロセッサ１０１及びメモリ１０２等の協働により実行されると、コンピュータ１００により本開示の実施形態の少なくとも一部の処理が行われる。メモリ１０２は、任意のタイプのものであってもよい。メモリ１０２は、非限定的な例として、非一時的なコンピュータ可読記憶媒体でもよい。また、メモリ１０２は、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装されてもよい。コンピュータ１００には１つのメモリ１０２のみが示されているが、コンピュータ１００にはいくつかの物理的に異なるメモリモジュールが存在してもよい。プロセッサ１０１は、任意のタイプのものであってよい。プロセッサ１０１は、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、および非限定的な例としてマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含んでよい。コンピュータ１００は、メインプロセッサを同期させるクロックに時間的に従属する特定用途向け集積回路チップなどの複数のプロセッサを有してもよい。

【0016】

本開示の実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジックまたはそれらの任意の組み合わせで実装され得る。いくつかの態様はハードウェアで実装されてもよく、一方、他の態様はコントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実装されてもよい。

【0017】

本開示はまた、非一時的なコンピュータ可読記憶媒体に有形に記憶された少なくとも１つのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、プログラムモジュールに含まれる命令などのコンピュータ実行可能命令を含み、対象の実プロセッサまたは仮想プロセッサ上のデバイスで実行され、本開示のプロセスまたは方法を実行する。プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などが含まれる。プログラムモジュールの機能は、様々な実施形態で望まれるようにプログラムモジュール間で結合または分割されてもよい。プログラムモジュールのマシン実行可能命令は、ローカルまたは分散デバイス内で実行できる。分散デバイスでは、プログラムモジュールはローカルとリモートの両方のストレージメディアに配置できる。

【0018】

本開示の方法を実行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供される。プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／または実装するブロック図内の機能／動作が実行される。プログラムコードは、完全にマシン上で実行され、一部はマシン上で、スタンドアロンソフトウェアパッケージとして、一部はマシン上で、一部はリモートマシン上で、または完全にリモートマシンまたはサーバ上で実行される。

【0019】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体、光磁気記録媒体、光ディスク媒体、半導体メモリ等が含まれる。磁気記録媒体には、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ等が含まれる。光磁気記録媒体には、例えば、光磁気ディスク等が含まれる。光ディスク媒体には、例えば、ブルーレイディスク、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ（Recordable）、ＣＤ－ＲＷ（ReWritable）等が含まれる。半導体メモリには、例えば、ソリッドステートドライブ、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）等が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0020】

＜処理＞
＜＜仮想カメラ画像を生成する処理＞＞
次に、図３から図１０を参照し、実施形態に係る情報処理装置１０の仮想カメラ画像を生成する処理の一例について説明する。図３は、実施形態に係る情報処理装置１０の仮想カメラ画像を生成する処理の一例を示すフローチャートである。なお、図３の処理は、例えば、情報処理装置１０のオペレータ（管理者）により所定の操作が行われた等の際に実行されてもよい。なお、図３の処理は、矛盾しない限り、適宜順番を変更して実行されてもよい。例えば、ステップＳ１０２からステップＳ１０４の処理を、各仮想カメラに対して順番に実行するようにしてもよい。

【0021】

ステップＳ１０１において、生成部１１は、３次元空間の点群データを点群データＤＢ４０１から取得する。なお、点群データＤＢ４０１は、情報処理装置１０の内部の記憶装置に記憶されてもよいし、外部の記憶装置（例えば、ＤＢサーバ）に記憶されてもよい。点群データＤＢ４０１の情報は、情報処理装置１０のオペレータ等により予め記録されていてもよい。

【0022】

図４は、実施形態に係る点群データＤＢ（データベース）４０１に記憶される情報の一例を示す図である。図４の例では、点群データＤＢ４０１は、場所ＩＤに対応付けて、点群データと、場所情報が記録されている。場所ＩＤは、点群データが計測（取得、測定、生成）された場所（施設）を識別する情報である。

【0023】

点群データは、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、及び３Ｄ（Ｄｉｍｅｎｓｉｏｎ）スキャナの少なくとも一つにより生成されてもよい。点群データ（ポイントクラウド）は、例えば、３次元空間上の物体の表面上の点（観測点）データの集合でもよい。各点データには、例えば、直交座標系（ｘ，ｙ，ｚ）等における位置を示す値が含まれてもよい。また、各点データには、例えば、色、及び実空間上の位置情報（緯度、経度、標高）等が含まれてもよい。各点の色は、例えば、カメラを有するＬｉＤＡＲにより測定されてもよい。各点の実空間上の位置情報は、例えば、点群データに含まれる複数の点のそれぞれに対してオペレータ等により設定された位置情報に基づいて算出されてもよい。

【0024】

続いて、生成部１１は、当該３次元空間における複数の仮想カメラのそれぞれの位置を決定する（ステップＳ１０２）。ここで、生成部１１は、まず、例えば、ＦＰＳ（Farthest Point Sampling）等の手法を用いて、点群データをダウンサンプリングしてもよい。

【0025】

また、生成部１１は、点群データに基づいて人間が立ち入り可能な領域を認識し、認識した情報に基づいて、仮想カメラの位置を決定してもよい。この場合、生成部１１は、点群データに基づいて地面等の領域を、ＡＩ（Artificial Intelligence）等を用いて検出し、検出した地面等の領域のうち、物体等により封鎖されていない領域を、人間が立ち入り可能な領域として判定してもよい。これにより、例えば、保守員が撮影位置とする可能性が比較的高いと考えられる位置を検出できる。もしくは、生成部１１は、点の法線方向が鉛直方向に類似している（例えば、両方向の差が特定の閾値以内）かを判定することで、地面等の領域を検出してもよい。もしくは、生成部１１は、平面フィッティングなどの点群から平面領域を抽出する技術を用いることで、地面等の領域を検出してもよい。そして、生成部１１は、人間が立ち入り可能な領域に含まれる位置を、仮想カメラの水平方向の位置（緯度、経度）として決定してもよい。なお、生成部１１は、例えば、人間が立ち入り可能な領域の標高から特定の高さ（例えば、１．６メートル）の位置を、仮想カメラの鉛直方向の位置（標高）として決定してもよい。

【0026】

図５は、実施形態に係る点群データ５０１の一例を示す図である。図５の例では、特定の室内をＬｉＤＡＲで測定した場合に生成される点群データ５０１の表示例が示されている。図６は、実施形態に係る人間が立ち入り可能な領域６０１の一例を示す図である。図６の例では、図５の点群データ５０１から検出された、人間が立ち入り可能な領域６０１の一例が示されている。図６の例では、特定の室内における床面６１１、及び階段の水平部分６１２等が、人間が立ち入り可能な領域として検出されている。

【0027】

また、生成部１１は、点群データに含まれる複数の点に基づいて特定された物体の面の法線方向に基づいて、仮想カメラの位置及び姿勢を決定してもよい。この場合、生成部１１は、例えば、特定の点とその周辺の点群とに基づいて、当該特定の点を含む物体の面を特定してもよい。そして、生成部１１は、例えば、人間が立ち入り可能な領域における、当該特定の点から当該法線方向に特定距離離れた水平方向の位置を、仮想カメラの水平方向の位置と決定してもよい。なお、当該面の法線方向は、当該面から見て、点群データを測定した際のＬｉＤＡＲ等のセンサ側の方向としてもよい。また、生成部１１は、例えば、当該法線方向の反対方向（仮想カメラの位置から当該特定の点への方向）から所定範囲内の方向を仮想カメラが向くように、仮想カメラの姿勢を決定してもよい。これにより、保守員が当該特定の点を含む物体をカメラで撮影する場合に、保守員が選択する可能性が比較的高いと考えられるカメラの位置及び姿勢を、仮想カメラの位置及び姿勢として決定できる。

【0028】

また、生成部１１は、点群データに基づいて特定の物体の領域及び人間が立ち入り可能な領域の少なくとも一方を認識し、認識した情報に基づいて、仮想カメラの位置及び姿勢の少なくとも一方を決定してもよい。この場合、生成部１１は、例えば、ディープラーニング等を用いたＡＩ等に基づいて、点群データに含まれる各点が示す物体の種別を特定してもよい。そして、生成部１１は、例えば、橋梁、外壁、発電施設等の特定の種別の物体を、当該特定の物体として判定してもよい。これにより、例えば、保守員が被写体として選択する可能性が比較的高いと考えられる物体を検出できる。そして、生成部１１は、人間が立ち入り可能な領域から、当該特定の物体の少なくとも一部を撮影できる仮想カメラの位置及び姿勢を、仮想カメラの位置及び姿勢として決定してもよい。

【0029】

（過去に撮影されたカメラ画像に基づいて、仮想カメラの位置及び姿勢を決定する例）
生成部１１は、過去に撮影されたカメラ画像に基づいて、仮想カメラの位置及び姿勢を決定してもよい。これにより、例えば、保守員が今後も撮影する可能性が比較的高いと考えられるカメラの位置及び姿勢を、仮想カメラの位置及び姿勢とすることができる。
この場合、生成部１１は、推定部１２により推定された第１カメラ画像（過去に撮影されたカメラ画像）の位置及び姿勢に基づいて、仮想カメラの位置及び姿勢を決定してもよい。

【0030】

続いて、生成部１１は、各仮想カメラで撮影される当該３次元空間の画像（仮想カメラ画像、投影画像）をそれぞれ生成する（ステップＳ１０３）。ここで、生成部１１は、点群データと、仮想カメラの位置及び姿勢と、仮想カメラの撮影に関する設定と、に基づいて、仮想カメラ画像を生成（レンダリング）する。なお、仮想カメラの撮影に関する設定には、例えば、仮想カメラの画角、焦点距離（ズーム）等の情報が含まれてもよい。

【0031】

この場合、生成部１１は、例えば、点群データに含まれる各点を特定の大きさの球体等とした場合に、仮想カメラから見た各方向において最も手前の各点を投影したデータを、仮想カメラ画像として生成してもよい。

【0032】

図７から図９は、実施形態に係る仮想カメラ画像の一例を示す図である。図７から図９のそれぞれには、図５の点群データ５０１に基づいて生成された各仮想カメラ画像７０１、８０１、９０１の一例が示されている。

【0033】

続いて、生成部１１は、各仮想カメラ画像について、仮想カメラ画像と、仮想カメラの３次元空間における位置及び姿勢を示す情報とを対応付けて（関連付けて）、仮想カメラ画像ＤＢ５０１に記録する（ステップＳ１０４）。なお、仮想カメラ画像ＤＢ５０１は、情報処理装置１０の内部の記憶装置に記憶されてもよいし、外部の記憶装置（例えば、ＤＢサーバ）に記憶されてもよい。

【0034】

図１０は、実施形態に係る仮想カメラ画像ＤＢ１００１に記憶される情報の一例を示す図である。図１０の例では、仮想カメラ画像ＤＢ１００１には、場所ＩＤと仮想カメラＩＤとの組みに対応付けて、仮想カメラ画像と、位置情報と、姿勢情報とが記録されている。位置情報は、仮想カメラの３次元空間における位置を示す情報である。姿勢情報は、仮想カメラの３次元空間における姿勢を示す情報である。姿勢情報には、例えば、３次元空間におけるロール角、ピッチ角、及びヨー角の情報が含まれてもよい。もしくは、姿勢情報には、３次元の回転行列と等価な情報が含まれていてもよい。

【0035】

＜＜カメラ画像の撮影位置及び姿勢を推定する処理＞＞
次に、図１１から図１４を参照し、実施形態に係る情報処理装置１０のカメラ画像の撮影位置及び姿勢を推定する処理の一例について説明する。図１１は、実施形態に係る情報処理装置１０のカメラ画像の撮影位置及び姿勢を推定する処理の一例を示すフローチャートである。なお、図１１の処理は、例えば、情報処理装置１０のオペレータ（管理者）により所定の操作が行われた等の際に実行されてもよい。なお、図１１の処理は、矛盾しない限り、適宜順番を変更して実行されてもよい。

【0036】

ステップＳ２０１において、推定部１２は、カメラで撮影された画像（カメラ画像、クエリ画像）を取得（入力）する。ここで、推定部１２は、例えば、オペレータ等により指定されたカメラ画像及び場所ＩＤを取得してもよい。

【0037】

続いて、推定部１２は、カメラ画像が撮影された際のカメラの位置及び姿勢を推定する（ステップＳ２０２）。ここで、推定部１２は、例えば、場所ＩＤに対応付けて仮想カメラ画像ＤＢ１００１に記録されている各仮想カメラ画像の画像特徴（局所特徴、または大域特徴）と、カメラ画像の画像特徴とに基づいて、各仮想カメラ画像とカメラ画像との類似度をそれぞれ算出してもよい。この場合、推定部１２は、例えば、各局所特徴量と対応する基底ベクトルとの差分を集約することで大域特徴量を表現できるＶＬＡＤ（Vector of Locally Aggregated Descriptors）を比較することにより、当該類似度を算出してもよい。また、推定部１２は、例えば、仮想カメラ画像とカメラ画像との局所特徴マッチングを行い、マッチングの数や各マッチングのスコアの和などに基づいて、当該類似度を算出してもよい。スコアは、例えば、各マッチングの類似度、あるいは確信度（局所特徴マッチング処理が算出する各マッチング度合いの強さ）であってもよい。

【0038】

そして、推定部１２は、生成部１１により生成された複数の仮想カメラ画像のうち、カメラ画像との類似度が高い順に少なくとも一つを特定し、カメラの位置及び姿勢として推定してもよい。この場合、推定部１２は、生成部１１により生成された複数の仮想カメラ画像のうち、カメラ画像との類似度が最も高い仮想カメラ画像を撮影した仮想カメラの位置及び姿勢を、カメラの位置及び姿勢として推定してもよい。また、推定部１２は、当該類似度が高い順に各仮想カメラ画像を撮影した仮想カメラの位置及び姿勢を、カメラの位置及び姿勢の候補として推定してもよい。

【0039】

図１２は、実施形態に係るカメラ画像１２０１の一例を示す図である。図１２に示すカメラ画像が入力された場合、図７から図９のそれぞれに示される各仮想カメラ画像７０１、８０１、９０１のうち、類似度が最も高い仮想カメラ画像７０１を撮影した仮想カメラの位置及び姿勢が、カメラの位置及び姿勢として推定される。

【0040】

また、推定部１２は、生成部１１により生成された複数の仮想カメラ画像のそれぞれとカメラ画像との各類似度に応じた重み係数と、各仮想カメラの位置及び姿勢と、に基づいて算出した位置及び姿勢を、カメラの位置及び姿勢として推定してもよい。この場合、推定部１２は、例えば、各仮想カメラについて、仮想カメラ画像とカメラ画像との類似度が高いほど重み係数を大きな値とし、各仮想カメラの位置及び姿勢を加重平均した値を、カメラの位置及び姿勢として推定してもよい。

【0041】

続いて、推定部１２は、推定したカメラ画像が撮影された際のカメラの位置及び姿勢を示す情報を出力する（ステップＳ２０３）。図１３は、実施形態に係るカメラ画像１３０１の一例を示す図である。図１４は、実施形態に係る点群データ及びカメラ画像が撮影された際のカメラの位置及び姿勢の表示例の一例を示す図である。図１３及び図１４の例では、推定部１２は、図１３のカメラ画像１３０１が入力された場合に、図１４に示すように、点群データが投影された画像１４０１上で、カメラ画像が撮影された際のカメラの位置１４１１及び姿勢１４１２を示す図形を重畳して表示させている。

【0042】

（カメラ画像の位置情報を用いる例）
図１１のステップＳ２０２で、推定部１２は、カメラにより取得された、カメラ画像が撮影された際のカメラの位置情報に基づいて、生成部１１により生成された複数の仮想カメラ画像のうち、カメラ画像との類似度を算出する複数の仮想カメラ画像を決定してもよい。これにより、例えば、推定処理にかかる時間を削減できる。

【0043】

この場合、カメラの位置情報は、例えば、ＧＰＳ（Global Positioning System）等の衛星測位システム等を用いて取得され、Ｅｘｉｆ（Exchangeable image file format）形式のカメラ画像のジオタグ（Geo-tag）として記録されていてもよい。これにより、例えば、屋内または高い建物の谷間等のＧＰＳの精度が低下する位置で撮影されたカメラ画像に対して、より高精度で撮影位置を推定できる。

【0044】

また、ステップＳ１０２で、生成部１１は、カメラにより取得された、カメラ画像が撮影された際のカメラの位置情報に基づいて、各仮想カメラの位置を決定してもよい。この場合、生成部１１は、例えば、点群データにより示される３次元空間における、カメラの位置情報に対応する位置を算出してもよい。そして、生成部１１は、例えば、当該位置から特定の範囲内に、各仮想カメラを配置してもよい。これにより、例えば、推定の精度を向上させることができる。

【0045】

＜変形例＞
情報処理装置１０は、一つの筐体に含まれる装置でもよいが、本開示の情報処理装置１０はこれに限定されない。情報処理装置１０の各部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

【0046】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0047】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成する生成部と、
前記生成部により生成された複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する推定部と、
を有する情報処理装置。
（付記２）
前記点群データは、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、及び３Ｄ（Ｄｉｍｅｎｓｉｏｎ）スキャナの少なくとも一つにより生成される、
付記１に記載の情報処理装置。
（付記３）
前記生成部は、前記点群データに含まれる複数の点に基づいて特定された物体の面の法線方向に基づいて、前記仮想カメラの位置及び姿勢を決定する、
付記１または２に記載の情報処理装置。
（付記４）
前記生成部は、前記点群データに基づいて特定の物体の領域及び人間が立ち入り可能な領域の少なくとも一方を認識し、認識した情報に基づいて、前記仮想カメラの位置及び姿勢の少なくとも一方を決定する、
付記１または２に記載の情報処理装置。
（付記５）
前記生成部は、前記推定部により推定されたの位置及び姿勢に基づいて、仮想カメラの位置及び姿勢を決定し、前記３次元空間における当該仮想カメラで撮影される仮想カメラ画像を生成する、
付記１または２に記載の情報処理装置。
（付記６）
前記推定部は、前記生成部により生成された複数の仮想カメラ画像のそれぞれの画像特徴と、前記カメラ画像の画像特徴と、に基づいて、前記類似度をそれぞれ算出する、
付記１乃至５のいずれか一つに記載の情報処理装置。
（付記７）
前記推定部は、前記生成部により生成された複数の仮想カメラ画像のうち、前記カメラ画像との類似度が高い順に少なくとも一つを特定し、前記カメラの位置及び姿勢として推定する、
付記１または２に記載の情報処理装置。
（付記８）
前記推定部は、前記生成部により生成された複数の仮想カメラ画像のそれぞれと前記カメラ画像との各類似度に応じた重み係数と、各仮想カメラの位置及び姿勢と、に基づいて算出した位置及び姿勢を、前記カメラの位置及び姿勢として推定する、
付記１または２に記載の情報処理装置。
（付記９）
前記推定部は、前記カメラにより取得された、前記カメラ画像が撮影された際の前記カメラの位置情報に基づいて、前記生成部により生成された複数の仮想カメラ画像のうち、前記カメラ画像との類似度を算出する複数の仮想カメラ画像を決定する、
付記１または２に記載の情報処理装置。
（付記１０）
３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成し、
生成した複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する、
情報処理方法。
（付記１１）
３次元空間の点群データに基づいて、前記３次元空間における各仮想カメラで撮影される仮想カメラ画像をそれぞれ生成し、
生成した複数の仮想カメラ画像のそれぞれと、カメラで撮影されたカメラ画像との類似度に基づいて、前記カメラ画像が撮影された際の前記カメラの位置及び姿勢を推定する、
処理をコンピュータに実行させるプログラム。

【符号の説明】

【0048】

１０ 情報処理装置
１１ 生成部
１２ 推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】