ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025062369
(43)【公開日】2025-04-14
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06T 7/80 20170101AFI20250407BHJP
【ＦＩ】
G06T7/80
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2023171381
(22)【出願日】2023-10-02
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100154036
【弁理士】
【氏名又は名称】久保 貴弘
(72)【発明者】
【氏名】大石 圭
(72)【発明者】
【氏名】周藤 泰広
(72)【発明者】
【氏名】山崎 寿夫
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096EA14
5L096FA09
5L096GA08
(57)【要約】
【課題】環境を撮像するカメラの補正をより容易に行う。
【解決手段】３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、を備える、情報処理装置。
【選択図】図２
【解決手段】３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、を備える、情報処理装置。
【選択図】図２
【特許請求の範囲】
【請求項1】
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、
を備える、情報処理装置。
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、
を備える、情報処理装置。
【請求項2】
前記レンダリング部及び前記カメラパラメータ推定部は、前記差分が閾値以下になるまで前記レンダリング画像の生成と、前記カメラパラメータの更新とを繰り返し実行する、請求項１に記載の情報処理装置。
【請求項3】
前記カメラパラメータは、前記カメラの位置を表す外部パラメータと、前記カメラ画像と前記環境との対応関係を示す内部パラメータとを含む、請求項１に記載の情報処理装置。
【請求項4】
前記外部パラメータの初期値は、前記カメラ画像と、前記外部パラメータの暫定値を用いて生成された前記レンダリング画像との特徴点マッチングにて抽出されたマッチング点を用いて推定される、請求項３に記載の情報処理装置。
【請求項5】
前記カメラは、オブジェクトの位置を検出可能なセンサが搭載された機器に搭載され、
前記外部パラメータの前記暫定値は、前記センサの位置に基づいて決定される、請求項４に記載の情報処理装置。
前記外部パラメータの前記暫定値は、前記センサの位置に基づいて決定される、請求項４に記載の情報処理装置。
【請求項6】
前記機器は、移動体である、請求項５に記載の情報処理装置。
【請求項7】
前記センサの位置を含むセンサパラメータを推定するセンサパラメータ推定部をさらに備える、請求項５に記載の情報処理装置。
【請求項8】
前記センサパラメータ推定部は、前記三次元データと、前記センサで取得した前記環境のポイントクラウドデータとの位置合わせを行うことで、前記センサパラメータを推定する、請求項７に記載の情報処理装置。
【請求項9】
前記センサパラメータ推定部は、複数段階に分けて前記位置合わせを行う、請求項８に記載の情報処理装置。
【請求項10】
前記環境は、少なくとも三方向以上が面で閉ざされた静止環境である、請求項１に記載の情報処理装置。
【請求項11】
前記環境の面には、所定のテクスチャが投影される、請求項１０に記載の情報処理装置。
【請求項12】
前記テクスチャには、各々を識別可能な二次元マーカが含まれる、請求項１１に記載の情報処理装置。
【請求項13】
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成することと、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新することと、
を含む、コンピュータによる情報処理方法。
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新することと、
を含む、コンピュータによる情報処理方法。
【請求項14】
コンピュータを、
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、
として機能させるための、プログラム。
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、ＬｉＤＡＲ（Light Detection And Ranging）などのオブジェクトの位置を検出可能なセンサと、オブジェクトを撮像するカメラとを用いて周辺環境をセンシングする技術の開発が進んでいる。例えば、自動車では、ＬｉＤＡＲと、カメラとを用いて環境をセンシングすることで、自動車を自動運転させる技術の開発が盛んに行われている。
【0003】
このような周辺環境をセンシングする技術では、センサにてセンシングされたデータと、カメラにて撮像された画像データとを適切に統合することが重要となる。具体的には、センサとカメラとの間の位置補正、及びカメラの内部パラメータの補正を行い、センサにてセンシングされたデータと、カメラにて撮像された画像データとを一体化することが重要となる。
【0004】
例えば、下記の特許文献１には、対象物を撮像可能なカメラ、及びレーザを用いて対象物の位置を検出可能なセンサの各々をキャリブレーションするためのマーカボードを用意することが記載されている。特許文献１に記載された技術では、複数の位置に設置されたマーカボードを同一の移動体に取り付けられたカメラ及びセンサによって検出することで、カメラとセンサとの間の位置補正を行うことができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－３８９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献１に記載された技術は、専用のマーカボードを用意する必要があるため、一般のユーザが行うことは困難であった。特に、カメラは、他のカメラ又はセンサとの間の位置補正に加えて、内部パラメータの補正も行う必要があるため、カメラの補正をより容易に行うことが可能な技術が求められていた。
【0007】
そこで、本開示では、環境を撮像するカメラの補正をより容易に行うことが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、を備える、情報処理装置が提供される。
【0009】
また、本開示によれば、３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成することと、前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新することと、を含む、コンピュータによる情報処理方法が提供される。
【0010】
さらに、本開示によれば、コンピュータを、３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、として機能させるための、プログラムが提供される。
【図面の簡単な説明】
【0011】
【図1】本開示の一実施形態に係る情報処理装置が実現する機能を説明する説明図である。
【図2】同実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図3】センサパラメータ推定部にて実行される動作の流れを示すフローチャート図である。
【図4】カメラパラメータ推定部にて実行される前段の処理の流れを示すフローチャート図である。
【図5】カメラパラメータ推定部にて実行される後段の処理の流れを示すフローチャート図である。
【図6】第１の変形例を説明する説明図である。
【図7】第２の変形例を説明する説明図である。
【図8】第３の変形例に係るカメラパラメータ推定部にて実行される前段の処理の流れを示すフローチャート図である。
【図9】同実施形態に係る情報処理装置のハードウエア構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
なお、説明は以下の順序で行うものとする。
１．概要
２．構成例
３．変形例
４．ハードウエア構成例
１．概要
２．構成例
３．変形例
４．ハードウエア構成例
【0014】
【0015】
図１に示すように、３Ｄスキャナ４００で三次元データを測定した静止環境ＳＥに、センサ２００、及びカメラ３００が搭載された移動体１０が配置される。本実施形態に係る情報処理装置は、３Ｄスキャナ４００で測定された静止環境ＳＥの三次元データに基づいて、上記のセンサ２００及びカメラ３００を補正する。
【0016】
ここで、センサ２００の補正とは、センサ２００の位置（センサパラメータ）を補正することを表す。また、カメラ３００の補正とは、カメラ３００の位置（外部パラメータ）を補正すること、及びカメラ３００の焦点距離、中心位置、及び歪みなどによる画像への影響（内部パラメータ）を補正することを示す。外部パラメータ及び内部パラメータは、併せてカメラパラメータとも称される。
【0017】
３Ｄスキャナ４００は、静止環境ＳＥの三次元データを３６０°に亘って測定することが可能な三次元測定機である。具体的には、３Ｄスキャナ４００は、静止環境ＳＥのデプスと、反射強度又はカラーとを３６０°に亘って測定することが可能なレーザスキャナであってもよい。３Ｄスキャナ４００は、静止環境ＳＥの三次元データとして、カラー又は反射強度を記録した三次元ポイントクラウド又は三次元メッシュを取得することができる。
【0018】
静止環境ＳＥは、動体が存在しない静的な環境である。具体的には、静止環境ＳＥは、移動体１０に搭載されたセンサ２００、及びカメラ３００の各々について、少なくとも三方向以上が面で閉ざされた屋内環境であってもよい。このような場合、本実施形態に係る情報処理装置は、センサ２００、及びカメラ３００の補正をより高精度に行うことが可能である。例えば、静止環境ＳＥは、ガレージ内などの屋内環境であってもよい。
【0019】
移動体１０は、少なくとも１つ以上のセンサ２００と、少なくとも１つ以上のカメラ３００とが搭載される機器である。移動体１０は、例えば、カメラ３００で撮像された画像データ、及びセンサ２００でセンシングされたポイントクラウドデータに基づいて周囲環境及び自己位置を推定することで、自動運転を行うことができる。
【0020】
センサ２００は、レーザ、ミリ波、又は超音波を照射することで静止環境ＳＥに存在するオブジェクトの位置を示す三次元ポイントクラウドデータを取得することが可能なセンサである。センサ２００は、例えば、ＬｉＤＡＲ、ミリ波レーダー、又は超音波センサであってもよい。また、センサ２００は、移動体１０に複数搭載されてもよい。
【0021】
カメラ３００は、静止環境ＳＥの画像を撮像することが可能な撮像装置である。カメラ３００は、例えば、ＲＧＢカメラ、モノクロカメラ、又はステレオカメラであってもよい。カメラ３００は、移動体１０に複数搭載されてもよい。
【0022】
移動体１０の周囲環境、及び自己位置をより高精度で推定するためには、カメラ３００で撮像された画像データ、及びセンサ２００でセンシングされたポイントクラウドデータを統合することが重要となる。例えば、移動体１０は、カメラ３００で撮像された画像データを用いたＶｉｓｕａｌ－ＳＬＡＭ（Simultaneous Localization and Mapping）、及びセンサ２００でセンシングされたポイントクラウドデータを用いたＬｉＤＡＲ－ＳＬＡＭを組み合わせることで、より高精度で周囲環境、及び自己位置を推定することが可能である。
【0023】
本実施形態に係る情報処理装置は、静止環境ＳＥを３Ｄスキャナ４００で測定した三次元データを用いることで、センサ２００及びカメラ３００の補正をより容易に行うことができる。具体的には、情報処理装置は、静止環境ＳＥを３Ｄスキャナ４００で測定した三次元データを用いることで、カメラ３００とセンサ２００との間の位置（すなわち、センサパラメータ、及びカメラ３００の外部パラメータ）、及びカメラ３００の焦点距離、中心位置、並びに歪みなどによる画像への影響（すなわち、カメラ３００の内部パラメータ）をより容易に補正することができる。
【0024】
これによれば、移動体１０は、カメラ３００で撮像された画像データ、及びセンサ２００でセンシングされたポイントクラウドデータを高精度で統合することで、周囲環境の推定、及び移動体１０の自己位置をより高精度に推定することが可能である。
【0025】
＜２．構成例＞
次に、図２～図５を参照して、本実施形態に係る情報処理装置の構成例について説明する。図２は、本実施形態に係る情報処理装置１００の機能構成を示すブロック図である。図３は、センサパラメータ推定部１１０にて実行される動作の流れを示すフローチャート図である。図４は、カメラパラメータ推定部１３０にて実行される前段の処理の流れを示すフローチャート図である。図５は、カメラパラメータ推定部１３０にて実行される後段の処理の流れを示すフローチャート図である。
次に、図２～図５を参照して、本実施形態に係る情報処理装置の構成例について説明する。図２は、本実施形態に係る情報処理装置１００の機能構成を示すブロック図である。図３は、センサパラメータ推定部１１０にて実行される動作の流れを示すフローチャート図である。図４は、カメラパラメータ推定部１３０にて実行される前段の処理の流れを示すフローチャート図である。図５は、カメラパラメータ推定部１３０にて実行される後段の処理の流れを示すフローチャート図である。
【0026】
図２に示すように、本実施形態に係る情報処理装置１００は、センサパラメータ推定部１１０と、レンダリング部１２０と、カメラパラメータ推定部１３０とを備える。情報処理装置１００には、移動体１０に搭載された複数のセンサ２００から静止環境ＳＥのポイントクラウドデータがそれぞれ入力され、移動体１０に搭載された複数のカメラ３００から静止環境ＳＥの画像データがそれぞれ入力されるものとする。また、情報処理装置１００には、３Ｄスキャナ４００から静止環境ＳＥの三次元データが入力される。
【0027】
（センサパラメータ推定部１１０）
図３を参照して、センサパラメータ推定部１１０について説明する。
図３を参照して、センサパラメータ推定部１１０について説明する。
【0028】
センサパラメータ推定部１１０は、センサ２００でそれぞれ取得された静止環境ＳＥのポイントクラウドデータと、３Ｄスキャナ４００で取得された静止環境ＳＥの三次元データとに基づいて、センサ２００の位置を推定する。センサパラメータ推定部１１０は、３Ｄスキャナ４００で測定された静止環境ＳＥの三次元データと、センサ２００で取得された静止環境ＳＥのポイントクラウドデータとをレジストレーション（位置合わせ）することで、センサ２００の各々の位置を推定してもよい。
【0029】
例えば、センサパラメータ推定部１１０は、３Ｄスキャナ４００の三次元データと、センサ２００のポイントクラウドデータとのレジストレーションによって、センサ２００の座標系から３Ｄスキャナ４００を基準とする環境座標系への変換を推定してもよい。センサ２００の座標系は、センサ２００の位置を基準としている。そのため、センサパラメータ推定部１１０は、センサ２００の座標系から環境座標系への変換を推定することで、環境座標系を基準としてセンサ２００の各々の間の位置関係を特定することができる。なお、センサ２００の座標系から環境座標系への変換ＬＰＷは、例えば、回転及び移動を含む４×４の位置姿勢行列で表現される。
【0030】
詳細には、図３に示すように、センサパラメータ推定部１１０は、まず、ポイントクラウドマッチングによるレジストレーションを行う（Ｓ１０１）。これにより、センサパラメータ推定部１１０は、センサ２００の座標系から環境座標系への変換ＬＰＷを大まかに推定することができる。
【0031】
ステップＳ１０１の処理では、センサパラメータ推定部１１０は、まず、計算量削減のために、３Ｄスキャナ４００で測定された三次元ポイントクラウドと、センサ２００で取得された三次元ポイントクラウドとを所定のグリッドサイズにリサンプリングする。次に、センサパラメータ推定部１１０は、リサンプリングされたそれぞれの三次元ポイントクラウドの特徴量を算出する。例えば、センサパラメータ推定部１１０は、三次元ポイントクラウドの特徴量として、点群特徴量ＦＰＦＨ（Fast Point Feature Histogram）、又はＤＮＮ（Deep Neural Network）特徴量ＳｐｉｎＮｅｔを算出してもよい。
【0032】
続いて、センサパラメータ推定部１１０は、リサンプリングされたそれぞれの三次元ポイントクラウドの間で、算出した特徴量を用いて各点のＬ２ノルムを計算し、計算されたＬ２ノルムが最も小さい点をマッチング点と決定する。さらに、センサパラメータ推定部１１０は、マッチング点に含まれる外れ値を除外するために、ＲＡＮＳＡＣ（RANdom SAmple Consensus）アルゴルズムなどによるロバスト推定を行う。これにより、センサパラメータ推定部１１０は、センサ２００の座標系から環境座標系への変換ＬＰＷを大まかに推定することができる。
【0033】
例えば、センサパラメータ推定部１１０は、まず、センサ２００のマッチング点からランダムに４点程度を取得し、取得したマッチング点をマッチング先の３Ｄスキャナ４００のマッチング点に投影するための位置姿勢行列を計算する。次に、センサパラメータ推定部１１０は、計算した位置姿勢行列を用いてすべてのマッチング点を投影し、マッチング先のマッチング点との距離の差が閾値以下の点の数を計測する。センサパラメータ推定部１１０は、上記のマッチング点の取得及び投影を複数回繰り返し、閾値以下の点の数が最も多い場合のマッチング点の組み合わせを抽出する。このとき抽出されたマッチング点の組み合わせは、外れ値が除去されたマッチング点の組み合わせとなっている。そこで、センサパラメータ推定部１１０は、抽出されたマッチング点の組み合わせを用いて、センサ２００のマッチング点を３Ｄスキャナ４００のマッチング点に投影したときに誤差が最も小さくなる位置姿勢行列を算出する。算出された位置姿勢行列が大まかに推定されたセンサ２００の座標系から環境座標系への変換ＬＰＷとなる。
【0034】
次に、図３に示すように、センサパラメータ推定部１１０は、ＩＣＰ（Iterative Closest Point）アルゴリズムによるレジストレーションによって、ステップＳ１０１の処理にて大まかに推定された変換ＬＰＷの位置姿勢行列をより詳細に推定する（Ｓ１０３）。
【0035】
ステップＳ１０３の処理では、センサパラメータ推定部１１０は、リサンプリングされる前の三次元ポイントクラウドを用いてＩＣＰアルゴリズムを行うことによって、ステップＳ１０１で算出した変換ＬＰＷの位置姿勢行列をより高精度に推定する。具体的には、センサパラメータ推定部１１０は、センサ２００の三次元ポイントクラウドの各点から３Ｄスキャナ４００の三次元ポイントクラウドの最近傍の点を探索して対応付け、対応付けた点の差を最小化させる位置姿勢行列を算出する。算出された位置姿勢行列がより詳細に推定されたセンサ２００の座標系から環境座標系への変換ＬＰＷとなる。ステップＳ１０１の処理にて変換ＬＰＷの位置姿勢行列を大まかに推定しておくことにより、ステップＳ１０３の処理での変換ＬＰＷの位置姿勢行列の算出をより早く収束させることができる。
【0036】
その後、センサパラメータ推定部１１０は、移動体１０に搭載されたセンサ２００の各々について上記のステップＳ１０１及びＳ１０３の処理を実行する。
【0037】
続いて、図３に示すように、センサパラメータ推定部１１０は、センサ２００の各々の座標系から環境座標系への変換を用いることで、移動体１０に対するセンサ２００の各々の位置を推定することができる（Ｓ１０５）。
【0038】
例えば、移動体１０の設計上の車両中心位置から０番目のセンサ２００の位置への変換ＭＰＬ０を基準として用いることで、車両中心位置からｎ番目のセンサ２００の位置への変換ＭＰＬｎは、以下の数式１で表される。これにより、センサパラメータ推定部１１０は、移動体１０の設計上の車両中心位置を基準として、センサ２００の各々の位置を推定することができる。
【0039】
【数1】
【0040】
【0041】
カメラパラメータ推定部１３０は、カメラ３００でそれぞれ取得された静止環境ＳＥの画像データと、３Ｄスキャナ４００で取得された静止環境ＳＥの三次元データとに基づいて、カメラ３００のカメラパラメータ（すなわち、カメラ３００の位置、及びカメラ３００の内部パラメータ）を推定する。具体的には、カメラパラメータ推定部１３０は、３Ｄスキャナ４００で取得された静止環境ＳＥの三次元データに基づいてレンダリングされたレンダリング画像と、カメラ３００で取得された静止環境ＳＥのカメラ画像とを比較することで、カメラパラメータを推定してもよい。
【0042】
カメラ画像との比較に用いられるレンダリング画像は、レンダリング部１２０にて生成される。具体的には、レンダリング部１２０は、暫定的に設定したカメラパラメータを参照することで、３Ｄスキャナ４００の三次元データに基づいて、カメラ３００で取得されたカメラ画像に対応するレンダリング画像を生成してもよい。
【0043】
具体的には、レンダリング部１２０は、まず、カメラパラメータとして、センサパラメータ推定部１１０の結果から推定したカメラ３００の位置、及びカメラ３００の内部パラメータの設計値等を参照してレンダリング画像を生成する。これにより、カメラパラメータ推定部１３０は、生成したレンダリング画像と、カメラ画像とを比較することで、暫定的に設定したカメラパラメータよりも誤差の少ないカメラパラメータを推定することができる。したがって、レンダリング部１２０は、推定されたカメラパラメータを参照して、再度、レンダリング画像を生成することで、カメラ画像との差がより小さくなったレンダリング画像を生成することができる。レンダリング部１２０及びカメラパラメータ推定部１３０は、上記のレンダリング画像の生成、及びカメラパラメータの推定を繰り返すことで、より誤差が少ないカメラパラメータを推定することができる。
【0044】
詳細には、図４に示すように、カメラパラメータ推定部１３０は、まず、レンダリング部１２０にてカメラ画像に対応したレンダリング画像を生成する際に用いられるカメラパラメータの暫定値を設定する（Ｓ２０１）。
【0045】
具体的には、カメラパラメータ推定部１３０は、カメラ３００の焦点距離、中心位置、及び歪みなどの内部パラメータとして、カタログ上の設計値、過去の補正の実績値、又は同等品の補正の実績値などを設定する。また、カメラパラメータ推定部１３０は、センサパラメータ推定部１１０の結果を用いることで、環境座標系からカメラ３００の座標系への変換ＷＰＣを算出する。環境座標系からカメラ３００の座標系への変換は、センサパラメータ推定部１１０にて推定された０番目のセンサ２００の座標系から環境座標系への変換Ｌ０ＰＷ、車両中心位置からカメラ３００の位置への変換ＭＰＣ、及び０番目のセンサ２００の位置から車両中心位置への変換Ｌ０ＰＭを用いて、以下の数式２で表される。
【0046】
【数2】
【0047】
次に、レンダリング部１２０は、上記のカメラパラメータの暫定値を用いて、３Ｄスキャナ４００で測定された三次元データからカメラ３００にて撮像されたカメラ画像に対応するレンダリング画像を生成する（Ｓ２０３）。
【0048】
続いて、カメラパラメータ推定部１３０は、カメラ３００にて撮像されたカメラ画像と、生成されたレンダリング画像との間で特徴点マッチングを行う（Ｓ２０５）。例えば、カメラパラメータ推定部１３０は、ＳＩＦＴ（Scale-Invariant Feature Transform）などの古典的なアルゴリズム、又はＬｏＦＴＲ（Detector-Free Local Feature Matching with Transformers）などのＤＮＮを用いた特徴点マッチングアルゴリズムを用いて、カメラ画像と、レンダリング画像との間で特徴点マッチングを行ってもよい。ただし、カメラ３００の歪みが大きい場合には、ＤＮＮを用いた特徴点マッチングアルゴリズムを用いた方がより良好な結果を得ることが可能である。
【0049】
次に、カメラパラメータ推定部１３０は、特徴点マッチングによるマッチング点の三次元位置をレンダリング画像から取得する（Ｓ２０７）。具体的には、カメラパラメータ推定部１３０は、レンダリング画像におけるマッチング点のピクセルのレイ（光線）と、レンダリング画像の生成に用いられた三次元ポイントクラウド又は三次元メッシュとの交点を計算することで、マッチング点の三次元位置を取得することができる。
【0050】
続いて、カメラパラメータ推定部１３０は、マッチング点の三次元位置を用いて、環境座標系からカメラ３００の座標系への変換ＷＰＣを推定する（Ｓ２０９）。具体的には、カメラパラメータ推定部１３０は、マッチング点に含まれる外れ値を除外するために、ＲＡＮＳＡＣ（RANdom SAmple Consensus）アルゴルズムなどによるロバスト推定を行う。これにより、カメラパラメータ推定部１３０は、環境座標系からカメラ３００の座標系への変換ＷＰＣを大まかに推定することができる。
【0051】
例えば、カメラパラメータ推定部１３０は、まず、マッチング点からランダムに４点程度を取得し、取得したマッチング点の三次元位置をカメラ画像に投影するための位置姿勢行列を計算する。次に、カメラパラメータ推定部１３０は、計算した位置姿勢行列を用いてすべてのマッチング点をカメラ画像に投影し、投影したマッチング点の再投影誤差が閾値以下の点の数を計測する。カメラパラメータ推定部１３０は、上記のマッチング点の取得及び投影を複数回繰り返し、閾値以下の点の数が最も多い場合のマッチング点の組み合わせを抽出する。このとき抽出されたマッチング点の組み合わせは、外れ値が除去されたマッチング点の組み合わせとなっている。そこで、カメラパラメータ推定部１３０は、抽出されたマッチング点の組み合わせを用いて、再投影誤差が最小になるようにＰｎＰ（Perspective-n-Point）問題を解くことで、環境座標系からカメラ３００の座標系への変換ＷＰＣを大まかに推定することができる。
【0052】
上記で推定された環境座標系からカメラ３００の座標系への変換ＷＰＣは、大まかな推定である。そのため、レンダリング部１２０、及びカメラパラメータ推定部１３０は、推定された環境座標系からカメラ３００の座標系への変換ＷＰＣを用いて、レンダリング画像の生成、及びカメラパラメータの推定を再度行う。このとき、カメラパラメータ推定部１３０は、カメラ画像と、レンダリング画像との画像の差分を検出することで、特徴点検出時の誤差を含めずにカメラパラメータを推定することができる。なお、カメラ３００の焦点距離、中心位置、及び歪みなどの内部パラメータが既知である場合、カメラパラメータ推定部１３０は、これらの内部パラメータを推定の対象から外してもよい。
【0053】
詳細には、図５に示すように、レンダリング部１２０は、図４に示す処理で推定されたカメラ３００の位置を用いて、３Ｄスキャナ４００で測定された三次元データからカメラ３００にて撮像されたカメラ画像に対応するレンダリング画像を生成する（Ｓ２１１）。具体的には、レンダリング部１２０は、図４に示す処理で推定された環境座標系からカメラ３００の座標系への変換ＷＰＣと、カメラ３００の内部パラメータとを用いて、３Ｄスキャナ４００で測定された三次元データからカメラ３００にて撮像されたカメラ画像に対応するレンダリング画像を生成する。
【0054】
次に、カメラパラメータ推定部１３０は、カメラ３００にて撮像されたカメラ画像と、ステップＳ２１１で生成したレンダリング画像との差分Ｌ（Ｄ（ｉｍａｇｅ），Ｄ（ｒｅｄｅａｒｉｎｇ＿ｉｍａｇｅ）を検出する（Ｓ２１３）。Ｌは、Ｌ１ノルム、Ｌ２ノルム、又はＧｅｍａｎ－ＭｃＣｌｕｒｅ関数などのロバストな誤差関数である。Ｄは、画像の正規化、又は勾配を用いたディスクリプタ（例えば、Robust 3D Tracking with Descriptor Fieldsなど）などの画像の変換関数である。ただし、３Ｄスキャナ４００で測定された三次元データがカラーではなく反射強度を測定したデータである場合、カメラパラメータ推定部１３０は、ＤＮＮを用いたディスクリプタ（Deep Lucas-Kanade Homography for Multimodal Image Alignment）を用いることで、カメラ画像と、レンダリング画像との差分Ｌをより良好に収束させることができる。
【0055】
続いて、カメラパラメータ推定部１３０は、検出された差分Ｌが最小になるようにカメラ３００のカメラパラメータを更新する（Ｓ２１５）。これにより、カメラパラメータ推定部１３０は、ステップＳ２１１の処理でレンダリング画像の生成に用いたカメラパラメータよりも誤差が少ないカメラパラメータを推定することができる。
【0056】
なお、カメラパラメータ推定部１３０は、ガウシアンピラミッドを作成することで、低解像度の画像から高解像度の画像へ段階的にカメラパラメータを推定することも可能である。具体的には、カメラパラメータ推定部１３０は、レンダリング画像及びカメラ画像にブラーをかけることで、解像度を１／２に低減した画像、及び解像度を１／４に低減した画像をそれぞれ生成してもよい。カメラパラメータ推定部１３０は、１／４の解像度の画像、１／２の解像度の画像、及びブラー前の画像の順にカメラパラメータを推定することにより、カメラパラメータの推定のロバスト性をより高めることができる。
【0057】
ここで、カメラパラメータ推定部１３０は、ステップＳ２１５の処理が終了した際に、終了条件を満たしたか否かを判断する（Ｓ２１７）。終了条件とは、例えば、検出された差分Ｌが閾値以下になること、又はステップＳ２１１～Ｓ２１５の処理の繰り返し実行回数であるイタレーション数が所定回数に達したことなどである。
【0058】
終了条件が満たされていない場合（Ｓ２１７／Ｎｏ）、レンダリング部１２０及びカメラパラメータ推定部１３０は、ステップＳ２１１～Ｓ２１５の処理を繰り返し実行することで、レンダリング画像の生成、及びカメラパラメータの更新を繰り返す。
【0059】
一方、終了条件が満たされた場合（Ｓ２１７／Ｙｅｓ）、カメラパラメータ推定部１３０は、ステップＳ２１１～Ｓ２１５の処理の繰り返しを終了させ、差分Ｌが最小となるカメラパラメータを推定結果として取得する（Ｓ２１９）。
【0060】
上記の処理では、環境座標系からカメラ３００の座標系への変換ＷＰＣが推定される。そのため、カメラパラメータ推定部１３０は、センサパラメータ推定部１１０と同様に、移動体１０上に基準を設定することで、移動体１０に対するカメラ３００の各々の位置を推定することができる（Ｓ２２１）。
【0061】
例えば、移動体１０の設計上の車両中心位置から０番目のセンサ２００の位置への変換ＭＰＬ０を基準として用いることで、車両中心位置からｎ番目のカメラ３００への位置の変換ＭＰＣは、以下の数式３で表される。これにより、カメラパラメータ推定部１３０は、移動体１０の設計上の車両中心位置を基準として、カメラ３００の各々の位置を推定することができる。
【0062】
【数3】
【0063】
以上の処理によれば、情報処理装置１００は、移動体１０の設計上の車両中心位置などを基準として、移動体１０に搭載されたセンサ２００、及びカメラ３００の位置を推定することができる。また、情報処理装置１００は、カメラ３００の焦点距離、中心位置、及び歪みなどの内部パラメータを設計値からより高精度に推定することが可能である。
【0064】
これによれば、移動体１０は、カメラ３００で撮像された画像データ、及びセンサ２００でセンシングされたポイントクラウドデータを統合して扱うことが可能となるため、ＳＬＡＭ等によってより高精度で周囲環境、及び自己位置を推定することが可能である。
【0065】
＜３．変形例＞
（３．１．第１の変形例）
図６は、第１の変形例を説明する説明図である。例えば、静止環境ＳＥが地下駐車場、又は簡素なガレージなどである場合、静止環境ＳＥに目印となるテクスチャが十分に存在しない可能性があり得る。
（３．１．第１の変形例）
図６は、第１の変形例を説明する説明図である。例えば、静止環境ＳＥが地下駐車場、又は簡素なガレージなどである場合、静止環境ＳＥに目印となるテクスチャが十分に存在しない可能性があり得る。
【0066】
このような場合、図６に示すように、プロジェクタ５００によって静止環境ＳＥの壁面等にテクスチャＴｘが投影されてもよい。テクスチャＴｘは、例えば、同一のパターンが存在しない非周期的なパターンである。情報処理装置１００は、静止環境ＳＥにテクスチャＴｘが投影されることで、３Ｄスキャナ４００にて測定した三次元データから生成したレンダリング画像と、カメラ３００にて撮像されたカメラ画像との差分をより容易に検出することが可能である。
【0067】
なお、テクスチャＴｘは、３Ｄスキャナ４００及びカメラ３００によるデータの取得時にのみ投影されていればよく、常に投影されていなくともよい。テクスチャＴｘが投影された静止環境ＳＥを３Ｄスキャナ４００にて測定した三次元データ、及びテクスチャＴｘが投影された静止環境ＳＥをカメラ３００にて撮像した画像データは、プロジェクタ５００の位置、及び静止環境ＳＥが変わらない限り連続して使用することが可能である。
【0068】
（３．２．第２の変形例）
図７は、第２の変形例を説明する説明図である。例えば、情報処理装置１００は、カメラ単体に対して適用することも可能である。
図７は、第２の変形例を説明する説明図である。例えば、情報処理装置１００は、カメラ単体に対して適用することも可能である。
【0069】
具体的には、図７に示すように、第２の変形例では、情報処理装置１００がカメラ３００ａのカメラパラメータを推定する場合、補正用オブジェクトＳＥａが用意される。補正用オブジェクトＳＥａは、カメラ３００ａが撮像する静止環境を提供する物体である。補正用オブジェクトＳＥａは、例えば、カメラ３００ａの撮像範囲の大半を覆うような内部空間を有する半球、多角錐、又は直方体などであってもよい。このような補正用オブジェクトＳＥａは、例えば、３Ｄプリンタなどで製造することが可能である。
【0070】
補正用オブジェクトＳＥａの内部空間には、テクスチャが貼られており、テクスチャが貼られた内部空間を３Ｄスキャナ４００で測定することで、補正用オブジェクトＳＥａの内部空間の三次元データが測定される。また、テクスチャが貼られた内部空間をカメラ３００ａで撮像することで、補正用オブジェクトＳＥａの内部空間の画像データが取得される。情報処理装置１００は、補正用オブジェクトＳＥａの内部空間の三次元データから内部空間のレンダリング画像を生成し、生成したレンダリング画像を補正用オブジェクトＳＥａの内部空間のカメラ画像と比較することで、カメラ３００ａのカメラパラメータを推定することができる。
【0071】
カメラ３００ａのカメラパラメータの推定のために情報処理装置１００で実行される処理は、図４及び図５を参照して説明したとおりである。ただし、カメラ３００ａで撮像されたｎ枚のカメラ画像と、対応するｎ個のレンダリング画像との差分を検出する場合、差分Ｌは、ｎ個の画像の差分の合計となる。
【0072】
（３．３．第３の変形例）
図８は、第３の変形例に係るカメラパラメータ推定部１３０にて実行される前段の処理の流れを示すフローチャート図である。例えば、静止環境ＳＥのテクスチャに各々を識別可能な二次元マーカが埋め込まれる場合、情報処理装置１００は、検出した二次元マーカを用いてカメラ３００の内部パラメータの初期値を推定することが可能である。
図８は、第３の変形例に係るカメラパラメータ推定部１３０にて実行される前段の処理の流れを示すフローチャート図である。例えば、静止環境ＳＥのテクスチャに各々を識別可能な二次元マーカが埋め込まれる場合、情報処理装置１００は、検出した二次元マーカを用いてカメラ３００の内部パラメータの初期値を推定することが可能である。
【0073】
例えば、カメラ３００の内部パラメータの初期値となり得る適切なカタログ上の設計値、過去の補正の実績値、又は同等品の補正の実績値などがない場合、カメラ３００の内部パラメータの初期値が設定されないことがあり得る。このような場合、図５に示すカメラパラメータ推定部１３０の後段の処理でカメラパラメータの推定が安定せず収束しないことがあり得る。
【0074】
第３の変形例では、カメラパラメータ推定部１３０は、静止環境ＳＥのテクスチャに埋め込まれた二次元マーカを用いることで、カメラ３００の内部パラメータの初期値を推定することが可能である。静止環境ＳＥのテクスチャに埋め込まれる二次元マーカとしては、例えば、ＯｐｅｎＣＶ（登録商標）のＡｒＵｃｏマーカなどを例示することができる。
【0075】
具体的には、図８に示すように、まず、カメラパラメータ推定部１３０は、カメラ３００のカメラ画像から二次元マーカのコーナーの二次元座標を検出する（Ｓ３０１）。
【0076】
次に、カメラパラメータ推定部１３０は、二次元座標を検出した二次元マーカのコーナーの三次元座標を取得する（Ｓ３０３）。例えば、レンダリング部１２０は、３Ｄスキャナ４００で測定された三次元ポイントクラウド又は三次元メッシュから、二次元座標を検出した二次元マーカが含まれるレンダリング画像を生成する。カメラパラメータ推定部１３０は、生成されたレンダリング画像の二次元マーカのコーナーの二次元座標のレイ（光線）と、レンダリング画像の生成に用いられた三次元ポイントクラウド又は三次元メッシュとの交点を計算することで、二次元マーカのコーナーの三次元位置を取得することができる。
【0077】
続いて、カメラパラメータ推定部１３０は、三次元位置を取得した二次元マーカのコーナーをカメラ画像に投影した際の再投影誤差を最小化させることで、カメラ３００の内部パラメータを含むカメラパラメータを推定する（Ｓ３０５）。
【0078】
このとき、カメラパラメータ推定部１３０は、カメラ３００の内部パラメータのすべてを推定してもよいが、推定する内部パラメータの数を減らすことで、内部パラメータの推定をより安定化させることが可能である。例えば、カメラパラメータ推定部１３０は、カメラ３００の中心位置をカメラ画像の画像中心と同じとすることで、カメラ３００の中心位置を推定から外すことが可能である。また、カメラパラメータ推定部１３０は、カメラ３００の縦方向の焦点距離と横方向の焦点距離とが同じであるとすることで、推定するパラメータを１つ減らすことが可能である。さらに、カメラパラメータ推定部１３０は、カメラ３００の歪みを表すパラメータの数を１～２程度まで減らすことで推定を安定化させることが可能である。
【0079】
レンダリング部１２０及びカメラパラメータ推定部１３０は、推定されたカメラ３００の内部パラメータを含むカメラパラメータを初期値として図５に示す後段の処理を実行することで、同様に、カメラ３００のカメラパラメータを高精度で推定することができる。
【0080】
＜４．ハードウエア構成例＞
さらに、図９を参照して、本実施形態に係る情報処理装置１００のハードウエア構成について説明する。図９は、本実施形態に係る情報処理装置１００のハードウエア構成例を示すブロック図である。
さらに、図９を参照して、本実施形態に係る情報処理装置１００のハードウエア構成について説明する。図９は、本実施形態に係る情報処理装置１００のハードウエア構成例を示すブロック図である。
【0081】
本実施形態に係る情報処理装置１００の機能は、ソフトウェアと、以下で説明するハードウエアとの協働によって実現され得る。センサパラメータ推定部１１０、レンダリング部１２０、及びカメラパラメータ推定部１３０の機能は、例えば、ＣＰＵ９０１により実行されてもよい。
【0082】
図９に示すように、情報処理装置１００は、ＣＰＵ（Central Processing Unit）９０１、ＲＯＭ（Read Only Memory）９０２、及びＲＡＭ（Random Access Memory）９０３を含む。
【0083】
また、情報処理装置１００は、ホストバス９０４ａ、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１０、又は通信装置９１１をさらに含んでもよい。情報処理装置１００は、ＣＰＵ９０１に替えて、又はＣＰＵ９０１と共に、ＤＳＰ（Digital Signal Processor）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの処理回路を有してもよい。
【0084】
ＣＰＵ９０１は、演算処理装置、又は制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９０８、又はドライブ９０９に装着されたリムーバブル記録媒体に記録された各種プログラムに従って、情報処理装置１００内の動作を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラム、及び演算パラメータなどを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、及びその実行の際に使用するパラメータなどを一時的に記憶する。
【0085】
ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、高速なデータ伝送が可能なホストバス９０４ａにより相互に接続される。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９０４ｂに接続され、外部バス９０４ｂは、インタフェース９０５を介して種々の構成要素と接続される。
【0086】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、又はレバーなどのユーザからの入力を受け付ける装置である。なお、入力装置９０６は、ユーザの音声を検出するマイクロフォンなどであってもよい。入力装置９０６は、例えば、赤外線、又はその他の電波を利用したリモートコントロール装置であってもよく、情報処理装置１００の操作に対応した外部接続機器であってもよい。
【0087】
入力装置９０６は、ユーザが入力した情報に基づいて生成した入力信号をＣＰＵ９０１に出力する入力制御回路をさらに含む。ユーザは、入力装置９０６を操作することによって、情報処理装置１００に対して各種データの入力、又は処理動作の指示を行うことができる。
【0088】
出力装置９０７は、情報処理装置１００にて取得又は生成された情報をユーザに対して視覚的、又は聴覚的に提示することが可能な装置である。出力装置９０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、ホログラム、若しくはプロジェクタなどの表示装置、スピーカ若しくはヘッドホンなどの音出力装置、又はプリンタ装置などの印刷装置であってもよい。出力装置９０７は、情報処理装置１００の処理により得られた情報をテキスト若しくは画像などの映像、又は音声若しくは音響などの音として出力することができる。
【0089】
ストレージ装置９０８は、情報処理装置１００の記憶部の一例として構成されたデータ格納装置である。ストレージ装置９０８は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどにより構成されてもよい。ストレージ装置９０８は、ＣＰＵ９０１が実行するプログラム、各種データ、又は外部から取得した各種データなどを格納することができる。
【0090】
ドライブ９０９は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体の読み取り又は書き込み装置であり、情報処理装置１００に内蔵、又は外付けされる。例えば、ドライブ９０９は、装着されているリムーバブル記録媒体に記録されている情報を読み出してＲＡＭ９０３に出力することができる。また、ドライブ９０９は、装着されているリムーバブル記録媒体に記録を書き込むことができる。
【0091】
接続ポート９１０は、外部接続機器を情報処理装置１００に直接接続するためのポートである。接続ポート９１０は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、又はＳＣＳＩ（Small Computer System Interface）ポートなどであってもよい。また、接続ポート９１０は、ＲＳ－２３２Ｃポート、光オーディオ端子、又はＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９１０は、外部接続機器と接続されることで、情報処理装置１００と外部接続機器との間で各種データの送受信を行うことができる。
【0092】
通信装置９１１は、例えば、通信ネットワーク９２０に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９１１は、例えば、有線若しくは無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Wireless USB）用の通信カードなどであってもよい。また、通信装置９１１は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、又は各種通信用のモデムなどであってもよい。
【0093】
通信装置９１１は、例えば、インターネット、又は他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信することができる。また、通信装置９１１に接続される通信ネットワーク９２０は、有線又は無線によって接続されたネットワークであり、例えば、インターネット通信網、家庭内ＬＡＮ、赤外線通信網、ラジオ波通信網、又は衛星通信網などであってもよい。
【0094】
なお、コンピュータに内蔵されるＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３などのハードウエアに上記の情報処理装置１００と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録したコンピュータに読み取り可能な記録媒体も提供可能である。
【0095】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0096】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0097】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、
を備える、情報処理装置。
（２）
前記レンダリング部及び前記カメラパラメータ推定部は、前記差分が閾値以下になるまで前記レンダリング画像の生成と、前記カメラパラメータの更新とを繰り返し実行する、前記（１）に記載の情報処理装置。
（３）
前記カメラパラメータは、前記カメラの位置を表す外部パラメータと、前記カメラ画像と前記環境との対応関係を示す内部パラメータとを含む、前記（１）又は（２）に記載の情報処理装置。
（４）
前記外部パラメータの初期値は、前記カメラ画像と、前記外部パラメータの暫定値を用いて生成された前記レンダリング画像との特徴点マッチングにて抽出されたマッチング点を用いて推定される、前記（３）に記載の情報処理装置。
（５）
前記カメラは、オブジェクトの位置を検出可能なセンサが搭載された機器に搭載され、
前記外部パラメータの前記暫定値は、前記センサの位置に基づいて決定される、前記（４）に記載の情報処理装置。
（６）
前記機器は、移動体である、前記（５）に記載の情報処理装置。
（７）
前記センサの位置を含むセンサパラメータを推定するセンサパラメータ推定部をさらに備える、前記（５）又は（６）に記載の情報処理装置。
（８）
前記センサパラメータ推定部は、前記三次元データと、前記センサで取得した前記環境のポイントクラウドデータとの位置合わせを行うことで、前記センサパラメータを推定する、前記（７）に記載の情報処理装置。
（９）
前記センサパラメータ推定部は、複数段階に分けて前記位置合わせを行う、前記（８）に記載の情報処理装置。
（１０）
前記環境は、少なくとも三方向以上が面で閉ざされた静止環境である、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
前記環境の面には、所定のテクスチャが投影される、前記（１０）に記載の情報処理装置。
（１２）
前記テクスチャには、各々を識別可能な二次元マーカが含まれる、前記（１１）に記載の情報処理装置。
（１３）
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成することと、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新することと、
を含む、コンピュータによる情報処理方法。
（１４）
コンピュータを、
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、
として機能させるための、プログラム。
（１）
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、
を備える、情報処理装置。
（２）
前記レンダリング部及び前記カメラパラメータ推定部は、前記差分が閾値以下になるまで前記レンダリング画像の生成と、前記カメラパラメータの更新とを繰り返し実行する、前記（１）に記載の情報処理装置。
（３）
前記カメラパラメータは、前記カメラの位置を表す外部パラメータと、前記カメラ画像と前記環境との対応関係を示す内部パラメータとを含む、前記（１）又は（２）に記載の情報処理装置。
（４）
前記外部パラメータの初期値は、前記カメラ画像と、前記外部パラメータの暫定値を用いて生成された前記レンダリング画像との特徴点マッチングにて抽出されたマッチング点を用いて推定される、前記（３）に記載の情報処理装置。
（５）
前記カメラは、オブジェクトの位置を検出可能なセンサが搭載された機器に搭載され、
前記外部パラメータの前記暫定値は、前記センサの位置に基づいて決定される、前記（４）に記載の情報処理装置。
（６）
前記機器は、移動体である、前記（５）に記載の情報処理装置。
（７）
前記センサの位置を含むセンサパラメータを推定するセンサパラメータ推定部をさらに備える、前記（５）又は（６）に記載の情報処理装置。
（８）
前記センサパラメータ推定部は、前記三次元データと、前記センサで取得した前記環境のポイントクラウドデータとの位置合わせを行うことで、前記センサパラメータを推定する、前記（７）に記載の情報処理装置。
（９）
前記センサパラメータ推定部は、複数段階に分けて前記位置合わせを行う、前記（８）に記載の情報処理装置。
（１０）
前記環境は、少なくとも三方向以上が面で閉ざされた静止環境である、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
前記環境の面には、所定のテクスチャが投影される、前記（１０）に記載の情報処理装置。
（１２）
前記テクスチャには、各々を識別可能な二次元マーカが含まれる、前記（１１）に記載の情報処理装置。
（１３）
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成することと、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新することと、
を含む、コンピュータによる情報処理方法。
（１４）
コンピュータを、
３Ｄスキャナで測定した環境の三次元データと、前記環境を撮像するカメラのカメラパラメータとに基づいて、前記カメラで撮像されたカメラ画像に対応するレンダリング画像を生成するレンダリング部と、
前記カメラ画像と、前記レンダリング画像との差分を抽出し、前記差分がより小さくなるように前記カメラパラメータを更新するカメラパラメータ推定部と、
として機能させるための、プログラム。
【符号の説明】
【0098】
１０ 移動体
１００ 情報処理装置
１１０ センサパラメータ推定部
１２０ レンダリング部
１３０ カメラパラメータ推定部
２００ センサ
３００ カメラ
４００ ３Ｄスキャナ
５００ プロジェクタ
ＳＥ 静止環境
Ｔｘ テクスチャ
１００ 情報処理装置
１１０ センサパラメータ推定部
１２０ レンダリング部
１３０ カメラパラメータ推定部
２００ センサ
３００ カメラ
４００ ３Ｄスキャナ
５００ プロジェクタ
ＳＥ 静止環境
Ｔｘ テクスチャ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】