特開 2024-178816 情報処理装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178816

(43)【公開日】2024-12-25

(54)【発明の名称】情報処理装置、制御方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241218BHJP

   H04N 7/18 20060101ALI20241218BHJP

   H04N 23/60 20230101ALI20241218BHJP

【ＦＩ】

G06T7/70 Z

H04N7/18 K

H04N23/60

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023097245

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】阿達 大地

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054CF06

5C054CF07

5C054EA01

5C054EA05

5C054EA07

5C054FC03

5C054FC07

5C054FC14

5C054FC15

5C054FD01

5C054FE12

5C054GB15

5C122EA59

5C122FA18

5C122FH03

5C122FH10

5C122FH11

5C122FH14

5C122HA76

5C122HA88

5C122HB01

5L096AA02

5L096AA06

5L096AA09

5L096EA39

5L096FA06

5L096FA09

5L096FA35

5L096FA66

5L096FA67

5L096FA69

5L096GA40

5L096GA55

5L096JA09

(57)【要約】

【課題】移動する撮像装置の位置及び姿勢を適切に決定する技術を提供する。
【解決手段】複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データに基づく画像と、前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像と、に基づいて、第二の撮像装置の位置及び姿勢を決定する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データを取得する第一の取得手段と、
前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像を取得する第二の取得手段と、
前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する決定手段と、を有する情報処理装置。

【請求項2】

前記決定手段は、予め取得された前記第二の撮像装置の位置及び姿勢に応じた投影面に前記三次元形状データを投影することにより前記三次元形状データに基づく画像を生成し、
前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する請求項１に記載の情報処理装置。

【請求項3】

前記決定手段は、前記三次元形状データに基づく画像の画像特徴と、前記第二の撮像装置が撮像する画像の画像特徴とに基づいて、前記第二の撮像装置の位置及び姿勢を決定する請求項１に記載の情報処理装置。

【請求項4】

前記決定手段は、前記三次元形状データに基づく画像に含まれる被写体のエッジ特徴と、前記第二の撮像装置が撮像する画像に含まれる前記被写体のエッジ特徴とに基づいて、前記第二の撮像装置の位置及び姿勢を決定する請求項１に記載の情報処理装置。

【請求項5】

前記決定手段は、前記エッジ特徴どうしの距離がより小さくなるように前記第二の撮像装置の位置及び姿勢を決定する請求項４に記載の情報処理装置。

【請求項6】

前記被写体は、静止している構造物である請求項４に記載の情報処理装置。

【請求項7】

前記決定手段は、前記三次元形状データに基づく画像に含まれる画素と、前記第二の撮像装置が撮像する画像のエッジ領域を除いた画像に含まれる画素の色との差に基づいて、前記第二の撮像装置の位置及び姿勢を決定する請求項１に記載の情報処理装置。

【請求項8】

前記決定手段により決定された前記第二の撮像装置の位置及び姿勢に基づいて、前記三次元形状データを更新する更新手段を有する請求項１に記載の情報処理装置。

【請求項9】

前記複数の第一の撮像装置と、前記第二の撮像装置とは同期して撮像を行う請求項１に記載の情報処理装置。

【請求項10】

前記決定手段は、前記第二の撮像装置が撮像する画像と、前記三次元形状データに基づく画像とに基づいて、前記第二の撮像装置の位置及び姿勢に対応する画像を生成する請求項１に記載の情報処理装置。

【請求項11】

複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データを取得する第一の取得工程と、
前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像を取得する第二の取得工程と、
前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する決定工程と、を有する制御方法。

【請求項12】

コンピュータに、請求項１１に記載の制御方法が有する各工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、制御方法及びプログラムに関するものである。

【背景技術】

【0002】

昨今、それぞれ異なる位置に設置された複数の撮像装置が同期して撮像を行い、当該撮像に基づいて得られる複数の画像を用いて仮想視点画像を生成するボリュメトリック技術が注目されている。仮想視点画像の画質向上の目的から、被写体を至近距離から移動するカメラ（以下、移動カメラという）で撮像した画像を用いて画像を合成する需要がある。

【0003】

一方、特許文献１で記載されているように、一般的なボリュメトリック技術では、複数の撮像装置の位置や姿勢を校正するカメラキャリブレーションを実施する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－２１２５９２号公報

【特許文献2】特開２０１０－０７９４５２号公報

【非特許文献】

【0005】

【非特許文献1】J. Engel, V. Koltun, D. Cremers, “Direct Sparse Odometry” Submitted on 9 Jul 2016 (v1), last revised 7 Oct 2016 (this version, v2) ［令和 ５ 年6 月2 日検索］，インターネット ＜URL: https://arxiv.org/abs/1607.02565＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

空間内を動く移動カメラで撮像した画像と仮想視点画像とがシームレスに切り替わるような演出をするためには、移動カメラの位置や姿勢を毎フレームキャリブレーションすることやセンサーで取得することが必要である。しかしキャリブレーションに必要なマーカーを配置できない撮像環境の制約、あるいはセンサー精度が不十分であるなどの点から上記のような演出は困難であった。

【0007】

本開示の目的は、移動する撮像装置の位置及び姿勢を適切に決定する技術を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本開示にかかる情報処理装置は、例えば以下の構成を有する。すなわち、複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データを取得する第一の取得手段と、前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像を取得する第二の取得手段と、前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する決定手段を有する。

【発明の効果】

【0009】

本開示によれば、移動する撮像装置の位置及び姿勢を適切に決定することが可能となる。

【図面の簡単な説明】

【0010】

【図1】実施形態１におけるシステム構成図を示す。

【図2】実施形態１における撮像する空間の模式図を示す。

【図3】実施形態１における情報処理装置のハードウェア構成図を示す。

【図4】実施形態１における情報処理装置の処理フローを示す。

【図5】実施形態１における画像合成の過程を示す。

【図6】実施形態１における画像特徴の抽出および対応付けのフローを示す。

【図7】実施形態２におけるシステム構成図を示す。

【図8】実施形態２における情報処理装置の処理フローを示す。

【図9】実施形態２における画像特徴の抽出および対応付けのフローを示す。

【図10】実施形態３におけるシステム構成図を示す。

【図11】実施形態３における情報処理装置の処理フローを示す。

【図12】実施形態３における画像合成の過程を示す。

【図13】実施形態３における画像特徴の抽出および対応付けのフローを示す。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（実施形態１）
本実施形態では、被写体を複数の固定カメラから撮像した画像を用いて被写体の三次元モデルを生成する撮像システムにおいて、移動カメラによる撮像画像と、該撮像画像の撮像時における移動カメラの位置姿勢と、に基づいて、より精度の高い移動カメラの位置姿勢を算出し、該算出した位置姿勢に基づいて生成した該被写体の仮想視点画像と、該撮像画像と、を合成して表示する例を述べる。なお、本実施形態で説明する画像とは静止画に限らず、連続時刻にわたって撮像または再生される動画像における各フレームの画像も含むものとして説明する。

【0013】

なお、移動カメラは、固定されていないカメラで、撮像中に移動するカメラである。また、撮像中に移動するとは、固定カメラにおいて振動によって位置や姿勢が変化するものではなく、ユーザーが意図してカメラを移動することである。移動カメラの撮像と、複数の固定カメラの撮像とは同期しており、同じ時刻で撮像されたそれぞれの画像には同じタイムコードが付与される。例えば、移動カメラは、手持ちカメラやクレーンカメラ、ワイヤーカムなどである。以下では手持ちカメラを例にして説明を行う。また、三次元モデルとは、被写体の三次元形状を示す三次元形状データである。三次元モデルは、メッシュ形式や点群形式、ボクセル形式などのいずれの形式で表現されてもよいし、例示した形式以外の形式で表現されてもよい。

【0014】

図１に、本実施形態に係る撮像システムの構成例を示すブロック図を示す。撮像システムは以下の構成要素を有する。複数の撮像装置１００は撮像エリアを複数の方向から撮像する。撮像装置１００は、第一の撮像装置の一例である。撮像エリアは、例えば屋内の撮像スタジオや演劇が行われる舞台などである。図２に撮像エリアを含む、撮像する空間の模式図を示す。複数の撮像装置１００は、撮像エリアを取り囲むようにそれぞれ異なる位置に固定して設置され、同期して撮像を行う。なお、複数の撮像装置１００は撮像エリアの全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像エリアの一部にのみ設置されていてもよい。

【0015】

また、撮像装置１００の数は図１および図２に示す例に限定されず、例えば撮像エリアをサッカーの競技場とする場合には、競技場の周囲に１００台程度の撮像装置１００が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる複数の撮像装置１００が設置されていてもよい。撮像装置１００は図２に示すようにそれぞれ有線のイーサネットケーブルによるカスケード接続で接続され、終端部はイーサネットスイッチ等により束ねたうえで情報取得部１１１および生成部１１２にそれぞれ接続される。接続の方法はこれに限らず、無線で伝送を行ってもよいし、それぞれの撮像装置１００と情報取得部１１１および生成部１１２とを直接繋ぐスター接続の構成としてもよい。

【0016】

情報取得部１１１は、複数の撮像装置１００のそれぞれの三次元位置、パン、チルト、及びロール方向における撮像装置１００の方向、撮像装置１００の視野の大きさ（画角）、および解像度を含むパラメータのセットを撮像装置情報として取得して記憶する。撮像装置情報は公知のカメラキャリブレーションの手順で情報取得部１１１においてあらかじめ算出して記憶しておく。すなわち情報取得部１１１は、撮像エリアに排紙されたマーカーを複数の撮像装置１００で同期撮像することで取得した複数の画像中のマーカーが検出された画像座標同士を対応付け、幾何計算により撮像装置情報を算出する。なお、撮像装置情報の内容は上記に限定されない。撮像装置情報は複数のパラメータのセットを有していてもよい。例えば、撮像装置情報が、動画像を構成する複数のフレームにそれぞれ対応するパラメータのセットを有し、それぞれのフレームに対応する撮像装置１００の位置及び方向を示す情報であってもよい。

【0017】

生成部１１２は、特許文献１に記載の視体積交差法などにより、複数の撮像装置１００による撮像された複数の撮像画像から被写体５の三次元モデル（色付き三次元点群やテクスチャ付きポリゴンメッシュ形式の三次元モデル）を生成し、該生成した三次元モデルを記憶部１１３に記憶する。

【0018】

撮像装置１０１は、手持ちの非固定カメラ（以下手持ちカメラと呼称する場合がある）であり、撮像装置１００と同期して撮像する。撮像装置１０１は、第二の撮像装置の一例である。以下では、撮像装置１０１により撮像される撮像画像を非固定画像と称する。

【0019】

位置姿勢センサー１２０は、撮像装置１０１に設置された光学式センサーであり、別途設置された図示しない赤外光発光部の光信号を撮像装置１００および撮像装置１０１と同期してセンシングすることで６自由度の位置姿勢を算出する。同期の精度が不十分または同期ができていない場合、位置姿勢センサー１２０は、その時点までに取得した複数時刻の位置姿勢からカルマンフィルタなどの信号処理によって６自由度の位置姿勢を予測、外挿してもよい。６自由度の位置姿勢は、第一の位置姿勢の一例である。位置姿勢センサー１２０と撮像装置１０１との間の相対的な位置姿勢のオフセット量は、あらかじめ校正されて記憶されている。

【0020】

情報処理装置２００は、撮像装置１０１、位置姿勢センサー１２０、記憶部１１３からそれぞれ撮像画像、位置姿勢、三次元モデルを取得し、取得したこれらのデータに基づいて後述する仮想視点画像を生成し、該生成した仮想視点画像を表示装置３００に表示させる。

【0021】

情報処理装置２００は、取得部２１０と、取得部２２０と、取得部２３０と、生成部２４０と、対応付け部２５０と、算出部２６０と、更新部２７０と、画像合成部２８０と、を有する。

【0022】

取得部２１０は、撮像装置１０１から例えばフルＨＤ解像度、ＲＧＢ３チャネルの非固定画像を取得する。非固定画像のデータフォーマットは後述するようにこれに限らない。

【0023】

取得部２２０は、記憶部１１３からテクスチャ付きポリゴンメッシュ形式の三次元モデルを取得する。この三次元モデルは、固定カメラの複数の撮像画像のタイムコードと、非固定画像のタイムコードと対応付けられている。

【0024】

取得部２３０は、位置姿勢センサー１２０から６自由度の位置姿勢を第一の位置姿勢として取得する。この第一の位置姿勢は、固定カメラの複数の撮像画像のタイムコードと、非固定画像のタイムコードと対応付けられている。

【0025】

生成部２４０は、特許文献１に記載のモデルベースドレンダリングなどにより、取得部２３０が取得した位置姿勢に置いた投影面に、取得部２２０が取得した三次元モデルを描画して仮想視点画像を生成する。この仮想視点画像は、固定カメラの複数の撮像画像のタイムコードと、非固定画像のタイムコードと対応付けられている。

【0026】

対応付け部２５０は、生成部２４０が生成した仮想視点画像、取得部２１０が取得した非固定画像、のそれぞれの画像から後述する画像特徴を抽出し、画像間で画像特徴の対応付けを行う。仮想視点画像と非固定画像は、同じタイムコードに対応付けられている。つまり、ある時刻に撮像された複数の撮像画像に基づいて生成された仮想視点画像と、その時刻と同じ時刻に撮像された非固定画像と、の画像間の画像特徴が対応付けられる。

【0027】

算出部２６０は、対応付け部２５０によって対応付けられた画像特徴間の距離が小さくなるように後述する最適化計算を行うことで、非固定画像の撮像時における撮像装置１０１の位置姿勢を第二の位置姿勢として算出（推定）する。

【0028】

更新部２７０は、第二の位置姿勢を用いて生成部２４０と同様に三次元モデルを描画して仮想視点画像を生成する。

【0029】

画像合成部２８０は、更新部２７０によって生成された仮想視点画像と、取得部２１０が取得した非固定画像と、を後述する方法でアルファ合成した合成画像を生成し、該生成した合成画像を表示装置３００へ送信する。

【0030】

表示装置３００は、液晶画面やタッチパネル画面を有し、情報処理装置２００から出力された合成画像を含む様々な情報を表示可能である。なお、表示装置３００は、表示画面を有するコンピュータ装置であっても良い。

【0031】

図３に情報処理装置２００のハードウェア構成図を示す。なお、本実施形態では、情報取得部１１１および生成部１１２のハードウェア構成も、情報処理装置２００の構成と同様であるが、これに限らず、情報処理装置２００の構成と異なっていても良い。また、情報取得部１１１および生成部１１２が情報処理装置２００と同様の構成を有しても良い。

【0032】

情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置２００の全体を制御することで、図１に示す情報処理装置２００の各機能部の機能を実現する。以下では、図１の情報処理装置２００が有する機能部がコンピュータプログラム（ソフトウェア）で実装されるケースについて説明する。以下では、図１の情報処理装置２００の機能部を処理の主体として説明するが、実際には、ＣＰＵ２１１が該機能部に対応するコンピュータプログラムを実行することで、該機能部の機能が実現される。なお、図１の情報処理装置２００の機能部のうち１以上をハードウェアで実装しても良い。なお、情報処理装置２００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0033】

ＲＯＭ２１２は、変更を必要としないコンピュータプログラムやデータを格納する。ＲＡＭ２１３は、補助記憶装置２１４やＲＯＭ２１２から供給されるコンピュータプログラムやデータ、通信Ｉ／Ｆ２１７を介して外部から供給されるデータ、などを一時記憶するためのエリアを有する。また、ＲＡＭ２１３は、ＣＰＵ２１１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ２１３は、各種のエリアを適宜提供することができる。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、ＯＳ、情報処理装置２００が行う処理として説明する各種の処理をＣＰＵ２１１に実行もしくは制御させるためのコンピュータプログラムやデータ（画像や音声などの種々のデータ）を記憶する。

【0034】

表示部２１５は、例えば液晶ディスプレイやＬＥＤディスプレイ等で構成され、ユーザーが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。なお、表示部２１５は、タッチパネル画面を有していても良い。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザーによる操作を受けて各種の指示をＣＰＵ２１１に入力する。

【0035】

ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部としても動作する。ＣＰＵ２１１は、制御部の一例である。通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７は、いずれもバス２１８に接続されている。本実施形態では表示部２１５と操作部２１６とが情報処理装置２００の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。

【0036】

次に情報処理装置２００の処理フローを図４に沿って説明する。

【0037】

ステップＳ０２０１０では、取得部２１０が、撮像装置１０１から非固定画像を取得する。非固定画像は、本実施形態ではフルＨＤ解像度、ＲＧＢ３チャネルの画像のデータとするが、これに限らない。

【0038】

ステップＳ０２０２０では、取得部２２０が、記憶部１１３から三次元モデルを取得する。三次元モデルはテクスチャ画像付きポリゴンメッシュを示すＯＢＪファイル形式のデータとするが、これに限らない。例えば、三次元モデルは、ＯＢＪファイル形式のデータに替えて色付き三次元点群やイメージベースドレンダリングするための形状を表すポリゴンメッシュと複数視点の画像のデータフォーマットでもよい。

【0039】

ステップＳ０２０３０では、取得部２３０が、位置姿勢センサー１２０から位置の３自由度、姿勢の３自由度、計６自由度の位置姿勢を第一の位置姿勢として取得する。取得部２３０は、前述のようにカルマンフィルタなどの時系列フィルタを適用して取得した位置姿勢を第一の位置姿勢として取得してもよい。

【0040】

ステップＳ０２０４０では、生成部２４０が、特許文献１に記載のモデルベースドレンダリングなどにより、取得部２３０が取得した第一の位置姿勢に応じた投影面に、取得部２２０が取得した三次元モデルを投影した画像を、仮想視点画像として描画（生成）する。

【0041】

図５（ａ）は、ステップＳ０２０１０で撮像装置１０１から取得した非固定画像１１を示す。非固定画像１１は、被写体５を含む。図５（ｂ）は、本ステップＳ０２０４０で描画された仮想視点画像１２を示す。仮想視点画像１２は、被写体５の三次元モデル５０を含む。

【0042】

ステップＳ０２０５０では、対応付け部２５０が、ステップＳ０２０４０にて生成した仮想視点画像から画像特徴としてエッジ部分を抽出し、ステップＳ０２０１０にて取得した非固定画像上の画素への対応付けを行う。図６にステップＳ０２０５０のより詳細な処理フローを示す。

【0043】

ステップＳ０２０５１では、対応付け部２５０が、仮想視点画像にラプラシアンフィルタやキャニーフィルタなどのエッジ抽出フィルタを適用することで、該仮想視点画像におけるエッジ部分を表すエッジ画像を生成する。対応付け部２５０は、図５（ｂ）の仮想視点画像１２に対してエッジ抽出フィルタを適用することで、図５（ｃ）に示すように、仮想視点画像１２におけるエッジ部分の輝度が高く、それ以外の画素の輝度が低いエッジ画像１３を得る。

【0044】

ステップＳ０２０５２では、対応付け部２５０は、ステップＳ２２０５１にて抽出されたエッジ部分の画素位置（図５（ｃ）ではエッジ画像１３の輝度の高い画素位置）の周辺において、非固定画像上の画素を探索する。本実施形態では、対応付け部２５０は、後述する位置姿勢センサー１２０のデータ誤差を加味し５画素を探索範囲とするが、これに限らず、さらに大きく１０画素や２０画素などを探索範囲としてもよい。図５（ｄ）は、非固定画像１１上に仮想視点画像１２を重畳した様子を示す。図５（ｄ）に示すように、位置姿勢センサー１２０から取得したデータの誤差により、被写体５の像とその三次元モデル５０の像との間にわずかなずれが生じている。対応付け部２５０は、エッジ画像におけるエッジ部分の画素位置においてエッジに垂直な方向に非固定画像上の画素を探索し、輝度勾配を計算する。このとき対応付け部２５０は、エッジ画像１３の画素位置３０周辺のエッジ画素の分布に基づいて探索方向３１を決定できる。

【0045】

ステップＳ０２０５３では、対応付け部２５０は、輝度勾配が閾値以上の画素を、「ステップＳ２２０５１にて抽出されたエッジ部分の画素位置におけるエッジ画素」（つまり仮想視点画像におけるエッジ画素）に対応する非固定画像のエッジ画素として検出する。そして対応付け部２５０は、「ステップＳ２２０５１にて抽出されたエッジ部分の画素位置におけるエッジ画素」と、「ステップＳ２２０５１にて抽出されたエッジ部分の画素位置におけるエッジ画素」に対応する非固定画像のエッジ画素と、を対応付ける。このとき、対応付け部２５０は、ステップＳ０２０５１と同様のフィルタを適用することにより輝度勾配を算出する。

【0046】

ステップＳ０２０６０では、算出部２６０は、仮想視点画像におけるエッジ画素と、該エッジ画素に対応する非固定画像のエッジ画素と、の間の距離をコストとしたコスト関数の値が最小化するようにガウス・ニュートン法により繰り返し計算を行い、撮像装置１０１の第二の位置姿勢を算出する。この手順は例えば特許文献２に記載のように公知のため詳細はここでは説明しない。

【0047】

ステップＳ０２０７０では、更新部２７０は、第二の位置姿勢を第一の位置姿勢の代わりに用いてステップＳ０２０４０の処理と同様の処理を行うことで仮想視点画像を描画（生成）する。図５（ｅ）は、ステップＳ２０７０で生成した仮想視点画像を非固定画像１１に重畳した様子を示す。図５（ｄ）で生じていたずれが軽減され、より精密に重畳されている。

【0048】

ステップＳ０２０８０では、画像合成部２８０は、図５（ｄ）で重畳したように、非固定画像と、ステップＳ０２０７０で生成された仮想視点画像とをアルファ合成した合成画像を生成し、該合成画像を表示装置３００に表示させる。アルファ合成時に非固定画像に乗算するアルファ値αは、所定の値、例えば０．５としてもよい。または情報処理装置２００は、連続時刻にわたって撮像される映像に対してアルファ合成をする場合、処理対象のフレーム数ｎを初期値０からインクリメントし、ｎの値に応じた線形あるいはシグモイド関数のような非線形の関数ｆ（ｎ）を用いてα＝ｆ（ｎ）としてアルファ値αを算出し、アルファ合成を行ってもよい。

【0049】

以上のように、本実施形態の撮像システムは、撮像装置１００の撮像画像から生成した三次元モデルと、撮像装置１０１が撮像した非固定画像とを取得し、撮像装置１０１から取得した位置姿勢に基づく投影面に三次元モデルを投影した仮想視点画像と非固定画像とから撮像装置１０１の位置姿勢を算出している。これにより、撮像システムは、撮像装置１０１の位置姿勢をより精度よく算出することができる。

【0050】

また、撮像システムは、三次元モデルのエッジ特徴を、撮像装置１０１で撮像した非固定画像中のエッジ特徴に対応付けることにより、位置姿勢センサー１２０の誤差が低減された、撮像装置１０１の第二の位置姿勢を精度よく算出することができる。これにより、撮像システムは、画像上のずれが少なくなるように仮想視点画像と撮像装置１０１の撮像画像とを合成することができる。

【0051】

また、撮像システムは、その原理からエッジ部分の精度が比較的高い視体積交差法による三次元モデルのエッジ特徴と非固定画像のエッジ特徴とを対応付けることで高精度に撮像装置１０１の位置姿勢を算出することができる。

【0052】

なお、本実施形態では撮像装置１０１が手持ちの非固定カメラであるケースについて説明したが、これに限らず、例えば撮像装置１０１はドリーカメラやドローンカメラなど、固定されずに動きながら撮像するカメラでもよい。また、手持ち非固定カメラの別の解釈として、あらかじめ撮像装置情報をカメラキャリブレーションにより算出した際には存在せず、被写体の撮影時に新たに追加された固定カメラとしてもよい。また、撮像装置１０１は、たとえば、ユーザーの頭部などに装着する撮像装置であっても良いし、移動する装置に取り付けられた撮像装置であっても良く、位置や姿勢が固定されていない撮像装置であれば良い。

【0053】

本実施形態は、画像合成を実時間で行うために、三次元モデルが生成され、取得するまでの遅延を考慮して撮像装置１０１の撮像画像を取得あるいはバッファリングしてもよい。

【0054】

（実施形態２）
本実施形態では、マルチビューステレオにより生成される三次元モデルと撮像装置１０１の撮像画像の画像特徴とを対応付けることで第二の位置姿勢を算出し、撮像装置１０１の撮像画像を用いて三次元モデルを更新する方法について説明する。以下、実施形態１と同様の構成については説明を省略する。

【0055】

図７に、本実施形態に係る撮像システムの構成例を示すブロック図を示す。生成部１１２は、複数の撮像装置１００で撮像される多視点画像を用いたマルチビューステレオにより各固定視点からのデプスマップの集合を三次元モデルとして生成し、該生成した三次元モデルを記憶部１１３に格納する。更新部２７５は、算出部２６０の出力と取得部２１０で取得した非固定画像とを用いて三次元モデルを更新し、該更新した三次元モデルを記憶部１１３に記録する。

【0056】

図８に情報処理装置２００の処理フローを、図９に対応付け部２５０が実行するステップＳ０２１５０のフローを示す。

【0057】

ステップＳ０２１５０では、対応付け部２５０が、ステップＳ０２０４０にて生成した仮想視点画像から抽出した画像特徴と、ステップＳ０２０１０にて取得した非固定画像における画像特徴と、の対応付けを行う。

【0058】

ステップＳ０２１５１では、対応付け部２５０は、仮想視点画像中の三次元モデル上のエッジ領域を除いた画像領域から所定の数だけ画素をサブサンプリングして抽出する。対応付け部２５０は、例えば三次元モデル上のエッジ領域を除いた画像領域の内側の画素をランダムに１００か所あるいは１０画素ずつ等間隔に選んでよい。対応付け部２５０は、ＳＩＦＴ(Scale-Invariant Feature Transform)などの疎な特徴点を、サンプリングによる画素として検出して抽出してもよい。

【0059】

ステップＳ０２１５２では、対応付け部２５０は、サブサンプリングにより抽出した画素に対し、重畳した非固定画像上の該画素の周辺をテンプレートマッチングにより探索する。本実施形態では、探索の範囲は上下左右にそれぞれ１００画素、テンプレートの大きさは２０ｘ２０画素とする。

【0060】

ステップＳ０２１５３では、対応付け部２５０は、テンプレートマッチングによりＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、つまり画素値の差分の二乗和の値が小さくなる画素同士を対応付ける。対応付け部２５０は、ＳＩＦＴなどのように特徴量を記述できる画像特徴を用いる場合は、非固定画像上で同様に検出したＳＩＦＴ特徴点のうち画像座標が近傍のものと特徴量の類似度を算出し、類似度の高い特徴点同士を対応付ける。

【0061】

ステップＳ０２１６０では、算出部２６０が、ステップＳ０２１５０で対応付けられた両画像の画素の特徴量間の距離をコストとして上記のステップＳ２０６０と同様の処理を行うことで、撮像装置１０１の第二の位置姿勢を算出する。

【0062】

ステップＳ０２１７０では、更新部２７５が、算出部２６０で算出した第二の位置姿勢と非固定画像とを用いて、記憶部１１３に格納されている三次元モデルを更新する。更新部２７５は、生成部１１２と同様の手順で撮像装置１０１を追加した状態で改めて三次元モデルを生成してもよいし、三次元モデルを構成するテクスチャデータのみを非固定画像に写っている画像領域から上書きあるいは加重平均を取るなどして更新してもよい。

【0063】

ステップＳ０２１８０では、画像合成部２８０は、ステップＳ０２１７０にて更新した三次元モデルを記憶部１１３に記憶する。画像合成部２８０は、更新する前の三次元モデルは削除してもよいし、更新前の三次元モデルに対する更新後の三次元モデルの差分情報を追加で記憶部１１３に記憶してもよい。

【0064】

以上のように、本実施形態は、マルチビューステレオにより三次元モデルを生成する場合には、テンプレートマッチングやＳＩＦＴ特徴による対応付けを行うことで第二の位置姿勢を算出することができる。また、本実施形態は、固定カメラのみの撮像装置よりも被写体に近づいた手持ちカメラの高画質な画像を用いて三次元モデルを更新することができる。マルチビューステレオによる三次元モデルは、三角測量の原理からエッジ部分よりも内側部分の精度が比較的高いため、本実施形態は、エッジ領域を除いた内側部分から抽出した特徴を用いて対応付けることで高精度に位置姿勢を算出することができる。

【0065】

（実施形態３）
以上で述べた実施形態では、非固定画像に写る被写体上の画像特徴を用いて撮像装置１０１の位置姿勢を算出する性質から、安定した算出結果を得るためには、画像特徴が画像内で偏ることなく分布している必要がある。より具体的には、被写体が大きく写るよう撮像装置１０１を被写体に寄せて撮像した撮像画像では、撮像画像の中心から離れた画像周辺部に画像特徴が偏らずに分布するため安定した算出結果を得ることができる。一方で、撮像装置１０１が被写体から引いた状態で撮像することで撮像画像中の被写体が小さく写っていたり、撮像画像の端に被写体が偏っていたりする場合は、画像特徴が偏って分布するため、算出結果が安定しない。

【0066】

そのため本実施形態では、撮像装置１０１が被写体から引いた状態で撮像することで撮像画像中の被写体が小さく写ってしまって画像特徴が偏って分布する場合に、被写体以外の固定構造物の特徴を併用することで安定かつ高精度に位置姿勢を算出する方法について説明する。なお、前提として固定構造物の特徴は空間に疎に分布しており、かつ被写体によって頻繁に遮蔽される。したがって、固定構造物の特徴のみでは撮像装置１０１の位置姿勢算出は不十分な場合が多い。以下、実施形態１と同様の構成については説明を省略する。固定構造物は、固定された構造物で、静止している構造物である。ただし、構造物は振動の影響などにより微少に移動してもよい。

【0067】

図１０に、本実施形態に係る撮像システムの構成例を示すブロック図を示す。固定構造物１１４は、三次元モデル同様のテクスチャ画像付きポリゴンメッシュを示すＯＢＪファイル形式のデータとするが、これに限らない。情報処理装置２００は取得部２９０をさらに有し、取得部２９０は、固定構造物１１４を取得する。取得部２９０は固定構造物１１４を、情報処理装置２００の外部装置から通信Ｉ／Ｆ２１７を介して取得しても良いし、補助記憶装置２１４から取得しても良い。生成部２４０は、被写体の三次元モデルに加えて固定構造物１１４を用いて仮想視点画像を描画する。対応付け部２５０は、被写体の三次元モデルに加えて固定構造物１１４を用いて実施形態１と同様にして仮想視点画像および非固定画像の画像間の画像特徴を対応付ける。

【0068】

図１１に情報処理装置２００の処理フローを示す。ステップＳ０２０３１では取得部２９０が固定構造物１１４を取得する。固定構造物１１４は、例えば図２中で示す撮像装置１００であり、その三次元形状や位置をあらかじめ情報取得部１１１で取得した情報や撮像装置１００のＣＡＤデータから算出して固定構造物１１４として記憶しておくことで取得できる。あるいは屋外のサッカースタジアムの場合は、固定配置されるデジタルサイネージやサッカーゴールなどの三次元形状や位置をあらかじめＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎなどの技術により算出して固定構造物１１４として記憶しておく。ステップＳ０２０４０では、生成部２４０が、特許文献１に記載のモデルベースドレンダリングなどにより、取得部２３０が取得した第一の位置姿勢に応じた投影面に、取得部２２０が取得した三次元モデルおよび取得部２９０が取得した固定構造物１１４を投影した画像を、仮想視点画像として描画（生成）する。

【0069】

図１２（ａ）は取得部２１０が撮像装置１０１から取得した非固定画像８１を示しており、被写体５および撮像装置１００が写っている。図１２（ｂ）は生成部２４０で描画した仮想視点画像８２を示しており、被写体５の三次元モデル５０および固定構造物１１４が写っている。ステップＳ０２２５０では、対応付け部２５０が、ステップＳ０２０４０にて生成した仮想視点画像から画像特徴としてエッジ部分を抽出し、ステップＳ０２０１０にて取得した非固定画像上の画素への対応付けを行う。図１２の例では、対応付け部２５０は、図１２（ｃ）に示すエッジ画像８３を生成したのちに該エッジ画像８３における画像特徴としてのエッジ部分について、非固定画像８１上の画素への対応付けを行う。図１３にステップＳ０２２５０のより詳細な処理フローを示す。ステップＳ０２０５１－Ｓ０２０５３においてエッジ特徴を対応付けたのち、ステップＳ０２２５４では、対応付け部２５０は、非固定画像に写る固定構造物１１４の周辺領域（図１２（ａ）の例では周辺領域７１）において、ＳＩＦＴ特徴点（図１２（ｄ）の例ではＳＩＦＴ特徴点９１）を抽出する。ステップＳ０２２５５では、対応付け部２５０は、仮想視点画像に写る固定構造物１１４の周辺領域（図１２（ａ）の例では周辺領域７２）において、ＳＩＦＴ特徴点（図１２（ｄ）の例ではＳＩＦＴ特徴点９２）を抽出する。図１２（ｄ）は非固定画像８１上に仮想視点画像８２を重畳した様子を示す。

【0070】

ステップＳ０２２５６では、対応付け部２５０は、非固定画像から抽出したＳＩＦＴ特徴点および仮想視点画像から抽出したＳＩＦＴ特徴点をそれぞれＳＩＦＴ特徴空間内の距離に基づいて対応付ける。ステップＳ０２０６０では、対応付け部２５０は、対応付けたエッジ特徴およびＳＩＦＴ特徴にそれぞれ重みをつけて実施形態１と同様にして特徴間の距離を最小化するように第二の位置姿勢を算出する。本実施形態ではエッジ特徴の重みを１．０、ＳＩＦＴ特徴の重みを０．８として、特許文献２に記載の重み行列Ｗの対角成分の値を設定して計算を行う。エッジ特徴に加えてＳＩＦＴ特徴点を併用することにより、エッジ特徴のみで計算を行うのに比べて画像中における特徴の分布が広くなるため、安定した位置姿勢の算出結果を得ることができる。

【0071】

以上のように、手持ちカメラが被写体から引いて小さく写り画像特徴が偏って分布する場合に、被写体以外の固定構造物の特徴を併用することで安定かつ高精度に位置姿勢を算出することができる。

【0072】

（その他の実施形態）
以上の実施形態ではエッジ特徴またはＳＩＦＴ特徴点を用いる方法について述べたが、画像特徴はこれに限らない。例えば特徴抽出を行わずに輝度勾配を直接用いて位置姿勢算出時のパラメータ更新量を算出する非特許文献１に記載のDirect methodを用いることで画像のブラーに対応しやすいアプローチをとってもよい。また、高速化の目的でＳＩＦＴ特徴に替えてＳＵＲＦ特徴などそのほかの特徴点を抽出するアルゴリズムを用いてもよい。

【0073】

第一の位置姿勢は位置姿勢センサーから取得することを述べたが、これに替えて仮想視点画像を生成するためにユーザーが操作部２１６などのコントローラを介して入力した位置姿勢を取得してもよい。

【0074】

上述の実施形態は、組み合わせてもよい。また、実施形態を組み合わせた場合、ユーザーが各実施形態に対応した設定を選択可能に構成してもよい。

【0075】

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0076】

本明細書の開示は、以下の情報処理装置、制御方法及びプログラムを含む。
（項目１）
複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データを取得する第一の取得手段と、
前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像を取得する第二の取得手段と、
前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する決定手段と、を有する情報処理装置。
（項目２）
前記決定手段は、予め取得された前記第二の撮像装置の位置及び姿勢に応じた投影面に前記三次元形状データを投影することにより前記三次元形状データに基づく画像を生成し、
前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する項目１に記載の情報処理装置。
（項目３）
前記決定手段は、前記三次元形状データに基づく画像の画像特徴と、前記第二の撮像装置が撮像する画像の画像特徴とに基づいて、前記第二の撮像装置の位置及び姿勢を決定する項目１または項目２に記載の情報処理装置。
（項目４）
前記決定手段は、前記三次元形状データに基づく画像に含まれる被写体のエッジ特徴と、前記第二の撮像装置が撮像する画像に含まれる前記被写体のエッジ特徴とに基づいて、前記第二の撮像装置の位置及び姿勢を決定する項目１から項目３のいずれか１項に記載の情報処理装置。
（項目５）
前記決定手段は、前記エッジ特徴どうしの距離がより小さくなるように前記第二の撮像装置の位置及び姿勢を決定する項目４に記載の情報処理装置。
（項目６）
前記被写体は、静止している構造物である項目４に記載の情報処理装置。
（項目７）
前記決定手段は、前記三次元形状データに基づく画像に含まれる画素と、前記第二の撮像装置が撮像する画像のエッジ領域を除いた画像に含まれる画素の色との差に基づいて、前記第二の撮像装置の位置及び姿勢を決定する項目１から項目３のいずれか１項に記載の情報処理装置。
（項目８）
前記決定手段により決定された前記第二の撮像装置の位置及び姿勢に基づいて、前記三次元形状データを更新する更新手段を有する項目１から項目７のいずれか１項に記載の情報処理装置。
（項目９）
前記複数の第一の撮像装置と、前記第二の撮像装置とは同期して撮像を行う項目１から項目８のいずれか１項に記載の情報処理装置。
（項目１０）
前記決定手段は、前記第二の撮像装置が撮像する画像と、前記三次元形状データに基づく画像とに基づいて、前記第二の撮像装置の位置及び姿勢に対応する画像を生成する項目１から項目９のいずれか１項に記載の情報処理装置。
（項目１１）
複数の第一の撮像装置の撮像により取得された画像に基づいて生成される三次元形状データを取得する第一の取得工程と、
前記複数の第一の撮像装置の撮像中に移動して撮像する第二の撮像装置が撮像する画像を取得する第二の取得工程と、
前記三次元形状データに基づく画像と、前記第二の撮像装置が撮像する画像と、に基づいて、前記第二の撮像装置の位置及び姿勢を決定する決定工程と、を有する制御方法。
（項目１２）
コンピュータに、項目１１に記載の制御方法が有する各工程を実行させるためのプログラム。

【0077】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0078】

５…被写体、 ５０…三次元モデル、 １１、８１…非固定画像、 １２、８２…仮想視点画像、 １３、８３…エッジ画像、 ３０…エッジ特徴、 ９１、９２…特徴点、 １００、１０１…撮像装置、 ２００…情報処理装置、 ２１０、２２０、２３０…取得部、 ２５０…対応付け部、 ２６０…算出部、 ２８０…画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】