特許 7451583 撮像装置、情報処理装置、制御方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】撮像装置、情報処理装置、制御方法、プログラム及び記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240311BHJP

   G03B 15/00 20210101ALI20240311BHJP

   G03B 17/56 20210101ALI20240311BHJP

   H04N 23/695 20230101ALI20240311BHJP

【ＦＩ】

H04N23/60 500

G03B15/00 P

G03B15/00 U

G03B17/56 B

H04N23/695

【請求項の数】 15

(21)【出願番号】P 2022028247

(22)【出願日】2022-02-25

(65)【公開番号】P2023124471

(43)【公開日】2023-09-06

【審査請求日】2022-07-05

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】中村 建太

【審査官】登丸 久寿

(56)【参考文献】

【文献】特開２０１１－０７７７８０（ＪＰ，Ａ）

【文献】特開２００７－０６７７１６（ＪＰ，Ａ）

【文献】特開２００４－２８９３６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／５６

Ｈ０４Ｎ ２３／６９５

(57)【特許請求の範囲】

【請求項1】

仮想空間の画像である第１の画像を生成する情報処理装置と通信可能な撮像装置であって、
被写体の像を撮像する撮像部と、
前記撮像装置をパン駆動又はチルト駆動する駆動部と、
前記パン駆動又はチルト駆動によって変動しない位置を基準位置として、撮像光学系の前記基準位置に対する入射瞳の位置を取得する取得部と、
前記基準位置に対する入射瞳の位置を含む情報と前記撮像部によって撮像された第２の画像とを前記情報処理装置へ出力する出力部と、を有し、
前記第１の画像は前記出力部から出力された前記情報に基づいて生成され、前記第１の画像と前記第２の画像とを合成した合成画像が生成されることを特徴とする撮像装置。

【請求項2】

前記基準位置に対する入射瞳位置を含む情報は、前記駆動部のパンの角度、前記駆動部のチルトの角度、ズーム位置及びフォーカス位置のうち少なくとも１つを含むことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記出力部は、前記取得部が取得した前記入射瞳の位置に基づいて補正された前記撮像装置の位置を示す情報を出力することを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記取得部は、前記駆動部のパンの角度及びチルトの角度に基づいて変換された、前記基準位置に対する前記入射瞳の位置を取得することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

前記取得部は、前記撮像光学系のズーム位置及びフォーカス位置に応じた前記入射瞳の位置を取得することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。

【請求項6】

前記駆動部のパン駆動によって変動しない位置と前記駆動部のチルト駆動によって変動しない位置とが異なる場合に、前記取得部は、前記パン駆動の回転軸と前記チルト駆動の回転軸との位置を取得し、
前記出力部は、前記パン駆動の回転軸と前記チルト駆動の回転軸との位置が所定の位置となるように変換し、前記所定の位置に対する入射瞳の位置を含む情報を出力することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。

【請求項7】

請求項１に記載の撮像装置と通信可能な情報処理装置であって、
前記撮像装置から出力された前記情報と前記第２の画像とを取得する取得部と、
前記取得部が取得した前記情報に基づいて前記第１の画像を生成し、前記第１の画像と前記第２の画像とを合成した合成画像を生成する生成部と、
を有する情報処理装置。

【請求項8】

仮想空間の画像である第１の画像を生成する情報処理装置と通信可能な撮像装置の制御方法であって、
被写体の像を撮像する撮像工程と、
前記撮像装置をパン駆動又はチルト駆動させる駆動工程と、
前記パン駆動又はチルト駆動によって変動しない位置を基準位置として、撮像光学系の前記基準位置に対する入射瞳の位置を取得する取得工程と、
前記基準位置に対する入射瞳の位置を含む情報と前記撮像工程で撮像された第２の画像とを前記情報処理装置へ出力する出力工程と、を有し、
前記第１の画像は前記出力工程において出力された前記情報に基づいて生成され、前記第１の画像と前記第２の画像とを合成した合成画像が生成されることを特徴とする撮像装置の制御方法。

【請求項9】

前記基準位置に対する入射瞳位置を含む情報は、前記駆動工程におけるパンの角度、チルトの角度、ズーム位置及びフォーカス位置のうち少なくとも１つを含むことを特徴とする請求項８に記載の撮像装置の制御方法。

【請求項10】

前記出力工程では、前記取得工程で取得された前記入射瞳の位置に基づいて補正された前記撮像装置の位置を示す情報を出力することを特徴とする請求項８または９に記載の撮像装置の制御方法。

【請求項11】

前記取得工程では、前記駆動工程におけるパンの角度及びチルトの角度に基づいて変換された、前記基準位置に対する前記入射瞳の位置を取得することを特徴とする請求項８から１０のいずれか１項に記載の撮像装置の制御方法。

【請求項12】

前記取得工程では、前記撮像光学系のズーム位置及びフォーカス位置に応じた前記入射瞳の位置を取得することを特徴とする請求項８から１１のいずれか１項に記載の撮像装置の制御方法。

【請求項13】

前記駆動工程におけるパン駆動によって変動しない位置と前記駆動工程におけるチルト駆動によって変動しない位置とが異なる場合に、前記取得工程では、前記パン駆動の回転軸と前記チルト駆動の回転軸との位置を取得し、
前記出力工程では、前記パン駆動の回転軸と前記チルト駆動の回転軸とが所定の位置で交わるように変換された入射瞳の位置を含む情報を出力することを特徴とする請求項８から１２のいずれか１項に記載の撮像装置の制御方法。

【請求項14】

請求項８から１３のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。

【請求項15】

請求項１４に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

撮像装置、情報処理装置、制御方法、プログラム及び記憶媒体に関する。

【背景技術】

【0002】

近年、カメラで撮影した実写映像とＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）とを合成することで、多彩な映像表現が可能になっている。合成処理の方法として、三次元の仮想空間上の視点に実写カメラの動作を連動させ、実写カメラの動作に応じたＣＧを生成するバーチャルスタジオと呼ばれるシステムが知られている。特許文献１では、ユーザの操作に基づくカメラ操作情報を検出する手段を備えた実写カメラカメラデータをＣＧ映像生成装置に入力して、カメラ操作情報を反映したＣＧ映像を実写映像に合わせて繰り返し作成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－３５６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、実空間上の画像と仮想空間上の画像との合成画像の違和感を低減することである。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明の一態様に係る撮像装置は、仮想空間の画像である第１の画像を生成する情報処理装置と通信可能な撮像装置であって、被写体の像を撮像する撮像部と、前記撮像装置をパン駆動又はチルト駆動する駆動部と、前記パン駆動又はチルト駆動によって変動しない位置を基準位置として、撮像光学系の前記基準位置に対する入射瞳の位置を取得する取得部と、前記基準位置に対する入射瞳の位置を含む情報と前記撮像部によって撮像された第２の画像とを前記情報処理装置へ出力する出力部と、を有し、前記第１の画像は前記出力部から出力された前記情報に基づいて生成され、前記第１の画像と前記第２の画像とを合成した合成画像が生成されることを特徴とする。

【発明の効果】

【0006】

本発明によれば、実空間上の画像と仮想空間上の画像との合成画像の違和感を低減することができる。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係るシステムの一例を示す図。

【図2】第１の実施形態に係る撮像装置の装置構成の一例を示す図。

【図3】第１の実施形態に係る情報処理装置の装置構成の一例を示す図。

【図4】第１の実施形態に係る撮像装置の入射瞳の位置と仮想空間上の視点の位置との一例を示す図。

【図5】第１の実施形態に係る撮像装置の機能構成の一例を示す図。

【図6】第１の実施形態に係るカメラデータのフォーマットの一例を示す図。

【図7】第１の実施形態に係る情報処理装置の機能構成の一例を示す図。

【図8】第１の実施形態に係る撮像装置の動作の一例を示すフローチャート。

【図9】第１の実施形態に係る情報処理装置の動作の一例を示すフローチャート。

【図10】第２の実施形態に係る撮像装置の入射瞳の位置とパン駆動部及びチルト駆動部の回転軸の位置との一例を示す図。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

【0009】

＜実施形態１＞
（システム構成）
図１は本実施形態に係る撮像システムの構成の一例を示す図である。撮像システム１００は撮像装置１０１、情報処理装置１０２、制御装置１０３及びネットワーク１０４から構成される。

【0010】

撮像装置１０１は実空間上の被写体の像を撮像して画像データを生成する。撮像装置１０１は制御装置１０３からの要求に応じて、生成した画像データを情報処理装置１０２へとネットワーク１０４を介して送信される。撮像装置１０１は制御装置１０３からの要求がなくとも能動的に画像データ等を情報処理装置１０２、あるいは制御装置１０３へと送信してもよい。撮像装置１０１は制御装置１０３からの操作情報を、ネットワーク１０４を介して受信することにより動作する。撮像装置１０１はパン方向又はチルト方向に駆動するか、光学ズームの倍率を変更することにより、画角を変更することが可能である。従って、制御装置１０３からの操作情報はパン方向又はチルト方向の駆動を制御する情報や光学ズームの倍率を設定する情報を含む。操作情報はユーザの入力や被写体の自動追尾する機能などの種々の方法によって定まる。撮像装置１０１は、現在位置や姿勢、ズーム倍率やフォーカス位置、パン方向又はチルト方向の回転角度などを含む撮像装置１０１に関する情報をカメラ設定情報として情報処理装置１０２へと送信する。カメラ設定情報の構成は情報処理装置１０２が後述する合成処理を行う上で必要とする構成であることが望ましく、必要に応じて変更が可能である。

【0011】

情報処理装置１０２は、ネットワーク１０４を介して受信したカメラ設定情報に基づいて、仮想空間上に視点を設定する。そして、仮想空間上に設定された視点に基づいて、仮想空間を設定された視点から見た画像を仮想空間画像（ＣＧ）として生成する。さらに、生成した仮想空間画像と撮像装置１０１からネットワーク１０４を介して受信した画像データとを合成することにより、仮想空間上に実空間上の被写体があたかも存在するかのような映像表現を可能とする。情報処理装置１０２は例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、スマートフォン等である。なお、受信したカメラ設定情報に基づいて仮想空間上のオブジェクトを操作することも可能である。例えば、カメラ設定情報に基づいて、仮想空間上の視点をカメラのオブジェクトとして扱い、操作するようにしてもよい。

【0012】

制御装置１０３は、撮像装置１０１を操作するための装置である。制御装置１０３は、例えばＰＣ、タブレット端末、スマートフォン、もしくは撮像装置１０１を操作する専用または汎用コントローラ機器などの装置であってもよい。制御装置１０３は、撮像装置１０１から送信された画像データを受信して表示したり、ユーザの操作に応じて操作情報を撮像装置１０１に送信したりする。操作情報は、撮像装置１０１に特的機能を実行させるための制御情報であり、例えば、撮像装置１０１のパン方向又はチルト方向の駆動を制御する情報や撮像光学系のズーム倍率やフォーカス位置を制御する情報などが含まれる。

【0013】

ネットワーク１０４は、インターネットや有線／無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、もしくはこれらの複合により実現されるネットワークである。ネットワーク１０４は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）の通信規格に準拠する複数のルータ、スイッチ及びケーブル等から構成される。なお、ネットワーク１０４は、撮像装置１０１、情報処理装置１０２及び制御装置１０３との間で通信可能な構成であれば、その通信規格、規模及び構成は問わない。

【0014】

（装置構成）
図２は、本実施形態に係る撮像装置の装置構成の一例を示す図である。撮像装置１０１は、撮像光学系２０１、撮像部２０２、画像処理部２０３、エンコーダ２０４、駆動部２０５、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｃｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０６、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０７及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０８を有している。

【0015】

撮像光学系２０１は、被写体からの光を撮像部２０２の撮像面に結像させるレンズであり、例えばズームレンズ、フォーカルレンズ及びブレ補正レンズ等で構成される。本実施形態において、撮像光学系２０１は撮像装置１０１と一体の構成であるが、交換式レンズのように着脱可能としてもよい。撮像光学系２０１は、制御装置１０３から受信した操作情報に基づいて光学ズームの倍率を変更したり、被写体の距離に応じたフォーカス位置の調整をしたりするようにレンズを駆動させる。撮像光学系２０１の画角の起点となる位置は入射瞳の位置であり、光学ズーム倍率の変更やフォーカス位置の調整によって画角が変わり、それに伴って入射瞳の位置も前後する。入射瞳の初期位置は撮像光学系２０１内の不図示の記憶部又は撮像装置１０１内のＲＯＭ２０８などの記憶部に予め記憶される。入射瞳の初期位置とは、例えば、駆動部２０５の電源入力時の初期化された状態における入射瞳の位置等である。

【0016】

撮像部２０２は、被写体の像を撮像するイメージセンサである。撮像部２０２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等である。撮像光学系２０１による被写体からの光を電気信号に変換して出力することにより、被写体の像を撮像する。

【0017】

画像処理部２０３は、撮像部２０２からの電気信号をＡ／Ｄ変換することによりデジタル信号へと変換する。変換された画像データ（デジタル信号）に対して色補間処理、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを含む種々の画像処理を行う。

【0018】

エンコーダ２０４は、画像処理済みの画像データをＭｏｔｉｏｎ ＪｐｅｇやＨ２６４、Ｈ２６５などのファイルフォーマットに符号化処理して出力する。符号化処理された画像データはネットワーク１０４を介して情報処理装置１０２や制御装置１０３へと出力される。

【0019】

駆動部２０５は、パン駆動部２０５ａ及びチルト駆動部２０５ｂを有し、制御装置１０３から入力された操作情報に基づいて、各駆動部が回転駆動することにより、撮像装置１０１の向きが変わる。本実施形態では、パン駆動部２０５ａの駆動軸及びチルト駆動部２０５ｂの駆動軸が交差する点を基準位置としてＲＯＭ２０８などの記憶部に予め記憶される。基準位置はパン駆動部２０５ａ又はチルト駆動部２０５ｂの回転駆動によって変動しない位置であり、パン駆動部２０５ａ及びチルト駆動部２０５ｂの回転中心の位置に基づいて定められる。本実施形態では、撮像装置１０１が駆動部２０５を有する構成としているが、パン駆動部２０５ａ又はチルト駆動部２０５ｂの少なくとも１つが撮像装置１０１と別体として備わっていてもよい。各駆動部の駆動軸が交差しない場合については、第２の実施形態で後述する。

【0020】

ＣＰＵ２０６は、撮像装置１０１を統括的に制御する中央処理装置である。ＣＰＵ２０６はＲＡＭ２０７にロードされたプログラムを読み出すことによって撮像装置１０１の後述する各機能の少なくとも一部を実行する。

【0021】

ＲＡＭ２０７は、ＣＰＵ２０６がプログラムを実行する際に使用するワークエリアを提供する、またフレームメモリとして機能したり、バッファメモリとして機能したりする。

【0022】

ＲＯＭ２０６は、ＣＰＵ２０６が撮像装置１０１を制御するためのプログラムや画像データ等を記憶する。その他、撮像装置１０１における基準位置や撮像光学系２０１の入射瞳の初期位置などを記憶する記憶部である。

【0023】

図３は本実施形態に係る情報処理装置１０２の装置構成の一例を示す図である。情報処理装置１０２は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、入力Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）３０４、出力Ｉ／Ｆ３０５及びネットワークＩ／Ｆ３０６を有する。

【0024】

ＣＰＵ３０１は、情報処理装置１０２を統括的に制御する中央処理装置である。ＣＰＵ３０１はＲＡＭ３０２にロードされたプログラムを読み出すことによって情報処理装置１０２の後述する各機能の少なくとも一部を実行する。

【0025】

ＲＡＭ３０２は、ＣＰＵ３０１がプログラムを実行する際に使用するワークエリアを提供する、またフレームメモリとして機能したり、バッファメモリとして機能したりする。

【0026】

ＲＯＭ３０３は、ＣＰＵ３０１が情報処理装置１０２を制御するためのプログラムや画像データ等を記憶する。

【0027】

入力Ｉ／Ｆ３０４は、キーボードやマウスのようなユーザからの入力を受け付けるためのインターフェースである。入力Ｉ／Ｆ３０４に対し仮想空間上の視点位置の座標や視野角、視点の方向等が入力される。

【0028】

出力Ｉ／Ｆ３０５は、ディスプレイのような画像を表示させるためのインターフェースである。出力Ｉ／Ｆ３０５には撮像装置１０１による画像を表示させたり、仮想空間の画像（ＣＧ）を表示させたり、あるいは撮像装置１０１による画像とＣＧとの合成画像を表示させたりする。

【0029】

ネットワークＩ／Ｆ３０６は、ネットワーク１０４を介して撮像装置１０１と接続し、撮像装置１０１から出力された画像や撮像装置１０１の画角に関する情報（例えば入射瞳の位置）を受け付けるためのインターフェースである。

【0030】

（実空間上の撮像装置の入射瞳位置と仮想空間上の視点とのずれについて）
図４を参照して、実空間上の撮像装置の入射瞳位置と仮想空間上の視点とのずれについて説明し、実空間上の撮像装置による画像と仮想空間上に設定された視点に基づく画像との合成画像に対する、ずれの影響について説明する。

【0031】

図４は、本実施形態に係る撮像装置の入射瞳の位置と情報処理装置１０２によって仮想空間上に設定される視点位置とを示す図である。図４（ａ）はパン軸側からみた撮像光学系２０１の入射瞳の位置を示した図である。図４（ｂ）はパン軸側からみた仮想空間上の視点位置を示した図である。図４（ｃ）はチルト軸側から見た撮像光学系２０１の入射瞳の位置を示した図である。図４（ｄ）はチルト軸側から見た仮想空間上の視点位置を示した図である。

【0032】

点４０１は実写カメラの撮像光学系における入射瞳の位置を示している。光軸４０２は撮像装置１０１の撮像光学系２０１における光軸を示している。パン回転軸４０３は撮像装置１０１におけるパン駆動部２０５ａの回転軸を示している。点４０４は仮想空間上の視点位置を示している。チルト回転軸４０５は撮像装置１０１におけるチルト駆動部２０５ｂの回転軸を示している。点４０１及び点４０４からの線分は撮像装置１０１の画角を示している。

【0033】

入射瞳とは撮像光学系において、画角の起点とみなすことができる点である。通常、カメラのレンズのズーム位置やフォーカス位置の変化によって変動する。単焦点レンズのようなズーム位置及びフォーカス位置が変動しないレンズの場合は変動しない。本実施形態ではズーム位置やフォーカスの位置を変更可能な撮像光学系２０１の場合について説明する。従って、点４０１（入射瞳の位置）は光軸４０２上で変動する。

【0034】

一般に、撮像光学系の入射瞳の位置とパン及びチルトの回転軸が同じ位置にあることはない。従って、図４（ａ）及び（ｃ）に示すように、パン駆動部２０５ａがパン駆動する場合、点４０１の位置はパン回転軸４０３の周りで変動し、チルト駆動部２０５ｂがチルト駆動する場合は、点４０１の位置はチルト回転軸４０５の周りで変動する。なお、実空間上の撮像装置１０１の画角は点４０１及び点４０３を起点として図４（ａ）及び（ｃ）のごとく図示することができる。画角の角度については、撮像光学系２０１のズーム位置やフォーカス位置によって変動し、その最大角度及び最小角度は撮像光学系２０１の口径等によって決まり、設計者の光学設計に依存する。

【0035】

一方で、情報処理装置１０２は、仮想空間上に設定された視点位置を画角の起点とし、設定された視点の方向や視野角を参照することにより仮想空間の画像（ＣＧ）を生成する。一般に、視点の方向が変更された場合、設定された視点位置を起点に回転させて画角を変更するため、画角の起点となる位置（すなわち視点位置）は変動しない。従って、点４０４は点４０１に対応する点であるとともに、パン回転軸４０３及びチルト回転軸４０５の位置に対応する点である。

【0036】

以上のように、実空間上の入射瞳の位置（点４０１）と仮想空間上の視点位置（点４０４）の位置は一般的に異なっており同じ画角の起点となる位置であるにも関わらず、ずれが生じてしまっている。これが要因となって、撮像装置１０１による画像と仮想空間の画像（ＣＧ）との合成画像において、被写体と仮想空間のオブジェクトとの位置ずれが生じるため、違和感のある合成画像となってしまう。本実施形態に係る撮像装置はこの合成画像の違和感を低減するために以下のような機能を有する。

【0037】

（機能構成）
図５を参照して、本実施形態に係る撮像装置の機能構成について説明する。図５は本実施形態に係る撮像装置の機能構成の一例を示すブロック図である。撮像装置１０１は、撮像光学系２０１、撮像部２０２、駆動部２０５、制御部５０１、取得部５０２及び出力部５０３を有する。

【0038】

撮像光学系２０１、撮像部２０２及び駆動部２０５が果たす機能については、装置構成の説明と同様であるため、省略する。また、各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能を提供するためのプログラムがＲＯＭ２０８等の記憶部に記憶される。そして、そのプログラムをＲＡＭ２０７に読み出し、ＣＰＵ２０６が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

【0039】

制御部５０１は、制御装置１０３から受信した操作情報等に従って、撮像光学系２０１、撮像部２０２及び駆動部２０５を制御する。具体的には、撮像光学系２０１のズーム位置やフォーカス位置を制御したり、撮像部２０２の撮像に関するパラメータ（露光時間やゲイン）を制御したりする。駆動部２０５の場合、制御部５０１はパン駆動部２０５ａ又はチルト駆動部２０５ｂに対して、設定されたパン角度やチルト角度となるように駆動制御を行う。

【0040】

取得部５０２は、撮像光学系２０１の入射瞳の位置を取得する。本実施形態ではパン駆動部２０５ａの回転軸及びチルト駆動部２０５ｂの回転軸の交わる点（パン駆動又はチルト駆動によって変動しない位置）を基準位置とし、基準位置に対する入射瞳の位置を取得する。取得部５０２は、ＲＯＭ２０８等の記憶部に記憶された基準位置と、撮像光学系２０１のズーム位置及びフォーカス位置と、に基づいて基準位置に対する入射瞳の位置（三次元座標）を算出することで取得する。撮像光学系２０１のあらかじめ作成された光学設計データに基づいて、ズーム位置及びフォーカス位置に対応する入射瞳の位置を取得できるテーブルや計算式等をＲＯＭ２０８等の記憶部に記憶しておいてもよい。また、基準位置に対する入射瞳の初期位置を撮像装置１０１の設計寸法データを用いてあらかじめ作成しておき、ＲＯＭ２０８等に記憶部に記憶しておく。入射瞳の初期位置とは、例えば、駆動部２０５のパン駆動部２０５ａ及びチルト駆動部２０５ｂが電源投入された際の初期状態（例えばパン角度とチルト角度が０°）における入射瞳の位置を記憶しておく。入射瞳の初期位置は、駆動部２０５によるパン駆動及びチルト駆動時における入射瞳の位置を算出する際に用いる。具体的には、入射瞳の初期位置に対しパン角度及びチルト角度に基づく座標変換によって、パン駆動及びチルト駆動後の入射瞳の位置を算出し得る。

【0041】

入射瞳の初期位置からパン駆動又はチルト駆動の後の入射瞳の位置を算出する方法を説明する。まず、入射瞳の初期位置の三次元座標をｐとする。また、パン角度をψ、チルト角度をθとする。また、図３におけるｘ軸周りにθだけ回転する変換行列をＲｘ（θ）、ｚ軸周りにψさけ回転する変換行列をＲｚ（ψ）とする。基準位置に対するパン駆動又はチルト駆動後の入射瞳の位置をｐ’とすると、式（１）が成り立つ。
ｐ’＝Ｒ_ｚ（ψ）Ｒ_ｘ（θ）ｐ・・・（１）
なお、数式は一例であり、基準位置に対する入射瞳の三次元位置が算出できれば他の数式でもよい。

【0042】

出力部５０３は、取得部５０２が取得した基準位置に対する入射瞳の位置を仮想空間上に設定される視点位置として出力する。出力部５０２は、基準位置に対する入射瞳の位置を含む画角に関する情報を出力してもよい。画角に関する情報は、基準位置に対する入射瞳の位置以外にもパン角度やチルト角度、撮像光学系２０１のズーム位置やフォーカス位置の少なくとも１つを含んでよい。

【0043】

図６を参照して、画角に関する情報の一例を説明する。図６は画角に関する情報の一例を示す図である。以下、画角に関する情報をカメラデータと呼称する。カメラデータには、仮想空間上の視点を制御するための設定情報が含まれる。具体的には、カメラデータにはパン角度、チルト角度、ロール角度、Ｘ位置、Ｙ位置、Ｚ位置、ズーム及びフォーカスの情報で構成されている。パン角度及びチルト角度には、駆動部２０５における各駆動部の角度の情報を格納する。ロール角度には、本来は撮像装置１０１に取り付けられたセンサなどにより取得した撮像装置１０１自身の傾きを表すロール角度を格納するが、本実施形態では、ＲＯＭ２０８等の記憶部に予め記憶されたロール角度を格納する。Ｘ位置、Ｙ位置及びＺ位置には、取得部５０２が取得した、基準位置に対する入射瞳の位置を格納する。例えば、パン角度及びチルト角度が０°であれば、あらかじめ記憶された入射瞳の初期位置の情報がそのまま格納される。Ｘ位置、Ｙ位置及びＺ位置には、本来、撮像装置１０１に取り付けられたセンサなどにより取得される撮像装置１０１の位置を示す座標値を格納されている。本実施形態では、基準位置に対する入射瞳の位置に上書きして格納してもよいし、撮像装置１０１の位置を示す座標値に基準位置に対する入射瞳の位置を可算し、入射瞳の位置を含む情報として出力して格納してもよい。換言すれば、撮像装置１０１の位置を示す情報を基準位置に対する入射瞳の位置の情報に基づいて補正してもよい。ズーム及びフォーカスには、撮像光学系２０１のズーム位置及びフォーカス位置を示す情報が格納される。以上のように、基準位置に対する入射瞳の位置を含む情報であるカメラデータを出力部５０３が仮想空間上の視点に関する情報として出力する。

【0044】

図７を参照して、本実施形態に係る情報処理装置の機能構成について説明する。図７は本実施形態に係る情報処理装置の機能構成の一例を示す図である。情報処理装置１０２は、取得部７０１、設定部７０２、生成部７０３及び表示制御部７０４を有する。図７に示す各機能ブロックの機能を提供するためのプログラムがＲＯＭ３０３等の記憶部に記憶される。そして、そのプログラムをＲＡＭ３０２に読み出し、ＣＰＵ３０１が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。なお、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

【0045】

取得部７０１は、撮像装置１０１による画像と出力部５０３から出力されたカメラデータ（仮想空間上の視点に関する情報）を取得する。

【0046】

設定部７０２は、取得部７０１が取得したカメラデータに基づいて、仮想空間上の視点に関する情報を設定／更新する。

【0047】

生成部７０３は、設定部７０２によって仮想空間上に設定された視点に関する情報に基づいて、仮想空間の画像（ＣＧ）を生成する。また、取得部７０１によって取得された画像と生成された画像とを合成することにより、仮想空間上に実空間上の被写体があたかも存在するかのような画像を生成する。

【0048】

表示制御部７０４は、生成部７０３が生成した画像あるいは取得部７０１が取得した画像の少なくとも１つを表示するように出力Ｉ／Ｆ３０５を制御する。

【0049】

（動作説明）
図８を参照して、本実施形態に係る撮像装置の動作を説明する。図８は本実施形態に係る撮像装置の動作を示すフローチャートである。図８に示すフローチャートは、撮像装置１０１のＣＰＵ２０６がＲＯＭ２０８に記憶されたプログラムをＲＡＭ２０７にロードし、ＲＭＡ２０７にロードされたプログラムを実行することによって本フローチャートに記載の動作が開始される。

【0050】

Ｓ８０１では、撮像光学系２０１の入射瞳の初期位置を取得部５０２が取得する。入射瞳の初期位置は撮像光学系２０１の光学設計データに基づいてあらかじめ算出され、ＲＯＭ２０８等の記憶部に記憶されている。取得部５０２は記憶部から入射瞳の初期位置を読み出すことによって取得する。撮像光学系２０１がズームレンズやフォーカスレンズのように光学ズームやフォーカスの調整が可能なレンズの場合、取得部５０２は撮像光学系２０１のズーム位置やフォーカス位置をさらに取得する。さらに取得部５０２は得らえたズーム位置フォーカス位置に応じた入射瞳の初期値を取得する。撮像光学系２０１が単焦点レンズのようなズーム位置・フォーカス位置が変わらないレンズの場合、この処理は必要ない。撮像光学系２０１が着脱可能な撮像装置の場合は、不図示の判定部によって単焦点レンズか否かを判定することによってＳ８０１の動作を変えればよい。

【0051】

Ｓ８０２では、基準位置に対する入射瞳の位置を取得部５０２が算出する。駆動部２０５のパン角度又はチルト角度に基づいて入射瞳の初期位置を座標変換することで基準位置に対する入射瞳の位置を算出する。この動作は、駆動部２０５のパン角度及びチルト角度が初期状態から変動していない場合は必要ない。なぜなら、入射瞳の初期位置は撮像装置１０１が起動した状態における駆動部２０５パン角度及びチルト角度での入射瞳の位置だからである。従って、初期状態からパン角度又はチルト角度が変動していない場合は、Ｓ８０２の動作は省略可能である。

【0052】

Ｓ８０３では、基準位置に対する入射瞳の位置を含む情報を出力する。基準位置に対する入射瞳の位置を含んでいればどのようなフォーマットで出力されていてもよく、例えば前述のカメラデータであってもよい。

【0053】

Ｓ８０４では、撮影を終了するか否かを判定し、撮影を終了する場合は本フローチャートの動作を終了し、終了しない場合はＳ８０１に戻る。ズーム倍率やフォーカス位置が変動していない場合は、Ｓ８０２に戻ってもよい。

【0054】

図９を参照して、本実施形態に係る情報処理装置の動作を説明する。図９は本実施形態に係る情報処理装置の動作を示すフローチャートである。図９に示すフローチャートは、情報処理装置１０２のＣＰＵ３０１がＲＯＭ３０３に記憶されたプログラムをＲＡＭ３０２にロードし、ＲＭＡ３０２にロードされたプログラムを実行することによって本フローチャートに記載の動作が開始される。

【0055】

Ｓ９０１では、撮像装置１０１から基準位置に対する入射瞳の位置を含む情報を取得部７０１が取得する。本実施形態ではカメラデータを取得したとする。また、撮像装置１０１が撮像した画像を取得する。

【0056】

Ｓ９０２では、カメラデータに基づいて、仮想空間上の視点に関する情報を設定部７０２が設定する。

【0057】

Ｓ９０３では仮想空間上に設定された視点に関する情報に基づいて、仮想空間の画像（ＣＧ）を生成する。生成した画像と撮像装置１０１が撮像した画像を合成した合成画像を生成する。

【0058】

Ｓ９０４では、Ｓ９０３で生成した画像を表示制御部７０４が出力Ｉ／Ｆ３０５に出力／表示させる。

【0059】

本実施形態における撮像装置によれば、仮想空間上の視点位置として入射瞳の位置を含む情報が出力される。これにより、仮想空間上の視点の位置と入射瞳の位置とのずれを低減することができ、撮像装置１０１が撮像した画像と仮想空間の画像との合成画像における違和感を低減することができる。

【0060】

＜実施形態２＞
第１の実施形態では撮像光学系２０１の光軸がパン駆動部及びチルト駆動部の回転軸が基準位置で交わっている場合について説明した。本実施形態では、光軸と回転軸とが交わっていない場合でも、合成画像の違和感を低減することを目的とする。なお、本実施形態に係る撮像装置の装置構成、機能構成は第１の実施形態と同様であるため、説明は省略する。

【0061】

図１０は本実施形態おける撮像装置１０１の外観の一例であり、パン回転軸１００１と、チルト回転軸１００２と、撮像装置１０１の撮像光学系２０１の光軸１００３と入射瞳の位置１００４を示している。本実施形態では、パン駆動とチルト駆動とで基準位置（駆動によって変動しない位置）が異なることが分かる。

【0062】

（動作説明）
本実施形態における動作は、第１の実施形態におけるＳ８０２の動作のみが異なるため、それ以外の説明は省略する。

【0063】

Ｓ８０２において、パン角度及びチルト角度に基づいて基準位置（原点１００５）に対する入射瞳の位置の算出方法が異なる。取得部５０２は、パン駆動における基準位置とチルト駆動における基準位置とが異なる場合には、パン駆動及びチルト駆動の回転軸を取得る。そして、パン駆動の回転軸とチルト駆動の回転軸とが所定の位置に交わるように変換し、所定の位置を基準位置として基準位置からの入射瞳の位置を算出して取得する。

【0064】

図１０におけるｘ軸周りにθだけ回転する変換行列をＲ＿ｘ（θ）、ｚ軸周りにψだけ回転する変換行列をＲ＿ｚ（ψ）とする。次に、チルト回転軸１００２が原点１００５に交わるように平行移動する変換行列をＴ＿ｔｉｌｔとする。また、Ｔ＿ｔｉｌｔの平行移動成分に－１を乗算した変換行列Ｔ＿ｔｉｌｔ＾’とする。そして、パン回転軸１００１が原点１００５に交わるように平行移動する変換行列をＴ＿ｐａｎとする。同様に、Ｔ＿ｐａｎの平行移動成分に－１を乗算した変換行列Ｔ＿ｐａｎ＾’とすると、入射瞳の位置ｐ’は式（２）によって算出できる。なお、ｐ、ψ、θ、ｐ’は第１の実施形態と同様である。
ｐ’＝Ｔ’_ｐａｎＲ_ｚ（ψ）Ｔ_ｐａｎＴ’_ｔｉｌｔＲ_ｘ（θ）Ｔ_ｔｉｌｔｐ・・・（２）
なお、数式は一例であり、基準位置に対する入射瞳の三次元位置が算出できれば他の数式でも構わない。

【0065】

本実施形態によれば、光軸と回転軸とが交わっていない場合でも、撮像装置１０１が撮像した画像と仮想空間の画像との合成画像における違和感を低減することができる。

【0066】

＜実施形態３＞
以下に本発明の第３の実施形態について説明する。本実施形態では、撮像装置１０１には位置及び姿勢の取得が可能な手段が付加されている点で第１の実施形態と異なり、それ以外の装置構成と機能構成は実施形態１と同様である。本実施形態では、位置及び姿勢の取得が可能な装置は、実空間に設定された座標に対する、撮像装置１０１の位置情報と姿勢情報を取得できる手段である。位置情報とは、実空間に設定された座標系における三次元位置座標である。姿勢情報とは実空間に設定された座標系における、撮像装置１０１のヨーとロールとピッチとの回転角度の情報である。位置及び姿勢の取得が可能な装置の例として、ロータリーエンコーダーを備えることで移動量や回転量を測定できるドリーのような架台などがある。また、画像やセンサ情報等から自己位置の推定が可能な機器のような例もある。尚、位置及び姿勢の取得が可能な手段は以上に限定されない。取得部５０２が撮像装置１０１の位置及び姿勢の取得が可能な手段から取得する。

【0067】

本実施形態に係る撮像装置の動作は実施形態１におけるＳ８０１及びＳ８０３が異なり、それ以外の工程は同じであるため、説明は省略する。

【0068】

Ｓ８０１では、取得部５０２が撮像装置１０１の位置及び姿勢に関する情報をさらに取得する。

【0069】

Ｓ８０３で出力部５０３によって出力されるカメラデータについて説明する。カメラデータのフォーマットは第１の実施形態と同様である。Ｘ位置、Ｙ位置及びＺ位置のそれぞれには、Ｓ８０１で取得した、基準位置に対する入射瞳の位置と撮像装置１０１の位置及び姿勢に関する情報とを情報処理装置１０２からの要求に応じて合成し、格納する。そして、パン角度とチルト角度とロール角度のそれぞれには、Ｓ８０１で取得した姿勢情報と、パン駆動部２０５ａから取得するパン角度や、チルト駆動部２０５ｂから取得するチルト角度とを情報処理装置１０２からの要求に応じて合成し、格納する。

【0070】

以上、本実施形態によれば、撮像装置１０１が移動する場合でも合成画像の違和感を低減できるようになることができるようになる。

【0071】

＜その他の実施形態＞
本発明は、上述の実施形態１の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0072】

１００ 撮像システム
１０１ 撮像装置
１０２ 情報処理装置
２０１ 撮像光学系
２０５ 駆動部
５０２ 取得部
５０３ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】