特許 7182920 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-25

(45)【発行日】2022-12-05

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221128BHJP

   G09G 5/00 20060101ALI20221128BHJP

   G09G 5/36 20060101ALI20221128BHJP

   G09G 5/38 20060101ALI20221128BHJP

   H04N 5/232 20060101ALI20221128BHJP

【ＦＩ】

G06T19/00 A

G09G5/00 510A

G09G5/00 510V

G09G5/00 550C

G09G5/36 520D

G09G5/38 Z

H04N5/232 380

【請求項の数】 11

(21)【出願番号】P 2018125941

(22)【出願日】2018-07-02

(65)【公開番号】P2020004325

(43)【公開日】2020-01-09

【審査請求日】2021-06-30

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】石井 正俊

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１３／１７５９２３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／００－１９／２０

Ｇ０９Ｇ ５／００－ ５／４２

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮像画像の撮像画像データを取得する第１の取得手段と、
前記撮像画像データを用いて、前記撮像画像の少なくとも一部を表示システムに表示した場合の表示画像を生成する第１の生成手段と、
前記撮像画像と前記表示画像とを、前記表示システムとは異なる表示装置の一つのスクリーン上に配置して表示するための表示画像データを生成する第２の生成手段とを有することを特徴とする画像処理装置。

【請求項2】

前記表示システムは、湾曲スクリーンであることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記表示システムは、複数の平面ディスプレイを組み合わせた構成であることを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記表示システムの構成を示す表示システム情報を取得する第２の取得手段を有し、
前記第１の生成手段は、前記表示システム情報と前記撮像画像データとに基づいて、仮想空間において前記表示システムに対応するオブジェクトに前記表示画像をレンダリングすることで、前記表示画像を生成することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。

【請求項5】

前記仮想空間における仮想視点の位置を設定する第１の設定手段を有し、
前記第１の設定手段は、前記表示装置の姿勢に関する姿勢情報を取得し、前記姿勢情報に基づいて前記仮想視点を設定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。

【請求項7】

前記表示システムを鑑賞する際の理想視点の位置を設定する第２の設定手段を有し、
前記第２の設定手段は、前記オブジェクトを前記仮想空間に配置し、前記理想視点の位置から前記オブジェクトに前記表示画像を逆射影することを特徴とする請求項４に記載の画像処理装置。

【請求項8】

前記撮像画像を撮像している時の撮像装置の撮像パラメータを取得する第３の取得手段とを有し、
前記第１の生成手段は、前記撮像パラメータに基づいて、前記撮像装置が撮像している画像を前記仮想空間に表示するための画像を生成することを特徴とする請求項４に記載の画像処理装置。

【請求項9】

前記取得された撮像画像と前記生成された表示画像は、前記スクリーン上で重複しないことを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。

【請求項10】

コンピュータを、請求項１乃至９の何れか一項に記載の画像処理装置として機能させるためのプログラム。

【請求項11】

撮像画像の撮像画像データを取得し、
前記撮像画像データを用いて、前記撮像画像の少なくとも一部を表示システムに表示した場合の表示画像を生成し、
前記撮像画像と前記表示画像とを、前記表示システムとは異なる表示装置の一つのスクリーン上に配置して表示するための表示画像データ生成することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広視野に画像を表示する表示システムをシミュレーションする技術に関する。

【背景技術】

【0002】

従来、画像を表示する表示システムの一つとして、鑑賞者の視野を覆うように配置された表示画面に画像を表示することで、鑑賞者に高い臨場感を与えるシステムが知られている。特許文献１は、鑑賞者に凹面を向けた球面状の広視野角のスクリーンに画像を表示する方法が記載されている。この方法によれば、平面状の画像を球面形状に貼り付けるマッピング処理を行うことで、スクリーンに表示する画像を生成している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－３１８７５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような広視野に画像を表示する表示システムにおいては、撮像して得られた平面状の画像に対して所定の幾何変換や射影変換を実行した画像が表示画像として用いられる。そのため従来においては、撮像した画像が表示システムに表示された時の見えは、実際の表示システムを設置した環境において画像を表示しなければ確認できなかった。

【0005】

そこで本発明は、表示システムに画像が表示された環境を仮想視点から鑑賞した画像を生成することで、表示システムに画像が表示された時の見えを提示することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため本発明は、撮像画像の撮像画像データを取得する第１の取得手段と、前記撮像画像データを用いて、前記撮像画像の少なくとも一部を表示システムに表示した場合の表示画像を生成する第１の生成手段と、前記撮像画像と前記表示画像とを、前記表示システムとは異なる表示装置の一つのスクリーン上に配置して表示するための表示画像データを生成する第２の生成手段とを有することを特徴とする。

【発明の効果】

【0007】

表示システムに画像が表示された環境を仮想視点から鑑賞した時の画像を生成することで、表示システムに画像が表示された時の見えを提示することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態における撮影支援システムの概要および、シミュレーションの対象となる表示環境を示す図

【図2】画像処理装置のハードウェア構成を示す図

【図3】画像処理装置の詳細な論理構成を示す図

【図4】画像処理装置が実行する画像処理のフローチャート

【図5】表示画像生成処理のフローチャート

【図6】パラメータ設定用のグラフィカルユーザインターフェース（ＧＵＩ）を示す図

【図7】表示システムおよび第１の画面オブジェクトを説明する図

【図8】第２の画面オブジェクトを説明する図

【図9】仮想空間における床面を説明する図

【図10】投影画像と第１のテクスチャとの関係を示す図

【図11】視線方向と表示画像の関係を示す図

【図12】画像処理装置が実行する画像処理のフローチャートを示す図

【図13】第２の画面オブジェクトの表示切替え用ＧＵＩを示す図

【図14】ディスプレイ境界を説明する図

【図15】表示装置構成を変更した場合の例を示す図

【発明を実施するための形態】

【0009】

以下、本発明に適用可能な実施形態について、添付の図面を参照して説明する。なお、以下の実施形態は本発明を必ずしも限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0010】

＜第１実施形態＞
本実施形態では、撮影した画像が実際の表示システムにおいてどのように表示されるかをＨＭＤ（ヘッドマウントディスプレイ）に表示する撮影支援システムについて説明する。図１は、本実施形態における撮影支援システムの概要および、シミュレーションの対象となる表示システムを説明する図である。本実施形態における撮影支援システムでは、撮影した画像が、広視野に画像を表示できる表示システムに表示されることを想定している。図１（ｂ）は、本実施形態がシミュレーションの対象とする広視野に画像を表示可能な表示システムの一例を示す図である。この表示システムでは、それぞれ画像を表示可能な３つのディスプレイが視聴者の視野を覆うように配置された表示部１０５を有する。表示システムにおいて、３つのディスプレイそれぞれに表示される画像は、１つの撮像画像１０６から生成される。撮像画像における領域１０９は表示部における左ディスプレイに、領域１０８は中央ディスプレイに、領域１０７は右ディスプレイに表示される。このように表示システムに画像を表示すると、表示システムの視聴者に対して、表示されている画像を撮影した場にいるかのような臨場感を与えることができる。

【0011】

ただし、撮像装置１０１を用いて撮影している際には、撮像中の画像が表示システムにおいてどのように表示されるのかがわかりにくい。そこで本実施形態では、撮像している画像が表示システムに表示された表示環境を仮想空間に構築し、ユーザの姿勢方向に応じて仮想空間における表示画像を生成し、表示することで、ＨＭＤを装着しているユーザに表示システムのシミュレーションを表示する。

【0012】

図１は、本実施形態が想定する撮影支援システムの例を示す。本実施形態における撮影支援システムは、動画を撮像可能な撮像装置１０１、各種画像処理を行う画像処理装置１０２、第１の表示装置１０３、第２の表示装置１０４から構成される。撮像装置１０１は、例えば広角レンズを備えるビデオカメラを用いる。第１の表示装置１０３は、ＧＵＩ（グラフィカルユーザインターフェース）を表示するための装置であり、液晶ディスプレイなどの一般的なモニタを用いる。第２の表示装置１０４は、表示画像を表示するための装置であり、ユーザの頭部の動きに応じた画像を表示が可能なＨＭＤを用いる。ＨＭＤは、ユーザの頭部の位置と姿勢を取得可能なセンサを備えているものとする。これは、例えば加速度センサ、ジャイロセンサに加えて、ＨＭＤに組付けられた赤外光ＬＥＤと図示しない外部赤外光カメラでの組み合わせによって構成される。ＨＭＤはこれらのセンサの情報や赤外光カメラが取得した情報を出力する。

【0013】

画像処理装置１０２は、例えばＰＣ（パーソナルコンピュータ）を用いる。撮像装置１０１から動画を取得し、各種画像処理を施して表示画像を生成して第２の表示装置１０４に表示画像を表示する。また、画像処理装置１０２は、第１の表示装置１０３に各種処理に必要なパラメータを設定するためのＧＵＩ画面を表示させる。第１の表示装置１０３におけるＧＵＩを介して入力されたユーザの操作に基づいて、画像処理装置１０２は画像処理に必要な各種パラメータを取得する。

【0014】

図２は、本実施形態における画像処理装置１０２のハードウェア構成を示す。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３及びハードディスクドライブ（ＨＤＤ）２０５に格納されたプログラムを実行し、システムバス２００を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤＩ／Ｆ２０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、ＨＤＤ２０５や光ディスクドライブなどの二次記憶装置を接続する。ＣＰＵ２０１は、ＨＤＤＩ／Ｆ２０４を介して、ＨＤＤ２０５からのデータ読み出し、およびＨＤＤ２０５へのデータ書き込みが可能である。さらにＣＰＵ２０１は、ＨＤＤ２０５に格納されたデータをＲＡＭ２０２に展開し、同様に、ＲＡＭ２０２に展開されたデータをＨＤＤ２０５に保存することが可能である。そしてＣＰＵ２０１は、ＲＡＭ２０２に展開したデータをプログラムとみなし、実行することができる。

【0015】

入力Ｉ／Ｆ２０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、キーボードやマウスなどの入力デバイス２０７を接続する。ＣＰＵ２０１は、入力Ｉ／Ｆ２０６を介して入力デバイス２０７からデータを読み込むことが可能である。表示Ｉ／Ｆ２０８は、例えばＤＶＩやＨＤＭＩ（登録商標）等のインタフェイスであり、液晶ディスプレイやプロジェクタ、ＨＭＤなどの表示デバイス２０９を接続する。ＣＰＵ２０１は、表示Ｉ／Ｆ２０８を介して表示デバイス２０９にデータを送り、表示を実行させることができる。本実施形態において表示デバイス２０９は、図１に示す第１の表示装置１０３である液晶ディスプレイ、および第２の表示装置１０４であるＨＭＤである。映像入力Ｉ／Ｆ２１０は、例えばＳＤＩやＨＤＭＩなどのインタフェイスであり、ビデオカメラなどの撮像デバイス２１１を接続する。ＣＰＵ２０１は、映像入力Ｉ／Ｆ２１０を介して撮像デバイス２１１から動画データなどの映像データを取得することができる。本実施形態において撮像デバイス２１１は、図１に示す撮像装置１０１である。位置姿勢センサＩ／Ｆ２１２は、例えばＵＳＢなどのインタフェイスである。位置姿勢センサＩ／Ｆ２１２は、第２の表示装置１０４に付帯する加速度センサやジャイロセンサなどの位置姿勢センサ２１３と、表示装置１０４に配置された既知の赤外線ＬＥＤのパターンを取得するための赤外線カメラを接続する。ＣＰＵ２０１は、位置姿勢センサＩ／Ｆを介して位置姿勢センサ２１３からユーザの頭部の位置と、頭部の向きや傾きを算出するための姿勢情報を取得する。

【0016】

図３は、本実施形態における画像処理装置１０２の詳細な機能構成を示すブロック図である。図２において画像処理装置１０２は、画像取得部３０１、理想視点設定部３０２、撮像パラメータ設定部３０３、位置姿勢取得部３０４、仮想空間設定部３０５、表示画像生成部３１０、出力部３０９を有する。さらに表示画像生成部３１０は、第１のテクスチャ生成部３０６、第２のテクスチャ生成部３０７、レンダリング部３０８を有する。

【0017】

画像取得部３０１は、撮像装置１０１から動画のフレーム画像を取得し、入力画像として第１のテクスチャ生成部３０６、および第２のテクスチャ生成部３０７に出力する。

【0018】

理想視点設定部３０２は、表示システムにおける表示部に表示された画像を鑑賞する際の理想的な視点の位置を仮想空間内の原点として設定する。理想視点設定部３０２は設定した仮装空間を示す情報を、仮想空間設定部３０５、および第１のテクスチャ生成部３０６に出力する。

【0019】

撮像パラメータ設定部３０３は、撮像装置１０１に関わる情報として、ユーザが第１の表示装置に表示されたＧＵＩを介して入力したレンズの焦点距離、射影方式、および撮像センサのサイズを取得する。撮像パラメータ設定部３０３は、取得した撮像パラメータを設定し、第１のテクスチャ生成部３０６に出力する。

【0020】

位置姿勢取得部３０４は、ＨＭＤからＨＭＤを装着しているユーザの頭部の位置および向きや傾きなどの姿勢を算出するための姿勢情報を取得する。位置姿勢取得部３０４は、取得した姿勢情報をレンダリング部３０８に出力する。

【0021】

仮想空間設定部３０５は、シミュレーションのターゲットとなる実際の表示システムをシミュレーションするための仮想空間を設定する。まず仮想空間設定部３０５は、実際の表示システムにおける表示部の構成を示す表示システム情報に基づいて、表示部（ディスプレイ）に対応する第１の画面オブジェクトを配置する。ここでは第１の画面オブジェクトは、図７に示すように３つの平面画面が連結され、上方から見た時に等脚台形を描くようなオブジェクトである。また仮想空間設定部３０５は、撮像装置１０１が撮像している動画のフレーム画像をそのままの画角で表示するための第２の画面オブジェクトを仮想空間に配置する。第２の画面オブジェクトは、矩形である。また仮想空間設定部３０５は、仮想空間においてシミュレーションされる表示システムのリアリティを向上させるために床や背景を表示するためのオブジェクトも仮想空間内に配置する。そして、これらの仮想空間の情報を第２のテクスチャ生成部３０７とレンダリング部３０８に出力する。

【0022】

第１のテクスチャ生成部３０６は、理想視点位置を示す情報と撮像パラメータに基づいて、動画のフレーム画像から第１の画面オブジェクトに表示するための第１のテクスチャを生成し、レンダリング部３０８に出力する。第２のテクスチャ生成部３０７は、動画のフレーム画像から第２の画面オブジェクトに表示するための第２のテクスチャを生成し、レンダリング部３０８に出力する。

【0023】

レンダリング部３０８は、各種入力された情報に基づいてレンダリング処理を行い、ＨＭＤに表示する画像を生成し、出力部３０９に出力する。出力部３０９は、レンダリング部３０８により生成された表示画像をＨＭＤに出力し、表示を制御する。

【0024】

以下、本実施形態の画像処理装置１０２が実行する処理の流れについて説明する。図４は、画像処理装置１０２が実行する処理のフローチャートである。ＣＰＵ２０１は、ＲＯＭ２０３又はＨＤＤ２０４に格納された図４に示すフローチャートを実現するプログラムを読み出して、ＲＡＭ２０２をワークエリアとして実行する。これによりＣＰＵ２０１は、図３に示す各機能構成としての役割を果たす。なお、以降のフローチャートにおいては各工程（ステップ）を「Ｓ」と表記することとする。

【0025】

Ｓ４０１において仮想空間設定部３０５は、シミュレーションのターゲットとなる実際の表示環境に配置された表示システムの表示部（ディスプレイ）を仮想空間内に再現するための第１の画面オブジェクトを設定する。仮想空間設定部３０５は、表示部である各ディスプレイのサイズや配置に関する表示システム情報を、第１の表示装置１０３に表示されたＧＵＩを介して入力されるユーザの指示により取得する。図６に、パラメータを設定するためのＧＵＩの例を示す。ユーザは表示装置構成のドロップダウンリスト６０４から所望の表示システム構成を選択する。図６では、「１８０インチ３面 １２０°」が選択されていることを示している。これは、１８０インチのディスプレイが３面、接する２つのディスプレイが１２０°の角度をなすように配置された表示システムであることを意味する。ドロップダウンリスト６０４にある各表示システムの候補それぞれについては、表示システムの構成に対応するオブジェクトの頂点座標やＵＢ座標などを記述したオブジェクトファイルがＨＤＤ１０４に格納されている。ユーザにより表示システム構成が選択されると、仮想空間設定部３０５は、オブジェクトファイルの中から、選択された表示システム構成に対応するファイルを読み込み、第１の画面オブジェクトを生成する。なお、オブジェクトファイルには例えば、ＣＧ（コンピュータグラフィックス）分野において一般的に用いられるＯＢＪファイルなどの公知のファイルフォーマットを用いればよい。本実施形態では、ドロップダウンリストを通して間接的にオブジェクトファイルを選択するようにしたが、ファイル選択ダイアログを用いて直接所望のファイルを選択するようにしてもよい。

【0026】

図７に本実施形態における第１の画面オブジェクトの例を示す。第１の画面オブジェクトは、３つの平面画面それぞれに対応する３つの矩形オブジェクトによって構成される。１つの矩形オブジェクトは、幅Ｗｓｃ、高さＨｓｃの大きさを持つ。また、センターの矩形オブジェクトと左右の矩形オブジェクトそれぞれとは、角度θｓｃをなすように接している。なおここでは角度θｓｃは１２０°である。また各矩形オブジェクトは、均等メッシュで構成されているものとする。

【0027】

Ｓ４０２において仮想空間設定部３０５は、仮想空間における床面９０１と背景を設定する。図９は、仮想空間における床面を示す図である。仮想空間設定部３０５は、所定サイズの平面を床面９０１とし、床面９０１に対して第１の画面オブジェクト７０１が垂直に接地する位置に床面９０１を配置する。また仮想空間設定部３０５は、ユーザが明らかに床であることを認知できるようなテクスチャを設定する。ここでは床面９０１として絨毯のテクスチャが設定される。あるいは、実際の表示システムが配置されている環境における床面の写真をテクスチャとして設定するようにしてもよい。仮想空間設定部３０５は、第１の画面オブジェクトに表示された画像を鑑賞する際に視覚的に邪魔にならないように、第１の画面オブジェクト、第２の画面オブジェクト、床面以外の背景部分を黒色として設定する。あるいは、実際の表示システムが配置された表示環境を撮影して取得した環境マップを用いて背景として設定してもよい。その場合、例えば十分大きなキューブ型のオブジェクトで全体を囲い、この内側に環境マップをテクスチャとして貼りこんでレンダリングするようにすればよい。

【0028】

Ｓ４０３において理想視点設定部３０２は、実際の表示システムが配置された表示環境において、表示部を鑑賞する際の理想的な視点の位置を設定する。本実施形態では、図７に示すように、表示システムにおける中央ディスプレイの中心から距離Ｄｖｉｅｗ離れた位置に理想視点の位置を設定する。本実施形態では、この理想視点の位置を原点とするＸＹＺ直交座標系を用いて仮想空間を設定する。Ｙ軸は床面に直交し、Ｚ軸は第１の画面オブジェクトのうち中央の矩形オブジェクトに直交する向きに設定されている。ここで理想視点設定部３０２は、Ｓ４０１において設定された第１の画面オブジェクト７０１の頂点座標を、ここで設定した座標系に基づいて補正する。

【0029】

Ｓ４０４において撮像パラメータ設定部３０３は、接続されている撮像装置１０１の撮像パラメータを設定する。撮像パラメータ設定部３０３は、第１の表示装置１０３に表示されたＧＵＩを介して入力されるユーザの指示に基づいて、撮像パラメータを設定する。図６に示すＧＵＩにおいて、ユーザがレンズ射影方式ドロップダウンリスト６０１から、現在使用している撮像装置１０１のレンズ射影方式に対応する項目を選択する。撮像パラメータ設定部３０３は、選択されたレンズ射影方式を示すパラメータを設定する。図６では「中心射影」が選択されていることを示している。また、レンズ焦点距離スライダー６０２を用いて、ユーザは撮像装置１０１のレンズの焦点距離を入力する。入力された焦点距離に基づいて撮像パラメータ設定部３０３は、撮像装置１０１のレンズの焦点距離を示すパラメータを設定する。さらに、センササイズドロップダウンリスト６０３から、現在使用している撮像装置１０１のセンササイズに対応する項目をユーザが選択する。撮像パラメータ設定部３０３は、選択されたセンササイズを示すパラメータを設定する。センササイズは、センササイズドロップダウンリスト６０３の各項目に対して縦横の寸法をあらかじめ紐づけておく。

【0030】

Ｓ４０５において画像取得部３０１は、撮像装置１０１が撮像している動画の１フレームを示すフレーム画像データを取得する。

【0031】

Ｓ４０６において位置姿勢取得部３０４は、ユーザの頭部の位置および向きや傾きなどの姿勢を示す姿勢情報を取得する。位置姿勢取得部３０４は、ＨＭＤから加速度センサとジャイロセンサの情報を取得し、さらにＨＭＤに組付けられた既知の赤外線ＬＥＤのパターンを赤外線カメラにより取得する。そしてこれらの情報に基づき、公知の三次元位置姿勢推定アルゴリズムにより推定することで位置姿勢情報を導出する。なお、推定された位置姿勢を示す座標系は、図７に示す仮想空間内に設定した座標系と一致しており、さらに原点が一致するようにあらかじめキャリブレーションされているものとする。

【0032】

Ｓ４０７において仮想空間設定部３０５は、第２の画面オブジェクト８０１を設定する。第２の画面オブジェクト８０１は、Ｓ４０５において取得したフレーム画像データが示す画像を表示するためのオブジェクトである。つまり第２の画面オブジェクト８０１には、撮像装置１０１が撮像している全画角の画像が表示される。第２の画面オブジェクト８０１は、均等メッシュで構成された平面か矩形のオブジェクトであり、撮影時の補助的な情報として使用される。第２の画面オブジェクト８０１のアスペクト比は、Ｓ４０５で取得したフレーム画像のアスペクト比と一致するように設定する。図８は、第２の画面オブジェクト８０１の例を示す図である。仮想空間設定部３０５は、仮想空間において、第２の画面オブジェクト８０１を第１の画面オブジェクト７０１よりもユーザから見て手前側に配置する。さらに仮想空間設定部３０５は、ユーザが視点位置８０３から第１の画面オブジェクト７０１を見た際の視野８０２に重ならない位置に第２の画面オブジェクト８０１を配置する。また仮想空間設定部３０５は、ユーザが見やすいように、画面の法線の向きがおよそユーザの頭の位置に向くように第２のオブジェクト８０１を設定するのが好ましい。

【0033】

Ｓ４０８において表示画像生成部３１０は、前のステップで設定、取得された情報やデータに基づいてＨＭＤに表示するための表示画像を生成する。処理の詳細は後述する。Ｓ４０９において制御部（不図示）は、ＨＭＤのフレームレートに基づいた待機処理を行う。例えば、フレームレートが６０ｆｐｓの場合、Ｓ４０５からＳ４０９までの処理時間が合計で約１６ｍｓｅｃとなるように処理時間を調整する。

【0034】

Ｓ４１０において出力部３１０は、Ｓ４０８において生成された表示画像をＨＭＤへと出力し、表示させる。Ｓ４１１において制御部（不図示）は、表示を終了するかどうかを判定する。図６に示すＧＵＩにおいて、ユーザにより終了ボタン６０７が押された場合、ＨＭＤへの表示制御を終了する。終了ボタン６０７が押されていない場合は、Ｓ４０５に戻り次のフレーム画像データを取得し、処理を継続する。

【0035】

次に、表示画像生成処理の詳細を説明する。表示画像生成処理では、第１の画面オブジェクト７０１に表示するための第１のテクスチャと、第２の画面オブジェクト８０１に表示するための第２のテクスチャが生成される。さらに、これまでに設定された仮想空間の情報と、撮像装置１０１から取得した動画のフレーム画像データを用いてレンダリング処理を行い、ＨＭＤに表示するための表示画像を生成する。第１の画面オブジェクト７０１は、シミュレーション対象である表示システムが実空間に配置された表示環境において、実際の表示部に表示された画像をシミュレーションするための仮想オブジェクトである。つまり、第１のテクスチャは、表示部における映像の見えを再現するための画像となる。一方、第２のテクスチャは、撮像装置１０１から取得したフレーム画像データと一致し、撮像装置１０１が撮影している画角を確認する目的で、第２の画面オブジェクト８０１に設定される。

【0036】

図５は、表示画像生成部３１０が実行する表示画像生成処理の詳細を示すフローチャートである。以下フローチャートの各ステップについて説明する。

【0037】

Ｓ５０１において第１のテクスチャ生成部３０６は、第１の画面オブジェクト７０１に表示するための第１のテクスチャを生成する。第１のテクスチャ生成部３０６は、光軸がＺ軸正の向き、仮想カメラの上方向がＹ軸正の向きを示すように原点に仮想カメラを設定する。つまりここで第１のテクスチャ生成部３０６は、理想視点の位置に配置した仮想カメラを設定する。第１のテクスチャ生成部３０６は、Ｓ４０４において設定された撮像パラメータに基づいて、取得したフレーム画像を、設定した仮想カメラから第１の画面オブジェクト７０１に対して逆射影することで第１のテクスチャを生成する。このようにして生成された第１のテクスチャは、第１の画面オブジェクト７０１に設定してレンダリングされる。第１のテクスチャが設定された第１の画面オブジェクト７０１は、実際の表示環境に配置された表示システムに画像を表示した時の見えを表現している。そのためＨＭＤを見ているユーザは、撮影中のシーンが表示システムに表示された見えを、幾何的に正しく再現された状態で鑑賞することができる。図１０は、フレーム画像において、第１のテクスチャとして使用される領域を示した図である。このように、第１の画面オブジェクト７０１には、フレーム画像の一部領域が表示されることとなる。

【0038】

Ｓ５０２において第２のテクスチャ生成部３０７は、第２の画面オブジェクト８０１に表示するための第２のテクスチャを生成する。第２のテクスチャは、撮像装置１０１から取得したフレーム画像そのものをテクスチャとして設定する。つまり第２のテクスチャは、撮影装置１０１が撮影している画角を確認可能な画像である。

【0039】

Ｓ５０３においてレンダリング部３０８は、仮想空間を仮想視点から鑑賞した時の画像をＨＭＤに表示するための表示画像として生成する。具体的にはレンダリング部３０８は、これまでに設定された第１の画面オブジェクト７０１、第２の画面オブジェクト８０１、床および背景を含む仮想空間の情報と、第１のテクスチャおよび第２のテクスチャを用いてレンダリング処理を実行する。レンダリング部３０８は、レンダリングの際に用いる仮想カメラとして、ＨＭＤの右目に対応する仮想カメラと、左目に対応する仮想カメラを設定する。レンダリング部３０８は、ＨＭＤの視野角、表示パネルの解像度などを考慮して、レンダリングに使用する仮想カメラの画角などのカメラパラメータを設定する。またレンダリング部３０８は、Ｓ４０６において取得したユーザの頭部の姿勢情報に一致するように仮想カメラの位置姿勢を設定する。その際レンダリング部３０８は、左右の目の眼幅に基づいて、それぞれの仮想カメラの間の距離が眼幅と一致するように、２つの仮想カメラの位置を補正する。レンダリング部３０８は、このように設定された仮想カメラを仮想視点として仮想空間をレンダリングする。さらに、レンダリングされた画像は、ＨＭＤの接眼レンズを通してみた際に歪みなく表示されるように、ＨＭＤの接眼レンズの歪曲収差に基づいて、幾何的に補正しておく。

【0040】

図１１に表示画像の例を示す。図１１（ａ）は、ＨＭＤを装着しているユーザが正面を向いている場合の表示画像を示している。これに対し、例えばユーザが右方向に４５度程度頭を回転させた場合、表示画像は図１２（ｂ）のように変化する。つまり、ユーザがあたかも仮想空間内を移動、あるいは見回しているかのような表現を行うことができる。これは、実際に表示システムを設置している表示環境において、ユーザが表示部を、同じように移動したり見回したりしながら見た場合に、映像がどのように見えるのかをシミュレーションしていることとなる。この際、図１１からもわかるように、第１の画面オブジェクトについては仮想空間内における絶対座標は変化していないが、第２の画面オブジェクト８０１については、ユーザの頭部の位置姿勢に追従するようにレンダリングされることとなる。

【0041】

以上の通り本実施形態では、仮想空間内に、シミュレーション対象の表示システムにおける表示部に対応する第１の画面オブジェクト、撮像装置１０１の画角を確認するための第２の画面オブジェクト、および床や背景を仮想空間に設定する。そして、撮像装置１０１から取得した動画のフレーム画像を用い、ユーザの頭部の位置姿勢に基づいたレンダリング処理を行って表示画像を生成する。この際に、本実施形態に示すようにＨＭＤを用いて立体視かつユーザの頭部の位置や姿勢に応じて表示画像が生成される。ユーザが装着しているＨＭＤに生成した表示画像を表示することで、あたかも実際の表示環境に身を置いて映像を鑑賞しているような体験をユーザに提供することができる。

【0042】

撮影現場に表示システムを仮設して、その場で表示システムに表示される画像を確認することは現実的には難しい。しかしながら本実施形態のように、表示システムが設置された表示環境にいるかのようにシミュレーションすることで、被写体の見切れなどのフレーミングの撮影支援につながる。さらに、実際の表示環境で表示した際により臨場感の高まるカメラワークやフレーミングを撮影時に確認し、実施することができる。さらに仮想空間内には、表示システムに表示されたシミュレーション画像の他に、撮像装置からリアルタイムに取得した撮影中の画像もそのまま表示する。これにより、撮影中の映像と、撮影した映像に基づいて表示システムに画像を表示した際の見え方を比較しながら確認することができる。

【0043】

＜第２実施形態＞
第２実施形態では、ユーザの指示に基づいて第２の画面オブジェクト８０１のレンダリングを制御する方法について説明する。第１実施形態で説明したように、第２の画面オブジェクト８０１は撮像装置１０１の画角を確認するために、仮想空間内に設定される仮想オブジェクトである。本実施形態では、ＨＭＤに表示される表示画像において、ユーザの指示に基づいてこの第２の画面オブジェクト８０１の表示・非表示を切り替える。なお、第１実施形態と同じ構成については同様の符号を付し、詳細な説明を省略する。

【0044】

以下、本実施形態の画像処理装置が実行する処理の流れについて説明する。図１２は、本実施形態における画像処理のフローチャートである。

【0045】

Ｓ１２０１において仮想空間設定部３０５は、シミュレーションのターゲットとなる実際の表示環境に配置された実ディスプレイを仮想空間内に再現するための第１の画面オブジェクトを設定する。Ｓ１２０２において仮想空間設定部３０５は、床面９０１と背景を設定する。Ｓ１２０３において理想視点設定部３０２は、実際の表示環境において実ディスプレイを見る際の理想的な視点位置を設定する。

【0046】

Ｓ１２０４において撮像パラメータ設定部３０３は、接続されている撮像装置１０１の設定に合わせて撮像パラメータを設定する。Ｓ１２０５において画像取得部３０１は、撮像装置１０１から動画のフレーム画像データを１フレーム取得する。Ｓ１２０６において位置姿勢取得部３０４は、ユーザの姿勢情報を取得する。Ｓ１２０７において第１のテクスチャ生成部３０６は、第１の画面オブジェクト７０１に表示するための第１のテクスチャを生成する。

【0047】

Ｓ１２０８において制御部（不図示）は、全画角表示を行うかどうかを判定する。これは図６に示すＧＵＩにおいて全画角表示ＯＮ／ＯＦＦチェックボックス６０６の状態を取得することによって行われる。全画角表示ＯＮ／ＯＦＦチェックボックス６０６がチェックされている場合、全画角表示を行うものと判断し、Ｓ１２０９へ進む。全画角表示ＯＮ／ＯＦＦチェックボックス６０６がチェックされていない場合、全画角表示を行わないものと判断し、Ｓ１２１１へ進む。

【0048】

Ｓ１２０９において仮想空間設定部３０５は、第２の画面オブジェクト８０１を設定する。Ｓ１２１０において第２のテクスチャ生成部３０７は、第２の画面オブジェクト８０１に表示するための第２のテクスチャを生成する。Ｓ１２１１においてレンダリング部３０８は、これまでに設定された仮想空間の情報と、第１のテクスチャおよび第２のテクスチャを用いてレンダリング処理を実行し、ＨＭＤへ表示するための表示画像を生成する。処理の詳細はＳ５０３において説明した処理を同様であるが、Ｓ１２０８において、全画角表示を行わないと判断された場合、表示画像には第２の画面オブジェクト８０１がレンダリングされない状態となる。図１３に、全画角表示ＯＮ／ＯＦＦチェックボックス６０６の状態によって表示画像がどのように変化するかを図示する。図１３（ａ）は、全画角表示ＯＮ／ＯＦＦチェックボックス６０６がチェックされている場合の表示画像の例を示している。図１３（ｂ）は、全画角表示ＯＮ／ＯＦＦチェックボックス６０６がチェックされていない場合の表示画像の例を示している。

【0049】

Ｓ１２１２において制御部（不図示）は、ＨＭＤのフレームレートに基づいた待機処理を行う。例えば、フレームレートが６０ｆｐｓの場合、Ｓ１２０５からＳ１２１２までの処理時間が合計で約１６ｍｓｅｃとなるように処理時間を調整する。Ｓ１２１３において表示画像出力部３１０は、Ｓ１２１１で生成された表示画像をＨＭＤへと出力し、表示を行う。

【0050】

Ｓ１２１４において図示しない制御部は、表示を終了するかどうかを判断する。図６に示すＧＵＩにおいて、ユーザにより終了ボタン６０７が押された場合、ＨＭＤへの表示を終了する。終了ボタン６０７が押されていない場合は、Ｓ１２０５に戻り処理を継続する。

【0051】

撮影中に表示システムにおいてどのように撮像中の画像が表示されるかを確認したい場合は、第２の画面オブジェクトを表示することにより、撮影支援につながる。一方、撮影中であっても表示システムにおける映像の見えだけを確認したい場合や、すでに撮影済の映像が表示システムにおける表示部に適したコンテンツであるかどうかを確認した場合などは、第２の画面オブジェクトは不要である。そこで本実施形態では、ＨＭＤに表示される表示画像において、ユーザの指示に基づいてこの第２の画面オブジェクト８０１の表示・非表示を切り替えることができる。これにより、ユーザの要望に沿った表示システムのシミュレーション画像を提供できる。

【0052】

＜その他の実施形態＞
なお、本実施形態において説明したように、複数の平面ディスプレイを接するように配置された表示システムのシミュレーションをする場合、第１の画面オブジェクト７０１が複数の矩形オブジェクトがつながった形で構成される。表示画像生成部３１０は、矩形オブジェクトの境界の視認性を向上させるために、例えば表示画像において、複数の矩形オブジェクトの境界に対応する画素を黒色などの視認しやすい画素値に変換するようにしてもよい。あるいは仮想空間設定部３０５が、第１の画面オブジェクトを設定する際に、複数の矩形オブジェクトの境界に隙間ができるように頂点座標を補正してもよい。矩形オブジェクトの頂点座標を補正することで、レンダリング結果の表示画像において矩形オブジェクト間の境界線強調することができる。図１４は、境界の視認性を向上させた場合の表示画像の例を示す。図１４（ａ）は境界の視認性を向上していない場合の表示画像を示している。この図から見てわかるように、境界の視認性が十分でない場合、３つの矩形オブジェクトの境界がどこにあるのか、あるいは、そもそも３つの平面で構成されているのかをユーザに一目で理解させることは困難である。これに対して、図１４（ｂ）は、境界の視認性を向上させた場合の表示画像の例を示している。こちらは、隣接する矩形オブジェクト間の境界が黒色の線で描画されているため、ユーザに一目でそれぞれの平面の矩形オブジェクトの境界を認知させることが可能となる。

【0053】

また、本実施形態では、表示システム構成として「１８０インチ３面 １２０°」が選択された場合の例について説明した。例えば、ユーザがＧＵＩにおいて、表示システム構成６０４を切り替えた場合に、設定されたパラメータに追従して表示画像を変化させるようにしてもよい。ここでは、表示装置構成６０４が変更された場合に表示画像がどのように変わるかを説明する。まず、「１８０インチ３面 １２０°」が選択されている場合の表示画像は図１５（ａ）に示すような画像１５０１となる。このとき第１の画面オブジェクト１５０３は、真上からみた形状を示している。第１の画面オブジェクト１５０３は、３つの平面によって等脚台形の上辺および２つの脚を構成するように設定される。これに対して、視点位置１５０５から点線で示す画角で生成された表示画像の例が画像１５０１である。次に、この状態から、ユーザが例えば「Ｃｕｒｖｅｄ ４．５Ｒ ２．５Ｈ １５０°」に表示装置構成の設定を切り替えた場合、表示画像は図１５（ｂ）に示すような画像１５０２に切り替わる。「Ｃｕｒｖｅｄ ４．５Ｒ ２．５Ｈ １５０°」は、平面ディスプレイを視点位置側に中心を持つように湾曲させた湾曲ディスプレイを意味する。このとき第１の画面オブジェクト１５０４は、アールが４．５ｍ、高さが２．５ｍの円柱の側面を１５０°切り取ったような形状を持つ曲面ディスプレイを想定した第１の画面オブジェクトを真上から見た形状になる。これに対して、視点位置１５０６から点線で示す画角で生成された表示画像の例が画像１５０２である。このように、ユーザが表示システム構成６０４の設定を変更すると、設定された表示システム構成に映像を表示した際の見えをシミュレートするようにＨＭＤの表示画像が変化する。

【0054】

また、上述実施形態において表示画像生成部３１０は、ＨＭＤを装着しているユーザの位置姿勢に応じて表示画像を変化させた。これにより、あたかも実際の表示環境に身を置いて映像を鑑賞しているような体験を提供する処理について説明した。しかしながら、レンダリング時にユーザの位置姿勢を使用するかどうかを判定する処理を設けてもよい。例えば、撮影行為を行っている際にユーザがどのような姿勢をとっていたとしても、常に正面に第１の画面オブジェクトの中心がくるような表示となる方が好ましい状況がある。そのため、ユーザの指示によりユーザの位置姿勢を使用しないと判定された場合には、レンダリング時の仮想カメラの位置を原点に固定し、さらに仮想カメラの光軸向きをＺ軸正の方向、仮想カメラの上方向をＹ軸正の方向に固定すればよい。なお、ユーザの位置姿勢を使用するかどうかを指定する手段として、図６に示すＧＵＩ上に位置姿勢のＯＮ／ＯＦＦチェックボックスを別途設け、これを介してユーザが直接位置姿勢を使用するかどうかを選択するようにすればよい。あるいは、撮像装置１０１から別途録画中かどうかを示すデータを受信するようにして、録画中の場合はユーザの位置姿勢を使用しないモードに自動的に変更されるようにしてもよい。

【0055】

また、上述の実施形態においては、仮想空間をレンダリングすることで生成される表示画像を、第２の表示装置１０４であるＨＭＤに表示する形態を例に説明した。しかしながら第２の表示装置１０４は、ＨＭＤ以外の表示装置を用いることもできる。例えば、第２の表示装置１０４として、スマートフォンやタブレットなどの携帯型情報端末を適用してもよい。スマートフォンやタブレットの場合も、情報端末の姿勢や向きを検出することができるため、上述の実施形態と同様に情報端末から姿勢や向きに関する情報を取得し、仮想空間を端末の向きに応じてレンダリングすることで、表示画像を生成し、出力すればよい。あるいは、第２の表示装置１０４として、パーソナルコンピュータや入力装置（マウスやタッチパネルディスプレイを適用することもできる。ただし通常のディスプレイの場合は、姿勢情報を取得できない場合もある。その場合は、ディスプレイ上に仮想空間を仮想視点からレンダリングした表示画像を表示し、ユーザに提示する。このとき表示画像にはマウスやタッチパネルを用いた操作を介して、ユーザが仮想視点を設定可能なようにすること望ましい。入力装置を介して指定された視点位置に応じて、レンダリングした表示画像を表示すればよい。

【0056】

なお上述の実施形態では、ＣＰＵ２０１がプログラムを実行することで図３に示す各構成を実現するソフトウェアを例に説明した。しかしながら図３に示す各構成の一部またはすべてを、専用の処理回路によって実現することもできる。このように本発明は、上述の実施形態の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステムや装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0057】

３０２ 理想視点設定部
３０３ 撮像パラメータ設定部
３０４ 位置姿勢取得部
３０５ 仮想空間設定部
３０６ 第１のテクスチャ生成部
３０７ 第２のテクスチャ生成部
３０８ レンダリング部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】