特許 6027272 ２Ｄ−３Ｄ複合次元コンテンツファイルを用いた複合次元コンテンツサービス提供システム、そのサービス提供方法及びその複合次元コンテンツファイル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6027272

(24)【登録日】2016年10月21日

(45)【発行日】2016年11月16日

(54)【発明の名称】２Ｄ−３Ｄ複合次元コンテンツファイルを用いた複合次元コンテンツサービス提供システム、そのサービス提供方法及びその複合次元コンテンツファイル

(51)【国際特許分類】

   H04N 21/4728 20110101AFI20161107BHJP

   H04N 21/431 20110101ALI20161107BHJP

   G06T 19/00 20110101ALI20161107BHJP

【ＦＩ】

   H04N21/4728

   H04N21/431

   G06T19/00 A

【請求項の数】24

【全頁数】21

(21)【出願番号】特願2015-556869(P2015-556869)

(86)(22)【出願日】2013年12月20日

(65)【公表番号】特表2016-513390(P2016-513390A)

(43)【公表日】2016年5月12日

(86)【国際出願番号】KR2013011934

(87)【国際公開番号】WO2014129736

(87)【国際公開日】20140828

【審査請求日】2015年8月10日

(31)【優先権主張番号】10-2013-0017860

(32)【優先日】2013年2月20日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】515219229

【氏名又は名称】ムーバー インコーポレイテッド

【氏名又は名称原語表記】ＭＯＯＯＶＲ ＩＮＣ．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】イム、ヒョン ビン

(72)【発明者】

【氏名】イ、セ ジュン

【審査官】 福西 章人

(56)【参考文献】

【文献】 特表２０１３−５００６７３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００２３０６６（ＵＳ，Ａ１）

【文献】 特開平１１−３５５７５８（ＪＰ，Ａ）

【文献】 特開２００５−３３３５５２（ＪＰ，Ａ）

【文献】 特表２００８−５１０３５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／０４

Ｈ０４Ｎ ２１／４７２８

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

複合次元コンテンツ提供システムが２Ｄ画像部分と３Ｄ画像部分が結合されている複合次元コンテンツをユーザに提供する方法において、
前記複合次元コンテンツ提供システムが、前記複合次元コンテンツにおいて前記２Ｄ画像部分と前記３Ｄ画像部分それぞれに対応する開始位置情報と区間位置情報のいずれかの情報を判断するステップ（ａ）と、
前記複合次元コンテンツ提供システムが、前記２Ｄ画像部分と前記３Ｄ画像部分それぞれに対応する開始位置情報と区間位置情報のいずれかの情報を参照して取得した前記３Ｄ画像部分の区間に含まれるフレームを対象に、前記３Ｄ画像部分を２Ｄ再生手段でバックグラウンドまたはフォアグラウンドで再生するときに取得できる歪み再生画像を取得するステップ（ｂ）と、
前記複合次元コンテンツ提供システムが、（ｉ）前記２Ｄ画像部分と、（ｉｉ）前記３Ｄ画像部分に対応する部分として、前記取得された歪み再生画像を対象に３Ｄレンダリングエンジンを使用してレンダリング処理を行って取得する部分を含むコンテンツをユーザに提供したり、提供できるように支援するステップ（ｃ）とを含む方法。

【請求項2】

前記開始位置情報や前記区間位置情報は、時間区間単位または開始時刻を含んで構成されるか、または、フレーム番号区間単位または開始フレーム番号を含んで構成され、
前記開始位置情報や前記区間位置情報は、前記複合次元コンテンツの外部に記憶されているか、前記複合次元コンテンツのヘッダに含まれていることを特徴とする請求項１に記載の方法。

【請求項3】

前記ステップ（ｃ）は、
前記２Ｄ画像部分と前記３Ｄ画像部分の境界情報に対応する時点の情報に基づいて所定の範囲内の境界区間に属するフレームに対して次元変換処理を行うステップを含むことを特徴とする請求項１に記載の方法。

【請求項4】

前記次元変換処理は、前記境界区間に属する２Ｄ画像部分と３Ｄ画像部分を対象にフェードイン（ｆａｄｅ ｉｎ）／フェードアウト（ｆａｄｅ ｏｕｔ）効果が出るように処理することを特徴とする請求項３に記載の方法。

【請求項5】

前記３Ｄ画像部分に対応する前記歪み再生画像は、フレーム単位のビットマップ画像であり、
前記複合次元コンテンツ提供システムは、前記歪み再生画像のフレームを対象に球形状（ｓｐｈｅｒｅ）またはキューブ形状（ｃｕｂｅ）でレンダリング処理を行うことを特徴とする請求項１に記載の方法。

【請求項6】

前記複合次元コンテンツ提供システムは、前記ユーザの端末または前記ユーザの端末と有線または無線で接続されている少なくとも一つ以上のディスプレイ装置を通じて前記複合次元コンテンツをユーザに提供したり、提供できるように支援したりすることを特徴とする請求項１に記載の方法。

【請求項7】

前記複合次元コンテンツ提供システムは、前記ユーザの端末と接続されている少なくとも一つ以上のサーバから、（ｉ）前記複合次元コンテンツをファイルとしてダウンロードするか、または、（ｉｉ）前記複合次元コンテンツのデータをＨＴＴＰとＲＴＭＰのうち少なくとも一つのプロトコルを利用して、プログレッシブダウンロード方式またはライブストリーミング方式でリアルタイムに送信されることを特徴とする請求項１に記載の方法。

【請求項8】

前記ステップ（ｃ）において、
前記複合次元コンテンツ提供システムは、前記レンダリング処理を行って取得されるコンテンツの全領域の一部の領域に対応する視聴画面領域を前記ユーザに提供したり、提供されたりするように支援することを特徴とする請求項１に記載の方法。

【請求項9】

前記視聴画面領域は、前記ユーザの入力によって生成された設定情報または所定の設定情報を参照して決定されることを特徴とする請求項８に記載の方法。

【請求項10】

前記複合次元コンテンツ提供システムは、前記ユーザの端末に含まれることを特徴とする請求項１に記載の方法。

【請求項11】

前記ステップ（ｃ）は、
前記レンダリング処理を行って取得されるコンテンツと前記取得されたコンテンツに対応する音声を対象に同期（ｓｙｎｃ）させる処理を行い、前記複合次元コンテンツの画像情報と音声情報を一緒に前記ユーザに提供したり、提供できるように支援したりすることを特徴とする請求項１に記載の方法。

【請求項12】

前記複合次元コンテンツ提供システムは、前記３Ｄ画像と前記２Ｄ画像のピクセル（ｐｉｘｅｌ）数の違いにより前記２Ｄ画像部分で発生する余白領域のメタデータ（ｍｅｔａｄａｔａ）を参照して、前記２Ｄ画像部分で発生する余白領域が見えないように処理を行ったコンテンツを前記ユーザに提供したり、提供できるように支援したりすることを特徴とする請求項１に記載の方法。

【請求項13】

２Ｄ画像部分と３Ｄ画像部分が結合されている複合次元コンテンツをユーザに提供する複合次元コンテンツ提供システムにおいて、
前記２Ｄ画像部分と前記３Ｄ画像部分それぞれに対応する開始位置情報や区間位置情報を取得する再生区間属性情報取得部と、
前記２Ｄ画像部分と前記３Ｄ画像部分それぞれに対応する開始位置情報と区間位置情報のいずれかの情報を参照して取得した前記３Ｄ画像部分の区間に含まれるフレームを対象に、前記３Ｄ画像部分を２Ｄ再生手段でバックグラウンドまたはフォアグラウンドで再生するときに取得できる歪み再生画像を取得する歪み画像取得部と、
前記取得された歪み再生画像を対象に３Ｄレンダリングエンジンを使用してレンダリング処理を行うレンダリング部と、
（ｉ）前記２Ｄ画像部分と、（ｉｉ）前記３Ｄ画像部分に対応する部分として、前記取得された歪み再生画像を対象に３Ｄレンダリングエンジンを使用してレンダリング処理を行って取得された部分を含むコンテンツをユーザに提供したり、提供できるように支援したりするコンテンツ提供部とを含む複合次元コンテンツ提供システム。

【請求項14】

前記開始位置情報や前記区間位置情報は、時間区間単位または開始時刻を含んで構成されるか、またはフレーム番号区間単位または開始フレーム番号を含んで構成され、
前記再生区間属性情報取得部は、前記複合次元コンテンツの外部に記憶され、前記複合次元コンテンツのヘッダに含まれている前記の開始位置情報や前記区間位置情報を取得することを特徴とする請求項１３に記載の複合次元コンテンツ提供システム。

【請求項15】

前記２Ｄ画像部分と前記３Ｄ画像部分の境界情報に対応する時点の情報に基づいて所定の範囲内の境界区間に属するフレームに対して次元変換処理を行う次元変換処理部をさらに含むことを特徴とする請求項１３に記載の複合次元コンテンツ提供システム。

【請求項16】

前記次元変換処理部は、前記境界区間に属する２Ｄ画像部分と３Ｄ画像部分を対象に、フェードイン（ｆａｄｅ ｉｎ）／フェードアウト（ｆａｄｅ ｏｕｔ）効果が出るように次元変換処理を行うことを特徴とする請求項１５に記載の複合次元コンテンツ提供システム。

【請求項17】

前記３Ｄ画像部分に対応する前記歪み再生画像は、フレーム単位のビットマップ画像であり、
前記レンダリング部は、前記歪み再生画像のフレームを対象に球形状（ｓｐｈｅｒｅ）またはキューブ形状（ｃｕｂｅ）でレンダリング処理を行うことを特徴とする請求項１３に記載の複合次元コンテンツ提供システム。

【請求項18】

前記ユーザの端末または前記ユーザの端末と有線または無線で接続されている少なくとも一つ以上のディスプレイ装置を通じて前記複合次元コンテンツをユーザに提供したり、提供できるように支援したりすることを特徴とする請求項１３に記載の複合次元コンテンツ提供システム。

【請求項19】

前記ユーザの端末と接続されている少なくとも一つ以上のサーバから、（ｉ）前記複合次元コンテンツをファイルとしてダウンロードするか、または、（ｉｉ）前記複合次元コンテンツのデータをＨＴＴＰとＲＴＭＰのうち少なくとも一つのプロトコルを利用して、プログレッシブダウンロード方式またはライブストリーミング方式でリアルタイムに送信されることを特徴とする請求項１３に記載の複合次元コンテンツ提供システム。

【請求項20】

前記レンダリング処理を行って取得されるコンテンツの全領域の一部の領域に対応する視聴画面領域を前記ユーザに提供したり、提供できるように支援したりする視聴画面領域選択支援部をさらに含む請求項１３に記載の複合次元コンテンツ提供システム。

【請求項21】

前記視聴画面領域は、前記ユーザの入力によって生成された設定情報または所定の設定情報を参照して決定されることを特徴とする請求項２０に記載の複合次元コンテンツ提供システム。

【請求項22】

前記複合次元コンテンツ提供システムは、前記ユーザの端末に含まれることを特徴とする請求項１３に記載の複合次元コンテンツ提供システム。

【請求項23】

前記レンダリング処理を行って取得されるコンテンツと前記取得されたコンテンツに対応する音声を対象に同期（ｓｙｎｃ）させる処理を行う同期処理部をさらに含む請求項１３に記載の複合次元コンテンツ提供システム。

【請求項24】

前記３Ｄ画像と前記２Ｄ画像のピクセル（ｐｉｘｅｌ）数の違いにより、前記２Ｄ画像部分で発生する余白領域のメタデータ（ｍｅｔａｄａｔａ）を参照して前記２Ｄ画像部分で発生する余白領域が見えないように処理を行う余白処理部をさらに含む請求項１３に記載の複合次元コンテンツ提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、２Ｄ−３Ｄ複合次元コンテンツファイルを用いた複合次元コンテンツサービス提供システム、そのサービスの提供方法に関するものであり、１つのファイルに２Ｄ画像部分と３Ｄ画像部分が同時に含まれている複合次元コンテンツを単一の再生手段によって提供されるようにする２Ｄ−３Ｄ複合次元コンテンツファイルを用いた複合次元コンテンツサービス提供システム、そのサービスの提供方法に関するものである。

【背景技術】

【0002】

従来、一般的なカメラで複数の角度の写真を多数撮影してパノラマ写真や画像を作って提供することには、撮影可能な装備とそれを見る特殊なビューアがあっても、ユーザのコンピュータの仕様が良くないと、動画自体が円滑に再生されないという問題があった。しかしながら、より便利に３Ｄ画像が撮影できる装置が開発されるとともに、ユーザのコンピュータの仕様が次第にアップグレードされ、現在はいかに良いコンテンツをユーザに提供するかが問題となった。

【0003】

３Ｄ画像と２Ｄ画像は、それぞれユーザにアピールできる点が異なっている。したがって、２Ｄ画像と３Ｄ画像を１つのコンテンツに複合させる複合次元コンテンツが開発されたら、多くのユーザに人気を集めると予測される。

【0004】

一方、２Ｄ画像と３Ｄ画像をそれぞれ撮影して、各画像を視聴できる２Ｄまたは、３Ｄプレーヤで片方が終わる時点で他のプレーヤが引き続き再生する方法で再生する場合には、続く時点、すなわち、異なる種類の画像が交代された時点において現れるプレーヤのリフレッシュ状態で意外に長い時間がかかり、ユーザに最後の画像の再生が終わったという錯覚を起こす恐れがある。

【0005】

よって、２Ｄと３Ｄ画像の統合編集で構成される複合次元コンテンツの必要性が台頭している。しかし、統合編集方式は様々な問題点があり、統合編集の際、２Ｄと３Ｄ画像のサイズが異なるため発生する、２Ｄ上、下の部分が黒い、余白部分の制御問題や、２Ｄと３Ｄ画像が出る時点を判断して３Ｄレンダリングを制御する問題などがあった。

【0006】

したがって、複合次元コンテンツの導入、複合次元コンテンツの構成及び複合次元コンテンツのサービスのための技術的な問題の解決方法が切実に求められていた。
通常、画像（動画など）をユーザに提供するとき、２Ｄコンテンツについては２Ｄプレーヤで再生して、ユーザに提供された。そして、パノラマ画像は、３Ｄコンテンツ専用に再生する３Ｄプレーヤを介してのみ提供された。

【0007】

このとき、２Ｄと３Ｄコンテンツを同じ再生手段でユーザに提供してはおらず、さらに、少なくとも一部分以上の２Ｄ画像部分と少なくとも一部分以上の３Ｄ画像部分とが１つの単一のファイルに統合された場合に、これらの単一ファイルに対する単一の再生手段によるサービスの提供はなかった。

【0008】

特に、スポーツ、音楽、映画、ドキュメンタリー、教育、広告など様々なコンテンツにおいて、２Ｄ画像部と３Ｄ画像部が複合されたコンテンツを構成して提供すると、ユーザに特別な経験を提供してもよい。よって、２Ｄ画像部と３Ｄ画像部分複合されている複合次元コンテンツを提供するシステム及びその提供方法の開発が切実に求められていた。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明が解決しようとする第１の課題は、複合次元コンテンツ提供システムを提案するものである。
本発明が解決しようとする第２の課題は、複合次元コンテンツ提供システムの情報処理方法を提案するものである。

【0010】

本発明が解決しようとする第３の課題は、複合次元コンテンツファイルの構成を提案するものである。

【課題を解決するための手段】

【0011】

本発明が解決しようとする技術的課題を達成するために、少なくとも１つ以上の２Ｄ画像部分と少なくとも１つ以上の３Ｄ画像部分が結合されている複合次元コンテンツをユーザに提供する複合次元コンテンツ提供システムの情報処理方法において、前記複合次元コンテンツ提供システムが２Ｄ画像部分を２Ｄ再生手段で再生するステップ（ａ）と、３Ｄ画像部分を２Ｄ再生手段で再生するステップ（ｂ）と、前記ステップ（ｂ）で再生される歪み再生画像を取得するステップ（ｃ）と、前記ステップ（ｃ）で取得した前記歪み再生画像を３Ｄレンダリング（ｒｅｎｄｅｒｉｎｇ）エンジンでレンダリング処理するステップ（ｄ）と、前記レンダリング処理が行われた画像をユーザに提供するステップ（ｅ）とを含むことを特徴とする複合次元コンテンツ提供システムの情報処理方法を提案する。

【0012】

前記複合次元コンテンツ提供システムは、前記複合次元コンテンツを構成する前記２Ｄ画像部分と前記３Ｄ画像部分それぞれに対する開始位置情報や区間位置情報を取得して、前記２Ｄ画像部分の開始位置から前記ステップ（ａ）を行い、前記３Ｄ画像部分の開始位置から前記ステップ（ｂ）を行うことが好ましい。

【0013】

前記開始位置情報や区間位置情報は、前記複合次元コンテンツの外部に記憶されているもの、または前記複合次元コンテンツファイルのヘッダに含まれているものが好ましい。
前記開始位置情報や区間位置情報は、前記複合次元コンテンツの管理情報であり、前記複合次元コンテンツが記憶されている記憶装置と同様の記憶装置または記憶システムに記憶されているものか、または、前記複合次元コンテンツを再生する前に有線または無線ネットワークを介して前記開始位置情報を提供する第３のシステムから送信されるものであることが好ましい。

【0014】

前記開始位置情報や区間位置情報は、時間区間単位または開始時刻を含んで構成されるものか、または、フレーム番号区間単位または開始フレーム番号を含んで構成されるものであることが好ましい。

【0015】

前記２Ｄ画像部分と前記３Ｄ画像部の境界情報を取得するステップ（ｆ）と、取得された境界情報に基づいて、前記２Ｄ画像部分と前記３Ｄ画像部分の境界部からの所定の境界範囲で次元変換処理を行うステップ（ｇ）とをさらに含むことが好ましい。

【0016】

前記ステップ（ｃ）は、ビットマップ画像をフレーム単位で取得することであり、前記ステップ（ｄ）は、フレーム単位でレンダリング処理を行うことが好ましい。
前記ステップ（ｄ）は、球形状（ｓｐｈｅｒｅ）でレンダリング処理を行うか、または、キューブ形状（ｃｕｂｅ）でレンダリング処理を行うことが好ましい。

【0017】

前記複合次元コンテンツ提供システムは、ユーザ端末において駆動するものであり、前記ステップ（ｅ）は、前記ユーザ端末に含まれているか、前記ユーザ端末と有線または無線ネットワークに接続される少なくとも１つ以上のディスプレイ装置に記憶されるものであり、前記複合次元コンテンツは、前記ユーザ端末に記憶されているものか、または前記ユーザ端末と有線または無線ネットワークに接続される少なくとも１つ以上のサーバからリアルタイムに提供されるものであることが好ましい。

【0018】

前記複合次元コンテンツが前記ユーザ端末に提供される方法は、前記サーバから前記ユーザ端末へＨＴＴＰまたはＲＴＭＰのいずれかのプロトコルを利用して、複合次元コンテンツ画像情報を送信することが好ましい。

【0019】

前記複合次元コンテンツが前記ユーザ端末に提供される方法は、前記サーバから前記ユーザ端末にプログレッシブダウンロード方式またはライブストリーミング方式で前記コンテンツ画像情報を送信することが好ましい。前記ステップ（ｅ）は、前記２Ｄ再生手段が再生する音声情報と，前記ステップ（ｄ）でレンダリング処理された画像を同期（ｓｙｎｃ）させて音声情報と画像情報が一緒に提供されるものであることが好ましい。

【0020】

前記ステップ（ｅ）は、前記レンダリング処理された画像の所定の少なくとも一領域がユーザに表示される視聴画面領域に提供されることが好ましい。
前記視聴画面領域の設定に関する情報は、前記複合次元コンテンツのヘッダ情報に記憶されているものか、前記複合次元コンテンツを提供するサーバから送信されるものか、前記複合次元コンテンツ提供システムで設定されるものか、または所定の視聴画面領域の設定規則に応じて変更されるものであることが好ましい。

【0021】

前記視聴画面領域の設定は、前記ユーザが設定するものであり、前記視聴画面領域の設定は前記ユーザが前記複合次元コンテンツの再生中に変更できるものであることが好ましい。

【0022】

前記視聴画面領域の設定は、前記ユーザが視聴画面領域を設定するための視聴領域の方向を指定または変更するものであり、前記視聴領域の方向の指定や変更は、キーボード入力、キーパッド入力、タッチ入力、音声入力、動作入力のいずれか１つ以上の入力によって行われるものであることが好ましい。

【0023】

前記視聴画面領域の設定に変更がある場合には、前記複合次元コンテンツ提供システムは、変更された視聴画面領域の設定情報を用いて前記レンダリング処理された画像において、ユーザに表示される視聴画面領域を変更することが好ましい。

【0024】

前記視聴領域の方向が変更される場合には、前記複合次元コンテンツ提供システムは、前記レンダリング処理された画像において、変更された視聴領域の方向を反映してユーザに表示される視聴画面領域を連続的に変更することが好ましい。

【0025】

前記複合次元コンテンツ提供システムは、前記２Ｄ画像部分の再生結果がユーザに提供される時、前記２Ｄ画像部分の所定の余白領域が除かれてユーザに提供されるように制御することが好ましい。

【0026】

前記境界情報は、前記複合次元コンテンツを構成する前記２Ｄ画像部分と前記３Ｄ画像部分それぞれの開始位置情報や区間位置情報を利用し、前記次元変換処理を行うことは、前記境界部に基づく所定の時間区間または所定のフレーム区間を対象にしてフェードイン（ｆａｄｅ ｉｎ）、フェードアウト（ｆａｄｅ ｏｕｔ）効果が出るように処理することが好ましい。

【0027】

本発明が解決しようとする技術的課題を達成するために、少なくとも１つ以上の２Ｄ画像部分と少なくとも１つ以上３Ｄ画像部分が結合されている複合次元コンテンツをユーザに提供する複合次元コンテンツ提供システムにおいて、前記複合次元コンテンツ提供システムは、２Ｄ画像部分と３Ｄ画像部分を再生する２Ｄ再生部と、再生対象となる画像部分が２Ｄ画像部分であるか３Ｄ画像部分であるかに対する再生区間属性情報を取得する再生区間属性情報取得部と、前記２Ｄ再生部が３Ｄ画像部分を再生した結果を取得する歪み画像取得部と、前記歪み画像取得部が取得する歪み画像を３Ｄレンダリングエンジンでレンダリング処理するレンダリング部とを含むことを特徴とする複合次元コンテンツ提供システムを提案する。

【0028】

前記再生区間属性情報取得部は、前記複合次元コンテンツを構成する前記２Ｄ画像部分と前記３Ｄ画像部分それぞれの開始位置情報や区間位置情報を取得することか、前記複合次元コンテンツを構成する前記２Ｄ画像部分と前記３Ｄ画像部分それぞれの時間区間対応情報またはフレーム区間対応情報を取得することが好ましい。

【0029】

前記再生区間属性情報取得部は、前記開始位置情報や前記区間位置情報や前記時間区間対応情報または前記フレーム区間対応情報を前記複合次元コンテンツファイルのヘッド部で取得するか、前記複合次元コンテンツファイルとは別に外部に存在する再生区間属性情報ファイルから取得するか、または、前記複合次元コンテンツ画像情報を提供する複合次元コンテンツ提供サーバから取得することが好ましい。

【0030】

前記開始位置情報や前記区間位置情報や前記時間区間対応情報または前記フレーム区間対応情報は、時間区間単位または開始時刻を含んで構成されるか、フレーム番号区間単位または開始フレーム番号を含んで構成されることが好ましい。

【0031】

前記２Ｄ画像部分と前記３Ｄ画像部の境界情報を取得して、取得した境界情報に基づいて、前記２Ｄ画像部分と前記３Ｄ画像部分の境界部からの所定の境界範囲で次元変換処理を行う次元変換処理部とをさらに含むことが好ましい。

【0032】

前記歪み画像は、フレーム単位のビットマップ画像であり、前記レンダリング部がレンダリング処理を行う単位はフレーム単位で処理することが好ましい。
前記レンダリング処理部がレンダリング処理を行うことは球形状（ｓｐｈｅｒｅ）でレンダリング処理することか、または、キューブ形状（ｃｕｂｅ）でレンダリング処理することが好ましい。

【0033】

前記複合次元コンテンツ提供システムは、ユーザ端末において駆動するものであり、前記ユーザ端末は、ＰＣ、スマートフォン、タブレットコンピュータ、ポータブルコンピュータ、ゲーム機、スマートＴＶ、キオスク端末、通信可能であり、ディスプレイ装置が含まれている端末、外部から複合次元コンテンツファイルが取得でき、ディスプレイ装置が内蔵されたもの、及び有線または無線ネットワークでディスプレイ装置と通信可能な端末のいずれか１つ以上であることが好ましい。

【0034】

前記複合次元コンテンツ提供システムが駆動されるユーザ端末は、少なくとも１つ以上の複合次元コンテンツ提供サーバからΗＴＴΡまたはＲＴＭＰのいずれかのプロトコルを利用して、複合次元コンテンツ画像情報を送信されるか、または、前記複合次元コンテンツを提供サーバからプログレッシブダウンロード方式またはライブストリーミング方式で前記コンテンツ画像情報が送信されることが好ましい。

【0035】

前記２Ｄ再生手段が再生する音声情報とレンダリング処理された画像を同期化する同期処理部をさらに含むことが好ましい。
前記レンダリング処理された画像の所定の少なくとも一領域がユーザに表示される視聴画面領域に提供されることが、前記ユーザによって調節できるように支援する視聴画面領域選択支援部をさらに含むことが好ましい。

【0036】

前記視聴画面領域選択支援部は、前記ユーザにとって視聴画面領域の設定を支援するものであり、前記視聴画面領域の設定は、前記ユーザが視聴画面領域を設定するための視聴領域の方向を指定または変更するものであり、前記視聴領域の方向の指定や変更は、キーボード入力、キーパッド入力、タッチ入力、音声入力、動作入力の内いずれか１つ以上の入力によって行われることが好ましい。

【0037】

前記視聴画面領域の設定に変更がある場合には、前記複合次元コンテンツ提供システムは、変更された視聴画面領域の設定情報を用いて前記レンダリング処理された画像において、ユーザに表示される視聴画面領域を変更することが好ましい。

【0038】

前記視聴領域の方向が変更される場合には、前記複合次元コンテンツ提供システムは、前記レンダリング処理された画像において、変更された視聴領域の方向を反映してユーザに表示される視聴画面領域を連続的に変更することが好ましい。

【0039】

前記境界情報は、前記複合次元コンテンツを構成する前記２Ｄ画像部分と前記３Ｄ画像部分それぞれの開始位置情報や区間位置情報を利用し、前記次元変換処理を行うことは、前記境界部に基づく所定の時間区間または所定のフレーム区間を対象にしてフェードイン、フェードアウト効果が出るように処理することが好ましい。

【0040】

本発明が解決しようとする技術的課題を達成するために、ファイルヘッダ部と、画像データ部とを含み、前記画像データ部は少なくとも１つ以上の２Ｄ画像部分と、少なくとも１つ以上の３Ｄ画像部分とを含み、前記２Ｄ画像部分と前記３Ｄ画像部分は、少なくとも１回以上交互に表示されることを特徴とする複合次元コンテンツファイルを提案する。

【0041】

前記ファイルヘッダ部には、再生区間属性情報がさらに含まれることが好ましい。
前記再生区間属性情報には、前記画像データ部の中から、前記２Ｄ画像部分と前記３Ｄ画像部分に対応する画像データに関する情報がさらに含まれることが好ましい。

【0042】

再生区間属性情報は、前記２Ｄ画像部分と前記３Ｄ画像部分それぞれの開始位置情報や区間位置情報を取得するか、または、前記２Ｄ画像部分と前記３Ｄ画像部分それぞれの時間区間対応情報またはフレーム区間対応情報であることが好ましい。

【0043】

前記２Ｄ画像部分と前記３Ｄ画像部分は、物理的な境界の区別なく接続されていることが好ましい。

【発明の効果】

【0044】

本発明によれば、次のような効果が得られる。
第一に、複合次元コンテンツを単一の再生手段でユーザに歪みなく提供することができる。

【0045】

第二に、３Ｄ画像の中からユーザが希望する３Ｄ画像部分の特定部分を選択することができ、選択された３Ｄ画像部分をユーザに提供することができる。
第三に、スポーツ、音楽、映画、ドキュメンタリー、教育、広告など様々なコンテンツにおいて、２Ｄ画像部と３Ｄ画像部が複合されたコンテンツを構成して提供すれば、ユーザに特別な経験を提供することができる。

【図面の簡単な説明】

【0046】

【図1】本発明による複合次元コンテンツを提供するためのシステムの構成に関する一実施例を示す図。

【図2】本発明による複合次元コンテンツを提供するための他のシステムの構成に関する一実施例を示す図。

【図3】本発明による複合次元コンテンツ提供システムの一実施例の情報処理方法に関する一実施例を示す図。

【図4】本発明による複合次元コンテンツ提供システムの他の一実施例の情報処理方法に関する一実施例を示す図。

【図5】本発明による複合次元コンテンツ提供システムのさらに他の一実施例の情報処理方法に関する一実施例を示す図。

【図6】本発明による複合次元コンテンツを提供するためのさらに他のシステムの構成に関する一実施例を示す図。

【図7】本発明による複合次元コンテンツの一実施例の構成に関する一実施例を示す図。

【図8】本発明による複合次元コンテンツの他の一実施例の構成に関する一実施例を示す図。

【図9】３Ｄ画像と２Ｄ画像の概略的な比較を示す図。

【図10】３Ｄ画像の選択に関する図。

【図11】２Ｄ画像の提供において、黒い枠が削除された画像が提供される図。

【発明を実施するための形態】

【0047】

以下、添付図面を参照して詳細に説明する。
図１から図２は、本発明の複合次元コンテンツを提供するための構成に関する実施例を示す図である。本発明の複合次元コンテンツ提供システム１０００が含まれている少なくとも１つ以上のユーザ端末１００は、有線または無線ネットワーク５００を介して少なくとも１つ以上の複合次元コンテンツ提供サーバ２００に接続されている。前記複合次元コンテンツ提供システム１０００は、前記複合次元コンテンツ提供サーバ２００から複合次元コンテンツファイルをダウンロードしたり、前記ユーザ端末１００に記憶されている複合次元コンテンツファイルを対象に本発明の思想を実施したり、前記複合次元コンテンツ提供サーバ２００から取得する複合次元コンテンツ画像情報を対象に本発明の思想を実施したりする複合次元コンテンツ提供エンジン１１００を含んでいる。

【0048】

前記複合次元コンテンツ提供エンジン１１００は、本発明の複合次元コンテンツを再生する２Ｄ再生部１１１０と、前記複合次元コンテンツに対して２Ｄ画像部分と３Ｄ画像部分の情報を取得する再生区間属性情報取得部１１２０と、前記複合次元コンテンツに含まれている３Ｄ画像部分を前記２Ｄ再生部１１１０が再生するときに生成される歪み画像を取得する歪み画像取得部１１３０と、前記歪み画像をレンダリング処理するレンダリング部１１４０とを含んでいる。一方、前記複合次元コンテンツ提供エンジン１１００は、前記２Ｄ再生部１１１０が再生する画像と前記複合次元コンテンツに含まれている音声情報が同期されて、ユーザ端末の出力装置２０００から出力されるように制御する同期処理部１１５０をさらに含んでもよい。そして、前記複合次元コンテンツ提供エンジン１１００は、前記複合次元コンテンツで２Ｄ画像部分から３Ｄ画像部分に変わったり３Ｄ画像部分から２Ｄ画像部分に変わったりするとき、ユーザのディスプレイ装置２１００に提供される画像の品質を高める次元変換処理部１１６０をさらに含んでもよい。なお、前記複合次元コンテンツ提供エンジン１１００は、３Ｄ画像部分において、ユーザが視聴を希望する視聴画面領域６２０の設定と変更を支援する視聴画面領域選択支援部１１７０をさらに含んでもよい。

【0049】

前記複合次元コンテンツ提供システム１０００が処理する画像情報には、大きく２つの形式がある。第１の形式は、前記複合次元コンテンツ提供サーバ２００が、ストリーミングまたはプログレッシブダウンロード方式などで前記ユーザ端末１００に送信される複合次元コンテンツ画像情報の形式であり、第２の形式は、複合次元コンテンツが記憶されている複合次元コンテンツファイルの形式である。図１は、前記ユーザ端末１００の複合次元コンテンツ画像情報取得部１２００が前記複合次元コンテンツ提供サーバ２００の複合次元コンテンツ画像情報送信部２２０から複合次元コンテンツ画像情報を受信する方式で取得する複合次元コンテンツ画像情報を前記複合次元コンテンツ提供エンジン１１００が処理する方式に関する一実施例を示す図である。図２は、前記ユーザ端末１００の複合次元コンテンツファイル取得部が前記複合次元コンテンツ提供サーバ２００の複合次元コンテンツファイル送信部から複合次元コンテンツファイルを受信して、前記複合次元コンテンツファイルを前記複合次元コンテンツ提供エンジン１１００が処理する方式に関する一実施例を示す図である。もちろん、前記ユーザ端末１００には、図１および図２の機能が全部含まれてもよく、前記複合次元コンテンツ提供サーバ２００も図１および図２の機能を全部含んでもよい。前記ユーザ端末１００は、ある複合次元コンテンツ提供サーバ２００からは、複合次元コンテンツ画像情報を取得して、他の複合次元コンテンツ提供サーバ２００からは、複合次元コンテンツファイルを取得してもよく、ＵＳＢや添付ファイルなどの任意の方法で少なくとも１つ以上の複合次元コンテンツファイルが前記ユーザ端末１００に記憶されるようにしてもよい。一方、同様の複合次元コンテンツ提供サーバ２００が複合次元コンテンツ画像情報をユーザ端末１００に送信してもよく、同時に複数次元コンテンツファイルをユーザ端末１００に送信してもよい。したがって、図示してはいないが、図１および図２の発明の思想が結合されたハイブリッド型が構成されてもよいことは、当業者にとって明らかである。

【0050】

本発明の複合次元コンテンツファイルは、特別な方式で構成されている。図７から図８は、本発明の複合次元コンテンツファイルの構成形態の一実施例の構成を示す。
複合次元コンテンツファイルは、複合次元コンテンツヘッド部と複合次元コンテンツデータ部を含んで構成される。図７には、通常のファイルヘッド部が示され、図８には、本発明の特有な複合次元コンテンツヘッド部が示されている。図８の複合次元コンテンツヘッド部は、通常のファイルヘッド部と、本発明の複合次元コンテンツ再生区間情報が含まれている複合次元コンテンツ再生区間情報ヘッド部をさらに含んでいる。図７と図８から分かるように、本発明の複合次元コンテンツデータは、２Ｄデータ部分と３Ｄデータ部分がそれぞれ１つ以上ずつ含まれていることを特徴とする。前記図７及び図８に例示される複合次元コンテンツは、３つの２Ｄデータ部分と２つの３Ｄデータ部分を含むものが例示されている。前記２Ｄデータ部分の画像情報は、再生対象の観点から２Ｄ画像部分に対応し、前記３Ｄデータ部分の画像情報は、３Ｄ画像部分に対応する。図７及び図８には、複合次元コンテンツデータ部が２Ｄ画像部分から始まり、２Ｄ画像部分で終了すると示されているが、３Ｄ画像部分から始まり、３Ｄ画像部分で終了してもよいことは、当業者にとって明らかである。一方、２Ｄ画像部分と３Ｄ画像部分との間には、前記２Ｄ画像部分と３Ｄ画像部分の境界となる境界部が含まれている。前記境界部は、物理的な実体というより２Ｄ画像部分から３Ｄ画像部分に移るか、または３Ｄ画像部分から２Ｄ画像部分に移る境界であり、概念的対象として把握することが好ましい。

【0051】

本発明の複合次元コンテンツデータは、２Ｄ画像部分と３Ｄ画像部分が交代されることが特徴であるが、前記２Ｄ画像部分と前記３Ｄ画像部分は、再生の観点から時間区間またはフレーム区間と対応することになる。

【0052】

下記表１は、これらの画像部分と時間間隔またはフレーム区間との対応情報を説明している。

【0053】

【表1】

上記表１の対応フレーム番号区間で＿ａ、＿ｂ、＿ｃ、＿ｄ、＿ｅなどはフレームの番号の表示である。

【0054】

図面符号４１０ａに対応する２Ｄ画像部分は再生時間を基準にＴ１からＴ２の間に対応し、画像のフレーム番号区間を基準にＦｒａｍｅ Ｎｕｍｂｅｒ＿ａからＦｒａｍｅ Ｎｕｍｂｅｒ＿ｂに対応する。通常Ｔ１、Ｔ２などの時間は、秒単位または秒単位より細分化された時間単位になるのが一般的である。画像再生において、通常、正常的な画像再生速度で再生時間１秒は２８フレームまたは３２フレームの画面に対応するが、場合によってはこれより多いフレームまたは少ないフレームの画面に対応してもよい。最初の３Ｄ画像部分である図面符号４２０ａに対応するフレーム番号（Ｆｒａｍｅ Ｎｕｍｂｅｒ）の開始は、Ｆｒａｍｅ Ｎｕｍｂｅｒ＿ｂ＋１で表示した。Ｆｒａｍｅ Ｎｕｍｂｅｒ＿ｂ＋１は直前２Ｄ画像部分の最後のフレーム番号Ｆｒａｍｅ Ｎｕｍｂｅｒ＿ｂより１フレーム大きいものである。もちろん、最初の３Ｄ画像部分である図面符号４２０ａに対応するＴ２も直前２Ｄ画像部分の最後の時間Ｔ２よりも最小時間の表示単位よりも１が大きいと表示することが妥当であるが、最初の３Ｄ画像部分に対応する時間区間を通常Ｔ２〜Ｔ３で表示しても、時間区間の変動の表示において当業者が本発明の思想及び趣旨を理解するには充分である。前記Ｔ１や、Ｆｒａｍｅ Ｎｕｍｂｅｒ＿ａなどは２Ｄ画像部分の開始位置情報にしてもよく、Ｔ２や、Ｆｒａｍｅ Ｎｕｍｂｅｒ＿ｂ＋１などは３Ｄ画像部分の開始位置情報にしてもよい。

【0055】

上記表１のような複合次元コンテンツ再生区間情報（ある時間区間またはあるフレーム番号区間で２Ｄ画像部分や３Ｄ画像部分が対応するという情報）は、図８のように、本発明の複合次元コンテンツ再生区間情報ヘッド部に含まれてもよい。この場合、前記再生手段は、これらの複合次元コンテンツ再生区間情報を利用して、現在再生中の画像が２Ｄ画像であるか３Ｄ画像であるかを区別できるようになる。

【0056】

前記複合次元コンテンツ再生区間情報が複合次元コンテンツ再生区間情報ヘッド部に存在することとは別に、前記複合次元コンテンツ再生区間情報は、前記複合次元コンテンツ再生区間情報ヘッド部の外部に存在してもよい。図１に示すように、前記再生区間属性情報取得部１１２０が、前記複合次元コンテンツ提供サーバ２００の複合次元コンテンツ画像情報送信部２２０を介して複合次元コンテンツ画像情報を受信する際に、前記複合次元コンテンツ提供サーバ２００から前記複合次元コンテンツに対する複合次元コンテンツ再生区間情報を別途にまたは前記複合次元コンテンツ画像情報の送信時に受信してもよい。受信した複合次元コンテンツ再生区間情報を撮影し、前記複合次元コンテンツ提供エンジン１１００の歪み画像取得部１１３０は、２Ｄ再生手段を通じて３Ｄ画像部分が再生されるときに生成される歪み画像を取得して、前記レンダリング部１１４０がレンダリング処理を行うように支援する。一方、図２に例示されるように、前記複合次元コンテンツファイルが取得されるとき、前記複合次元コンテンツファイルとは別途に前記複合次元コンテンツ再生区間情報も取得してもよい。通常、画像ファイルがある場合、画像ファイルの字幕情報がｓｍｉファイル形式で提供されるように、前記複合次元コンテンツ再生区間情報もこれらの独立したファイル形式で提供されてもよく、前記再生区間属性情報取得部１１２０は、これらの複合次元コンテンツの再生区間情報が含まれている再生区間属性情報ファイルを取得して、本発明の思想を実施することに用いられる。複合次元コンテンツ再生区間情報は、図２に示すように、個別の複合次元コンテンツが記憶されている複合次元コンテンツファイル部１３００に記憶されてもよい。

【0057】

前記複合次元コンテンツの再生区間情報が含まれているファイルには、表１のような情報（対応フレーム番号区間情報が含まれることがより妥当である。）が含まれている。これらのファイルの内容の情報は、次のようになる。

【0058】

＜ＳｔａｒｔＦｒａｍｅ Ｎｕｍｂｅｒ＿ａ＞
２Ｄ
＜ＥｎｄＦｒａｍｅ Ｎｕｍｂｅｒ＿ｂ＞
＜ＳｔａｒｔＦｒａｍｅ Ｎｕｍｂｅｒ＿ｂ＋１＞
３Ｄ
＜ＥｎｄＦｒａｍｅ Ｎｕｍｂｅｒ＿ｃ＞
＜ＳｔａｒｔＦｒａｍｅ Ｎｕｍｂｅｒ＿ｃ＋１＞
２Ｄ
＜ＥｎｄＦｒａｍｅ Ｎｕｍｂｅｒ＿ｄ＞
＜ＳｔａｒｔＦｒａｍｅ Ｎｕｍｂｅｒ＿ｄ＋１＞
３Ｄ
＜ＥｎｄＦｒａｍｅ Ｎｕｍｂｅｒ＿ｅ＞
＜ＳｔａｒｔＦｒａｍｅ Ｎｕｍｂｅｒ＿ｅ＋１＞
２Ｄ
＜ＥｎｄＦｒａｍｅ Ｎｕｍｂｅｒ＿ｆ＞
ＳｔａｒｔＦｒａｍｅ Ｎｕｍｂｅｒは開始するＦｒａｍｅ Ｎｕｍｂｅｒであり、ＥｎｄＦｒａｍｅ Ｎｕｍｂｅｒは終了するＦｒａｍｅ Ｎｕｍｂｅｒである。

【0059】

区間を検出するためには、画像に２Ｄ画像部分と３Ｄ画像部分それぞれが時間（秒または秒以下）単位またはフレーム単位でどこからどこまでどのように再生されるかを設定する必要がある。これらの情報は、複合次元コンテンツと関連する複合次元コンテンツの再生区間情報に記憶され、記憶形式は、ｘｍｌファイル形式であってもよい。一方、再生手段内で例示的にＧＴｗｅｅｎＴｉｍｅｌｉｎｅというオブジェクトが画像の再生から終了の間にタイムラインを設定して、実際の画像がストリーミングされて再生される場合、複合次元コンテンツ提供サーバ２００から画像のメタ情報をリアルタイムに所定の秒単位または秒以下の単位で取得して、現在行われている時間を判断して、複合次元コンテンツ再生区間情報が含まれたｘｍｌファイルに設定された２Ｄ画像部分と３Ｄ画像部分の再生区間／再生時間区間と一致する時間／フレーム番号になるか否かを判断してもよい。

【0060】

次に、添付図面を参照して、本発明の思想をさらに詳細に説明する。図３は、本発明の複合次元コンテンツ提供システム１０００の一実施例の情報処理方法を示している。前記複合次元コンテンツ提供システム１０００は、２Ｄ画像部分を２Ｄ再生手段で再生して（ステップＳ１１）、３Ｄ画像部分の開始を認知して（ステップＳ１２）、３Ｄ画像部分を２Ｄ再生手段で再生して（ステップＳ１３）、再生されるビットマップ画像をフレーム単位で取得して（ステップＳ１４）、取得されるビットマップ画像を３Ｄエンジンでレンダリングして（ステップＳ１５）、レンダリングされた画像をフレームごとに出力して（ステップＳ１６）、出力されたレンダリング画像を音声と同期させて提供する（ステップＳ１７）。

【0061】

本発明の複合次元コンテンツ提供システム１０００は、２Ｄ画像部分も３Ｄ画像部分も１つの２Ｄ再生手段で再生することを特徴とする。３Ｄ画像部分を２Ｄ再生手段で再生すると、歪んだ画像が生成されることになる。

【0062】

前記再生区間属性情報取得部１１２０は、特定の時点で再生されている画像部分が３Ｄ画像部分であるという事実を取得している場合、前記複合次元コンテンツ提供エンジン１１００は、再生される３Ｄ画像部分をすぐにユーザ端末の出力装置２０００に送信しない。前記歪み画像取得部１１３０は、２Ｄ再生部１１１０を通じて再生される３Ｄ画像部分の再生結果である歪みビットマップ画像を取得する。

【0063】

前記レンダリング部１１４０の前記レンダリング処理部１１４２は、レンダリング対象画像取得部１１４１が取得したレンダリング対象画像の取得された歪みビットマップ画像を対象にレンダリング処理を行う。歪みビットマップ画像の取得は、フレーム単位で行われ、レンダリングもフレーム単位のビットマップ画像を対象に行われる。

【0064】

レンダリング処理は、球形状とキューブ形状の２種類があってもよい。まず、ｓｐｈｅｒｅ ｔｙｐｅ（円／球形状）で画面をレンダリングする方法がある。この方法は、球にレンダリングするのでより繊細な画面が見られる。しかし、球形状のため直線が多いコンテンツを表現する際、線がくしゃくしゃになる場合もある。次に、ｃｕｂｅ ｔｙｐｅであり、正六角形で６面にｔｅｘｔｕｒｅのビットマップデータをレンダリングする方法がある。この方法によれば、水平と垂直が多い動画の場合、線がｓｐｈｅｒｅ ｔｙｐｅより一直線に表現してもよい。しかし、一回の撮影で結果が得られる撮影方式では作業が不可能であり、各面を別々に撮影してレンダリングしる方式である。

【0065】

例えば、Ｐａｐｅｒｖｉｓｉｏｎ３ｄというプログラムを使用すれば、ビットマップデータでキャプチャしたデータをＳｐｈｅｒｅオブジェクトがＳｐｈｅｒｅ形状にレンダリングされるように、キャプチャしたフレーム単位のビットマップデータを変換してもよい。このとき、変換されたデータが３０フレーム未満になると、実際Ｐａｐｅｒｖｉｓｉｏｎ３ｄでのレンダリングエンジンであるＱｕａｄｒａｎｔ Ｒｅｎｄｅｒ Ｅｎｇｉｎｅオブジェクトがフレームごとに画面をｓｐｈｅｒｅ形状に３Ｄレンダリングを開始する。レンダリングされた画像は、レンダリング画像提供部１１４３を介してレンダリング部１１４０の外部に提供される。

【0066】

本発明の同期処理部１１５０は、前記２Ｄ再生手段が再生する音声情報とレンダリング処理された画像を同期させて音声情報と画像情報が同時に提供されるように制御する。歪み画像の発生やレンダリング処理とは別に、バックグラウンドでは前記２Ｄ再生手段によって２Ｄ画像部分や３Ｄ画像部分の再生が持続的に行われている。このとき、２Ｄ再生手段によって再生される歪み画像は、レンダリング処理が伴うので、通常の２Ｄ再生手段による２Ｄ画像部分の再生画像の提供よりは時間がかかることになる。したがって、２Ｄ再生手段が３Ｄ画像部分の再生時の音声や音などと前記レンダリング処理された画像とを提供するには、同期化が必要である。レンダリング処理された画像と２Ｄ再生手段によって３Ｄ画像部分が再生されながら生成される音（音声など）の情報の具体的な同期化方法は、当業者にとって明らかなので詳細な説明は省略する。

【0067】

次に、図４を参照して、本発明の次元変換処理部１１６０について説明する。
２Ｄ画像部分と３Ｄ画像部分は表示されるときに、ユーザの表示画面において、変換中に複数の原因（特に再生するコンピュータの仕様）などにより途中で画面が割れるなどの現象が起こり、ユーザに不快感を与えることがある。よって、２Ｄ画像から３Ｄ画像への画面変換時などにおいて、ユーザに不快感を与えない変換やスイッチングが必要となる。

【0068】

前記次元変換処理部は、前記２Ｄ画像部分と前記３Ｄ画像部の境界情報を取得して（ステップＳ２１）、取得した境界情報に基づいて、前記２Ｄ画像部分と前記３Ｄ画像部分の境界部における所定の境界範囲で次元変換処理を行う（ステップＳ２２）。前記次元変換処理部１１６０は、前記２Ｄ画像部分と前記３Ｄ画像部の境界情報を取得して、取得された境界情報に基づいて、前記２Ｄ画像部分と前記３Ｄ画像部分の境界部から所定の境界の範囲内で次元変換処理を行う。前記次元変換処理部１１６０の境界情報取得部１１６１は、境界部の情報を取得して境界部の近くで次元変換処理を行う。

【0069】

２Ｄ画像部分と３Ｄ画像部分の再生の際に、境界部分で実際起こるのはｓｐｈｅｒｅオブジェクトとｐｌａｎｅオブジェクトとの間の変換である。このとき、変換される間にフェードイン・アウト（ｆａｄｅ ｉｎ／ｏｕｔ）を処理するロジックを入れると、自然な画面変換ができるようになる。このように、次元変換処理部は、２Ｄ画像部分から３Ｄ画像部分に変更される瞬間（境界部）または３Ｄ画像部分から２Ｄ画像部分に変更される瞬間〔境界部〕において、フェードイン・アウト効果を出すオブジェクトを境界部の近くまたは境界部の前後の所定の時間またはフレーム数だけ追加したり交換したりすることにより、変更時に画面の割れる部分が見られないようにしてもよい。

【0070】

次に、図５から図６を参照して、本発明の視聴画面領域選択支援部１１７０について説明する。
前記複合次元コンテンツ提供エンジン１１００は、前記レンダリング処理された画像の所定の少なくとも一領域がユーザに見られる視聴画面領域６２０に提供されるようにしてもよい。このような視聴画面領域６２０の設定は、前記ユーザが設定するものであり、前記視聴画面領域６２０の設定は、前記ユーザが前記複合次元コンテンツの再生中に変更できるものが好ましい。もちろん、このような視聴画面領域６２０の設定に関する情報は、前記複合次元コンテンツのヘッダ情報に記憶されたり、前記複合次元コンテンツを提供する複合次元コンテンツ提供サーバ２００から受信したり、前記複合次元コンテンツ提供システム１０００で設定されたり、所定の視聴画面領域の設定規則に基づいて変更されたりしてもよい。

【0071】

図５は、ユーザではなく、外部によって視聴画面領域６２０が設定される方式に関する例示的な構成である。前記視聴画面領域選択支援部１１７０は、ユーザに表示される視聴画面領域６２０の設定のための情報を取得して（ステップＳ３１）、取得した視聴画面領域６２０の設定情報を利用して視聴画面領域６２０に対応する３Ｄ画像部分情報を取得する（ステップＳ３２）。

【0072】

図６には、前記視聴画面領域選択支援部１１７０の情報処理方法に関する一実施例の構成が示されている。前記視聴画面領域選択支援部１１７０は、ユーザからユーザが視聴を希望する３Ｄ画像部分に対する選択情報を取得して（ステップＳ４１）、選択情報を取得した３Ｄ画像部分を取得する（ステップＳ４２）。

【0073】

３Ｄ画像部分の再生の途中で視聴画面領域６２０の設定により、ユーザは自分が望む方向の３Ｄ画像を視聴することができる。前記視聴画面領域６２０の設定は、前記ユーザが視聴画面領域６２０を設定するための視聴領域の方向を指定または変更するものであり、前記視聴領域の方向の指定や変更は、キーボード入力、キーパッド入力、タッチ入力、音声入力、動作入力のいずれか１つ以上の入力を介して行われることが好ましい。これらの入力を介して前記視聴画面領域６２０の設定に変更がある場合、前記複合次元コンテンツ提供システム１０００は、変更された視聴画面領域の設定情報を用いて、前記レンダリング処理された画像において、ユーザに表示される視聴画面領域６２０を変更することが好ましい。例えば、前記図１０で視聴画面領域６２０を左方向に指定すると（ユーザ端末１００に表示される選択３Ｄ画像６３０の画面において指などで右から左に画面をスクロールするなどの行為をすると）、子犬を抱いた大人と子供が出てくる現在画面（６３０に出てくる画像）において、前記３Ｄ画像６１０で現在の視聴画面領域６２０の左側にある画像（例えば、大人がベビーカーを押していく方向にある画像）が表示されて制御されてもよい。

【0074】

本発明の思想を利用すれば、特に、３Ｄ画像部分が多数個のカメラレンズから取得される画像が１つの画面に結合されて表示されるように構成されている場合、ユーザが視聴画面領域６２０の変更のために方向を移動する場合には、移動した方向に対応する画像が提供されてもよい。つまり、１つのカメラに上下・左右・前後のいずれか２つ以上の方向に対応する画像を取得する多数個のレンズがあり、これらのレンズから取得されたそれぞれの画像が結合され、１つの３Ｄ画像になってもよい。そして、画像の結合の際に特定のレンズを介して取得される画像は、３Ｄ画像の特定の位置または領域に配置されるように制御または編集されてもよい。このような場合、現在ユーザが見ている画面で左ボタンを押したり、左側にタッチがあったりする場合には現在見ている画像の左側にある画像を新しい視聴画面領域にしてユーザに提供されてもよい。これは、まっすぐに見ている人が左側に頭を回して左側方向を眺める際、左側方向にある光景が人の目に入るのと似ている。このとき、前記視聴領域の方向が変更される場合には、前記複合次元コンテンツ提供システム１０００は、前記レンダリング処理された画像から変更された視聴領域の方向を反映して、ユーザに表示される視聴画面領域を連続的に変更することが好ましい。

【0075】

本発明の３Ｄ画像の一例は、パノラマ画像であってもよい。前記パノラマ画像は、１つのカメラに上下・左右・前後のいずれか２つ以上の方向に対応する画像を取得する多数個のレンズがあり、これらのレンズから取得されたそれぞれの画像が結合されるか、または複数台のカメラを用いて、各カメラから取得された画像を結合して１つのパノラマ画像にしてもよい。この場合、前記３Ｄ画像部分はパノラマ画像部分になってもよい。

【0076】

図１０には、上記のような視聴画面領域６２０の選択に関する本発明の思想の概念図が示されている。図１０に示すように、ユーザが視聴する３Ｄ画像部分は実際再生されている３Ｄ画像部分の一部となる。図１０は、実際再生されている３Ｄ画像部分である３Ｄ画像６１０の中からボックスの領域に該当する視聴画面領域６２０内の画像がユーザに提供される選択３Ｄ画像６３０を提供する本発明の思想の概念を示している。このとき、ユーザが見ている画面の視聴方向を変更したい場合、変更方向を設定すると、変更された方向側にある所定のサイズ（例えば、横ｎ×縦ｍサイズ）に対応する他の画像がユーザに提供される。

【0077】

このとき、前記レンダリング部１１４０のレンダリングの対象となるのは、前記３Ｄ画像部分の全体に対する再生結果になってもよいが、前記ユーザに提供される視聴画面領域６２０に対するものだけがレンダリングされてもよい。前者の場合、前記視聴画面領域選択支援部１１７０における視聴画面領域６２０の選択結果は、レンダリングされた画像で作用する（選択された視聴画面領域を表示する）が、後者の場合、レンダリングされる対象画像の歪み画像に作用してもよい。

【0078】

次に、図９と図１１を参照して、本発明の余白処理部１１８０について説明する。図９は、本発明の３Ｄ画像と２Ｄ画像の一実施の比較例を示している。図９及び図１１に示すように、２Ｄにおいては２Ｄ画像６６０の外郭に黒色の枠部６５０があることが確認できる。前記複合次元コンテンツ提供システム１０００の余白処理部１１８０は、２Ｄ画像部分の再生する際に、前記２Ｄ画像部分の余白を削除し、実際の画像のみをユーザに提供してもよい。２Ｄ画像や３Ｄ画像は、その制作方法は異なるが、両方の画像はすべて２４００×１２００ｐｉｘｅｌの一般的な２Ｄ画像の形で単一のファイルとして構成される場合がある。（図９に例示されるように、３Ｄ画像６１０と２Ｄ画像６６０の枠部６５０を含む外郭を基準にすると、同じピクセル数を有していることが分かる。）このとき、単一のファイルは、同じ解像度で製作されるために２Ｄ画像のＦｕｌｌＨＤ解像度にも上下６０ｐｉｘｅｌ、左右２４０ｐｉｘｅｌずつ余白を残して製作される場合が発生する。２Ｄ画像部分の画像には、２４００×１２００のサイズに中心部が再生される１９２０×１０８０だけを除いて額縁型黒枠部６５０が存在するからである。この黒枠は、複合次元コンテンツ画像において、２Ｄ画像部分には常に存在するので、前記複合次元コンテンツ提供システム１０００は、この部分の黒色を検知して自動的に動画のヘッダにメタデータとして記録するか、または表１のようなタイムテーブルの値を記録するように情報を処理してもよい。その結果、前記複合次元コンテンツの再生では、このタイムテーブルの値を読み込み、これを基準に画像変換が容易に行われるようにしてもよい。

【0079】

次のように、本発明の余白処理部１１８０の情報処理を例に挙げて説明する。２Ｄ画像部分の再生の際に、Ｐａｐｅｒｖｉｓｉｏｎ３ｄライブラリの中でＣａｍｅｒａ０ｂｊｅｃｔ３Ｄというクラス（このクラスは、３Ｄオブジェクトを再生するときにｚｏｏｍ、ｆｏｃｕｓなどを指定する部分）を介して画像の実際のサイズを調節してもよい。このとき、２Ｄ画像部分の再生区間では、２Ｄ画像部分の再生が開始される際、ｃａｍｅｒａ．ｚ（ズームを設定する関数）＝−２００などに設定すれば、画像がズームイン（Ｚｏｏｍ ｉｎ）されて、前記余白（黒枠）がユーザに表示されないように制御してもよい。図１１は、本発明の余白処理部１１８０の情報処理対象（６６０および６５０）と余白の処理が行われた後の結果画像６７０を対比して示している。

【0080】

前記複合次元コンテンツ提供サーバ２００において、前記複合次元コンテンツ提供システム１０００が含まれているユーザ端末１００への画像情報の伝達方式は、様々な方式が用いられる。伝達される通信プロトコルは、ＨＴＴＰまたはＲＴＭＰのいずれかのプロトコルを使用するのが好ましい。そして、前記複合次元コンテンツがユーザ端末１００に提供される方法は、前記複合次元コンテンツ提供サーバ２００から前記ユーザ端末１００にプログレッシブダウンロード（ｐｒｏｇｒｅｓｓｉｖｅ ｄｏｗｎｌｏａｄ）方式またはライブストリーミング（ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）方式で前記複合次元コンテンツ画像情報が送信されることが好ましい。

【0081】

ｈｔｔｐプロトコルを使用するプログレッシブダウンロード（ｐｒｏｇｒｅｓｓｉｖｅ ｄｏｗｎｌｏａｄ）方式は、インターネットウェブブラウザで使用される基本的なプロトコルにポート８０を使用して、サービス画像をダウンロードし、ある程度のバッファリングを置いて画像を再生する方法である。

【0082】

ｒｔｍｐプロトコルは、ｌｉｖｅ ｓｔｒｅａｍｉｎｇ画像の送信時に使用されるプロトコルに１９３５ポートを使用して、リアルタイムに送信するヘッダメタ値によって、ユーザが指定した時点で設定されたｐｏｓｔバッファリングを置いて再生する方法である。基本的にリアルタイムに画像のヘッダ値を受けることができるｒｔｍｐ（ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）方式がさらに好ましい。

【0083】

表２は、プログレッシブダウンロード方式とライブストリーミング方式の特性を比較したものである。

【0084】

【表2】

【産業上の利用可能性】

【0085】

本発明は、スポーツ、音楽、映画、ドキュメンタリー、教育、広告などの様々なコンテンツ関連事業や画像関連産業に広く活用できる。

【符号の説明】

【0086】

１００：ユーザ端末
２００：複合次元コンテンツ提供サーバ
２１０：複合次元コンテンツファイル管理部
２２０：複合次元コンテンツ画像情報送信部
２２１：複合次元コンテンツのストリーミング提供部
２２２：複合次元コンテンツプログレッシブダウンロード提供部
３１０：複合次元コンテンツヘッダ部
３１０ａ：通常のファイルヘッド部
３１０ｂ：複合次元コンテンツ再生区間情報ヘッド部
３２０：複合次元コンテンツデータ部
４１０：２Ｄ画像部分
４１０ａ、４１０ｂ、４１０ｃ：個別の２Ｄ画像部分
４２０：３Ｄ画像部分
４２０ａ、４２０ｂ、４２０ｃ：個別の３Ｄ画像部分
４３０：境界部
４３０ａ、４３０ｂ、４３０ｃ、４３０ｄ：個別の境界部
６１０：３Ｄ画像
６２０：視聴画面領域
６３０：選択３Ｄ画像
６５０：枠部
６６０：２Ｄ画像
６７０：余白処理が行われた後の結果画像
１０００：複合次元コンテンツ提供システム
１１００：複合次元コンテンツ提供エンジン
１１１０：２Ｄ再生部
１１２０：再生区間属性情報取得部
１１３０：歪み画像取得部
１１４０：レンダリング部
１１４２：レンダリング画像取得部
１１４１：レンダリング処理部
１１４３：レンダリング画像提供部
１１５０：同期処理部
１１６０：次元変換処理部
１１６１：境界情報取得部
１１７０：視聴画面領域選択支援部
１１７１：視聴画面領域の選択取得部
１１８０：余白処理部
１２００：複合次元コンテンツ画像情報取得部
１３００：複合次元コンテンツファイル部
１３１０：複合次元コンテンツファイル
１３２０：複合次元コンテンツ再生区間情報
２０００：ユーザ端末出力装置
２１００：ディスプレイ装置
２２００：サウンド出力装置

【図7】

【図8】

【図9】

【図10】

【図11】

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】