特許 6960992 映像表示装置及び映像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6960992

(24)【登録日】2021年10月14日

(45)【発行日】2021年11月5日

(54)【発明の名称】映像表示装置及び映像表示方法

(51)【国際特許分類】

   G09G 5/36 20060101AFI20211025BHJP

   H04N 21/431 20110101ALI20211025BHJP

   H04N 21/4728 20110101ALI20211025BHJP

   G09G 5/00 20060101ALI20211025BHJP

   G09G 5/38 20060101ALI20211025BHJP

   G06T 19/00 20110101ALI20211025BHJP

【ＦＩ】

   G09G5/36 520P

   H04N21/431

   H04N21/4728

   G09G5/00 550C

   G09G5/38 A

   G09G5/00 510H

   G09G5/36 520E

   G09G5/36 510M

   G09G5/00 555A

   G06T19/00 A

【請求項の数】15

【全頁数】25

(21)【出願番号】特願2019-515488(P2019-515488)

(86)(22)【出願日】2017年10月26日

(65)【公表番号】特表2019-537042(P2019-537042A)

(43)【公表日】2019年12月19日

(86)【国際出願番号】KR2017011870

(87)【国際公開番号】WO2018080176

(87)【国際公開日】20180503

【審査請求日】2019年3月19日

(31)【優先権主張番号】10-2016-0141176

(32)【優先日】2016年10月27日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ペク，ジョン−ミン

(72)【発明者】

【氏名】キム，ヨン−ヒョン

(72)【発明者】

【氏名】キム，セ−ヒョン

(72)【発明者】

【氏名】ヤン，クァン−シク

(72)【発明者】

【氏名】ユウ，ジェ−ヨン

(72)【発明者】

【氏名】チェー，キル−ス

【審査官】 橋本 直明

(56)【参考文献】

【文献】 特開２００８−２４３０２７（ＪＰ，Ａ）

【文献】 特開平０７−２１０７０５（ＪＰ，Ａ）

【文献】 特開平１１−２１３１３６（ＪＰ，Ａ）

【文献】 特開２０１５−１７３４２４（ＪＰ，Ａ）

【文献】 特開２０１６−１６５１０５（ＪＰ，Ａ）

【文献】 国際公開第２０１６／０１３６３４（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／１３２２３７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／３６

Ｈ０４Ｎ ２１／４３１

Ｈ０４Ｎ ２１／４７２８

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

映像表示装置であって、
ディスプレイ部と、
グラフィック処理部と、
プロセッサと、を含み、
前記プロセッサは、
複数のビデオフレームのうち第１ビデオフレームである第１平面状映像を受け取り、
現在ビューポイントに係わる情報に基づいて、前記第１平面状映像のコピー領域として第１領域を決定し、
前記グラフィック処理部を制御して、
前記第１平面状映像の一部分の映像であり、前記コピー領域に対応する映像を球にマッピングすることによって、球状映像を生成し、前記映像は、現在ビューポイントに係わる情報に基づいて決定され、
前記一部分の映像である、前記球状映像をレンダリングすることによって、出力映像を生成し、
前記ディスプレイ部を制御して、前記出力映像を表示する、
ように構成されており、
前記プロセッサは、さらに、
前記複数のビデオフレームのうち前記第１ビデオフレームの後に続く第２ビデオフレームである第２平面状映像を受け取り、
前記現在ビューポイントが変更されていないことに応答して、前記第２平面状映像について、前記第１領域をコピー領域として再利用し、かつ、
前記現在ビューポイントが変更されていることに応答して、変更されたビューポイントに係わる情報に基づいて、前記第２平面状映像のコピー領域として第２領域を決定する、
ように構成されており、
前記第２領域は、前記第１領域とは異なる、
映像表示装置。

【請求項2】

前記プロセッサは、
ビューポイントを変更する入力に応答し、前記現在ビューポイントに係わる情報を変更し、
前記変更された現在ビューポイントに係わる情報に基づいて、前記コピー領域を変更することを特徴とする請求項１に記載の映像表示装置。

【請求項3】

前記現在ビューポイントに係わる情報は、
水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つを含むことを特徴とする請求項１に記載の映像表示装置。

【請求項4】

前記プロセッサは、
前記出力映像に対応する領域より、前記コピー領域を大きく設定することを特徴とする請求項１に記載の映像表示装置。

【請求項5】

前記プロセッサは、
前記第１平面状映像が前記第１ビデオフレームに対応する映像であるとき、既設定のビューポイントに係わる情報に基づいて、前記第１領域を決定することを特徴とする請求項１に記載の映像表示装置。

【請求項6】

前記既設定のビューポイントに係わる情報は、
ユーザ入力、及び前記映像表示装置の内部設定のうち少なくとも一つによっても異なることを特徴とする請求項５に記載の映像表示装置。

【請求項7】

前記プロセッサは、前記コピー領域に対応する映像を、グラフィック処理部に提供し、
前記コピー領域に対応する映像を、前記球にマッピングし、前記球状映像を生成するように、前記グラフィック処理部を制御することを特徴とする請求項１に記載の映像表示装置。

【請求項8】

前記映像表示装置は、
外部ソースから受信された映像をデコーディングし、前記平面状映像を生成するデコーダをさらに含むことを特徴とする請求項１に記載の映像表示装置。

【請求項9】

前記プロセッサは、
前記現在ビューポイントに係わる情報により、前記コピー領域の形態及び大きさのうち少なくとも一つを決定することを特徴とする請求項１に記載の映像表示装置。

【請求項10】

前記平面状映像は、外部装置から受信された３６０°映像をデコーディングして生成された、平面状の３６０°映像を含み、
前記球状映像は、前記平面状の３６０°映像を球にマッピングして生成された、球状の３６０°映像を含む、ことを特徴とする請求項１に記載の映像表示装置。

【請求項11】

映像表示方法において、
複数のビデオフレームのうち第１ビデオフレームである第１平面状映像を受け取る段階と、
現在ビューポイントに係わる情報に基づいて、前記第１平面状映像のためのコピー領域として第１領域を決定する段階と、
前記第１平面状映像の一部分の映像であり、コピー領域に対応する映像を球にマッピングすることによって、球状映像を生成する段階であり、前記映像は、現在ビューポイントに係わる情報に基づいて決定される、段階と、
前記一部分の映像である、前記球状映像をレンダリングすることによって、出力映像を生成する段階と、
前記出力映像を表示する段階と、
前記複数のビデオフレームのうち前記第１ビデオフレームの後に続く第２ビデオフレームである第２平面状映像を受け取る段階と、
前記現在ビューポイントが変更されていないことに応答して、前記第２平面状映像について、前記第１領域をコピー領域として再利用段階と、
前記現在ビューポイントが変更されていることに応答して、変更されたビューポイントに係わる情報に基づいて、前記第２平面状映像のためのコピー領域として第２領域を決定する段階と、
を含み、
前記第２領域は、前記第１領域とは異なる、
映像表示方法。

【請求項12】

前記映像表示方法は、
ビューポイントを変更する入力に応答し、前記現在ビューポイントに係わる情報を変更する段階と、
前記変更された現在ビューポイントに係わる情報に基づいて、前記コピー領域を変更する段階と、をさらに含むことを特徴とする請求項１１に記載の映像表示方法。

【請求項13】

前記現在ビューポイントに係わる情報は、
水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つを含むことを特徴とする請求項１１に記載の映像表示方法。

【請求項14】

前記映像表示方法は、
前記平面状映像は、外部装置から受信された３６０°映像をデコーディングして生成された、平面状の３６０°映像を含み、
前記球状映像は、前記平面状の３６０°映像を球にマッピングして生成された、球状の３６０°映像を含む、ことを特徴とする請求項１１に記載の映像表示方法。

【請求項15】

請求項１１に記載の映像表示方法を具現するためのプログラムが記録されたコンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像表示装置及び映像表示方法に係り、さらに詳細には、３６０°映像を表示する映像表示装置、及びその映像表示方法に関する。

【背景技術】

【0002】

映像表示装置は、ユーザが視聴することができる映像を表示する機能を備えた装置である。ユーザは、映像表示装置を介して放送を視聴することができる。該映像表示装置は、放送局から送出される放送信号において、ユーザが選択した放送を表示する。現在、放送は、全世界的にアナログ放送からデジタル放送に転換されている。

【0003】

該デジタル放送は、デジタルの映像及び音声信号を送出する放送を意味する。該デジタル放送は、アナログ放送に比べ、外部ノイズに強く、データ損失が少なく、エラー訂正に有利であり、解像度が高く、鮮明な画面を提供する。また、該デジタル放送は、アナログ放送と異なり、双方向サービスが可能である。

【0004】

最近では、デジタル放送機能に加え、多様なコンテンツを提供するスマートテレビが提供されており、３６０°映像を表示することができる映像表示装置が提供されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

ユーザは、ビューポイントを移動させ、多様な角度において、３６０°映像を視聴することができる。それにより、ユーザが多様な角度の３６０°映像を、迅速であって便利に視聴することができる方法が要求されている。

【課題を解決するための手段】

【0006】

一実施形態によれば、映像表示装置と映像表示方法とが提供される。該映像表示装置は、ディスプレイ部、グラフィック処理部（ＧＰＵ：ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、及び現在ビューポイントに係わる情報に基づいて、平面状映像からコピー領域を決定し、該コピー領域に対応する映像を球にマッピングして球状映像を生成し、該球状映像をレンダリングして出力映像を生成するようにグラフィック処理部を制御し、出力映像を表示するようにディスプレイ部を制御するプロセッサを含んでもよい。

【発明の効果】

【0007】

一部実施形態において、現在ビューポイントに係わる情報に基づいて決定される平面状３６０°映像の一部と対応している映像は、ＧＰＵに送出される。従って、平面状３６０°映像をＧＰＵに送出するためにかかる時間が短縮される。

【0008】

さらに、一部実施形態において、平面状３６０°映像の部分と対応して送出される映像に基づいて、球状３６０°映像と出力映像とが生成される。それにより、全ての平面状３６０°映像がＧＰＵに送出される場合と比較し、球状３６０°映像と出力映像とを送出するのにかかる時間が短縮される。

【図面の簡単な説明】

【0009】

【図1】開示された一実施形態による３６０°映像を表示する映像表示装置を示す図面である。

【図2A】開示された一実施形態による、ビューポイントに係わる情報について説明するための図面である。

【図2B】開示された一実施形態による、ビューポイントに係わる情報について説明するための図面である。

【図2C】開示された一実施形態による、ビューポイントに係わる情報について説明するための図面である。

【図3】開示された一実施形態による映像表示装置の構成を示すブロック図である。

【図4】開示された他の実施形態による映像表示装置の構成を示すブロック図である。

【図5A】開示された一実施形態によるコピー領域を決定する方法について説明するための図面である。

【図5B】開示された一実施形態によるコピー領域を決定する方法について説明するための図面である。

【図5C】開示された一実施形態によるコピー領域を決定する方法について説明するための図面である。

【図6】開示された一実施形態による球状の３６０°映像を生成する方法について説明するための図面である。

【図7】開示された一実施形態による球状の３６０°映像をレンダリングして出力映像を生成する方法について説明するための図面である。

【図8A】開示された一実施形態によるビューポイントを変更する場合について説明するための図面である。

【図8B】開示された一実施形態によるビューポイントを変更する場合について説明するための図面である。

【図8C】開示された一実施形態によるビューポイントを変更する場合について説明するための図面である。

【図9】開示された一実施形態による映像表示方法を示すフローチャートである。

【図10】開示された他の実施形態による映像表示方法を示すフローチャートである。

【発明を実施するための形態】

【0010】

さらなる様態は、一部は、以下の説明に部分的に記載され、また一部は、その説明から明らかになるか、あるいは提示された実施形態によっても習得される。

【0011】

開示された一実施形態による映像表示装置は、ディスプレイ部、グラフィック処理部、及び現在ビューポイントに係わる情報に基づいて、平面状映像からコピー領域を決定し、コピー領域に対応する映像を球にマッピングして球状映像を生成し、球状映像をレンダリングして出力映像を生成するようにグラフィック処理部を制御し、出力映像を表示するようにディスプレイ部を制御するプロセッサを含んでもよい。

【0012】

開示された一実施形態によるプロセッサは、ビューポイントを変更する入力に応答し、現在ビューポイントに係わる情報を変更し、変更された現在ビューポイントに係わる情報に基づいて、コピー領域を変更することができる。

【0013】

開示された一実施形態による現在ビューポイントに係わる情報は、水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つを含んでもよい。

【0014】

開示された一実施形態によるプロセッサは、出力映像に対応する領域よりコピー領域を大きく設定することができる。

【0015】

開示された一実施形態によるプロセッサは、平面状映像が動画の最初フレームに対応する映像であるとき、既設定のビューポイントに係わる情報に基づいて、コピー領域を決定することができる。

【0016】

開示された一実施形態による既設定のビューポイントに係わる情報は、ユーザ入力、または映像表示装置の内部設定によっても異なる。

【0017】

開示された一実施形態によるプロセッサは、コピー領域に対応する映像をグラフィック処理部に伝送し、伝送されたコピー領域に対応する映像を球にマッピングし、球状映像を生成するように、グラフィック処理部を制御することができる。

【0018】

開示された一実施形態による映像表示装置は、外部装置から受信された３６０°映像をデコーディングし、平面状映像を生成するデコーダ（ｄｅｃｏｄｅｒ）をさらに含んでもよい。

【0019】

開示された一実施形態によるプロセッサは、現在ビューポイントに係わる情報により、コピー領域の形態及び大きさのうち少なくとも一つを異なるように決定することができる。

【0020】

開示された一実施形態による映像表示方法は、現在ビューポイントに係わる情報に基づいて、平面状映像からコピー領域を決定する段階、コピー領域に対応する映像を球にマッピングし、球状映像を生成する段階、球状映像をレンダリングして出力映像を生成する段階、及び出力映像を表示する段階を含んでもよい。

【0021】

開示された一実施形態による映像表示方法は、ビューポイントを変更する入力に応答し、現在ビューポイントに係わる情報を変更する段階、及び変更された現在ビューポイントに係わる情報に基づいて、コピー領域を変更する段階をさらに含んでもよい。

【0022】

開示された一実施形態による現在ビューポイントに係わる情報は、水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つを含んでもよい。

【0023】

開示された一実施形態による映像表示方法は、出力映像に対応する領域よりコピー領域を大きく設定する段階をさらに含んでもよい。

【0024】

開示された一実施形態による映像表示方法は、平面状映像が動画の最初フレームに対応する映像であるとき、既設定のビューポイントに係わる情報に基づいて、コピー領域を決定する段階をさらに含んでもよい。

【0025】

開示された一実施形態による既設定のビューポイントに係わる情報は、ユーザ入力、または映像表示装置の内部設定によっても異なる。

【0026】

開示された一実施形態による映像表示方法は、コピー領域に対応する映像をグラフィック処理部に伝送する段階、及び伝送されたコピー領域に対応する映像を球にマッピングし、球状映像を生成する段階をさらに含んでもよい。

【0027】

開示された一実施形態による映像表示方法は、外部装置から受信された３６０°映像をデコーディングし、平面状映像を生成する段階をさらに含んでもよい。

【0028】

開示された一実施形態による映像表示方法は、現在ビューポイントに係わる情報により、コピー領域の形態及び大きさのうち少なくとも一つを異なるように決定することができる。

【0029】

球状映像は、球状３６０°映像を含み、平面状映像は、平面状３６０°映像を含んでもよい。

【0030】

以下では、添付した図面を参照し、本開示が属する技術分野において当業者が容易に実施することができるように、本開示の実施形態について詳細に説明する。しかし、本開示は、さまざまに異なる形態に具現され、ここで説明する実施形態に限定されるものではない。また、図面において、本開示について明確に説明するために、説明と関係のない部分は省略し、明細書全体を通じて、類似した部分については、類似した図面符号を付した。

【0031】

本開示で使用される用語は、本開示で言及される機能を考慮し、現在使用される一般的な用語で記載されたが、それは、当分野の当業者の意図、判例、または新たな技術の出現などにより、多様な異なる用語を意味することができる。従って、本開示で使用される用語は、用語の名称だけで解釈されるものではなく、該用語が有する意味と、本開示の全般にわたる内容とを基に解釈されなければならない。

【0032】

また、本開示で使用された用語は、単に特定実施形態についての説明に使用されたものであり、本開示を限定する意図で使用されるものではない。単数の表現は、文脈上明白に単数を意味しない限り、複数の意味を含む。また、明細書全体において、ある部分が他の部分と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、その中間に、他の素子を挟み、「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。

【0033】

本明細書、特に、特許請求の範囲で使用された「前記」、及びそれと類似した指示語は、単数及び複数のいずれも指示するものでもある。また、本開示による方法について説明する段階の順序を明白に指定する記載がなければ、記載された段階は、適する順序で行われる。記載された段階の記載順序により、本開示が限定されるものではない。

【0034】

本明細書において、多様なところに登場する「一部実施形態において」または「一実施形態において」というような語句は、必ずしもいずれも同一実施形態を示すものではない。

【0035】

本開示の一部実施形態は、機能的なブロック構成、及び多様な処理段階によっても示される。そのような機能ブロックの一部または全部は、特定機能を行う多様な個数のハードウェア構成及び／またはソフトウェア構成によっても具現される。例えば、本開示の機能ブロックは、１以上のマイクロプロセッサによっても具現されるか、あるいは所定機能のための回路構成によっても具現される。また、例えば、本開示の機能ブロックは、多様なプログラミング言語またはスクリプティング言語によっても具現される。該機能ブロックは、１以上のプロセッサで実行されるアルゴリズムによっても具現される。また、本開示は、電子的な環境設定、信号処理及び／またはデータ処理などのために、従来技術を採用することができる。「メカニズム」、「要素」、「手段」及び「構成」というような用語は、汎用され、機械的であって物理的な構成として限定されるものではない。

【0036】

また、図面に図示された構成要素間の連結線または連結部材は、機能的な連結及び／または物理的または回路的な連結を例示的に示したものであるのみである。実際の装置においては、代替可能であったり、追加されたりする多様な機能的な連結、物理的な連結または回路の連結により、構成要素間の連結が示される。

【0037】

以下、添付された図面を参照し、本開示について詳細に説明する。

【0038】

図１は、開示された一実施形態による３６０°映像を表示する映像表示装置を示す図面である。

【0039】

図１を参照すれば、開示された一実施形態による映像表示装置１００は、ＴＶ（ｔｅｌｅｖｉｓｉｏｎ）でもあるが、それに限定されるものではなく、ディスプレイ部を含む電子装置としても具現される。例えば、映像表示装置１００は、携帯電話、タブレットＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、デジタルカメラ、カムコーダ、ノート型パソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デスクトップ、電子書籍端末機、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、ＭＰ３プレイヤ、着用型機器（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）のような多様な電子装置によっても具現される。また、映像表示装置１００は、固定型または移動型でもあり、デジタル放送受信が可能なデジタル放送受信機でもある。

【0040】

映像表示装置１００は、平面（ｆｌａｔ）ディスプレイ装置だけではなく、曲率を有する画面である曲面（ｃｕｒｖｅｄ）ディスプレイ装置、または曲率が調整可能な可変型（ｆｌｅｘｉｂｌｅ）ディスプレイ装置によっても具現される。映像表示装置１００の出力解像度は、例えば、ＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）、ｆｕｌｌ ＨＤ、Ｕｌｔｒａ ＨＤのもの、またはＵｌｔｒａ ＨＤよりさらに鮮明な解像度を含んでもよい。

【0041】

映像表示装置１００は、制御装置１０１によっても制御され、制御装置１０１は、リモコンまたは携帯電話のように、映像表示装置１００を制御するための多様な形態の装置によっても具現される。映像表示装置１００のディスプレイ部がタッチスクリーンによって具現される場合、制御装置１０１は、ユーザの指や、入力ペンなどによっても代替される。

【0042】

制御装置１０１は、赤外線（ｉｎｆｒａｒｅｄ）またはブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））を含む近距離通信を利用し、映像表示装置１００を制御することができる。制御装置１０１は、具備されたキー（ボタンを含む）、タッチパッド、ユーザ音声の受信が可能なマイク（図示せず）、及び制御装置１０１のモーション認識が可能なセンサ（図示せず）のうち少なくとも一つを利用し、映像表示装置１００の機能を制御することができる。

【0043】

制御装置１０１は、映像表示装置１００の電源をオン（ｏｎ）にしたりオフ（ｏｆｆ）にしたりするための電源オン／オフボタンを含んでもよい。また、制御装置１０１は、ユーザ入力により、映像表示装置１００のチャネル変更、音量調整、地上波放送／ケーブル放送／衛星放送の選択または環境設定（ｓｅｔｔｉｎｇ）を行うことができる。

【0044】

また、制御装置１０１は、ポインティング装置でもある。例えば、制御装置１０１は、特定キー入力を受信する場合、ポインティング装置として動作することができる。

【0045】

本明細書の実施形態において、「ユーザ」という用語は、制御装置１０１を利用し、映像表示装置１００の機能または動作を制御する者を意味し、視聴者、管理者または設置技士を含んでもよい。

【0046】

開示された一実施形態による映像表示装置１００は、３６０°映像を表示することができる。

【0047】

３６０°映像は、３６０°の画角（ａｎｇｌｅ ｏｆ ｖｉｅｗ）を有する映像でもある。例えば、３６０°映像は、少なくとも１台のカメラを利用し、３６０°方向に撮影された複数の映像に基づいて生成された映像でもある。このとき、撮影された複数の映像は、球にマッピング（ｍａｐｐｉｎｇ）され、マッピングされた映像の接点が連結（スティッチング（ｓｔｉｔｃｈｉｎｇ））され、球（ｓｐｈｅｒｅ）状の３６０°映像が生成されることができる。また、球状の３６０°映像は、他のデバイスに伝送したり保存したりするために、図１に図示されているように、平面状の３６０°映像５０にも変換される。

【0048】

開示された一実施形態による映像表示装置１００は、平面状の３６０°映像５０にグラフィック処理を施し、平面状の３６０°映像５０を、球状の３６０°映像７０で変換することができる。例えば、映像表示装置１００は、平面状の３６０°映像を球にマッピングし、球状の３６０°映像７０を生成することができる。

【0049】

開示された一実施形態による映像表示装置１００は、球状の３６０°映像７０において、現在ビューポイント（ｖｉｅｗ ｐｏｉｎｔ）に対応する一部領域８０を選択し、選択された領域８０に対応する出力映像を生成することができる。そして、映像表示装置１００は、生成された出力映像を表示することができる。

【0050】

該ビューポイントは、３６０°映像において、ユーザが見ている地点（ｐｏｉｎｔ）を意味する。例えば、該ビューポイントは、ユーザが、球中心点に位置すると仮定するとき、球の表面にマッピングされた３６０°映像において、ユーザが見ている地点を意味するが、それに限定されるものではない。該ビューポイントは、水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つを利用して示すことができる。前述の水平角度、垂直角度、画角、及び球中心点からの距離に係わる詳細な説明は、図２を参照して後述する。

【0051】

平面状の３６０°映像５０を、球状の３６０°映像７０に変換する過程は、映像表示装置１００のグラフィック処理部でも遂行される。該グラフィック処理部が、平面状の３６０°映像５０を球状の３６０°映像７０に変換するためには、平面状の３６０°映像５０がグラフィック処理部に伝送されなければならない。このとき、平面状の３６０°映像５０は、高い解像度を有する場合が多いために、映像が大きくなる。従って、平面状の３６０°映像５０全体をグラフィック処理部に伝送するためには、長い時間が必要となってしまう。

【0052】

開示された多様な実施形態は、平面状の３６０°映像５０において、現在ビューポイントに係わる情報に基づいて、決定された一部領域に対応する映像を、グラフィック処理部に伝送することができる。それにより、平面状の３６０°映像５０を、グラフィック処理部に伝送するときに必要となる時間が短縮される。

【0053】

また、開示された多様な実施形態は、平面状の３６０°映像５０において、グラフィック処理部に伝送された一部領域に対応する映像に基づいて、球状の３６０°映像７０及び出力映像を生成することができる。従って、開示された多様な実施形態は、平面状の３６０°映像５０全体がグラフィック処理部に伝送されるときより、球状の３６０°映像７０及び出力映像を生成するのに必要となる時間を短縮させることができる。

【0054】

図２Ａないし図２Ｃは、開示された一実施形態による、ビューポイントに係わる情報について説明するための図面である。

【0055】

前述のように、３６０°映像は、少なくとも１台のカメラを利用し、３６０°方向に撮影された複数の映像に基づいて生成された映像でもある。撮影された複数の映像は、球にもマッピングされ、マッピングされた映像の接点が連結（スティッチング）され、球状の３６０°映像が生成される。そして、映像表示装置１００は、球状の３６０°映像において、現在ビューポイントに対応する映像を表示することができる。

【0056】

該ビューポイントは、３６０°映像において、ユーザが見ている地点を意味する。該ビューポイントは、水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つを利用して示すことができる。従って、現在ビューポイントに係わる情報は、３６０°映像において、ユーザが現在見ている地点を、水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つで示す情報を意味する。

【0057】

該水平角度は、球の中心を過ぎながら、ｘｙ平面に平行な第１平面を基準に、球の表面に沿って回転しながら形成される角を意味する。例えば、図２Ａを参照すれば、球状の映像２００において、球表面に位置する所定地点２０１の水平角度を０°と設定することができる。このとき、該水平角度は、第１平面を基準に、０°以上３６０°以下の値を有することができる。

【0058】

該垂直角度は、球の中心を過ぎながら、ｚ軸平面に平行な第２平面を基準に、球表面に沿って回転しながら形成される角を意味する。例えば、図２Ａを参照すれば、球状の映像２００において、球表面に位置する所定地点２０１の垂直角度を０°と設定することができる。このとき、該垂直角度は、第２平面を基準に、−９０°以上９０°以下の値を有することができる。または、一実施形態により、該垂直角度は、第２平面を基準に、０°以上１８０°以下の値を有することができるが、前述の例に限定されるものではない。

【0059】

該画角は、球状の３６０°映像において、映像表示装置１００に表示される領域を示す角度範囲を意味し、０°以上３６０°以下の値を有することができる。

【0060】

例えば、図２Ｂの左側に図示された球状の映像２１０を参照すれば、球状の映像２１０において、第１領域２１１が映像表示装置１００のディスプレイ部に表示されるとき、第１領域２１１の画角は１００°でもある。他の例として、図２Ｂの右側に図示された球状の映像２２０を参照すれば、球状の映像２２０において、第２領域２２１がディスプレイ部に表示されるとき、第２領域２２１の画角は、１８０°でもある。このとき、図２Ｂに図示された第１領域２１１及び第２領域２２１の画角は、球中心点を基準に決定された値でもあるが、それに限定されるものではない。

【0061】

該画角は、球中心点からの距離によっても異なる。

【0062】

例えば、図２Ｃに図示された球状の映像２３０，２４０を参照すれば、ディスプレイ部に表示される領域２３１，２４１が同一であるとき、球中心点である第１地点２３２を基準に判断した画角は、１００°であり、第２地点２４２を基準に判断した画角は、７０°でもある。球中心点からの距離が長いほど、画角が狭まる。

【0063】

例えば、直径が１である球を仮定すれば、球中心点からの距離は、０以上０．５以下の値を有することができる。例えば、図２Ｃの左側に図示されているように、球中心点である第１地点２３２を基準に画角を判断するとき、球中心点からの距離は、０にもなる。または、図２Ｃの右側に図示されているように、第２地点２３２を基準に画角を判断するとき、球中心点からの距離は、０．５にもなる。しかし、球中心点からの距離は、実施形態によって異なり、前述の例に限定されるものではない。

【0064】

図３は、開示された一実施形態による映像表示装置の構成を示すブロック図である。

【0065】

図３に図示された映像表示装置１００ａは、図１に図示された映像表示装置１００の一実施形態でもある。図３を参照すれば、開示された一実施形態による映像表示装置１００ａは、プロセッサ３１０、グラフィック処理部（ＧＰＵ）３２０及びディスプレイ部３３０を含んでもよい。しかし、映像表示装置１００ａは、図示された構成要素より多くの構成要素によっても具現され、前述の例に限定されるものではない。

【0066】

以下、前記構成要素について、順に説明する。

【0067】

開示された一実施形態によるプロセッサ３１０は、現在ビューポイントに係わる情報に基づいて、平面状の３６０°映像からコピー領域を決定する。

【0068】

該コピー領域は、平面状の３６０°映像において、グラフィック処理のために、グラフィック処理部３２０に伝送される領域を意味する。該コピー領域は、現在ビューポイントに係わる情報により、コピー領域の形態及び大きさのうち少なくとも一つが異なるようにも決定される。

【0069】

開示された一実施形態によるプロセッサ３１０は、水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つを含む現在ビューポイントに係わる情報に基づいて、コピー領域を決定することができる。例えば、プロセッサ３１０は、現在ビューポイントに係わる情報に基づいて、ディスプレイ部３３０に表示される領域をまず決定することができる。そして、プロセッサ３１０は、ディスプレイ部３３０に表示される領域から、コピー領域を決定することができる。例えば、プロセッサ３１０は、コピー領域を、ディスプレイ部３３０に表示される領域より所定比率ほど大きい領域として決定することができる。または、一実施形態により、プロセッサ３１０は、コピー領域を、ディスプレイ部３３０に表示される領域と同一領域として決定することができるが、それらに限定されるものではない。

【0070】

開示された一実施形態によるプロセッサ３１０は、平面状の３６０°映像が、３６０°ビデオの最初フレームであるとき、既設定のビューポイントに係わる情報に基づいて、コピー領域を決定することができる。このとき、既設定のビューポイントに係わる情報は、ユーザ入力、または映像表示装置の内部設定によっても異なる。

【0071】

開示された一実施形態によるプロセッサ３１０は、ビューポイントを変更する入力に応答し、現在ビューポイントに係わる情報を変更することができる。そして、プロセッサ３１０は、変更された現在ビューポイントに係わる情報に基づいて、コピー領域を変更することができる。

【0072】

開示された一実施形態によるプロセッサ３１０は、コピー領域に対応する映像を、グラフィック処理部３２０に伝送することができる。例えば、プロセッサ３１０は、平面状の３６０°映像において、コピー領域に対応する映像をメモリにコピーし、該メモリにコピーされた映像を、グラフィック処理部３２０に伝送することができる。

【0073】

プロセッサ３１０は、平面状の３６０°映像全体ではなく、コピー領域に対応する映像を、グラフィック処理部３２０に伝送することにより、グラフィック処理部３２０に伝送されるデータ量を減らすことができる。それにより、平面状の３６０°映像がグラフィック処理部３２０に伝送されるときに必要となる時間が短縮される。そして、グラフィック処理部３２０が、球状の３６０°映像を生成するのに必要となる時間が短縮される。

【0074】

プロセッサ３１０は、１以上のメモリ、及び１以上のプロセッサの多様な組み合わせによっても具現される。例えば、該メモリは、プロセッサ３１０の動作により、プログラムモジュールを生成して削除することができ、プロセッサ３１０は、プログラムモジュールの動作を処理することができる。

【0075】

開示された一実施形態によるプロセッサ３１０は、メモリに保存された１以上のインストラクションを実行することにより、現在ビューポイントに係わる情報に基づいて、平面状の３６０°映像からコピー領域を決定することができる。また、プロセッサ３１０は、メモリに保存された１以上のインストラクションを実行することにより、コピー領域に対応する映像を球にマッピングし、球状の３６０°映像を生成し、球状の３６０°映像をレンダリングして出力映像を生成するように、グラフィック処理部３２０を制御することができる。また、プロセッサ３１０は、メモリに保存された１以上のインストラクションを遂行することにより、出力映像を表示するように、ディスプレイ部３３０を制御することができる。

【0076】

開示された一実施形態によるグラフィック処理部３２０は、コピー領域に対応する映像を球にマッピングし、球状の３６０°映像を生成することができる。そして、グラフィック処理部３２０は、球状の３６０°映像をレンダリングし、出力映像を生成することができる。

【0077】

開示された一実施形態によるグラフィック処理部３２０は、平面状の３６０°映像全体ではなく、コピー領域に対応する映像を球にマッピングし、球状の３６０°映像を生成することができる。それにより、平面状の３６０°映像全体を利用し、球状の３６０°映像を生成するときより、グラフィック処理過程で使用されるデータの低減される。従って、グラフィック処理部３２０が、球状の３６０°映像を生成するのに必要となる時間が短縮される。

【0078】

開示された一実施形態によるディスプレイ部３３０は、グラフィック処理部３２０で生成された出力映像を表示することができる。

【0079】

例えば、ディスプレイ部３３０は、３６０°映像において、現在ビューポイントに対応する映像を表示することができる。また、ディスプレイ部３３０は、現在ビューポイントを変更する入力に応答し、変更された出力映像を表示することができる。

【0080】

ディスプレイ部３３０がタッチスクリーンによって具現される場合、ディスプレイ部３３０は、出力装置以外に、入力装置としても使用される。ディスプレイ部３３０は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、三次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、電気泳動ディスプレイ（ｅｌｅｃｔｒｏｐｈｏｒｅｔｉｃ ｄｉｓｐｌａｙ）のうち少なくとも一つを含んでもよい。

【0081】

また、映像表示装置１００ａの具現形態により、映像表示装置１００ａは、ディスプレイ部３３０を２個以上含んでもよい。

【0082】

図３としては、グラフィック処理部３２０がプロセッサ３１０と別途の構成であるようにも説明したが、それに限定されるものではなく、一実施形態により、プロセッサ３１０がグラフィック処理部３２０を含んでもよい。

【0083】

図４は、開示された他の実施形態による映像表示装置の構成を示すブロック図である。

【0084】

図４に図示されているように、映像表示装置１００ｂは、プロセッサ３１０、グラフィック処理部３２０及びディスプレイ部３３０の以外に、チューナ部１４０、通信部１５０、感知部１６０、入出力部１７０、ビデオ処理部１８０、オーディオ処理部１１５、オーディオ出力部１２５、ユーザ入力部１９０及びメモリ１２０をさらに含んでもよい。

【0085】

プロセッサ３１０、グラフィック処理部３２０及びディスプレイ部３３０について、図３で説明した内容と同一内容は、図４において省略する。

【0086】

ディスプレイ部３３０は、プロセッサ３１０の制御により、チューナ部１４０を介して受信された放送信号に含まれたビデオを画面に表示することができる。また、ディスプレイ部３３０は、通信部１５０または入出力部１７０を介して入力されるコンテンツ（例えば、動画）を表示することができる。ディスプレイ部３３０は、プロセッサ３１０の制御により、メモリ１２０に保存された映像を出力することができる。また、ディスプレイ部３３０は、音声認識に対応する音声認識タスクを遂行するための音声ＵＩ（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）（例えば、音声命令語ガイドを含む）、またはモーション認識に対応するモーション認識タスクを遂行するためのモーションＵＩ（例えば、モーション認識のためのユーザモーションガイドを含む）を表示することができる。

【0087】

オーディオ処理部１１５は、オーディオデータに係わる処理を行う。オーディオ処理部１１５においては、オーディオデータに係わるデコーディング、増幅、ノイズフィルタリングのような多様な処理が行われる。一方、オーディオ処理部１１５は、複数のコンテンツに対応するオーディオを処理するために、複数のオーディオ処理モジュールを具備することができる。

【0088】

オーディオ出力部１２５は、プロセッサ３１０の制御により、チューナ部１４０を介して受信された放送信号に含まれたオーディオを出力する。オーディオ出力部１２５は、通信部１５０または入出力部１７０を介して入力されるオーディオ（例えば、音声、サウンド）を出力することができる。また、オーディオ出力部１２５は、プロセッサ３１０の制御により、メモリ１２０に保存されたオーディオを出力することができる。オーディオ出力部１２５は、スピーカ１２６、ヘッドフォン出力端子１２７またはＳ／ＰＤＩＦ（Ｓｏｎｙ／Ｐｈｉｌｉｐｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）出力端子１２８のうち少なくとも一つを含んでもよい。オーディオ出力部１２５は、スピーカ１２６、ヘッドフォン出力端子１２７及びＳ／ＰＤＩＦ出力端子１２８の組み合わせを含んでもよい。

【0089】

チューナ部１４０は、有線または無線によって受信される放送信号を、増幅（ａｍｐｌｉｆｉｃａｔｉｏｎ）、混合（ｍｉｘｉｎｇ）、共振（ｒｅｓｏｎａｎｃｅ）などを介して、多くの電波成分のうち、映像表示装置１００ｂで受信しようとするチャネルの周波数のみをチューニングして選択することができる。該放送信号は、オーディオ（ａｕｄｉｏ）、ビデオ（ｖｉｄｅｏ）及び付加情報（例えば、ＥＰＧ（ｅｌｅｃｔｒｏｎｉｃ ｐｒｏｇｒａｍ ｇｕｉｄｅ））を含む。

【0090】

チューナ部１４０は、ユーザ入力（例えば、制御装置１０１から受信される制御信号、例えば、チャネル番号入力、チャネルのアップダウン（ｕｐ−ｄｏｗｎ）入力、及びＥＰＧ画面でのチャネル入力）により、チャネル番号（例えば、ケーブル放送５０６番）に対応する周波数帯域において放送信号を受信することができる。

【0091】

チューナ部１４０は、地上波放送、ケーブル放送、衛星放送、インターネット放送のように、多様なソースから放送信号を受信することができる。チューナ部１４０は、アナログ放送またはデジタル放送のようなソースから、放送信号を受信することもできる。チューナ部１４０を介して受信された放送信号は、デコーディング（例えば、オーディオデコーディング、ビデオデコーディングまたは付加情報デコーディング）され、オーディオ、ビデオ及び／または付加情報に分離される。分離されたオーディオ、ビデオ及び／または付加情報は、プロセッサ３１０の制御により、メモリ１２０にも保存される。

【0092】

映像表示装置１００ｂのチューナ部１４０は、一つでもあり、複数でもある。チューナ部１４０は、映像表示装置１００ｂと、一体型（ａｌｌ−ｉｎ−ｏｎｅ）にも具現されるか、あるいは映像表示装置１００ｂと電気的に連結されるチューナ部を有する別個の装置（例えば、セットトップボックス（図示せず）、入出力部１７０に連結されるチューナ部（図示せず））によっても具現される。

【0093】

通信部１５０は、プロセッサ３１０の制御により、映像表示装置１００ｂを、外部装置（例えば、オーディオ装置など）と連結することができる。プロセッサ３１０は、通信部１５０を介して連結された外部装置に／からコンテンツを送／受信したり、外部装置からアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）をダウンロードしたり、ウェブブラウジング行ったりする。通信部１５０は、映像表示装置１００ｂの性能及び構造に対応し、無線ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）１５１、ブルートゥース１５２及び有線イーサネット（登録商標）１５３のうち一つを含んでもよい。

【0094】

また、通信部１５０は、無線ＬＡＮ１５１、ブルートゥース１５２及び有線イーサネット１５３の組み合わせを含んでもよい。通信部１５０は、プロセッサ３１０の制御により、制御装置１０１の制御信号を受信することができる。該制御信号は、ブルートゥースタイプ、ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）信号タイプまたはＷｉ−Ｆｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）タイプによっても具現される。

【0095】

通信部１５０は、ブルートゥース以外に、他の近距離通信（例えば、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）（図示せず）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ）（図示せず）をさらに含んでもよい。

【0096】

感知部１６０は、ユーザ音声、ユーザの映像、またはユーザのインタラクションを感知し、マイク１６１、カメラ部１６２及び光受信部１６３を含んでもよい。

【0097】

マイク１６１は、ユーザの発話（ｕｔｔｅｒａｎｃｅ）された音声を受信する。マイク１６１は、受信された音声を電気信号に変換し、プロセッサ３１０に出力することができる。ユーザ音声は、例えば、映像表示装置１００ｂのメニューまたは機能に対応する音声を含んでもよい。

【0098】

カメラ部１６２は、カメラ認識範囲において、ジェスチャを含むユーザのモーションに対応する映像（例えば、連続フレーム）を受信することができる。プロセッサ３１０は、受信されたモーションの認識結果を利用し、映像表示装置１００ｂに表示されるメニューを選択したり、モーション認識結果に対応する制御を行ったりする。例えば、チャネル調整、ボリューム調整、指示子移動、カーソル移動を含んでもよい。

【0099】

光受信部１６３は、外部の制御装置から受信される光信号（制御信号を含む）を、ディスプレイ部３３０のベゼル光窓（図示せず）などを介して受信する。光受信部１６３は、制御装置から、ユーザ入力（例えば、タッチ、押し、タッチジェスチャ、音声またはモーション）に対応する光信号を受信することができる。受信された光信号から、プロセッサ３１０の制御により、制御信号が抽出される。

【0100】

入出力部１７０は、プロセッサ３１０の制御により、映像表示装置１００ｂの外部から、ビデオ（例えば、動画など）、オーディオ（例えば、音声、音楽など）及び付加情報（例えば、ＥＰＧなど）などを受信する。入出力部１７０は、ＨＤＭＩ（登録商標）ポート（ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ ｐｏｒｔ）１７１、コンポーネントジャック（ｃｏｍｐｏｎｅｎｔ ｊａｃｋ）１７２、ＰＣポート（ＰＣ ｐｏｒｔ）１７３及びＵＳＢポート（ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ） ｐｏｒｔ）１７４のうち一つを含んでもよい。入出力部１７０は、ＨＤＭＩポート１７１、コンポーネントジャック１７２、ＰＣポート１７３及びＵＳＢポート１７４の組み合わせを含んでもよい。

【0101】

プロセッサ３１０は、映像表示装置１００ｂの全般的な動作、及び映像表示装置１００ｂの内部構成要素間の信号フローを制御し、データを処理する機能を遂行する。プロセッサ３１０は、ユーザの入力があるか、あるいは既設定の保存された条件を満足する場合、メモリ１２０に保存されたＯＳ（ｏｐｅｒａｔｉｏｎ ｓｙｓｔｅｍ）及び多様なアプリケーションを実行することができる。

【0102】

ユーザ入力部１９０は、ユーザが、映像表示装置１００ｂを制御するためのデータを入力する手段を意味する。例えば、ユーザ入力部１９０は、キーパッド（ｋｅｙ ｐａｄ）、ドームスイッチ（ｄｏｍｅ ｓｗｉｔｃｈ）、タッチパッド（接触式静電容量方式、圧力式抵抗膜方式、赤外線感知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ効果方式など）、ジョグホイール、ジョグスイッチなどを含んでもよいが、それらに限定されるものではない。

【0103】

開示された一実施形態によるユーザ入力は、ビューポイントを変更する入力を意味する。ユーザ入力部１９０が、キーパッドまたはドームスイッチによって構成される場合、ビューポイントを変更するユーザ入力は、特定方向に対応するキーをクリック（ｃｌｉｃｋ）したり押したりする入力でもある。または、ユーザ入力部１９０がタッチパッドによって構成される場合、特定方向に対応するキーをタッチする入力でもあるが、前述の例に限定されるものではない。

【0104】

ビューポイントを変更するユーザ入力は、キーをクリックしたりタッチしたりする方法により、ビューポイントの変化量が異なりもする。例えば、キーを所定時間以上押したりタッチしたりする場合、ビューポイントが連続的に変わりもする。そして、キーを短くクリックしたり短くタッチしたりする場合、ビューポイントが、所定の角度区間単位にも変わる。例えば、ユーザが右側方向に対応するキーを１回ずつクリックするたびに、ビューポイントが右側に３０°ずつ移動する。

【0105】

ユーザ入力部１９０は、前述の制御装置１０１の構成要素でもあり、映像表示装置１００ｂの構成要素でもある。

【0106】

開示された一実施形態によるメモリ１２０は、映像表示装置１００ｂを制御するためのプログラムを保存することができ、映像表示装置１００ｂに入力されたり、映像表示装置１００ｂから出力されたりするデータを保存することができる。

【0107】

メモリ１２０は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤメモリまたはＸＤメモリなど）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも１つのタイプの記録媒体を含んでもよい。

【0108】

開示された一実施形態によるメモリ１２０は、現在ビューポイントに係わる情報に基づいて、平面状の３６０°映像からコピー領域を決定し、コピー領域に対応する映像を球にマッピングし、球状の３６０°映像を生成し、球状の３６０°映像をレンダリングして出力映像を生成し、出力映像を表示する、１以上のインストラクションを含むモジュールを含んでもよい。

【0109】

一方、図３及び図４に図示された映像表示装置１００ａ及び１００ｂのブロック図は、一実施形態のためのブロック図である。ブロック図の各構成要素は、実際に具現される映像表示装置１００ａ及び１００ｂの仕様により、統合、追加または省略されもする。例えば、必要により、２以上の構成要素が、１つの構成要素に合わされたり、１つの構成要素が２以上の構成要素に細分化たりしても構成される。また、各ブロックで遂行する機能は、実施形態について説明するためのものであり、その具体的な動作や装置は、本発明の権利範囲を制限するものではない。

【0110】

図５Ａないし図５Ｃは、開示された一実施形態によるコピー領域を決定する方法について説明するための図面である。

【0111】

開示された一実施形態による映像表示装置１００は、現在ビューポイントに係わる情報に基づいて、平面状の３６０°映像から、コピー領域を決定することができる。

【0112】

前述のように、コピー領域は、平面状の３６０°映像において、グラフィック処理のために、グラフィック処理部３２０に伝送される領域を意味する。

【0113】

平面状の３６０°映像は、外部装置またはネットワークを介して受信された３６０°映像をデコーディングして生成された映像でもあるが、それに限定されるものではない。

【0114】

該３６０°映像は、３６０°映像全体がディスプレイ部３３０に表示されるものではなく、現在ビューポイントに対応する映像が、ディスプレイ部３３０に表示される。例えば、図５Ａを参照すれば、映像表示装置１００は、平面状の３６０°映像５１０において、現在ビューポイントに対応する領域５１１の映像をディスプレイ部３３０に表示することができる。

【0115】

開示された一実施形態による映像表示装置１００は、現在ビューポイントに係わる情報に基づいて、平面状の３６０°映像から、ディスプレイ部３３０に表示される領域を決定し、ディスプレイ部３３０に表示される領域から、コピー領域を決定することができる。

【0116】

図５Ａに図示された表５００を参照すれば、映像表示装置１００は、水平角度、垂直角度、画角、及び球中心点からの距離を利用し、現在ビューポイントを示すことができる。例えば、水平角度が０°であり、垂直角度が０°であり、画角が１２０°であり、球中心点からの距離が０であるとき、映像表示装置１００は、平面状の３６０°映像５１０のうち真ん中領域５１１を、ディスプレイ部３３０に表示される領域として決定することができる。

【0117】

また、図５Ｂに図示された表５２０を参照すれば、水平角度が９０°であり、垂直角度が０°であり、画角が１２０°であり、球中心点からの距離が０であるとき、ディスプレイ部３３０に表示される領域５３１は、図５Ａに図示された領域５１１より右側に９０°移動した領域でもある。

【0118】

開示された一実施形態による映像表示装置１００は、平面状の３６０°映像５１０のメタ情報として、水平角度、垂直角度、画角、及び球中心点からの距離に係わる情報を保存することができる。または、一実施形態により、映像表示装置１００は、水平角度、垂直角度、画角、及び球中心点からの距離と、ディスプレイ部３３０に表示される領域とのマッピング関係をあらかじめ保存することができるが、前述の例に限定されるものではない。そして、映像表示装置１００は、既保存のマッピング関係または情報に基づいて、現在ビューポイントに対応する領域を決定することができる。

【0119】

開示された一実施形態による映像表示装置１００は、コピー領域を、映像表示装置１００に表示される領域５１１と同一領域として決定することができる。または、図５Ａに図示されているように、映像表示装置１００は、映像表示装置１００に表示される領域５１１より、コピー領域を所定比率ほど大きい領域５１２として決定することができる。該コピー領域がディスプレイ部３３０に表示される領域５１１より、所定比率ほど大きい領域５１２に設定されれば、映像表示装置１００が、現在ビューポイントを変更する入力に応答し、コピー領域を迅速に変更することができない場合にも、映像表示装置１００は、３６０°映像をバッファリングなしに表示することができる。

【0120】

前述のように、現在ビューポイントに係わる情報を構成する要素は、実施形態によっても異なる。

【0121】

例えば、図５Ｃを参照すれば、現在ビューポイントに係わる情報５４０は、水平角度及び垂直角度のみを含んでもよい。例えば、水平角度が０°であり、垂直角度が９０°であるとき、ディスプレイ部３３０に表示される領域は、平面状の３６０°映像５５０において、上端領域５５１でもある。このとき、該コピー領域は、ディスプレイ部３３０に表示される領域と同一領域５５１でもあるが、それに限定されるものではない。

【0122】

映像表示装置１００は、現在ビューポイントに係わる情報により、コピー領域の形態及び大きさのうち少なくとも一つを異なるように決定することができる。例えば、図５Ａないし図５Ｃに図示されているように、図５Ａ及び図５Ｂに図示されたコピー領域５１２，５３２と、図５Ｃに図示されたコピー領域５５１は、現在ビューポイントに係わる情報により、コピー領域の形態及び大きさのうち少なくとも一つが異なりもする。

【0123】

図６は、開示された一実施形態による球状の３６０°映像を生成する方法について説明するための図面である。

【0124】

開示された一実施形態による映像表示装置１００は、コピー領域に対応する映像を、グラフィック処理部３２０に伝送することができる。グラフィック処理部３２０は、伝送されたコピー領域に対応する映像を利用し、球状の３６０°映像を生成することができる。

【0125】

例えば、図６を参照すれば、映像表示装置１００は、平面状の３６０°映像６００におけるコピー領域６０１に対応する映像を、グラフィック処理部３２０に伝送することができる。それにより、映像表示装置１００は、グラフィック処理部３２０に伝送されるデータ量を減らすことができる。

【0126】

開示された一実施形態によるグラフィック処理部３２０は、コピー領域６０１に対応する映像を球６１０にマッピングし、球状の３６０°映像６１１を生成することができる。グラフィック処理部３２０は、平面状の３６０°映像６００全体ではないコピー領域６０１に対応する映像を利用し、球状の３６０°映像６１１を生成するために、球状の３６０°映像６１１を生成するのに必要となる時間を短縮させることができる。グラフィック処理部３２０が、球状の３６０°映像６１１を生成する過程は、当業者に周知されているので、詳細な説明は、省略する。

【0127】

図７は、開示された一実施形態による球状の３６０°映像をレンダリングし、出力映像を生成する方法について説明するための図面である。

【0128】

図７を参照すれば、グラフィック処理部３２０は、球状の３６０°映像７００をレンダリングし、出力映像７１０を生成することができる。

【0129】

例えば、グラフィック処理部３２０は、球状の３６０°映像７００に基づいて、画面のレイアウトにより、各客体が表示される座標値、形態、大きさ、カラーのような属性値を演算することができる。そして、グラフィック処理部３２０は、演算された属性値に基づいて、出力映像７１０を生成することができる。グラフィック処理部３２０が、球状の３６０°映像７００をレンダリングする過程については、当業者に周知されているので、詳細な説明は、省略する。

【0130】

映像表示装置１００は、グラフィック処理部３２０で生成された出力映像７１０を表示することができる。

【0131】

図８Ａないし図８Ｃは、開示された一実施形態による現在ビューポイントを変更する場合について説明するための図面である。

【0132】

開示された一実施形態による映像表示装置１００は、現在ビューポイントを変更する入力に応答し、現在ビューポイントに係わる情報を変更することができる。

【0133】

現在ビューポイントは、制御装置１０１を利用し、現在ビューポイントを所定方向に移動させるユーザ入力、または映像表示装置１００の内部インストラクションによっても変更される。例えば、図８Ａを参照すれば、映像表示装置１００は、制御装置１０１を利用し、現在ビューポイントを右側に移動させる入力８０１を受信することができる。現在ビューポイントを右側に移動させる入力８０１は、制御装置１０１の右側方向キーをクリックしたりタッチしたりする入力でもあるが、それに限定されるものではない。

【0134】

開示された一実施形態による映像表示装置１００は、現在ビューポイントを所定方向に移動させるユーザ入力に応答し、現在ビューポイントに係わる情報を構成する要素（例えば、水平角度、垂直角度、画角及び球中心点）のうち少なくとも一つを変更することができる。例えば、図８Ｂを参照すれば、映像表示装置１００は、現在ビューポイントを右側に移動させる入力８０１に応答し、水平角度を０° ８１２から９０° ８２２に変更させる。

【0135】

開示された一実施形態による映像表示装置１００は、変更された現在ビューポイントに係わる情報に基づいて、コピー領域を変更することができる。

【0136】

例えば、図８Ｂを参照すれば、水平角度が０°あり、垂直角度が０°であり画角が１２０°であるとき、コピー領域は、平面状の３６０°映像８１０の真ん中領域８１１でもある。そして、現在ビューポイントに係わる情報において、水平角度が０°から９０°に変更されることにより、コピー領域は、平面状の３６０°映像８２０の右側領域８２１に変更される。例えば、コピー領域は、図８Ｂの左側に図示されたコピー領域より右側に９０°移動した領域でもある。

【0137】

開示された一実施形態による映像表示装置１００は、変更されたコピー領域に対応する映像を、グラフィック処理部３２０に伝送することができる。

【0138】

図８Ｃを参照すれば、グラフィック処理部３２０は、変更されたコピー領域８３１に対応する映像を球８４０にマッピングし、球状の３６０°映像８５０を生成することができる。また、グラフィック処理部３２０は、生成された球状の３６０°映像８５０をレンダリングし、出力映像を生成することができる。

【0139】

そして、映像表示装置１００は、グラフィック処理部３２０で生成された出力映像を、ディスプレイ部３３０に表示することができる。

【0140】

図９は、開示された一実施形態による映像表示方法を示すフローチャートである。

【0141】

段階Ｓ９１０において、映像表示装置１００は、現在ビューポイントに係わる情報に基づいて、平面状の３６０°映像からコピー領域を決定する。

【0142】

前述のように、コピー領域は、平面状の３６０°映像において、グラフィック処理のために、グラフィック処理部３２０に伝送される領域を意味する。現在ビューポイントは、水平角度、垂直角度、画角、及び球中心点からの距離のうち少なくとも一つを利用して示すことができる。また、該コピー領域は、現在ビューポイントに係わる情報により、該コピー領域の形態及び大きさのうち少なくとも一つが異なるようにも決定される。

【0143】

開示された一実施形態による映像表示装置１００は、現在ビューポイントに係わる情報に基づいて、ディスプレイ部３３０に表示される領域を決定することができる。そして、映像表示装置１００は、ディスプレイ部３３０に表示される領域から、該コピー領域を決定することができる。例えば、プロセッサ３１０は、該コピー領域をディスプレイ部３３０に表示される領域より、所定比率ほど大きい領域として決定することができる。または、一実施形態により、プロセッサ３１０は、コピー領域を、ディスプレイ部３３０に表示される領域と同一領域として決定することができるが、それに限定されるものではない。

【0144】

開示された一実施形態による映像表示装置１００は、平面状の３６０°映像が、３６０°ビデオの最初フレームであるとき、既設定のビューポイントに係わる情報に基づいて、コピー領域を決定することができる。このとき、既設定のビューポイントに係わる情報は、ユーザ入力、または映像表示装置の内部設定によっても異なる。

【0145】

開示された一実施形態による映像表示装置１００は、ビューポイントを変更する入力に応答し、現在ビューポイントに係わる情報を変更することができる。そして、映像表示装置１００は、変更された現在ビューポイントに係わる情報に基づいて、コピー領域を変更することができる。

【0146】

そして、映像表示装置１００は、平面状の３６０°映像において、コピー領域に対応する映像を、グラフィック処理部に伝送することができる。

【0147】

段階Ｓ９２０において、映像表示装置１００は、コピー領域に対応する映像を、球にマッピングし、球状の３６０°映像を生成する。

【0148】

段階Ｓ９３０において、映像表示装置１００は、球状の３６０°映像をレンダリングし、出力映像を生成する。

【0149】

段階Ｓ９４０において、映像表示装置１００は、出力映像を表示する。

【0150】

図１０は、開示された他の実施形態による映像表示方法を示すフローチャートである。

【0151】

開示された一実施形態による映像表示装置１００によって表示される３６０°映像は、３６０°ビデオを含んでもよい。そして、３６０°ビデオは、複数のビデオフレームを含んでもよい。このとき、映像表示装置１００は、１秒当たり数十フレームの速度で、３６０°ビデオを再生することができる。例えば、３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の速度で３６０°ビデオを再生するとき、受信された各ビデオフレームがグラフィック処理され、ディスプレイ部３３０に表示されるのに必要となる時間が、３３ｍｓ以内ではなければならない。従って、映像表示装置１００が、３６０°ビデオをバッファリングなしに再生するためには、受信された各ビデオフレームをグラフィック処理するのに必要となる時間を短縮させることができる方法が必要である。

【0152】

開示された一実施形態による映像表示装置１００は、各ビデオフレームに対して、現在ビューポイントに係わる情報に基づいてコピー領域を決定し、コピー領域に対応する領域を、グラフィック処理部３２０に伝送することができる。

【0153】

映像表示装置１００は、各ビデオフレームに対して、現在ビューポイントに係わる情報が変更されたか否かということを判断することにより、現在ビューポイントに係わる情報が変更されていない場合、既決定のコピー領域をさらに使用することができる。それにより、各ビデオフレームをグラフィック処理するのに必要となる時間が短縮される。

【0154】

Ｓ１０００段階において、映像表示装置１００は、ビデオフレームを受信することができる。

【0155】

Ｓ１０１０段階において、映像表示装置１００は、受信されたビデオフレームが３６０°ビデオの最初フレームであるか否かということを確認することができる。

【0156】

例えば、受信されたビデオフレームが、３６０°ビデオの最初フレームであるとき、現在ビューポイントに係わる情報が保存されていない。このとき、映像表示装置１００は、既設定のビューポイントに係わる情報に基づいて、コピー領域を決定する（Ｓ１０２０段階）。例えば、映像表示装置１００は、既設定のビューポイントに係わる情報として、水平角度を０°、垂直角度を０°、画角を８０°と事前に設定することができる。それにより、映像表示装置１００は、受信されたビデオフレームが、３６０°ビデオの最初フレームであるとき、別途の入力を待つ必要なしに、水平角度が０°、垂直角度が０°、及び画角が８０°に対応するコピー領域を決定することができる。

【0157】

また、既設定のビューポイントに係わる情報は、ユーザ入力、または映像表示装置１００の内部設定によっても異なる。

【0158】

受信されたビデオフレームが、３６０°ビデオの最初フレームではない場合、映像表示装置１００は、現在ビューポイントに係わる情報が変更された否かということを確認することができる（Ｓ１０３０段階）。

【0159】

該現在ビューポイントに係わる情報が変更されていない場合、映像表示装置１００は、コピー領域を変更する必要がない。それにより、映像表示装置１００は、以前フレームについて決定されたコピー領域を再び使用することができる。しかし、現在ビューポイントに係わる情報が変更された場合、映像表示装置１００は、変更された現在ビューポイントに係わる情報に基づいて、コピー領域を変更することができる（Ｓ１０４０段階）。

【0160】

Ｓ１０５０段階において、映像表示装置１００は、平面状の３６０°映像において、コピー領域に対応する映像を、グラフィック処理部に伝送することができる。

【0161】

Ｓ１０６０段階において、映像表示装置１００のグラフィック処理部３２０は、コピー領域に対応する映像を球にマッピングし、球状の３６０°映像を生成し、球状の３６０°映像をレンダリングし、出力映像を生成することができる。

【0162】

Ｓ１０７０段階において、映像表示装置１００は、生成された出力映像を表示することができる。

【0163】

開示された実施形態は、多様なコンピュータ手段を介して遂行されるプログラム命令形態によって具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。該コンピュータ可読記録媒体の例には、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）；ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）のような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）；フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気・光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）；及びＲＯＭ、ＲＡＭ、フラッシュメモリのような、プログラム命令を保存して遂行するように、特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなくインタープリタなどを使用し、コンピュータによって実行される高級言語コードを含む。

【0164】

前述の本発明の説明は、例示のものであり、本発明が属する技術分野の当業者であるならば、本発明の技術的思想や、必須な特徴を変更せずとも、他の具体的な形態で容易に変形が可能であるということを理解することができるであろう。従って、以上で記述した実施形態は、全ての面で例示的なものであり、限定的ではないものであると理解しなければならない。例えば、単一型として説明されている各構成要素は、分散されても実施され、同様に、分散されていると説明されている構成要素も、結合された形態でも実施される。

【0165】

本発明の範囲は、前述の詳細な説明よりは、特許請求の範囲によって示され、特許請求の範囲の意味、範囲及びその均等概念から導出される全ての変更、または変形された形態は、本発明の範囲に含まれるものであると解釈されなければならない。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】