(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-09
(45)【発行日】2024-04-17
(54)【発明の名称】イメージ出力方法及び装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20240410BHJP
G06F 3/0485 20220101ALI20240410BHJP
【FI】
G06T19/00 A
G06F3/0485
(21)【出願番号】P 2022135777
(22)【出願日】2022-08-29
【審査請求日】2022-08-29
(31)【優先権主張番号】10-2021-0152411
(32)【優先日】2021-11-08
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】522343843
【氏名又は名称】スリーアイ インコーポレイティド
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100151459
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】キム ケン
(72)【発明者】
【氏名】チョン チ ウク
(72)【発明者】
【氏名】ケビン ナタナエル サントソ
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開2011-090633(JP,A)
【文献】特開2014-021608(JP,A)
【文献】特開2010-125040(JP,A)
【文献】特開2010-067261(JP,A)
【文献】米国特許出願公開第2017/0339394(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/00-19/00
G06F 3/048
H04N 13/00
A63F 13/00
G06T 5/00
(57)【特許請求の範囲】
【請求項1】
電子装置によって実行されるイメージ出力方法は、
仮想座標系に基づいて設定されるグラフィック空間に対して予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、
前記仮想座標系上に仮想カメラの座標を設定する動作と、
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作と、
前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、
前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作と、
を含
み、
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作は、
前記仮想カメラの座標に基づいて前記仮想カメラの視点を決定する動作と、
前記仮想カメラの視点に対する切頭体情報を算出する動作と、
前記切頭体情報に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
を含む、イメージ出力方法。
【請求項2】
前記切頭体情報及び前記ターゲット基本イメージタイルに基づいて前記第1解像度のイメージを出力する動作をさらに含む、請求項
1に記載のイメージ出力方法。
【請求項3】
前記仮想カメラの座標に基づいて前記仮想カメラの視点を決定する動作は、
前記電子装置のユーザの入力に基づいて前記仮想カメラの座標を変更する動作と、
前記変更された仮想カメラの座標に基づいて仮想カメラの視点を決定する動作と、
を含む、請求項
1に記載のイメージ出力方法。
【請求項4】
前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルのうち少なくとも1つのターゲット詳細イメージタイルを決定する動作と、
前記ターゲット詳細イメージタイルに関する情報を前記サーバに送信する動作と、
前記サーバから前記ターゲット詳細イメージタイルに対応する第3解像度の複数の追加-詳細イメージタイルを受信する動作と、
をさらに含む、請求項1に記載のイメージ出力方法。
【請求項5】
前記仮想カメラが前記ターゲット詳細イメージタイルをズームインする場合、前記複数の追加-詳細イメージタイルに基づいて前記第3解像度のイメージを出力する動作をさらに含む、請求項
4に記載のイメージ出力方法。
【請求項6】
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作は、前記仮想カメラの座標又は前記仮想カメラの視点が変更された場合、変更された前記仮想カメラの座標又は前記仮想カメラの視点に基づいて前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを再決定する動作を含む、請求項1に記載のイメージ出力方法。
【請求項7】
前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作は、
前記ターゲット基本イメージタイルに対応する前記第2解像度の複数の詳細イメージタイルが格納されているか否かを決定する動作と、
前記第2解像度の複数の詳細イメージタイルが格納されていない場合、前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作と、
を含む、請求項1に記載のイメージ出力方法。
【請求項8】
請求項1~請求項
7のいずれか一項に記載の方法を行うプログラムを収録したコンピュータで読み出し可能記録媒体。
【請求項9】
イメージを出力する方法を行う電子装置は、
イメージを出力するプログラムが記録されたメモリと、
前記プログラムを行うプロセッサと、
を含み、
前記プログラムは、
仮想座標系に基づいて設定されるグラフィック空間に対して、予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、
前記仮想座標系上に仮想カメラの座標を設定する動作と、
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作と、
前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、
前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作と、
を行
い、
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作は、
前記仮想カメラの座標に基づいて前記仮想カメラの視点を決定する動作と、
前記仮想カメラの視点に対する切頭体情報を算出する動作と、
前記切頭体情報に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
を含む、電子装置。
【請求項10】
ユーザにイメージを出力するシステムによって実行されるイメージ出力方法は、
前記システムのユーザ端末が仮想座標系に基づいて設定されるグラフィック空間に対して、予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、
前記ユーザ端末が前記仮想座標系上に仮想カメラの座標を設定する動作と、
前記ユーザ端末が前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
前記ユーザ端末が前記ターゲット基本イメージタイルに関する情報を前記システムのサーバに送信する動作と、
前記ユーザ端末が前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、
前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作と、
を含
み、
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作は、
前記仮想カメラの座標に基づいて前記仮想カメラの視点を決定する動作と、
前記仮想カメラの視点に対する切頭体情報を算出する動作と、
前記切頭体情報に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
を含む、イメージ出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野は、ユーザにイメージを提供する技術に関し、特に、グラフィック空間に対する仮想カメラの視点に基づいてイメージを出力する装置及び方法に関する。
[SW高成長政府支援事業]
省庁名:科学技術情報通信部
研究管理専門機関:情報通信産業振興院
研究事業名:2022年SW高成長クラブ
自律課題名:オートトラッキング技術及びHW/SW高度化によるチャネル拡大及び新規市場の開拓
主管機関:(株)スリーアイ
研究期間:2022.03.01~2022.11.30
【背景技術】
【0002】
仮想環境において、イメージの解像度によりテクスチャ表現が相違になる。ユーザに可能な限り高い解像度のイメージを提供することが好ましいが、仮想環境の全ての方向に対して高い解像度のイメージを提供しようとする場合、ユーザ端末が接続されているサーバから受信しなければならないデータ量が増加するため、データの送信時間が増加し、高い解像度のイメージをユーザに即刻に提供し難いこともある。一方、低い解像度のイメージをユーザに提供する場合、ユーザの実感度が低くなり得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
一実施形態は、ユーザに高解像度のイメージを迅速に提供する方法及び装置を提供することにある。
【課題を解決するための手段】
【0004】
一実施形態に係る電子装置によって実行されるイメージ出力方法は、仮想座標系に基づいて設定されるグラフィック空間に対して予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、前記仮想座標系上に仮想カメラの座標を設定する動作と、前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作と、前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作とを含む。
【0005】
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作は、前記仮想カメラの座標に基づいて前記仮想カメラの視点を決定する動作と、前記仮想カメラの視点に対する切頭体情報を算出する動作と、前記切頭体情報に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作とを含むことができる。
【0006】
前記切頭体情報及び前記ターゲット基本イメージタイルに基づいて前記第1解像度のイメージを出力する動作をさらに含むことができる。
【0007】
前記仮想カメラの座標に基づいて前記仮想カメラの視点を決定する動作は、前記電子装置のユーザの入力に基づいて前記仮想カメラの座標を変更する動作と、前記変更された仮想カメラの座標に基づいて仮想カメラの視点を決定する動作とを含むことができる。
【0008】
前記イメージ出力方法は、前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルのうち少なくとも1つのターゲット詳細イメージタイルを決定する動作と、前記ターゲット詳細イメージタイルに関する情報を前記サーバに送信する動作と、前記サーバから前記ターゲット詳細イメージタイルに対応する第3解像度の複数の追加-詳細イメージタイルを受信する動作とをさらに含むことができる。
【0009】
前記イメージ出力方法は、前記仮想カメラが前記ターゲット詳細イメージタイルをズームインする場合、前記複数の追加-詳細イメージタイルに基づいて前記第3解像度のイメージを出力する動作をさらに含むことができる。
【0010】
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作は、前記仮想カメラの座標又は前記仮想カメラの視点が変更された場合、変更された前記仮想カメラの座標又は前記仮想カメラの視点に基づいて前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを再決定する動作を含むことができる。
【0011】
前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作は、前記ターゲット基本イメージタイルに対応する前記第2解像度の複数の詳細イメージタイルが格納されているか否かを決定する動作と、前記第2解像度の複数の詳細イメージタイルが格納されていない場合、前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作とを含むことができる。
【0012】
一実施形態に係るイメージを出力する方法を行う電子装置は、イメージを出力するプログラムが記録されたメモリと、前記プログラムを行うプロセッサとを含み、前記プログラムは、仮想座標系に基づいて設定されるグラフィック空間に対して、予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、前記仮想座標系上に仮想カメラの座標を設定する動作と、前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作と、前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作とを行う。
【0013】
一実施形態に係るユーザにイメージを出力するシステムによって実行されるイメージ出力方法は、前記システムのユーザ端末が仮想座標系に基づいて設定されるグラフィック空間に対して、予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、前記ユーザ端末が前記仮想座標系上に仮想カメラの座標を設定する動作と、前記ユーザ端末が前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、前記ユーザ端末が前記ターゲット基本イメージタイルに関する情報を前記システムのサーバに送信する動作と、前記ユーザ端末が前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作とを含む。
【発明の効果】
【0014】
本発明によると、ユーザに高解像度のイメージを迅速に提供する方法及び装置を提供することができる。
【図面の簡単な説明】
【0015】
【
図1】一例に係るグラフィック空間に基づいてユーザにイメージを提供する方法を示す。
【
図3】一実施形態に係るイメージ出力方法のフローチャートである。
【
図4】一例に係る基本イメージタイル、詳細イメージタイル及び追加-詳細イメージタイルを示す。
【
図5】一例に係る仮想カメラの視点に基づいてターゲット基本イメージタイルを決定する方法のフローチャートである。
【
図6】一例に係る仮想カメラの視点による切頭体情報を示す。
【
図7】一例に係るユーザの入力に基づいて仮想カメラの視点を決定する方法のフローチャートである。
【
図8】一例に係るユーザに追加-詳細イメージタイルに基づいて第3解像度のイメージを出力する方法のフローチャートである。
【
図9】一例に係るターゲット基本イメージタイルに関する情報を送信する方法のフローチャートである。
【発明を実施するための形態】
【0016】
本明細書で用いる用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0017】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0018】
また、添付図面を参照して説明することにおいて、図面符号に関係なく、同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略することにする。実施形態の説明において、関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にするものと判断される場合、その詳細な説明を省略する。
【0019】
図1は、一例に係るグラフィック空間に基づいてユーザにイメージを提供する方法を示す。
【0020】
一実施形態によれば、様々な目的のために予め生成されたグラフィック空間100(又は、仮想空間)内にユーザの視点に対応する仮想カメラ110を配置し、仮想カメラ110の視点130によるグラフィック空間の場面(scene)をユーザにイメージ140に提供する方法が示されている。ユーザは、電子装置10を介してグラフィック空間100に進入することができる。例えば、ユーザは、ゲーム又は旅行のような様々な目的のためのサービスによって予め生成されたグラフィック空間100が提供され得る。
【0021】
一実施形態によれば、サービスは電子装置10とオンラインに接続されているサーバ(図示せず)を介してユーザに提供される。グラフィック空間100は、予め設定された仮想座標系によって生成されてもよい。
【0022】
例えば、仮想座標系は、x軸、y軸及びz軸に表現される3次元座標系であってもよく、グラフィック空間100は、3次元座標系に基づいて6面体(例えば、キューブ)の形態に生成されてもよい。サーバは、予め生成(又は、撮影)された1つ以上のイメージに基づいて、グラフィック空間100を生成することができる。例えば、予め生成された1つ以上のイメージは、現実の場面を撮影したパノラマイメージであってもよい。パノラマイメージを6部分に分類し、分類された部分に基づいてグラフィック空間100が生成される。パノラマイメージは高画質であり得る。
【0023】
異なる例として、仮想座標系は球状の座標系に表現され、グラフィック空間100は、球状の座標系に基づいて球状に生成されてもよい。ただし、仮想座標系及びグラフィック空間100が記載された実施形態に限定されない。
【0024】
高画質のイメージで生成されたグラフィック空間100が電子装置10で実現されるためには、電子装置10は、サーバからグラフィック空間100を構成している部分イメージを受信し、部分イメージに基づいてグラフィック空間100を再構成することができる。電子装置10は、電子装置10で再構成されたグラフィック空間100内に仮想カメラ110を設定し、それに基づいてユーザにグラフィック空間100に対するイメージ140をユーザに提供することができる。
【0025】
電子装置10がグラフィック空間100を再構成するためには、サーバからグラフィック空間100を構成している部分イメージを受信しなければならないが、高画質の部分イメージをそのまま受信する場合、電子装置10が受信しなければならないデータ量が増加し、これによってイメージ出力が遅延されるという原因になる恐れがある。
【0026】
以下、
図2~
図9を参照してユーザに遅延なしにグラフィック空間100のイメージを出力する方法に対して詳細に説明される。
【0027】
【0028】
電子装置200は、通信部210、プロセッサ220及びメモリ230を含む。例えば、電子装置200は、
図1を参照して上述した電子装置10であってもよい。電子装置10は、パソコン(personal computer)、モバイル装置、スマートフォンであってもよいが、記載された実施形態に限定されない。
【0029】
通信部210は、プロセッサ220及びメモリ230に接続されてデータを送受信する。通信部210は、外部の他の装置に接続されてデータを送受信することができる。以下で、「A」を送受信するという表現は、「Aを示す情報(information)又はデータ」を送受信することを示す。
【0030】
通信部210は、電子装置200内の回路網に実現されることができる。例えば、通信部210は、内部バス及び外部バスを含んでもよい。異なる例として、通信部210は、電子装置200と外部装置とを接続する要素であってもよい。通信部210はインターフェースであってもよい。通信部210は、外部の装置からデータを受信し、プロセッサ220及びメモリ230にデータを送信する。
【0031】
プロセッサ220は、通信部210が受信したデータ及びメモリ230に格納されたデータを処理する。「プロセッサ」は、目的とする動作(desired operations)を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたデータ処理装置である。例えば、目的とする動作は、プログラムに含まれたコード(code)又は命令(instructions)を含んでもよい。例えば、ハードウェアで具現されたデータ処理装置は、マイクロプロセッサー(microprocessor)、中央処理装置(central processing unit)、プロセッサコア(processor core)、マルチ-コアプロセッサ(multi-core processor)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)を含んでもよい。
【0032】
プロセッサ220は、メモリ(例えば、メモリ230)に格納されているコンピュータで読込み可能なコード(例えば、ソフトウェア)及びプロセッサ220によって誘発された命令を実行する。
【0033】
メモリ230は、通信部210が受信したデータ及びプロセッサ220が処理したデータを格納する。例えば、メモリ230は、プログラム(又は、アプリケーション、ソフトウェア)を格納することができる。格納されるプログラムは、ユーザがイメージを出力できるようにコーディングされ、プロセッサ220によって実行可能なシンタックス(syntax)の集合であってもよい。
【0034】
一側面によれば、メモリ230は、1つ以上の揮発性メモリ、不揮発性メモリ及びRAM(Random Access Memory)、フラッシュメモリ、ハードディスクドライブ及び光学ディスクドライブを含んでもよい。
【0035】
メモリ230は、電子装置200を動作させる命令語セット(例えば、ソフトウェア)を格納する。電子装置200を動作させる命令語セットは、プロセッサ220によって実行される。
【0036】
通信部210、プロセッサ220及びメモリ230に対して、以下の
図3~
図9を参照して詳細に説明される。
【0037】
図3は、一実施形態に係るイメージ出力方法のフローチャートである。
【0038】
一実施形態によれば、イメージ出力システムは
図2を参照して上述した電子装置200及び電子装置と接続されたサーバを含む。
【0039】
以下の動作310~370は、電子装置200によって実行されることができる。
【0040】
動作310において、電子装置200は、仮想座標系に基づいて設定されるグラフィック空間に対して予め設定された第1解像度の複数の基本イメージタイルをサーバからロード(又は、受信)する。サーバによって最初に生成されたグラフィック空間は、最も高い解像度(例えば、以下の第3解像度)のイメージタイルから構成されてもよいが、電子装置200により最初に再構成されるグラフィック空間は、低い解像度(例えば、第1解像度)の基本イメージタイルに基づいて再構成されてもよい。第1解像度は、512ピクセル×512ピクセルであってもよい。電子装置200は、低い解像度の基本イメージタイルをサーバから受信することで、グラフィック空間を再構成するための時間遅延を減少させ得る。複数の基本イメージタイルについては、以下の
図4を参照して詳細に説明する。
【0041】
動作320において、電子装置200は、仮想座標系上に仮想カメラの座標を設定する。仮想カメラは、グラフィック空間上に位置するユーザの目の位置に対応する。例えば、仮想カメラの座標は、予め設定されたデフォルト座標であってもよい。異なる例として、仮想カメラの座標は、ユーザの入力に基づいて調整されてもよい。
【0042】
動作330において、電子装置200は、仮想カメラの座標に基づいて複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する。ターゲット基本イメージタイルは、仮想カメラを介してユーザが注視している方向に対応する基本イメージタイルである。ターゲット基本イメージタイルを決定する方法については、以下の
図5~
図7を参照して詳細に説明する。
【0043】
動作340において、電子装置200は、仮想カメラの切頭体情報及びターゲット基本イメージタイルに基づいて第1解像度のイメージを出力する。仮想カメラの切頭体情報について、下記の
図6を参照して詳細に説明する。
【0044】
一側面によれば、電子装置200は、仮想カメラの視点に対応するグラフィック空間の場面をレンダリングすることで第1解像度のイメージを生成し、生成されたイメージを電子装置200のディスプレイを介してユーザに出力することができる。
【0045】
動作350において、電子装置200は、ターゲット基本イメージタイルに関する情報をサーバに送信する。現在の出力されるイメージは第1解像度であるため、ユーザは、現在の注視(又は、出力)している場面を詳細に見るために、後でズームインする可能性がある。実際にユーザがズームインを行った後、電子装置200がターゲット基本イメージタイルに関する情報をサーバに送信する場合、ユーザに解像度の高いイメージが表示されるまでの遅延が生じることがある。このような遅延を防止するために、電子装置200は、ユーザがズームインを行う前に予めターゲット基本イメージタイルに関する情報をサーバに送信し、ターゲット基本イメージタイルに対応する第2解像度の詳細イメージタイルを受信することができる。
【0046】
動作360において、電子装置200は、サーバからターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する。第2解像度は、第1解像度よりも高い解像度であってもよい。
【0047】
動作370において、電子装置200は、仮想カメラがターゲット基本イメージタイルをズームインする場合、サーバから予め受信した複数の詳細イメージタイルに基づいて第2解像度のイメージを出力する。
【0048】
一側面によれば、電子装置200は、ズームインされた仮想カメラの視点に対応するグラフィック空間の場面をレンダリングすることで第2解像度のイメージを生成し、生成されたイメージを電子装置200のディスプレイを介してユーザに出力することができる。仮想カメラがズームインをする前に、予め受信された複数の詳細イメージタイルに基づいて第2解像度のイメージが生成及び出力されるため、ユーザが感じるイメージの出力遅延は著しく減少する。
【0049】
一実施形態によれば、第2解像度のイメージが出力されている状態(即ち、ズームイン状態)、ユーザは、仮想カメラの座標又は視点を変更することができる。変更された仮想カメラの座標又は視点に対応する基本イメージタイルが、動作330で決定されたターゲット基本イメージタイルとは異なる場合、新しいターゲット基本イメージタイルに基づいて動作340が再び実行できる。一例として、第2解像度のイメージが出力されている間に、注視される基本イメージタイルが変更された場合、ズームアウト(zoom out)されて第1解像度のイメージが出力される。前記の実施形態とは異なり、カメラの座標又は視点が一部変更されても、注視される基本イメージタイルが変更されない場合、第2解像度のイメージが継続的に出力され得る。即ち、カメラの座標又は視点が変更されることにより出力される第2解像度のイメージは、カメラの座標又は視点が変更される前のイメージとは異なるイメージであるが、解像度は同一である。
【0050】
図4は、一例に係る基本イメージタイル、詳細イメージタイル及び追加-詳細イメージタイルを示す。
【0051】
一実施形態に係る、電子装置200によって再構成されたグラフィック空間の一部分を構成している複数の基本イメージタイル400が示されている。例えば、グラフィック空間がキューブの形態である場合、複数の基本イメージタイル400はキューブの一面を構成することができる。
【0052】
一実施形態によれば、サーバには、複数の基本イメージタイル400のうち第1基本イメージタイル401に対応する複数の詳細イメージタイル410が格納されている。複数の詳細イメージタイル410は、第1詳細イメージタイル411、第2詳細イメージタイル412、第3詳細イメージタイル413、及び第4詳細イメージタイル414を含む。複数の詳細イメージタイル410のそれぞれは第2解像度を有する。
【0053】
例えば、
図3を参照して上述した動作330において、電子装置200がターゲット基本イメージタイルとして第1基本イメージタイル401に関する情報をサーバに送信し、これに対してサーバは、第1基本イメージタイル401に対応する複数の詳細イメージタイル410を電子装置200に送信することができる。
【0054】
さらに、一実施形態によれば、サーバには、複数の詳細イメージタイル410のうち、第1詳細イメージタイル411に対応する複数の追加-詳細イメージタイル420が格納され得る。複数の追加-詳細イメージタイル420は、第1追加-詳細イメージタイル421、第2追加-詳細イメージタイル422、第3追加-詳細イメージタイル423及び第4追加-詳細イメージタイル424を含む。複数の追加-詳細イメージタイル410のそれぞれは、第3解像度を有することができる。第3解像度は、第2解像度よりも高い解像度であってもよい。
【0055】
サーバが電子装置200に複数の追加-詳細イメージタイル420を送信する実施形態について、以下の
図8を参照して詳細に説明する。
【0056】
図5は、一例に係る仮想カメラの視点に基づいてターゲット基本イメージタイルを決定する方法のフローチャートである。
【0057】
一実施形態によれば、
図3を参照して上述した動作330は、下記の動作510~530を含む。
【0058】
動作510において、電子装置200は、仮想カメラの座標に基づいてグラフィック空間の仮想座標系内の仮想カメラの視点を決定する。仮想カメラの視点は、カメラの座標を基準としてカメラのレンズが向かっている方向又は光軸を示す。
【0059】
動作520において、電子装置200は、仮想カメラの視点に対する切頭体情報を算出する。切頭体に対して、以下の
図6を参照して詳細に説明される。
【0060】
動作530において、電子装置200は、切頭体情報に基づいて複数の基本イメージタイルのうち、少なくとも1つのターゲット基本イメージタイルを決定する。例えば、仮想カメラによって撮影されるグラフィック空間の場面に対応する基本イメージタイルがターゲット基本イメージタイルとして決定されてもよい。
【0061】
図6は、一例に係る仮想カメラの視点による切頭体情報を示す。
【0062】
グラフィック空間の仮想座標系内に設定されている仮想カメラの座標610に基づいて、四角錐の立体620が定義される。座標610に対するイメージのために四角錐の立体内に第1平面630及び第2平面640が設定され、第1平面630及び第2平面640に基づいて切頭体650が生成される。
【0063】
一実施形態によれば、第1平面630及び第2平面640のうち少なくとも1つは、仮想カメラのレンズの焦点距離のような内部パラメータに基づいて設定され、記載された実施形態に限定されない。
【0064】
図7は、一例に係るユーザの入力に基づいて仮想カメラの視点を決定する方法のフローチャートである。
【0065】
一実施形態によれば、
図5を参照して上述した動作510は、以下の動作710及び720を含む。
【0066】
動作710において、電子装置200は、ユーザの入力に基づいて仮想カメラの座標を変更する。例えば、ユーザは、電子装置200のユーザインターフェースを使用して仮想カメラの座標又は仮想カメラの視点を変更する命令を入力することができる。ユーザインターフェースは、ジャイロセンサ、キーボード、マウス、及び/又はタッチパネルを含んでもよいが、記載された実施形態に限定されない。
【0067】
動作720において、電子装置200は、変更された仮想カメラの座標に基づいて仮想カメラの視点を決定する。
【0068】
一実施例によれば、動作720が行われた場合、動作520及び530を通じて変更された仮想カメラの座標又は仮想カメラの視点に基づいて、複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを再決定することができる。
【0069】
一実施形態によれば、ユーザの入力に基づいて仮想カメラの視点が変更されることにより、ユーザに提供される第1解像度のイメージが再びレンダリングされることができる。
【0070】
図8は、一実氏形態に係るユーザに追加-詳細イメージタイルに基づいて第3解像度のイメージを出力する方法のフローチャートである。
【0071】
一実施形態によれば、
図3を参照して上述した動作360が実行された後、以下の動作810~840がさらに実行され得る。
【0072】
一実施形態によれば、動作810~830は、
図3を参照して上述した動作370と独立的かつ並列的に実行されてもよい。即ち、ユーザに第2解像度のイメージが出力される間に、動作810~830が実行され得る。
【0073】
動作810において、電子装置200は、仮想カメラがターゲット基本イメージタイルをズームインする場合、ターゲット基本イメージタイルに対応する複数の詳細イメージタイルのうち少なくとも1つのターゲット詳細イメージタイルを決定する。例えば、電子装置200は、複数の詳細イメージタイルのうち仮想カメラの座標、仮想カメラの視点、及び仮想カメラの内部パラメータに基づいて仮想カメラを介してユーザが注視している方向に対応する詳細イメージタイルをターゲット詳細イメージタイルとして決定することができる。
【0074】
動作820において、電子装置200は、ターゲット詳細イメージタイルに関する情報をサーバに送信する。現在出力されるイメージは第2解像度であるため、ユーザは、現在の注視(又は、出力)している場面を詳細に見るために、後で追加的なズームインする可能性がある。実際に、ユーザが追加的なズームインした後に電子装置200がターゲット詳細イメージタイルに関する情報をサーバに送信する場合、ユーザに解像度のさらに高いイメージが表示されるまでの遅延が発生し得る。このような遅延を防止するために、電子装置200は、ユーザが追加的なズームインを行う前に予めターゲット詳細イメージタイルに関する情報をサーバに送信し、ターゲット詳細イメージタイルに対応する第3解像度の追加-詳細イメージタイルを受信することができる。
【0075】
動作830において、電子装置200は、サーバからターゲット詳細イメージタイルに対応する第3解像度の複数の追加-詳細イメージタイルを受信する。第3解像度は、第2解像度よりも高い解像度であってもよい。
【0076】
動作840において、電子装置200は、仮想カメラがターゲット詳細イメージタイルを追加的にズームインする場合、サーバから予め受信した複数の追加-詳細イメージタイルに基づいて第3解像度のイメージを出力する。
【0077】
一側面によれば、電子装置200は、追加的にズームインされた仮想カメラの視点に対応するグラフィック空間の場面をレンダリングすることで第3解像度のイメージを生成し、生成されたイメージを電子装置200のディスプレイを介してユーザに出力する。仮想カメラが追加的なズームインをする前に、予め受信された複数の追加-詳細イメージタイルに基づいて第3解像度のイメージが生成及び出力されるため、ユーザが感じるイメージの出力遅延が著しく減少する。
【0078】
図9は、一例に係るターゲット基本イメージタイルに関する情報を送信する方法のフローチャートである。
【0079】
一実施形態によれば、
図3を参照して上述した動作350は下の動作910及び920を含んでもよい。
【0080】
動作910において、電子装置200は、ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルが格納されているか否かを決定する。例えば、仮想カメラを介してユーザが以前にターゲット基本イメージタイルを注視することによって、サーバから予め受信したターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルが電子装置200に格納されてもよい。
【0081】
動作920において、電子装置200は、ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルが電子装置200に格納されていない場合、ターゲット基本イメージタイルに関する情報をサーバに送信する。
【0082】
ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルが電子装置200に格納されている場合、サーバから複数の詳細イメージタイルを再び受信する必要がないため、動作370が直ちに実行され得る。
【0083】
以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
【0084】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【0085】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0086】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0087】
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。
[態様1]
電子装置によって実行されるイメージ出力方法は、
仮想座標系に基づいて設定されるグラフィック空間に対して予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、
前記仮想座標系上に仮想カメラの座標を設定する動作と、
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作と、
前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、
前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作と、
を含むイメージ出力方法。
[態様2]
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作は、
前記仮想カメラの座標に基づいて前記仮想カメラの視点を決定する動作と、
前記仮想カメラの視点に対する切頭体情報を算出する動作と、
前記切頭体情報に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
を含む、態様1に記載のイメージ出力方法。
[態様3]
前記切頭体情報及び前記ターゲット基本イメージタイルに基づいて前記第1解像度のイメージを出力する動作をさらに含む、態様2に記載のイメージ出力方法。
[態様4]
前記仮想カメラの座標に基づいて前記仮想カメラの視点を決定する動作は、
前記電子装置のユーザの入力に基づいて前記仮想カメラの座標を変更する動作と、
前記変更された仮想カメラの座標に基づいて仮想カメラの視点を決定する動作と、
を含む、態様2に記載のイメージ出力方法。
[態様5]
前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルのうち少なくとも1つのターゲット詳細イメージタイルを決定する動作と、
前記ターゲット詳細イメージタイルに関する情報を前記サーバに送信する動作と、
前記サーバから前記ターゲット詳細イメージタイルに対応する第3解像度の複数の追加-詳細イメージタイルを受信する動作と、
をさらに含む、態様1に記載のイメージ出力方法。
[態様6]
前記仮想カメラが前記ターゲット詳細イメージタイルをズームインする場合、前記複数の追加-詳細イメージタイルに基づいて前記第3解像度のイメージを出力する動作をさらに含む、態様5に記載のイメージ出力方法。
[態様7]
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作は、前記仮想カメラの座標又は前記仮想カメラの視点が変更された場合、変更された前記仮想カメラの座標又は前記仮想カメラの視点に基づいて前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを再決定する動作を含む、態様1に記載のイメージ出力方法。
[態様8]
前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作は、
前記ターゲット基本イメージタイルに対応する前記第2解像度の複数の詳細イメージタイルが格納されているか否かを決定する動作と、
前記第2解像度の複数の詳細イメージタイルが格納されていない場合、前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作と、
を含む、態様1に記載のイメージ出力方法。
[態様9]
態様1~態様8のいずれか一項に記載の方法を行うプログラムを収録したコンピュータで読み出し可能記録媒体。
[態様10]
イメージを出力する方法を行う電子装置は、
イメージを出力するプログラムが記録されたメモリと、
前記プログラムを行うプロセッサと、
を含み、
前記プログラムは、
仮想座標系に基づいて設定されるグラフィック空間に対して、予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、
前記仮想座標系上に仮想カメラの座標を設定する動作と、
前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
前記ターゲット基本イメージタイルに関する情報をサーバに送信する動作と、
前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、
前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作と、
を行う、電子装置。
[態様11]
ユーザにイメージを出力するシステムによって実行されるイメージ出力方法は、
前記システムのユーザ端末が仮想座標系に基づいて設定されるグラフィック空間に対して、予め設定された第1解像度の複数の基本イメージタイルをロードする動作と、
前記ユーザ端末が前記仮想座標系上に仮想カメラの座標を設定する動作と、
前記ユーザ端末が前記仮想カメラの座標に基づいて、前記複数の基本イメージタイルのうち少なくとも1つのターゲット基本イメージタイルを決定する動作と、
前記ユーザ端末が前記ターゲット基本イメージタイルに関する情報を前記システムのサーバに送信する動作と、
前記ユーザ端末が前記サーバから前記ターゲット基本イメージタイルに対応する第2解像度の複数の詳細イメージタイルを受信する動作と、
前記仮想カメラが前記ターゲット基本イメージタイルをズームインする場合、前記複数の詳細イメージタイルに基づいて前記第2解像度のイメージを出力する動作と、
を含む、イメージ出力方法。