特許 6427504 ユーザ端末及びそのイメージ表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6427504

(24)【登録日】2018年11月2日

(45)【発行日】2018年11月21日

(54)【発明の名称】ユーザ端末及びそのイメージ表示方法

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20181112BHJP

   G06F 3/0484 20130101ALI20181112BHJP

   G06F 3/0488 20130101ALI20181112BHJP

   G09G 5/377 20060101ALI20181112BHJP

   G09G 5/00 20060101ALI20181112BHJP

【ＦＩ】

   G06F3/0481 150

   G06F3/0484 120

   G06F3/0488

   G09G5/36 520M

   G09G5/00 510H

【請求項の数】14

【全頁数】22

(21)【出願番号】特願2015-557942(P2015-557942)

(86)(22)【出願日】2014年2月14日

(65)【公表番号】特表2016-511898(P2016-511898A)

(43)【公表日】2016年4月21日

(86)【国際出願番号】KR2014001205

(87)【国際公開番号】WO2014126407

(87)【国際公開日】20140821

【審査請求日】2017年2月13日

(31)【優先権主張番号】61/765,147

(32)【優先日】2013年2月15日

(33)【優先権主張国】US

(31)【優先権主張番号】10-2013-0114316

(32)【優先日】2013年9月26日

(33)【優先権主張国】KR

(31)【優先権主張番号】61/889,234

(32)【優先日】2013年10月10日

(33)【優先権主張国】US

(31)【優先権主張番号】10-2014-0008674

(32)【優先日】2014年1月24日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100154922

【弁理士】

【氏名又は名称】崔 允辰

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】ヨン−ミン・カク

(72)【発明者】

【氏名】チャン−ミン・パク

(72)【発明者】

【氏名】スン−ホ・シン

(72)【発明者】

【氏名】ジュン−ソク・イ

(72)【発明者】

【氏名】カン−シク・チェ

(72)【発明者】

【氏名】ジン−ヨン・ハン

【審査官】 原 秀人

(56)【参考文献】

【文献】 欧州特許出願公開第０２４３７１４２（ＥＰ，Ａ２）

【文献】 特開２００３−２１６２９５（ＪＰ，Ａ）

【文献】 特開２０１１−０１８３５６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００５９７７５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／００８５３７９（ＵＳ，Ａ１）

【文献】 Ｃｈａｐｔｅｒ２ エンタメ，ベストアプリ３６５ ２０１３，日本，株式会社インプレスジャパン，２０１２年１２月２１日，p. 61

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

(57)【特許請求の範囲】

【請求項1】

ユーザ端末のイメージ表示方法であって、
互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示するステップと、
ユーザ入力が感知されると、前記ユーザ入力に応じて前記複数のディスプレイレイヤのうち、少なくとも一つのディスプレイレイヤのデプスを変更して、前記ユーザ入力に応答するイメージ効果を提供するステップとを含み、
前記複数のディスプレイレイヤは、
イメージをディスプレイする第１ディスプレイレイヤ及び前記第１ディスプレイレイヤ上に水表面の透明度を有する第２ディスプレイレイヤを含むイメージ表示方法。

【請求項2】

前記第１ディスプレイレイヤは、固定されたデプスを有することを特徴とし、
前記第２ディスプレイレイヤは、前記ユーザ入力に応じてデプスが変更されることを特徴とする請求項１に記載のイメージ表示方法。

【請求項3】

前記提供するステップは、
前記ユーザ入力が感知されると、前記第２ディスプレイレイヤのうち、前記ユーザ入力が感知された地点のデプスを変更するステップと、
前記第１ディスプレイレイヤ及び前記変更されたデプスを有する第２ディスプレイレイヤを利用して、前記ユーザ入力が感知された地点に前記ユーザ入力による物理的作用を表現するステップとを含むことを特徴とする請求項２に記載のイメージ表示方法。

【請求項4】

前記表現するステップは、
前記第１ディスプレイレイヤ及び前記変更されたデプスを有する第２ディスプレイレイヤを利用して、前記ユーザ入力が感知された地点に屈折率及び反射率を計算して、前記計算された屈折率及び反射率に応じて前記ユーザ入力による物理的作用を表現することを特徴とする請求項３に記載のイメージ表示方法。

【請求項5】

前記イメージ効果は、
リップル効果（ｒｉｆｆｌｅ ｅｆｆｅｃｔ）であることを特徴とする請求項４に記載のイメージ表示方法。

【請求項6】

ディスプレイ画面が複数のディスプレイアイテムを表示する画面である場合、
前記第１ディスプレイレイヤのうち、前記複数のディスプレイアイテムが表示される領域は、高いデプス値を有し、前記第１ディスプレイレイヤのうち、前記複数のディスプレイアイテムが表示されない領域は、低いデプス値を有することを特徴とする請求項１に記載のイメージ表示方法。

【請求項7】

前記第２ディスプレイレイヤは、前記複数のディスプレイアイテムが表示される領域のデプス値と前記複数のディスプレイアイテムが表示されない領域のデプス値との間のデプス値を有することを特徴とする請求項６に記載のイメージ表示方法。

【請求項8】

前記提供するステップは、
前記複数のディスプレイアイテムのうちの何れか一つにユーザ入力が感知された場合、前記第１ディスプレイレイヤのうち、前記ユーザ入力が感知された地点のデプス値を前記第２ディスプレイレイヤのデプス値より低くして、前記ユーザ入力が感知されたディスプレイアイテムが水に浸るイメージ効果を提供することを特徴とする請求項７に記載のイメージ表示方法。

【請求項9】

前記ユーザ入力が前記ユーザ端末を傾けるユーザ入力である場合、
前記提供するステップは、
前記ユーザ端末の傾きの程度に応じて、前記複数のディスプレイレイヤのうちの何れか一つのディスプレイレイヤのデプスを変更して、前記ユーザ入力に応答するイメージ効果を提供することを特徴とする請求項１に記載のイメージ表示方法。

【請求項10】

前記複数のディスプレイレイヤは、
重力効果を表す第３ディスプレイレイヤを更に含むことを特徴とする請求項９に記載のイメージ表示方法。

【請求項11】

前記提供するステップは、
前記第３ディスプレイレイヤの領域のうち、前記ユーザ端末が傾けられる方向の反対方向に位置する領域のデプス値が増加するように、前記第３ディスプレイレイヤのデプスを変更することを特徴とする請求項１０に記載のイメージ表示方法。

【請求項12】

前記提供するステップは、
前記第３ディスプレイレイヤのデプス値が前記第２ディスプレイレイヤのデプス値より低い領域にディスプレイされるイメージだけが水に浸るイメージ効果を提供することを特徴とする請求項１１に記載のイメージ表示方法。

【請求項13】

前記提供するステップは、
前記第２ディスプレイレイヤのうち、予め設定された区間のデプス値を有する領域にコーステック（ｃａｕｓｔｉｃ）効果を提供するステップを含むことを特徴とする請求項１０に記載のイメージ表示方法。

【請求項14】

互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示するディスプレイ部と、
ユーザ入力を感知するユーザ入力部と、
前記ユーザ入力部を介してユーザ入力が感知されると、前記ユーザ入力に応じて前記複数のディスプレイレイヤのうち、少なくとも一つのディスプレイレイヤのデプスを変更して、前記ユーザ入力に応答するイメージ効果を提供するように、前記ディスプレイ部を制御する制御部とを備え、
前記複数のディスプレイレイヤは、
イメージをディスプレイする第１ディスプレイレイヤ及び前記第１ディスプレイレイヤ上に水表面の透明度を有する第２ディスプレイレイヤを含むユーザ端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ端末及びそのイメージ表示方法に関し、さらに詳細には、複数のディスプレイレイヤを利用してイメージを表示するユーザ端末及びそのイメージ表示方法に関する。

【背景技術】

【0002】

近来では、多様なユーザ端末（例えば、スマートフォンまたはタブレットＰＣなど）が使用されている。このようなユーザ端末は、ほとんどがユーザ入力を感知するためのタッチスクリーンを含んでいる。

【0003】

一方、ユーザ端末のタッチスクリーンにユーザ入力が感知された場合、従来のユーザ端末は、ユーザ入力が感知された地点に２次元的なイメージ効果だけを提供した。従来のユーザ端末が２次元的なイメージ効果だけを提供することによって、従来のユーザ端末が提供するイメージ効果は、非事実的かつ不自然的な限界を有するようになる。
そのため、ユーザ入力に応答してさらに事実的かつ自然なイメージ効果を提供するための方案を摸索することが求められる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】欧州特許出願公開第２４３７１４２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、上述した問題点を解決するために案出されたものであって、本発明の目的は、互いに異なるデプスを有する複数のディスプレイレイヤを利用して、ユーザ入力に応答する３次元的なイメージ効果を提供できるユーザ端末及びそのイメージ表示方法を提供することにある。

【課題を解決するための手段】

【0006】

上記の目的を達成すべく、本発明の一実施の形態にかかる、ユーザ端末のイメージ表示方法は、互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示するステップと、ユーザ入力が感知されると、前記ユーザ入力に応じて前記複数のディスプレイレイヤのうち、少なくとも一つのディスプレイレイヤのデプスを変更して、前記ユーザ入力に応答するイメージ効果を提供するステップとを含む。

【0007】

そして、前記複数のディスプレイレイヤは、イメージをディスプレイする第１ディスプレイレイヤ及び前記第１ディスプレイレイヤ上に水表面の透明度を有する第２ディスプレイレイヤを含むことができる。

【0008】

また、前記第１ディスプレイレイヤは、固定されたデプスを有することを特徴とし、前記第２ディスプレイレイヤは、前記ユーザ入力に応じてデプスが変更されてよい。

【0009】

そして、前記提供するステップは、前記ユーザ入力が感知されると、前記第２ディスプレイレイヤのうち、前記ユーザ入力が感知された地点のデプスを変更するステップと、前記第１ディスプレイレイヤ及び前記変更されたデプスを有する第２ディスプレイレイヤを利用して、前記ユーザ入力が感知された地点に前記ユーザ入力による物理的作用を表現するステップとを含むことができる。

【0010】

また、前記表現するステップは、前記第１ディスプレイレイヤ及び前記変更されたデプスを有する第２ディスプレイレイヤを利用して、前記ユーザ入力が感知された地点に屈折率及び反射率を計算して、前記計算された屈折率及び反射率に応じて前記ユーザ入力による物理的作用を表現することができる。
そして、前記イメージ効果は、リップル効果（ｒｉｆｆｌｅ ｅｆｆｅｃｔ）であり得る。

【0011】

また、ディスプレイ画面が複数のディスプレイアイテムを表示する画面である場合、前記第１ディスプレイレイヤのうち、前記複数のディスプレイアイテムが表示される領域は、高いデプス値を有し、前記第１ディスプレイレイヤのうち、前記複数のディスプレイアイテムが表示されない領域は、低いデプス値を有することができる。

【0012】

そして、前記第２ディスプレイレイヤは、前記複数のディスプレイアイテムが表示される領域のデプス値と前記複数のディスプレイアイテムが表示されない領域のデプス値との間のデプス値を有することができる。

【0013】

また、前記提供するステップは、前記複数のディスプレイアイテムのうちの何れか一つにユーザ入力が感知された場合、前記第１ディスプレイレイヤのうち、前記ユーザ入力が感知された地点のデプス値を前記第２ディスプレイレイヤのデプス値より低くして、前記第１ユーザ入力が感知されたディスプレイアイテムが水に浸るイメージ効果を提供することができる。

【0014】

一方、前記目的を達成すべく、本発明の一実施の形態にかかる、ユーザ端末は、互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示するディスプレイ部と、ユーザ入力を感知するユーザ入力部と、前記ユーザ入力部を介してユーザ入力が感知されると、前記ユーザ入力に応じて前記複数のディスプレイレイヤのうち、少なくとも一つのディスプレイレイヤのデプスを変更して、前記ユーザ入力に応答するイメージ効果を提供するように、前記ディスプレイ部を制御する制御部とを備える。

【0015】

そして、前記複数のディスプレイレイヤは、イメージをディスプレイする第１ディスプレイレイヤ及び前記第１ディスプレイレイヤ上に水表面の透明度を有する第２ディスプレイレイヤを含むことができる。

【0016】

また、前記第１ディスプレイレイヤは、固定されたデプスを有することを特徴とし、前記第２ディスプレイレイヤは、前記ユーザ入力に応じてデプスが変更されてよい。

【0017】

そして、前記制御部は、前記ユーザ入力部を介して前記ユーザ入力が感知されると、前記第２ディスプレイレイヤのうち、前記ユーザ入力が感知された地点のデプスを変更し、前記第１ディスプレイレイヤ及び前記変更されたデプスを有する第２ディスプレイレイヤを利用して、前記ユーザ入力が感知された地点に前記ユーザ入力による物理的作用を表現することができる。

【0018】

また、前記制御部は、前記第１ディスプレイレイヤ及び前記変更されたデプスを有する第２ディスプレイレイヤを利用して、前記ユーザ入力が感知された地点に屈折率及び反射率を計算して、前記計算された屈折率及び反射率に応じて前記ユーザ入力による物理的作用を表現することができる。
そして、前記イメージ効果は、リップル効果であり得る。

【0019】

また、ディスプレイ画面が複数のディスプレイアイテムを表示する画面である場合、前記第１ディスプレイレイヤのうち、前記複数のディスプレイアイテムが表示される領域は、高いデプス値を有し、前記第１ディスプレイレイヤのうち、前記複数のディスプレイアイテムが表示されない領域は、低いデプス値を有することができる。

【0020】

そして、前記第２ディスプレイレイヤは、前記複数のディスプレイアイテムが表示される領域のデプス値と前記複数のディスプレイアイテムが表示されない領域のデプス値との間のデプス値を有することができる。

【0021】

また、前記制御部は、前記複数のディスプレイアイテムのうちの何れか一つにユーザ入力が感知された場合、前記第１ディスプレイレイヤのうち、前記ユーザ入力が感知された地点のデプス値を前記第２ディスプレイレイヤのデプス値より低くして、前記第１ユーザ入力が感知されたディスプレイアイテムが水に浸るイメージ効果を提供することができる。

【0022】

そして、前記ユーザ入力部は、前記ユーザ端末の傾けを感知するセンサをさらに含み、前記制御部は、前記センサを介して感知された前記ユーザ端末の傾きの程度に応じて、前記複数のディスプレイレイヤのうちの何れか一つのディスプレイレイヤのデプスを変更して、前記ユーザ入力に応答するイメージ効果を提供することができる。

【0023】

また、前記複数のディスプレイレイヤは、重力効果を表す第３ディスプレイレイヤ及び前記第４ディスプレイレイヤ上に予め設定された透明度を有する第２ディスプレイレイヤを含むことができる。

【0024】

そして、前記制御部は、第３ディスプレイレイヤの領域のうち、前記ユーザ端末が傾けられる方向の反対方向に位置する領域のデプス値が増加するように、前記第３ディスプレイレイヤのデプスを変更することができる。

【0025】

また、前記制御部は、前記第３ディスプレイレイヤのデプス値が前記第４ディスプレイレイヤのデプス値より低い領域にディスプレイされるイメージだけが水に浸るイメージ効果を提供することができる。

【0026】

そして、前記制御部は、前記第４ディスプレイレイヤのうち、予め設定された区間のデプス値を有する領域にコーステック（ｃａｕｓｔｉｃ）効果を提供することができる。

【0027】

また、前記制御部は、コーステックデプスマップを生成し、前記第４ディスプレイレイヤのデプス値を反転して、予め設定された区間のデプス値を有するコーステック領域を判断し、前記コーステックデプスマップと前記コーステック領域のデプス値とを補間して、コーステック効果を提供することができる。

【発明の効果】

【0028】

以上、本発明の多様な実施の形態によれば、互いに異なるデプスを有する複数のディスプレイレイヤを利用して、ユーザ入力に応答する３次元的なイメージ効果を提供できるユーザ端末及びそのイメージ表示方法を提供できる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施の形態にかかる、ユーザ端末の構成を簡略に示すブロック図である。

【図2】本発明の一実施の形態にかかる、ユーザ端末の構成を詳細に示すブロック図である。

【図3A】本発明の一実施の形態にかかる、第１ディスプレイレイヤ及び第１ディスプレイレイヤのデプスマップを示す図である。

【図3B】本発明の一実施の形態にかかる、第１ディスプレイレイヤ及び第１ディスプレイレイヤのデプスマップを示す図である。

【図4A】本発明の一実施の形態にかかる、ユーザ入力が感知された前及び後の第１ディスプレイレイヤ及び第２ディスプレイレイヤを示す図である。

【図4B】本発明の一実施の形態にかかる、ユーザ入力が感知された前及び後の第１ディスプレイレイヤ及び第２ディスプレイレイヤを示す図である。

【図5】本発明の一実施の形態にかかる、反射率及び屈折率に応じてディスプレイレイヤをレンダリングする方法を説明するための図である。

【図6】本発明の一実施の形態にかかる、スペキュラーハイライトを生成する方法を説明するための図である。

【図7A】本発明の一実施の形態にかかる、ユーザ入力に応答するリップル効果（ｒｉｐｐｌｅ ｅｆｆｅｃｔ）を説明するための図である。

【図7B】本発明の一実施の形態にかかる、ユーザ入力に応答するリップル効果（ｒｉｐｐｌｅ ｅｆｆｅｃｔ）を説明するための図である。

【図8A】本発明の他の実施の形態にかかる、複数のディスプレイアイテムがディスプレイされた場合、第１ディスプレイレイヤ及び第２ディスプレイレイヤを示す図である。

【図8B】本発明の他の実施の形態にかかる、複数のディスプレイアイテムがディスプレイされた場合、第１ディスプレイレイヤ及び第２ディスプレイレイヤを示す図である。

【図8C】本発明の他の実施の形態にかかる、複数のディスプレイアイテムがディスプレイされた場合、第１ディスプレイレイヤ及び第２ディスプレイレイヤを示す図である。

【図9A】本発明の他の実施の形態にかかる、ユーザ入力に応答する水に浸る効果を説明するための図である。

【図9B】本発明の他の実施の形態にかかる、ユーザ入力に応答する水に浸る効果を説明するための図である。

【図10】本発明の一実施の形態にかかる、ユーザ端末のイメージ表示方法を説明するためのフローチャートである。

【図11A】本発明の他の実施の形態にかかる、ユーザ端末の傾きの程度に応じて重力ディスプレイレイヤが変更される実施の形態を説明するための図である。

【図11B】本発明の他の実施の形態にかかる、ユーザ端末の傾きの程度に応じて重力ディスプレイレイヤが変更される実施の形態を説明するための図である。

【図11C】本発明の他の実施の形態にかかる、ユーザ端末の傾きの程度に応じて重力ディスプレイレイヤが変更される実施の形態を説明するための図である。

【図12】本発明の他の実施の形態にかかる、コーステック効果を説明するための図である。

【図13】本発明の他の実施の形態にかかる、ユーザ端末の傾きの程度に応じて水が流れるようなイメージ効果を提供することを説明するための図である。

【図14】本発明の他の実施の形態にかかる、ユーザ端末のイメージ表示方法を説明するためのフローチャートである。

【発明を実施するための形態】

【0030】

以下、図面を参照して、本発明についてさらに詳細に説明する。図１は、本発明が一実施の形態にかかる、ユーザ端末１００の構成を簡略に示すブロック図である。図１に示すように、ユーザ端末１００は、ディスプレイ部１１０、ユーザ入力部１２０及び制御部１３０を備える。このとき、ユーザ端末１００は、スマートフォンにより具現化されることができるが、これは一実施の形態に過ぎず、タブレットＰＣ、ノート型ＰＣ、デスクトップＰＣ、スマートＴＶなどのような多様な電子装置により具現化されることができる。

【0031】

ディスプレイ部１１０は、制御部１３０の制御により映像データを出力する。特に、ディスプレイ部１１０は、互いに異なるデプスを有する第１ディスプレイレイヤ及び第２ディスプレイレイヤを利用して、映像データを出力できる。

【0032】

このとき、第１ディスプレイレイヤは、イメージを表示するイメージディスプレイレイヤであって、固定されたデプスを有することができる。第２ディスプレイレイヤは、特定透明度（例えば、水表面の透明度）を有する半透明ディスプレイレイヤであって、ユーザ入力に応じてデプスが変更されてよい。したがって、ディスプレイ部１１０は、第１ディスプレイレイヤに表示されたイメージが水に浸ったような効果を表すことができる。また、ディスプレイ部１１０は、第２ディスプレイレイヤのデプスの変化に応じて反射率及び屈折率を計算し、計算された反射率及び屈折率に伴う物理的現象（例えば、スネルの法則またはスペキュラーハイライト）を適用して、第１ディスプレイレイヤの映像データを出力できる。

【0033】

ユーザ入力部１２０は、ユーザ端末１００を制御するためのユーザ入力を感知できる。このとき、ユーザ入力部１２０は、タッチスクリーンにより具現化されることができるが、これは一実施の形態に過ぎず、マウス、ポインティングデバイスなどのような他の入力装置により具現化されることができる。
また、ユーザ入力部１２０は、ユーザ端末１００の傾けを感知するセンサ（例えば、加速度センサ、ジャイロセンサ等）を含むことができる。
制御部１３０は、ユーザ入力部１２０を介して入力されたユーザ命令に従って、ユーザ端末１００の全般的な動作を制御する。

【0034】

特に、ディスプレイ部１１０が互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示する間に、ユーザ入力部１２０を介してユーザ入力が感知されると、制御部１３０は、ユーザ入力に応じて複数のディスプレイレイヤのうち、少なくとも一つのディスプレイレイヤのデプスを変更して、ユーザ入力に応答するイメージ効果を提供するようにディスプレイ部１１０を制御できる。

【0035】

具体的に、ユーザ入力部１２０を介してユーザ入力が感知されると、制御部１３０は、第２ディスプレイレイヤのうち、ユーザ入力が感知された地点のデプスを変更し、第１ディスプレイレイヤ及び変更されたデプスを有する第２ディスプレイレイヤを利用して、ユーザ入力が感知された地点にユーザ入力による物理的作用を表現できる。

【0036】

例えば、第２ディスプレイレイヤが水表面の透明度を有する半透明ディスプレイレイヤである場合、制御部１３０は、第１ディスプレイレイヤ及び変更されたデプスを有する第２ディスプレイレイヤを利用して、ユーザ入力が感知された地点の屈折率及び反射率を計算し、計算された屈折率及び反射率に応じてユーザ入力による物理的作用（例えば、スネルの法則、スペキュラーハイライト等）を表現できる。

【0037】

このとき、物理的作用により、制御部１３０は、ユーザ入力が感知された地点にリップル効果（ｒｉｆｆｌｅ ｅｆｆｅｃｔ）をディスプレイするようディスプレイ部１１０を制御できる。

【0038】

一方、ディスプレイ画面が複数のディスプレイアイテムを表示するウォールペーパー画面である場合、第１ディスプレイレイヤのうち、複数のディスプレイアイテムが表示される領域は、高いデプス値を有し、第１ディスプレイレイヤのうち、複数のディスプレイアイテムが表示されない領域は、低いデプス値を有することができる。また、第２ディスプレイレイヤは、複数のディスプレイアイテムが表示される領域のデプス値と複数のディスプレイアイテムが表示されない領域のデプス値との間のデプス値を有することができる。

【0039】

ディスプレイ部１１０が複数のディスプレイアイテムを表示するスタート画面をディスプレイする間に、複数のディスプレイアイテムのうち、何れか一つにユーザ入力が感知された場合、制御部１３０は、第１ディスプレイレイヤのうち、ユーザ入力が感知された地点のデプス値を第２ディスプレイレイヤのデプス値より低くして、第１ユーザ入力が感知されたディスプレイアイテムが水に浸るイメージ効果を提供できる。

【0040】

上述したような本発明の一実施の形態により、ユーザ端末１００は、ユーザ入力に応答して事実的かつ自然な３次元イメージ効果をユーザに提供できるようになる。
以下、図２ないし図９Ｂを参照して、ユーザ端末１００についてさらに詳細に説明する。

【0041】

図２は、本発明の一実施の形態にかかる、ユーザ端末２００の構成を詳細に示すブロック図である。図２に示すように、ユーザ端末２００は、通信部２１０、ディスプレイ部２２０、格納部２３０、ユーザ入力部２４０及び制御部２５０を備える。

【0042】

一方、図２は、ユーザ端末２００が通信機能、イメージ出力機能、イメージ効果提供機能などのように多様な機能を備えた装置である場合を例に挙げて、各種構成要素を総合的に示している。したがって、実施の形態によっては、図２に示す構成要素のうちの一部は、省略または変更されても良く、他の構成要素がさらに追加されても良い。

【0043】

通信部２１０は、多様な類型の通信方式に従って多様な類型の外部機器または外部のサーバと通信を行う構成である。通信部２１０は、ＷＩＦＩチップ、ブルートゥースチップ、ＮＦＣチップ、無線通信チップなどのような多様な通信チップを有することができる。このとき、ＷＩＦＩチップ、ブルートゥースチップ、ＮＦＣチップは、各々ＷｉＦｉ方式、ブルートゥース方式、ＮＦＣ方式により通信を行う。このうち、ＮＦＣチップは、１３５ｋＨｚ、１３．５６ＭＨｚ、４３３ＭＨｚ、８６０〜９６０ＭＨｚ、２．４５ＧＨｚなどのような多様なＲＦ−ＩＤ周波数帯域のうち、１３．５６ＭＨｚ帯域を使用するＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）方式により動作するチップを意味する。ＷＩＦＩチップまたはブルートゥースチップを利用する場合には、ＳＳＩＤ及びセッションキーなどのような各種接続情報をまず送受信して、これを利用して通信接続した後、各種情報を送受信できる。無線通信チップは、ＩＥＥＥ、ジグビー、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｏｕｔｉｏｎ）などのような多様な通信規格に従って通信を行うチップを意味する。
特に、通信部２１０は、外部のサーバや装置からイメージデータを受信することができる。

【0044】

ディスプレイ部２２０は、制御部２５０の制御によって映像データを出力する。特に、ディスプレイ部２２０は、互いに異なるデプスを有する複数のディスプレイレイヤを利用して映像データを出力できる。

【0045】

具体的に、ディスプレイ部２２０は、イメージを表示するイメージディスプレイレイヤ及び水表面の透明度を有する半透明ディスプレイレイヤを利用して映像データを出力できる。

【0046】

このとき、イメージディスプレイレイヤは、ディスプレイされるイメージに応じてデプスを有することができる。例えば、イメージディスプレイレイヤが図３Ａに示すようなイメージを表示する場合、イメージディスプレイレイヤは、図３Ｂに示すようなデプスマップを有するようになる。一方、イメージディスプレイレイヤは、ユーザ入力に応じてデプスを変更させないことができるが、これは一実施の形態に過ぎず、実施の形態によってイメージディスプレイレイヤもやはり、ユーザ入力に応じてデプスが変更されてよい。半透明ディスプレイレイヤは、イメージディスプレイレイヤ上に位置してユーザ入力に応じてデプスを変更させることができる。特に、半透明ディスプレイレイヤは、全般的にイメージディスプレイレイヤより高いデプス値を有することができるが、一部の領域では、イメージディスプレイレイヤより低いデプス値を有することができる。

【0047】

特に、イメージを表示するイメージディスプレイレイヤ及び水表面の透明度を有する半透明ディスプレイレイヤを利用してイメージを出力することによって、ディスプレイ部２２０は、イメージディスプレイレイヤが表示するイメージが水に浸っているようなイメージ効果をユーザに提供できる。すなわち、ディスプレイ部２２０は、制御部２５０により計算された半透明ディスプレイレイヤの表面の模様に応じて反射率及び屈折率に応じてイメージディスプレイレイヤが表示するイメージに多様な物理的効果（例えば、スネルの法則に従う屈折率によるイメージ表示、スペキュラーハイライト等）を提供できる。

【0048】

また、ユーザ入力部２４０を介してユーザ入力が感知された場合、ディスプレイ部２２０は、制御部２５０の制御によりデプス（または模様）が変更された半透明ディスプレイレイヤを利用して、イメージディスプレイレイヤが表示するイメージを表示できる。これにより、ディスプレイ部２２０は、ユーザ入力が感知された地点にリップル効果をユーザに提供できる。

【0049】

一方、ディスプレイ部２２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）により具現化されることができるが、これは一実施の形態に過ぎず、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）などのような多様なディスプレイにより具現化されることができる。

【0050】

格納部２３０は、ユーザ端末２００を駆動するための多様なモジュールを格納する。例えば、格納部２３０には、ベースモジュール、センシングモジュール、通信モジュール、プレゼンテーションモジュール、ウェブブラウザモジュール、サービスモジュールを含むソフトウェアが格納されることができる。このとき、ベースモジュールは、ユーザ端末２００に含まれた各ハードウェアから伝達される信号を処理して、上位レイヤモジュールに伝達する基礎モジュールである。センシングモジュールは、各種センサから情報を収集し、収集された情報を分析及び管理するモジュールであって、顔認識モジュール、音声認識モジュール、モーション認識モジュール、ＮＦＣ認識モジュールなどを含むことができる。プレゼンテーションモジュールは、ディスプレイ画面を構成するためのモジュールであって、マルチメディアコンテンツを再生して出力するためのマルチメディアモジュール、ＵＩ及びグラフィック処理を行うＵＩレンダリングモジュールを含むことができる。通信モジュールは、外部と通信を行うためのモジュールである。ウェブブラウザモジュールは、ウェブブラウジングを行ってウェブサーバにアクセスするモジュールを意味する。サービスモジュールは、多様なサービスを提供するための各種アプリケーションを含むモジュールである。

【0051】

上述したように、格納部２３０は、多様なプログラムモジュールを含むことができるが、各種プログラムモジュールは、ユーザ端末２００の種類及び特性によって一部が省略、変形または追加されうることはもちろんである。たとえば、上述したユーザ端末２００がスマートフォンにより具現化された場合、ベースモジュールには、ＧＰＳ基盤の位置を判断するための位置判断モジュールをさらに含み、センシングモジュールには、ユーザの動作を感知するセンシングモジュールをさらに含むことができる。

【0052】

ユーザ入力部２４０は、ユーザ端末２００を制御するためのユーザ命令を入力受けることができる。ユーザ入力部２４０は、ディスプレイ部２２０にディスプレイされた複数のディスプレイアイテムのうち、一つを選択するためのユーザ入力を感知できる。

【0053】

特に、ユーザ入力部２４０がタッチスクリーンにより具現化された場合、ユーザ入力部２２０は、タッチスクリーン全体領域のうち、一部領域に対するユーザタッチを感知できる。

【0054】

一方、ユーザ入力部２４０がタッチスクリーンにより具現化されることは、一実施の形態に過ぎず、ポインティングデバイス、マウスなどのように、ユーザ端末２００を制御できる他の入力装置により具現化されることができる。
制御部２５０は、格納部２３０に格納された各種プログラムを利用して、ディスプレイ装置２００の全般的な動作を制御する。

【0055】

制御部２５０は、図２に示すように、ＲＡＭ２５１、ＲＯＭ２５２、グラフィック処理部２５３、メインＣＰＵ２５４、第１ないしｎインタフェース２５５−１〜２５５−ｎ、バス２５６を備える。このとき、ＲＡＭ２５１、ＲＯＭ２５２、グラフィック処理部２５３、メインＣＰＵ２５４、第１ないしｎインタフェース２５５−１〜２５５−ｎなどは、バス２５６を介して互いに接続されることができる。

【0056】

ＲＯＭ２５２には、システムブーティングのための命令語セットなどが格納される。ターンオン命令が入力されて電源が供給されると、メインＣＰＵ２５４は、ＲＯＭ２５２に格納された命令語に従って格納部２３０に格納されたＯ／ＳをＲＡＭ２５１に複写し、Ｏ／Ｓを実行させてシステムをブーティングさせる。ブーティングが完了すると、メインＣＰＵ２５４は、格納部２３０に格納された各種アプリケーションプログラムをＲＡＭ２５１に複写し、ＲＡＭ２５１に複写されたアプリケーションプログラムを実行させて各種動作を行う。

【0057】

グラフィック処理部２５３は、演算部（図示せず）及びレンダリング部（図示せず）を利用して、アイコン、イメージ、テキストなどのような多様なオブジェクトを含む画面を生成する。演算部は、ユーザ入力部２４０から受信した制御命令を利用して、画面のレイアウトに沿って各オブジェクトが表示される座標値、形態、大きさ、カラーなどのような属性値を演算する。レンダリング部は、演算部で演算した属性値に基づいてオブジェクトを含む多様なレイアウトの画面を生成する。レンダリング部から生成された画面は、出力部２４０のディスプレイ領域内に表示される。

【0058】

メインＣＰＵ２５４は、格納部２３０にアクセスして、格納部２３０に格納されたＯ／Ｓを利用してブーティングを行う。そして、メインＣＰＵ２５４は、格納部２３０に格納された各種プログラム、コンテンツ、データなどを利用して多様な動作を行う。

【0059】

第１ないしｎインタフェース２５５−１ないし２５５−ｎは、上述した各種構成要素に接続される。インタフェースのうちの一つは、ネットワークを介して外部装置に接続されるネットワークインタフェースになることができる。

【0060】

特に、ディスプレイ部２２０が互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示する間に、ユーザ入力部２４０を介してユーザ入力が感知されると、制御部２５０は、ユーザ入力に応じて複数のディスプレイレイヤのうち、少なくとも一つのディスプレイレイヤのデプスを変更して、ユーザ入力に応答するイメージ効果を提供するようにディスプレイ部２２０を制御できる。

【0061】

具体的に、ディスプレイ部２２０は、図４Ａに示すように、互いに異なるデプスを有するイメージディスプレイレイヤ３１０と半透明ディスプレイレイヤ３２０とが重なってイメージをディスプレーできる。このとき、制御部２２０は、イメージディスプレイレイヤ３１０のうち、半透明ディスプレイレイヤ３２０のデプス値より小さなデプス値を有する領域にディスプレイされるイメージが水に浸っているようなイメージ効果を提供するように、ディスプレイ部２２０を制御できる。

【0062】

さらに詳細に、制御部２５０は、イメージディスプレイレイヤ３１０のうち、半透明ディスプレイレイヤ３２０のデプス値より小さなデプス値を有する領域に対する反射率及び屈折率を計算し、計算された反射率及び屈折率に応じてイメージが水に浸ったようなイメージ効果を提供するようにディスプレイ部２２０を制御できる。制御部２５０が反射率及び屈折率に応じてディスプレイレイヤをレンダリングする方法については、図５を参照して説明する。
まず、制御部２５０は、光（ｌｉｇｈｔ）を生成する（Ｓ５１０）。このとき、光は、任意の空間領域に位置できる。

【0063】

そして、制御部２５０は、半透明ディスプレイレイヤ３２０のノーマルベクトルを計算する（Ｓ５２０）。このとき、制御部２５０は、半透明ディスプレイレイヤ３２０の各ピクセルに対するノーマルベクトルとして、各ピクセルの垂直ベクトルを計算できる。

【0064】

そして、制御部２５０は、半透明ディスプレイレイヤ３２０の表面及びカメラの位置に応じて、各ピクセルの反射率及び屈折率を計算する（Ｓ５３０）。具体的に、制御部２４０は、フレネルの公式（Ｆｒｅｓｎｅｌ’ｓ ｆｏｒｍｕｌａｓ）を利用して、カメラの位置及びディスプレイレイヤのノーマルベクトル方向に応じて、各ピクセルの反射率及び屈折率を計算できる。

【0065】

そして、制御部２５０は、反射率に応じてスペキュラーハイライトを生成し、屈折率に応じて第１ディスプレイレイヤをレンダリングする（Ｓ５４０）。具体的に、制御部２３０は、計算された反射率に応じてスペキュラーハイライトで処理するか、または環境マップを利用して、半透明ディスプレイレイヤに投影できる。例えば、制御部２３０は、図６に示すような波（ｒｉｆｆｌｅ）のＨｅｉｇｈｔ ｆｉｅｌｄを利用して、３次元水面メッシュ（Ｍｅｓｈ）を生成し、任意の位置に光（ｌｉｇｈｔ）を追加し、光、カメラ、水面の位置及び角度に応じて３Ｄシェーディング（ｓｈａｄｉｎｇ）を行って、スペキュラーハイライトを生成できる。また、制御部２３０は、スネルの法則に従って計算された屈折率を利用して、イメージディスプレイレイヤをレンダリングできる。

【0066】

そして、制御部２５０は、反射率及び屈折率に応じるレンダリング結果を合成する（Ｓ５５０）。そして、制御部２５０は、反射率及び屈折率に応じてレンダリングされたイメージを出力するように、ディスプレイ部２２０を制御できる。
上述したような過程により、イメージディスプレイレイヤに表示されたイメージが水に浸るような効果を提供できる。

【0067】

一方、図４Ａのように、互いに異なるデプスを有するイメージディスプレイレイヤ３１０と半透明ディスプレイレイヤ３２０とが重ねてイメージを表示する間、タッチスクリーンの任意の領域にユーザタッチが感知されると、制御部２５０は、図４Ｂに示すように、半透明ディスプレイレイヤ３２０のうち、ユーザタッチが感知された地点のデプス値を減少させることができる。このとき、減少するデプス値は、ユーザタッチの強度に応じて互いに異なることができる。具体的に、制御部２５０は、ユーザタッチの強度が強いほど、デプス値をさらに減少させ、ユーザタッチの強度が弱いほど、デプス値を小さく減少させることができる。一方、図４Ｂに示す半透明ディスプレイレイヤ３２０は、ユーザタッチが感知された瞬間を示した図であり、予め設定された時間の間に波が打つように半透明ディスプレイレイヤ３２０のデプス値が変更されてよい。

【0068】

半透明ディスプレイレイヤ３２０のデプス値が変更されると、制御部２５０は、図５にて説明したような方法を利用して、反射率及び屈折率を再度計算してディスプレイレイヤをレンダリングして出力できる。

【0069】

これによって、制御部２５０は、ユーザタッチが感知された地点にリップル現象（ｒｉｆｆｌｅ ｅｆｆｅｃｔ）が発生するように、ディスプレイ部２２０を制御できる。例えば、図７Ａに示すように、イメージがレンダリングされた状態で特定領域に対するユーザタッチが感知された場合、制御部２５０は、図７Ｂに示すように、リップル効果（ｒｉｆｆｌｅ ｅｆｆｅｃｔ）を提供するようにディスプレイ部２２０を制御できるようになる。このとき、制御部２５０は、イメージディスプレイレイヤのデプスに基づいて、リップル効果を提供できる。すなわち、制御部２５０は、図７Ｂに示すように、デプス値の高い方向よりデプス値の低い方向へリップルがさらにたくさん形成してディスプレイするよう、ディスプレイ部２２０を制御できる。
上述したような実施の形態により、ユーザ端末は、さらに事実的かつ自然な３次元リップル効果をユーザに提供できるようになる。
以下、図８Ａないし図９Ｂを参照して、本発明の他の実施の形態について説明する。

【0070】

具体的に、図９Ａに示すように、複数のディスプレイアイテム９１０ないし９９０がディスプレイされる間に、イメージディスプレイレイヤ８１０は、図８Ａに示すように、ディスプレイアイテム９１０ないし９９０が位置する領域には、高いデプス値を有し、ディスプレイアイテム９１０ないし９９０が位置しない領域には、低いデプス値を有するようになる。そして、図８Ｂに示すように、半透明ディスプレイレイヤ８２０は、イメージディスプレイレイヤ８１０のうち、ディスプレイアイテム９１０ないし９９０が位置した領域とディスプレイアイテム９１０ないし９９０が位置しない領域との間のデプス値を有することができる。

【0071】

このとき、図８Ｂに示すように、イメージディスプレイレイヤ８１０及び半透明ディスプレイレイヤ８２０とが重ねてイメージを表示する間、複数のディスプレイアイテム９１０ないし９９０のうち、一つがタッチされるユーザ命令が入力されると、制御部２５０は、図８Ｃに示すように、タッチされたディスプレイアイテムが位置する領域のデプス値を半透明ディスプレイレイヤ８２０のデプス値より低くすることができる。これにより、制御部２５０は、タッチされたディスプレイアイテムが水に浸るような効果をユーザに提供できるようになる。

【0072】

例えば、図９Ａに示すように、複数のディスプレイアイテム９１０ないし９９０がディスプレイされる間に、第５ディスプレイアイテム９５０がタッチされると、制御部２５０は、イメージディスプレイレイヤのうち、タッチされた第５ディスプレイアイテム９５０が位置する領域のデプス値を半透明ディスプレイレイヤのデプス値より低くして、図９Ｂに示すように、第５ディスプレイアイテム９５０が水に浸るようなイメージ効果をユーザに提供できる。
上述したような本発明の多様な実施の形態により、ユーザ端末２００は、ユーザに事実的かつ自然な３次元イメージ効果を提供できるようになる。
以下、図１０を参照してユーザ端末１００のイメージ出力方法について説明する。

【0073】

まず、ユーザ端末１００は、互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示する（Ｓ１０１０）。具体的に、ユーザ端末２００は、イメージを表示する第１ディスプレイレイヤ及び水表面の透明度を有する第２ディスプレイレイヤを重ねてイメージを表示できる。
そして、ユーザ端末１００は、ユーザ入力が感知されたかどうかを判断する（Ｓ１０２０）。

【0074】

ユーザ入力が感知された場合、ユーザ端末１００は、ユーザ入力に応じて複数のディスプレイレイヤのうち、少なくとも一つのディスプレイレイヤのデプスを変更して、ユーザ入力に応答するイメージ効果を提供する（Ｓ１０３０）。具体的に、ユーザ端末１００は、図３Ａないし図７Ｂにて説明したように、リップル効果をユーザに提供でき、図８Ａないし図９Ｂにて説明したように、ディスプレイアイテムが水に浸るような効果をユーザに提供できる。
上述したようなイメージ出力方法により、ユーザ端末１００は、ユーザ入力に応答して事実的かつ自然な３次元イメージ効果をユーザに提供できるようになる。

【0075】

一方、本発明の他の実施の形態によれば、ユーザ端末１００は、ユーザ端末の傾きに基づいて、重力に応じて水が流れるイメージ効果を提供できる。これについては、図１１Ａないし図１４を参照して、本発明の他の実施の形態について説明することにする。一方、本発明の一実施の形態にかかる、ユーザ端末２００は、曲線形態のディスプレイ部２２０を含むユーザ端末であり得る。

【0076】

具体的に、ディスプレイ部２２０は、互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示できる。このとき、ディスプレイレイヤは、イメージをディスプレイするイメージディスプレイレイヤ、重力効果を表す重力ディスプレイレイヤ及び特定透明度（例えば、水表面の透明度）を有する半透明ディスプレイレイヤを含むことができる。このとき、イメージディスプレイレイヤ、重力ディスプレイレイヤ及び半透明ディスプレイレイヤは、それぞれ互いに異なるデプスを有している。また、イメージディスプレイレイヤは、固定されたデプスを有し、重力ディスプレイレイヤ及び半透明ディスプレイレイヤは、ユーザ入力に応じてデプスが変更されてよい。

【0077】

特に、ディスプレイ部２２０が互いに異なるデプスを有する複数のディスプレイレイヤを重ねて表示する間に、ユーザ入力部２４０を介してユーザ端末２００を傾かせるユーザ入力が感知されると、制御部２５０は、ユーザ入力に応じて複数のディスプレイレイヤのうち、重力ディスプレイレイヤのデプスを変更してユーザ入力に応答するイメージ効果を提供するように、ディスプレイ部２２０を制御できる。

【0078】

具体的に、図１１Ａの１）に示すように、ユーザ端末２００が傾けられない場合、制御部２５０は、図１１Ａの２）のように、互いに異なるデプスを有する重力ディスプレイレイヤ１１１０と半透明ディスプレイレイヤ１１２０とを重ねて、イメージをディスプレイできる。このとき、重力ディスプレイレイヤ１１１０は、半透明ディスプレイレイヤよりデプス値が小さいことがあり得るし、重力ディスプレイレイヤ１１１０をデプスマップ形態で表現すれば、図１１Ａの３）の通りである。一方、図１１Ａには示していないが、イメージディスプレイレイヤは、重力ディスプレイレイヤよりデプス値が小さいことがあり得る。

【0079】

そして、図１１Ａの１）に示すように、ユーザ端末２００が平らな状態を維持する間に、図１１Ｂの１）に示すように、ユーザ端末２００が第１角度（例えば、１０度）分だけ傾けられた場合、制御部２５０は、図１１Ｂの２）のように、重力ディスプレイレイヤ１１１０のうち、ユーザ端末２００が傾けられた方向と反対方向に位置する領域のデプス値を変更できる。すなわち、ユーザ端末２００が右側方向に傾けられた場合、制御部２５０は、重力ディスプレイレイヤの左側領域のデプス値を変更させることができる。このとき、重力ディスプレイレイヤ１１１０のうち、Ａ１領域のデプス値は、半透明ディスプレイレイヤのデプス値より大きいことがあり得るし、重力ディスプレイレイヤ１１１０をデプスマップの形態で表現すれば、図１１Ｂの３）の通りである。

【0080】

また、制御部２５０は、ユーザ端末２００の傾けられた角度が大きいほど、重力ディスプレイレイヤ１１１０のうち、半透明ディスプレイレイヤのデプス値より大きな 領域が増加してよい。具体的に、図１１Ａの１）に示すように、ユーザ端末２００が平らな状態を維持する間に、図１１Ｃの１）に示すように、ユーザ端末２００が第１角度より大きな第２角度（例えば、２０度）分だけ傾けられた場合、制御部２５０は、図１１Ｃの２）のように、第１角度傾けられる時にデプス値が変更された領域よりさらに広い領域のデプス値を変更できる。すなわち、重力ディスプレイレイヤ１１１０のうち、Ａ２領域のデプス値は、半透明ディスプレイレイヤのデプス値より大きいことがあり得るし、重力ディスプレイレイヤ１１１０をデプスマップ形態で表現すれば、図１１Ｃの３）の通りである。

【0081】

そして、制御部２５０は、重力ディスプレイレイヤのデプス値が半透明ディスプレイレイヤのデプス値より低い領域にディスプレイされるイメージだけが水に浸るイメージ効果を提供できる。すなわち、制御部２５０は、重力ディスプレイレイヤのデプス値が半透明ディスプレイレイヤのデプス値より大きな領域にディスプレイされるイメージは、波を表示しなくてイメージだけをディスプレイし、重力ディスプレイレイヤのデプス値が半透明ディスプレイレイヤのデプス値より小さな領域にディスプレイされるイメージは、波を表示して水下に浸ったようなイメージ効果を提供できる。イメージが水下に浸ったようなイメージ効果に対する説明は、上述した通りであるので、重複する説明は省略する。

【0082】

また、制御部２５０は、イメージが水に浸ったような効果をさらに事実的に表現するために、コーステック効果（ｃａｕｓｔｉｃ ｅｆｆｅｃｔ）を提供できる。このとき、コーステック効果とは、光が透明な物体を通過する時に屈折により光が他の領域に照らされる効果を意味する。特に、制御部２５０は、半透明ディスプレイレイヤのうち、予め設定された区間のデプス値を有する領域にコーステック（ｃａｕｓｔｉｃ）効果を提供できる。

【0083】

具体的に、制御部２５０は、図１２のａ）に示すようなコーステックデプスマップを生成する。このとき、制御部２５０は、格納部２３０に格納されたコーステックデプスマップを利用できる。そして、制御部２５０は、図１２のｂ）に示すように、半透明ディスプレイレイヤ１２１０のデプス値を反転して、予め設定された区間のデプス値を有する領域をコーステック領域と判断できる。そして、制御部２５０は、コーステックデプスマップとコーステック領域のデプス値とを補間して、コーステック効果を提供できる。すなわち、制御部２５０は、コーステックデプスマップのうち、コーステック領域に対応する領域だけにコーステックデプス値を設定し、残りの領域のコーステックデプス値は０に設定して、コーステック領域だけにコーステック効果を提供できる。一方、上述した実施の形態では、コーステック領域だけにコーステックデプス値を設定し、残りの領域のコーステックデプス値を０に設定すると言及したが、これは一実施の形態に過ぎず、残りの領域のコーステックデプス値をコーステック領域のコーステックデプス値より小さく設定できる。

【0084】

制御部２５０は、上述したように、重力ディスプレイレイヤのデプス変更及びコーステック効果を提供して、図１３に示すように、ユーザ端末２００の傾きの程度に応じて水が流れるようなイメージ効果を提供できる。具体的に、ユーザ端末２００が右に傾けられることによって、制御部２５０は、水が右に流れてイメージの左側領域が水の外に出るイメージ効果を提供し、またユーザ端末２００が左側に傾けられることによって、制御部２５０は、水が再度左側に流れてイメージの左側領域が再度水で満たされるイメージ効果を提供できるようになる。
以下、図１４を参照して、本発明の一実施の形態にかかる、ユーザ端末２００のイメージ表示方法を説明する。

【0085】

まず、ユーザ端末２００は、重力ディスプレイレイヤ及び半透明ディスプレイレイヤを重ねてイメージを表示する（Ｓ１４１０）。このとき、重力ディスプレイレイヤは、半透明ディスプレイレイヤのデプス値より小さいことがあり得る。
そして、ユーザ端末２００は、ユーザ端末２００の傾けを感知する（Ｓ１４２０）。

【0086】

ユーザ端末２００の傾けが感知された場合（Ｓ１４２０−Ｙ）、ユーザ端末２００は、重力ディスプレイレイヤのデプス値を変更する（Ｓ１４３０）。具体的に、ユーザ端末２００は、ユーザ端末２００が傾けられる方向の反対方向に位置する領域にデプス値を変更させることができ、ユーザ端末２００が傾けられる角度が大きくなるほど、デプス値が変更される領域を増加させることができる。

【0087】

そして、ユーザ端末２００は、重力ディスプレイレイヤのデプス値及び半透明ディスプレイレイヤのデプス値を比較して、イメージ効果を提供する（Ｓ１４４０）。具体的に、ユーザ端末２００は、重力ディスプレイレイヤのデプス値が半透明ディスプレイレイヤのデプス値より小さな領域のイメージには、水に浸るイメージ効果を提供し、重力ディスプレイレイヤのデプス値が半透明ディスプレイレイヤのデプス値より大きな領域のイメージには波表示をせずに、水の外に位置するようなイメージ効果を提供できる。また、水に浸るようなさらに事実的な表現のために、ユーザ端末２００は、半透明ディスプレイレイヤの予め設定された区間のデプス値を有する領域にコーステック効果を提供できる。

【0088】

上述したように、ユーザ端末２００の傾きの程度に応じて重力ディスプレイレイヤのデプス値を変更することによって、重力に応じてディスプレイされるイメージに水が流れるようなイメージ効果を提供できるようになる。また、コーステック効果を共に提供することによって、さらに事実的なイメージ効果を提供できるようになる。

【0089】

一方、上述した多様な実施の形態にかかるユーザ端末１００のイメージ出力方法は、プログラムにより具現されてディスプレイ装置に提供されることができる。特に、ユーザ端末１００のイメージ出力方法を含むプログラムは、非一時的読み取り可能媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に格納されて提供されることができる。

【0090】

非一時的読み取り可能媒体とは、レジスタ、キャッシュ、メモリなどのような短い瞬間の間にデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述した多様なアプリケーションまたはプログラムは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリーカード、ＲＯＭなどのような非一時的読み取り可能媒体に格納されて提供されることができる。

【0091】

また、以上、本発明の好ましい実施の形態に対して図示し説明したが、本発明は、上述した特定の実施の形態に限定されず、請求の範囲で請求する本発明の要旨から逸脱せずに当該発明が属する技術分野における通常の知識を有した者によって多様な変形実施が可能であることはもちろんで、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはならない。

【符号の説明】

【0092】

１００ ユーザ端末
１１０ ディスプレイ部
１２０ ユーザ入力部
１３０ 制御部
２００ ユーザ端末
２１０ 通信部
２２０ ディスプレイ部
２３０ 格納部
２４０ ユーザ入力部
２５０ 制御部
２５１ ＲＡＭ
２５２ ＲＯＭ
２５３ グラフィック処理部
２５４ メインＣＰＵ
２５６ バス
３１０ イメージディスプレイレイヤ
３２０ 半透明ディスプレイレイヤ
８１０ イメージディスプレイレイヤ
８２０ 半透明ディスプレイレイヤ
９１０ ディスプレイアイテム
９５０ 第５ディスプレイアイテム
１１１０ 重力ディスプレイレイヤ
１１２０ 半透明ディスプレイレイヤ
１２１０ 半透明ディスプレイレイヤ

【図1】

【図2】

【図2A】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図10】

【図11A】

【図11B】

【図11C】

【図12】

【図13】

【図14】