特許 5968905 ３Ｄディスプレイ端末装置及びその操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5968905

(24)【登録日】2016年7月15日

(45)【発行日】2016年8月10日

(54)【発明の名称】３Ｄディスプレイ端末装置及びその操作方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160728BHJP

   G06F 3/041 20060101ALI20160728BHJP

   G06F 3/0481 20130101ALI20160728BHJP

   G06F 3/0488 20130101ALI20160728BHJP

   H04N 13/04 20060101ALI20160728BHJP

   G06T 19/20 20110101ALI20160728BHJP

   G09G 5/36 20060101ALI20160728BHJP

   G09G 5/00 20060101ALI20160728BHJP

【ＦＩ】

   G06F3/01 570

   G06F3/041 580

   G06F3/0481 150

   G06F3/0488

   H04N13/04

   G06T19/20

   G09G5/36 510V

   G09G5/00 510H

   G09G5/36 520B

   G09G5/00 530T

【請求項の数】15

【全頁数】21

(21)【出願番号】特願2013-546042(P2013-546042)

(86)(22)【出願日】2011年12月26日

(65)【公表番号】特表2014-507701(P2014-507701A)

(43)【公表日】2014年3月27日

(86)【国際出願番号】KR2011010125

(87)【国際公開番号】WO2012087085

(87)【国際公開日】20120628

【審査請求日】2014年12月10日

(31)【優先権主張番号】10-2010-0134784

(32)【優先日】2010年12月24日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(72)【発明者】

【氏名】ジュン−ヒュン・シム

(72)【発明者】

【氏名】ヨン−ヨン・イ

(72)【発明者】

【氏名】ヨン−ヘ・イ

(72)【発明者】

【氏名】ジャ−オク・ク

【審査官】 若林 治男

(56)【参考文献】

【文献】 米国特許出願公開第２０１０／００９５２０６（ＵＳ，Ａ１）

【文献】 特開２００６−２９３８７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｔ １９／２０

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｈ０４Ｎ １３／０４

(57)【特許請求の範囲】

【請求項1】

３Ｄディスプレイ端末装置の操作方法において、
互いに異なる知覚深度を有し、前記知覚深度に応じて前記３Ｄディスプレイ端末装置の画面上に表示されるオブジェクト及び画面から突出するように表示されるオブジェクトを含む複数のオブジェクトをディスプレイするステップと、
ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップとを含み、
前記ユーザ操作は、前記突出するように表示されたオブジェクトを前記画面から離隔した距離から選択するための近接タッチモード及び前記画面上に表示されたオブジェクトを前記画面に直接タッチして選択するための直接タッチモードを含み、
前記ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップは、
前記直接タッチモードのユーザ操作が入力されると、前記突出するように表示されたオブジェクトのディスプレイ状態は保持しつつ、前記入力されたユーザ操作に応じて前記画面上の画面表示状態を切り替えるステップと、
前記画面表示状態が切り替わり、前記突出するように表示されたオブジェクトが前記近接タッチモードのユーザ操作によって選択された後、前記切り替わった画面上の一領域に移動されて直接タッチが行われると、前記選択されたオブジェクトの知覚深度を調整し、前記直接タッチされた画面上の一領域に前記選択されたオブジェクトが表示されるように貼り付ける（ｐａｓｔｅ）ステップとを含む
操作方法。

【請求項2】

前記互いに異なる知覚深度を有する複数のオブジェクトをディスプレイするステップの前に、同一の知覚深度を有するオブジェクトをディスプレイするステップと、
前記オブジェクトのうちの一つのオブジェクトが選択されると、選択されたオブジェクトの知覚深度を調整するステップとを更に含む
ことを特徴とする請求項１に記載の操作方法。

【請求項3】

前記互いに異なる知覚深度を有する複数のオブジェクトをディスプレイするステップの前に、同一の知覚深度を有するオブジェクトから構成された画面をディスプレイするステップと、
前記画面上で一つのオブジェクトが選択されると、選択されたオブジェクトの一側にメニュー選択ウィンドウを表示するステップと、
前記メニュー選択ウィンドウでコピーメニューが選択されると、前記選択されたオブジェクトの知覚深度を調整するステップとを更に含む
ことを特徴とする請求項１に記載の操作方法。

【請求項4】

前記互いに異なる知覚深度を有する複数のオブジェクトをディスプレイするステップの前に、同一の知覚深度を有するオブジェクトから構成された画面をディスプレイするステップと、
前記画面上で一つのオブジェクトがタッチされ、タッチ状態が予め設定された方向に回転されたり、予め設定されたパターンに応じて移動されると、前記タッチされたオブジェクトの知覚深度を調整するステップとを更に含む
ことを特徴とする請求項１に記載の操作方法。

【請求項5】

前記知覚深度が調整されたオブジェクトは、前記３Ｄディスプレイ端末装置の画面から垂直方向に突出するように３Ｄ方式でディスプレイされる
ことを特徴とする請求項２に記載の操作方法。

【請求項6】

前記知覚深度の調整されたオブジェクトが、前記画面から突出している状態で表示されると、元の画面上から前記オブジェクト表示は削除される
ことを特徴とする請求項５に記載の操作方法。

【請求項7】

前記ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップは、
前記近接タッチモードに応じて前記突出したオブジェクトの知覚深度に対応する距離だけ前記画面から離れている状態で、前記突出したオブジェクトが選択され、選択された地点が移動されると、移動される地点に応じて前記突出したオブジェクトの表示位置を変更するステップを含む
ことを特徴とする請求項５に記載の操作方法。

【請求項8】

前記オブジェクトは、コンテンツである
ことを特徴とする請求項５に記載の操作方法。

【請求項9】

前記ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップは、
前記選択されたオブジェクトの知覚深度が調整され、互いに異なる知覚深度を有する複数のオブジェクトがディスプレイされた状態で、レイヤ変更命令が入力されると、突出したオブジェクトと前記画面上のオブジェクトとの知覚深度を互いにスイッチして表示するステップと、
前記レイヤ変更命令を入力するためのメニューを前記画面上の一領域に表示するステップとを含む
ことを特徴とする請求項５に記載の操作方法。

【請求項10】

前記入力されたユーザ操作に応じて前記画面上の画面表示状態を切り替えるステップは、
前記選択されたオブジェクトが前記突出した形態で３Ｄ方式でディスプレイされた状態で、前記画面が直接タッチされた場合、直接タッチされた地点がアプリケーションアイコンである場合、前記アプリケーションアイコンに対応するアプリケーション画面に前記画面表示状態を切り替える
ことを特徴とする請求項８に記載の操作方法。

【請求項11】

前記ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップは、
前記選択されたオブジェクトの知覚深度を調整して前記選択されたオブジェクトを元の画面から分離して突出した形態で３Ｄ方式でディスプレイしつつ、前記元の画面から前記選択されたオブジェクトの表示を削除するステップと、
前記画面が直接タッチされ、タッチされた地点が予め設定された閾値速度以上の速度で任意の方向に移動されると、前記突出した形態のオブジェクト表示は保持しつつ、前記任意の方向に応じてページを切り替えて次のページに画面表示状態を切り替えるステップとを含み、
前記オブジェクトは、アイコンである
ことを特徴とする請求項５に記載の操作方法。

【請求項12】

前記複数のタッチモードは、
前記画面を直接タッチした状態で、タッチ圧力を調整してオブジェクトを選択できる少なくとも一つの加圧モード、及び前記画面を直接タッチする時間に応じてオブジェクトを選択できる少なくとも一つのロングプレス（Ｌｏｎｇ Ｐｒｅｓｓ）モードとのうち、少なくとも一つを更に含む
ことを特徴とする請求項１に記載の操作方法。

【請求項13】

３Ｄディスプレイ端末装置において、
同一の知覚深度を有するオブジェクトをディスプレイするディスプレイ部と、
前記オブジェクトのうちの一つのオブジェクトが選択されると、選択されたオブジェクトの知覚深度を前記３Ｄディスプレイ端末装置の画面から垂直方向に突出するように調整する変換部と、
各オブジェクトの知覚深度に対応する異なる深度のタッチを認識する複数のタッチモードに応じてユーザ操作を認識し、前記オブジェクトの表示状態を変更するように前記ディスプレイ部及び前記変換部を制御する制御部とを含み、
前記制御部は、
前記画面から突出したオブジェクトの選択は、前記画面から離隔した状態で選択する近接タッチモードによって認識し、
前記画面にディスプレイされるオブジェクトの選択は、前記画面を直接タッチして選択する直接タッチモードによって認識し、
前記直接タッチモードによるユーザ操作が入力されると、前記突出したオブジェクトのディスプレイ状態は保持しつつ、前記入力されたユーザ操作に応じて前記画面上の画面表示状態を切り替え、
前記画面表示状態が切り替わり、前記突出したオブジェクトが前記近接タッチモードによるユーザ操作によって選択された後、前記切り替わった画面上の一領域に移動されて直接タッチが行われると、前記選択されたオブジェクトの知覚深度を調整し、前記直接タッチされた画面上の一領域に前記選択されたオブジェクトを貼り付けて（ｐａｓｔｅ）表示するように前記ディスプレイ部及び前記変換部を制御する
ことを特徴とする３Ｄディスプレイ端末装置。

【請求項14】

前記ディスプレイ部は、一つのオブジェクトが選択されると、選択されたオブジェクトの一側にメニュー選択ウィンドウを表示し、
前記制御部は、
前記メニュー選択ウィンドウでコピーメニューが選択されると、前記選択されたオブジェクトの知覚深度を調整するように前記変換部を制御する
ことを特徴とする請求項１３に記載の３Ｄディスプレイ端末装置。

【請求項15】

前記制御部は、
一つのオブジェクトがタッチされ、タッチ状態が予め設定された方向に回転されたり、予め設定されたパターンに応じて移動されると、前記タッチされたオブジェクトの知覚深度を調整するように前記変換部を制御する
ことを特徴とする請求項１３に記載の３Ｄディスプレイ端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄディスプレイ端末装置及びその操作方法に関し、より詳細には、３Ｄディスプレイ方式を用いて互いに異なる知覚深度(perceived depth)を有する複数のオブジェクトを表示し、そのオブジェクトをタッチ方式で操作する３Ｄディスプレイ端末装置及びその操作方法に関する。

【背景技術】

【0002】

電子技術の発達により、多様な携帯型端末機器が開発及び普及されている。特に、最近は、既存の携帯電話が提供していたサービスの水準を越えて多様なアプリケーションサービスを提供するスマートフォンが絶大な人気を博し、急速に普及している。

【0003】

ユーザは、スマートフォンのような端末装置を用いて多様なサービスを利用することができる。一例として、文書編集やＥメール送信等のようなサービスも利用することができる。このようなサービスを利用する過程で、ユーザはイメージや写真のようなコンテンツを選択してコピーした後、他の文章または他のアプリケーションに貼り付けて使用することもできる。

【0004】

しかし、携帯型に実現するために、端末機器のディスプレイサイズは制限的にならざるを得ず、コンテンツ選択及びその利用に不都合が生じていた。特に、コピー及び貼り付け（ペースト：ｐａｓｔｅ）機能を利用する過程で、一旦コピーを命令してから画面が切り替わると、コピーしたコンテンツがどれであるかを確認することが困難になるという問題点があった。

【0005】

それにより、ユーザが端末機器をより容易にかつ便利に操作できる方法に対する必要性が出てきた。

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、互いに異なる知覚深度を有する複数のオブジェクトをディスプレイし、その知覚深度に対応する複数のタッチモードに応じて各オブジェクトを選択及び操作できる３Ｄディスプレイ端末装置及びその操作方法を提供することにある。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る３Ｄディスプレイ端末装置の操作方法は、互いに異なる知覚深度を有する複数のオブジェクトをディスプレイするステップと、ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップとを含んでよい。ここで、前記ユーザ操作は、前記知覚深度に対応するように異なる深度(depth)で認識される複数のタッチモードで行われてよい。

【0008】

一方、本操作方法は、前記互いに異なる知覚深度を有する複数のオブジェクトをディスプレイするステップの前に、同一の知覚深度を有するオブジェクトをディスプレイするステップと、前記オブジェクトのうちの一つのオブジェクトが選択されると、選択されたオブジェクトの知覚深度を調整するステップとを更に含んでよい。

【0009】

または、前記互いに異なる知覚深度を有する複数のオブジェクトをディスプレイするステップの前に、同一の知覚深度を有するオブジェクトから構成された画面をディスプレイするステップと、前記画面上で一つのオブジェクトが選択されると、選択されたオブジェクトの一側にメニュー選択ウィンドウを表示するステップと、前記メニュー選択ウィンドウでコピーメニューが選択されると、前記選択されたオブジェクトの知覚深度を調整するステップとを更に含んでよい。

【0010】

または、前記互いに異なる知覚深度を有する複数のオブジェクトをディスプレイするステップの前に、同一の知覚深度を有するオブジェクトから構成された画面をディスプレイするステップと、前記画面上で一つのオブジェクトがタッチされ、タッチ状態が予め設定された方向に回転されたり、予め設定されたパターンに応じて移動されると、前記選択されたオブジェクトの知覚深度を調整するステップとを更に含んでよい。

【0011】

以上のような多様な実施形態において、前記知覚深度が調整されたオブジェクトは、前記３Ｄディスプレイ端末装置の画面から垂直方向に突出するように３Ｄ方式でディスプレイされてよい。なお、前記複数のタッチモードは、前記突出したオブジェクトを前記画面から離れている状態で選択するための近接タッチモード、前記画面にディスプレイされるオブジェクトを直接タッチして選択するための直接タッチモードとを含んでよい。

【0012】

一方、前記知覚深度の調整されたオブジェクトが、前記画面から突出している状態で表示されると、元の画面上から前記オブジェクト表示は削除されてよい。

【0013】

そして、前記ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップは、前記近接タッチモードに応じて前記突出したオブジェクトの知覚深度に対応する距離だけ前記画面から離れている状態で、前記突出したオブジェクトが選択され、選択された地点が移動されると、移動される地点に応じて前記突出したオブジェクトの表示位置を変更するステップを含んでよい。

【0014】

そして、前記ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップは、前記選択されたオブジェクトが前記突出した形態で３Ｄ方式でディスプレイされた状態で、前記画面が直接タッチされると、前記選択されたオブジェクトのディスプレイ状態は保持しつつ、前記タッチ状態に応じて画面表示状態を切り替えるステップと、前記画面表示状態が切り替わった状態で、前記選択されたオブジェクトが前記近接タッチモードによって近接タッチされて選択された後、前記切り替わった画面上の一領域に移動されて直接タッチが行われると、前記選択されたオブジェクトの知覚深度を元の状態に復元しつつ、前記タッチされた一領域に貼り付ける（ｐａｓｔｅ）ステップとを含んでよい。

【0015】

ここで、前記オブジェクトは、コンテンツであってよい。

【0016】

または、前記ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップは、前記選択されたオブジェクトの知覚深度が調整され、互いに異なる知覚深度を有する複数のオブジェクトがディスプレイされた状態で、レイヤ変更命令が入力されると、突出したオブジェクトと前記画面上のオブジェクトとの知覚深度を互いにスイッチして表示するステップを含んでよい。

【0017】

この場合、操作方法は、前記レイヤ変更命令を入力するためのメニューを前記画面上の一領域に表示するステップを更に含んでよい。

【0018】

一方、前記タッチ状態に応じて前記画面表示状態を切り替えるステップは、前記選択されたオブジェクトが前記突出した形態で３Ｄ方式でディスプレイされた状態で、前記画面が直接タッチされた場合、直接タッチされた地点がアプリケーションアイコンである場合、前記アプリケーションアイコンに対応するアプリケーション画面に前記画面表示状態を切り替えてよい。

【0019】

そして、前記ユーザ操作に応じて、前記複数のオブジェクトの表示状態を変更するステップは、前記選択されたオブジェクトの知覚深度を調整して前記選択されたオブジェクトを元の画面から分離して突出した形態で３Ｄ方式でディスプレイしつつ、前記元の画面から前記選択されたオブジェクトの表示を削除するステップと、前記画面が直接タッチされ、タッチされた地点が予め設定された閾値速度以上の速度で任意の方向に移動されると、前記突出した形態のオブジェクト表示は保持しつつ、前記任意の方向に応じてページを切り替えて次のページに画面表示状態を切り替えるステップとを含んでよい。

【0020】

ここで、前記オブジェクトは、アイコンであってよい。

【0021】

一方、前記複数のタッチモードは、前記画面から離れている状態で、オブジェクトを選択できる少なくとも一つの近接タッチモード、前記画面を直接タッチしてオブジェクトを選択する直接タッチモード、前記画面を直接タッチした状態で、タッチ圧力を調整してオブジェクトを選択できる少なくとも一つの加圧モード、前記画面を直接タッチする時間に応じてオブジェクトを選択できる少なくとも一つのロングプレス（Ｌｏｎｇ Ｐｒｅｓｓ）モードとのうち、少なくとも二つ以上のモードを含んでよい。

【0022】

一方、本発明の一実施形態に係る３Ｄディスプレイ端末装置は、同一の知覚深度を有するオブジェクトをディスプレイするディスプレイ部と、前記オブジェクトのうちの一つのオブジェクトが選択されると、選択されたオブジェクトの知覚深度を調整する変換部と、各オブジェクトの知覚深度に対応する異なる深度のタッチを認識する複数のタッチモードに応じてユーザ操作を認識し、前記オブジェクトの表示状態を変更するように前記ディスプレイ部及び前記変換部を制御する制御部と含む。

【0023】

ここで、前記ディスプレイ部は、一つのオブジェクトが選択されると、選択されたオブジェクトの一側にメニュー選択ウィンドウを表示してよい。そして、前記制御部は、前記メニュー選択ウィンドウでコピーメニューが選択されると、前記選択されたオブジェクトの知覚深度を調整するように前記変換部を制御してよい。

【0024】

または、前記制御部は、一つのオブジェクトがタッチされ、タッチ状態が予め設定された方向に回転されたり、予め設定されたパターンに応じて移動されると、前記選択されたオブジェクトの知覚深度を調整するように前記変換部を制御してよい。

【0025】

一方、前記変換部は、前記選択されたオブジェクトが前記３Ｄディスプレイ端末装置の画面から垂直方向に３Ｄ方式で突出するように前記選択されたオブジェクトの距離感を調整してよい。この場合、前記制御部は、前記画面から突出したオブジェクトの選択は、前記画面から離れている状態で選択する近接タッチモードに応じて認識し、前記画面にディスプレイされるオブジェクトの選択は、前記画面を直接タッチして選択する直接タッチモードに応じて認識してよい。

【0026】

そして、前記制御部は、前記知覚深度の調整されたオブジェクトが、前記画面から突出している状態で表示されると、元の画面上から前記選択されたオブジェクトの表示を削除するように、前記ディスプレイ部及び前記変換部を制御してよい。

【0027】

ここで、前記制御部は、前記近接タッチモードに応じて前記突出したオブジェクトの知覚深度に対応する距離だけ前記画面から離れている状態で、前記突出したオブジェクトが選択され、前記突出したオブジェクトを選択したポインタが移動されると、移動されるポインタに応じて前記突出したオブジェクトの表示位置を変更するように、前記ディスプレイ部及び前記変換部を制御してよい。

【0028】

一方、前記制御部は、前記選択されたオブジェクトが前記突出した形態で３Ｄ方式でディスプレイされた状態で、前記画面が直接タッチされると、前記選択されたオブジェクトのディスプレイ状態は保持しつつ、前記タッチ状態に応じて画面表示状態を切り替え、前記画面表示状態が切り替わった状態で、前記選択されたオブジェクトが前記近接タッチモードによって近接タッチされて選択された後、前記切り替わった画面上の一領域に移動されて直接タッチが行われると、前記選択されたオブジェクトの知覚深度を元の状態に復元しつつ、前記タッチされた一領域に貼り付ける（ｐａｓｔｅ）して表示するように、前記ディスプレイ部及び前記変換部を制御してよい。

【0029】

ここで、前記オブジェクトは、コンテンツであってよい。

【0030】

そして、前記制御部は、前記選択されたオブジェクトの知覚深度が調整され、互いに異なる知覚深度を有する複数のオブジェクトがディスプレイされた状態で、レイヤ変更命令が入力されると、突出したオブジェクトと前記画面上のオブジェクトとの知覚深度を互いにスイッチして表示するように、前記ディスプレイ部及び前記変換部を制御してよい。

【0031】

この場合、前記ディスプレイ部は、前記レイヤ変更命令を入力するためのメニューを前記画面上の一領域に表示してよい。

【0032】

そして、前記制御部は、前記選択されたオブジェクトが前記突出した形態で３Ｄ方式でディスプレイされた状態で、前記画面が直接タッチされた場合、直接タッチされた地点がアプリケーションアイコンである場合、前記アプリケーションアイコンに対応するアプリケーション画面に前記画面表示状態を切り替えてよい。

【0033】

一方、前記制御部は、前記選択されたオブジェクトの知覚深度を調整して前記選択されたオブジェクトを元の画面から分離して突出した形態で３Ｄ方式でディスプレイしつつ、前記元の画面から前記選択されたオブジェクトの表示を削除し、前記画面が直接タッチされ、タッチされた地点が予め設定された閾値速度以上の速度で任意の方向に移動されると、前記突出した形態のオブジェクト表示は保持しつつ、前記任意の方向に応じてページを切り替えて次のページに画面表示状態を切り替えるように、前記ディスプレイ部及び前記変換部を制御してよい。

【0034】

ここで、前記オブジェクトは、アイコンであってよい。

【0035】

一方、前記複数のタッチモードは、前記画面から離れている状態で、オブジェクトを選択できる少なくとも一つの近接タッチモード、前記画面を直接タッチしてオブジェクトを選択する直接タッチモード、前記画面を直接タッチした状態で、タッチ圧力を調整してオブジェクトを選択できる少なくとも一つの加圧モード、前記画面を直接タッチする時間に応じてオブジェクトを選択できる少なくとも一つのロングプレス（Ｌｏｎｇ Ｐｒｅｓｓ）モードとのうち、少なくとも二つ以上のモードを含んでよい。

【0036】

一方、本発明は、前記ディスプレイ部の画面を直接タッチする直接タッチを検知する第１センサ部と、前記ディスプレイ部の画面に予め設定された範囲内に接近する近接タッチを検知する第２センサとを更に含んでよい。

【発明の効果】

【0037】

以上説明したように、本発明によれば、ユーザは端末機器からコンテンツやアイコン等のようなオブジェクトをより便利に選択して利用することができるようになる。

【図面の簡単な説明】

【0038】

【図1】本発明の一実施形態に係る３Ｄディスプレイ端末装置の構成を示すブロック図である。

【図2】図１の３Ｄディスプレイ端末装置の細部構成の一例を示すブロック図である。

【図3】近接タッチをセンシングする方法の一例を説明するための図である。

【図4】互いに異なる知覚深度を有する複数のオブジェクトをディスプレイする過程の一例を説明するための図である。

【図5】互いに異なる知覚深度を有するオブジェクトの表示状態及びそれによるタッチ方式の差異を説明するための図である。

【図6】本発明の多様な実施形態に係る操作方法を説明するための図である。

【図7】本発明の多様な実施形態に係る操作方法を説明するための図である。

【図8】本発明の多様な実施形態に係る操作方法を説明するための図である。

【図9】本発明の多様な実施形態に係る操作方法を説明するための図である。

【図10】本発明の多様な実施形態に係る操作方法を説明するための図である。

【図11】本発明の多様な実施形態に係る操作方法を説明するための図である。

【図12】本発明の多様な実施形態に係る３Ｄディスプレイ端末装置における操作方法を説明するためのフローチャートである。

【図13】本発明の多様な実施形態に係る３Ｄディスプレイ端末装置における操作方法を説明するためのフローチャートである。

【図14】本発明の多様な実施形態に係る３Ｄディスプレイ端末装置における操作方法を説明するためのフローチャートである。

【発明を実施するための形態】

【0039】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

【0040】

＜３Ｄディスプレイ端末装置の構成＞
図１は、本発明の一実施形態に係る３Ｄディスプレイ端末装置の構成を示すブロック図である。同図の３Ｄディスプレイ端末装置は、携帯電話、ＰＤＡ、ノートパソコン、タブレットパソコン、デジタルフォトフレーム、電子書籍、ＭＰ３プレーヤ等のような多様な携帯型端末装置だけでなく、テレビやパソコン等のような端末装置で実現されてよい。

【0041】

同図によると、３Ｄディスプレイ端末装置は、ディスプレイ部１１０と、変換部１２０及び制御部１３０を含む。

【0042】

ディスプレイ部１１０は、少なくとも一つ以上のオブジェクトからなる画面を出力する。ここで、オブジェクトとは、テキストやイメージ、写真等のように画面上で一つの独立した意味をもつ表示を意味してよく、メニューアイコンやフォルダアイコン等のような多様なアイコンを含んでよい。

【0043】

ディスプレイ部１１０は、通常、待ち受け画面に予めインストールされた各種アプリケーションプログラムに対応するアイコンや、装置利用のために設けられたメニューアイコン等を表示することができる。このような状態で、特定アプリケーションまたは特定メニューが選択されると、その選択されたアプリケーションまたはメニューに対応する画面を表示する。表示された画面には、テキストや、イメージ、写真、メニュー等が多様な形態及び大きさで含まれてよい。

【0044】

変換部１２０は、ディスプレイ部１１０で画面上に表示されたオブジェクトのうち、一部のオブジェクトが選択されると、選択されたオブジェクトの知覚深度を調整する。知覚深度とは、画面を基準に画面から突出して見える度合、または、画面の下側に窪んで見える度合を意味する。すなわち、３Ｄディスプレイ方式によると、左側映像及び右側映像の間の視差によって、ユーザは立体感を感じることができる。知覚深度とは、このような立体感を意味してよい。

【0045】

変換部１２０は、選択されたオブジェクトの知覚深度を調整するために、当該オブジェクトのイメージを３Ｄデータに変換する。３Ｄディスプレイ方式は、メガネの要否に応じて、メガネ式または非メガネ式に区分されてよい。

【0046】

すなわち、３Ｄディスプレイ端末装置のユーザが３Ｄ視聴のための専用のメガネを着用するメガネ式３Ｄディスプレイ装置なら、変換部１２０は選択されたオブジェクトのイメージを左眼映像及び右眼映像にそれぞれ生成する。左眼映像及び右眼映像とは、同一の被写体を互いに異なる視覚から眺めた映像を意味する。左眼映像及び右眼映像において互いに対応するブロック間の距離が立体感、すなわち、上述の知覚深度であってよい。ディスプレイ部１１０は、変換部１２０から生成した左眼映像及び右眼映像を予め設定された回数で交互に出力する。制御部１３０は、別途に設けられた同期信号伝送ユニット（図示せず）を用いて、左眼映像及び右眼映像の交互での出力タイミングに合った同期信号を３Ｄメガネ装置に伝送する。それにより、３Ｄメガネで、左側グラス及び右眼グラスをその同期信号に合わせて交互に作動させ、３Ｄ視聴を可能とする。

【0047】

一方、３Ｄディスプレイ端末装置が専用のメガネを必要としない非メガネ式の３Ｄディスプレイ装置なら、変換部１２０は選択されたオブジェクトのイメージを多視点映像に変換してディスプレイ部１１０に提供する。

【0048】

具体的には、変換部１２０は映像信号を基準に焦点距離、被写体の深度等を用いて、焦点変化時に被写体との距離変化程度、方向転換程度等を推定する。変換部１２０は、推定結果に応じて、基準映像の各ピクセルの位置を移動させて新たな映像を生成する。生成された映像は、基準映像とは所定角度だけ離隔されている状態で、被写体を眺めた映像であってよい。変換部１２０は、このような方式で複数の多視点映像を生成することができる。

【0049】

ディスプレイ部１１０は、多視点映像を空間的に区分して出力し、メガネをかけずに被写体との距離感を感じ、３Ｄ映像として認識するようにすることができる。例えば、合計９つの多視点映像が生成されているとしたら、各多視点映像を画面の一側から順次に出力し、最後の９番目の映像出力が終わる部分では、再び一番目の映像から出力し、画面の前方に向かって多様な角度で出力する。それにより、ユーザは、メガネをかけなくとも立体感を感じることができるようになる。一方、多視点映像の数は、必ずしも９に限定されるものではなく、その数に応じてディスプレイ方向の数も異なってよい。なお、多視点映像出力のために、ディスプレイ部１１０は、パララックスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）技術またはレンチキュラー（Ｌｅｎｔｉｃｕｌａｒ）技術によるディスプレイパネルを含んでよい。

【0050】

制御部１３０は、ディスプレイされた各オブジェクトの知覚深度に対応する異なる深度のタッチを認識する複数のタッチモードに応じてユーザ操作を認識する。それにより、その操作内容に合わせてオブジェクトの表示状態を変更するようにディスプレイ部１１０及び変換部１２０を制御する。

【0051】

タッチモードは多様に実現されてよい。例えば、タッチモードは、画面から離れている状態で、オブジェクトが選択できる近接タッチモード、画面を直接タッチしてオブジェクトを選択する直接タッチモード、画面を直接タッチした状態でタッチ圧力を調整してオブジェクトを選択できる加圧モード、画面を直接タッチする時間に応じてオブジェクトを選択できるロングプレスモード等のように、多様なタッチモードのうち、少なくとも二つ以上のタッチモードが適用されてよい。

【0052】

制御部１３０は、３Ｄディスプレイ方式によって画面から突出した形態で認識されるオブジェクトに対しては、画面に直接タッチせずに、離れている状態でそのオブジェクト部分に指等を近づけたとき、当該オブジェクトが選択されたと認識する近接タッチモードで操作状態を認識することができる。

【0053】

一方、画面にそのまま２Ｄ形態で表示されたオブジェクトに対しては、画面を直接タッチして選択する直接タッチモードによってオブジェクト選択有無を認識することができる。

【0054】

その他に、３Ｄディスプレイ方式によって画面の内側に窪んでいる形態で認識されるオブジェクトに対しては、加圧モードやロングプレスモードでその選択有無を認識することができる。すなわち、単純なタッチである場合には、画面に表示されたオブジェクトを選択したと認識し、タッチされた状態で閾値以上に強く押されたり、タッチした状態で閾値時間の間タッチが保持されると、窪んでいるオブジェクトが選択されたと認識することができる。

【0055】

このようなタッチモードは、多様な実施形態に応じて多様に組み合わせられて利用されてよい。すなわち、近接タッチモード及び直接タッチモードが組み合わせられて適用されてよく、加圧モードまたはロングプレスモードと、直接タッチモードとが組み合わせられて適用されてよい。なお、加圧モードまたはロングプレスモードと、直接タッチモード及び近接タッチモードとが同時に組み合わせられて適用されてよい。この場合には、画面から突出表示されたオブジェクト、画面にそのまま表示されたオブジェクト、画面から窪んでいる形態で表示されたオブジェクトをそれぞれの知覚深度に合うように、近接タッチモード、直接タッチモード、加圧モードまたはロングプレスモードに選択して操作することができる。

【0056】

一方、上述の近接タッチモードは、画面との距離に応じて区分される複数個の近接タッチモードで実現されてよく、加圧モードもタッチ圧力の強度に応じて区分される複数個の加圧モードで実現されてよく、ロングプレスモードもタッチ時間の長さに応じて区分される複数個のロングプレスモードで実現されてよい。

【0057】

図２は、３Ｄディスプレイ端末装置の細部構成の一例を示すブロック図である。同図によると、３Ｄディスプレイ端末装置は、ディスプレイ部１１０と、変換部１２０と、制御部１３０と、通信部１４０と、保存部１５０及びセンサ部１６０を含む。

【0058】

ディスプレイ部１１０と、変換部１２０及び制御部１３０の動作については、図１を参照して既に説明しているため、繰り返し説明は省略する。

【0059】

通信部１４０は、有無線インターフェースを通じて外部ソースと接続されて多様なプログラム及びデータをダウンロードしたり、アップロードさせる構成要素を意味する。一例として、通信部１４０は、外部サーバのＵＲＬ等が入力されたり、特定のアプリケーションが実行されると、対応するサーバに接続してコンテンツを受信することもできる。

【0060】

保存部１５０には、各種プログラム及びデータが保存される。なお、保存部１５０は、アプリケーションプログラムの実行過程で新たに入力されたり、設定及び生成されるデータも同時に保存しておくことができる。なお、保存部１５０は、３Ｄディスプレイのための左眼映像及び右眼映像または多視点映像等を保存しておくこともできる。

【0061】

センサ部１６０は、ユーザのモーションやタッチ等をセンシングして制御部１３０に通知する。センサ部１６０は、複数のタッチモードに対応する複数の第１ないし第ｎセンサ部１６１−１、１６１−ｎを備えてよい。

【0062】

一例として、第１センサ部１６１−１は、ディスプレイ部１１０の画面を直接タッチする直接タッチを検知するセンサであってよく、第２センサ１６１−２は、ディスプレイ部１１０の画面に予め設定された範囲内に接近する近接タッチを検知するセンサであってよい。

【0063】

第２センサ部１６１−２は、多様な構成で実現されて多様な方式で近接タッチを検知することができる。一例として、図３のように、発光／受光方式で近接タッチを検知することができる。

【0064】

図３によると、第２センサ部１６１−２は、発光素子１６１ａ及び受光素子１６１ｂを含んでよい。発光素子１６１ａは、光スポットが徐々にに拡大される角度で光を発光することができる。受光素子１６１ｂは、発光素子１６１ａから発光される光の受光程度に対応する電気信号を制御部１３０に提供する。この場合、ユーザの指等が図３に示すように、３Ｄディスプレイ端末装置１００の画面方向に近接して光を遮るようになると、受光素子１６１ｂから検知される光の量が低減するようになり、それにより、制御部１３０に提供される電気信号の大きさが変わるようになる。制御部１３０は、電気信号の大きさの変化程度に応じて近接タッチがあったか否かを判断することができる。一例として、制御部１３０は、発光素子１６１ａとの距離に応じて予測される光スポットの大きさと実際検知される光量に対応する光スポットの大きさが一定範囲からずれるくらい相違している場合、ユーザの近接タッチがあったと判断することができる。

【0065】

別の例として、第２センサ１６１−２は、撮像素子を含んでよい。すなわち、画面前面部に向かって撮像する撮像素子を用いて全方位撮像を行い、制御部１３０は、撮像結果に基づいて一定距離内に被写体が画面に接近していると判断されると、近接タッチがあったと判断することができる。

【0066】

更に別の例として、第２センサ部１６１−２は、静電容量センサで実現されてよい。すなわち、ユーザの指が画面側に近接移動することにより変化する静電容量の大きさが閾値以上であれば、制御部１３０は、近接タッチが行われたと認識することができる。

【0067】

一方、複数のタッチモードが加圧モードやロングプレスモード等を更に含む場合なら、センサ部１６０は圧力センサやタイマー等を更に含んでよい。

【0068】

すなわち、加圧モードを適用する場合、ディスプレイ部１１０の画面の内側に圧力センナを配置し、タッチされた地点における圧力変化を検知する。それにより、ユーザが強く押す場合と、画面を単にタッチした場合とを区分し、互いに異なるレイヤのオブジェクトが選択されたと認識することができる。一例として、強く押す場合には、画面の下側に窪んでいる形態で表示される３Ｄオブジェクトが選択されたと認識することができ、単純タッチの場合には、画面上に表示されたオブジェクトが選択されたと認識することができる。

【0069】

一方、ロングプレスモードを適用する場合、画面タッチが行われた状態で同一の地点におけるタッチが予め設定された閾値時間以上持続的に保持されると判断されると、閾値時間未満のタッチである場合と区分し、互いに異なるレイヤのオブジェクトが選択されたと認識することができる。この場合、タイマー（図示せず）を別途に更に必要としてよく、制御部１３０は、タッチセンサでタッチが検知された時点からタッチが終了した時点までの時間経過状態をカウントするようにタイマーを制御することができる。

【0070】

＜多様な実施形態に係る動作の説明＞
図４は、本発明の一実施形態に係る３Ｄディスプレイ端末装置の画面構成を示す図である。

【0071】

同図に示すように、少なくとも一つ以上のオブジェクト１０を含むコンテンツ画面２００が３Ｄディスプレイ端末装置１００上にディスプレイされてよい。このような状態で、ユーザが一つのオブジェクト１０を選択すると、選択されたオブジェクトの知覚深度が調整される。それにより、３Ｄディスプレイが行われ、選択されたオブジェクトと残りのオブジェクトとの知覚深度が異なるように表示される。

【0072】

同図においては、元の画面で選択されたオブジェクト１０は元の画面上にそのまま表示されつつ、別途に画面２００から垂直方向に突出した形態の３Ｄイメージ２０が表示された状態を示す。３Ｄイメージ２０、すなわち、突出したオブジェクト２０の大きさは、元のオブジェクト１０の大きさと同様に表示されてよく、所定の比率で縮小して表示されてよい。表示位置も、元のオブジェクト１０の上側位置であってよく、または、画面上でコンテンツが配置されていない空の領域上側等であってよい。

【0073】

図４のように、突出したオブジェクト２０と元の画面２００とが互いに異なる知覚深度を有する複数のレイヤで表現された状態で、ユーザは突出したオブジェクト２０は近接タッチモードで操作し、元の画面２００は直接タッチモードで操作する。ユーザは、画面２００を直接タッチして別の画面２００’に切り替える。画面の切り替えが行われるとしても、別のレイヤで突出したオブジェクト２０の表示はそのまま保持される。

【0074】

このように切り替わった画面２００’が表示される状態で、ユーザが近接タッチ方式で突出したオブジェクト２０を選択した後、選択地点を移動させると、突出したオブジェクト２０の表示位置が移動される。移動中に画面を直接タッチすると、図４に示すように、突出したオブジェクト２０が元の画面２００上で直接タッチされた位置に貼り付けられる。この場合、突出していたオブジェクト２０の表示は消え、元の画面２０上に貼り付けられるオブジェクト２０の知覚深度は元の状態に復元される。すなわち、元の画面２００と同様のレイヤに表示される。このように、複数のタッチモードによって、コピー及び貼り付け（Ｃｏｐｙ ＆ Ｐａｓｔｅ）動作を容易に行うことができる。

【0075】

図５は、互いに異なる知覚深度を有するレイヤを説明するための図である。同図によると、３Ｄディスプレイ端末装置の実際の画面をＸ−Ｙ平面とすると、元の画面２００はＺ０深度で表示され、突出したオブジェクトはＺ＋軸方向に所定の高さを有するレイヤ（Ｚ＋）３００上に表示される。Ｚ＋レイヤ３００におけるオブジェクトの選択及び操作は、近接タッチ方式で行われ、Ｚ０レイヤ２００におけるオブジェクト選択及び操作は、直接タッチ方式で行われる。図５においては、一つのＺ＋レイヤ３００のみが示されているが、突出するオブジェクトの知覚深度の大きさに応じて複数のＺ＋レイヤが設けられてよい。このような複数のＺ＋レイヤは、映像間の視差を多様な値に設定し、生成することができる。なお、図５では、画面から突出するように表示されるＺ＋レイヤのみを示しているが、実施形態によっては、画面から窪んでいる形態で表示されるＺ−レイヤも同時に利用することができる。

【0076】

図６は、本発明の別の実施形態に係る３Ｄディスプレイ端末装置の操作方法を説明するための図である。

【0077】

同図に示すように、任意のアプリケーションである“ＡＰＰＬＩＣＡＴＩＯＮ Ａ”が実行されると、そのアプリケーション画面２００が表示され、当該画面２００内に任意のオブジェクト１０が表示されてよい。

【0078】

このような状態で、ユーザがオブジェクト１０を直接タッチすると、メニューを選択できる領域１１がオブジェクト１０の一側に表示される。このような領域１１は、図６のように、グラフィックイメージで表示されてよく、画面２００の一側に生成されるメニュー領域で表示されてよい。当該領域１１には、図６のように、“ＣＯＰＹ”のようなメニューが含まれてよく、その他に多様なメニュー等が更に含まれてよい。

【0079】

ユーザは、再び“ＣＯＰＹ”メニューを直接タッチする。説明の便宜のために、直接タッチされるスポット（ａ）は“●”で表示する。“ＣＯＰＹ”メニューが直接タッチされると、選択されたオブジェクト１０に対応する３Ｄイメージ２０が表示される。この場合、３Ｄイメージ２０は、元の画面２００の一部と重複してよい。図６においては、元の画面２００の中で、ＡＰＰＬＩＣＡＴＩＯＮ Ａのメイン画面に戻るメニューである“ＡＰＰＬＩＣＡＴＩＯＮ Ａ”メニュー５０と重複表示されることを知ることができる。このように、重複表示されるが、３Ｄイメージ２０は画面から垂直方向に突出表示された形態であるため、ユーザはその立体感によって３Ｄイメージ２０と元の画面２００とが異なることを容易に認識することができる。

【0080】

このような状態で、ユーザは３Ｄイメージ２０または元の画面２００を選択することができる。３Ｄイメージ２０は、近接タッチ方式で選択し、元の画面２００は直接タッチ方式で選択することができる。特に、図６に示すように、３Ｄイメージ２０が表示された領域を直接タッチ（ａ）するようになると、３Ｄイメージ２０が選択されるのではなく、その下側の“ＡＰＰＬＩＣＡＴＩＯＮ Ａ”メニュー５０が選択される。それにより、３Ｄイメージ２０の表示は、そのまま保持されつつ、下側の画面のみが新たな画面に切り替わる。すなわち、“ＡＰＰＬＩＣＡＴＩＯＮ Ａ”メニュー５０が直接タッチされた場合であるため、当該アプリケーションのメイン画面２００−１に切り替わる。このような状態で、ユーザは元の画面を再びタッチして異なるアプリケーションを実行させることもできる。一例として、図６のように、ユーザはメールアプリケーション画面２００−２に切り替えることができる。このような状態で、近接タッチ（ｂ）で３Ｄイメージ、すなわち、突出したオブジェクト２０を選択した後、近接タッチ状態を保持しつつドラッグしてメッセージウィンドウ内の内容部分を直接タッチ（ａ）すると、その内容部分にオブジェクト６０が貼り付けられて表示され、突出していたオブジェクト２０の表示は消える。

【0081】

一方、オブジェクトの選択及びコピーメニューの入力は、図６のように、メニュー１１を利用せずに、ユーザの特定モーションに応じて行われるように実現されてよい。

【0082】

すなわち、図７に示すように、ユーザはオブジェクト１０を直接タッチした後、タッチした指を矢印方向に回すことができる。このように、タッチ状態が予め設定された方向に回転されると、ユーザが当該オブジェクト１０をコピーしようとする意図であると認識し、当該オブジェクト１０の知覚深度を調整して３Ｄイメージで表示することができる。

【0083】

または、図８に示すように、ユーザはオブジェクト１０を直接タッチした後、予め設定されたパターンに応じてタッチ地点を移動させることができる。この場合、一定速度未満でタッチ地点が移動される場合には、オブジェクトの位置を移動させる命令と認識し、オブジェクト表示を移動させ、一定速度以上でタッチ地点が移動されると、当該オブジェクト１０をコピーしようとする意図であると認識し、当該オブジェクト１０の知覚深度を調整し、３Ｄイメージで表示することができる。一例として、図８のように、オブジェクト１０をタッチした後、上方にくみ上げるようなモーションを取ると、オブジェクト１０が３Ｄ方式でＺ＋方向に突出表示されてよい。

【0084】

一方、本発明の更に別の例によると、ユーザはレイヤ変更モードを直接タッチモードとともに用いて互いに異なる知覚深度のいくつかのオブジェクトを適切に操作することもできる。

【0085】

すなわち、図９によると、画面１００上でオブジェクト１０が選択され、３Ｄイメージ２０で表示される場合、画面１００の一領域には、“Ｓｗｉｔｃｈ”のようなメニュー７０が表示されてよい。上述のメニューは、レイヤ変更命令を受信するためのメニューを意味する。

【0086】

同図で選択されたオブジェクト１０が３Ｄイメージ２０に突出してＺ＋レイヤに表示され、元の画面２００がＺ０レイヤに表示された状態で、“Ｓｗｉｔｃｈ”のメニュー７０が直接タッチ（ａ）されると、元の画面２００がＺ＋レイヤで３Ｄディスプレイされ、突出していたイメージ２０がＺ０レイヤに復元するようになる。このような状態で、ユーザが再び“Ｓｗｉｔｈ”メニュー７０を選択すると、コンテンツの知覚深度は再び入れ替わるようになる。このように、突出したイメージ２０及び元の画面２００は、レイヤ変更命令の入力によって交互に入れ替わり表示される。一方、本実施形態では、Ｚ＋レイヤに表示されたコンテンツに対しても、直接タッチモードに選択することができる。

【0087】

すなわち、ユーザは、最初に同様の知覚深度で表示されたオブジェクトを含む画面上で一つのオブジェクト１０を選択してコピーする。この場合、３Ｄディスプレイ端末装置は、選択されたオブジェクト１０と同様のイメージを３Ｄイメージ２０で表示する。このような状態で、ユーザはレイヤ変更メニューを選択して元の画面２００を上側レイヤにし、３Ｄイメージ２０を下側レイヤにするように変更する。このような状態で、ユーザは元の画面２００を直接タッチしつつ、画面切り替えを行う。画面切り替えは、ページ移動だけでなく、新たなアプリケーション実行による画面表示も含む。このように、ユーザはコピーしたコンテンツが使用される画面２００−２を選択する。このような状態で、ユーザは再びレイヤ変更命令を入力し、３Ｄイメージ２０が再び上側レイヤになるように操作した後、直接タッチ地点（ａ）をドラッグする。ドラッグが完了すると、３Ｄディスプレイ端末装置は、ドラッグが完了した地点に当該イメージ２０を元のサイズに貼り付けてオブジェクト６０を表示する。

【0088】

このように、直接タッチモードとともにレイヤ変更モードを適用すると、近接タッチを検知するためのセンサが備えられていない装置でも、３Ｄディスプレイ方式を用いてオブジェクトを便利に操作することができるようになる。

【0089】

一方、図９においては、画面１００上に“Ｓｗｉｃｔｈ”メニューが表示されたことを示しているが、必ずしもそれに限定されるものではなく、３Ｄディスプレイ端末装置の本体に具備されたキーが選択されたとき、レイヤ変更メニューが選択されたと認識するように実現することもできる。または、３Ｄディスプレイ端末装置内に地磁気センサやジャイロセンサ、加速度センサ等が装着された場合、３Ｄディスプレイ端末装置を振るか、ピッチ角、ロール角、ヨー角等が変化するように回転させる場合に、レイヤ変更命令が入力されたと認識するように実現することもできる。このように、レイヤ変更命令を入力し、ユーザは突出したオブジェクト２０のレイヤ、すなわち、Ｚ＋レイヤと、元の画面のレイヤ、すなわち、Ｚ０レイヤそのものを互いに入れ替わってよい。

【0090】

一方、上述のように、オブジェクトは、イメージや写真のようなコンテンツやテキストコンテンツ等であってよいが、それに限定されずに、アイコンであってよい。すなわち、コピー＆貼り付け機能以外にメニューアイコン移動機能でも、複数のタッチモードが適用されてよい。

【0091】

図１０は、本発明の更に別の実施形態に係る３Ｄディスプレイ端末装置の画面を示す図である。

【0092】

同図によると、端末装置１００の画面上には多様なアイコン８０−１、８０−２、…、８０−１２等が表示される。各アイコンは、アプリケーションに対応するアイコンであってよく、端末装置１００に保存されたフォルダ等に該当するアイコンであってよい。なお、一つの画面に全て表示できないくらいに多くのアイコンが存在する場合、一定の数の単位でページを構成することができる。同図では、１２のアイコンが一つの画面上に表示された場合を示している。

【0093】

同図のように、一つのアイコン、例えば、第２アイコン８０−２が直接タッチ（ａ）によって選択されると、選択された第２アイコン８０−２の知覚深度が調整されて突出した３Ｄイメージ形態で表示される。この場合、元の位置の第２アイコン８０−２の表示は削除されてよい。このような状態で、ユーザが画面を直接タッチ（ａ）しつつ、一方向に閾値速度以上でタッチ地点を移動させると、その移動方向に合うようにページが切り替わり、次のページが画面に表示される。すなわち。第１３アイコンないし第１８アイコンが表示されるページが画面に表示される。このように、画面が切り替わった状態で、ユーザは突出した形態の第２アイコン８０−２を近接タッチ（ｂ）方式でタッチし、第１８アイコンの横に移動させた後、画面を直接タッチ（ａ）すると、第１８アイコンの横に第２アイコン８０−２が表示される。このように、アイコンの表示位置を直接タッチ及び近接タッチを用いて便利に操作することができるようになる。

【0094】

一方、上述の様々な実施形態では、選択されたオブジェクトをＺ＋またはＺ−軸方向に３Ｄディスプレイして表示する場合を説明しているが、３Ｄディスプレイが不可な機器または不可なデータである場合には、それと異なる方式で分離して表示することもできる。

【0095】

すなわち、本発明の更に別の実施形態に係る端末装置では、画面２００上でオブジェクト１０が選択されると、現在表示されていた画面２００の大きさを縮小させつつ、新たな画面３００内の一領域に表示し、選択されたオブジェクト１０のイメージ２０をその一側に新たに表示する。すなわち、画面をＸ−Ｙ平面であるとする場合、Ｘ軸方向またはＹ軸方向に選択されたオブジェクト１０のイメージを表示することもできる。このような状態で、ユーザは縮小された画面２００をタッチして新たな画面に切り替えることができる。それにより、オブジェクトを移動する新たな画面が表示されると、ユーザは別途に表示されたイメージ２０をタッチした後、画面上に移動させて貼り付けることができる。

【0096】

＜操作方法に対する説明＞
図１２は、本発明の一実施形態に係る３Ｄディスプレイ端末装置における操作方法を説明するためのフローチャートである。同図に示すように、３Ｄディスプレイ端末装置は、３Ｄディスプレイ方式を用いて、互いに異なる知覚深度を有するオブジェクトをディスプレイすることができる（Ｓ１２１０）。

【0097】

このような状態で、ユーザは複数のタッチモードを用いて、オブジェクト操作を行うことができる。ここで、複数のタッチモードとは、各オブジェクトの知覚深度に対応する異なる深度で認識されるタッチモードであってよい。例えば、画面からある程度離れている状態で認識される近接タッチモードや、画面に直接触れて認識される直接タッチモード等であってよい。その他に、画面とタッチした状態で、圧力を加える加圧モードや、タッチした状態を所定時間の間、保持するロングプレスモード等が含まれてよい。

【0098】

このように、多様なタッチモードによってオブジェクト操作が行われると、３Ｄディスプレイ端末装置は、ユーザ操作に応じて表示状態を変更する（Ｓ１２２０）。結果的に、コピー＆貼り付け機能か、アイコン移動等が容易に行われ、その他にも、切り取って貼り付ける機能等のような多様な編集機能が容易に行われてよい。

【0099】

一方、上述の様々な例では、同一の知覚深度を有するオブジェクトがディスプレイされた状態で、一つのオブジェクトが選択されたとき、選択されたオブジェクトが３Ｄで表示される場合を説明しているが、３Ｄディスプレイ端末装置は、コンテンツの内容に応じて元から３Ｄディスプレイ方式で互いに異なる知覚深度のオブジェクトを表示することができる。このような場合には、別途に選択する過程がなくても、各オブジェクトの知覚深度に対応する適切なタッチモードで各オブジェクトを選択することもできる。

【0100】

図１３は、本発明の一実施形態に係る操作方法のうち、コピー＆貼り付け動作をより詳細に説明するためのフローチャートである。

【0101】

同図に示すように、オブジェクトがディスプレイされている状態で（Ｓ１３１０）、任意のオブジェクトが選択されると（Ｓ１３１５）、選択されたオブジェクトの一側にメニューを表示する（Ｓ１３２０）。

【0102】

それにより、ユーザが表示されたメニューのうち、コピーメニューを選択すると（Ｓ１３２５）、選択されたオブジェクトを３Ｄ映像にＺ＋方向に突出させてディスプレイする（Ｓ１３３０）。

【0103】

一方、このような状態で、既存の画面に存在する別のオブジェクトに対しても、直接タッチが行われ、上述のような過程を経た後に、上記３Ｄ映像に追加して新たな３Ｄ映像で表示することもできる。すなわち、Ｚ＋方向に突出表示されるオブジェクトは複数個であってよい。

【0104】

このような状態で、突出したイメージに対する近接タッチが行われると、当該オブジェクトは近接タッチの状態に応じて操作される（Ｓ１３３５）。

【0105】

すなわち、近接タッチされた部分が画面から離れている状態で移動するようになると、移動方向及び距離に応じて突出したイメージの表示位置を移動させる（Ｓ１３４０）。

【0106】

一方、少なくとも一つのイメージが突出表示された状態で、直接タッチが行われると（Ｓ１３４５）、突出したイメージではない元の画面を直接タッチ状態に応じて操作する。仮に、新たなページに移動したり、新たなアプリケーションを実行する場合等のように、画面を切り替える状況が生じると、突出表示されたイメージはそのまま保持しつつ画面を切り替える（Ｓ１３５０）。

【0107】

このように、ユーザ近接タッチモードまたは直接タッチモードを用いて各オブジェクトの状態を操作することができる。

【0108】

一方、近接タッチを用いてオブジェクトを移動させていて、直接タッチが行われると（Ｓ１３５５）、突出したオブジェクトに知覚深度を元の状態に復元し、現在の画面で直接タッチした地点に当該オブジェクトを貼り付ける（Ｓ１３６０）。それにより、選択したオブジェクトが新たな画面にコピーして表示されるようになる。

【0109】

図１４は、本発明の別の実施形態に係る操作方法を説明するためのフローチャートである。同図に示すように、オブジェクトがディスプレイされた状態で（Ｓ１４１０）、オブジェクトが選択されると（Ｓ１４２０）、選択されたオブジェクトの知覚深度を調整して３Ｄでディスプレイさせる（Ｓ１４３０）。

【0110】

このようなオブジェクトの選択は、上述のように、メニューを利用してよく、タッチ後のユーザのモーション変化によって行われてよく、単純タッチだけで行われてよい。

【0111】

一方、このように、複数のオブジェクトが互いに異なる知覚深度で３Ｄディスプレイされた状態で、ユーザがレイヤ変更命令を入力すると（Ｓ１４４０）、入力されたレイヤ変更命令に従って現在の画面のレイヤと突出表示されたオブジェクトのレイヤとをスイッチさせる（Ｓ１４５０）。

【0112】

それにより、ユーザは、上位レイヤに存在するオブジェクトをタッチして操作することができる。下位レイヤに存在するオブジェクトを操作しようとするときには、再びレイヤ変更命令を入力することができる。結果的に、ユーザは自分が望む結果が得られるまで、タッチ及びレイヤ変更命令入力を行い、各オブジェクトの表示位置変更及びコピー、貼り付け等を行ってよい。ユーザが貼り付けを行うか、３Ｄディスプレイ表示を終了しようとする命令を入力すると、３Ｄディスプレイ処理が終了されてよい（Ｓ１４６０）。３Ｄディスプレイ表示を終了しようとする命令は、画面上に表示された特定メニューを選択したり、３Ｄディスプレイされたオブジェクトをロングプレスまたはダブルタッチ等のような多様な方式でタッチし、入力することができる。

【0113】

このように、ユーザは、レイヤ変更モード及び直接タッチモードを同時に用いてオブジェクト操作を行うこともできる。

【0114】

一方、上述の本発明の多様な実施形態に係る方法を実行するためのプログラムは、多様な記録媒体に保存して使用されてよい。具体的には、上述の方法を実行するためのコードは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末機で読取可能な多様な記録媒体に保存されていてよい。

【0115】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0116】

１００ ディスプレイ端末装置
１１０ ディスプレイ部
１２０ 変換部
１３０ 制御部
１４０ 通信部
１５０ 保存部
１６０ センサ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】