特開 2015-132965 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-132965(P2015-132965A)

(43)【公開日】2015年7月23日

(54)【発明の名称】複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム

(51)【国際特許分類】

   G06F 3/048 20130101AFI20150630BHJP

   G06F 3/0488 20130101ALI20150630BHJP

   G06F 3/041 20060101ALI20150630BHJP

【ＦＩ】

   G06F3/048 655A

   G06F3/048 620

   G06F3/041 330C

   G06F3/041 380C

【審査請求】有

【請求項の数】24

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2014-3844(P2014-3844)

(22)【出願日】2014年1月14日

(71)【出願人】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100106699

【弁理士】

【氏名又は名称】渡部 弘道

(74)【代理人】

【識別番号】100132595

【弁理士】

【氏名又は名称】袴田 眞志

(72)【発明者】

【氏名】塚本 泰通

(72)【発明者】

【氏名】重松 友一

【テーマコード（参考）】

5B068

5B087

5E555

【Ｆターム（参考）】

5B068AA05

5B068CC06

5B068CD01

5B087AA09

5B087DD03

5B087DE03

5E555AA04

5E555BA06

5E555BB06

5E555BC05

5E555CA12

5E555CB10

5E555CB34

5E555CB55

5E555DA05

5E555DB03

5E555DB18

5E555DB56

5E555DD02

5E555FA01

5E555FA15

(57)【要約】

【課題】タッチ操作が可能なディスプレイにアプリケーション画像を効果的に表示する。
【解決手段】タッチスクリーン２００、３００には、起動アイコン２０３、２０５、３０３を含む複数の起動アイコンが表示されている。起動アイコン２０３に左方向のフリック操作をするとタッチスクリーン２００にメーラー画像３５１が表示され、右方向にフリック操作をするとタッチスクリーン３００にメーラー画像３５１が表示される。タッチスクリーン２００にメーラー画像が表示されているときにタッチスクリーン３００にフリック操作をして起動アイコン２０５を表示させてから起動アイコンに右方向のフリック操作をするとタッチスクリーン３００にブラウザ画像を表示することができる。
【選択図】図９

【特許請求の範囲】

【請求項1】

タッチ操作が可能な第１のディスプレイと、第２のディスプレイを含む電子機器に、
起動アイコンを前記第１のディスプレイに表示するステップと、
前記起動アイコンに対するタッチ操作の種類を識別するステップと、
前記識別したタッチ操作の種類に応じて前記起動アイコンを関連付けたアプリケーション画像を前記第１のディスプレイおよび前記第２のディスプレイまたはいずれか一方のディスプレイに表示するステップと
を有する処理を実行させるためのコンピュータ・プログラム。

【請求項2】

前記タッチ操作が、前記起動アイコンを起点としたジェスチャ操作である請求項１に記載のコンピュータ・プログラム。

【請求項3】

前記ジェスチャ操作が、フリック操作である請求項２に記載のコンピュータ・プログラム。

【請求項4】

前記第２のディスプレイに対して相対的に前記第１のディスプレイの方向のジェスチャ操作を検出したときに前記アプリケーション画像を前記第１のディスプレイに表示するステップと、
前記第１のディスプレイに対して相対的に前記第２のディスプレイの方向のジェスチャ操作を検出したときに前記アプリケーション画像を前記第２のディスプレイに表示するステップと
を有する請求項２または請求項３に記載のコンピュータ・プログラム。

【請求項5】

所定の方向のジェスチャ操作を検出したときに前記第１のディスプレイにすでに表示しているアプリケーション画像を前記第２のディスプレイに表示してから前記第１のディスプレイに前記アプリケーション画像を表示するステップを有する請求項２または請求項３に記載のコンピュータ・プログラム。

【請求項6】

所定の方向のジェスチャ操作を検出したときに前記第１のディスプレイおよび前記第２のディスプレイを一画面とするアプリケーション画像を前記第１のディスプレイおよび前記第２のディスプレイに表示するステップを有する請求項２または請求項３に記載のコンピュータ・プログラム。

【請求項7】

所定の方向のジェスチャ操作を検出したときに前記起動アイコンを関連付けたアプリケーション・プログラムのプロパティ・ウィンドウを表示するステップを有する請求項２または請求項３に記載のコンピュータ・プログラム。

【請求項8】

所定の方向のジェスチャ操作を検出したときに、前記アプリケーション画像を前記電子機器に接続された外部モニターに表示するステップを有する請求項２または請求項３に記載のコンピュータ・プログラム。

【請求項9】

所定の方向のジェスチャ操作を検出したときに、前記起動アイコンを関連付けたアプリケーション・プログラムを削除するステップを有する請求項２または請求項３に記載のコンピュータ・プログラム。

【請求項10】

前記第２のディスプレイがタッチ操作の可能なディスプレイであって、
前記起動アイコンに対するタッチ操作を検出する前に前記起動アイコンに重ねてアプリケーション画像を前記第１のディスプレイに表示するステップと、
前記第２のディスプレイに対するジェスチャ操作に応じて前記第１の起動アイコンを前記第２のディスプレイに表示するステップと、
前記第２のディスプレイが表示する前記起動アイコンに対するタッチ操作の種類に応じて前記第２のディスプレイに前記起動アイコンを関連付けたアプリケーション画像を表示するステップと
を有する請求項１から請求項３のいずれかに記載のコンピュータ・プログラム。

【請求項11】

タッチ操作が可能なディスプレイを含む複数のディスプレイに画像を表示することが可能な電子機器に、
起動アイコンを前記タッチ操作が可能なディスプレイに表示するステップと、
前記起動アイコンを起点とするジェスチャ操作に応じて前記起動アイコンの周囲にそれぞれ次の動作を暗示する情報を表示した複数の補助画像を表示するステップ
前記ジェスチャ操作を識別するステップと、
前記起動アイコンを関連付けたアプリケーション画像をいずれかのディスプレイまたは複数のディスプレイに表示する処理を含む前記識別したジェスチャに対応する処理をするステップと
を有する処理を実行させるためのコンピュータ・プログラム。

【請求項12】

前記暗示する情報が、前記アプリケーション画像を表示するディスプレイに関する情報、前記アプリケーション画像を関連付けたアプリケーション・プログラムのプロパティ・ウィンドウを表示する情報、前記アプリケーション画像を外部モニターに表示する情報、および前記アプリケーション画像を削除する情報からなるグループのいずれかの要素を含む請求項１１に記載のコンピュータ・プログラム。

【請求項13】

前記識別するステップがドラッグ操作の終点に位置する補助画像を認識するステップを含む請求項１１または請求項１２に記載のコンピュータ・プログラム。

【請求項14】

前記終点に位置する補助画像を認識したことに応じて前記補助画像の周囲にそれぞれ次の動作を暗示する情報を表示した複数のサブ補助画像を表示するステップと、
前記認識した補助画像を起点とするジェスチャ操作が向かうサブ補助画像を認識するステップと、
前記認識したサブ補助画像が暗示する情報に対応する処理をするステップと、
を有する請求項１３に記載のコンピュータ・プログラム。

【請求項15】

前記暗示する情報が、前記アプリケーション画像を関連付けたアプリケーション・プログラムのプロパティ・ウィンドウを表示するディスプレイの位置を暗示する情報を含む請求項１４に記載のコンピュータ・プログラム。

【請求項16】

請求項１から請求項１５のいずれかに記載のコンピュータ・プログラムを記録したコンピュータが読み取り可能な記録媒体を備える電子機器。

【請求項17】

タッチ操作が可能な第１のディスプレイと該第１のディスプレイに隣接して配置した第２のディスプレイにアプリケーション画像を表示する方法であって、
前記第１のディスプレイに起動アイコンを表示するステップと、
前記起動アイコンに対するタッチ操作の種類を識別するステップと、
前記識別したタッチ操作の種類に応じて前記第１のディスプレイおよび前記第２のディスプレイまたはいずれか一方のディスプレイに前記起動アイコンを関連付けたアプリケーション画像を表示するステップと
を有する方法。

【請求項18】

前記アプリケーション画像を表示するステップが、
前記第２のディスプレイから前記第１のディスプレイに向かうジェスチャ操作を識別したときに前記第１のディスプレイに前記アプリケーション画像を表示するステップと、
前記第１のディスプレイから前記第２のディスプレイに向かうジェスチャ操作を識別したときに前記第２のディスプレイに前記アプリケーション画像を表示するステップと
を有する請求項１７に記載の方法。

【請求項19】

前記アプリケーション画像を表示するステップが、
所定の方向に向かうジェスチャ操作を識別したときに前記第１のディスプレイと前記第２のディスプレイにそれぞれ前記アプリケーション画像を表示するステップ
を有する請求項１７または請求項１８に記載の方法。

【請求項20】

起動アイコンに対してタッチ操作が可能な第１のディスプレイと、
第２のディスプレイと、
前記起動アイコンに対するタッチ操作の種類を識別するタッチ操作識別部と、
前記識別したタッチ操作の種類に応じて前記起動アイコンを関連付けたアプリケーション画像を前記第１のディスプレイおよび前記第２のディスプレイまたはいずれか一方のディスプレイに表示するアプリケーション制御部と
を有する電子機器。

【請求項21】

前記電子機器が、それぞれ前記第１のディスプレイと前記第２のディスプレイを搭載する２つの筐体がヒンジ機構で結合された折り畳み式のスマートフォンまたはタブレット・コンピュータである請求項２０に記載の電子機器。

【請求項22】

前記アプリケーション制御部は、
前記第２のディスプレイから前記第１のディスプレイに向かうジェスチャ操作を識別したときに前記第１のディスプレイに前記アプリケーション画像を表示し、前記第１のディスプレイから前記第２のディスプレイに向かうジェスチャ操作を識別したときに前記第２のディスプレイに前記アプリケーション画像を表示する請求項２１または請求項２１に記載の電子機器。

【請求項23】

起動アイコンに対してタッチ操作が可能なディスプレイと、
外部モニターに接続可能な通信デバイスと、
前記起動アイコンに対するタッチ操作の種類を識別するタッチ操作識別部と、
前記識別したタッチ操作の種類に応じて前記起動アイコンを関連付けたアプリケーション画像を前記ディスプレイおよび前記外部モニターまたはいずれか一方に表示するアプリケーション制御部と
を有する電子機器。

【請求項24】

前記アプリケーション制御部は、
第１の方向に向かう第１のジェスチャ操作を識別したときに前記ディスプレイに前記アプリケーション画像を表示し、第２の方向に向かう第２のジェスチャ操作を識別したときに前記外部モニターに前記アプリケーション画像を表示する請求項２３に記載の電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タッチ操作が可能なディスプレイを含む複数のディスプレイにアプリケーション画像を表示するシステムにおいて、各ディスプレイを有効に活用する技術に関し、さらには直感的なタッチ操作で意図するディスプレイにアプリケーション画像を表示する技術に関する。

【背景技術】

【0002】

ノートブック型パーソナル・コンピュータ（ノートＰＣ）、タブレット型コンピュータ（タブレットＰＣ）、携帯電話または多機能携帯電話（スマートフォン）などの電子機器ではタッチ操作が可能なディスプレイ（以後、タッチスクリーンという。）を含む複数のディスプレイに画像を表示する場合がある。タッチスクリーンは、フラット・パネル・ディスプレイ（ＦＰＤ）と、ＦＰＤに対するタッチ操作の認識が可能なタッチパネルで構成している。

【0003】

このような電子機器における複数のディスプレイの１つの使用形態では、それぞれタッチスクリーンを搭載する２つの筐体をヒンジ機構で折り畳みができるように結合している。以後、このような電子機器を折り畳み式電子機器という。他の利用形態では、これらの電子機器に他のディスプレイやプロジェクタなどの外部モニターを接続して電子機器が出力する画像データを表示する。タッチスクリーンを利用してユーザが操作可能なプログラムは、プログラムを関連付けた起動アイコンに対するタッチ操作で実行状態に移行させることができる。

【0004】

特許文献１は、複数のアプリケーションを複数のディスプレイに適切に配置して起動することが可能な情報処理端末を開示する。情報処理端末は第１の画面および第２の画面を有する表示手段と制御手段を備える。制御手段は、第１のアプリケーションを示す第１のアプリケーション表示と第２のアプリケーションを示す第２のアプリケーション表示とを所定の位置関係で関連付けたペアアイコンを第１の画面または第２の画面に表示する。また、制御手段は、ペアアイコンがユーザによって指定されると、第１のアプリケーションと第２のアプリケーションを、ペアアイコンの第１のアプリケーション表示と前記第２のアプリケーション表示の位置関係に応じた配置で第１の画面と第２の画面にそれぞれ起動する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２−６９０６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

図１１は、折り畳み式のスマートフォンの平面図である。スマートフォン８００は、筐体８０１ａ、８０１ｂがヒンジ機構８０５ａ、８０５ｂで結合され開閉ができるようになっている。筐体８０１ａ、８０１ｂはそれぞれタッチスクリーン８０３ａ、８０３ｂを搭載する。タッチスクリーン８０３ａ、８０３ｂの利用形態の一例においては、タッチスクリーン８０３ａを主画面として位置付け、タッチスクリーン８０３ｂを補助画面と位置付ける。

【0007】

タッチスクリーン８０３ａには、主としてユーザがインストールしたアプリケーション・プログラム（アプリケーション）の複数の起動アイコン８０７を表示している。システムはタッチスクリーン８０３ａの表示領域を越える数の起動アイコンを、タッチスクリーン８０３ａの拡張領域に設定した仮想的な表示領域に表示するように画像データを保持する。表示領域から隠れた起動アイコンはタッチスクリーン８０３ａに対するスワイプ操作で表示領域まで移動させることができる。タッチスクリーン８０３ｂには、Ｗｅｂブラウザ、メーラー、写真表示、または音楽再生などのあらかじめ定めたアプリケーションの起動アイコン８０９だけを表示する。

【0008】

そして起動アイコン８０７にタッチ操作をしたときのアプリケーション画像はタッチスクリーン８０３ａに表示され、起動アイコン８０９にタッチ操作をしたときのアプリケーション画像はタッチスクリーン８０３ｂに表示される。一旦表示したアプリケーション画像は、一方のタッチスクリーンから他方のタッチスクリーンに移動することができない。図１１には、Ｗｅｂブラウザの起動アイコン８０９ａ、とメーラーの起動アイコン８０９ｂを例示している。

【0009】

ここで起きる問題は、たとえば、起動アイコン８０９ａにタッチ操作をしてタッチスクリーン８０３ｂにＷｅｂブラウザの画像を表示しているときにメールを送りたい場合には、一旦ホーム画面に戻ったりＷｅｂブラウザを閉じたりしてからメーラーの起動アイコン８０９ｂにタッチ操作をしてメーラーの画像をタッチスクリーン８０３ｂに表示する必要がある。その後再びＷｅｂブラウザに戻るためにはメーラーの画像を閉じてからＷｅｂブラウザの起動アイコン８０９ａに対するタッチ操作が必要になり操作が煩雑になる。

【0010】

このとき、タッチスクリーン８０３ａにユーザにとって有用なアプリケーション画像が表示されていない場合でも、Ｗｅｂブラウザの画像をタッチスクリーン８０３ｂに残しながら、タッチスクリーン８０３ａにメーラーの画像を表示することができない。同じことはタッチスクリーン８０３ａが表示する２個の起動アイコンの間にも発生する。特許文献１の方法では、特別なペアアイコンを作成することで同時に２つの画面に表示することができるが、ペアアイコンの作成に手間がかかる。また、ペアアイコンの配置とアプリケーションを表示する画面はあらかじめ関連付けられており、ペアアイコンを作成したあとでは、それに反する位置にそのときの作業の状況に応じてユーザが都合のよい画面にアプリケーション画像を表示することができない。

【0011】

そこで本発明の目的は、タッチ操作が可能なディスプレイを含む複数のディスプレイにアプリケーション画像を効果的に表示する方法を提供することにある。さらに本発明の目的は、起動アイコンに対する直感的なタッチ操作を実現する方法を提供することにある。さらに本発明の目的は、起動アイコンに対する操作メニューを拡大する方法を提供することにある。さらに本発明の目的は、タッチ操作の可能なディスプレイを含む電子機器を使ったユーザの作業性を向上する方法を提供することにある。さらに本発明の目的は、そのような方法を実現する電子機器、およびコンピュータ・プログラムを提供することにある。

【課題を解決するための手段】

【0012】

本発明は、複数のディスプレイを備える電子機器に適用する。第１のディスプレイはタッチ操作が可能であるが、第２のディスプレイはタッチ操作が可能でも不可能でもよい。第１の態様では、最初に起動アイコンを第１のディスプレイに表示する。つづいて、起動アイコンに対するタッチ操作の種類を識別する。つづいて、識別したタッチ操作の種類に応じて起動アイコンを関連付けたアプリケーション画像を第１のディスプレイおよび第２のディスプレイまたはいずれか一方のディスプレイに表示する。

【0013】

このような構成によれば、ユーザはタッチ操作を選択することで、アプリケーションを起動して意図するディスプレイにアプリケーション画像を表示することができる。タッチ操作はタップ操作でもよいが、起動アイコンを起点としたジェスチャ操作にするとディスプレイの相対的な配置に関連付けた直感的な操作が可能になる。ジェスチャ操作をフリック操作とすれば、短い操作時間でアプリケーション画像を表示することができる。

【0014】

第２のディスプレイに対して相対的に第１のディスプレイの方向のジェスチャ操作を検出したときにアプリケーション画像を第１のディスプレイに表示し、第１のディスプレイに対して相対的に第２のディスプレイの方向のジェスチャ操作を検出したときにアプリケーション画像を第２のディスプレイに表示すれば、表示させたいディスプレイの位置とジェスチャ操作の方向を一致させることができるため直感的な操作をすることができる。

【0015】

所定の方向のジェスチャ操作を検出したときに、第１のディスプレイにすでに表示されているアプリケーション画像を第２のディスプレイに表示してから第１のディスプレイにアプリケーション画像を表示するようにすれば、それまで第１のディスプレイに表示していたアプリケーション画像を引き続いて第２のディスプレイに表示することができる。

【0016】

所定の方向のジェスチャ操作を検出したときに、第１のディスプレイおよび第２のディスプレイを一画面とするアプリケーション画像を第１のディスプレイおよび第２のディスプレイに表示するようにしてもよい。所定の方向のジェスチャ操作を検出したときに起動アイコンを関連付けたアプリケーション・プログラムのプロパティ・ウィンドウを表示するようにしてもよい。さらに所定の方向のジェスチャ操作を検出したときに、アプリケーション画像を電子機器に接続された外部モニターに表示するようにしてもよい。さらに所定の方向のジェスチャ操作を検出したときに、起動アイコンを関連付けたアプリケーション・プログラムを削除するようにしてもよい。

【0017】

第２のディスプレイに対するタッチ操作が可能な場合において、起動アイコンにタッチ操作をする前に起動アイコンに重ねて何らかのアプリケーション画像を第１のディスプレイに表示している場合がある。この状態では起動アイコンにタッチ操作ができないが、第１のディスプレイの表示を維持しながら第２のディスプレイに対するジェスチャ操作に応じて起動アイコンを第２のディスプレイに表示し、第２のディスプレイが表示する起動アイコンに対するタッチ操作の種類に応じて第２のディスプレイに起動アイコンを関連付けたアプリケーション画像を表示すれば、第１のディスプレイに表示していたアプリケーション画像を一旦閉じる必要がなくなる。

【0018】

本発明の第２の態様では、最初に起動アイコンをタッチ操作が可能なディスプレイに表示する。つづいて、起動アイコンを起点とするジェスチャ操作に応じて起動アイコンの周囲に、それぞれ次の動作を暗示する情報を表示した複数の補助画像を表示する。つづいてジェスチャ操作を識別する。つづいて起動アイコンを関連付けたアプリケーション画像をいずれかのディスプレイまたは複数のディスプレイに表示する処理を含む識別したジェスチャに対応する処理をする。

【0019】

補助画像を表示することで、起動アイコンに対するジェスチャ操作の種類を増やしても正確に識別をすることが可能になり、かつ、操作に不慣れなユーザでも操作がし易くなる。暗示する情報は、アプリケーション画像を表示するディスプレイに関する情報、アプリケーション画像を関連付けたアプリケーション・プログラムのプロパティ・ウィンドウを表示する情報、アプリケーション画像を外部モニターに表示する情報、およびアプリケーション画像を削除する情報を含むことができる。

【0020】

いずれかの補助画像に向かうドラッグ操作を識別し、ドラッグ操作の終点に位置する補助画像を認識し、補助画像が暗示する情報に関連付けた処理を行うことができる。補助画像が暗示する情報に関連付けた処理は、起動アイコンを関連付けたアプリケーション・プログラムのプロパティ・ウィンドウの表示またはアプリケーション・プログラムの削除のいずれかとすることができる。

【0021】

補助画像を認識したことに応じて補助画像の周囲にそれぞれ次の動作を暗示する情報を表示した複数のサブ補助画像を表示することができる。サブ補助画像が暗示する情報は、アプリケーション画像を関連付けたアプリケーション・プログラムのプロパティ・ウィンドウを表示するディスプレイの位置を暗示する情報を含み、サブ補助画像に向かうジェスチャ操作を識別したことに応じていずれかのディスプレイにプロパティ・ウィンドウを表示することができる。

【発明の効果】

【0022】

本発明により、タッチ操作が可能なディスプレイを含む複数のディスプレイにアプリケーション画像を効果的に表示する方法を提供することができた。さらに本発明により、起動アイコンに対する直感的なタッチ操作を実現する方法を提供することができた。さらに本発明により、起動アイコンに対する操作メニューを拡大する方法を提供することができた。さらに本発明により、タッチ操作の可能なディスプレイを含む電子機器を使ったユーザの作業性を向上する方法を提供することができた。さらに本発明により、そのような方法を実現する電子機器、およびコンピュータ・プログラムを提供することができた。

【図面の簡単な説明】

【0023】

【図1】本実施の形態にかかるスマートフォン１００の平面図である

【図2】スマートフォン１００が起動アイコンを表示する様子を説明する図である。

【図3】本実施の形態にかかるアプリケーションの起動方法の一例を説明する図である。

【図4】ガイド画像２５０、２７０を利用したアプリケーションの起動方法の一例を説明するための図である。

【図5】スマートフォン１００のハードウェア構成の一例を示す機能ブロック図である。

【図6】起動アイコンに対する操作を処理する表示システム５００の構成を説明するための機能ブロック図である。

【図7】表示システム５００の動作の一例を説明するためのフローチャートである。

【図8】表示システム５００の動作の一例を説明するためのフローチャートである。

【図9】図７、図８の手順に応じて変化するタッチスクリーン２００、３００の画面の様子を示す図である。

【図10】図７、図８の手順に応じて変化するタッチスクリーン２００、３００の画面の様子を示す図である。

【図11】折り畳み式のスマートフォンにおける従来のアプリケーション画像の表示方法を説明するための平面図である。

【発明を実施するための形態】

【0024】

［定義］
本明細書においては、タッチスクリーンに対する一連のまとまりのある入力操作に関する用語を、システムが検出した座標の変化の有無、座標が変化する場合の変化速度、座標が変化しない場合に同一座標に対して入力している時間の視点から以下の意味で使用する。タッチ操作は、タッチスクリーンの表面に指または電子ペン（以後、本明細書においては両者を含めて単に指という。）が接触するか否かに係わらず入力座標をシステムが認識できる状態にするすべての入力操作を意味する。

【0025】

タッチ操作は、タッチスクリーンが表示する特定のアプリケーションまたは特定のファイルなどに関連付けたアイコン（以下、起動アイコンという。）や所定の場所に関連付けた文字または画像などのオブジェクト（以下、特定オブジェクトという。）に対する入力操作または特定オブジェクト以外の表示領域に対する入力操作のいずれも含む。

【0026】

タッチ操作は、一連の操作においてタッチ操作の位置を変化させないタップ操作と変化させるジェスチャ操作を含む。タップ操作を検出したシステムは、タッチ操作された座標と当該座標に対してタッチ操作が継続している時間、およびタッチ操作の回数などの情報を得ることができる。タップ操作は、所定時間未満のタッチ操作を行うショートタップ操作と所定時間以上のタッチ操作を行うロングタップ操作を含む。タップ操作は、ショートタップ操作を１回行うシングルタップ操作と、ショートタップ操作を２回行うダブルタップ操作を含む。

【0027】

ジェスチャ操作は、フリック操作、スワイプ操作、ドラッグ操作、および回転操作などのシングルタッチ操作と、ピンチイン、ピンチアウトといったマルチタッチ操作を含む。ジェスチャ操作を検出したシステムは、タッチ操作された座標の軌跡および座標が変化する速度などの情報を得ることができる。そしてシステムは、座標の軌跡のパターンおよび変化の方向などからジェスチャの種類を識別することができる。

【0028】

フリック操作は、タッチ操作をしている指を短い距離だけほぼ一定の方向に移動させる操作をいう。スワイプ操作は、タッチ操作をしている指をフリック操作よりも長い距離をほぼ一定の方向に移動させる操作をいいスライド操作ともいう。フリック操作はスワイプ操作よりも指の移動速度が速い操作をいう。ドラッグ操作は、特定オブジェクトに対してタッチ操作をした指を所定の位置まで移動させる操作をいう。このときタッチ操作が行われた特定オブジェクトは指とともに移動しても移動しなくてもよい。また、移動先となる所定の位置は、特定オブジェクトが表示されている領域でもそれ以外のタッチスクリーンの表示領域でもよい。

【0029】

［折り畳み式電子機器］
図１は、２つのタッチスクリーンを搭載する電子機器の一例としてのスマートフォン１００の平面図である。本発明の適用においては、一方がタッチスクリーンで他方が表示だけが可能なディスプレイとすることもできる。電子機器が搭載するディスプレイまたはタッチスクリーンの数は、少なくとも１つがタッチスクリーンであれば特に限定しない。

【0030】

本発明の適用が可能な他の電子機器の例としては、ノートブック型ＰＣ、携帯電話およびタブレットＰＣなどを挙げることができる。さらに本発明は、単一のタッチスクリーンを備える電子機器と、外部モニターとの間でのアプリケーション画像の表示方法に適用することもできる。ここでは、折り畳み式のスマートフォン１００を例示しているが、本発明はこれに限定する必要はなく、少なくとも１つのタッチ操作が可能なディスプレイを含む複数のディスプレイに表示が可能なシステムまたは電子機器に適用することができる。

【0031】

図１において、スマートフォン１００は、筐体１０１ａ、１０１ｂがヒンジ機構１０３ａ、１０３ｂで結合され開閉ができるようになっている。筐体１０１ａ、１０１ｂはそれぞれ表示領域が矩形状のタッチスクリーン２００、３００を搭載する。スマートフォン１００は、図１の状態でユーザに対して左右に開いて使用する状態であるが、右または左に９０度回転させてユーザに対して上下に開いて使用することもできる。そのとき、タッチスクリーン２００、３００が表示している画像の向きは、筐体の姿勢の変化に応じて回転させてもよい。

【0032】

タッチスクリーン２００、３００は、ＦＰＤとタッチパネルで構成されている。タッチパネルはタッチ操作した指のＦＰＤ上の座標を検出することができる。本発明の適用に当たってＦＰＤの構造は特に限定する必要はなく、液晶パネル、プラズマ・ディスプレイ・パネル、または有機ＥＬパネルなどを採用することができる。タッチパネルの検出原理も特に限定する必要はなく、静電容量式、抵抗膜式、電磁誘導式、超音波表面弾性波式、または赤外線操作式などを採用することができる。タッチパネルは、１本の指の座標だけを検出するシングルタッチ方式または同時に複数の指の座標を検出するマルチタッチ方式のいずれも採用することができる。

【0033】

スマートフォン１００は、外部ディスプレイ１５１またはプロジェクタ１５３などの外部モニターを有線または無線で接続してそれらにアプリケーション画像を表示することができる。スマートフォン１００は、電源を操作する電源ボタン１０７、音量を変える音量ボタン１０９、ホーム画面に戻るためのホーム・ボタン１１１、１つ前の状態に戻る後退ボタン１１３などのハードウェア・ボタンを備えている。なお、電源ボタン１０７を除いた各ボタンの機能は、タッチスクリーン２００、３００に対するタッチ操作で実現することもできる。スマートフォン１００は、さらにカメラ１１５および図示しないスピーカ、マイクロフォンなども含む。

【0034】

［起動アイコンの表示方法］
図２は、スマートフォン１００が起動アイコンを表示する様子を説明する図である。起動アイコンは、特定のアプリケーションまたは特定のファイルなどに関連付けらており、当該アプリケーションを実行したり、当該ファイルを関連付けたアプリケーションを実行して当該ファイルを表示したりするためのタッチスクリーンに表示するオブジェクトをいう。ファイルの起動アイコンは、タッチ操作をしたときにアプリケーションの起動をともなうため、本明細書ではアプリケーションの起動アイコンに含めて説明する。

【0035】

起動アイコンにタッチ操作をすることによって、アプリケーションが起動したときに表示される画像をアプリケーション画像という。アプリケーション画像は、タッチスクリーン２００またはタッチスクリーン３００の表示領域の全体を使用する全画面表示形式またはそれより小さい領域を使用するウィンドウ形式のいずれで表示してもよい。

【0036】

起動アイコンはタッチ操作の対象となり、本実施の形態では関連付けたアプリケーションの起動に加えて、アンインストールやプロパティ・ウィンドウの表示なども起動アイコンを通じて行うことができる。起動アイコンは、図形、写真、記号、または文字などで、それを関連付けたアプリケーションまたはファイルの内容を暗示する情報を含む小画像のオブジェクトである。

【0037】

起動アイコンの輪郭はすべて矩形のような同一形状でもよいし、時計やカメラと言った具体的な物の概念を示す形状でもよい。スマートフォン１００に、アプリケーションをインストールすると、当該アプリケーションに関連付けられた起動アイコンが生成される。アプリケーションをインストールしたときに作成された起動アイコンを表示する画面は一般にホーム画面といわれている。ホーム画面は、電源ボタン１０７を長押ししてスマートフォン１００の電源を起動したときに最初に表示される画面をいう。ホーム画面は、スマートフォンが動作したあとでホーム・ボタン１１１を押下したときに表示される画面でもある。

【0038】

起動アイコンは、ホーム画面とは異なるたとえば全アプリケーション画面というような画面に表示する場合もある。たとえば、ホーム画面には、天気予報、カレンダー、または時刻を表示するウィジェットといわれる常時動作型のアプリケーション画像や、頻繁に使用するアプリケーションの起動アイコンだけを表示しておき、全アプリケーション画面にはインストールされているすべてのアプリケーションの起動アイコンを表示する方法もある。図２は、ホーム画面、または全アプリケーション画面のいずれかを問わず、１つまたは複数の起動アイコンを表示している画面（以後、ページ画面１５０ａ〜１５０ｃという。）を示している。

【0039】

図２においてスマートフォン１００に対して、ユーザからみてタッチスクリーン２００を左側としタッチスクリーン３００を右側とする方向を定義する。タッチ操作に都合がよいようにタッチスクリーン２００、３００が一度に表示する起動アイコンの数には制限を設けている。図２では、一例としてタッチスクリーン２００、３００がそれぞれ最大で２０個の起動アイコンを表示する様子を示している。アプリケーションをインストールすると、ページ画面１５０ａ〜１５０ｃには起動アイコンが順番に追加されていく。あるいは、インストール時にユーザがインストールするページ画面を選択することもできる。

【0040】

ページ画面１５０ａ〜１５０ｃの数が３以上になると、タッチスクリーン２００、３００には一度にすべての起動アイコンを表示することができない。この場合、システムは一部のページ画面１５０ｃが含む起動アイコンを仮想的なタッチスクリーンに表示する画像データとして保持する。図２（Ａ）は、システムが起動アイコン群２０１をタッチスクリーン２００に表示し、起動アイコン群３０１をタッチスクリーン３００に表示し、さらに起動アイコン群３５１の画像データを仮想的なタッチスクリーンに保持する様子を示している。

【0041】

起動アイコン群３５１をタッチスクリーン３００に表示するためには、タッチスクリーン２００またはタッチスクリーン３００に対して左側に向かうスワイプ操作またはフリック操作をして、図２（Ｂ）のようにページ画面１５０ｃを左方向に移動させる。このとき起動アイコン群２０１は、タッチスクリーン２００、３００の表示領域の外にある仮想的なタッチスクリーンに移動する。起動アイコン群３５１を、タッチスクリーン２００に表示するためには、タッチスクリーン２００またはタッチスクリーン３００に対してさらに左側に向かうスワイプ操作またはフリック操作をして、図２（Ｃ）のようにページ画面１５０ｃを左方向に移動させる。

【0042】

このとき起動アイコン群２０１、３０１は、タッチスクリーン２００、３００の表示領域の外に移動し、タッチスクリーン３００にはいずれの起動アイコンも表示されない。図２（Ａ）の状態で、起動アイコン群２０１をタッチスクリーン３００に表示するためには、タッチスクリーン２００またはタッチスクリーン３００に対して右側に向かうスワイプ操作またはフリック操作をして、図２（Ｄ）のようにページ画面１５０ａを右方向に移動させる。

【0043】

このとき起動アイコン群３０１、３５１は、タッチスクリーン２００、３００の表示領域の外に移動し、タッチスクリーン２００にはいずれの起動アイコンも表示されない。タッチスクリーン３００が、タッチ操作ができない通常のディスプレイの場合、タッチスクリーン２００には１つのページ画面しか表示できないため、その他のページ画面が含む起動アイコンは仮想的なタッチスクリーンに移動する。

【0044】

［アプリケーションの起動方法］
図３は、本実施の形態にかかるアプリケーションの起動方法の一例を説明する図である。この例では、タッチ操作で図３（Ａ）に示す起動アイコン２０３を関連付けたアプリケーションを起動して、アプリケーション画像をユーザが意図するタッチスクリーン２００またはタッチスクリーン３００に表示することができる。ユーザからみたときのタッチスクリーン２００とタッチスクリーン３００の相対的な位置について、タッチスクリーン２００を左側、タッチスクリーン３００を右側として定義する。このとき、それに併せて上側と下側を定義することができる。

【0045】

図３（Ｂ）に示すようにスマートフォン１００がユーザに対して図３（Ａ）の状態から右方向に９０度回転した場合には、タッチスクリーン２００とタッチスクリーン３００は、ユーザからみたときの相対的な位置に対して、タッチスクリーン２００が上側でタッチスクリーン３００が下側となる。しかし表示システム５００（図６）にとっては、ユーザにとっての左右方向および上下方向は、タッチスクリーン２００、３００の相対的位置との関係で意義がある。表示システム５００は、図３（Ａ）の状態の左右方向と、図３（Ｂ）の状態の上下方向をタッチスクリーン２００、３００の相互の相対的な位置との関係で同一視する。

【0046】

最初に図３（Ａ）の状態について説明する。タッチスクリーン２００、３００の相互の相対的な位置に関連付けて、起動アイコン２０３の方向について、図３（Ｃ）に示すように、上方向２１１、下方向２１３、左方向２１５、または右方向２１７として４方向を定義する。なお、本発明において起動アイコンに定義する方向の数は２方向以上であれば４方向に限定する必要はなく３方向または５方向以上であってもよい。

【0047】

図３（Ｄ）は起動アイコン２０３に定義した４方向とタッチスクリーン２００、３００の相対的な位置との関係を示している。タッチスクリーン２００、３００の中心２００ａ、３００ａを結ぶ中心線２３０またはこれに平行な直線と、起動アイコン２０３の中心２０３ａを起点とする各矢印２３１〜２３７はそれぞれ４５度で交差する。上方向２１１、下方向２１３、左方向２１５、および右方向２１７は、それぞれ矢印２３７〜２３１、矢印２３３〜２３５、矢印２３１〜２３３、および矢印２３５〜２３７の９０度の範囲で画定する方向に対応させることができる。

【0048】

起動アイコン２０３に４方向を定義すると、ジェスチャ操作の方向だけで少なくとも４種類の操作をすることができる。たとえば、ジェスチャ操作としてフリック操作またはスワイプを採用する場合には、起動アイコン２０３を起点とする２つの異なる方向への指の移動で、起動アイコン２０３を関連付けたアプリケーション画像をユーザが指の移動先として意図するタッチスクリーン２００、３００のいずれかに表示することができる。またジェスチャ操作として回転操作を採用する場合は、左回りの回転操作を左方向のジェスチャ操作として識別し、右回りの回転操作を右方向のジェスチャ操作として識別することもできる。

【0049】

このとき、上方向２１１をタッチスクリーン２００に対応させ、下方向２３１をタッチスクリーン３００に対応させてもよいが、起動アイコンに対するジェスチャ操作の方向とタッチスクリーン２００、３００の相互の相対的な位置を一致させると直感的にタッチスクリーンを選択することができる。すなわち、起動アイコン２０３の左方向２１５はタッチスクリーン２００を連想させ、右方向２１７はタッチスクリーン３００を連想させる。したがって、起動アイコン２０３に対して左方向２１５のフリック操作をしたときにはアプリケーション画像をタッチスクリーン２００に表示し、右方向２１７のフリック操作をしたときには、アプリケーション画像をタッチスクリーン３００に表示すると、ユーザが表示させたいタッチスクリーン２００、３００の位置とフリック操作の方向を一致させることができる。

【0050】

このとき、上方向２１１と下方向２１３には、対応するタッチスクリーン２００、３００が存在しないため、それらの方向のフリック操作には他の処理を割り当てることができる。たとえば、上方向２１１のフリック操作にはタッチスクリーン２００、３００を一画面として利用する拡大したアプリケーション画像を表示し、下方向２１３のフリック操作には、起動アイコン２０３を関連付けたアプリケーションのプロパティ・ウィンドウを表示するように割り当てることができる。

【0051】

プロパティ・ウィンドウは、当該アプリケーションに固有の設定をしたり当該アプリケーションの情報を示したりするメニューを表示する。プロパティ・ウィンドウはたとえば、当該アプリケーションがアクセスするネットワークの制限、ＧＰＳによる位置情報通知の制限またはカメラへのアクセス制限などの設定や、サーバからのデータ取得のタイミングの設定、動作中にシステムがスリープ状態に移行することの制限などの設定を行うためのメニューを表示する。

【0052】

ジェスチャ操作の方向と、タッチスクリーン２００、３００の相互の相対的な位置との関係では、図３（Ａ）の左方向と図３（Ｂ）の上方向は同じ意義を有しており、システムはスマートフォン１００のユーザに対する姿勢に応じて、ジェスチャ操作の方向を判断して処理する。表示システム５００は加速度センサで中心線２０３と重力方向（ユーザにとっての上下方向）の関係を認識することで、図３（Ｂ）の状態のときに、図３（Ａ）の状態と同様に起動アイコン２０３に対するジェスチャ操作を処理することができる。

【0053】

図３（Ｂ）の状態で具体的には、起動アイコン２０３を起点とする上方向２１１のフリック操作でアプリケーション画像をタッチスクリーン２００に表示し、下方向２１３のフリック操作でアプリケーション画像をタッチスクリーン３００に表示することができる。また、右方向２１７のフリック操作でタッチスクリーン２００、３００を一画面として拡大したアプリケーション画像を表示し、左方向２１５のフリック操作でアプリケーションのプロパティ・ウィンドウを表示する。

【0054】

このように起動アイコンに対する１回のフリック操作でユーザは指を移動させる方向に合致した位置に存在するタッチスクリーン２００、３００にアプリケーション画像を表示することができる。フリック操作は、短時間で入力操作を終了できる点で優れているが、アプリケーション画像やプロパティ・ウィンドウの表示はフリック操作と同様に指の移動方向から表示するタッチスクリーンの位置を連想させることができるスワイプ操作、ドラッグ操作または回転操作で行うようにしてもよい。

【0055】

ただし、アプリケーション画像の表示は、ジェスチャ操作に限らずタップ操作で行うようにしてもよい。また、ジェスチャ操作とタップ操作を組み合わせてもよい。たとえば、図３（Ａ）において、起動アイコン２０３に対する左方向２１５または右方向２１７のジェスチャ操作でアプリケーション画像を表示するいずれかのタッチスクリーン２００、３００を選択し、シングルタップ操作で両方のタッチスクリーン２００、３００を選択し、ダブルタップ操作ではプロパティ画面の表示をすることもできる。また、仮想的なタッチスクリーンに移動している起動アイコン群３５１は、スワイプ操作またはフリック操作によりページ画面１５０ｃをタッチスクリーン２００またはタッチスクリーン３００に表示させてから同様の手順で操作することができる。

【0056】

つぎに、本実施の形態にかかるアプリケーションの起動方法の他の例を説明する。図４は、ガイド画像２５０、２７０を利用したアプリケーションの起動方法の一例を説明するための図である。以下においては図３（Ａ）に示す起動アイコン２０３に対するタッチ操作を例にして説明する。図４（Ａ）の例では、起動アイコン２０３にタッチ操作をすると表示システム５００はその周囲に補助画像２５１〜２６１で構成されたガイド画像２５０を表示する。このときのタッチ操作は、続いて行われるジェスチャ操作の開始に相当する。補助画像２５１〜２６１は周囲の起動アイコンにオーバーレイ（重畳）または半透明で表示され、まとまりのある一連のタッチ操作が終了すると消滅する。

【0057】

表示システム５００は補助画像２５１〜２６１を表示する段階では、アプリケーション画像またはプロパティ・ウィンドウの表示は行わないが、タッチ操作に続いて行われるジェスチャ操作を識別して対応するさまざまな処理を行う。補助画像２５１〜２６１は、起動アイコン２０３に対する操作をユーザが認識するための情報または認識を補助する情報を含む。図４では情報を文字で表示する例を示しているが、補助画像２５１〜２６１は、図形、写真、記号、または文字などの画像で構成することができる。

【0058】

起動アイコン２０３の左側および右側に表示する補助画像２５５、２５７は、起動アイコン２０３からみたタッチスクリーン２００、３００の相対的な位置に対するジェスチャ操作の方向を暗示する情報を表示する。起動アイコン２０３の上側に表示する補助画像２５１は、タッチスクリーン２００、３００の両方への表示を暗示する情報を表示する。起動アイコン２０３の下側に表示する補助画像２５３は、プロパティ・ウィンドウの表示を暗示する情報を表示する。

【0059】

ユーザは必要に応じて補助画像２５１〜２５７をみながら、上方向２１１、下方向２１３、左方向２１５、または右方向２１７に対してフリック操作などのジェスチャ操作をすることで、起動アイコン２０３を関連付けたアプリケーションを起動してアプリケーション画像をそれぞれの操作に応じた態様でタッチスクリーン２００、３００に表示したりプロパティ・ウィンドウを表示したりすることができる。

【0060】

表示システム５００は、起動アイコン２０３の下側に補助画像２５３に加えて補助画像２５９、２６１を下方向に並べて表示することができる。このとき表示システム５００は、起動アイコン２０３を起点とする下方向２１３のジェスチャ操作のなかで、補助画像２５３、２５９、２６１を終点とするドラッグ操作だけを有効に処理することができる。ユーザが起動アイコン２０３から補助画像２５３までドラッグ操作をすると、システムは補助画像２５３の両側にサブ補助画像２６３、２６５を表示する。サブ補助画像２６３、２６５は、プロパティ・ウィンドウを表示するタッチスクリーン２００、３００の選択を暗示する情報を含む。

【0061】

ユーザが補助画像２５３からサブ補助画像２６３に向かってジェスチャ操作をすると表示システム５００は起動アイコン２０３を関連付けたアプリケーションのプロパティ・ウィンドウをタッチスクリーン２００に表示し、サブ補助画像２６５に向かってジェスチャ操作をするとプロパティ・ウィンドウをタッチスクリーン３００に表示する。この場合もフリック操作を採用すると短時間で操作を終了することができる。

【0062】

ユーザが起動アイコン２０３から補助画像２５９までドラッグ操作をすると、表示システム５００は補助画像２５９の両側にサブ補助画像２６７、２６９を表示する。サブ補助画像２６７、２６９は、アプリケーション画像を表示する外部モニターの選択を暗示する情報を含む。続いてユーザが補助画像２５９からサブ補助画像２６７に向かってジェスチャ操作をすると表示システム５００は起動アイコン２０３を関連付けたアプリケーションを起動してアプリケーション画像を外部ディスプレイ１５１に表示し、サブ補助画像２６９に向かってジェスチャ操作をするとアプリケーション画像をプロジェクタ１５３に表示する。

【0063】

ユーザが起動アイコン２０３から補助画像２６１までドラッグ操作をすると、起動アイコン２０３を関連付けたアプリケーションをアンインストールする。起動アイコン２０３の下側に表示する補助画像およびサブ補助画像の数はここでの例示に限定する必要はない。また、サブ補助画像を表示する補助画像は、起動アイコン２０３の上側に表示するようにしてもよい。

【0064】

図４（Ｂ）の例では、起動アイコン２０３にタッチ操作をすると表示システム５００はその周囲に、一例として８個の補助画像２７１〜２８５を含むガイド画像２７０を表示する。表示システム５００は、補助画像２７１〜２８５のいずれかに向かうジェスチャ操作または補助画像２７１〜２８５のいずれかを終点とするドラッグ操作を識別して、補助画像２７１〜２８５が暗示する情報に対応する処理をことができる。このときフリック操作を採用すれば短時間で起動アイコン２０３に対する入力を完了することができる。

【0065】

補助画像２７１は、プロジェクタ１５３にそれまで表示していたアプリケーション画像に代えて起動アイコン２０３を関連付けたアプリケーション画像を表示することを暗示する情報を含み、補助画像２７３はプロジェクタ１５３がそれまで表示していたアプリケーション画像を外部ディスプレイ１５１に表示してから起動アイコン２０３を関連付けたアプリケーション画像をプロジェクタ１５３に表示することを暗示する情報を含む。なお、補助画像２７１または補助画像２７３は、同一のアプリケーション画像を外部ディスプレイ１５１およびプロジェクタ１５３にそれぞれ表示することを暗示する情報を含むようにしてもよい。

【0066】

補助画像２７５はタッチスクリーン２００にそれまで表示していたアプリケーション画像に代えて起動アイコン２０３を関連付けたアプリケーション画像をタッチスクリーン２００に表示することを暗示する情報を含み、補助画像２７７はタッチスクリーン２００がそれまで表示していたアプリケーション画像をタッチスクリーン３００に表示してから起動アイコン２０３を関連付けたアプリケーション画像をタッチスクリーン２００に表示することを暗示する情報を含む。

【0067】

補助画像２７９はタッチスクリーン３００にそれまで表示していたアプリケーション画像に代えて起動アイコン２０３を関連付けたアプリケーション画像を表示することを暗示する情報を含み、補助画像２８１はタッチスクリーン３００がそれまで表示していたアプリケーション画像をタッチスクリーン２００に表示してから起動アイコン２０３を関連付けたアプリケーション画像をタッチスクリーン３００に表示することを暗示する情報を含む。

【0068】

補助画像２８３、２８５は、ホーム画面と全アプリケーション画面を表示するスマートフォンにおいて表示することができる。ページ画面１５０ａ、１５０ｂが全アプリケーション画面の場合に、補助画像２８３はホーム画面に起動アイコン２０３を追加することを暗示する情報を含み、補助画像２８３は起動アイコン２０３を関連付けたアプリケーションをアンインストールすることを暗示する情報を含む。

【0069】

補助画像２５０、２７０を利用すると、ジェスチャ操作の方向をユーザが正しく認識でき、さらにサブ補助画像を表示することも含めて起動アイコンに対するより多くの操作ができるようになる。スマートフォンが図３（Ｂ）のように回転した場合は、表示システム５００が加速度センサのデータを使って姿勢の変化を検出し、ガイド画像２５０、２７０の表示方向と補助画像の方向を回転させることができる。

【0070】

［ハードウェア構成］
図５は、スマートフォン１００のハードウェア構成の一例を示す機能ブロック図である。本発明の適用の範囲ではスマートフォン１００のハードウェアの構成は周知であるため説明は簡略化する。一例として筐体１０１ａは、システム・ハードウェア４００および電源回路４１５とシステム・ハードウェア４００に接続されたディスプレイ４０３、タッチパネル４０５、ＳＳＤ４０７、ＷｉＦｉ（登録商標）モジュール４０９、Bluetooth（登録商標）モジュール（ＢＬＴＨモジュール４１１）およびＷＡＮモジュール４１３などを搭載する。

【0071】

ディスプレイ４０３とタッチパネル４０５はタッチスクリーン２００を構成する。筐体１０１ｂは、システム・ハードウェア４００に接続されたディスプレイ４５３、タッチパネル４５５、カメラ・モジュール４５７、および加速度センサ４５９などを搭載する。ディスプレイ４５３とタッチパネル４５５は、タッチスクリーン３００を構成する。筐体１０１ａが搭載するデバイスと筐体１０１ｂが搭載するデバイスとは、ヒンジ機構１０３ａ、１０３ｂを通じて配線する。なお、筐体１０１ａ、１０１ｂが分担して搭載するデバイスは図５の例に限定する必要はない。また、スマートフォン１００はさらに多くのデバイスを含むが、それらは本発明の理解に必要がないため説明を省略する。

【0072】

ＳＳＤ４０７は、オペレーティング・システム（ＯＳ）、アプリケーション、およびデバイス・ドライバなどのソフトウェアを格納する。表示システム５００の主要な機能は、ＯＳおよびデバイス・ドライバまたはいずれかの機能に組み込むことができる。ＯＳは、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ ｐｈｏｎｅ（登録商標）、Ｗｉｎｄｏｗｓ ＲＴ（登録商標）、またはＷｉｎｄｏｗｓ８（登録商標）などを採用することができる。ＢＬＴＨモジュール４１１は、外部ディスプレイ１５１およびプロジェクタ１５３と通信する。

【0073】

［表示システム］
図６は、起動アイコンに対するタッチ操作を処理する表示システム５００の構成を説明するための機能ブロック図である。表示システム５００は、図１、図５に示したハードウェアの他に、システム・ハードウェア４００と、ＯＳ、デバイス・ドライバなどのソフトウェアとの協働により構成した、座標データ生成部５０１、タッチ操作識別部５０３、画像データ生成部５０５、アプリケーション実行部５０７、およびアプリケーション制御部５０９を含む。

【0074】

座標データ生成部５０１は、タッチ操作が行われたときにタッチパネル４０５、４５５が検出した入力座標を生成してアプリケーション実行部５０７およびタッチ操作識別部５０３に送る。タッチ操作識別部５０３は、ページ画面１５１ａ〜１５３ａが表示する起動アイコンの座標を認識しており、タッチパネル４０５、４５５が検出した入力座標からタッチ操作が行われた起動アイコンとタッチ操作の種類を識別する。

【0075】

タッチ操作識別部５０３は、ガイド画像２５０、２７０の補助画像が示唆する情報に対応する処理内容と、起動アイコンに対する補助画像の方向を認識している。タッチ操作識別部５０３は加速度センサ４５９が検出した重力加速度のデータに基づいて、図３（Ｄ）に示す中心線２３０の傾斜を認識する。タッチ操作識別部５０３は、タッチスクリーンの中心３００ａから中心２００ａに向かう方向を左方向２１５と認識し、その逆に向かう方向を右方向２１７と認識する。

【0076】

タッチ操作識別部５０３は、中心線２３０に対して垂直な方向に上方向２１１と下方向２１３を設定する。タッチ操作識別部５０３は、スマートフォン１００の姿勢が図３（Ｂ）の状態であっても加速度センサ４５９のデータでジェスチャ操作の方向を図３（Ａ）の状態に変換して識別することができる。たとえばタッチ操作識別部５０３は、図３（Ｂ）の起動アイコン２０３に対するユーザからみた上方向のジェスチャ操作は、中心線２３０上において中心３００ａから２００ａに向かう方向に相当するため、図３（Ａ）の左方向２１５のジェスチャ操作と同じ操作であると認識する。

【0077】

タッチ操作識別部５０３は、特定の起動アイコンを起動するタッチ操作を認識したときは、アプリケーション実行部５０７の対応するアプリケーションに起動イベントを送る。タッチ操作識別部５０３は、起動アイコンに対して行われたジェスチャ操作の種類に対応する制御イベントをアプリケーション制御部に送る。制御イベントは、図４に示したいずれかの補助画像が暗示する処理を実行するための情報を含む。タッチ操作識別部５０３は、起動アイコンに対するジェスチャ操作が行われたときに、最初にタッチ操作を検出した起動アイコンの周囲に図４に示したガイド画像２５０、２７０を表示する画像データを画像データ生成部５０５に送る。

【0078】

アプリケーション実行部５０７は、座標データ生成部５０１から受け取った入力座標または他のハードウェアからのデータに基づいて各アプリケーションを実行する。アプリケーション実行部５０７は、タッチ操作識別部５０３から起動イベントを受け取ったときに、対応するアプリケーションを実行してアプリケーション画像を表示するための画像データを生成し画像データ生成部５０５に送る。アプリケーション実行部５０７は、タッチスクリーン２００、３００を一画面として表示するジェスチャ操作に対応する起動イベントを受け取ったときは、対応するアプリケーション画像を表示するための画像データを生成することができる。

【0079】

アプリケ−ション制御部５０９は、アプリケーションのインストール、アンインストール、プロパティ・ウィンドウの表示、プロパティ・ウィンドウに対する入力処理などを行う。アプリケーション制御部５０９は、タッチ操作識別部５０３から受け取った制御イベントに応じて、アプリケーション画像を表示するタッチスクリーン２００、３００の選択、および外部ディスプレイ１５１またはプロジェクタ１５３の選択をしてアプリケーション画像を表示するための制御イベントを画像データ生成部５０５に送る。

【0080】

アプリケーション制御部５０９は、タッチ操作識別部５０３から受け取った制御イベントに応じて、起動アイコンを関連付けたアプリケーションのアンインストール、プロパティ・ウィンドウの表示およびプロパティ・ウィンドウに対する設定などの処理をする。アプリケーション制御部５０９は、画像データ生成部５０５にアプリケーションをインストールしたときに生成された起動アイコンを所定のページ画面１５０ａ〜１５０ｃに表示する画像データを送るとともに、タッチ操作識別部５０３にその座標を通知する。

【0081】

画像データ生成部５０５は、アプリケーション実行部５０７、タッチ操作識別部５０３またはアプリケーション制御部５０９から受け取った画像データを表示形式に変換して、ディスプレイ４０３、４５３、外部ディスプレイ１５１、またはプロジェクタ１５３に出力する。このとき画像データ生成部５０５は、アプリケーション制御部５０９から受け取った制御イベントに基づいて出力先を選択する。

【0082】

［表示システムの動作］
図７、図８は、表示システム５００の動作の一例を説明するためのフローチャートである。図９、図１０は、図７、図８の手順に応じて変化するタッチスクリーン２００、３００の画面の様子を示す図である。ここでは図３（Ａ）の状態で図４（Ａ）に示した補助画像を表示する場合を例示して説明するが、図３（Ｂ）の状態、図４（Ｂ）に示した補助画像を表示する場合および補助画像を表示しない場合の動作もこの説明で理解できる。ブロック６０１で電源を起動すると、表示システム５００は図９（Ａ）に示すようにタッチスクリーン２００、３００にページ画面１５０ａ、１５０ｂを表示する。

【0083】

ページ画面１５０ａ、１５０ｂは起動アイコン２０３、２０５、３０３を含む複数の起動アイコンを表示している。起動アイコン２０３にはメーラーを関連付け、起動アイコン２０５にはＷｅｂブラウザを関連付けているものとする。ここでユーザが最初にメーラーを実行してメーラー画像をタッチスクリーン２００に表示したいとする。ブロック６０３でユーザは、起動アイコン２０３を起点とするジェスチャ操作をする。ユーザは左方向のジェスチャ操作をすることになるが、表示システムはすべての方向のジェスチャ操作を認識して処理する。

【0084】

起動アイコン２０３の座標に対する入力を検出した表示システム５００は、ブロック６０５で起動アイコン２０３の周囲に図４（Ａ）に示した補助画像２５１〜２６１を表示する。表示システム５００は、ブロック６０３から始まる一連のジェスチャ操作の方向を識別する。表示システム５００は、ブロック６０６で左方向２１５のジェスチャ操作を認識したときはブロック６０７に移行し、それ以外のジェスチャ操作を認識したときはブロック６５１に移行する。

【0085】

ブロック６０７で表示システム５００は、起動アイコン２０３を関連付けたメーラーのアプリケーションを起動して、図９（Ｂ）に示すようにタッチスクリーン２００にメーラー画像３５１を表示する。ここでメール文章の入力をしている間にユーザが、Ｗｅｂブラウザを開いてネットワークから情報を取得したくなったと想定する。タッチスクリーン２００にはメーラー画像３５１が表示されているため、起動アイコン２０５に対してジェスチャ操作をすることができない。

【0086】

これまでは、ホーム・ボタン１１１を操作したり、タッチスクリーン２００、３００に所定のタッチ操作をしたりして、起動アイコン２０５を表示するページ画面１５０ａに移動してからタッチスクリーン２００にブラウザ画像３５３（図１０（Ｄ））を表示する必要があったため、メーラー画像３５１の表示を中断したり、切り換え操作に時間を費やしたり、空いているタッチスクリーン３００を有効に活用できなかったりしていた。

【0087】

本実施の形態では、ブロック６０９でタッチスクリーン３００に右方向のフリック操作またはスワイプ操作をして、タッチスクリーン３００に起動アイコン２０５を含むページ画面１５０ａを表示する。この状態を図９（Ｃ）に示す。ブロック６１１でユーザはタッチスクリーン３００に表示した起動アイコン２０５を視点とするジェスチャ操作を開始する。起動アイコン２０５の座標に対する入力を検出した表示システム５００はブロック６１３で補助画像２５１〜２６１を表示する。

【0088】

表示システム５００はブロック６１１から始まる一連のジェスチャ操作の方向を認識する。表示システム５００はブロック６１５で右方向２１７のジェスチャ操作を認識したときはブロック６１７に移行し、それ以外のジェスチャ操作を認識したときはブロック６６１に移行する。ブロック６１７で表示システム５００は、起動アイコン２０５を関連付けたＷｅｂブラウザを起動して、図１０（Ｄ）に示すようにタッチスクリーン３００にブラウザ画像３５３を表示する。

【0089】

表示システム５００は、ブロック６５１で右方向のジェスチャ操作を認識したときはブロック６５３でタッチスクリーン３００にメーラー画像３５１を表示し、それ以外のジェスチャ操作を認識したときは図８のブロック７０１に移行する。表示システム５００は、ブロック６６１で左方向のジェスチャ操作を認識したときはブロック６６３でタッチスクリーン２００にブラウザ画像３５３を表示し、それ以外のジェスチャ操作を認識したときは図８のブロック７０１に移行する。

【0090】

このときブロック６０７でタッチスクリーン２００に表示していたメーラー画像３５１はオーバーレイされる。ここで、表示システム５００がブロック６１３で図４（Ｂ）に示した補助画像２７１〜２７５を表示したときは、補助画像２７７に向かうジェスチャ操作を認識すると、タッチスクリーン２００が表示していたメーラー画像３５１をタッチスクリーン３００に表示して、タッチスクリーン２００にブラウザ画像３５３を表示することができる。

【0091】

下方向のジェスチャ操作のうちドラッグ操作だけを有効にしている場合は、図８のブロック７０１で表示システム５００は、ブロック６０６またはブロック６１５で行われたジェスチャ操作が下方向のドラッグ操作または上方向のジェスチャ操作のいずれかを識別する。ブロック７０１で表示システム５００が上方向のジェスチャ操作を認識したときはブロック７５１に移行し、それ以外、すなわち下方向のドラッグ操作を認識したときはブロック７０３に移行する。ブロック７５１で表示システム５００は、タッチスクリーン２００、３００を一画面として、ブロック６５１から移行したときはメーラー画像３５１を表示し、ブロック６６１から移行したときはブラウザ画像３５３を表示する。このときメーラー画像３５５を表示している状態を図１０（Ｅ）に示す。

【0092】

ブロック７０３では表示システム５００が、ドラッグ操作の終点の座標を認識する。ブロック７０３で補助画像２５３を認識したときはブロック７５３に移行してサブ補助画像２６３、２６５を表示する。ブロック７５５では表示システム５００が、補助画像２５３を起点するジェスチャ操作の方向を認識して、いずれかのタッチスクリーン２００、３００にメーラーまたはＷｅｂブラウザのプロパティ・ウィンドウを表示する。

【0093】

ブロック７０５で表示システム５００がドラッグ操作の終点として補助画像２５９を認識したときはブロック７５７に移行してサブ補助画像２６７、２６９を表示する。ブロック７５７では表示システム５００が、補助画像２５９を始点とジェスチャ操作の方向を認識して、外部ディスプレイ１５１またはプロジェクタ１５３にメーラー画像３５１またはブラウザ画像３５３を表示する。ブロック７０７で表示システム５００がドラッグ操作の終点として補助画像２６１を認識したときはブロック７６１に移行してメーラーまたはＷｅｂブラウザを削除する。

【0094】

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

【符号の説明】

【0095】

１００ スマートフォン
１０１ａ、１０１ｂ 筐体
１５０ａ〜１５０ｃ ページ画面
２００、３００ タッチスクリーン
２０１、３０１、３５１ 起動アイコン群
２０３、２０５、３０３ 起動アイコン
２１１ 上方向
２１３ 下方向
２１５ 左方向
２１７ 右方向
２５０、２７０ ガイド画像
２５１〜２６１、２７１〜２８５ 補助画像
２６３〜２６９ サブ補助画像
３５１ メーラー画像
３５３ ブラウザ画像
４００ システム・ハードウェア
５００ 表示システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】