特許 7602173 情報処理装置、コンピュータプログラムおよび情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-10

(45)【発行日】2024-12-18

(54)【発明の名称】情報処理装置、コンピュータプログラムおよび情報処理方法

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20241211BHJP

【ＦＩ】

G06F3/0481

【請求項の数】 4

(21)【出願番号】P 2023214159

(22)【出願日】2023-12-19

(62)【分割の表示】P 2020068897の分割

【原出願日】2020-04-07

(65)【公開番号】P2024023730

(43)【公開日】2024-02-21

【審査請求日】2024-01-16

(73)【特許権者】

【識別番号】500033117

【氏名又は名称】株式会社ＭＩＸＩ

(72)【発明者】

【氏名】田那辺 輝

【審査官】槙 俊秋

(56)【参考文献】

【文献】特開２０１５－０１１０００（ＪＰ，Ａ）

【文献】特開２０１９－０５７２３３（ＪＰ，Ａ）

【文献】特開２０１５－０７９３５５（ＪＰ，Ａ）

【文献】特開２０００－３２２１９９（ＪＰ，Ａ）

【文献】特開平０９－０６２４７３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００９０６０６（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０９６５６３９１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１－３／０４８９５

Ｇ０９Ｇ ５／００－５／４２

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、前記プロセッサは、
プログラミングコードを表示対象とする第１画像を表示対象とする第１領域を前面に配置し、プログラムの実行画面を表示対象とする第２画像を表示対象とする第２領域を前記第１領域の背面に配置してモニタ画面に表示し、
前記第２領域を指定する前記モニタ画面の不可視の所定の領域に対するタッチ操作と、ユーザからデータ入力のための前記モニタ画面に対する入力操作を受け付け、
タッチ操作の検出中に前記入力操作が検出されたときには、前記第１領域を前記第２領域よりも前面に維持したまま、前記第１画像を非表示にして、前記入力操作に基づいて前記第２画像を変化させ、
前記モニタ画面へのタッチ操作を終了するデタッチ操作が検出されたときには、前記第１画像を再表示させて、前記入力操作に基づいて前記第１画像を変化させる、
情報処理装置。

【請求項2】

タッチ操作の検出中に、前記第１領域および前記第２領域が重なる重畳領域に対して前記入力操作が検出されたときには、前記第１領域を前記第２領域よりも前面に維持したまま、前記第１領域を非表示にして、前記入力操作に基づいて前記第２画像を変化させ、
前記タッチ操作の検出中に、前記第１領域のみが存在する領域に対して前記入力操作が検出されたときには、前記第１画像を変化させる、
請求項１に記載の情報処理装置。

【請求項3】

プロセッサに、プログラミングコードを表示対象とする第１画像を表示対象とする第１領域を前面に配置し、第２画像を表示対象とする第２領域を前記第１領域の背面に配置してモニタ画面に表示させ、
プロセッサに、前記第２領域を指定する前記モニタ画面の不可視の所定の領域に対するタッチ操作と、ユーザからデータ入力のための前記モニタ画面に対する入力操作を受け付けさせ、
プロセッサに、タッチ操作の検出中に前記入力操作が検出されたときには、前記第１領域を前記第２領域よりも前面に維持したまま、前記第１画像を非表示にして、前記入力操作に基づいて前記第２画像を変化させ、
プロセッサに、前記モニタ画面へのタッチ操作を終了するデタッチ操作が検出されたときには、前記第１画像を再表示させて、前記入力操作に基づいて前記第１画像を変化させる、
プログラム。

【請求項4】

プロセッサが、プログラミングコードを表示対象とする第１画像を表示対象とする第１領域を前面に配置し、プログラムの実行画面を表示対象とする第２画像を表示対象とする第２領域を前記第１領域の背面に配置してモニタ画面に表示し、
プロセッサが、前記第２領域を指定する前記モニタ画面の不可視の所定の領域に対するタッチ操作と、ユーザからデータ入力のための前記モニタ画面に対する入力操作を受け付け、
プロセッサが、タッチ操作の検出中に前記入力操作が検出されたときには、前記第１領域を前記第２領域よりも前面に維持したまま、前記第１画像を非表示にして、前記入力操作に基づいて前記第２画像を変化させ、
プロセッサが、前記モニタ画面へのタッチ操作を終了するデタッチ操作が検出されたときには、前記第１画像を再表示させて、前記入力操作に基づいて前記第１画像を変化させる、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチウィンドウのユーザインタフェース技術、に関する。

【背景技術】

【0002】

ラップトップＰＣ、タブレットＰＣ、スマートフォンなどのモバイルコンピュータの登場により、コンピュータを使う機会は飛躍的に増加した。モバイルコンピュータは、軽量・省サイズを求められる。このため、モバイルコンピュータのユーザインタフェース設計においては、限られたサイズのモニタ画面に、いかに多くの情報を効率的に入出力できるかが重要なポイントとなる。

【0003】

一般的には、複数のウィンドウ（画像表示のための領域）に複数の情報を同時表示させるマルチウィンドウ方式のユーザインタフェースが採用されることが多い。各ウィンドウには「レイヤー（表示層）」が設定される。前面側（上位層）のウィンドウの背後（下）に背面側（下位層）のウィンドウの全部または一部が隠れているかのように複数のウィンドウは表示される。ユーザは 前面のウィンドウを対象としてデータを入力する。以下、データ入力の対象となるウィンドウのことを「フォーカスウィンドウ」とよぶ。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１６８７１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

情報を入力したいウィンドウが背面側にあるとき、このウィンドウを 前面のレイヤーとなるように表示順序を変更する必要がある（以下、「前面化」とよぶ）。具体的には、前面にあるウィンドウを縮小化（非アクティブ化）することにより背面のウィンドウを前面化する。あるいは、複数のウィンドウの縮小版を並列表示させる操作を行ったあと、その中からフォーカスウィンドウ（情報入力したいウィンドウ）を選ぶこともある。前面化のための操作、いいかえれば、前面化のために手数をかけることは、フォーカスウィンドウを頻繁に変更しながら情報入力を行いたいときには作業性の悪化を招きやすい。

【0006】

本発明の目的は、マルチウィンドウ型のユーザインタフェースにおける操作性を向上させるための技術、を提供することにある。

【課題を解決するための手段】

【0007】

本発明のある態様における情報処理装置は、第１画像を表示対象とする第１領域を前面に配置し、第２画像を表示対象とする第２領域を第１領域の背面に配置する表示制御部と、第２領域を指定する第１操作と、ユーザからデータ入力のための第２操作を検出する操作検出部と、を備える。
表示制御部は、第１操作の検出後に第２操作が検出されたときには、第１領域を第２領域よりも前面に維持したまま、第２操作に基づいて第２画像を変化させる。

【発明の効果】

【0008】

本発明によれば、マルチウィンドウ型のユーザインタフェースにおける操作性を向上させやすくなる。

【図面の簡単な説明】

【0009】

【図1】タブレット端末の外観図である。

【図2】複数のウィンドウのレイヤー構造を説明するための模式図である。

【図3】タブレット端末のハードウェア構成図である。

【図4】タブレット端末の機能ブロック図である。

【図5】機能判定領域の構成を説明するための外観図である。

【図6】通常入力を説明するための模式図である。

【図7】貫通入力を説明するための模式図である。

【図8】対象化選択領域へのタッチが検出されたときの処理過程を示すフローチャートである。

【図9】選択領域以外へのタッチが検出されたときの処理過程を示すフローチャートである。

【図10】デタッチが検出されたときの処理過程を示すフローチャートである。

【図11】データ入力対象の切り替えを説明するための外観図である。

【図12】実行ウィンドウへの貫通入力時の状態を示す第１画面図である。

【図13】コードウィンドウへの通常入力時の状態を示す第２画面図である。

【図14】コードウィンドウへの通常入力時の状態を示す第３の画面図である。

【図15】実行ウィンドウに円が描画されたときの状態を示す第４の画面図である。

【図16】機能入力の説明を表示したときの画面図である。

【図17】ジェスチャー入力をするときの画面図である。

【図18】３以上のウィンドウのフォーカスコントロールを説明するための概念図である。

【発明を実施するための形態】

【0010】

本実施形態においては複数のウィンドウが複数のレイヤーに配置されて表示される。ウィンドウは１枚のシートを模した画像領域であり、レイヤーはいわば複数枚のシートを積み重ねたときのシートの重ね位置を示す概念である。

【0011】

まず、物理的な紙のシート１，２，３を想定してみる。シート１，２，３にはそれぞれ絵や文字などの情報が記載されている。この３枚のシートを順番に積み重ねてみる。一番上にシート１、真ん中にシート２、一番下にシート３を配置したとする。このとき、ユーザは一番上にあるシート１のすべてを見ることができる。上から２番目のシート２はシート１に重なっていない部分だけが見える。上から３番目のシート３はシート１，２のいずれとも重なっていない部分だけが見える。このような積み重ねられたシートと同様の視認性をコンピュータプログラムにより実現したものがマルチウィンドウシステムである。

【0012】

マルチウィンドウシステムにおいて、同様にして電子的なウィンドウ１，２，３を想定する。ウィンドウ１，２，３はシートと同様にして情報を表示する。このとき、シート１に対応する「一番上」のレイヤーを「 前面のレイヤー」とよぶ。「前面」とは、モニタを見るユーザから見て前側（にあるかのように見えること）を意味した表現である。３つのウィンドウを３つのレイヤーそれぞれに配置してみる。一番上のレイヤーにウィンドウ１、真ん中のレイヤーにウィンドウ２、一番下のレイヤーにウィンドウ３を配置したとする。この場合、ウィンドウ１は、ウィンドウ２，３よりも「前面」のレイヤーに配置されている、と表現する。同様にして、ウィンドウ２は、ウィンドウ１の「背面」のレイヤーに配置され、ウィンドウ３の「前面」のレイヤーに配置されているという。ウィンドウ３は「 背面」のレイヤーに配置されている、と表現する。

【0013】

ウィンドウ１，２，３のように複数のウィンドウそれぞれの複数のレイヤーそれぞれへ配置する方法を「表示順序」とよぶ。上述の例によれば「複数のウィンドウの表示順序は、 前面から順番にウィンドウ１，２，３である」のように表現する。また、表示順序の変更にともなってウィンドウのレイヤーを変更することをウィンドウの「配置変更」とよぶ。

【0014】

以下においては、「前面化」とは、マルチウィンドウ方式のユーザインタフェースにおいて、指定されたウィンドウのレイヤーを前面に配置変更させることを意味する。「対象化」とは、指定されたウィンドウをデータ入力の対象として設定すること、いいかえれば、指定されたウィンドウをフォーカスウィンドウに設定することを意味する。ここでいう「データ入力」とはウィンドウが表示するコンテンツの追加または修正、具体的には、文字または画像を変更するための入力を意味する。「有効化」とは、特殊な機能レイヤーをオンにすることを意味する。一般的なマルチウィンドウ方式においては「前面化」と「対象化」は実質的に同一概念であるが、本実施形態においては「前面化をしない対象化」を実現する。

【0015】

図１は、タブレット端末１００の外観図である。
タブレット端末１００（情報処理装置）はモニタ画面１０２を備える薄型のモバイルコンピュータである。モニタ画面１０２にはタッチパネルが設置される。本実施形態においては、ユーザにプログラミングを教える授業を想定して説明する。生徒が、タブレット端末１００のユーザとなる。

【0016】

タブレット端末１００には、プログラミング教育のためのアプリケーション・ソフトウェア（以下、「学習ソフトウェア」とよぶ）があらかじめインストールされている。ユーザに簡単なプログラムコード（以下、単に「コード」とよぶ）を書かせ、作成したプログラムを実行させることでソフトウェアの仕組みに対するユーザの理解を深めることが授業の目的である。詳細は後述するが、コードを作成するためのウィンドウと、プログラムの実行画面となるウィンドウはマルチウィンドウとして別々に表示される。

【0017】

以下においては、タッチパネルを前提として説明するが、タブレット端末１００は、タッチパネルのほか、キーボード、マウスなどの入力デバイスを接続することもできる。タブレット端末１００は、音声入力を可能としてもよい。

【0018】

図２は、複数のウィンドウのレイヤー構造を説明するための模式図である。
学習ソフトウェアは、データの入力および出力の対象となる「通常レイヤー」として、コードウィンドウＸ１（第１領域）および実行ウィンドウＸ２（第２領域）を備える。また、コードウィンドウＸ１および実行ウィンドウＸ２に対する入力支援のための「機能レイヤー」として機能判定領域Ｍ１およびジェスチャー領域Ｇ１を含む。２つの機能レイヤーはいずれも不可視である。 前面（ 上位）から、機能判定領域Ｍ１、ジェスチャー領域Ｇ１、コードウィンドウＸ１および実行ウィンドウＸ２の４つのレイヤーが並ぶ。コードウィンドウＸ１と実行ウィンドウＸ２は学習ソフトウェアの作業領域となるウィンドウである。通常、コードウィンドウＸ１がフォーカスウィンドウとなる。機能判定領域Ｍ１は常時有効化されており、ジェスチャー領域Ｇ１は通常無効化されている。

【0019】

機能判定領域Ｍ１は 前面に位置する。ユーザは、機能判定領域Ｍ１の一部に形成される選択領域にアクセスすることで実行ウィンドウＸ２をフォーカスウィンドウに変更できる（詳細は後述）。また、ユーザは、機能判定領域Ｍ１の一部に形成される別の選択領域にアクセスすることでジェスチャー領域Ｇ１を有効化できる。以下においては、コードウィンドウＸ１がフォーカスウィンドウとなる状態を「通常モード」、コードウィンドウＸ１の下のレイヤーに位置しているために、その表示領域が阻まれている実行ウィンドウＸ２がフォーカスウィンドウとなる状態を「貫通モード（特殊モード）」とよぶ。また、ジェスチャー領域Ｇ１が有効化された状態を「ジェスチャーモード」とよぶ。学習ソフトウェアのモードはこの３種類であり互いに排他的である。

【0020】

ジェスチャー領域Ｇ１は機能判定領域Ｍ１の背面に位置する。ジェスチャー領域Ｇ１は不可視であり、通常は有効化されていない。後述の方法によりジェスチャー領域Ｇ１が有効化されたとき、ユーザは、モニタ画面１０２全体をつかってさまざまなジェスチャー入力をすることができる。ジェスチャー入力の詳細は図１７に関連して後述する。

【0021】

コードウィンドウＸ１は、半透明表示され、コードを書くための画面（第１画像）を提供する。ここでいう半透明表示とは、コードウィンドウＸ１の画像を視認可能であり、かつ、コードウィンドウＸ１を透過して背面の画像も視認可能な程度にコードウィンドウＸ１の透明度を調整して表示することをいう。コードウィンドウＸ１はジェスチャー領域Ｇ１の背面に位置するが、通常レイヤーの中では 前面である。（コードウィンドウＸ１および実行ウィンドウＸ２が共に表示されているときの）通常モードまたはジェスチャーモードにおいては、コードウィンドウＸ１がフォーカスウィンドウとなる。

【0022】

実行ウィンドウＸ２は、一般的なウィンドウと同様、不透明表示（通常表示）される。実行ウィンドウＸ２はコードウィンドウＸ１において作成されたプログラムの実行画面（第２画像）を提供する。実行ウィンドウＸ２はコードウィンドウＸ１の背面に位置する。コードウィンドウＸ１は半透明であるため、ユーザはコードウィンドウＸ１だけでなく、その背面にある実行ウィンドウＸ２も同時に視認できる。貫通モードに変更されたとき、または、実行ウィンドウＸ２より手前の視認可能レイヤーであるウィンドウＸ１が出現していないとき、実行ウィンドウＸ２は対象化、すなわち、フォーカスウィンドウとされる。

【0023】

まとめると、以下の通りである。１．機能レイヤー：不可視１－１．機能判定領域Ｍ１：常時有効。モード変更のための入力を受け付ける。１－２．ジェスチャー領域Ｇ１：通常モードおよび貫通モードでは無効であり、機能判定領域Ｍ１により有効化される（ジェスチャーモード）。ジェスチャー入力を受け付ける。２．通常レイヤー：可視２－１．コードウィンドウＸ１：半透明表示され、通常モードにおいて対象化されている。後述するように一時的に完全透明化（不可視化）されることもある。２－２．実行ウィンドウＸ２：不透明表示され、貫通モードにおいて対象化される。

【0024】

コードウィンドウＸ１および実行ウィンドウＸ２の表示順序、いいかえれば、レイヤー間の位置関係は入れ替え可能としてもよいが、以下においては特に断らない限り、機能判定領域Ｍ１、ジェスチャー領域Ｇ１、コードウィンドウＸ１および実行ウィンドウＸ２の表示順序（前後関係）は入れ替わらないものとして説明する。
また、コードウィンドウＸ１および実行ウィンドウＸ２を閉じることは可能であるが、以下においては特に断らない限り、コードウィンドウＸ１および実行ウィンドウＸ２は閉じられず、かつ、通常モードにおいてはいずれも可視であるものとして説明する。

【0025】

図３は、タブレット端末１００のハードウェア構成図である。
タブレット端末１００は、コンピュータプログラムを格納する不揮発性メモリとしてのストレージ３１２、プログラムおよびデータを展開する揮発性のメモリ３０４、レジスタ、演算器、命令デコーダ等を内蔵し、メモリ３０４からプログラムを読み出して実行するプロセッサ３００（ＣＰＵ：Central Processing Unit）等を含む。プロセッサ３００は、比較的高速な第１バス３０２と接続される。第１バス３０２には、メモリ３０４のほかＮＩＣ（Network Interface Card）が接続される。第１バス３０２には、このほか、ＧＰＵ（Graphics Processing Unit）等の他のデバイスが接続されてもよい。

【0026】

第１バス３０２は、ブリッジ３０８を介して比較的低速な第２バス３１０と接続される。第２バス３１０には、ストレージ３１２のほか、モニタ画面１０２あるいはスピーカなどの出力デバイス３１６が接続される。また、第２バス３１０には、マウスやキーボードなどの入力デバイス３１４、プリンタなどの周辺機器３１８が接続されてもよい。

【0027】

図４は、タブレット端末１００の機能ブロック図である。
上述のように、タブレット端末１００の各構成要素は、ＣＰＵおよび各種コプロセッサ（co-processor）などの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

【0028】

タブレット端末１００は、ユーザインタフェース処理部１０４、データ処理部１０６、通信部１２６およびデータ格納部１０８を含む。
ユーザインタフェース処理部１０４は、タッチパネルを介してユーザからの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。通信部１２６は、インターネットを介して他の装置との通信処理を担当する。データ格納部１０８は各種データを格納する。データ処理部１０６は、ユーザインタフェース処理部１０４や通信部１２６により取得されたデータ、データ格納部１０８に格納されているデータに基づいて各種処理を実行する。データ処理部１０６は、ユーザインタフェース処理部１０４、通信部１２６およびデータ格納部１０８のインタフェースとしても機能する。

【0029】

ユーザインタフェース処理部１０４は、ユーザからの入力を受け付ける操作検出部１１０と、ユーザに対して画像や音声等の各種情報を出力する出力部１１２を含む。操作検出部１１０は、機能入力部１１４、ジェスチャー入力部１１６およびデータ入力部１１８を含む。機能入力部１１４は、機能判定領域Ｍ１に対する所定の入力である機能選択入力（第１操作）を検出する。機能選択入力とは、有効化、対象化等、ウィンドウの内容そのものではなくウィンドウ自体の機能または状態を制御するための入力であるが詳細は図５等に関連して後述する。ジェスチャー入力部１１６は、ジェスチャー領域Ｇ１に対する所定の入力であるジェスチャー入力を検出する。データ入力部１１８は、コードウィンドウＸ１または実行ウィンドウＸ２に対するデータ入力（第２操作）を検出する。

【0030】

データ格納部１０８は、学習ソフトウェアのほか、ユーザが作成するプログラムを格納する。

【0031】

データ処理部１０６は、コードウィンドウＸ１および実行ウィンドウＸ２の表示を制御する表示制御部１２０を含む。
表示制御部１２０は、表示更新部１２２およびレイヤー管理部１２４を含む。表示更新部１２２は、コードウィンドウＸ１および実行ウィンドウＸ２における画像生成および更新を管理する。レイヤー管理部１２４は、各ウィンドウのレイヤー、位置、サイズを管理する。また、レイヤー管理部１２４は、通常モード、特殊モード、ジェスチャーモードに関するモードの管理も行う。

【0032】

図５は、機能判定領域Ｍ１の構成を説明するための外観図である。
不可視の機能判定領域Ｍ１には、選択領域１２８Ｌ１、選択領域１２８Ｒ１、選択領域１２８Ｌ２、選択領域１２８Ｒ２（以下、まとめていうときには「選択領域１６６」とよぶ）がモニタ画面１０２の四隅に設定されている。

【0033】

ユーザが選択領域１２８Ｌ１または選択領域１２８Ｒ１にタッチしたとき、いいかえれば、モニタ画面１０２の左下隅または右下隅をタッチしたとき、レイヤー管理部１２４は通常モードから貫通モード（特殊モード）に移行させる。このとき、背面側の実行ウィンドウＸ２が対象化される。以下、選択領域１６６のうち、実行ウィンドウＸ２を対象化させるための選択領域１２８Ｌ１および選択領域１２８Ｒ１の２つをまとめていうときには「対象化選択領域１６２」とよぶ。

【0034】

ユーザが対象化選択領域１６２のタッチをやめると（デタッチ）、レイヤー管理部１２４は貫通モードから通常モードに戻す。このとき、前面側のコードウィンドウＸ１が再び対象化される。

【0035】

ユーザが選択領域１２８Ｌ２または選択領域１２８Ｒ２をタッチしたとき、いいかえれば、モニタ画面１０２の左上隅または右上隅をタッチしたとき、レイヤー管理部１２４は通常モードからジェスチャーモードに移行させる。レイヤー管理部１２４は、ジェスチャー領域Ｇ１を有効化し、ジェスチャー入力が可能となる。以下、選択領域１６６のうち、ジェスチャー領域Ｇ１を有効化するための選択領域１２８Ｌ２および選択領域１２８Ｒ２をまとめていうときには「ジェスチャー有効化領域１６４」とよぶ。

【0036】

ユーザがジェスチャー有効化領域１６４のタッチをやめると（デタッチ）、レイヤー管理部１２４はジェスチャーモードから通常モードに移行させる。このとき、ジェスチャー領域Ｇ１は無効化される。４つの選択領域１６６のいずれかをタッチすることを「機能選択入力」とよぶ。

【0037】

本実施形態におけるデータ入力は通常モードにおける「通常入力」と貫通モードにおける「貫通入力（特殊入力）」の２種類がある。データ入力（主として、文字または画像の入力）は、ウィンドウ領域内への指またはスタイラスによるタッチ入力により可能であるが、マウス等の他の入力デバイスを利用することも可能である。通常モードにおいては、実行ウィンドウＸ２よりも前面にあるコードウィンドウＸ１がフォーカスウィンドウであり、ユーザはコードウィンドウＸ１を対象としてデータ入力を行う。これを「通常入力」とよぶ。

【0038】

ユーザが対象化選択領域１６２をタッチしているときには、貫通モードとなり、背面側にある実行ウィンドウＸ２がフォーカスウィンドウとなり、ユーザは実行ウィンドウＸ２を対象としてデータ入力を行う。これを「貫通入力」とよぶ。

【0039】

貫通入力のとき、レイヤー管理部１２４はコードウィンドウＸ１と実行ウィンドウＸ２の前後関係を変更しない。いいかえれば、貫通入力においては、コードウィンドウＸ１が前面にあるにも関わらず、あたかも、コードウィンドウＸ１を突き抜けて背面にある実行ウィンドウＸ２を直接触っているかのような特有の操作感が提供される。この操作感については次の図６，７に関連して更に説明する。

【0040】

図６は、通常入力を説明するための模式図である。
上述したように、ユーザから視認可能なレイヤーは、コードウィンドウＸ１および実行ウィンドウＸ２の２つ通常レイヤーである。コードウィンドウＸ１は前面側、実行ウィンドウＸ２は背面側にある。コードウィンドウＸ１は半透明であるため、ユーザはコードウィンドウＸ１だけでなく、背面にある実行ウィンドウＸ２も同時に視認できる。したがって、ユーザは、プログラムコードを書いたり確かめたりしながら、同時に、プログラムの実行状態を確認できる。

【0041】

通常モードにおいては、コードウィンドウＸ１がフォーカスウィンドウとなっている。ユーザがモニタ画面１０２をタッチしたときにはデータ入力部１１８はこれをコードウィンドウＸ１（フォーカスウィンドウ）に対するデータ入力（通常入力）として判定する。ユーザは、タッチ操作によりコードウィンドウＸ１を対象としてデータ入力を行う。表示更新部１２２は入力結果にしたがってコードウィンドウＸ１内にて入力されたデータを表示させ、あるいは、カーソルを移動させる。また、コードウィンドウの移動または文字領域のスクロールを行うこともできる。

【0042】

図７は、貫通入力を説明するための模式図である。
ユーザが対象化選択領域１６２（選択領域１２８Ｌ１または選択領域１２８Ｒ１）をタッチしているとき、通常モードから貫通モードに移行する。レイヤー管理部１２４はコードウィンドウＸ１ではなく実行ウィンドウＸ２をフォーカスウィンドウに設定する。この状態で、ユーザがモニタ画面１０２をタッチしたときには、データ入力部１１８はこれを実行ウィンドウＸ２に対するデータ入力（貫通入力）と判定する。ユーザは、タッチ操作により実行ウィンドウＸ２を対象としてデータ入力を行う。表示更新部１２２は入力結果にしたがって実行ウィンドウＸ２に画像を描画する。また、表示更新部１２２は、実行ウィンドウＸ２への画像入力の結果に対応してコードウィンドウＸ１を更新する。

【0043】

貫通モードにおいては、ユーザは、あたかも前面にあるコードウィンドウＸ１を自分の指が突き抜けて、背面にある実行ウィンドウＸ２を操作しているかのような感覚をもつ。なお、貫通モードのときには、表示更新部１２２はコードウィンドウＸ１を一時的に非表示化（完全透明化）してもよい。この場合には、ユーザは実行ウィンドウＸ２だけを見ながらデータ入力ができる。
以下においては、貫通モードにおいては、前面のコードウィンドウＸ１を非表示にするものとして説明する。

【0044】

図８は、対象化選択領域１６２へのタッチが検出されたときの処理過程を示すフローチャートである。
図８に示す処理は、モニタ画面１０２のうち対象化選択領域１６２へのタッチが検出されたときに実行される。まず、機能入力部１１４は、モニタ画面１０２へのタッチが検出されたとき、対象化選択領域１６２（選択領域１２８Ｌ１，選択領域１２８Ｒ１）（モニタ画面１０２の左下隅または右下隅）へのタッチであるか否かを判定する。対象化選択領域１６２へのタッチであれば、レイヤー管理部１２４は、貫通モードに設定する（Ｓ１０）。このとき、実行ウィンドウＸ２がフォーカスウィンドウとなる。表示更新部１２２はコードウィンドウＸ１を非表示に設定する（Ｓ１２）。すなわち、対象化選択領域１６２がタッチされて貫通モードに移行するとき、実行ウィンドウＸ２がフォーカスウィンドウとなり、実行ウィンドウＸ２の前面側にあるコードウィンドウＸ１は完全透明化（非表示化）される。コードウィンドウＸ１は不可視となるが、クローズされるわけでもない。また、コードウィンドウＸ１が実行ウィンドウＸ２の背面にレイヤー変更されるわけでもない。
なお、ジェスチャー有効化領域１６４へのタッチが検出されたときの処理については、図１７に関連して後述する。

【0045】

図９は、選択領域１６６以外へのタッチが検出されたときの処理過程を示すフローチャートである。
選択領域１６６以外へのタッチが検出されたとき、通常モードであれば（Ｓ２０：通常モード）、データ入力部１１８はタッチポイントがコードウィンドウＸ１と実行ウィンドウＸ２が重なる領域（以下、「重畳領域」とよぶ）であるか否かを判定する（Ｓ２２）。重畳領域へのタッチであれば（Ｓ２２のＹ）、データ入力部１１８はコードウィンドウＸ１を対象としてデータ入力を受け付ける（Ｓ２４）。すなわち、コードウィンドウＸ１と実行ウィンドウＸ２の重畳領域がタッチされたときであって、コードウィンドウＸ１（前面側）がフォーカスウィンドウであるときには通常入力がなされる。

【0046】

タッチされたポイントが重畳領域でないときには（Ｓ２２のＮ）、データ入力部１１８はコードウィンドウＸ１または実行ウィンドウＸ２を対象としてデータ入力を受け付ける（Ｓ２６）。このとき、レイヤー管理部１２４はタッチ操作を受け付けるウィンドウを一時的にフォーカスウィンドウとして扱う。たとえば、タッチポイントにコードウィンドウＸ１のみがあるときにはコードウィンドウＸ１への通常入力となり、実行ウィンドウＸ２のみがあるときには実行ウィンドウＸ２への通常入力として扱われる。いずれの場合にも、コードウィンドウＸ１が前面、実行ウィンドウＸ２が背面というレイヤーの前後関係は維持される。

【0047】

タッチが検出されたとき、貫通モードであれば（Ｓ２０：貫通モード）、データ入力部１１８はタッチポイントが重畳領域であるか否かを判定する（Ｓ２８）。重畳領域へのタッチであれば（Ｓ２８のＹ）、データ入力部１１８は実行ウィンドウＸ２を対象としてデータ入力を受け付ける（Ｓ３０）。すなわち、コードウィンドウＸ１と実行ウィンドウＸ２の重畳領域がタッチされたときであって、実行ウィンドウＸ２（背面側）がフォーカスウィンドウであるときには貫通入力がなされる。

【0048】

タッチされたポイントが重畳領域でないときには（Ｓ２８のＮ）、データ入力部１１８はコードウィンドウＸ１または実行ウィンドウＸ２のうちタッチされたウィンドウを対象としてデータ入力を受け付ける（Ｓ３２）。このときも、レイヤー管理部１２４はタッチ操作を受け付けるウィンドウを一時的にフォーカスウィンドウとして扱う。

【0049】

図１０は、デタッチが検出されたときの処理過程を示すフローチャートである。
図１０に示す処理は、モニタ画面１０２からのデタッチ（タッチオフ）が検出されたときに実行される。まず、貫通モード中のデタッチの場合（Ｓ４０のＹ）、表示更新部１２２はＳ１２（図８）において非表示化されていたコードウィンドウＸ１を再表示させる（Ｓ４２）。このとき、コードウィンドウＸ１は通常の半透明表示となる。レイヤー管理部１２４は、通常モードに設定する（Ｓ４４）。コードウィンドウＸ１が対象化される。

【0050】

表示更新部１２２はデータ入力にしたがって、非フォーカスウィンドウのデータ更新を行う。たとえば、コードウィンドウＸ１へのデータ入力がなされた場合には、表示更新部１２２はコードウィンドウＸ１への入力内容に応じて実行ウィンドウＸ２の画像を変化させる。また、実行ウィンドウＸ２へのデータ入力がなされた場合には、表示更新部１２２は実行ウィンドウＸ２への入力内容に応じてコードウィンドウＸ１の描画像を変化させる。データ更新については図１２以降に関連して詳述する。

【0051】

通常モード中のデタッチの場合（Ｓ４０のＮ）、処理はＳ４６に移行する。

【0052】

図１１は、データ入力対象の切り替えを説明するための外観図である。
ユーザは、一般的なマルチウィンドウと同様、コードウィンドウＸ１等の位置とサイズを自由に変更できる。図１１においては、前面側のコードウィンドウＸ１は右下に移動している。一方、背面側の実行ウィンドウＸ２はモニタ画面１０２全面に表示されている。

【0053】

重畳領域１３２は、コードウィンドウＸ１（前面）によって実行ウィンドウＸ２（背面）が隠される領域を示す。露出領域１３４は、前面のコードウィンドウＸ１が右下に移動したことによって背面の実行ウィンドウＸ２が露出する領域を示す。ユーザが、露出領域１３４の点Ｐ１をタッチしたときには、貫通モードであるか否かに関わらず、背面にあって露出している実行ウィンドウＸ２がフォーカスウィンドウ（データ入力の対象となるウィンドウ）となる。レイヤー管理部１２４は、露出領域１３４がタッチされたときには一時的に実行ウィンドウＸ２をフォーカスウィンドウとして扱う。

【0054】

ユーザが、重畳領域１３２の点Ｐ２をタッチしたときには、上述したように、貫通モードまたは通常モードのいずれであるかに応じて、コードウィンドウＸ１または実行ウィンドウＸ２のいずれかがフォーカスウィンドウ（データ入力の対象となるウィンドウ）となる。なお、実行ウィンドウＸ２が移動され、コードウィンドウＸ１のみが存在する領域にタッチがなされたときには、コードウィンドウＸ１がデータ入力の対象となる。

【0055】

次に、ユーザインタフェースの具体例として、貫通入力と通常入力を使い分けながら、円を描くコードを作成する過程について図１２～図１５に関連して説明する。

【0056】

図１２は、実行ウィンドウＸ２への貫通入力時の状態を示す第１画面図である。
ユーザは、右手親指で選択領域１２８Ｌ１（対象化選択領域１６２）をタッチしつつ、右手中指でモニタ画面１０２をタッチしている。選択領域１２８Ｌ１のタッチにより貫通モードとなる。選択領域１２８Ｌ１がタッチされたとき、表示更新部１２２はコードウィンドウＸ１を非表示化（完全透明化）する。データ入力部１１８は、コードウィンドウＸ１への貫通入力として座標（８４９，５８１）へのタッチを検出する。データ入力部１１８は、この座標Ｐ３へのタッチを実行ウィンドウＸ２への打点操作として検出する。

【0057】

図１３は、コードウィンドウＸ１への通常入力時の状態を示す第２画面図である。
ユーザが、右手親指を選択領域１２８Ｌ１から離すと（デタッチ）、表示更新部１２２はコードウィンドウＸ１を再表示させる。コードウィンドウＸ１は半透明表示されるため、ユーザは、コードウィンドウＸ１を通して背面にある実行ウィンドウＸ２の打点Ｐ３を視認できる。表示更新部１２２は、直前の打点操作に対応して、座標Ｐ３（８４９，５８１）の付近にコードメニュー１３６を表示させる。コードメニュー１３６は、コードウィンドウＸ１の一部であり、コードを作成するための複数のボタンを含む。

【0058】

コードメニュー１３６のボタンにより、さまざまなコードを作成できる。ユーザはここで円を描くコードを実行したいとする。ユーザは、まず、始点ボタン１３５をタッチすることで座標Ｐ３をいったん登録する。また、同様にして、実行ウィンドウＸ２において２点目の座標Ｐ４を貫通入力によりタッチする。以上の入力をしたあと円描画ボタン１３８をタッチする。このとき、座標Ｐ３が円の中心座標となり、座標Ｐ３から座標Ｐ４までの距離が円の半径となる。

【0059】

図１４は、コードウィンドウＸ１への通常入力時の状態を示す第３の画面図である。
円描画１３８のボタンで入力されるプログラムコードの描画色は、ユーザは、あらかじめ色選択パレット（不図示）から選択してもよいし、初期設定としてあらかじめ指定されている色であってもよい。ここでは、「半径：１００」、「色：赤」を指定したとする。表示更新部１２２は、コードウィンドウＸ１にコード「drawcircle(849,581,100,color.r ed)」を表示させる。この「drawcircle」は円の描画を指示するためのコードであり、円描画ボタン１３８にあらかじめ対応づけられている。第１引数は中心点のＸ座標、第２引数は中心点のＹ座標を示す。本実施形態においては、図１２の打点Ｐ３の座標（８４９，５８１）がそのまま中心点の座標として代入される。第３引数「１００」は半径を示す。第４引数「color.red」は、円を「赤色」で描くことを示す。このように、ユーザは、コードメニュー１３６からボタンを選択することでコードを作成できる。なお、ユーザは、コード「drawcircle」をコードウィンドウＸ１に直接入力することもできる。

【0060】

図１５は、実行ウィンドウＸ２に円が描画されたときの状態を示す第４の画面図である。コード「drawcircle」が入力されると、表示制御部１２０は実行ウィンドウＸ２に指定された円１４０を描画する。円１４０は、コード「drawcircle(849,581,100,color.red)」によって指示されたように、点Ｐ３（８４９，５８１）を中心とする半径１００の赤い円である。図１５では、コードウィンドウＸ１を非表示としているが、コードウィンドウＸ１は半透明表示のままでもよい。このように、ユーザは、コードウィンドウＸ１と実行ウィンドウＸ２を視認しつつ、打点Ｐ３の設定（実行ウィンドウＸ２への貫通入力）、打点Ｐ３に基づくコードの入力（コードウィンドウＸ１への通常入力）を行ったあと、コードの実行結果を実行ウィンドウＸ２において確認できる。このような制御方法によれば、コードとその実行結果のつながりを確認しやすいユーザインタフェースを提供できる。

【0061】

ユーザは「円を描くプログラムを作りたい」と考えたとする。このとき、円の中心座標をコード「drawcircle」の引数として直接入力してもよい。しかし、プログラミング初心者にとってはコードごとにどのような引数を入力すればいいのか調べる作業は負担が大きい。そこで、本実施形態においては、プログラムの実行結果を示す実行ウィンドウＸ２に対して「円の中心にしたいところ（点Ｐ）」をタッチにより直接指定させている。実行ウィンドウＸ２に点Ｐ３、Ｐ４を打点したあとは、円描画ボタン１３８などの支援ツールを提供しながら、ユーザに円描画ボタン１３８を選ばせる。これにより、コード「drawcirc le(849,581,100,color.red)」がコードウィンドウＸ１に表示される。

【0062】

ユーザは、コード「drawcircle(849,581,100,color.red)」が半自動的に生成されることにより、円を描くためには「drawcircle」というコード（命令）を入力すればよく、そのために引数として中心点の座標、半径、色彩を指定すればいいというプログラミング常識を感覚的に理解できる。コード「drawcircle」を入力したあと、このコードにしたがって実行ウィンドウＸ２に実際に円が描かれるので、ユーザはコードによってイメージしたとおりの円が描かれることを確認できる。コードウィンドウＸ１および実行ウィンドウＸ２の双方の視認性と入力容易性を維持することにより、ユーザに双方のウィンドウの連動性を意識させやすくなる。このような制御方法により、ユーザに「コード」と「実行結果」の関係、いいかえれば、「どのようにコードを書くとどのようなアウトプットになるのか」をユーザに認識させることができる。

【0063】

図１６は、機能入力の説明を表示したときの画面図である。
ユーザは、対象化選択領域１６２（選択領域１２８Ｌ１，１２８Ｒ１）をタッチすることで貫通モードを設定し、ジェスチャー有効化領域１６４（選択領域１２８Ｌ２，１２８Ｒ２）をタッチすることでジェスチャーモードを設定する。ユーザが選択領域１２８Ｌ１をタッチし続けたまま、データ入力をすることなく所定時間、たとえば、５秒間が経過したとき、表示更新部１２２は選択領域１２８Ｌ１によってアクティブとなる貫通入力機能を説明するための説明領域１４２を表示させる。選択領域１２８Ｒ１についても同様である。ジェスチャー有効化領域１６４（選択領域１２８Ｌ２，１２８Ｒ２）へのタッチが継続したときには、表示更新部１２２はジェスチャー入力に関する説明領域１４２を表示する。

【0064】

選択領域１２８の数あるいは種類が多い場合、ユーザは、モニタ画面１０２の４隅に不可視の選択領域１２８が存在することは認識しつつも、どの選択領域１２８が何の機能を提供するのか忘れてしまう、あるいは、理解しづらくなることも考えられる。モニタ画面１０２の端部にある不可視の選択領域１２８をしばらくタッチしつづけることで説明領域１４２が表示されるため、ユーザは選択領域１２８等の機能を簡易に確認しやすくなる。

【0065】

選択領域１６６をタッチしたとき、表示更新部１２２はすぐに説明領域１４２を表示させてもよい。ただし、この場合、ユーザがモニタ画面１０２の選択領域１６６を触るごとに説明領域１４２が表示されてしまうため、選択領域１６６を所定時間継続してタッチしたことを条件として説明領域１４２を表示させる方がより好ましいと考えられる。また、ユーザが、選択領域１６６をタッチした状態で別の入力をしたことを条件として説明領域１４２を表示させてもよい。たとえば、ユーザが選択領域１２８Ｌ１をタッチしたあと所定単語、たとえば、「説明」と発話したときに説明領域１４２を表示させるとしてもよい。

【0066】

図１７は、ジェスチャー入力をするときの画面図である。
ユーザは、ジェスチャー有効化領域１６４（選択領域１２８Ｌ２，１２８Ｒ２）をタッチすることでジェスチャー領域Ｇ１を有効化できる。図１７においては、ユーザは左手の親指で選択領域１２８Ｌ２をタッチしている。このとき、レイヤー管理部１２４はジェスチャー領域Ｇ１を有効化し、通常モードからジェスチャーモードに移行させる。ジェスチャー領域Ｇ１は有効化しても不可視のままである。表示更新部１２２はジェスチャーモードであることをユーザが理解しやすいように画面全体の色彩を変化させるなど表示態様を変化させてもよい。あるいは、ジェスチャーモード中であることを示すアイコンをモニタ画面１０２の所定領域に表示させてもよい。ジェスチャー入力部１１６は、ジェスチャーモード中の入力はすべてジェスチャー入力として検出する。

【0067】

ジェスチャー入力部１１６は、モニタ画面１０２におけるユーザの指の動きがあらかじめ登録されているいずれかのジェスチャーパターンに該当するか否かを判定する。ジェスチャーパターンに該当するときには、ジェスチャーパターンに応じた処理を、コードウィンドウＸ１（フォーカスウィンドウ）を対象として実行する。たとえば、図１７に示すように、ユーザが二本の指を同時に上下スライドさせると、表示更新部１２２はコードウィンドウＸ１を上下にスクロールさせる。表示更新部１２２は、ジェスチャー入力により、コードウィンドウＸ１を通常より高速に上下にスクロールできる、としてもよい。

【0068】

このほかにも、以下のようなジェスチャーパターンが登録されている。・ユーザが一本指でモニタ画面１０２をタップしたときには、コードウィンドウＸ１のタップされた箇所においてコンテキストメニューを表示させることができる。コンテキストメニューは、一般的にはマウスの右クリックのときに表示されるメニューであり、各種操作オプションをリスト表示させるものである。ユーザは、コンテキストメニューから、実行したいメニューを選ぶことができる。・ユーザが二本指でモニタ画面１０２をダブルタップしたときには、表示更新部１２２はコードウィンドウＸ１を拡大または縮小表示する。・ユーザが二本指でモニタ画面１０２をピンチ操作したときにも、表示更新部１２２はコードウィンドウＸ１を拡大または縮小表示する。・ユーザが二本指を左右にスライドさせたときには、表示更新部１２２はコードウィンドウＸ１のページを変更する。・ユーザが三本指でモニタ画面１０２をダブルタップしたときには、表示更新部１２２はコードウィンドウＸ１を 大化する。
以上は例示であり、これ以外にも、さまざまなジェスチャーパターンが登録されてもよい。たとえば、使用する指の本数あるいは組合せに応じて、あるいは、円形移動、線形移動、多角形型移動（例：Ｎ字型移動、Ｗ字型移動）などにおうじて多彩なジェスチャーパターンを定義可能である。

【0069】

ジェスチャーモードに設定すれば、モニタ画面１０２全体をつかってさまざまなジェスチャー入力が可能となる。ユーザは、タブレット端末１００を支える左手で選択領域１２８Ｌ２をタッチしつつ、右手でモニタ画面１０２全体に大きくジェスチャーを指で描くことにより、コードウィンドウＸ１に対してさまざまな操作を施すことができる。

【0070】

以上、実施形態に基づいてタブレット端末１００を説明した。本実施形態のタブレット端末１００によれば、コードウィンドウＸ１および実行ウィンドウＸ２が重畳表示されているとき、コードウィンドウＸ１および実行ウィンドウＸ２の前後関係を入れ替える前面化操作をしなくても、背面側の実行ウィンドウＸ２にデータ入力できる。

【0071】

従来、コードウィンドウＸ１を前面、実行ウィンドウＸ２を背面に階層表示しているとき、実行ウィンドウＸ２にデータ入力するためには実行ウィンドウＸ２を前面化する操作が必要だった。前面化操作により、実行ウィンドウＸ２が前面に移行し、コードウィンドウＸ１が背面に移行する。前面化のためには、タッチパネルやマウスなどのデバイスを「押して離す」という作業が必要だった。マウスであれば、コードウィンドウＸ１の「閉じるボタン」あるいは「縮小ボタン」をクリックするという操作が必要である。この場合、マウスポインターを「閉じるボタン」等の位置に移動させ、マウスの左ボタンを押し、手を離すという一連の作業が必要となる。前面化操作に際して、ユーザは「前面にある邪魔なコードウィンドウＸ１を排除することで背面にある実行ウィンドウＸ２を前面に移動させる」というレイヤー入替作業を意識する。前面化操作によりウィンドウのレイヤーを入れ替えるという点においては、ショートカットキーによる作業の場合も同様である。

【0072】

一方、本実施形態におけるタブレット端末１００においては、ユーザは対象化選択領域１６２をタッチするだけで実行ウィンドウＸ２を対象化できる。ユーザは、たとえば、タブレット端末１００を握る左手で対象化選択領域１６２を触りつつ、右手で背面の実行ウィンドウＸ２にデータ入力できる。コードウィンドウＸ１にデータ入力したいときには対象化選択領域１６２から指を離すだけでよい。左手でフォーカスウィンドウを選びつつ、右手でデータ入力する方式のため、ユーザにとってはフォーカスウィンドウの変更時にも中断の感覚をもたずに作業を継続しやすい。特に、コードウィンドウＸ１および実行ウィンドウＸ２を頻繁に行き来しながら作業する場合、ユーザは空いている手で対象化選択領域１６２のタッチ・デタッチを繰り返すだけでよいのでフォーカスウィンドウの変更にともなう操作性が格段に向上する。

【0073】

また、フォーカスウィンドウの変更に際し、コードウィンドウＸ１および実行ウィンドウＸ２の前後関係は維持されているため、ユーザはレイヤー構造の変化を意識する必要がない。いいかえれば、多数のウィンドウがあるときにフォーカスウィンドウを次々に切り替えたとしても「どのウィンドウがどのレイヤーに移動しているか」を気にする必要がない。本実施形態においては、更に、対象化選択領域１６２がタッチされたときにコードウィンドウＸ１を非表示にすることで実行ウィンドウＸ２（フォーカスウィンドウ）の視認性を高めている。

【0074】

通常モードにおいては、コードウィンドウＸ１は半透明表示されるため、コードウィンドウＸ１および実行ウィンドウＸ２を同時に視認できる。コードウィンドウＸ１および実行ウィンドウＸ２を並置させたり、実行ウィンドウＸ２を確認するためにコードウィンドウＸ１を移動させたり、閉じる必要がない。

【0075】

ユーザが選択領域１６６等をタッチしつづけるとき、説明領域１４２が表示される。機能判定領域Ｍ１は見えなくても、ユーザはモニタ画面１０２の端部付近をタッチすることで機能選択入力ができることを理解している。モニタ画面１０２の端部をタッチしつづければ説明領域１４２が表示されるので、ユーザはどこをタッチすればどのような機能選択入力ができるのかを簡単に理解できる。

【0076】

その他のユーザ補助として、表示更新部１２２は、利用可能な選択領域あるいは各選択領域の役割を示す情報を表示してもよい。この情報表示は、選択領域それぞれが光り、その機能名とともに表示されてもよい。たとえば、ユーザがある機能選択入力をしたあと次の入力を行うことなく一定時間が経過したとき、いいかえれば、説明領域１４２の出現から更に所定時間が経過したとき、表示更新部１２２はこのような補助機能を有効化してもよい。

【0077】

ユーザは、ジェスチャー有効化領域１６４（選択領域１２８Ｌ２，１２８Ｒ２）をタッチすることでジェスチャー領域Ｇ１を有効化できる。ジェスチャー領域Ｇ１が有効化されると、ユーザはモニタ画面１０２いっぱいに指を動かしながらさまざまなジェスチャー入力が可能となる。モニタ画面１０２を大きくつかってジェスチャー入力ができるため、モニタ画面１０２が小さいときでも高い操作性を実現できる。また、ジェスチャー入力とデータ入力がジェスチャー有効化領域１６４のタッチ・デタッチによって切り替えられるため、ジェスチャー入力をしているときに誤ってデータ入力がなされることがない。同様にして、データ入力のための操作をジェスチャー入力と誤認識されることがない。

【0078】

以上のように、本実施形態によれば、たとえば、右利きのユーザであれば、右利きによってデータ入力作業を行い、空いている左手をつかってモードを適宜変更できる。

【0079】

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

【0080】

１台のタブレット端末１００により学習ソフトウェアが実行されるとして説明したが、学習ソフトウェアあるいはタブレット端末１００の機能の一部はサーバなどの他の装置により実現されてもよい。

【0081】

［変形例］
図１８は、３以上のウィンドウのフォーカスコントロールを説明するための概念図である。
図１８においては、機能判定領域Ｍ１、ジェスチャー領域Ｇ１のほかに４つのウィンドウＷ１～Ｗ４により６つのレイヤーが構成される。機能判定領域Ｍ１の左上部にはジェスチャー有効化領域１６４が設定され、下辺部にはＷ１選択領域１５０、Ｗ２選択領域１５２、Ｗ３選択領域１５４および選Ｗ４選択領域１５６の４つの対象化選択領域１６２が設定される。ジェスチャー有効化領域１６４をタッチしたときにはジェスチャー領域Ｇ１が有効化される。

【0082】

Ｗ１選択領域１５０にはウィンドウＷ１、Ｗ２選択領域１５２にはウィンドウＷ２、Ｗ３選択領域１５４にはウィンドウＷ３、Ｗ４選択領域１５６にはウィンドウＷ４が対応づけられる。ユーザは、Ｗ１選択領域１５０をタッチしたときにはウィンドウＷ１をフォーカスウィンドウに設定できる。同様にして、ユーザはＷ２選択領域１５２をタッチしたときにはウィンドウＷ２をフォーカスウィンドウに設定できる。Ｗ３選択領域１５４、Ｗ４選択領域１５６についても同様である。

【0083】

レイヤー管理部１２４は、ターゲットウィンドウが変更されてもレイヤーの変更を行わない。このため、ウィンドウＷ１～Ｗ４の前後関係は維持される。たとえば、ウィンドウＷ１はウェブ画面、ウィンドウＷ２は文章作成ソフトウェアによる編集画面、ウィンドウＷ３は図形編集ソフトウェアの編集画面、ウィンドウＷ４は表計算ソフトウェアの編集画面であるとする。ユーザは、４つのソフトウェアを随時切り替えながら作業をする場合には、対象化選択領域１６２によってフォーカスウィンドウを随時切り替えればよい。レイヤーの前後関係が変更されないため、複数のウィンドウがあるときでも所望のウィンドウがどのレイヤーにあるかを気にする必要がない。

【0084】

なお、ウィンドウＷ１～Ｗ４のうち、選択されたウィンドウが前面側にあるいずれかのウィンドウによってその一部または全部が遮蔽されていることを条件として、選択されたウィンドウをフォーカスウィンドウに設定するとしてもよい。いいかえれば、前面が遮蔽されていないときには機能選択入力によるフォーカス変更を無効として扱うとしてもよい。たとえば、Ｗ３選択領域１５４によりウィンドウＷ３が選択されたとする。前面側にあるウィンドウＷ１またはウィンドウＷ２によりウィンドウＷ３の一部が遮蔽されているときにはレイヤー管理部１２４はウィンドウＷ３をフォーカスウィンドウに設定する。一方、ウィンドウＷ１およびウィンドウＷ２の双方が閉じられているなどの理由によりウィンドウＷ３の前面が遮蔽されていないときには、Ｗ３選択領域１５４がタッチされてもウィンドウＷ３をフォーカスウィンドウに設定変更しないとしてもよい。

【0085】

本実施形態においては、コードウィンドウＸ１を半透明表示させ、コードウィンドウＸ１と実行ウィンドウＸ２を同時に視認できるとして説明した。変形例として、コードウィンドウＸ１を通常表示（不透明表示）させてもよい。

【0086】

本実施形態においては、選択領域１６６を機能判定領域Ｍ１（モニタ画面１０２）の四隅に配置するとして説明した。変形例として、複数の選択領域１６６を機能判定領域Ｍ１の左辺部分に配列してもよいし、底辺部分に配列してもよい。このほか、上辺、右辺など、選択領域１６６の配置は任意に設定可能である。

【0087】

本実施形態においては、学習ソフトウェアをタブレット端末１００において実行するとして説明したが、この学習ソフトウェアは、スマートフォンやラップトップＰＣなどの他のモバイルコンピュータにおいて実行されてもよい。同様にして、デスクトップＰＣなどの据置型のコンピュータにおいて学習ソフトウェアを実行してもよい。

【0088】

本実施形態においては、通常モードではコードウィンドウＸ１をフォーカスウィンドウに設定するとして説明した。変形例として、通常モードでは背面側の実行ウィンドウＸ２をフォーカスウィンドウに設定し、特殊モードのときに前面側のコードウィンドウＸ１をフォーカスウィンドウに設定変更するとしてもよい。

【0089】

貫通モードへの変更は、対象化選択領域１６２へのタッチ以外の方法も考えられる。たとえば、マウスのダブルクリックや、キーボードにおける所定のキーが押されたときに貫通モードに変更してもよい。このほか、音声入力により貫通モードに変更してもよいし、ユーザがモニタ画面１０２の所定領域に視線を合わせたときに貫通モードに変更するとしてもよい。ペダルのような足用のデバイスをつかって貫通モードへの変更がなされてもよい。同様にして、タッチのほか、マウス、キーボード、音声等によりデータ入力がなされてもよい。

【0090】

本実施形態においては、対象化選択領域１６２のタッチが継続している期間だけ貫通モードに設定されるとして説明した。変形例として、対象化選択領域１６２がタッチされてから所定の有効期間、たとえば、３秒間は、レイヤー管理部１２４は貫通モードを継続させるとしてもよい。有効期間中に貫通入力がなされれば、有効期間は更に３秒間延長されるとしてもよい。無入力が３秒間続いたとき、レイヤー管理部１２４は、貫通モードから通常モードに戻すとしてもよい。

【0091】

本実施形態においては前面にあるコードウィンドウＸ１を半透明表示させるとして説明した。変形例として、表示更新部１２２は、コードウィンドウＸ１を通常表示（不透明表示）としてもよい。表示更新部１２２は、コードウィンドウＸ１と実行ウィンドウＸ２が重なることを条件として、コードウィンドウＸ１を半透明表示または透明表示に変更してもよい。あるいは、コードウィンドウＸ１と実行ウィンドウＸ２が重なるとき、表示更新部１２２はコードウィンドウＸ１の重畳領域のみを半透明表示または透明表示に設定してもよい。

【0092】

本実施形態においては、レイヤー管理部１２４は、コードウィンドウＸ１および実行ウィンドウＸ２の前後関係を入れ替えないとして説明した。変形例として、レイヤー管理部１２４は、コードウィンドウＸ１および実行ウィンドウＸ２の前後関係を条件付きで入れ替えてもよい。実行ウィンドウＸ２の露出領域、いいかえれば、実行ウィンドウＸ２のうちコードウィンドウＸ１によって遮蔽されていない領域を対象としてデータ入力操作がなされたときには、レイヤー管理部１２４は実行ウィンドウＸ２とコードウィンドウＸ１の前後関係を入れ替えるとしてもよい。たとえば、図１１の点Ｐ１（露出領域１３４）をタッチしたときには、レイヤー管理部１２４は実行ウィンドウＸ２をコードウィンドウＸ１の前面に表示させ、実行ウィンドウＸ２をフォーカスウィンドウに設定してもよい。

【0093】

貫通モードにおいて、ユーザが露出領域１３４の点Ｐ１をタッチしたときには、レイヤー管理部１２４はコードウィンドウＸ１と実行ウィンドウＸ２の前後関係をそのまま維持するとしてもよい。実行ウィンドウＸ２（背面）の露出領域１３４をタッチしたとき、貫通モードであれば前後関係を維持し、通常モードであれば実行ウィンドウＸ２を前面に移動させるとしてもよい。

【0094】

本実施形態においては、貫通モードが設定されるときには半透明のコードウィンドウＸ１を非表示化（完全透明化）するとして説明した。変形例として、コードウィンドウＸ１および実行ウィンドウＸ２はどちらも通常表示されてもよい。そして、貫通モードが設定されたときには、表示更新部１２２はコードウィンドウＸ１の透明度を上昇させることにより、実行ウィンドウＸ２（フォーカスウィンドウ）の視認性を高めてもよい。

【0095】

また、貫通モードに設定されたときには実行ウィンドウＸ２の透明度を低下させてもよい。たとえば、コードウィンドウＸ１および実行ウィンドウＸ２のどちらもが半透明表示されているとする。貫通モードが選択されたときには、フォーカスウィンドウとなる実行ウィンドウＸ２の透明度を低下させることにより、実行ウィンドウＸ２（フォーカスウィンドウ）の視認性を高めてもよい。

【0096】

図１８に示したように３以上のウィンドウを備える場合も同様である。一例として、ウィンドウＷ１～Ｗ４をいずれも半透明表示しておく。ユーザが、ウィンドウＷ２を対象化したときには、ウィンドウＷ２の透明度を低下させれば、ユーザはウィンドウＷ２がフォーカスウィンドウであることを認識しやすくなる。このとき、前面にあるウィンドウＷ１の透明度を上昇させてもよい。

【0097】

背面側のウィンドウはボタン等の入力インタフェースを備えるウィンドウ、たとえば、ダイアログボックスやソフトウェアキーボードであってもよい。ユーザは、ダイアログボックスを操作したいときには対象化選択領域１６２（選択領域１２８Ｌ１，１２８Ｒ１）をタッチすればよい。このときには、背面にある操作卓としてのウィンドウを貫通入力により操作し、そのあとに、前面側にあるメインのウィンドウに戻って通常入力によりこれを操作してもよい。

【0098】

本実施形態においては対象化選択領域１６２をタッチすることによって貫通モードに移行し、その状態でデータ入力のための操作をするとして説明した。変形例として、データ入力のための操作をするときの設定に応じて、コードウィンドウＸ１および実行ウィンドウＸ２のいずれをフォーカスウィンドウとするかを動的に選択してもよい。

【0099】

一例として、タッチパネルは、タッチ圧を検出する機能を備えてもよい。この場合、レイヤー管理部１２４は、軽くタッチされたときはコードウィンドウＸ１をフォーカスウィンドウとして設定し、強くタッチされたときには実行ウィンドウＸ２をフォーカスウィンドウに設定してもよい。また、操作検出部１１０は、タッチされた指の面積により、どの指でタッチされているかを検出してもよい。たとえば、人差し指でタッチしたときにはコードウィンドウＸ１がフォーカスウィンドウとなり、小指でタッチしたときには実行ウィンドウＸ２がフォーカスウィンドウに設定されるとしてもよい。

【0100】

操作検出部１１０は、静電容量の違いにより、指とスタイラスペンのタッチを区別してもよい。この場合には、指でタッチされたときにはコードウィンドウＸ１がフォーカスウィンドウに設定され、スタイラスペンでタッチしたときには実行ウィンドウＸ２をフォーカスウィンドウに設定するとしてもよい。

【0101】

スタイラスペンを複数種類用意し、操作検出部１１０はそれぞれを識別してもよい。複数のスタイラスペンそれぞれにウィンドウを対応づける。この場合には、複数のスタイラスペンを使い分けることで複数のウィンドウに対して、データ入力が可能となる。たとえば、下塗りのウィンドウ、素描のウィンドウ、荒描きのためのウィンドウ、仕上げのウィンドウを重ねて油絵のように絵を描くソフトウェアが考えられる。この場合には、ユーザはスタイラスペン（筆の種類）を取替えながら、半透明の４つのウィンドウを同時に操作してもよい。そして、４つの半透明のウィンドウを重ねることで絵を完成させてもよい。

【0102】

貫通モード中にジェスチャー入力を可能としてもよい。たとえば、ユーザが対象化選択領域１６２のみをタッチしているときにはコードウィンドウＸ１がジェスチャー入力の対象となる。一方、ユーザが対象化選択領域１６２およびジェスチャー有効化領域１６４を同時にタッチしているときには、ユーザによるジェスチャー入力により実行ウィンドウＸ２を操作できるとしてもよい。

【0103】

学習ソフトウェア以外にも、本実施形態において示した貫通入力は利用可能である。たとえば、コンピュータゲームにおいて２種類のウィンドウを用意する。１つはゲームフィールドのウィンドウであり、その背面に装備を選ぶメニューウィンドウを用意する。この場合には、ユーザは、前面側のウィンドウを操作対象としつつ、必要に応じて貫通入力によりメニューウィンドウを操作してもよい。また、複数のゲームフィールドに対応して複数のウィンドウを用意してもよい。前面のゲームフィールドと背面のゲームフィールドにおいてゲームを同時進行させ、ユーザは２つのウィンドウのフォーカスを切り替えながらゲームを進めてもよい。

【0104】

ＳＮＳ（Social Networking Service）ソフトウェアなどでは、チャット画面の入力中にポップアップ画面が表示され、チャット画面へのデータ入力がポップアップ画面への誤入力と認識されてしまうことがある。このための対策として、通常モードにおいては、チャット画面をフォーカスウィンドウとしてもよい。チャット画面の前面にポップアップ画面が表示されても、背面側のチャット画面がフォーカスウィンドウのままなのでチャット中にポップアップ画面への入力がなされるのを防ぐことができる。ユーザは、ポップアップ画面への入力に変更したいときには選択領域１６６にタッチしてポップアップ画面をフォーカスウィンドウに設定すればよい。この場合にも、ポップアップ画面とチャット画面の前後関係を維持される。このような制御方法によれば、ユーザはチャット画面に入力しているつもりなのに突然あらわれたポップアップ画面への入力と解釈されてしまうのを防ぐことができる。

【符号の説明】

【0105】

１００ タブレット端末、１０２ モニタ画面、１０４ ユーザインタフェース処理部、１０６ データ処理部、１０８ データ格納部、１１０ 操作検出部、１１２ 出力部、１１４ 機能入力部、１１６ ジェスチャー入力部、１１８ データ入力部、１２０ 表示制御部、１２２ 表示更新部、１２４ レイヤー管理部、１２６ 通信部、１２８Ｌ１ 選択領域、１２８Ｌ２ 選択領域、１２８Ｒ１ 選択領域、１２８Ｒ２ 選択領域、１３２ 重畳領域、１３４ 露出領域、１３５ 始点ボタン、１３６ コードメニュー、１３８ 円描画ボタン、１４０ 円、１４２ 説明領域、１５０ Ｗ１選択領域、１５２ Ｗ２選択領域、１５４ Ｗ３選択領域、１５６ Ｗ４選択領域、１６２ 対象化選択領域、１６４ ジェスチャー有効化領域、１６６ 選択領域、３００ プロセッサ、３０２ 第１バス、３０４ メモリ、３０８ ブリッジ、３１０ 第２バス、３１２ ストレージ、３１４ 入力デバイス、３１６ 出力デバイス、３１８ 周辺機器、Ｇ１ ジェスチャー領域、Ｍ１ 機能判定領域、Ｘ１ コードウィンドウ、Ｘ２ 実行ウィンドウ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】