特許 5882973 情報処理装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5882973

(24)【登録日】2016年2月12日

(45)【発行日】2016年3月9日

(54)【発明の名称】情報処理装置、方法及びプログラム

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20160225BHJP

   G06F 3/0484 20130101ALI20160225BHJP

   G06F 3/041 20060101ALI20160225BHJP

【ＦＩ】

   G06F3/0488 130

   G06F3/0484 120

   G06F3/041 530

   G06F3/041 590

【請求項の数】8

【全頁数】9

(21)【出願番号】特願2013-213760(P2013-213760)

(22)【出願日】2013年10月11日

(65)【公開番号】特開2015-76045(P2015-76045A)

(43)【公開日】2015年4月20日

【審査請求日】2014年12月2日

(73)【特許権者】

【識別番号】311012169

【氏名又は名称】ＮＥＣパーソナルコンピュータ株式会社

(74)【代理人】

【識別番号】100084250

【弁理士】

【氏名又は名称】丸山 隆夫

(72)【発明者】

【氏名】山中 陽一郎

(72)【発明者】

【氏名】吉田 潤

【審査官】 加内 慎也

(56)【参考文献】

【文献】 特開平０９−２４４７８０（ＪＰ，Ａ）

【文献】 特開２０１１−００３０７４（ＪＰ，Ａ）

【文献】 特開２０１１−２５４２３８（ＪＰ，Ａ）

【文献】 特開２０１２−０２７９５７（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１１８０５６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１１／０２２５５５３（ＵＳ，Ａ１）

【文献】 国際公開第２０１４／０４１６４６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／００５７０８１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／０４８４

(57)【特許請求の範囲】

【請求項1】

複数の操作入力点を検知するタッチパネルと、
前記タッチパネルで同時に複数の操作入力点が検知された場合に、検知された複数の操作入力点に基づき、外部ディスプレイに表示されているオブジェクトに対して制御を行う拡張操作手段と、
前記タッチパネルの全表示領域の内の一部である第１の領域に仮想タッチパッドを表示させる制御を行うタッチパネル制御手段と、を有し、
前記拡張操作手段は、前記タッチパネルで同時に複数の操作入力点が検知された場合、前記第１の領域に少なくとも１以上の操作入力点があれば、前記タッチパネルで同時に複数の操作入力点に基づく操作入力を、前記外部ディスプレイに表示されているオブジェクトに対する制御とし、
複数の操作入力点のうち、１以上の操作入力点が第１の入力領域、且つ、１以上の操作入力点が第１の入力領域以外の領域の場合は、前記外部ディスプレイに表示されているオブジェクトに対する制御とする
ことを特徴とする、情報処理装置。

【請求項2】

前記拡張操作手段は、前記タッチパネルで同時に複数の操作入力点が検知された場合であっても、前記外部ディスプレイが情報処理装置に接続されていない場合は、検知した複数の操作入力点に基づく操作入力を、前記タッチパネルの表示領域内に表示されているオブジェクトに対する制御とすることを特徴とする、請求項１に記載の情報処理装置。

【請求項3】

前記外部ディスプレイに表示されているオブジェクトが、前記外部ディスプレイに表示されているグラフィカルユーザインターフェースにおいてフォーカスがあたっているウィンドウであることを特徴とする、請求項１又は２に記載の情報処理装置。

【請求項4】

前記拡張操作手段は、前記操作入力点の数が第１の数であるとき、前記操作入力点間の距離に応じた制御を行うことを特徴とする、請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記拡張操作手段は、前記操作入力点の数が第２の数であるとき、前記第２の数の前記操作入力点から決定される座標の移動方向に応じた制御を行うことを特徴とする、請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記拡張操作手段は、前記タッチパネルに複数の操作入力点が検知された場合に、前記外部ディスプレイに表示されているポインタを消去する表示制御を行うことを特徴とする、請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

タッチパネルを有するコンピュータにより実行される情報処理方法であって、
前記タッチパネルにより複数の操作入力点を検知するステップと、
検知された複数の操作入力点に基づき、外部ディスプレイに表示されているオブジェクトに対して制御を行う拡張操作ステップと、
前記タッチパネルの全表示領域の内の一部である第１の領域に仮想タッチパッドを表示させる制御を行うタッチパネル制御ステップと、を含み、
前記拡張操作ステップでは、前記タッチパネルで同時に複数の操作入力点が検知された場合、前記第１の領域に少なくとも１以上の操作入力点があれば、前記タッチパネルで同時に複数の操作入力点に基づく操作入力を、前記外部ディスプレイに表示されているオブジェクトに対する制御とし、
複数の操作入力点のうち、１以上の操作入力点が第１の入力領域、且つ、１以上の操作入力点が第１の入力領域以外の領域の場合は、前記外部ディスプレイに表示されているオブジェクトに対する制御とする
ことを特徴とする、情報処理方法。

【請求項8】

タッチパネルを有するコンピュータに、
前記タッチパネルにより複数の操作入力点を検知する処理と、
検知された複数の操作入力点に基づき、外部ディスプレイに表示されているオブジェクトに対して制御を行う拡張操作処理と、
前記タッチパネルの全表示領域の内の一部である第１の領域に仮想タッチパッドを表示させる制御を行うタッチパネル制御処理と、を実行させるためのプログラムであって、
前記拡張操作処理では、前記タッチパネルで同時に複数の操作入力点が検知された場合、前記第１の領域に少なくとも１以上の操作入力点があれば、前記タッチパネルで同時に複数の操作入力点に基づく操作入力を、前記外部ディスプレイに表示されているオブジェクトに対する制御とし、
複数の操作入力点のうち、１以上の操作入力点が第１の入力領域、且つ、１以上の操作入力点が第１の入力領域以外の領域の場合は、前記外部ディスプレイに表示されているオブジェクトに対する制御とする
ことを特徴とする、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、方法及びプログラムに関し、特に、外部ディスプレイにアプリケーションの画面を表示させるものに関する。

【背景技術】

【0002】

特許文献１には、ドラッグアンドドロップを抽象化して、動画像などのサムネイルを所定のアイコンにドラッグアンドドロップすると、アプリケーションが起動し、セカンダリディスプレイに全画面表示することが記載されている。また、特許文献２には、タッチパネルにおけるマルチポイントについて関連技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１０−５２８３６８号公報

【特許文献2】特表２００９−５２５５３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

アプリケーションの画面を、メインのディスプレイではないセカンダリディスプレイで展開することについては、特許文献１に記載がある。しかしながら、メインディスプレイがマルチタッチ対応のタッチパネルであると仮定した場合に、セカンダリディスプレイに表示させているグラフィカルユーザインターフェースに対して、その機能を十分に活かした情報処理を行っていない。

【0005】

本発明は、上記実情に鑑みてなされたものであって、快適に操作可能な拡張ディスプレイ利用環境を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために本発明は、複数の操作入力点を検知するタッチパネルと、前記タッチパネルで同時に複数の操作入力点が検知された場合に、検知された複数の操作入力点に基づき、外部ディスプレイに表示されているオブジェクトに対して制御を行う拡張操作手段と、前記タッチパネルの全表示領域の内の一部である第１の領域に仮想タッチパッドを表示させる制御を行うタッチパネル制御手段と、を有し、前記拡張操作手段は、前記タッチパネルで同時に複数の操作入力点が検知された場合、前記第１の領域に少なくとも１以上の操作入力点があれば、前記タッチパネルで同時に複数の操作入力点に基づく操作入力を、前記外部ディスプレイに表示されているオブジェクトに対する制御とし、複数の操作入力点のうち、１以上の操作入力点が第１の入力領域、且つ、１以上の操作入力点が第１の入力領域以外の領域の場合は、前記外部ディスプレイに表示されているオブジェクトに対する制御とすることを特徴とする。

【発明の効果】

【0007】

本発明によれば、快適に操作可能な拡張ディスプレイ利用環境を提供することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明による実施形態の外観構成例を示す図である。

【図2】図１の情報処理装置１００のハードウェア＆ソフトウェア構成例を示すブロック図である。

【図3】上記実施形態の機能ブロック図である。

【図4】上記実施形態により構成される表示画面の一例を示す図である。

【図5】上記実施形態における拡張ディスプレイ利用環境における操作入力処理の流れを示すフローチャート図である。

【図6】他の実施形態における操作入力処理の流れを示すフローチャート図である。

【発明を実施するための形態】

【0009】

＜第１の実施形態＞
図１に、本実施形態の外観構成例を示す。図示のように、本実施形態に係る情報処理システム１は、タブレット型のパーソナルコンピュータ（以下、タブレットＰＣ）である情報処理装置１００と外部ディスプレイ１０２を含むコンピュータシステムとして構成してもよい。外部ディスプレイ１０２に係る表示装置の方式は、液晶方式や有機ＥＬなど種々の方式が利用できる。タブレットＰＣ１００と外部ディスプレイ１０２は、相互に通信可能に接続されている。通信の方式には限定がなく、物理層の接続は、例えば、図示のようにディスプレイケーブル１０３を利用してもよい。

【0010】

図２に、情報処理装置１００のハードウェア＆ソフトウェア構成例を示す。情報処理装置１００は、ハードウェアとして例えば、内部バスで演算制御装置１１、一次記憶装置１２、外部ＩＯ制御装置１３、記憶装置１４、タッチパネル１０１が接続されているような構成を採用することができる。外部ＩＯ制御装置１３は、ディスプレイケーブル１０３を介して外部ディスプレイ１０２との入出力を可能にする。

【0011】

記憶装置１４に、上記ハードウェアを利用する情報処理を行うためのソフトウェアプログラム群が格納されている。そのようなソフトウェアとしては、オペレーティングシステム（以下、ＯＳ）２１、各種アプリケーションソフトウェアプログラムであるアプリケーション２２、仮想タッチパッドソフトウェア２３がある。ＯＳ２１の機能の一部として、ヒューマンインターフェースデバイス（以下、ＨＩＤ）ドライバ２１ａと、外部ディスプレイドライバ２２ｂも有しているとよい。後者は外部ディスプレイ１０２をＯＳ２１が操作するためのインターフェースを提供するものである。

【0012】

なお、上記ソフトウェア構成例は説明例であり、種々の変形が可能である。例えばＳａａＳによりネットワーク経由で提供されていてもよい。上述のようなハードウェアを利用したソフトウェアプログラムによる情報処理によって、下述するような機能ブロックが構成される。また、後述するような流れで情報処理がなされる。

【0013】

図３に、本実施形態の機能ブロック図を示す。図示のように、情報処理装置１００は、タッチパネル１０１、タッチパネル制御手段１０７、拡張操作手段１０８、ポインタ操作入力受付手段１０５、ポインタ表示制御手段１０６を有するように構成される。

【0014】

タッチパネル１０１は、例えば静電方式によるもので、表示手段としても操作入力手段として用いることができる。図４に、本実施形態による表示画面の一例を示す。本実施形態では、仮想タッチパッドソフトウェア２３が起動されると、図４（ａ）に示す仮想タッチパッド１１０がタッチパネル１０１に表示される。仮想タッチパッド１１０は、図４（ａ）に示されているように、タッチパネル１０１の表示領域全体に対して、一定の面積を占めるように表示されるようにすることが好ましい。仮想タッチパッド１１０は、好ましくは、機能キー１１１を含む。機能キー１１１は、右クリックや左クリックが割り当てられる。

【0015】

また、仮想タッチパッドソフトウェア２３は、タッチパネル１０１の全表示領域への操作入力を認識している。仮想タッチパッドソフトウェア２３は、仮想タッチパッド１１０のグラフィカルユーザインターフェースを提供するが、全表示領域から仮想タッチパッド１１０を除いた部分の表示領域への操作入力も監視している。この表示領域は、いわば透明領域と言うことができる。

【0016】

この仮想タッチパッド１１０が表示される所定の領域に対して行われた操作入力がポインタ操作入力受付手段１０５により受け付けられる。操作入力点の数が１である場合、ポインタ表示制御手段１０６は、外部ディスプレイ１０２の表示画面上にポインタ１１３を表示させる制御を行う機能を備える。ポインタ１１３は、ＯＳ２１の提供するグラフィカルユーザインターフェース（以下、ＧＵＩ）におけるポインタカーソルである。

【0017】

具体的には、ＯＳ２１がセカンダリディスプレイを仮想デスクトップ上に生成して、そこに起動するアプリケーション２２の画面を生成する。また、ポインタ表示制御手段１０６がポインタ画像の生成もする。図示しないディスプレイドライバが両者を統合して外部ディスプレイ１０２の画面を生成し、外部ディスプレイ１０２が実際の描画を行う。

【0018】

図４（ｂ）に、外部ディスプレイ１０２の表示画面例が示されている。外部ディスプレイ１０２の拡張ディスプレイ側には、タッチパネル１０１にはないポインタ１１３が描画されている。また、起動したアプリケーション２２のウィンドウが表示されている。

【0019】

図５に、拡張ディスプレイ利用環境における操作入力処理の流れを示す。タッチパネル制御手段１０７は、タッチパネル１０１の一部領域に仮想タッチパッド１１０を表示させる（Ｓ１０１）。タッチパネル１０１により操作入力が検知されるが、ここで、操作入力点が複数であれば、本実施形態は、「拡張操作モード」に入り、以下に述べる特徴的な情報処理を行う（Ｓ１０２、Ｓ１０３）。

【0020】

まず、拡張操作手段１０８の制御を受けてポインタ表示制御手段１０６は、外部ディスプレイ１０２に表示させるポインタ１１３を消去する（Ｓ１０４）。これにより、視認性がよくなり、使い勝手がよくなる。そして、タッチパネル１０１が検知する検知座標は、随時、拡張操作手段１０８に入力される。

【0021】

拡張操作手段１０８は、まず、複数検出されている操作入力点の数が所定の第１の数であるか否かを判別する（Ｓ１０５）。本実施形態においては、所定の第１の数が、「２」であることとする。

【0022】

Ｓ１０５でＹｅｓである場合、拡張操作手段１０８は、２点間の距離を計算し、２点間の距離の変動距離に応じて、外部ディスプレイ１０２に表示されている描画オブジェクトの拡大又は縮小を行う（Ｓ１０６、Ｓ１０７）。

【0023】

この制御の対象となる描画オブジェクトは、好ましくは、ＧＵＩにおいてフォーカスがあたっているアクティブウィンドウがよいが、他のオブジェクトであってもよい。以下では、オブジェクトが外部ディスプレイ１０２に描画されているオブジェクトの内フォーカスがあたっているいわゆるアクティブウィンドウであることとする。また、制御の内容としては、拡大縮小の他には、ウィンドウの大きさを変えてもよいし、ウィンドウ内に表示されているコンテンツを大きく表示したり小さく表示したりしてもよい。

【0024】

Ｓ１０５でＮｏである場合、拡張操作手段１０８は、複数検出されている操作入力点の数が所定の第２の数であるか否かを判別する（Ｓ１０８）。本実施形態においては、所定の第２の数が、「３」であることとする。

【0025】

Ｓ１０８でＹｅｓである場合、拡張操作手段１０８は、３点の座標の平均を計算する（Ｓ１０９）。次に、計算した平均座標の移動方向を監視し、その移動方向に応じた制御を行う（Ｓ１１０）。

【0026】

移動方向が、例えば上であれば、アクティブウィンドウの変更を行う。セカンダリディスプレイのアクティブウィンドウとウィンドウの重なり具合は、ＯＳ２１が把握している。移動方向が、例えば下であれば、現在のアクティブウィンドウを閉じる制御を行う。なお、本実施形態では、３点の座標から決定される座標を、平均座標としたが、これに限定されず、垂心や外接円の中心、内接円の中心などでもよい。

【0027】

上述した実施形態によれば、快適に操作可能な拡張ディスプレイ利用環境を提供することが可能となる。特に、外部ディスプレイ１０２がマルチタッチ非対応であっても、タブレットＰＣである情報処理装置１００のマルチタッチ機能を活かした制御が可能になり、非常に便利になる。

【0028】

＜第２の実施形態＞
第１の実施形態においては、外部ディスプレイ１０２が情報処理装置１００に接続されていることが前提であったが、本実施形態においては、接続されていない場合も視野に入れた操作入力処理の流れを説明する。図１ないし図４は第１の実施形態のものと同じである。図６に、本実施形態の操作入力処理の流れを示す。

【0029】

本実施形態においては、まず、タッチパネル制御手段１０７がタッチパネル１０１が検知した操作入力点が複数であるかを判断する（Ｓ２０１）。複数でなく、シングルタッチである場合は本実施形態と関連しないので説明を省略する。複数である場合は、次に、タッチパネル制御手段１０７は、拡張操作手段１０８に処理を渡し、拡張操作手段１０８が現在、外部ディスプレイ１０２、画情報処理装置１００に接続されているか否かを判断する（Ｓ２０２）。

【0030】

接続されていない場合は、拡張操作手段１０８は、複数の操作入力点に基づく操作入力はタッチパネル１０１に表示されているＧＵＩに対する操作入力であると判断して、処理をＯＳ２１に渡す。ＯＳ２１はタッチパネル１０１の制御を行う（Ｓ２０５）。

【0031】

一方で、接続されている場合は、拡張操作手段１０８は、次に、当該操作入力点が仮想タッチパッド１１０の領域内に含まれるか否かを判断する（Ｓ２０３）。仮想タッチパッドソフトウェア２３が起動されておらず仮想タッチパッド１１０が描画されていないような場合は、Ｓ２０３でＮｏとなり、タッチパネル制御となる（Ｓ２０５）。

【0032】

操作入力点が仮想タッチパッド１１０の領域に含まれているか否かの判断については、例えば、全点が含まれている場合にＹｅｓとすることができる。また、少なくとも１点以上含まれている場合にＹｅｓとしてもよい。このような場合に、拡張操作手段１０８は、複数の操作入力点に基づく操作入力が、外部ディスプレイ１０２に描画されているオブジェクトに対する制御であると判断し、当該制御を実行する（Ｓ２０４）。具体的な制御の内容は、第１の実施形態と同じである。

【0033】

以上に述べた本実施形態によれば、外部ディスプレイ１０２の接続を確認しなくてもタブレットＰＣである情報処理装置１００のマルチタッチ機能を活かした制御が可能になり、快適な拡張操作感が得られる。

【符号の説明】

【0034】

１ 情報処理システム
１００ 情報処理装置（タブレットＰＣ）
１０１ タッチパネル
１０２ 外部ディスプレイ
１０３ ディスプレイケーブル
１０５ ポインタ操作入力受付手段
１０６ ポインタ表示制御手段
１０７ タッチパネル制御手段
１０８ 拡張操作手段
１１０ 仮想タッチパッド
１１３ ポインタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】