特許第6803708号(P6803708)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧
特許6803708表示装置及び表示装置における制御方法及びプログラム
<>
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000002
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000003
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000004
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000005
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000006
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000007
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000008
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000009
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000010
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000011
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000012
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000013
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000014
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000015
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000016
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000017
  • 特許6803708-表示装置及び表示装置における制御方法及びプログラム 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6803708
(24)【登録日】2020年12月3日
(45)【発行日】2020年12月23日
(54)【発明の名称】表示装置及び表示装置における制御方法及びプログラム
(51)【国際特許分類】
   G06F 3/0481 20130101AFI20201214BHJP
   G06F 3/0487 20130101ALI20201214BHJP
   G06F 3/041 20060101ALI20201214BHJP
   G09G 5/00 20060101ALI20201214BHJP
   G09G 5/14 20060101ALI20201214BHJP
【FI】
   G06F3/0481
   G06F3/0487
   G06F3/041 532
   G09G5/00 510H
   G09G5/00 550C
   G09G5/14 E
   G09G5/00 555D
   G09G5/00 510X
【請求項の数】8
【全頁数】17
(21)【出願番号】特願2016-179370(P2016-179370)
(22)【出願日】2016年9月14日
(65)【公開番号】特開2018-45425(P2018-45425A)
(43)【公開日】2018年3月22日
【審査請求日】2019年3月20日
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100112335
【弁理士】
【氏名又は名称】藤本 英介
(74)【代理人】
【識別番号】100101144
【弁理士】
【氏名又は名称】神田 正義
(74)【代理人】
【識別番号】100101694
【弁理士】
【氏名又は名称】宮尾 明茂
(74)【代理人】
【識別番号】100124774
【弁理士】
【氏名又は名称】馬場 信幸
(72)【発明者】
【氏名】細川 哲平
【審査官】 酒井 優一
(56)【参考文献】
【文献】 特開2007−072503(JP,A)
【文献】 米国特許出願公開第2015/0077356(US,A1)
【文献】 特開2003−022177(JP,A)
【文献】 特開2001−134253(JP,A)
【文献】 特開2008−033918(JP,A)
【文献】 特開2011−134282(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0481
G06F 3/0487
G06F 3/041
G09G 5/00
G09G 5/14
(57)【特許請求の範囲】
【請求項1】
タッチパネルで構成された表示部と、複数のUSB(Universal Serial Bus)ポートとを有し、当該USBポートに接続された複数の端末装置とUSBにて通信を行う表示装置において、
第1の端末装置から入力される画像信号を親画面とし、第2の端末装置から入力される画像信号を当該親画面の一部に子画面として前記表示部に表示する制御を行う表示制御部と、
タッチ操作をタッチパネルにより検出する操作検出部と、
前記複数のUSBポートのうち、有効なUSBポートを切り替えるUSB切替部と、
前記検出されたタッチ操作が、前記親画面である場合には第1の端末装置が接続されたUSBポートを有効にし、前記子画面である場合には第2の端末装置が接続されたUSBポートを有効にするよう前記USB切替部を制御する制御部と、
を備え、
前記制御部は、前記操作検出部により検出されたタッチ操作が前記子画面である場合、当該タッチ操作が通常の操作とは異なる特定操作のときに、前記第2の端末装置が接続されたUSBポートを有効にすることを特徴とする表示装置。
【請求項2】
前記表示制御部は、前記子画面を縮小して前記親画面に重畳して表示しており、
前記操作検出部により検出されたタッチ操作に対応する座標情報を、前記USBポートを介して端末装置に送信する送信部を更に有し、
前記送信部は、前記第1の端末装置に送信する場合には、前記座標情報をそのまま送信し、前記第2の端末装置に送信する場合には、前記座標情報を、縮小前の子画面の座標情報に変換して送信する、
ことを特徴とする請求項1に記載の表示装置。
【請求項3】
前記操作検出部は、検出されたタッチ操作を一時的にバッファ領域に記憶し、
前記制御部は、前記USBポートを有効にした後に、前記バッファ領域に記憶されたタッチ操作を、有効にしたUSBポートを介して端末装置に送信することを特徴とする請求項1又は2に記載の表示装置。
【請求項4】
前記表示制御部は、前記第2の端末装置が操作可能となっている場合には、前記子画面の表示を拡大して表示することを特徴とする請求項1からの何れか一項に記載の表示装置。
【請求項5】
前記表示制御部は、前記USB切替部により、前記有効なUSBポートが切り替えられた場合には、前記親画面の表示と、前記子画面の表示とを入れ替えることを特徴とする請求項1からの何れか一項に記載の表示装置。
【請求項6】
前記制御部は、前記親画面の座標及び前記子画面の座標を前記操作検出部に設定し、
前記操作検出部は、タッチ操作が検出された座標が前記親画面に含まれる場合には、前記親画面がタッチされたことを、タッチ操作が検出された座標が前記子画面に含まれる場合には、前記子画面がタッチされたことを前記制御部に通知することを特徴とする請求項1からの何れか一項に記載の表示装置。
【請求項7】
タッチパネルで構成された表示部と、複数のUSB(Universal Serial Bus)ポートとを有し、当該USBポートに接続された複数の端末装置とUSBにて通信を行う表示装置における制御方法であって、
第1の端末装置から入力される画像信号を親画面とし、第2の端末装置から入力される画像信号を当該親画面の一部に子画面として前記表示部に表示し、
タッチ操作をタッチパネルにより検出し、
前記複数のUSBポートのうち、有効なUSBポートを切り替え可能であって、
前記検出されたタッチ操作が、前記親画面である場合には第1の端末装置が接続されたUSBポートを有効にし、
前記検出されたタッチ操作が、前記子画面である場合には第2の端末装置が接続されたUSBポートを有効にし、
更に、前記検出されたタッチ操作が、前記子画面である場合、当該タッチ操作が通常の操作とは異なる特定操作のときに、前記第2の端末装置が接続されたUSBポートを有効にする、
ことを特徴とする表示装置における制御方法。
【請求項8】
請求項に記載の表示装置における制御方法をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末装置が複数接続可能な操作装置等に関する。
【背景技術】
【0002】
従来から、タッチパネルを利用した操作装置が知られている。タッチパネルは、操作検出部と表示部とが一体となっており、利用者は直接表示部をタッチすることにより、タッチ操作が可能となっている。
【0003】
また、最近では1つの表示部において、複数の表示内容を同時に表示させる方法としてPIP(ピクチャ・イン・ピクチャ)が知られている(例えば、特許文献1参照)。例えば、異なるプログラムを親画面と子画面とに表示させたり、1つの端末装置を親画面に、他の端末装置を子画面に表示させたりすることにより、1つの表示部で複数の表示画面を確認することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2013−524684号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
通常タッチパネルを利用した操作装置に、端末装置を接続する場合、1つの操作装置に1つの端末装置が接続されるのが一般的である。例えば、操作装置と、端末装置とはUSB(Universal Serial Bus)を介して接続されるが、親画面を表示する端末装置(親端末装置)に、操作装置が接続されるため、子画面を表示する端末装置(子端末装置)については操作ができないという問題が生じていた。
【0006】
すなわち、子画面に操作をすることで、子端末装置を操作しようとしても、操作装置として接続されている親端末装置への操作となってしまい、PIP表示状態におけるタッチパネルによる子端末装置への操作が難しかった。
【0007】
上述した課題に鑑み、本発明は、表示されている領域をタッチするだけで、容易に操作対象となる端末装置を切り替えることが可能な操作装置等を提供することである。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の操作装置は、端末装置が複数接続可能な操作装置であって、タッチパネルで構成された表示部と、第1の端末装置から入力される画像信号を親画面とし、第2の端末装置から入力される画像信号を当該親画面の一部に子画面として前記表示部に表示する制御を行う表示制御部と、タッチ操作をタッチパネルにより検出する操作検出部と、前記検出されたタッチ操作が、前記親画面である場合には第1の端末装置が操作可能となり、前記子画面である場合には第2の端末装置が操作可能となるように端末装置との接続を切り替える操作切替部と、を備えることを特徴とする。
【0009】
本発明の操作装置は、端末装置が複数接続可能な、タッチパネルで構成された表示部を有する操作装置であって、第1の端末装置の映像信号を親画面とし、第2の端末装置の映像信号を子画面として前記表示部に表示する制御を行う表示制御部と、タッチされた座標を操作信号として出力する操作信号出力部と、前記操作信号出力部から出力された信号を、前記第1の端末装置又は前記第2の端末装置を切り替えて出力する切替部と、を有し、前記選択部により第1の端末装置が選択されているときに、前記子画面がタッチされた場合には、前記選択部は第2の端末装置に切り替え、前記選択部により第2の端末装置が選択されているときに、前記親画面がタッチされた場合には、前記選択部は第1の端末装置に切り替えることを特徴とする。
【0010】
本発明の操作装置における操作方法は、端末装置が複数接続可能な、タッチパネルで構成された表示部を有する操作装置における操作方法であって、第1の端末装置から入力される画像信号を親画面と、第2の端末装置から入力される画像信号を、当該親画面の一部に子画面として前記表示部に表示する制御を行う表示制御ステップと、タッチ操作をタッチパネルにより検出する操作検出ステップと、前記検出されたタッチ操作が、前記親画面である場合には第1の端末装置が操作可能となり、前記子画面である場合には第2の端末装置が操作可能となるように端末装置との接続を切り替える操作切替ステップと、を含むことを特徴とする。
【発明の効果】
【0011】
本発明の操作装置は、第1の端末装置から入力される画像信号を親画面とし、第2の端末装置から入力される画像信号を当該親画面の一部に子画面として表示部し、タッチパネルにおいて検出されたタッチ操作が、親画面である場合には第1の端末装置が操作可能となり、子画面である場合には第2の端末装置が操作可能となる。これにより、利用者は、親画面、子画面の表示をタッチするだけで、操作対象となる端末を切り替えることが可能となる。
【図面の簡単な説明】
【0012】
図1】第1実施形態における表示装置及び端末装置の概要を説明するための図である。
図2】第1実施形態における表示装置の概要を説明するための図である。
図3】第1実施形態における表示装置の機能構成を説明するための図である。
図4】第1実施形態における親画面/子画面の概要及び操作対象となる端末装置の切り替えについての概要について説明するための図である。
図5】第1実施形態における処理を説明するための動作フローである。
図6】第1実施形態における動作例を説明するための図である。
図7】第1実施形態における動作例を説明するための図である。
図8】第2実施形態における処理を説明するための動作フローである。
図9】第2実施形態における動作例を説明するための図である。
図10】第3実施形態における処理を説明するための動作フローである。
図11】第3実施形態における動作例を説明するための図である。
図12】第3実施形態における動作例を説明するための図である。
図13】第4実施形態における処理を説明するための動作フローである。
図14】第4実施形態における動作例を説明するための図である。
図15】第5実施形態における処理を説明するための動作フローである。
図16】第5実施形態における動作例を説明するための図である。
図17】第6実施形態における動作例を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施形態では、一例として、本発明における操作装置を適用した表示装置として説明する。
【0014】
[1.第1実施形態]
[1.1 全体構成]
まず、本実施形態の全体構成について、図1及び図2に基づいて説明する。図1に示すように、表示装置10には、端末装置20及び端末装置30の2台の端末装置が接続されている。なお、端末装置20、30は、コンピュータやタブレット等の何れかの装置であれば良いが、本実施形態では同一の装置構成であり、画像を表示するためのインタフェースと、USB(Universal Serial Bus)ポートとを少なくとも備えている。端末装置としては、異なる装置の組み合わせであっても良いことは勿論である。
【0015】
表示装置10と、端末装置との接続について、図2に基づいて説明する。表示装置10は、例えば、HDMI(High-Definition Multimedia Interface)(登録商標)、D−SUB(D-Subminiature)、DVI(Digital Visual Interface)、DisplayPortといった複数の画像入力インタフェースを備えている。また、これらのインタフェースは1つずつではなく、複数備えていても良い。
【0016】
これらの画像インタフェースに入力された画像信号を切り替えて表示することが可能であるが、PIP(Picture-In-Picture)表示を行うことも可能である。PIP表示は、親画面の一部に子画面を重畳的に表示させる方式である。子画面については、位置や大きさが変更可能である。
【0017】
本実施形態において、端末装置20(PC20)は、HDMIにより表示装置10に画像を出力している。また、端末装置30(PC30)は、D−SUBにより表示装置10に画像を出力している。そして、端末装置20が親画面、端末装置30が子画面として表示装置10でPIP表示されている。
【0018】
また、表示装置10は、タッチパネル機能を有している。端末装置と表示装置とを接続することにより、タッチ入力された信号が端末装置に送信され、利用者はタッチ操作で端末装置を制御することが可能となる。
【0019】
表示エリアを利用者がタッチすると、タッチコントローラ(TP−CON)14は、その座標情報をUSBに接続された端末装置のドライバに送信する。これにより、端末装置は、タッチ入力された座標情報を取得することが可能となる。
【0020】
ここで、各USBポートは、USBスイッチ(USB−SW)12と接続されている。USBスイッチ12により、複数のUSBポートのうち一つのUSBポートが有効であると選択される。選択されたUSBポートに接続された端末装置に座標情報が送信されることとなる。
【0021】
[1.2 機能構成]
つづいて、本実施形態における機能構成について説明する。ここで、端末装置20及び端末装置30は、通常の画像出力が可能な端末装置である。すなわち、HDMIや、D−SUBといった画像インタフェースから画像信号が出力される。また、外部装置とはUSBを利用することで接続することが出来る装置である。
【0022】
以下、図3に基づいて、表示装置10の機能構成について説明する。表示装置10は、制御部110と、画像表示部120と、画像入力部130と、画像処理部140と、操作検出部150と、記憶部160と、USB機能部170と、USB切替部180とを備えて構成されている。
【0023】
制御部110は、表示装置10の全体を制御するための機能部である。制御部110は、記憶部160に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばCPU(Central Processing Unit)により構成されている。
【0024】
画像表示部120は、画像を表示するための機能部である。例えば、LCD(Liquid Crystal Display)や有機ELパネルといった表示装置により構成されている。そして、画像入力部130より入力された画像信号に基づいて、画像が表示される。
【0025】
画像入力部130は、画像信号を出力する端末装置と接続するためのインタフェース部である。例えば、HDMI、D−SUB、DVI、DisplayPortといった画像入力インタフェースで実現されている。なお、本実施形態においては、複数のインタフェースを備えている。
【0026】
画像処理部140は、入力された画像信号に対して画像処理を行い、画像表示部120に出力する機能部である。例えば、PIPの表示画面とする場合、端末装置から入力された画像信号を、子画面用に縮小し、親画面に重畳する処理を実行する。
【0027】
操作検出部150は、利用者の操作を検出するための機能部である。本実施形態では、画像表示部120と一体となったタッチパネルを利用し、利用者の操作(例えば、タッチした座標)を検出する。そして検出された操作に関する情報である操作情報(例えば、座標であれば座標情報)を出力する。操作検出部150は、例えば、図2に示したTP−CON14が相当する。
【0028】
記憶部160は、表示装置10の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部160は、例えば、半導体メモリや、HDD(Hard Disk Drive)等により構成されている。
【0029】
また、記憶部160には、領域情報162が記憶されている。領域情報は、子画面に関する領域の情報であり、親画面における座標と、PIP表示される子画面の座標との対応を記憶している。詳細については後述する。
【0030】
USB機能部170は、操作をする端末装置をUSBにより接続を行う為の機能部である。操作検出部150から出力されたタッチ操作に関する情報(例えば、座標情報)を、接続された端末装置に送信する。これにより、タッチ操作により、端末装置を操作可能となる。
【0031】
ここで、表示装置10は、複数のUSBポートを有している。本実施形態においては、USBポート172と、USBポート174とを有しており、それぞれ端末装置20、端末装置30とが接続される。
【0032】
そして、USBポート172、174のうち、有効なUSBポートを切り替えるのがUSB切替部180である。USB切替部180が選択したUSBポートが有効なUSBポートとして認識され、USBポートに接続されている端末装置に座標情報が送信されることとなる。USB切替部180は、例えば、図2のUSB−SW12が相当する。
【0033】
[1.3 動作の説明]
つづいて、本実施形態における動作について、図4で概要を説明する。図4(a)は、PIPにおける親画面と子画面との関係を説明する図である。左側が画像表示部120に表示される表示画面の一例であり、親画面の実際の表示領域である。親画面は、端末装置20の画像信号に基づく表示が行われている。
【0034】
また、親画面の一部の表示領域には、子画面が表示されている。子画面の表示領域には端末装置30の画像信号に基づく表示が行われている。子画面は、親画面の一部に重畳して表示されており、親画面と比較すると小さく表示される。
【0035】
ここで、図4(a)の右側に、子画面の実際の表示(単一表示した場合の表示)を示す。この子画面の表示が、親画面の中に、PIPとして表示される。
【0036】
子画面を単一表示した場合は、図4(a)の右側に示すように、座標(0,0)−(X2,Y2)の表示領域で表示される。
【0037】
このとき、子画面は、親画面の座標(X1a,Y1a)−(X1b,Y1b)の位置に表示される。
【0038】
領域情報162の一例を図4(b)に示す。このように、親画面(座標)と、子画面(座標)とが記憶されている。
【0039】
ここで、親画面として表示されている端末装置20と、子画面として表示されている端末装置30との操作の切り替えについて、図4(c)を用いて説明する。
【0040】
まず、ディスプレイファーム16は、親画面の表示領域の座標情報(親画面の座標及び子画面の座標)を、TP−CON14にセットする。また、ディスプレイファーム16は、親画面に対応する端末装置20のUSBポート172が有効となるように、USB−SW12を切り替える。ここで、前回タッチ領域は、初期値として親画面の領域としてもよい。
【0041】
ここで、親画面の表示領域(子画面の領域を除いた親画面の領域)がタッチされた場合、タッチされた座標情報を端末装置20のドライバに渡す。これにより、親画面の表示領域がタッチされている場合には、親画面に対応する端末装置20が操作対象となり、操作可能となる。
【0042】
ここで、親画面と子画面との切り替え時に利用される「タッチされた座標」とは、タッチが開始された座標(タッチダウンされた座標)である。すなわち、タッチ時に取得される座標としては、タッチを開始したときの座標(タッチダウン時の座標)と、タッチを終了したときの座標(タッチアップ時の座標)と、動かしているときの座標が取得可能であるが、本実施形態ではタッチを開始したときの座標を利用することとする。
【0043】
つづいて、子画面の表示領域がタッチされた場合(タッチ開始時の座標/タッチダウンの座標が子画面の表示領域に含まれる座標の場合)、TP−CON14は、子画面がタッチされたことをディスプレイファーム16に通知する。ディスプレイファームは、子画面に対応する端末装置30が有効となるように、USB−SW12を切り替える。すなわち、有効であるUSBポートを、USBポート172から、USBポート174に切り替える。
【0044】
USB−SW12によりスイッチ切り替え完了後、TP−CON14は、タッチされた座標情報を端末装置30のドライバに渡す。これにより、子画面の表示領域がタッチされた場合には、子画面に対応する端末装置30が操作対象となり、操作可能となる。
【0045】
このとき、座標情報としては、親画面の座標から子画面の座標に変換されて端末装置30に送信される(ドライバに渡す)ことになる。すなわち、現在検出されている座標情報は、子画面が縮小表示される前の座標情報に変換して送信される。これにより、子画面を操作している場合でも、端末装置30は、適切な座標情報(すなわち、子画面の座標)として認識することができるようになる。
【0046】
継続して子画面がタッチされている場合は端末装置30が操作対象となっているが、このとき親画面の表示領域がタッチされると、TP−CON14は、親画面の表示領域がタッチされたことをディスプレイファーム16に通知する。
【0047】
ディスプレイファーム16は、親画面に対応する端末装置20が有効となるように、USB−SW12を切り替える。すなわち、有効であるUSBポートを、USBポート174から、USBポート172に切り替える。
【0048】
USB−SW12によりスイッチ切り替え完了後、TP−CON14は、タッチされた座標情報を端末装置20のドライバに渡す。これにより、親画面の表示領域がタッチされた場合には、親画面に対応する端末装置20が操作対象となり、操作可能となる。
【0049】
このように、本実施形態によれば、タッチされた位置(タッチ開始/タッチダウン時に取得された座標)に応じて操作対象となる端末装置を切り替えることが可能となる。以下、処理の流れについて実施形態毎に説明をする。
【0050】
[1.4 処理の流れ]
本実施形態の処理の流れについて、図5に基づいて説明する。図5においては、端末装置20の表示画面が親画面として表示され、端末装置30の表示画面が子画面として表示されている場合に実行される処理である。
【0051】
まず、親端末装置である端末装置20が親画面として表示されていることから、操作対象は親端末装置となっている(ステップS102)。すなわち、USBポート172が有効となっており、座標情報は親端末装置が受信できるようになっている。
【0052】
つづいて、タッチ入力があると(ステップS104;Yes)、当該タッチ入力による位置(例えば、タッチダウンされた領域)はPIPによって子画面が表示されている子画面領域か否かを判定する。ここで、タッチダウンの位置が子画面領域の場合(ステップS106;Yes)、現在の操作対象を判定する。
【0053】
ここで、現在の操作対象が親端末装置(端末装置20)の場合、すなわち子端末装置(端末装置30)でない場合には、操作対象を子端末装置に切り替える(ステップS110;No→ステップS114)。操作対象の切り替え方法としては種々の方法があるが、例えば、上述したようにディスプレイファームにタッチ検出された領域(子画面)を送信し、操作対象として記憶してもよい。
【0054】
また、操作対象が既に子端末装置である場合には、子端末装置を操作する(ステップS110;Yes→ステップS112)。すなわち、子端末装置である端末装置30に、タッチ操作に関する情報(例えば、座標情報)を送信する。これにより、例えば子画面の表示領域に描画したり、移動操作をしたりすることができる。ここでは、タッチに関する座標(例えば、タッチ開始、移動中、タッチ終了等の座標情報)が必要に応じて取得・送信されることになる。
【0055】
また、タッチ入力(タッチダウンの位置)が親画面領域である場合には、現在の操作対象が親端末装置か否かを判定する(ステップS106;No→ステップS120)。ここで、操作対象が親端末装置でなければ、操作対象を親端末装置に切り替える(ステップS120;No→ステップS124)。他方、操作対象が既に親端末装置である場合には、親端末装置を操作する(ステップS120;Yes→ステップS122)。これにより、親画面に対する操作をおこなうことができる。
【0056】
[1.5 動作例]
続いて、本実施形態の具体的な動作例について、図に基づいて説明する。図6(a)は、表示装置10に、親端末装置(端末装置20)の表示画面として、親画面領域W100が、親画面領域W100の中に、子画面の表示画面として、子画面領域W110がそれぞれ表示されている。
【0057】
また、図6(a)の表示装置10と、端末装置20とを接続する線分は、太線となっている。これは、親端末装置(端末装置20)の操作対象が選択されている状態、すなわちUSBによる接続が有効となっている状態を示している。
【0058】
したがって、このときに、利用者により親画面領域W100をタッチすることで、親画面領域W100を操作することができる。例えば、本実施形態では親画面に描画が行われている。
【0059】
この状態で、利用者が子画面領域W110をタッチした状態(タッチダウンが子画面領域W110で行われる状態)を示すのが図6(b)である。まだ、端末装置30が操作対象で無いため、子画面領域W110に描画等の操作は出来ないが、タッチされたことで操作対象が端末装置20から端末装置30に移ることとなる(今度は、表示装置10と、端末装置30とを接続する線分が太線となっている。)。
【0060】
この状態で、子画面領域をタッチして、描画したのが図7(a)である。この段階で、親画面領域をタッチすると、親画面で操作を行うことができる。図7(b)は、親画面でタッチして、描画されている。このとき検出された座標情報は、端末装置20に出力されることになる。
【0061】
このように、本実施形態によれば、親端末装置と、子端末装置との表示においてPIP表示がされている場合、他の画面(例えば親画面を操作中には子画面)をタッチすることで、容易に操作対象となる端末装置を切り替えることが可能となる。
【0062】
[2.第2実施形態]
第2実施形態について図を参照しつつ説明する。第2実施形態は、タッチ操作がされた表示領域が自動的に選択され、当該表示領域に対応する端末装置が操作可能となる実施形態である。なお、第2実施形態は、第1実施形態と装置の機能構成は同一である。また、処理フローについては、第1実施形態における図5の処理フローを、図8の処理フローに置き換えたものである。ここで、同一の処理には同一の符号を付し、説明を省略する。
【0063】
親画面の表示領域に子画面の表示領域がPIPで表示されており、操作対象は親端末装置となっている。ここで、子画面領域にタッチ操作があった場合に(ステップS106;Yes)、操作対象が子端末装置でなければ、操作対象を子端末装置に切り替えた上で、子端末装置を操作する(ステップS110;No→ステップS114→ステップS112)。例えば、タッチダウンされた領域が子画面領域の場合、操作対象が子端末装置でなければ、操作対象を子端末装置に切り替えた上で、子端末装置を操作することとなる。
【0064】
また、親画面領域にタッチ操作があった場合に(ステップS106;NO)、操作対象が親端末装置でなければ、操作対象を親端末装置に切り替えた上で、親端末装置を操作する(ステップS120;No→ステップS124→ステップS122)。例えば、タッチダウンされた領域が親画面領域の場合、操作対象が親端末装置でなければ、操作対象を親端末装置に切り替えた上で、親端末装置を操作することとなる。
【0065】
図9に本実施形態の動作例を示す。図9(a)は、子画面領域をタッチした時の動作例を示している。子画面領域がタッチされることにより、自動的に操作対象が切り替わるため、端末装置30のUSBポート174が選択される。そして、図9(b)に示すように、そのまま描画すれば、子画面領域に描画した軌跡が入力され、表示されることとなる。
【0066】
なお、USB切替部180がUSB機能部170のUSBポートを切り替えるのに、タイムラグが生じる場合には、一度タッチパネルに入力された信号をバッファ領域に格納し、確実に切り替わった後に端末装置にタッチ操作された情報を送信しても良い。
【0067】
このように、本実施形態によれば、タッチした表示領域に対応する端末装置が操作対象で無い場合には、タッチ操作に応じて有効となるUSBポートを選択し、そのまま表示領域に対応した端末装置が操作可能となる。
【0068】
[3.第3実施形態]
第3実施形態について図を参照しつつ説明する。第3実施形態は子画面をタッチして描画する場合には子画面の表示画面が一度大きくなる実施形態である。なお、第3実施形態は、第1実施形態と装置の機能構成は同一である。また、処理フローについては、第1実施形態における図5、第2実施形態における図8の処理フローを、図10の処理フローに置き換えたものである。ここで、同一の処理には同一の符号を付し、説明を省略する。
【0069】
ステップS114において、操作対象が親端末装置から、子端末装置に切り替えた後、子画面を拡大表示する(ステップS116)。例えば、図11(a)は、図6(b)に示したように子画面が選択された後に遷移する図である。子画面がタッチして選択されたあと、子画面の表示領域が拡大して表示される。例えば、タッチダウンの領域が子画面領域の場合、表示領域が拡大表示される。
【0070】
このとき、子端末装置である端末装置30に対して操作することにより、子画面に描画している状態を示すのが図11(b)である。
【0071】
また、子画面が拡大表示されている状態で、親画面の表示領域が選択されると、子画面を通常表示に戻して表示する。すなわち、タッチ領域が子画面領域以外、すなわち親画面領域のときに操作対象が子端末装置の場合(ステップS106;No→ステップS120;No)、操作対象を親端末装置に切り替え(ステップS124)、子画面を通常表示に戻す(ステップS126)。その後、親端末装置を操作可能となる(ステップS122)。
【0072】
例えば、図11(b)では、子画面の表示領域が拡大されているが、図12に示すように親画面の表示領域を描画するときは、子画面の表示領域が通常表示の大きさとなっている。
【0073】
このように、本実施形態によれば、子端末装置が操作可能な場合には、子端末装置の画像を表示している子画面の表示領域が拡大表示されることとなる。これにより、利用者は操作領域が大きくなることから、使い勝手が向上することとなる。
【0074】
[4.第4実施形態]
第4実施形態について図を参照しつつ説明する。第4実施形態は子画面をタッチして描画する場合に、親画面と子画面とが入れ替わる実施形態である。なお、第3実施形態は、第1実施形態と装置の機能構成は同一である。また、処理フローについては、第1実施形態における図5を、図13の処理フローに置き換えたものである。ここで、同一の処理には同一の符号を付し、説明を省略する。
【0075】
タッチ位置が子画面領域の場合(ステップS106;Yes)、親画面と子画面との表示を入れ替える(ステップS202)。ここで、現在の操作対象が親端末装置であれば、操作対象を子端末装置に切り替え(ステップS204;Yes→ステップS206)、子端末装置であれば、操作対象を親端末装置に切り替える(ステップS204;No→ステップS208)。
【0076】
他方、タッチ位置が親画面領域の場合には(ステップS106;No)、そのままタッチ操作を受け付ける。このとき、現在の操作対象端末が親端末装置であれば、親端末装置を操作し(ステップS210;Yes→ステップS212)、子端末装置であれば、子端末装置を操作する(ステップS210;No→ステップS214)。
【0077】
例えば、図14は、図6(b)で子画面が選択された後に表示される画面例である。親画面の方に子端末装置の画像が表示され、描画等の操作も可能となっている。
【0078】
このように、本実施形態によれば、操作したい端末装置の表示画面が親画面に表示されることとなることから、利用者の使い勝手が向上する。
【0079】
[5.第5実施形態]
第5実施形態について図を参照しつつ説明する。第5実施形態は、子画面を操作する場合には、特殊なタッチ操作を行う場合の実施形態である。なお、第5実施形態は、第1実施形態と装置の機能構成は同一である。また、処理フローについては、第1実施形態における図5、第2実施形態における図8の処理フローを、図15の処理フローに置き換えたものである。ここで、同一の処理には同一の符号を付し、説明を省略する。
【0080】
図15に示すように、タッチ入力があった位置が親画面領域であれば、そのまま親画面に対応して親端末装置を操作する(ステップS106;No→ステップS122)。
【0081】
それに対して、タッチ位置が子画面領域であった場合に(ステップS106;Yes)、タッチ入力が特定操作であるか否かを判定する(ステップS110)。ここで、特定操作とは、通常の操作とは異なる操作をいい、例えば、通常は1本の指で操作することを2本で操作したり、1本の操作とは別の指で併せてタッチしたり、強めに押したりするといった、通常の操作とは異なる操作である。
【0082】
そして、タッチ入力が特定操作であった場合には(ステップS110;Yes)、操作対象を子画面装置に切り替え(ステップS114)、子端末装置を操作する(ステップS112)。
【0083】
ここで、子端末装置から親端末装置に切り替える処理としては、ステップS112の操作が終わった後、再び操作対象を親端末装置に切り替えても良いし、タッチ位置が親画面領域となった場合に、操作対象を親端末装置と切り替えても良い。
【0084】
図16は本実施形態の動作例を説明している図である。図16(a)では、子画面領域で操作がなされているが、通常のタッチ操作であるため、子画面領域に描画されていない(子端末装置に操作が行えていない)。
【0085】
他方、図16(b)では、子画面領域で2本指を用いて操作が行われている。この場合、特定操作が行われているということが判定され、操作対象が子端末装置になり、子端末装置を操作することが可能となる。
【0086】
このように、本実施形態によれば、子画面領域において特殊操作を行うことで、子端末装置を操作することが可能となる。これにより、例えば意図せずに子画面をタッチしたことにより、必要以上に子端末装置に操作対象が切り替わるといったことを防ぐことが可能となる。
【0087】
[6.第6実施形態]
上述した実施形態では、端末装置を2台として説明したが、3台以上接続されても良い事は勿論である。
【0088】
例えば、図17(a)では、親端末装置として端末装置20と、子端末装置として、端末装置30及び端末装置40とが接続されている。端末装置20が親画面として領域R420に、端末装置30が子画面1として領域R430に、端末装置40が子画面2として領域R440に表示されている。
【0089】
例えば、親画面である領域R420に描画されているのは、端末装置20が操作対象となっている場合である。ここで、図17(b)に示すように、領域R440が選択されることにより、操作対象が端末装置40に切り替わる。
【0090】
このように、端末装置毎の子画面を表示すれば、複数の端末装置が接続されていたとしても、容易に操作対象となる端末装置を切り替えることが可能となる。
【0091】
[7.変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【0092】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROMやHDDの記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。
【0093】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
【符号の説明】
【0094】
10 表示装置
110 制御部
120 画像表示部
130 画像入力部
140 画像処理部
150 操作検出部
160 記憶部
162 領域情報
170 USB機能部
172、174 USBポート
180 USB切替部
20、30、40 端末装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17