特許 6803708 表示装置及び表示装置における制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6803708

(24)【登録日】2020年12月3日

(45)【発行日】2020年12月23日

(54)【発明の名称】表示装置及び表示装置における制御方法及びプログラム

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20201214BHJP

   G06F 3/0487 20130101ALI20201214BHJP

   G06F 3/041 20060101ALI20201214BHJP

   G09G 5/00 20060101ALI20201214BHJP

   G09G 5/14 20060101ALI20201214BHJP

【ＦＩ】

   G06F3/0481

   G06F3/0487

   G06F3/041 532

   G09G5/00 510H

   G09G5/00 550C

   G09G5/14 E

   G09G5/00 555D

   G09G5/00 510X

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2016-179370(P2016-179370)

(22)【出願日】2016年9月14日

(65)【公開番号】特開2018-45425(P2018-45425A)

(43)【公開日】2018年3月22日

【審査請求日】2019年3月20日

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100112335

【弁理士】

【氏名又は名称】藤本 英介

(74)【代理人】

【識別番号】100101144

【弁理士】

【氏名又は名称】神田 正義

(74)【代理人】

【識別番号】100101694

【弁理士】

【氏名又は名称】宮尾 明茂

(74)【代理人】

【識別番号】100124774

【弁理士】

【氏名又は名称】馬場 信幸

(72)【発明者】

【氏名】細川 哲平

【審査官】 酒井 優一

(56)【参考文献】

【文献】 特開２００７−０７２５０３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００７７３５６（ＵＳ，Ａ１）

【文献】 特開２００３−０２２１７７（ＪＰ，Ａ）

【文献】 特開２００１−１３４２５３（ＪＰ，Ａ）

【文献】 特開２００８−０３３９１８（ＪＰ，Ａ）

【文献】 特開２０１１−１３４２８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０４８７

Ｇ０６Ｆ ３／０４１

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／１４

(57)【特許請求の範囲】

【請求項1】

タッチパネルで構成された表示部と、複数のＵＳＢ（Universal Serial Bus）ポートとを有し、当該ＵＳＢポートに接続された複数の端末装置とＵＳＢにて通信を行う表示装置において、
第１の端末装置から入力される画像信号を親画面とし、第２の端末装置から入力される画像信号を当該親画面の一部に子画面として前記表示部に表示する制御を行う表示制御部と、
タッチ操作をタッチパネルにより検出する操作検出部と、
前記複数のＵＳＢポートのうち、有効なＵＳＢポートを切り替えるＵＳＢ切替部と、
前記検出されたタッチ操作が、前記親画面である場合には第１の端末装置が接続されたＵＳＢポートを有効にし、前記子画面である場合には第２の端末装置が接続されたＵＳＢポートを有効にするよう前記ＵＳＢ切替部を制御する制御部と、
を備え、
前記制御部は、前記操作検出部により検出されたタッチ操作が前記子画面である場合、当該タッチ操作が通常の操作とは異なる特定操作のときに、前記第２の端末装置が接続されたＵＳＢポートを有効にすることを特徴とする表示装置。

【請求項2】

前記表示制御部は、前記子画面を縮小して前記親画面に重畳して表示しており、
前記操作検出部により検出されたタッチ操作に対応する座標情報を、前記ＵＳＢポートを介して端末装置に送信する送信部を更に有し、
前記送信部は、前記第１の端末装置に送信する場合には、前記座標情報をそのまま送信し、前記第２の端末装置に送信する場合には、前記座標情報を、縮小前の子画面の座標情報に変換して送信する、
ことを特徴とする請求項１に記載の表示装置。

【請求項3】

前記操作検出部は、検出されたタッチ操作を一時的にバッファ領域に記憶し、
前記制御部は、前記ＵＳＢポートを有効にした後に、前記バッファ領域に記憶されたタッチ操作を、有効にしたＵＳＢポートを介して端末装置に送信することを特徴とする請求項１又は２に記載の表示装置。

【請求項4】

前記表示制御部は、前記第２の端末装置が操作可能となっている場合には、前記子画面の表示を拡大して表示することを特徴とする請求項１から３の何れか一項に記載の表示装置。

【請求項5】

前記表示制御部は、前記ＵＳＢ切替部により、前記有効なＵＳＢポートが切り替えられた場合には、前記親画面の表示と、前記子画面の表示とを入れ替えることを特徴とする請求項１から４の何れか一項に記載の表示装置。

【請求項6】

前記制御部は、前記親画面の座標及び前記子画面の座標を前記操作検出部に設定し、
前記操作検出部は、タッチ操作が検出された座標が前記親画面に含まれる場合には、前記親画面がタッチされたことを、タッチ操作が検出された座標が前記子画面に含まれる場合には、前記子画面がタッチされたことを前記制御部に通知することを特徴とする請求項１から５の何れか一項に記載の表示装置。

【請求項7】

タッチパネルで構成された表示部と、複数のＵＳＢ（Universal Serial Bus）ポートとを有し、当該ＵＳＢポートに接続された複数の端末装置とＵＳＢにて通信を行う表示装置における制御方法であって、
第１の端末装置から入力される画像信号を親画面とし、第２の端末装置から入力される画像信号を当該親画面の一部に子画面として前記表示部に表示し、
タッチ操作をタッチパネルにより検出し、
前記複数のＵＳＢポートのうち、有効なＵＳＢポートを切り替え可能であって、
前記検出されたタッチ操作が、前記親画面である場合には第１の端末装置が接続されたＵＳＢポートを有効にし、
前記検出されたタッチ操作が、前記子画面である場合には第２の端末装置が接続されたＵＳＢポートを有効にし、
更に、前記検出されたタッチ操作が、前記子画面である場合、当該タッチ操作が通常の操作とは異なる特定操作のときに、前記第２の端末装置が接続されたＵＳＢポートを有効にする、
ことを特徴とする表示装置における制御方法。

【請求項8】

請求項７に記載の表示装置における制御方法をコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置が複数接続可能な操作装置等に関する。

【背景技術】

【0002】

従来から、タッチパネルを利用した操作装置が知られている。タッチパネルは、操作検出部と表示部とが一体となっており、利用者は直接表示部をタッチすることにより、タッチ操作が可能となっている。

【0003】

また、最近では１つの表示部において、複数の表示内容を同時に表示させる方法としてＰＩＰ（ピクチャ・イン・ピクチャ）が知られている（例えば、特許文献１参照）。例えば、異なるプログラムを親画面と子画面とに表示させたり、１つの端末装置を親画面に、他の端末装置を子画面に表示させたりすることにより、１つの表示部で複数の表示画面を確認することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２０１３−５２４６８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

通常タッチパネルを利用した操作装置に、端末装置を接続する場合、１つの操作装置に１つの端末装置が接続されるのが一般的である。例えば、操作装置と、端末装置とはＵＳＢ（Universal Serial Bus）を介して接続されるが、親画面を表示する端末装置（親端末装置）に、操作装置が接続されるため、子画面を表示する端末装置（子端末装置）については操作ができないという問題が生じていた。

【0006】

すなわち、子画面に操作をすることで、子端末装置を操作しようとしても、操作装置として接続されている親端末装置への操作となってしまい、ＰＩＰ表示状態におけるタッチパネルによる子端末装置への操作が難しかった。

【0007】

上述した課題に鑑み、本発明は、表示されている領域をタッチするだけで、容易に操作対象となる端末装置を切り替えることが可能な操作装置等を提供することである。

【課題を解決するための手段】

【0008】

上述した課題を解決するために、本発明の操作装置は、端末装置が複数接続可能な操作装置であって、タッチパネルで構成された表示部と、第１の端末装置から入力される画像信号を親画面とし、第２の端末装置から入力される画像信号を当該親画面の一部に子画面として前記表示部に表示する制御を行う表示制御部と、タッチ操作をタッチパネルにより検出する操作検出部と、前記検出されたタッチ操作が、前記親画面である場合には第１の端末装置が操作可能となり、前記子画面である場合には第２の端末装置が操作可能となるように端末装置との接続を切り替える操作切替部と、を備えることを特徴とする。

【0009】

本発明の操作装置は、端末装置が複数接続可能な、タッチパネルで構成された表示部を有する操作装置であって、第１の端末装置の映像信号を親画面とし、第２の端末装置の映像信号を子画面として前記表示部に表示する制御を行う表示制御部と、タッチされた座標を操作信号として出力する操作信号出力部と、前記操作信号出力部から出力された信号を、前記第１の端末装置又は前記第２の端末装置を切り替えて出力する切替部と、を有し、前記選択部により第１の端末装置が選択されているときに、前記子画面がタッチされた場合には、前記選択部は第２の端末装置に切り替え、前記選択部により第２の端末装置が選択されているときに、前記親画面がタッチされた場合には、前記選択部は第１の端末装置に切り替えることを特徴とする。

【0010】

本発明の操作装置における操作方法は、端末装置が複数接続可能な、タッチパネルで構成された表示部を有する操作装置における操作方法であって、第１の端末装置から入力される画像信号を親画面と、第２の端末装置から入力される画像信号を、当該親画面の一部に子画面として前記表示部に表示する制御を行う表示制御ステップと、タッチ操作をタッチパネルにより検出する操作検出ステップと、前記検出されたタッチ操作が、前記親画面である場合には第１の端末装置が操作可能となり、前記子画面である場合には第２の端末装置が操作可能となるように端末装置との接続を切り替える操作切替ステップと、を含むことを特徴とする。

【発明の効果】

【0011】

本発明の操作装置は、第１の端末装置から入力される画像信号を親画面とし、第２の端末装置から入力される画像信号を当該親画面の一部に子画面として表示部し、タッチパネルにおいて検出されたタッチ操作が、親画面である場合には第１の端末装置が操作可能となり、子画面である場合には第２の端末装置が操作可能となる。これにより、利用者は、親画面、子画面の表示をタッチするだけで、操作対象となる端末を切り替えることが可能となる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態における表示装置及び端末装置の概要を説明するための図である。

【図2】第１実施形態における表示装置の概要を説明するための図である。

【図3】第１実施形態における表示装置の機能構成を説明するための図である。

【図4】第１実施形態における親画面／子画面の概要及び操作対象となる端末装置の切り替えについての概要について説明するための図である。

【図5】第１実施形態における処理を説明するための動作フローである。

【図6】第１実施形態における動作例を説明するための図である。

【図7】第１実施形態における動作例を説明するための図である。

【図8】第２実施形態における処理を説明するための動作フローである。

【図9】第２実施形態における動作例を説明するための図である。

【図10】第３実施形態における処理を説明するための動作フローである。

【図11】第３実施形態における動作例を説明するための図である。

【図12】第３実施形態における動作例を説明するための図である。

【図13】第４実施形態における処理を説明するための動作フローである。

【図14】第４実施形態における動作例を説明するための図である。

【図15】第５実施形態における処理を説明するための動作フローである。

【図16】第５実施形態における動作例を説明するための図である。

【図17】第６実施形態における動作例を説明するための図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施形態では、一例として、本発明における操作装置を適用した表示装置として説明する。

【0014】

［１．第１実施形態］
［１．１ 全体構成］
まず、本実施形態の全体構成について、図１及び図２に基づいて説明する。図１に示すように、表示装置１０には、端末装置２０及び端末装置３０の２台の端末装置が接続されている。なお、端末装置２０、３０は、コンピュータやタブレット等の何れかの装置であれば良いが、本実施形態では同一の装置構成であり、画像を表示するためのインタフェースと、ＵＳＢ（Universal Serial Bus）ポートとを少なくとも備えている。端末装置としては、異なる装置の組み合わせであっても良いことは勿論である。

【0015】

表示装置１０と、端末装置との接続について、図２に基づいて説明する。表示装置１０は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、Ｄ−ＳＵＢ（D-Subminiature）、ＤＶＩ（Digital Visual Interface）、ＤｉｓｐｌａｙＰｏｒｔといった複数の画像入力インタフェースを備えている。また、これらのインタフェースは１つずつではなく、複数備えていても良い。

【0016】

これらの画像インタフェースに入力された画像信号を切り替えて表示することが可能であるが、ＰＩＰ（Picture-In-Picture）表示を行うことも可能である。ＰＩＰ表示は、親画面の一部に子画面を重畳的に表示させる方式である。子画面については、位置や大きさが変更可能である。

【0017】

本実施形態において、端末装置２０（ＰＣ２０）は、ＨＤＭＩにより表示装置１０に画像を出力している。また、端末装置３０（ＰＣ３０）は、Ｄ−ＳＵＢにより表示装置１０に画像を出力している。そして、端末装置２０が親画面、端末装置３０が子画面として表示装置１０でＰＩＰ表示されている。

【0018】

また、表示装置１０は、タッチパネル機能を有している。端末装置と表示装置とを接続することにより、タッチ入力された信号が端末装置に送信され、利用者はタッチ操作で端末装置を制御することが可能となる。

【0019】

表示エリアを利用者がタッチすると、タッチコントローラ（ＴＰ−ＣＯＮ）１４は、その座標情報をＵＳＢに接続された端末装置のドライバに送信する。これにより、端末装置は、タッチ入力された座標情報を取得することが可能となる。

【0020】

ここで、各ＵＳＢポートは、ＵＳＢスイッチ（ＵＳＢ−ＳＷ）１２と接続されている。ＵＳＢスイッチ１２により、複数のＵＳＢポートのうち一つのＵＳＢポートが有効であると選択される。選択されたＵＳＢポートに接続された端末装置に座標情報が送信されることとなる。

【0021】

［１．２ 機能構成］
つづいて、本実施形態における機能構成について説明する。ここで、端末装置２０及び端末装置３０は、通常の画像出力が可能な端末装置である。すなわち、ＨＤＭＩや、Ｄ−ＳＵＢといった画像インタフェースから画像信号が出力される。また、外部装置とはＵＳＢを利用することで接続することが出来る装置である。

【0022】

以下、図３に基づいて、表示装置１０の機能構成について説明する。表示装置１０は、制御部１１０と、画像表示部１２０と、画像入力部１３０と、画像処理部１４０と、操作検出部１５０と、記憶部１６０と、ＵＳＢ機能部１７０と、ＵＳＢ切替部１８０とを備えて構成されている。

【0023】

制御部１１０は、表示装置１０の全体を制御するための機能部である。制御部１１０は、記憶部１６０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Processing Unit）により構成されている。

【0024】

画像表示部１２０は、画像を表示するための機能部である。例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬパネルといった表示装置により構成されている。そして、画像入力部１３０より入力された画像信号に基づいて、画像が表示される。

【0025】

画像入力部１３０は、画像信号を出力する端末装置と接続するためのインタフェース部である。例えば、ＨＤＭＩ、Ｄ−ＳＵＢ、ＤＶＩ、ＤｉｓｐｌａｙＰｏｒｔといった画像入力インタフェースで実現されている。なお、本実施形態においては、複数のインタフェースを備えている。

【0026】

画像処理部１４０は、入力された画像信号に対して画像処理を行い、画像表示部１２０に出力する機能部である。例えば、ＰＩＰの表示画面とする場合、端末装置から入力された画像信号を、子画面用に縮小し、親画面に重畳する処理を実行する。

【0027】

操作検出部１５０は、利用者の操作を検出するための機能部である。本実施形態では、画像表示部１２０と一体となったタッチパネルを利用し、利用者の操作（例えば、タッチした座標）を検出する。そして検出された操作に関する情報である操作情報（例えば、座標であれば座標情報）を出力する。操作検出部１５０は、例えば、図２に示したＴＰ−ＣＯＮ１４が相当する。

【0028】

記憶部１６０は、表示装置１０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１６０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。

【0029】

また、記憶部１６０には、領域情報１６２が記憶されている。領域情報は、子画面に関する領域の情報であり、親画面における座標と、ＰＩＰ表示される子画面の座標との対応を記憶している。詳細については後述する。

【0030】

ＵＳＢ機能部１７０は、操作をする端末装置をＵＳＢにより接続を行う為の機能部である。操作検出部１５０から出力されたタッチ操作に関する情報（例えば、座標情報）を、接続された端末装置に送信する。これにより、タッチ操作により、端末装置を操作可能となる。

【0031】

ここで、表示装置１０は、複数のＵＳＢポートを有している。本実施形態においては、ＵＳＢポート１７２と、ＵＳＢポート１７４とを有しており、それぞれ端末装置２０、端末装置３０とが接続される。

【0032】

そして、ＵＳＢポート１７２、１７４のうち、有効なＵＳＢポートを切り替えるのがＵＳＢ切替部１８０である。ＵＳＢ切替部１８０が選択したＵＳＢポートが有効なＵＳＢポートとして認識され、ＵＳＢポートに接続されている端末装置に座標情報が送信されることとなる。ＵＳＢ切替部１８０は、例えば、図２のＵＳＢ−ＳＷ１２が相当する。

【0033】

［１．３ 動作の説明］
つづいて、本実施形態における動作について、図４で概要を説明する。図４（ａ）は、ＰＩＰにおける親画面と子画面との関係を説明する図である。左側が画像表示部１２０に表示される表示画面の一例であり、親画面の実際の表示領域である。親画面は、端末装置２０の画像信号に基づく表示が行われている。

【0034】

また、親画面の一部の表示領域には、子画面が表示されている。子画面の表示領域には端末装置３０の画像信号に基づく表示が行われている。子画面は、親画面の一部に重畳して表示されており、親画面と比較すると小さく表示される。

【0035】

ここで、図４（ａ）の右側に、子画面の実際の表示（単一表示した場合の表示）を示す。この子画面の表示が、親画面の中に、ＰＩＰとして表示される。

【0036】

子画面を単一表示した場合は、図４（ａ）の右側に示すように、座標（０，０）−（Ｘ２，Ｙ２）の表示領域で表示される。

【0037】

このとき、子画面は、親画面の座標（Ｘ１ａ，Ｙ１ａ）−（Ｘ１ｂ，Ｙ１ｂ）の位置に表示される。

【0038】

領域情報１６２の一例を図４（ｂ）に示す。このように、親画面（座標）と、子画面（座標）とが記憶されている。

【0039】

ここで、親画面として表示されている端末装置２０と、子画面として表示されている端末装置３０との操作の切り替えについて、図４（ｃ）を用いて説明する。

【0040】

まず、ディスプレイファーム１６は、親画面の表示領域の座標情報（親画面の座標及び子画面の座標）を、ＴＰ−ＣＯＮ１４にセットする。また、ディスプレイファーム１６は、親画面に対応する端末装置２０のＵＳＢポート１７２が有効となるように、ＵＳＢ−ＳＷ１２を切り替える。ここで、前回タッチ領域は、初期値として親画面の領域としてもよい。

【0041】

ここで、親画面の表示領域（子画面の領域を除いた親画面の領域）がタッチされた場合、タッチされた座標情報を端末装置２０のドライバに渡す。これにより、親画面の表示領域がタッチされている場合には、親画面に対応する端末装置２０が操作対象となり、操作可能となる。

【0042】

ここで、親画面と子画面との切り替え時に利用される「タッチされた座標」とは、タッチが開始された座標（タッチダウンされた座標）である。すなわち、タッチ時に取得される座標としては、タッチを開始したときの座標（タッチダウン時の座標）と、タッチを終了したときの座標（タッチアップ時の座標）と、動かしているときの座標が取得可能であるが、本実施形態ではタッチを開始したときの座標を利用することとする。

【0043】

つづいて、子画面の表示領域がタッチされた場合（タッチ開始時の座標／タッチダウンの座標が子画面の表示領域に含まれる座標の場合）、ＴＰ−ＣＯＮ１４は、子画面がタッチされたことをディスプレイファーム１６に通知する。ディスプレイファームは、子画面に対応する端末装置３０が有効となるように、ＵＳＢ−ＳＷ１２を切り替える。すなわち、有効であるＵＳＢポートを、ＵＳＢポート１７２から、ＵＳＢポート１７４に切り替える。

【0044】

ＵＳＢ−ＳＷ１２によりスイッチ切り替え完了後、ＴＰ−ＣＯＮ１４は、タッチされた座標情報を端末装置３０のドライバに渡す。これにより、子画面の表示領域がタッチされた場合には、子画面に対応する端末装置３０が操作対象となり、操作可能となる。

【0045】

このとき、座標情報としては、親画面の座標から子画面の座標に変換されて端末装置３０に送信される（ドライバに渡す）ことになる。すなわち、現在検出されている座標情報は、子画面が縮小表示される前の座標情報に変換して送信される。これにより、子画面を操作している場合でも、端末装置３０は、適切な座標情報（すなわち、子画面の座標）として認識することができるようになる。

【0046】

継続して子画面がタッチされている場合は端末装置３０が操作対象となっているが、このとき親画面の表示領域がタッチされると、ＴＰ−ＣＯＮ１４は、親画面の表示領域がタッチされたことをディスプレイファーム１６に通知する。

【0047】

ディスプレイファーム１６は、親画面に対応する端末装置２０が有効となるように、ＵＳＢ−ＳＷ１２を切り替える。すなわち、有効であるＵＳＢポートを、ＵＳＢポート１７４から、ＵＳＢポート１７２に切り替える。

【0048】

ＵＳＢ−ＳＷ１２によりスイッチ切り替え完了後、ＴＰ−ＣＯＮ１４は、タッチされた座標情報を端末装置２０のドライバに渡す。これにより、親画面の表示領域がタッチされた場合には、親画面に対応する端末装置２０が操作対象となり、操作可能となる。

【0049】

このように、本実施形態によれば、タッチされた位置（タッチ開始／タッチダウン時に取得された座標）に応じて操作対象となる端末装置を切り替えることが可能となる。以下、処理の流れについて実施形態毎に説明をする。

【0050】

［１．４ 処理の流れ］
本実施形態の処理の流れについて、図５に基づいて説明する。図５においては、端末装置２０の表示画面が親画面として表示され、端末装置３０の表示画面が子画面として表示されている場合に実行される処理である。

【0051】

まず、親端末装置である端末装置２０が親画面として表示されていることから、操作対象は親端末装置となっている（ステップＳ１０２）。すなわち、ＵＳＢポート１７２が有効となっており、座標情報は親端末装置が受信できるようになっている。

【0052】

つづいて、タッチ入力があると（ステップＳ１０４；Ｙｅｓ）、当該タッチ入力による位置（例えば、タッチダウンされた領域）はＰＩＰによって子画面が表示されている子画面領域か否かを判定する。ここで、タッチダウンの位置が子画面領域の場合（ステップＳ１０６；Ｙｅｓ）、現在の操作対象を判定する。

【0053】

ここで、現在の操作対象が親端末装置（端末装置２０）の場合、すなわち子端末装置（端末装置３０）でない場合には、操作対象を子端末装置に切り替える（ステップＳ１１０；Ｎｏ→ステップＳ１１４）。操作対象の切り替え方法としては種々の方法があるが、例えば、上述したようにディスプレイファームにタッチ検出された領域（子画面）を送信し、操作対象として記憶してもよい。

【0054】

また、操作対象が既に子端末装置である場合には、子端末装置を操作する（ステップＳ１１０；Ｙｅｓ→ステップＳ１１２）。すなわち、子端末装置である端末装置３０に、タッチ操作に関する情報（例えば、座標情報）を送信する。これにより、例えば子画面の表示領域に描画したり、移動操作をしたりすることができる。ここでは、タッチに関する座標（例えば、タッチ開始、移動中、タッチ終了等の座標情報）が必要に応じて取得・送信されることになる。

【0055】

また、タッチ入力（タッチダウンの位置）が親画面領域である場合には、現在の操作対象が親端末装置か否かを判定する（ステップＳ１０６；Ｎｏ→ステップＳ１２０）。ここで、操作対象が親端末装置でなければ、操作対象を親端末装置に切り替える（ステップＳ１２０；Ｎｏ→ステップＳ１２４）。他方、操作対象が既に親端末装置である場合には、親端末装置を操作する（ステップＳ１２０；Ｙｅｓ→ステップＳ１２２）。これにより、親画面に対する操作をおこなうことができる。

【0056】

［１．５ 動作例］
続いて、本実施形態の具体的な動作例について、図に基づいて説明する。図６（ａ）は、表示装置１０に、親端末装置（端末装置２０）の表示画面として、親画面領域Ｗ１００が、親画面領域Ｗ１００の中に、子画面の表示画面として、子画面領域Ｗ１１０がそれぞれ表示されている。

【0057】

また、図６（ａ）の表示装置１０と、端末装置２０とを接続する線分は、太線となっている。これは、親端末装置（端末装置２０）の操作対象が選択されている状態、すなわちＵＳＢによる接続が有効となっている状態を示している。

【0058】

したがって、このときに、利用者により親画面領域Ｗ１００をタッチすることで、親画面領域Ｗ１００を操作することができる。例えば、本実施形態では親画面に描画が行われている。

【0059】

この状態で、利用者が子画面領域Ｗ１１０をタッチした状態（タッチダウンが子画面領域Ｗ１１０で行われる状態）を示すのが図６（ｂ）である。まだ、端末装置３０が操作対象で無いため、子画面領域Ｗ１１０に描画等の操作は出来ないが、タッチされたことで操作対象が端末装置２０から端末装置３０に移ることとなる（今度は、表示装置１０と、端末装置３０とを接続する線分が太線となっている。）。

【0060】

この状態で、子画面領域をタッチして、描画したのが図７（ａ）である。この段階で、親画面領域をタッチすると、親画面で操作を行うことができる。図７（ｂ）は、親画面でタッチして、描画されている。このとき検出された座標情報は、端末装置２０に出力されることになる。

【0061】

このように、本実施形態によれば、親端末装置と、子端末装置との表示においてＰＩＰ表示がされている場合、他の画面（例えば親画面を操作中には子画面）をタッチすることで、容易に操作対象となる端末装置を切り替えることが可能となる。

【0062】

［２．第２実施形態］
第２実施形態について図を参照しつつ説明する。第２実施形態は、タッチ操作がされた表示領域が自動的に選択され、当該表示領域に対応する端末装置が操作可能となる実施形態である。なお、第２実施形態は、第１実施形態と装置の機能構成は同一である。また、処理フローについては、第１実施形態における図５の処理フローを、図８の処理フローに置き換えたものである。ここで、同一の処理には同一の符号を付し、説明を省略する。

【0063】

親画面の表示領域に子画面の表示領域がＰＩＰで表示されており、操作対象は親端末装置となっている。ここで、子画面領域にタッチ操作があった場合に（ステップＳ１０６；Ｙｅｓ）、操作対象が子端末装置でなければ、操作対象を子端末装置に切り替えた上で、子端末装置を操作する（ステップＳ１１０；Ｎｏ→ステップＳ１１４→ステップＳ１１２）。例えば、タッチダウンされた領域が子画面領域の場合、操作対象が子端末装置でなければ、操作対象を子端末装置に切り替えた上で、子端末装置を操作することとなる。

【0064】

また、親画面領域にタッチ操作があった場合に（ステップＳ１０６；ＮＯ）、操作対象が親端末装置でなければ、操作対象を親端末装置に切り替えた上で、親端末装置を操作する（ステップＳ１２０；Ｎｏ→ステップＳ１２４→ステップＳ１２２）。例えば、タッチダウンされた領域が親画面領域の場合、操作対象が親端末装置でなければ、操作対象を親端末装置に切り替えた上で、親端末装置を操作することとなる。

【0065】

図９に本実施形態の動作例を示す。図９（ａ）は、子画面領域をタッチした時の動作例を示している。子画面領域がタッチされることにより、自動的に操作対象が切り替わるため、端末装置３０のＵＳＢポート１７４が選択される。そして、図９（ｂ）に示すように、そのまま描画すれば、子画面領域に描画した軌跡が入力され、表示されることとなる。

【0066】

なお、ＵＳＢ切替部１８０がＵＳＢ機能部１７０のＵＳＢポートを切り替えるのに、タイムラグが生じる場合には、一度タッチパネルに入力された信号をバッファ領域に格納し、確実に切り替わった後に端末装置にタッチ操作された情報を送信しても良い。

【0067】

このように、本実施形態によれば、タッチした表示領域に対応する端末装置が操作対象で無い場合には、タッチ操作に応じて有効となるＵＳＢポートを選択し、そのまま表示領域に対応した端末装置が操作可能となる。

【0068】

［３．第３実施形態］
第３実施形態について図を参照しつつ説明する。第３実施形態は子画面をタッチして描画する場合には子画面の表示画面が一度大きくなる実施形態である。なお、第３実施形態は、第１実施形態と装置の機能構成は同一である。また、処理フローについては、第１実施形態における図５、第２実施形態における図８の処理フローを、図１０の処理フローに置き換えたものである。ここで、同一の処理には同一の符号を付し、説明を省略する。

【0069】

ステップＳ１１４において、操作対象が親端末装置から、子端末装置に切り替えた後、子画面を拡大表示する（ステップＳ１１６）。例えば、図１１（ａ）は、図６（ｂ）に示したように子画面が選択された後に遷移する図である。子画面がタッチして選択されたあと、子画面の表示領域が拡大して表示される。例えば、タッチダウンの領域が子画面領域の場合、表示領域が拡大表示される。

【0070】

このとき、子端末装置である端末装置３０に対して操作することにより、子画面に描画している状態を示すのが図１１（ｂ）である。

【0071】

また、子画面が拡大表示されている状態で、親画面の表示領域が選択されると、子画面を通常表示に戻して表示する。すなわち、タッチ領域が子画面領域以外、すなわち親画面領域のときに操作対象が子端末装置の場合（ステップＳ１０６；Ｎｏ→ステップＳ１２０；Ｎｏ）、操作対象を親端末装置に切り替え（ステップＳ１２４）、子画面を通常表示に戻す（ステップＳ１２６）。その後、親端末装置を操作可能となる（ステップＳ１２２）。

【0072】

例えば、図１１（ｂ）では、子画面の表示領域が拡大されているが、図１２に示すように親画面の表示領域を描画するときは、子画面の表示領域が通常表示の大きさとなっている。

【0073】

このように、本実施形態によれば、子端末装置が操作可能な場合には、子端末装置の画像を表示している子画面の表示領域が拡大表示されることとなる。これにより、利用者は操作領域が大きくなることから、使い勝手が向上することとなる。

【0074】

［４．第４実施形態］
第４実施形態について図を参照しつつ説明する。第４実施形態は子画面をタッチして描画する場合に、親画面と子画面とが入れ替わる実施形態である。なお、第３実施形態は、第１実施形態と装置の機能構成は同一である。また、処理フローについては、第１実施形態における図５を、図１３の処理フローに置き換えたものである。ここで、同一の処理には同一の符号を付し、説明を省略する。

【0075】

タッチ位置が子画面領域の場合（ステップＳ１０６；Ｙｅｓ）、親画面と子画面との表示を入れ替える（ステップＳ２０２）。ここで、現在の操作対象が親端末装置であれば、操作対象を子端末装置に切り替え（ステップＳ２０４；Ｙｅｓ→ステップＳ２０６）、子端末装置であれば、操作対象を親端末装置に切り替える（ステップＳ２０４；Ｎｏ→ステップＳ２０８）。

【0076】

他方、タッチ位置が親画面領域の場合には（ステップＳ１０６；Ｎｏ）、そのままタッチ操作を受け付ける。このとき、現在の操作対象端末が親端末装置であれば、親端末装置を操作し（ステップＳ２１０；Ｙｅｓ→ステップＳ２１２）、子端末装置であれば、子端末装置を操作する（ステップＳ２１０；Ｎｏ→ステップＳ２１４）。

【0077】

例えば、図１４は、図６（ｂ）で子画面が選択された後に表示される画面例である。親画面の方に子端末装置の画像が表示され、描画等の操作も可能となっている。

【0078】

このように、本実施形態によれば、操作したい端末装置の表示画面が親画面に表示されることとなることから、利用者の使い勝手が向上する。

【0079】

［５．第５実施形態］
第５実施形態について図を参照しつつ説明する。第５実施形態は、子画面を操作する場合には、特殊なタッチ操作を行う場合の実施形態である。なお、第５実施形態は、第１実施形態と装置の機能構成は同一である。また、処理フローについては、第１実施形態における図５、第２実施形態における図８の処理フローを、図１５の処理フローに置き換えたものである。ここで、同一の処理には同一の符号を付し、説明を省略する。

【0080】

図１５に示すように、タッチ入力があった位置が親画面領域であれば、そのまま親画面に対応して親端末装置を操作する（ステップＳ１０６；Ｎｏ→ステップＳ１２２）。

【0081】

それに対して、タッチ位置が子画面領域であった場合に（ステップＳ１０６；Ｙｅｓ）、タッチ入力が特定操作であるか否かを判定する（ステップＳ１１０）。ここで、特定操作とは、通常の操作とは異なる操作をいい、例えば、通常は１本の指で操作することを２本で操作したり、１本の操作とは別の指で併せてタッチしたり、強めに押したりするといった、通常の操作とは異なる操作である。

【0082】

そして、タッチ入力が特定操作であった場合には（ステップＳ１１０；Ｙｅｓ）、操作対象を子画面装置に切り替え（ステップＳ１１４）、子端末装置を操作する（ステップＳ１１２）。

【0083】

ここで、子端末装置から親端末装置に切り替える処理としては、ステップＳ１１２の操作が終わった後、再び操作対象を親端末装置に切り替えても良いし、タッチ位置が親画面領域となった場合に、操作対象を親端末装置と切り替えても良い。

【0084】

図１６は本実施形態の動作例を説明している図である。図１６（ａ）では、子画面領域で操作がなされているが、通常のタッチ操作であるため、子画面領域に描画されていない（子端末装置に操作が行えていない）。

【0085】

他方、図１６（ｂ）では、子画面領域で２本指を用いて操作が行われている。この場合、特定操作が行われているということが判定され、操作対象が子端末装置になり、子端末装置を操作することが可能となる。

【0086】

このように、本実施形態によれば、子画面領域において特殊操作を行うことで、子端末装置を操作することが可能となる。これにより、例えば意図せずに子画面をタッチしたことにより、必要以上に子端末装置に操作対象が切り替わるといったことを防ぐことが可能となる。

【0087】

［６．第６実施形態］
上述した実施形態では、端末装置を２台として説明したが、３台以上接続されても良い事は勿論である。

【0088】

例えば、図１７（ａ）では、親端末装置として端末装置２０と、子端末装置として、端末装置３０及び端末装置４０とが接続されている。端末装置２０が親画面として領域Ｒ４２０に、端末装置３０が子画面１として領域Ｒ４３０に、端末装置４０が子画面２として領域Ｒ４４０に表示されている。

【0089】

例えば、親画面である領域Ｒ４２０に描画されているのは、端末装置２０が操作対象となっている場合である。ここで、図１７（ｂ）に示すように、領域Ｒ４４０が選択されることにより、操作対象が端末装置４０に切り替わる。

【0090】

このように、端末装置毎の子画面を表示すれば、複数の端末装置が接続されていたとしても、容易に操作対象となる端末装置を切り替えることが可能となる。

【0091】

［７．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

【0092】

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

【0093】

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

【符号の説明】

【0094】

１０ 表示装置
１１０ 制御部
１２０ 画像表示部
１３０ 画像入力部
１４０ 画像処理部
１５０ 操作検出部
１６０ 記憶部
１６２ 領域情報
１７０ ＵＳＢ機能部
１７２、１７４ ＵＳＢポート
１８０ ＵＳＢ切替部
２０、３０、４０ 端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】