(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
(第1の実施形態)
本実施形態では、画面情報を送信する通信装置としてPCを適用し、受信した画面情報を表示する表示制御装置としてテレビジョン表示装置を適用した例について説明するが、他の機器と通信可能な装置であり表示部を備えていればどのような装置であっても良い。
【0009】
図1は、第1の実施形態にかかる無線LAN画面転送(Wi-Fi Screen Transfer)の概要を示した図である。
図1に示す例では、送信側(Source側)として情報処理装置100と、受信側(Sink側)としてテレビジョン表示装置150と、を備えている。本実施形態にかかる無線LANを用いた画面転送は、情報処理装置100が表示する画面データをエンコードして、テレビジョン表示装置150に送信する。そして、テレビジョン表示装置150は、受信した画面データに対してデコードした後、表示部に表示する。
【0010】
本実施形態では、情報処理装置100と、テレビジョン表示装置150と、の間で無線通信を行う際、無線LAN規格のIEEE802.11nで接続するが、接続手法を制限するものではなく、他の通信規格で接続しても良い。また、無線通信ではなく有線通信しても良い。また、本実施形態では、接続する際、アクセスポイント(AP)を中継せずに、情報処理装置100及びテレビジョン表示装置150と、の間を直接接続して通信を行うが、アクセスポイントを中継する通信方式を用いても良い。アクセスポイントなしに、1対1、又は1対nで接続する無線通信方式として、本実施形態ではWi−Fi Directを用いる。Wi−Fi Directは、Wi−Fi Allianceが規格化した無線通信方式であるため説明を省略する。
【0011】
本実施形態は、情報処理装置100として、PCを用いた例について説明するが、PCに制限するものではなく、例えば、タブレット型通信端末、スマートフォンなどの携帯通信端末等を用いても良い。
【0012】
そして、情報処理装置100には、ポインティングデバイス101が接続されている。これにより、画面に示されたカーソル102の操作を行うことができる。そして、操作結果は情報処理装置100の画面に反映されると共に、画面データの送信先であるテレビジョン表示装置150の画面にも反映される。
【0013】
さらには、テレビジョン表示装置150にも、ポインティングデバイス151が接続されている。そして、ポインティングデバイス151によるカーソル(例えばマウスポインタ)の座標情報は、情報処理装置100に送信される。そして、情報処理装置100は、受信した座標情報に基づく操作結果を、情報処理装置100の画面に反映すると共に、操作結果が反映された画面データをテレビジョン表示装置150に送信する。これによりテレビジョン表示装置150でもポインティングデバイス151の操作結果を参照できる。
【0014】
しかしながら、情報処理装置100が座標情報を受信してから、テレビジョン表示装置150で表示されるまでの間に、情報処理装置100による画面データのエンコードと、テレビジョン表示装置150による画面データのデコードとが含まれている。本実施形態で用いられるエンコード(例えばH.264 encode)とデコード(例えばH.264 decode)には処理に時間を要する。
【0015】
よって、テレビジョン表示装置150が操作してから、当該テレビジョン表示装置150で表示されるまでの間に遅延が生じる。このため、ユーザがテレビジョン表示装置150を閲覧しながら操作した場合に、カーソル(マウスポインタ)が本来停止したかった位置からずれた位置で停止するなど、ユーザが所望する操作ができない可能性がある。そこで、本実施形態にかかるテレビジョン表示装置150では、画面データに含まれているカーソルとは別のカーソル(マウスポインタ)を表示することで、操作性の向上を図ることとした。
【0016】
図2は、テレビジョン表示装置150のハードウェア構成を示した図である。
図2は、テレビジョン表示装置150の主要な信号処理系を示すブロック図である。
【0017】
図2に示すように、その入力側に放送波受信用のアンテナ201が接続され、また、テレビジョン表示装置150は、外部の表示装置や音声出力装置に直接に、ユーザは、テレビジョン表示装置150に設けられた操作部220を介して本装置の操作を行える他、赤外線通信によるリモートコントローラ110を介した操作が可能である。
【0018】
テレビジョン表示装置150は、受信したデジタルテレビジョン放送信号をデコードすることにより放送番組を表示し、ユーザは受信した放送番組を視聴できるようになっている。また、外部の表示装置や音声出力装置を利用して放送番組を視聴できるようにもなっており、受信した放送番組を記録することも可能である。
【0019】
なお、
図2に示すテレビジョン表示装置150は、放送波受信用に複数のチューナ等の受信回路を備える構成としてもよい。
【0020】
地上波放送受信用のアンテナ201で受信した地上デジタルテレビジョン放送信号は、入力端子202を介して地上デジタル放送用のチューナ203に供給される。
【0021】
チューナ203は、処理部205からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号を復調器204aに出力する。
【0022】
復調器204aは、処理部205からの制御信号により、チューナ203で選局された放送信号を復調し、所望の番組を含んだトランスポートストリームを得て、復号器204bに出力する。
【0023】
復号器204bは、処理部205からの制御信号によりトランスポートストリーム(TS)多重化された信号のTS復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たPES(Packetized Elementary Stream)を信号処理部206内のSTDバッファへ出力する。また、復号器204bは、デジタル放送により送られているセクション情報を信号処理部206内のセクション部232へ出力する。
【0024】
ここで、信号処理部206は、デコーダ231とセクション部232とを備え、入力された信号の処理を行う。
【0025】
デコーダ231は、テレビ視聴時には、復号器204bから供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部207及び音声処理部208に出力する。一方、番組録画時には、復号器204bから供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施した信号を、処理部205を介して記録装置(例えば、HDD)270に記録する。
また、デコーダ231は、録画番組再生時には、処理部205を介して記録装置(例えば、HDD)270から読み出された録画番組のデータに、所定のデジタル信号処理を施し、グラフィック処理部207及び音声処理部208に出力している。
【0026】
さらに、デコーダ231は、情報処理装置100の表示画面表示時には、処理部205を介して情報処理装置100から受信したデータに、所定のデジタル信号処理を施し、グラフィック処理部207及び音声処理部208に出力している。
【0027】
処理部205には、信号処理部206から、番組を取得するための各種データ(B−CASデスクランブル用の鍵情報等)や電子番組ガイド(EPG)情報、番組属性情報(番組ジャンル等)、字幕情報等(サービス情報、SIやPSI)が入力されている。処理部205は、これら入力された情報からEPG、字幕を表示するため画像生成処理を行い、この生成した画像情報をグラフィック処理部207へ出力する。
【0028】
また、この処理部205は、番組録画及び番組予約録画を制御する機能を有する。番組予約受付時には、表示装置211が有する液晶ディスプレイ上に電子番組ガイド(EPG)情報を表示し、操作部220またはリモートコントローラ110を介したユーザ入力により予約内容を所定の記憶手段に設定する。そして、設定された時刻に予約番組を録画するようチューナ203、復調器204a、復号器204b及び信号処理部206を制御する。
【0029】
セクション部232は、復号器204bから入力されたセクション情報の中から、番組を取得するための各種データや電子番組ガイド(EPG)情報,番組属性情報(番組ジャンル等),字幕情報等(サービス情報、SIやPSI)を処理部205へ出力する。
【0030】
グラフィック処理部207は、(1)信号処理部206内のデコーダ231から供給されるデジタルの映像信号と、(2)OSD(On Screen Display)信号生成部209で生成されるOSD信号と、(3)データ放送による画像データと、(4)処理部205により生成されたEPG,字幕信号とを合成して映像処理部210へ出力する機能を有する。また、字幕放送による字幕を表示するとき、グラフィック処理部207は、処理部205からの制御による字幕情報に基づき、映像信号上に字幕情報を重畳する処理を行う。
【0031】
グラフィック処理部207から出力されたデジタルの映像信号は、映像処理部210に供給される。この映像処理部210は、入力されたデジタルの映像信号を、液晶ディスプレイで表示可能なアナログ映像信号に変換した後、表示装置211に出力して、表示装置211が有する液晶ディスプレイ上に映像表示させる。また、出力端子212を介して外部の表示装置(図示せず)に、当該表示装置で表示可能なフォーマットの映像信号を出力して映像表示させることもできる。
【0032】
また、上記音声処理部208は、入力されたデジタルの音声信号を、音声出力装置213で再生可能なアナログ音声信号に変換した後、音声出力装置213に出力して音声を再生させる。また、出力端子214を介して外部の音声出力装置(図示せず)に、当該音声出力装置で再生可能なフォーマットの音声信号を出力して音声再生させることもできる。
【0033】
ここで、このテレビジョン表示装置150は、上記した各種の受信動作を含むその全ての動作を処理部205によって統括的に制御されている。この処理部205は、CPU(Central Processing Unit)等を内蔵しており、操作部220からの操作情報を受け、または、リモートコントローラ110から送出された操作情報を、受光部221を介して受信し、その操作内容(例えば、チャネル切換操作等)が反映されるように各部をそれぞれ制御している。
【0034】
この場合、処理部205は、主として、そのCPUが実行する制御プログラムを格納したROM(Read Only Memory)205aと、当該CPUに作業エリアを提供するRAM(Random Access Memory)205bと、各種の設定情報、制御情報及び番組情報等が格納されるフラッシュメモリ等の不揮発性メモリ205cとを利用している。
【0035】
また、処理部205は、Wi−Fi通信I/F222を介して無線LAN端子223に接続されている。これにより、処理部205は、無線LAN端子223に、無線通信回線を介して接続されたLAN対応の機器(例えば、情報処理装置100)と、Wi−Fi通信I/F222と、を介して情報伝送することができる。このように、Wi−Fi通信I/F222及び無線LAN端子223は、無線通信回線を用いて、情報処理装置100等の通信機器との間で通信を可能とする。本実施形態においては、Wi−Fi Directを用いて、情報処理装置100と、テレビジョン表示装置150と、の間を直接接続する。
【0036】
また、処理部205は、LAN I/F224を介して有線LAN端子225に接続されている。これにより、処理部205は、有線LAN端子225とIEEE802.3(CSMA/CD)通信規格の有線ネットワークで接続された各種機器と、LAN I/F224を介して情報伝送することができる。
【0037】
また、処理部205は、USB I/F226を介してUSB端子227に接続されている。これにより、処理部205は、USB端子227で接続されたポインティングデバイス151による操作が可能となる。
【0038】
図3は、本実施形態にかかる情報処理装置100の通信プロトコルスタックの構造を示した図である。
図3に示す様に、情報処理装置100は、ポインティングデバイス101を利用可能にするためのポインティングデバイスドライバ301を有している。そして、情報処理装置100では、ポインティングデバイスドライバ301より下の階層に、無線LANで画面データを転送するためのソフトウェア群が階層状に設けられている。
【0039】
図3に示す様に、情報処理装置100は、ソフトウェア群として、無線LAN画面転送アプリケーション302と、Discovery層303と、RTSP/RTCP層304と、VRAM305と、Video_Codec層306と、Audio_Codec層307と、PES層308と、HDCP_2.0層309と、MPEG_TS層310と、RTP層311と、TCP層312と、UDP層313と、IP層314と、Wi−Fi(IEEE802.11n)層315と、を有している。
【0040】
例えば、RTP(Real-time Transport Protocol)層311は、RFC3550に規格化された通信手法を用いて通信を行う。
【0041】
RTSP(Real Time Streaming Protocol)/RTCP(RTP Control Protocol)層304は、無線通信を介して接続する通信装置を遠隔操作するためのプロトコルとする。本実施形態では、無線LAN画面転送制御プロトコルとして、RTSPを利用する。このプロトコルは、RFC2326に基づいて、無線LAN画面転送用に機能追加したものである。機能追加項目には、カーソルの座標情報を、画面と共に転送する機能も含まれている。
【0042】
そして、本実施形態にかかる情報処理装置100は、画面転送の制御プロトコルとしてRTSP/RTCP(TCP)を用い、映像送信プロトコルとしてRTP(UDP)を用いる。なお、他の層については、通常の通信処理に用いられるレイヤー層と同様のため、説明を省略する。
【0043】
ポインティングデバイス情報321には、情報処理装置100に接続されたポインティングデバイス101の画面上での位置等が含まれている。また、ポインティングデバイス情報321は、ポインティングデバイス制御部352からの要求に従って、テレビジョン表示装置150から受信した座標情報で、カーソルの位置が更新される。
【0044】
さらに、ポインティングデバイス情報321には、画面上の位置の他に、画面上にカーソルの形状を示した画像データも含まれている。
【0045】
VRAM305は、情報処理装置100が表示部に表示するための画面データを記憶する。当該画面データには、画面上の位置座標を指し示すための(ポインティングデバイス情報321に基づいた)カーソル情報も表れている。そして、当該画面データは、情報処理装置100の表示部に表示されると共に、エンコードされた後にテレビジョン表示装置150(sink機器)に送信される。
【0046】
Video_Codec層306は、VRAM305に記憶された画面データを、テレビジョン表示装置150に送信するためにエンコードする。
【0047】
Audio_Codec層307は、情報処理装置100で出力された音声データを、テレビジョン表示装置150に送信するためにエンコードする。
【0048】
その後、
図3で示したソフトウェア群に含まれる各ソフトウェアは、上位の層から入力された情報を通信に適した形式に変換して、当該下位の層に出力する。また、各ソフトウェアは、下位の層から入力された情報を上位の層に適した形に変換して、当該上位の層に出力する。
【0049】
Discovery層303は、無線通信可能な通信装置を検出するための層であり、Wi−Fi Direct通信に対応している。
【0050】
Wi−Fi(IEEE802.11n)層315は、無線通信を行うための層であり、受信制御部371と、送信制御部372と、を備え、Wi−Fi Direct通信に対応している。
【0051】
送信制御部372は、無線通信を用いて、他の通信装置(例えばテレビジョン表示装置150)に対して情報を送信制御する。送信制御の対象となる情報としては、例えば、パケット化された、エンコード後の画面データ及び音声データがある。
【0052】
受信制御部371は、無線通信を用いて、他の通信装置(例えばテレビジョン表示装置150)からの情報を受信制御する。受信制御の対象となる情報としては、例えば、カーソル情報の操作結果である座標情報がある。
【0053】
無線LAN画面転送アプリケーション302は、Discovery層303と、RTSP/RTCP層304と、を呼び出して、テレビジョン表示装置150との間で、画面データの送信開始までの制御を行う。また、無線LAN画面転送アプリケーション302は、RTSP/RTCP層304を呼び出して、テレビジョン表示装置150との間でデータの送受信(例えば、画面データの転送等)を行うための制御を行う。さらに、無線LAN画面転送アプリケーション302は、画面データの送信終了時の制御を行う。
【0054】
無線LAN画面転送アプリケーション302は、ポインティングデバイス制御部352を備え、画面に表示されるカーソル情報の制御も行う。
【0055】
ポインティングデバイス制御部352は、ポインティングデバイスドライバ301からの情報に基づいてカーソルの位置を制御するほか、テレビジョン表示装置150からの座標情報に基づいたカーソルの位置の制御も行う。従って、カーソルの位置は、情報処理装置100に接続されたポインティングデバイス101、及びテレビジョン表示装置150に接続されたポインティングデバイス151の両方から制御される。
【0056】
つまり、本実施形態では、ポインティングデバイス制御部352は、ポインティングデバイスドライバ301が受け付けた相対的な変化量に基づいた、カーソルの座標情報、及びレビジョン表示装置150から送信されてきた座標情報のうち最も新しい座標情報をポインティングデバイス情報321に格納し、カーソルの位置を制御する。そして、情報処理装置100では、ポインティングデバイス情報321で示される位置にカーソルが表示された画面データを生成する。生成した画面データの表示がなされるとともに、当該画面データは、送信制御部372を介して、テレビジョン表示装置150に送信される。
【0057】
図4は、本実施形態にかかるテレビジョン表示装置150の通信プロトコルスタックの構造を示した図である。
図4に示す様に、テレビジョン表示装置150は、ポインティングデバイス151を利用可能にするためのポインティングデバイスドライバ401を有している。そして、テレビジョン表示装置150では、ポインティングデバイスドライバ401より下の階層に、無線LANで画面データを転送するためのソフトウェア群が階層状に設けられている。
【0058】
図4に示す様に、テレビジョン表示装置150は、ソフトウェア群として、無線LAN画面転送アプリケーション402と、Discovery層403と、RTSP/RTCP層404と、VRAM405と、Video_Codec層406と、Audio_Codec層407と、PES層408と、HDCP_2.0層409と、MPEG_TS層410と、RTP層411と、TCP層412と、UDP層413と、IP層414と、Wi−Fi(IEEE802.11n)層415と、を有し、情報処理装置100が有しているソフトウェア群とほぼ同様の機能を提供する。そこで、
図4に示されるソフトウェア群においては、情報処理装置100のソフトウェア群と同様の機能については説明を省略する。
【0059】
ポインティングデバイスドライバ401は、受付部461を備え、ポインティングデバイス151を制御するためのインターフェースを提供するソフトウェアとする。
【0060】
受付部461は、ネットワークを介して情報処理装置100から受信した画面データを表示した際に、当該画面データ上に表わされているカーソルに対する操作を受け付ける。
【0061】
図5は、情報処理装置100からテレビジョン表示装置150に対して無線LANを介して画面データを転送している際に、テレビジョン表示装置150に接続されたポインティングデバイス(例えば、マウス)151を用いて、カーソル操作を受け付けた例を示した図である。
【0062】
図5に示す様に、情報処理装置100が画面データを転送し、テレビジョン表示装置150が転送された画面データを表示することで、情報処理装置100及びテレビジョン表示装置150において同一の画面が表示される。その後、ユーザは、テレビジョン表示装置150に接続されたポインティングデバイス151を用いて、欄511で示される操作、つまり、カーソル501を、ボタン502に移動させる操作を行う。この場合、移動したカーソルの座標情報が、RTSPコネクションを利用して、テレビジョン表示装置150から情報処理装置100のポインティングデバイス制御部352に送信される。これにより、情報処理装置100に接続されたポインティングデバイス101で行われた操作と同様の処理がなされる。
【0063】
その後、当該カーソルの座標を反映させた画面データが、情報処理装置100からテレビジョン表示装置150に送信される。しかしながら、テレビジョン表示装置150(Sink側)から情報処理装置(Source側)100への座標情報の転送時間、情報処理装置100でのエンコード処理時間、及びテレビジョン表示装置150でのデコード処理時間が遅延理由となり、テレビジョン表示装置150でポインティングデバイス151を操作してから、テレビジョン表示装置150の画面に表れているカーソルが移動するまでに、かなり遅延が生じるため、ユーザはポインティングによる操作に違和感を抱くことになる。
【0064】
図6は、ポインティングデバイス151の操作が行われた場合における、テレビジョン表示装置150の内部の情報の送受信を示した図である。
図6に示される例では、ユーザが、ポインティングデバイス151を、(x1、y1)から(x2、y2)に移動させる操作を受け付けたものとする。この場合、ポインティングデバイスドライバ401は、ポインティングデバイス151から、変位量(変位量x’、変位量y’)を受け付ける。
【0065】
そして、ポインティングデバイス情報421には、当該変位量により、座標情報(x2、y2)が格納される。これにより、ポインティングデバイス制御部452が、送信制御部482を介して、座標情報(x2、y2)を、情報処理装置100に送信する。
【0066】
このような処理が行われてから、情報処理装置100が、カーソルの座標情報(x2、y2)による画面データを生成するまで時間を要する。このため、ユーザが、カーソルを(x2、y2)まで移動させたにも拘わらず、情報処理装置100から、カーソルの位置が座標(x1,y1)の画面データが送信されてくる。
【0067】
図7は、テレビジョン表示装置150でポインティングデバイス151の操作が行われた場合における、情報処理装置100の内部の情報の送受信を示した図である。
図7に示される例では、テレビジョン表示装置150において、ポインティングデバイス151を、(x1、y1)から(x2、y2)に移動させる操作を受け付けたものとする。これに伴い、情報処理装置100は、テレビジョン表示装置150から、新たなカーソルの座標情報(x2,y2)を受信しているが、ポインティングデバイス情報321にまだ通知されていない状態が示されている。
【0068】
本実施形態にかかる情報処理装置100は、テレビジョン表示装置150から受信した座標情報、及びポインティングデバイスドライバ301が受け付けたポインティングデバイス101の操作の両方からカーソル制御を行う。
図7に示す例では、情報処理装置100は、テレビジョン表示装置150から座標情報を受信した以上、当該座標情報に従って、カーソル制御を行う。
【0069】
しかしながら、ポインティングデバイス情報321に座標情報(x2、y2)が格納されるまで、ポインティングデバイス情報321に格納されているカーソルの位置(x1、y1)に基づいて画面データが生成され、送信制御部372により、テレビジョン表示装置150に送信され続ける。さらには、ポインティングデバイス情報321に座標情報(x2、y2)が格納されたとしても、生成された画面データは、テレビジョン表示装置150に送信する前に、Video_Codec層306でエンコードする必要がある。このエンコードにも時間を要する。このため、テレビジョン表示装置150で行われたポインティングデバイスドライバ401の受付部461が受け付けた操作が、画面データに反映されるまで時間を要する。
【0070】
そこで、本実施形態にかかるテレビジョン表示装置150は、情報処理装置100から受信した画面データに対して、ポインティングデバイス151による操作に基づいた別のカーソルを重畳表示することとした。
【0071】
図4に戻り、当該処理を行うための構成を説明する。ポインティングデバイス制御部452は、停止検出部471と、表示制御部472と、を備え、ポインティングデバイス情報421に格納されたカーソルの位置に関する制御を行う。
【0072】
表示制御部472は、受付部461がポインティングデバイス151に対する移動操作を受け付けた場合に、カーソルが表れている画面データに対して、移動操作に従って移動させた独自カーソルを重畳して表示する。
【0073】
図8は、本実施形態にかかるテレビジョン表示装置150において、ポインティングデバイス151の操作が行われた際に表示される第1の画面例を示した図である。
図8に示す画面例では、カーソル802を左方向に移動する操作が行われた例とする。当該移動操作が行われたとしても、操作が画面に反映されるまで時間を要するため、カーソル802は静止し続けている。しかしながら、
図8に示されるように、表示制御部472が、受け付けた移動操作を反映させた独自カーソル801を新たに生成し、当該独自カーソル801を、情報処理装置100から受信した画面データの上に重畳表示している。当該独自カーソル801は、テレビジョン表示装置150内部で制御しているため、遅延することなく表示される。
【0074】
独自カーソル801は、画面データ内部のカーソル802と表示態様を異ならせる。例えば、カーソル802が白色の場合に、独自カーソル801を黄色にする等が考えられる。これにより、ユーザは、画面データ内のカーソルと、新たに生成された独自カーソルとが違うことを認識できる。なお、独自カーソルの色は、画面データ内部のカーソルの色と異なっていれば、どのような色であっても良い。
【0075】
そして、送信制御部482が、ポインティングデバイス情報421に格納されていたカーソルの位置を示した座標情報を、情報処理装置100に送信する。これにより、独自カーソル801が移動した後に、画面データ内部のカーソルも追従して移動表示される。
【0076】
図9は、本実施形態にかかるテレビジョン表示装置150において、ポインティングデバイス151の操作が行われた際に表示される第2の画面例を示した図である。
図9に示した画面例では、独自カーソル801まで移動した後に、ポインティングデバイス151の移動操作が停止したものとする。その後、情報処理装置100から送信され続ける画面データでは、上述した遅延の影響で、移動終了後の独自カーソル801に追従するように、カーソルが位置901、902の順にアニメーション表示していく。
【0077】
情報処理装置100から送信される画面データ内のカーソルは、実際のポインティングデバイス151の操作より遅延して表示される。このため、ユーザが、ポインティングデバイス151を操作している場合に、情報処理装置100から送信された画面データ内のカーソルが、テレビジョン表示装置150が直接表示している独自カーソル801を追いかけている様に表示される。
【0078】
図10は、本実施形態にかかるテレビジョン表示装置150において、ポインティングデバイス151の操作が行われた際に表示される第3の画面例を示した図である。
図10に示した画面例では、遅延していたカーソル1001の位置が、
図9まで表示されていた独自カーソル801との位置にずれが生じなくなったため、テレビジョン表示装置150の表示制御部472が、独自カーソルが非表示となった例とする。
【0079】
具体的には、本実施形態では、ポインティングデバイス制御部452の停止検出部471が、ポインティングデバイス151の移動操作の停止を検出する。
【0080】
そして、停止検出部471が、ポインティングデバイス151の移動操作の停止を検出した場合に、表示制御部472は、当該検出に基づいて、独自カーソルを非表示制御する。これにより、移動操作が反映された画面データが表示される際に、独自カーソル801が非表示となる。本実施形態にかかる表示制御部472は、停止検出部471により移動操作の停止が検出されてから所定時間経過した後に、独自カーソル801を非表示にする。所定時間は、例えばカーソルの移動が行われてから、画面データに反映されるまでに要する時間に基づいて定める等が考えられるが、このような時間に制限するものではなく、例えば、遅延に大きな影響を与えるエンコード、デコードに要する時間を設定しても良い。
【0081】
さらに本実施形態は、停止を検出してから所定時間経過した後に独自カーソルを非表示する手法に制限するものではない。変形例1としては、停止検出部471が、ポインティングデバイス151の移動操作の停止を検出した際に、表示制御部472が、独自カーソルを非表示としても良い。このような場合でも、ユーザは停止したカーソルの位置を認識できるため、操作負担を軽減できる。
【0082】
変形例2としては、情報処理装置100とテレビジョン表示装置150との間で予め通信を行うことで、ポインティングデバイス151の移動操作が行われてから、画面データに反映されるまでの時間(遅延時間)を算出しておく手法が考えられる。なお、遅延時間の算出手法は、従来から用いられている手法に制限せず、どのような手法を用いても良い。
【0083】
変形例2にかかる表示制御部472は、停止検出部471がポインティングデバイス151の移動操作の停止を検出してから、情報処理装置100に座標情報を送信した後に(算出された)遅延時間経過したことをトリガーとして、独自カーソルを非表示とする。
【0084】
また、本実施形態にかかるテレビジョン表示装置150においては、ポインティングデバイス151の操作が行われた場合には、画面データ内のカーソルと、独自カーソルとの2つのカーソルが表示される。この場合、ユーザが右クリック又は左クリック等の操作を行う場合に、どちらのカーソルの位置座標が選択されたのか認識しにくいという問題が生じる。そこで、本実施形態にかかる表示制御部472は、右クリック又は左クリック等の操作が行われた場合に、独自カーソルが指し示す位置で操作が行われたことを認識できるように、独自カーソルの表示態様を異ならせることとした。
【0085】
図11は、本実施形態にかかるテレビジョン表示装置150において、ポインティングデバイス151のボタン押下が行われた際に表示される画面例を示した図である。
図11に示されるように、受付部461がポインティングデバイス151の押下操作を受け付けたことをトリガーとして、表示制御部472は、独自カーソル1101のアニメーション表示を行う。
図11に示す例では、カーソル802を左方向に移動する操作が行われた後、押下操作に従って、独自カーソル1101の周囲に星等がまたたく等のアニメーション表示が行われた例とする。アニメーション表示は、どのような態様でも良く、例えばボタンが押されたようなアニメーション表示を行っても良い。当該アニメーション表示により、遅延が生じている、画面データ内のカーソルではなく、独自カーソル1101が指し示す位置に対して操作を行っていることを、ユーザに認識させることができる。
【0086】
次に、本実施形態にかかる情報処理装置100及びテレビジョン表示装置150における、画面表示の処理について説明する。
図12は、本実施形態にかかる情報処理装置100及びテレビジョン表示装置150における上述した処理の手順を示すシーケンス図である。
【0087】
まず、テレビジョン表示装置150が、情報処理装置100から、エンコードされた後の画面データを受信する(ステップS1201)。この画面データ内のカーソルの位置は、座標(x1,y1)とする。
【0088】
テレビジョン表示装置150は画面データを受信した場合に、テレビジョン表示装置150内のVideo_Codec層406が、当該画面データのデコードを行う(ステップS1202)。そして、テレビジョン表示装置150内の映像処理部210が、デコードされた後の画面データを、表示装置211に表示する(ステップS1203)。その後、テレビジョン表示装置150において、受付部461が、表示された画面データに対して、ポインティングデバイス151による移動操作を受け付ける(ステップS1204)。
【0089】
これにより、送信制御部482が、ポインティングデバイス制御部452の制御に従って、移動操作された後の位置を示した座標情報(x2、y2)を送信する(ステップS1205)。
【0090】
しかしながら、テレビジョン表示装置150の受信制御部481は、送信した座標情報(x2、y2)が反映される前の画面データを受信する(ステップS1206)。この画面データ内のカーソルの位置も、座標(x1,y1)とする。
【0091】
そこで、テレビジョン表示装置150の表示制御部472は、受信した画面データに対して、受付部461が受け付けた移動操作が反映された独自カーソルを重畳表示する(ステップS1207)。その後、受付部461が、ポインティングデバイス151のクリック操作を受け付ける(ステップS1208)。
【0092】
そして、送信制御部482が、ポインティングデバイス制御部452からの制御に従って、クリックされたことを示されたクリック情報を、情報処理装置100に送信する(ステップS1209)。さらに、表示制御部472が、独自カーソルのアニメーション表示を行う(ステップS1210)。
【0093】
一方、情報処理装置100のポインティングデバイス制御部352は、受信した座標情報に基づいてカーソル制御を行う(ステップS1211)。そして、情報処理装置100が、カーソル制御された後の画面データを表示すると共に(ステップS1212)、Video_Codec層306が、当該画面データをエンコードする(ステップS1213)。
【0094】
そして、受信制御部481が、情報処理装置100から、エンコードされた後の画面データを受信する(ステップS1214)。この画面データ内のカーソルの位置は、座標(x2,y2)とする。
【0095】
一方、テレビジョン表示装置150では、停止検出部471が移動操作の停止を検出してから所定時間経過した後に、表示制御部472が、独自カーソルを非表示とする(ステップS1215)。
【0096】
テレビジョン表示装置150は画面データを受信した場合に、テレビジョン表示装置150内のVideo_Codec層406が、当該画面データのデコードを行う(ステップS1216)。そして、テレビジョン表示装置150内の映像処理部210が、デコードされた後の画面データを表示する(ステップS1217)。
【0097】
上述した処理手順により、テレビジョン表示装置150で行われた操作に従って、情報処理装置100及びテレビジョン表示装置150においてカーソル表示を行うことができる。
【0098】
(第1の実施形態の変形例)
上述した実施形態では、ポインティングデバイス151による操作を受け付けた場合に、画面データ内のカーソルと異なる色のカーソルを表示制御する例について説明した。しかしながら、異なる色のカーソルを表示することに制限するものではなく、カーソルを識別可能な程度に表示態様を異ならせていれば良い。
【0099】
図13は、本変形例にかかるテレビジョン表示装置150において、ポインティングデバイス151の操作が行われた際に表示される画面例を示した図である。
図13に示す画面例では、カーソル802を左方向に移動する操作が行われた例とする。本変形例でも第1の実施形態と同様に、表示制御部472が、独自カーソル1301を表示する。
図13に示す例では、カーソル802よりサイズが大きい独自カーソル1301が表示される。これにより、ユーザは、自分の操作に従って新たに生成されたカーソルであることを認識できる。
【0100】
このように、画面データ内部のカーソルと異なるサイズの独自カーソルを表示することで、ユーザに独自カーソルと、画面データ内のカーソルとの違いを認識させることができる。また、独自カーソルを、画面データ内部のカーソルより大きくすることに制限するものではなく、独自カーソルと画面データ内部のカーソルとの間で大きさ、及び形状のうちいずれか一つ以上が異なっていれば良い。また第1の実施形態と同様に色も異ならせても良い。
【0101】
(第2の実施形態)
上述した実施形態及び変形例では、ポインティングデバイス151の移動操作の停止を検出した場合に、独自カーソルを非表示にする例について説明した。しかしながら、独自カーソルの非表示を、移動操作の停止の検出に制限するものではない。そこで、第2の実施形態では、画面データ内のカーソルと、独自カーソルとがオーバーラップ状態(重畳状態)となった場合に、表示制御部472が、独自カーソルを非表示にする例とする。
【0102】
第2の実施形態では、ポインティングデバイス制御部452が、画面データが格納されているVRAM405を参照し、画面データ内のカーソルの位置座標を検出する。そして、ポインティングデバイス制御部452が、検出したカーソルの位置座標が、独自カーソルの位置座標と一致するか否かを判定する。
【0103】
そして、ポインティングデバイス制御部452が、検出したカーソルの位置座標が、独自カーソルの位置座標と一致する、換言すれば独自カーソルと画面データ内のカーソルとがオーバーラップ状態になった(重畳された)と判定した場合に、表示制御部472は、独自カーソルを非表示とする。
【0104】
(第3の実施形態)
第3の実施形態はテレビジョン表示装置150の画面データのバッファリングを切り替える例とする。テレビジョン表示装置150は、映像設定メニューなどから表示遅延が少ないゲームモードを選択可能な機種とする。ゲームモードとは、操作がなされた場合に、操作結果が画面に反映されるまでの時間を短縮するために、画面データのバッファリングを抑止するモード(低遅延表示モード)とする。
【0105】
そこで、本実施形態にかかるテレビジョン表示装置150は、ポインティングデバイス151の操作が開始された場合に、自動的に低遅延表示モードに切り替える。これにより、独自カーソルと、画面データ内のカーソルとの間で生じる遅延をできる限り小さくする。
【0106】
そして、ポインティングデバイス151の操作が終了した場合に、低遅延表示モードから通常の表示モードに切り替わる。本実施形態では、このような処理を行うことで、テレビジョン表示装置150におけるカーソルの移動が終了するまでの遅延時間をさらに短縮することができる。
【0107】
上述した実施形態及び変形例では、情報処理装置100で画面データを生成し、テレビジョン表示装置150のポインティングデバイス151が操作される場合について説明したが、このような実施態様に制限するものではなく、テレビジョン表示装置150で画面データを生成し、情報処理装置100のポインティングデバイス101が操作される場合に適用しても良い。また、テレビジョン表示装置、及び情報処理装置の組み合わせに制限するものではなく、複数のテレビジョン表示装置間の処理でもよいし、複数の情報処理装置間の処理でもよい。
【0108】
上述した実施形態及び変形例では、テレビジョン表示装置150に接続されたポインティングデバイス(例えばマウス)151の操作がなされると、テレビジョン表示装置150側で、当該操作に対応する独自カーソルを、情報処理装置100から受信した画面データに重畳表示することとした。これにより、独自カーソルの表示には、情報処理装置100を介さないため、表示遅延を抑止できる。これにより操作性を向上させることができる。
【0109】
つまり、上述した実施形態及び変形例では、テレビジョン表示装置150が画面データを表示するまでの遅延時間は変わらないが、独自カーソルを操作可能に表示するため、操作性を向上させることができる。また、操作の際に遅延が生じないので、違和感を抑止できる。
【0110】
さらに、上述した実施形態では、移動操作の停止をトリガーとして、独自カーソルを非表示とした。これにより、画面データ内のカーソルのみの表示となり、ポインティングデバイス151とカーソルとが同期された状態となる。これにより、違和感のない操作性が可能になる。
【0111】
上述した実施形態の情報処理装置100又はテレビジョン表示装置150で実行されるポインティングデバイス制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0112】
また、上述した実施形態の通信装置又はテレビジョン表示装置で実行されるポインティングデバイス制御プログラム及びポインティングデバイスドライバを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施形態の通信装置又はテレビジョン表示装置で実行されるポインティングデバイス制御プログラム及びポインティングデバイスドライバをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。
【0113】
また、本実施形態のポインティングデバイス制御プログラム及びポインティングデバイスドライバを、ROM等に予め組み込んで提供するように構成しても良い。
【0114】
上述した実施形態の情報処理装置又はテレビジョン表示装置で実行されるポインティングデバイス制御プログラム及びポインティングデバイスドライバは、上述した各部(受付部、停止検出部、表示制御部、送信制御部、及び受信制御部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からポインティングデバイス制御プログラム及びポインティングデバイスドライバを読み出して実行することにより上記各部が主記憶装置上にロードされ、受付部、停止検出部、表示制御部、送信制御部、及び受信制御部が主記憶装置上に生成されるようになっている。
【0115】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、請求の範囲に記載された発明とその均等の範囲に含まれる。