(58)【調査した分野】(Int.Cl.,DB名)
前記第1制御手段は、前記特定操作を検出した際は、当該端末装置に表示情報が表示されていれば、その表示情報を前記外部機器への送信対象となる表示情報として特定し、その特定された表示情報を送信するよう制御する、
ことを特徴とする請求項1に記載の端末装置。
前記第1制御手段は、前記特定操作を検出した際は、近隣の外部機器に対する探索信号を送信し、応答のあった外部機器があれば、その応答のあった外部機器を当該端末装置とペアリングするモードの移行させる、
ことを特徴とする請求項1又は2に記載の端末装置。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態について、
図1〜
図14を参照して詳細に説明する。
本実施形態は、携帯端末装置として携帯電話機に適用したもので、
図1は、携帯電話機1との間で近距離通信が可能な外部機器としての各種の表示装置200を示した図である。
携帯電話機100は、音声通話機能、電子メール機能、インターネット接続機能(Webアクセス機能)、近距離通信機能、タッチ表示機能などを備え、外部機器(表示部を備えた電子機器)としての表示装置200との間でデータ通信が可能となっている。表示装置200は、家庭内に設置された各種の電子機器で、例えば、テレビ受信機200A、プロジェクタ200B、デジタルフォトフレーム200C、パーソナルコンピュータ(PC)200D、車載端末200Eなどであり、携帯電話機100と表示装置200とは、近距離通信、例えば、ブルートゥース(Bluetooth:登録商標)を介して直接的に通信接続されるようになっている。
【0010】
ここで、携帯電話機100と表示装置200とが近距離通信により接続されるのは、表示装置200に対する操作デバイスとして自身を機能させる場合で、表示装置200に対するポインティングデバイス(マウス)として自身を機能させたり、表示装置200に対するタッチ入力デバイスとして自身を機能させたりする。
図2は、携帯電話機100を表示装置200(図示の例ではテレビ受信機200A)に対するポインティングデバイス(マウス)として使用している場合、
図3は、携帯電話機100を表示装置200に対するタッチ入力デバイスとして使用している場合の様子を示した図で、指の置き方や押さえ方、操作の仕方などは、図示の例に限らず、任意である。
【0011】
携帯電話機100は、処理対象のオブジェクトに対してアクセス操作が行われた際に、つまり、携帯電話機100と表示装置200とを近距離通信を介してリンクさせるために後述するモニタリンク・ボタンが操作された際に、携帯電話機100の近隣(例えば、半径5m以内)に通信接続(近距離通信)が可能な表示装置200が存在しているか否かを探索し、近隣に表示装置200が存在していれば、その表示装置200を当該携帯電話機100の出力モニタとして特定するようにしている。
【0012】
このように表示装置200を携帯電話機100に対する出力モニタとし、また、携帯電話機100をその出力モニタに対する操作デバイスとして、携帯電話機100と表示装置200とをリンクさせることを希望する場合に、上述のモニタリンク・ボタンを操作するようにしている。ここで、処理対象のオブジェクトとは、携帯電話機100側で保持されているアイコン、ファイル、画像データ、テキストデータなどである。そして、携帯電話機100は、処理対象のオブジェクトに対してアクセス操作が行われた際(モニタリンク・ボタンが操作された際)に、そのオブジェクト又はその処理結果を、出力モニタとして特定した表示装置200に表示させるための制御を行うようにしている。
【0013】
すなわち、上述の処理対象のオブジェクト、つまり、携帯電話機100側でアクセス可能なオブジェクト(携帯電話機100側が保持するオブジェクト)を端末オブジェクトと称し、出力モニタとして特定した表示装置200に表示させる当該オブジェクト又はその処理結果を、モニタリンク・オブジェクトと称すると、携帯電話機100は、端末オブジェクトへのアクセス操作に応じて表示装置200にモニタリンク・オブジェクトを表示させるための制御を行うようにしている。例えば、端末オブジェクトがアイコンであれば、その端末オブジェクト(アイコン)をモニタリンク・オブジェクトとして表示装置200に表示させるために、その表示装置200に近距離通信を介して送信する直接通信を行うようにしている。
【0014】
このようにして携帯電話機100は、出力モニタとして特定した表示装置200にモニタリンク・オブジェクトを表示させる制御を行った後、表示装置200に対して携帯電話機100を操作デバイスとして機能させる場合に、携帯電話機100の現在のスタイルを判別し、そのスタイルに応じてデバイスの種類を選択すると共に、選択したデバイス種に応じた種類の操作信号を、出力モニタとして特定した表示装置200に近距離通信を介して送信するようにしている。
【0015】
すなわち、デバイス種としてポインティングデバイス(マウス)を選択した場合には、携帯電話機100の移動操作に応じて表示装置200上のカーソルを移動表示させたり、モニタリンク・ボタンの押下操作に応じて、表示装置200上のモニタリンク・オブジェクトに関する処理、つまり、そのモニタリンク・オブジェクト対応の端末オブジェクトに対する処理(後述する)を実行したりする。また、デバイス種としてタッチ入力デバイスを選択した場合には、タッチ表示機能によりソフトキー(タッチキー)に対するキー操作を検出したり、タッチアクション操作を検出したりする。ここで、タッチアクション操作とは、タップ操作、ダブルタップ操作のほか、ホールド(保持)操作、ピッチイン・ピッチアウト(拡大縮小)操作、フリック(払い=スクロール)操作、ドラッグ(移動)操作などであり、そのタッチ操作信号に応じて表示画面上のオブジェクトを制御したり、表示装置200上のモニタリンク・オブジェクトを制御したりする。
【0016】
図4は、携帯電話機100の基本的な構成要素を示したブロック図である。
携帯電話機100は、音声通話機能、電子メール機能、インターネット接続機能(Webアクセス機能)、近距離通信機能などを備え、CPU101を中核とし、電源部102、記憶部103、メモリ104、無線通信部105、音声信号処理部106、操作部107、タッチ表示部108、マウスセンサ109、近距離通信部110、筐体向き検出部111、引出検出部112を有する構成となっている。
【0017】
CPU101は、二次電池(図示省略)を備えた電源部102からの電力供給によって動作し、記憶部103内の各種のプログラムに応じてこの携帯電話機100の全体動作を制御する中央演算処理装置である。記憶部103には、
図9〜
図11に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。なお、記憶部103は、例えば、SDカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しない所定の外部サーバ上の記憶領域を含む構成であってもよい。メモリ104は、フラグ情報など、携帯電話機100が動作するために必要な各種の情報を一時的に記憶するワーク領域で、後述する表示位置管理テーブルDTが設けられている。
【0018】
無線通信部105は、通話機能の動作時に受信信号を受信ベースバンド信号に復調した後、音声信号処理部106を介して通話用スピーカSPから音声出力させ、また、通話用マイクMCからの入力音声データを音声信号処理部106から取り込み、送信ベースバンド信号に符号化した後、アンテナ(図示省略)から発信出力させる。操作部107は、押しボタン式の電源キー、メニューキーなどのサイドキーSKのほか、上述したモニタリンク・ボタンMBなどを有し、CPU101は、この操作部107からの入力操作信号に応じて所定の処理を実行する。モニタリンク・ボタンMBは、携帯電話機100を表示装置200に対する操作デバイス(マウス)として機能させる際に使用したり、表示装置200に表示されているモニタリンク・オブジェクトを操作する際に使用したりするキーである。
【0019】
タッチ表示部108は、携帯電話機100を構成する筐体の表面側に配設され、例えば、高精細液晶ディスプレイや有機ELディスプレイで、文字データ、待受画像、各種のオブジェクトなどを表示したり、ソフトキーボードなどのタッチキー群を表示したりするもので、縦横比の異なる画面を有し、その画面上の全域に透明タッチセンサ(図示省略)を積層配設することにより、指などによるタッチ操作を感知して、そのタッチ操作に応じたデータを入力するタッチスクリーンを構成する。なお、タッチセンサとしては、軽量化、光透過性、耐久性などに優れた静電容量方式を採用し、ソフトキー(タッチキー)に対するキー操作を検出したり、タッチ操作アクション(例えば、スクロール、ビッチイン、ビッチアウトなど)を検出したりする。
【0020】
マウスセンサ109は、赤外線又はレーザ光による光学式マウスの発光部及び受光部を構成するもので、マウスモードにおいて携帯電話機100の移動方向や移動量などを光学的に検出する。近距離通信部110は、ブルートゥース通信を行うもので、その通信可能エリアは、例えば、略半径5mとなっており、ブルートゥース通信されるデータに対してシリアル/パラレル変換などを行う。筐体向き検出部111は、筐体の向き(姿勢)を検出する加速度センサである。引出検出部112は、携帯電話機100内に引き出し可能に収納されているマウスセンサ109が引き出された状態にあるかを磁気的、機械的、電気的のいずれかより検出するようにしているが、その検出方法は任意である。
【0021】
図5は、表示位置管理テーブルDTを説明するための図である。
表示位置管理テーブルDTは、携帯電話機100側に表示されているオブジェクトの表示位置と表示装置200側に表示されているオブジェクトの表示位置とを対応付けて管理するテーブルで、「オブジェクト」、「端末オブジェクトの表示位置」、「モニタリンク・オブジェクトの表示位置」の項目を有している。すなわち、表示位置管理テーブルDTは、「オブジェクト」“a”、”b”、…に対応して、その表示装置200上での「モニタリンク・オブジェクトの表示位置」と、携帯電話機100上での「端末オブジェクトの表示位置」とを対応付けて記憶管理するテーブルである。
【0022】
図6は、表示装置200であるテレビ受信機200Aの基本的な構成要素を示したブロック図である。
テレビ受信機200Aは、CPU201を中核として、電源部202、記憶部203、テレビ放送受信部204、操作部205、表示部206、スピーカ207の基本的な各構成要素のほか、本実施形態においては、赤外線通信部208、近距離通信部209を有する構成となっている。記憶部203には、
図12に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。テレビ受信機200Aは、その赤外線通信部208を介してテレビリモコン(図示省略)との間で赤外線通信が可能となり、また、近距離通信部208を介して携帯電話機100との間で近距離通信(ブルートゥース通信)を行うことが可能となっている。
【0023】
携帯電話機100とテレビ受信機200Aとは、ブルートゥース通信による通信リンクが確立(通信接続が設定)されることで、携帯電話機100側の近距離通信部110とテレビ受信機200A側の近距離通信部208を介して携帯電話機100とテレビ受信機200Aとの相互でデータ通信が可能となる。この場合、携帯電話機100から接続相手を特定するためのモニタ探索操作(リンク操作:ペアリング操作)が行われると、携帯電話機100は、近隣に通信接続が可能な表示装置200が存在しているか否かを探索するためのモニタ探索信号を発信した後、それに対するテレビ受信機200Aからの応答信号を受信することにより、携帯電話機100とテレビ受信機200Aとの通信リンクが確立される。
【0024】
図7及び
図8は、携帯電話機100の概略外観図で、
図7(1)は、携帯電話機100を表面(正面)の方向から見た図である。
図7(2)は、背面(裏面)の方向から見た図である。
図8(1)及び(2)は、携帯電話機100の一側面の方向から見た図である。
携帯電話機100は、その筐体全体が長方体を成し、
図8(1)に示すように筐体の背面は、弧状にやや盛り上がった曲線形を成している。この携帯電話機100の表面には、
図5(1)に示すように縦横比の異なるタッチ表示部108が配設されている。
図7(1)は、タッチ表示部108が縦画面となるように筐体を縦向きにした状態を示した携帯電話機100の表面図で、この縦画面の長手方向一端側(図中、上側)には通話用スピーカSPが配設され、縦画面の長手方向他端側(図中、下側)には通話用マイクMCが配設されている。更に、縦画面の長手方向他端側(図中、下側)には、引出部113が引き出し可能に収納されている。また、筐体の背面略中心部には、上述した押しボタン式のモニタリンク・ボタンMBが配設されている。
【0025】
引出部113は、筐体内に引き出し可能(スライド可能)に収納されたもので、携帯電話機100をポインティングデバイス(マウス)として使用する際に、
図8(2)に示すように、携帯電話機100を構成する筐体の一端部内から引出部113を引き出すようにしている。
図8(1)は、筐体内に引出部113を収納した状態を示し、
図8(2)は、筐体内から引出部113を引き出した状態を示している。そして、
図8(1)、(2)は、筐体の表面側を図中、下側にして、平面(例えば、机面)などに載置した状態を示している。引出部113内には、マウスセンサ109収納されており、その発光面及び受光面が引出部113の内面開口部から露出するようになっている。
【0026】
このように筺体の表面側を平面上に向けたマウス・スタイルにおいて、筐体内から引出部113を引き出すと、引出部113の先端面とタッチ表示部108の表示面との間の段差gpにより空間が形成されるように引出部113が筺体に取り付けられている。この場合、引出部113は、筺体の表面側の一端部付近から斜め方向(図示の例では、斜め略60°方向)に引き出される。これによって引出部113の先端部と筺体の表面側の他端部とが平面(例えば、机面)上に接触した状態(2点接触の状態)で平面上に載置されることになる。
【0027】
引出部113が筐体の表面一端部付近から斜め方向に引き出されることにより、筐体の一端側が立ち上がった状態となり、つまり、筐体全体が斜めに立ち上がって上方向に曲線的にせり出したような形状となり、筐体を机面などの平面に載置して筺体の背面側を掌で包むように筺体を挟持する際に、その形状は、マウスとして持ち易い(使い易い)フォーム(マウス・スタイル)となる。なお、上述のように筐体の背面は弧状にやや盛り上がった曲線形を成しているが、引出部113の全体もやや弧状の流線型とすることで、引出部113を引き出した際に、引出部113の外表面と筐体端部の外表面とが曲線的に連続するようになっている。
【0028】
引出部113には、図示省略したが、係止機構及びストッパ機構が付属されている。この係止機構は、筐体内から引出部113を引き出し終わった状態と、筐体内に完全に収納し終わった状態で引出部113を弾性的に係止することにより、その状態を保持するようにしたもので、その弾性力に抗して引出部113が引き出されると、その係止が外れる構成となっている。また、ストッパ機構は、
図8(2)に示した最長の引き出し量以上の引き出しを抑制するために、引出部113の引き出しをその最長の位置で規制するストッパを有する構成となっている。なお、係止機構及びストッパ機構については、一般に使用されている機構を使用するようにしているため、その図示や詳細な説明は省略するものとする。
【0029】
また、
図8(2)で示した部分拡大図に示すように、引出部113内には、携帯電話機100の移動を検出する移動センサとしてマウスセンサ109が搭載されている。このマウスセンサ(移動センサ)109は、赤外線又はレーザ光による光学式のセンサで、発光部及び受光部を有し、筐体を載置した机面などを照射してその反射光を受光するようにしている。なお、上述した引出検出部112は、引出部113(マウスセンサ109)が引き出されたか否かを検出する際に、引出部113がその最長の引き出し位置まで引き出された状態であるか否かを検出するようにしている。なお、引出部113内には電源部102の電源電池(例えば、ボタン電池)102aが出し入れ自由(交換可能)に収納されている。
【0030】
次に、本実施形態における携帯電話機100及び表示装置200(テレビ受信機200A)の動作概念を
図9〜
図12に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
なお、
図9〜
図11は、携帯電話機100の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この
図9〜
図11のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
【0031】
図9〜
図11は、モニタリンク・ボタン操作(ペアリング操作)により実行開始される携帯電話機100の動作を示したフローチャートである。また、
図12は、表示装置200(テレビ受信機200A)側の動作を示したフローチャートである。
図13は、携帯電話機100を表示装置200のポインティングデバイス(マウス)として利用する場合において、携帯電話機100側の画面と表示装置200側の画面とがリンクしている状態の表示例を示し、
図14は、携帯電話機100を表示装置200のタッチ入力デバイスとして利用する場合において、携帯電話機100側の画面と表示装置200側の画面とがリンクしている状態の他の表示例を示した図である。以下、
図9〜
図12のフローを
図13及び
図14を参照して具体的に説明するものとする。
【0032】
先ず、携帯電話機100においてそのCPU101は、タッチ表示部108に処理対象の端末オブジェクトが表示されている表示中の状態であるかを調べる(
図9のステップA1)。いま、端末オブジェクトが表示中でなければ(ステップA1でNO)、今回のモニタリンク・ボタンの操作を無効とするために、
図9〜
図11のフローから抜けるが、携帯電話機100側で端末オブジェクトが表示されている状態であれば(ステップA1でYES)、近隣に存在している表示装置200を探索するために近距離通信部110からモニタ探索信号を発信させた後(ステップA2)、周囲の表示装置200からその応答を近距離通信により受信したかを調べる(ステップA3)。
【0033】
そして、携帯電話機100は、いずれの表示装置200からも応答が無ければ(ステップA3でNO)、
図9〜
図11のフローから抜けるが、周囲の表示装置200からその応答を受信したときには(ステップA3でYES)、その表示装置200を出力モニタとして特定して、その応答時に表示装置200から受信したID(モニタID)をメモリ14内に一時記憶させる(ステップA4)。なお、出力モニタとして特定した表示装置200を、単に出力モニタと呼称するものとする。そして、端末画面内に表示されている端末オブジェクトをモニタリンク・オブジェクトとして、出力モニタに対して送信する(ステップA5)。これによって出力モニタから送信されるモニタリンク・オブジェクトの表示位置及びカーソルの表示位置を受信すると(ステップA6)、このモニタリンク・オブジェクトに対応する端末オブジェクトの表示位置を検出し、この端末オブジェクトの表示位置とモニタリンク・オブジェクトの表示位置とを対応付けて表示位置管理テーブルDTに記憶させる(ステップA7)。
【0034】
図12は、表示装置200(テレビ受信機200A)の動作として、携帯電話機100からモニタ探索信号を受信したときに実行開始されるフローチャートである。
先ず、携帯電話機100からモニタ探索信号を受信すると、予め設定されている自己の識別情報(モニタID)を読み出して、このモニタIDを携帯電話機100に送信してモニタ探索信号に対する応答を行う(ステップB1)。そして、携帯電話機100からモニタリンク・オブジェクトを近距離通信により受信したかを調べ(ステップB2)、モニタリンク・オブジェクトを受信しなければ(ステップB2でNO)、上述の応答から所定時間(例えば、3秒)が経過してタイムアウトになったかを調べ(ステップB3)、タイムアウトになるまで上述のステップB2に戻り、受信待ちの状態となる。また、タイムアウトになったときには(ステップB3でYES)、
図12の割込処理のフローから抜ける。
【0035】
また、モニタリンク・オブジェクトを受信したときには(ステップB2でYES)、そのモニタ画面にモニタリンク・オブジェクトを表示させると共に、その近傍にカーソルを一時表示させる(ステップB4)。なお、“カーソルの一時表示”とは、モニタリンク・オブジェクトと共にカーソルを表示させた後、携帯電話機100で操作が行われなければ、そのカーソル表示位置を退避してからカーソル表示を消去し、その後の操作開始のタイミングで退避しておいた表示位置にカーソルを表示させることを意味している(以下、同様)。そして、モニタリンク・オブジェクト及びカーソルの表示位置を検出して携帯電話機100に対して送信した後(ステップ5)、携帯電話機100からカーソル移動信号を受信したかを調べたり(ステップ6)、新たなモニタリンク・オブジェクトを受信したかを調べたり(ステップB8)、携帯電話機1からリンク終了の指示を受信したかを調べたりする(ステップB9)。
【0036】
一方、携帯電話機100は、上述のようにモニタリンク・オブジェクトの表示位置の受信に応じて(
図9のステップA6)、そのモニタリンク・オブジェクトの表示位置を表示位置管理テーブルDTに記憶させた後は(ステップA7)、筐体向き検出部111の検出結果を取得すると共に(ステップA8)、引出検出部112の検出結果を取得し(ステップA9)、この筐体向き検出部111及び引出検出部112の検出結果に基づいて、マウス・スタイルであるか、つまり、
図8(2)に示すように筐体から引出部113が引き出されることにより筐体の背面部側がせり上がった状態(マウス・スタイル)であるかを調べる(ステップA10)。
【0037】
いま、筺体の背面側を掌で包むように筺体を挟持した状態、例えば、筐体の表面(タッチ表示部108やマウスセンサ109)が下向きとなる姿勢であることが筐体向き検出部111により検出され、かつ、筐体から引出部113が引き出されていることが引出検出部112により検出されている状態(マウス・スタイル)であれば(ステップA10でYES)、ポインティングデバイス(マウス)モードに移行させて(ステップA11)、
図10のフローに移り、モニタリンク・オブジェクトに関する処理(モニタリンク・オブジェクト対応の端末オブジェクトに対する処理)を実行する。また、マウス・スタイルでなければ(ステップA10でNO)、タッチ入力デバイスモードに移行させて(ステップA12)、
図11のフローに移り、モニタリンク・オブジェクトに関する処理(モニタリンク・オブジェクト対応の端末オブジェクトに対する処理)を実行する。
【0038】
このようにポインティングデバイス(マウス)モードに移行した場合には、携帯電話機100は、次のような動作を行う。先ず、ユーザが所望する方向に筐体を移動する移動操作が行われたときには(
図10のステップA13でYES)、マウスセンサ109により検出された筐体の移動方向及び移動速度などをカーソル移動信号として、出力モニタに送信すると共に(ステップA14)、この出力モニタ側でのカーソル移動処理に応じて更新された新たなカーソル表示位置を、その出力モニタから受信取得した後(ステップA15)、上述のステップA13に戻る。
【0039】
また、モニタリンク・ボタンMBが操作されたときには(ステップA16でYES)、表示位置管理テーブルDTを参照し、現在のカーソルの表示位置はモニタリンク・オブジェクトの表示位置に一致するかを調べる(ステップA17)。その結果、両者が一致しなければ(ステップA17でNO)、マウス・スタイルが解除されたか、つまり、
図8(2)に示すように筐体から引出部113が引き出されてマウスセンサ109が下向きとなっているかを調べる(ステップA18)。ここで、マウス・スタイルが解除されたときには(ステップA18でNO)、ポインティングデバイスモード(マウスモード)を解除するために、リンク終了信号を出力モニタに対して送信した後(ステップA19)、
図9〜
図11のフローから抜ける。
【0040】
モニタリンク・ボタンMBの操作時において、カーソル位置がモニタリンク・オブジェクト位置に一致していれば(ステップA17でYES)、つまり、そのモニタリンク・オブジェクトがカーソル移動により選択されたときには、以下、モニタリンク・オブジェクトに関する処理(モニタリンク・オブジェクト対応の端末オブジェクトに対する処理)を行う。先ず、表示位置管理テーブルDTを参照して、モニタリンク・オブジェクトに対応する端末オブジェクトを選択し(ステップA20)、その端末オブジェクトに対する処理(例えば、アイコンに応じた処理など)を実行する(ステップA21)。そして、その処理結果を新たなモニタリンク・オブジェクトとして取得して(ステップA22)、出力モニタに対して送信する(ステップA23)。
【0041】
そして、出力モニタでのモニタリンク・オブジェクトの表示位置及びカーソルの表示位置を出力モニタから受信した後(ステップA24)、当該端末オブジェクトの表示位置とモニタリンク・オブジェクトの表示位置とを対応付けて表示位置管理テーブルDTに記憶させる(ステップA25)。そして、上述のステップA18に移り、マウス・スタイルが解除されているかを調べる。一方、マウス・スタイルが解除されたときには(ステップA18でYES)、リンク終了信号を出力モニタに送信した後(ステップA19)、
図9〜
図11のフローから抜ける。
【0042】
他方、タッチ入力デバイスモードに移行した場合には、携帯電話機100は、次のような動作を行う。先ず、タッチ表示部108に対するタッチ操作の有無を調べたり(
図11のステップA26)、リンク終了の指示を受信したかを調べたりする(ステップA37)。なお、タッチ入力デバイスモードにおいてリンク解除を指示する操作が行われたときには(ステップA37でYES)、リンク終了信号を出力モニタに送信した後(ステップA38)、
図9〜
図11のフローから抜ける。いま、タッチアクション操作として、タップ操作、ダブルタップ操作、ホールド操作、ピッチイン・ピッチアウト操作、フリック操作、ドラッグ操作などのいずれかが行われたときには(ステップA26でYES)、そのタッチ位置及びアクション内容を検出取得して(ステップA27)、そのタッチ位置は、端末オブジェクトの表示位置であるかを調べる(ステップA28)。
【0043】
いま、タッチ位置が端末オブジェクトの表示位置であれば(ステップA28でYES)、そのアクション内容に対応したコマンドを生成する(ステップA29)。例えば、アクション内容がタップ、ダブルタップ、ホールド、ピッチイン・ピッチアウト、フリック、ドラッグのいずれかであれば、それに応じたコマンドを生成する。そして、端末オブジェクトに対して上述の生成コマンドに応じた処理を行う(ステップA30)。例えば、オブジェクト選択処理、オブジェクト移動処理、オブジェクト拡大・縮小処理などを実行する。そして、その処理結果を新たな端末オブジェクトとして出力モニタに送信した後(ステップA31)、上述の新たな端末オブジェクトの表示位置を出力モニタから受信取得すると(ステップA32)、このモニタリンク・オブジェクトの表示位置と端末オブジェクトの表示位置とを対応付けて表示位置管理テーブルDTに記憶させる(ステップA33)。その後、上述のステップA26に戻る。
【0044】
図13は、端末画面に端末オブジェクトとして複数(三つ)のアイコンが表示され、出力モニタにもこの複数のアイコンがモニタリンク・オブジェクトとして表示(図示の例では端末画面の内容が全面表示)されている状態において、端末画面上でのタッチアクションとして所望するアイコン位置がタッチされた場合の表示例を示した図である。ここで、図示の例では、アイコン“a”の位置がタッチされることにより、携帯電話機100は、アクション内容(タップ)対応のアイコン処理を実行し、その処理結果を端末画面に表示すると共に、出力モニタに新たなモニタリンク・オブジェクトとして送信するため、モニタ画面には、新たなモニタリンク・オブジェクトが表示される。
【0045】
一方、タッチ位置が端末オブジェクトの表示位置に一致していなければ(ステップA28でNO)、そのアクション内容に対応したコマンドを生成した後(ステップA34)、この生成コマンドに応じて端末画面の全体を制御する処理として、例えば、スクロール処理、拡大・縮小処理などを実行する(ステップA35)。そして、この画面制御の処理結果に応じて更新された端末画面の内容を、新たなモニタリンク・オブジェクトとして出力モニタに送信する(ステップA36)。そして、上述の新たなモニタリンク・オブジェクトの表示位置を出力モニタから受信取得した後(ステップA32)、このモニタリンク・オブジェクトの表示位置と端末オブジェクトの表示位置とを対応付けて表示位置管理テーブルDTに記憶させる(ステップA33)。その後、上述のステップA26に戻る。
【0046】
図14は、端末画面に端末オブジェクトとして画像が表示され、出力モニタにもこの画像がモニタリンク・オブジェクトとして表示されている状態において、端末画面上でのタッチアクションとして、画像の拡大を指示するピッチアウトのタッチ操作が行われた場合の表示例を示した図である。ここで、図示の例では、ピッチアウトのタッチ操作が行われることにより、携帯電話機1は、アクション内容(ピッチアウト)対応の拡大処理を実行し、その処理結果を端末画面に表示すると共に、出力モニタに新たなモニタリンク・オブジェクトとして送信するため、モニタ画面には、新たなモニタリンク・オブジェクトが表示される。
【0047】
以上のように、本実施形態において携帯電話機100は、筺体の表面側に設けられたタッチパネル付きのタッチ表示部108と、筺体内に引き出し可能に収納されている引出部113と、この引出部113に搭載されていてマウスセンサ109とを備え、引出部113が筺体内から引き出された状態で筺体の背面側を掌で包むように挟持されるマウス・スタイルで筺体の表面側を平面上に向けられた場合に、引出部113の先端面とタッチ表示部108の表示面との間の段差により空間が形成されるように引出部113を筺体に取り付けたので、表示装置200に対する操作デバイスとして携帯電話機100を利用する場合、使い勝手の良く利用することができ、操作性と利便性を兼ね備えることが可能となる。
【0048】
すなわち、筺体の表面側を平面上に向けた状態で筺体の背面側を掌で包むように挟持されるマウス・スタイルではタッチ表示部108が平面側に隠れることから、携帯電話機100の移動操作時にユーザの指がそのタッチ表示面に触れること無く操作を行うことができ、また、引出部113の引き出により筐体の一端側が立ち上がった状態となり、つまり、筐体全体が斜めに立ち上がって筐体の背面部側がせり上がった状態のような形状となり、マウスとして持ち易い(使い易い)フォームとなる。
【0049】
筺体の表面側を平面上に向けたマウス・スタイルで引出部113は、筺体の表面側の一端部付近から斜め方向に引き出されることにより、その引出部113の先端部と筺体の表面側の他端部とが平面上に接触する構造とするので、机などの平面との接触が少なくなり、円滑な移動操作を行うことが可能となる。
【0050】
引出検出部112の検出結果に基づいて、マウス・スタイルであるかを判別するようにしたので、マウスモードへの切替を指示する操作ボタンを別途に設けなくても、引出部113の引き出し操作をマウスモードへの切替操作に代替えすることができる。
【0051】
筐体向き検出部111及び引出検出部112の検出結果に基づいて、マウス・スタイルであるかを判別するようにしたので、マウス・スタイルであることを更に的確に判別することが可能となる。
【0052】
モニタリンク・ボタン操作に応じて、マウス・スタイルであるかを判別する動作を開始するようにしたので、ユーザの意思を反映することができる。
【0053】
携帯電話機100は、近隣に通信接続が可能な表示装置200が存在していれば、その表示装置200を出力モニタとして特定するようにしたので、携帯電話機100を所持するユーザが何処に居たとしても、その近隣に通信接続が可能な表示装置200があれば、その表示装置200との通信接続や操作デバイスモードへの切り替えを意識しなくてもよくなる。
【0054】
携帯電話機100は、近隣に通信接続が可能な表示装置200を出力モニタとして特定すると共に、現在のスタイルに応じて、操作デバイスの種類を選択し、表示装置200の表示内容を選択デバイス種に応じて制御するようにしたので、特別な操作を行うことなく、操作デバイスの種類を選択することができ、スタイルに合ったデバイスとして機能することができ、使い勝手が良くなって操作性と利便性を兼ね備えることが可能となる。
【0055】
携帯電話機100は、表示装置200に対するポインティングデバイス(マウス)として機能するデバイス種を選択したり、タッチ表示部108を利用するタッチ入力デバイスとして機能するデバイス種を選択したりするようにしたので、この2種類のデバイス機能により、多彩な操作を実現することができる。
【0056】
ポインティングデバイスとして機能するデバイス種が選択されている場合には、筐体を移動するたけで表示装置200に表示されているカーソルを移動させることができる。
【0057】
タッチ入力デバイスとして機能するデバイス種が選択されている場合には、タッチ表示部108に対するタッチアクションに応じて、表示装置200の表示内容を変更させることができる。
【0058】
筐体に備えられている操作デバイス用のセンサ部(マウスセンサ109)の位置関係に応じて筐体のスタイルを判別するようにしたので、的確な判別が可能となる。
【0059】
なお、上述した実施形態においては、タッチ入力デバイスモードでは、タッチアクション操作に応じて、例えば、オブジェクト選択処理、オブジェクト移動処理、オブジェクト拡大・縮小処理などを実行した処理結果を新たな端末オブジェクトとして出力モニタに送信するようにしたが、タッチ位置と共にタッチアクション内容を出力モニタに送信するようにしてもよい。
【0060】
また、上述した実施形態においては、携帯電話機100と表示装置200との間での近距離通信として、ブルートゥース通信を使用するようにしたが、赤外線通信などであってもよい。また、インターネット4を介して情報配信装置5に接続するようにしたが、構内通信網を介して接続するようにしてもよい。
【0061】
上述した実施形態においては、携帯電話機100をポインティングデバイス(マウス)として使用する際に、
図8(2)に示すように、筐体の表面側を下向き、つまりタッチ表示部108を平面(例えば、机面)に向けて載置する使用する場合を示したが、その平面は、水平面に限らず、垂直面(例えば、壁面)などであってもよい。また、上述した実施形態においては、携帯電話機100をマウス機能として使用するようにしたが、モーションセンサ機能(空間移動操作デバイス)として使用したりしてもよい。
【0062】
また、上述した実施形態においては、携帯電話機に適用した場合を例示したが、これに限らず、PDA、デジタルカメラ、音楽プレイヤーなどであってもよい。
【0063】
また、上述した実施形態において示した“機”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【0064】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
外部機器としての表示装置との間で直接的又は間接的にデータ通信を行う通信手段を介して前記表示装置に対するポインティングデバイスとして機能する携帯端末装置であって、
当該端末装置を構成する筺体の表面側に設けられたタッチパネル付きのタッチ表示部と、
前記筺体内に引き出し可能に収納されている引出部と、
前記引出部に搭載されていて当該端末装置の移動を検出する移動センサと、
を備え、
前記引出部が筺体内から引き出された状態で前記筺体の背面側を掌で包むように挟持されるスタイルを前記表示装置に対するポインティングデバイスとして機能するスタイルとし、このポインティングデバイスのスタイルで前記筺体の表面側を平面上に向けられた場合に、前記引出部の先端面と前記タッチ表示部の表示面との間の段差により空間が形成されるように前記引出部を前記筺体に取り付ける、
ようにしたことを特徴とする携帯端末装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載の携帯端末装置において、
前記ポインティングデバイスのスタイルで前記筺体の表面側を平面上に向けられた場合に、前記引出部は、前記筺体の表面側の一端部付近から斜め方向に引き出されることにより、その引出部の先端部と前記筺体の表面側の他端部とが前記平面上に接触する構造とする、
ようにしたことを特徴とする携帯端末装置である。
(請求項3)
請求項3に記載の発明は、請求項1あるいは請求項2に記載の携帯端末装置において、
前記筺体内に収納されている前記引出部が引き出されたかを検出する引出検出手段と、
前記引出検出手段の検出結果に応じて当該端末装置を前記表示装置に対するポインティングデバイスとして機能するスタイルであるか否かを判別するスタイル判別手段と、
前記スタイル判別手段によりポインティングデバイスとして機能するスタイルであると判別された場合に、当該端末装置を前記表示装置に対するポインティングデバイスとして機能するように制御する機能制御手段と、
更に備える、
ようにしたことを特徴とする携帯端末装置である。
(請求項4)
請求項4に記載の発明は、請求項3に記載の携帯端末装置において、
当該端末装置の姿勢を検出する姿勢検出手段を更に備え、
前記スタイル判別手段は、前記引出検出手段及び姿勢検出手段の検出結果に応じて当該端末装置を前記表示装置に対するポインティングデバイスとして機能するスタイルであるか否かを判別する、
ようにしたことを特徴とする携帯端末装置である。
(請求項5)
請求項5に記載の発明は、請求項3あるいは請求項4に記載の携帯端末装置において、
前記スタイル判別手段は、所定のユーザ操作に応じて、前記表示装置に対するポインティングデバイスとして機能するスタイルであるか否かの判別動作を開始する、
ようにしたことを特徴とする携帯端末装置。
である。
(請求項6)
請求項6に記載の発明は、請求項1〜請求項5のいずれかに記載の携帯端末装置において、
当該端末装置の近隣に通信接続が可能な前記表示装置が存在しているか否かを判別する接続判別手段と、
前記判別手段により表示装置が存在していることが判別された場合に、その表示装置を出力モニタとして特定する特定手段と、
前記特定手段により出力モニタとして特定した表示装置の表示内容を制御する表示制御手段と、
を更に備える、
ようにしたことを特徴とする携帯端末装置である。
(請求項7)
請求項7に記載の発明は、
外部機器としての表示装置との間で直接的又は間接的にデータ通信を行う通信手段を介して前記表示装置に対する操作デバイスとして機能する携帯端末装置であって、
所定のユーザ操作に応じて、当該端末装置の近隣に通信接続が可能な前記表示装置が存在しているか否かを判別する接続判別手段と、
前記接続判別手段により近隣に表示装置が存在していることが判別された場合に、その表示装置を当該端末装置の出力モニタとして特定する特定手段と、
当該端末装置のスタイルを判別するスタイル判別手段と、
前記スタイル判別手段により判別されたスタイルに応じて、操作デバイスの種類を選択するデバイス種選択手段と、
前記表示装置の表示内容を前記デバイス種選択手段により選択されたデバイス種に応じて制御する表示制御手段と、
を備えたことを特徴とする携帯端末装置である。
(請求項8)
請求項8に記載の発明は、請求項7に記載の携帯端末装置において、
タッチパネル付きのタッチ表示部を更に備え、
前記デバイス種選択手段は、当該端末装置を前記表示装置に対するポインティングデバイスとして機能するデバイス種を選択するか、前記タッチ表示部を利用するタッチ入力デバイスとして機能するデバイス種を選択する、
ようにしたことを特徴とする携帯端末装置である。
(請求項9)
請求項9に記載の発明は、請求項7あるいは請求項8に記載の携帯端末装置において、
前記表示制御手段は、前記デバイス種選択手段によりポインティングデバイスとして機能するデバイス種が選択されている状態において当該端末装置が移動された際に、前記移動センサにより検出された移動操作信号又はその操作信号に応じた処理結果を、前記通信手段を介して前記表示部に送信することにより、前記表示装置に表示されているカーソルを移動させる制御を行う、
ようにしたことを特徴とする携帯端末装置である。
(請求項10)
請求項10に記載の発明は、請求項8に記載の携帯端末装置において、
前記表示制御手段は、前記デバイス種選択手段によりタッチ入力デバイスとして機能するデバイス種が選択されている状態において、前記タッチ表示部に対するタッチアクションが行われた際に、そのタッチ操作信号又はその操作信号に応じた処理の実行結果を、前記出力モニタとして特定された表示装置に前記通信手段を介して対して送信することにより、前記表示装置の表示内容をタッチアクションに応じた内容に変更させる制御を行う、
ようにしたことを特徴とする請求項8に記載の携帯端末装置である。
(請求項11)
請求項11に記載の発明は、請求項7〜請求項10のいずれかに記載の携帯端末装置において、
前記スタイル判別手段は、筐体に備えられている操作デバイス用のセンサ部の位置関係に応じて筐体のスタイルを判別する、
ようにしたことを特徴とする携帯端末装置である。