【解決手段】操作面と、前記操作面に接触した操作物の接触が所定時間以内に開放されたか否かを判定する判定部と、前記判定部により前記所定時間以内に接触が開放されたと判定されると、前記操作物により接触された位置に対応する前記操作面に表示された画像が操作されたとして、対応する制御を行う制御部と、前記判定部により前記所定時間以内に接触が開放されなかったと判定されると、前記操作面に接触している前記操作物の移動動作を認識する認識部と、前記認識部による認識結果に応じたコマンドを外部機器へ送信する送信部と、を備える携帯装置としている。
前記認識部が前記操作物の一の移動動作を認識後、第2の所定時間以内に前記操作物の前記操作面への接触が無いと、前記送信部は前記一の移動動作の認識結果に対応する前記コマンドを送信し、
前記第2の所定時間以内に前記操作物の前記操作面への接触があると、前記認識部は前記操作物の他の移動動作の認識を試みることを特徴とする請求項1に記載の携帯装置。
前記表示制御部により前記操作面に前記認識結果が表示されたときの操作に応じて前記送信部が前記コマンドを送信するか否かが切替えられることを特徴とする請求項3に記載の携帯装置。
前記操作面に表示された前記画像は、放送番組に連動して通信によって得られた情報に基づき表示されたコンテンツ画面に含まれ、前記外部機器は、放送受信装置であることを特徴とする請求項1〜請求項4のいずれか1項に記載の携帯装置。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記端末連携サービスにより携帯端末に表示されたコンテンツ画面における例えばアイコン等の画像をタッチパネル等により操作しているときに、例えばテレビ装置の選局チャンネルや音量を変更したい場合、別途リモコン装置で操作する必要があった。
【0006】
なお、特許文献1には、複数のタッチセンサーが十字状に配列され、タッチセンサーを縦方向又は横方向になぞると、例えばテレビ装置においてメニューの縦方向又は横方向スクロールを操作できるリモコン装置が開示されているが、上記携帯端末における問題点を解決するものではない。
【0007】
上記状況に鑑み、本発明は、操作面に操作用の画像が表示された状態で、外部機器の遠隔操作も可能とする携帯装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために本発明の携帯装置は、
操作面と、
前記操作面に接触した操作物の接触が所定時間以内に開放されたか否かを判定する判定部と、
前記判定部により前記所定時間以内に接触が開放されたと判定されると、前記操作物により接触された位置に対応する前記操作面に表示された画像が操作されたとして、対応する制御を行う制御部と、
前記判定部により前記所定時間以内に接触が開放されなかったと判定されると、前記操作面に接触している前記操作物の移動動作を認識する認識部と、
前記認識部による認識結果に応じたコマンドを外部機器へ送信する送信部と、を備える構成としている。
【0009】
このような構成によれば、操作面に操作用の画像が表示された状態で、前記画像の位置をユーザが操作物によりタッチしてすぐに離せば、前記画像が操作されたとして対応する制御が行われる。また、上記状態で、操作面上で操作物によるなぞり動作を行えば、操作物の移動動作が認識され、認識結果に応じたコマンドが外部機器へ送信される。従って、外部機器を遠隔操作することが可能となる。
【0010】
また、上記構成において、前記認識部が前記操作物の一の移動動作を認識後、第2の所定時間以内に前記操作物の前記操作面への接触が無いと、前記送信部は前記一の移動動作の認識結果に対応する前記コマンドを送信し、
前記第2の所定時間以内に前記操作物の前記操作面への接触があると、前記認識部は前記操作物の他の移動動作の認識を試みることとしてもよい。
【0011】
このような構成によれば、ユーザは、一の移動動作のみによって外部機器の遠隔操作を行うことと、一の移動動作とその後に行われる他の移動動作によって外部機器を遠隔操作することを切替えることができる。これにより、例えば、1けたの数字のなぞり動作や、2けたの数字のなぞり動作によって外部機器を遠隔操作できる。
【0012】
また、上記いずれかの構成において、前記認識部による認識結果を前記操作面に表示させる表示制御部と、を備えることとしてもよい。
【0013】
このような構成によれば、ユーザは、操作面におけるなぞり動作の認識結果を表示により確認できる。
【0014】
また、上記構成において、前記表示制御部により前記操作面に前記認識結果が表示されたときの操作に応じて前記送信部が前記コマンドを送信するか否かが切替えられることとしてもよい。
【0015】
このような構成によれば、ユーザは、なぞり動作の認識結果が所望するものではなかった場合に、外部機器の遠隔操作をやめることが可能となる。
【0016】
また、上記いずれかの構成において、前記操作面に表示された前記画像は、放送番組に連動して通信によって得られた情報に基づき表示されたコンテンツ画面に含まれ、前記外部機器は、放送受信装置であることとしてもよい。
【0017】
このような構成によれば、放送番組に関連したコンテンツ画面が操作面に表示された状態で、操作用の画像を選択してコンテンツを楽しむこともできるし、操作面においてなぞり動作を行えば、放送受信装置を遠隔操作することもできる。
【発明の効果】
【0018】
本発明の携帯装置によると、操作面に操作用の画像が表示された状態で、外部機器の遠隔操作も可能とする。
【発明を実施するための形態】
【0020】
<第1実施形態>
以下に本発明の一実施形態について図面を参照して説明する。ここでは、ハイブリッドキャストに対応したスマートフォン(携帯装置の一例)とテレビ装置(放送受信装置の一例)から成るシステムを一例として説明する。
【0021】
本発明の第1実施形態に係るスマートフォンとテレビ装置から成るシステムの概略外観を
図1に示す。
図1に示す利用者が携帯可能なスマートフォン10は、外観で平板状の筐体を有し、当該筐体の前面側にタッチパネル103及び液晶パネル104が一体となった表示入力部を備える。タッチパネル103の表面が操作面となる。
【0022】
テレビ装置20は、デジタル放送を受信可能であり、受信した放送番組を表示画面201に表示させる。また、テレビ装置20は、ハイブリッドキャスト機能によって、放送番組に関連したコンテンツ情報をインターネット経由で取得し、例えばWi-Fiの無線通信によってスマートフォン10へコンテンツ情報を送信する。スマートフォン10は、テレビ装置20より取得したコンテンツ情報に基づきコンテンツを実行し、タッチパネル103を通じてコンテンツの画像が表示される。これにより、ユーザはテレビ装置20に表示された放送番組に連動したコンテンツを楽しむことができる。
【0023】
スマートフォン10のブロック構成を
図2に示す。
図2に示すように、スマートフォン10は、アンテナ101、第1無線通信部102、タッチパネル103、液晶パネル104、バックライト105、カメラ部106、操作部107、GPS受信部108、記憶部109、スピーカ110、マイク111、第2無線通信部112、電源部113、及び制御部114を備えている。
【0024】
第1無線通信部102は、移動通信網における基地局に対し無線通信を行う。この無線通信を用いて、音声データ、映像データ、電子メールデータ等の送受信や、Webデータやストリーミングデータ等の受信を行う。
【0025】
液晶パネル104は制御部114によって駆動され、表示させる映像に応じて各画素に対応する液晶が駆動されることで光の透過率が調整される。バックライト105は、液晶パネル104を背後から照明するものであり、例えばLEDと導光板を用いたエッジ型などが採用される。
【0026】
タッチパネル103は、液晶パネル104の表示画面上に表示される映像を視認可能に構成されて液晶パネル104上に載置され、ユーザの指などの操作物のタッチを検出する。タッチパネル103から出力された検出信号に基づき、制御部114はタッチパネル103上の操作位置を検出する。
【0027】
カメラ部106は、CMOSイメージセンサーなどの撮像素子を用いて電子撮像するものであり、撮像された画像を例えばJPEG形式で圧縮し、圧縮データを記憶部109に記憶させることができる。
【0028】
操作部107は、ユーザからの入力を受け付けるハードウェアキーであり、例えば
図1に示すように表示入力部(103、104)の下側に設けられる。
【0029】
GPS受信部108は、GPS衛星から電波を受信し、位置情報を取得して制御部114に出力するものである。
【0030】
記憶部109は、制御部114のための制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。なお、記憶部109は、例えばフラッシュメモリ、RAM、ROMなどにより構成される。
【0031】
マイク111は、ユーザが発した音声を取り込み、取り込まれた音声は制御部114により所定の処理を行われ、第1無線通信部102により基地局へ送信される。また、第1無線通信部102により受信された音声は、制御部114により所定の処理を行われてスピーカ110から出力される。これにより、ユーザは通話を行うことができる。なお、スピーカ110は、通話の音声に限らず、例えば第1無線通信部102により受信されたストリーミングデータに基づく音声など各種音声を出力できる。
【0032】
第2無線通信部112は、例えばWi-Fiなどによる無線通信を外部機器であるテレビ装置20と行うものである。
【0033】
電源部113は、スマートフォン10の各部に不図示であるバッテリに蓄電された電力を供給する回路である。
【0034】
制御部114は、マイクロプロセッサを備え、記憶部109に記憶された制御プログラムや制御データに従って動作し、スマートフォン10の各部を統括制御するものである。
【0035】
次に、ハイブリッドキャスト機能によりコンテンツ画面が表示されたスマートフォン10においてコンテンツ操作とテレビ装置20の遠隔操作を両立することができる操作制御について
図3A及び
図3Bに示すフローチャートを用いて説明する。
【0036】
ハイブリッドキャスト機能により第2無線通信部112がテレビ装置20より受信したコンテンツ情報に基づき制御部114が液晶パネル104にコンテンツ画面を表示させている状態で、タッチパネル103に操作物(指など)が接触すると
図3Aに示す処理が開始される。
【0037】
まず、ステップS1で、制御部114は、タッチパネル103から操作物が離れたか否かを判定し、もし離れていなければ(ステップS1のN)、ステップS2に進み、第1所定時間が経過したか否かを判定する。ここで、第1所定時間は、ユーザがコンテンツ画面をタッチにより操作する際のタッチパネル103への操作物の接触時間を考慮して設定される。第1所定時間が経過していなければ(ステップS2のN)、ステップS1へ戻る。
【0038】
第1所定時間が経過する前に操作物がタッチパネル103から離れたと判定すれば(ステップS1のY)、ステップS9へ進む。ステップS9では、タッチパネル103の操作面に表示されたコンテンツ画面が操作されたものと判断し、制御部114は、操作物の接触位置に表示された画像に対応した処理を行う。
【0039】
例えば、
図4に示すようにタッチパネル103の操作面にコンテンツ画面としてアイコンPがマトリクス状に配列されて表示された状態で、或るアイコンPを操作物S(
図4では指)によりタッチして即座に離した場合、ステップS9において、タッチされたアイコンPに対応する動作が行われる。例えば、アイコンPが放送番組の登場人物を示すものであって、その登場人物に関するテキスト情報が表示される等である。
【0040】
一方、第1所定時間が経過しても操作物はタッチパネル103から離れていない場合(ステップS2のY)、タッチパネル103をなぞる動作が行われているとして、ステップS3に進む。ステップS3で、制御部114は、操作物がタッチパネル103から離れたか否かを判定し、離れていない間(ステップS3のN)、操作物による接触位置を監視する。
【0041】
そして、操作物が離れたと判定されると(ステップS3のY)、ステップS4に進み、制御部114は、上記で監視した操作物による接触位置の軌跡に基づいて記号(数字など)の認識を試みる。もし、記号の認識が可能であった場合(ステップS4のY)、ステップS5に進み、制御部114は、次の記号を操作物により入力される可能性があるかを判定する。
【0042】
入力される可能性がある場合とは、例えば、今回認識された記号が数字の「1」等であり、二けた目(十進数の1の位の数字)を入力される可能性がある場合や、今回認識された記号が「○」であり、もう一度「○」が入力される可能性がある場合である。一方、入力される可能性が無い場合とは、例えば、今回認識された記号が数字の「9」等であり、二けた目の入力が想定されていない場合や、二けた目まで認識されており、三けた目の入力は想定されていない場合や、今回認識された記号が「×」であり、これ以上記号が入力されることは想定されていない場合である。
【0043】
ステップS5において、次の記号を入力される可能性がある場合(ステップS5のY)、ステップS6に進み、制御部114は、操作物はタッチパネル103に接触しているか否かを判定する。もし接触していない場合は(ステップS6のN)、ステップS7に進み、第2所定時間が経過したか否かを判定する。もし第2所定時間が経過していない場合は(ステップS7のN)、ステップS6に戻る。第2の所定時間が経過する前に操作物が接触すれば(ステップS6のY)、ステップS3に戻る。
【0044】
また、ステップS5において、次の記号を入力される可能性が無い場合(ステップS5のN)、又は、操作物が接触しないまま第2所定時間が経過した場合(ステップS7のY)、ステップS8に進み、制御部114は、現状認識している記号に対応したコマンドを第2無線通信部112を介して外部機器であるテレビ装置20へ送信する。これにより、外部機器を遠隔操作できる。
【0045】
例えば、タッチパネル103の操作面において操作物により数字の「1」をなぞった場合、ステップS4で「1」が認識され、二けた目である「2」のなぞり動作が行われると(ステップS6のY)、ステップS4で二けた目の数字「2」が認識される(
図5に一例を示す)。ここで、さらに次の記号を入力される可能性はないので(ステップS5のN)、今まで認識された「1」及び「2」に対応したチャンネル番号「12」を選局するコマンドをテレビ装置20に送信する。
【0046】
一方、数字の「1」をなぞった後、操作面に操作物を接触させなければ(ステップS7のY)、そのままステップS8に進み、「1」に対応したチャンネル番号「1」を選局するコマンドをテレビ装置20に送信する。
【0047】
また、タッチパネル103の操作面において操作物により「○」をなぞった場合、ステップS4で「○」が認識され、操作面に操作物を接触させなければ(ステップS7のY)、そのままステップS8に進み、「○」に対応した音量を1段階上昇させるコマンドをテレビ装置20に送信する。また、タッチパネル103の操作面において操作物により「○」を2回なぞった場合は、2回のステップS4において「○」が認識され、ステップS8に進み、2つの「○」に対応した音量を2段階上昇させるコマンドをテレビ装置20に送信する。
【0048】
ステップS4で記号を認識することができなかった場合(ステップS4のN)、ステップS10に進む。ステップS10で、制御部114は、上記で監視された操作物の接触位置の軌跡が記号の一部であるかを判定する。例えば、数字の「4」や「×」といった記号は、一筆書きができないため、操作物がタッチパネル103から離れたときの接触位置の軌跡が記号の一部である場合がある。もし、ステップS10で記号の一部ではない場合は(ステップS10のN)、操作物による誤入力があったとして、そのまま処理は終了となる(エンド)。
【0049】
一方、ステップS10で接触位置の軌跡が記号の一部であると判定された場合(ステップS10のY)、ステップS11(
図3B)に進み、制御部114は、操作物はタッチパネル103に接触しているかを判定する。接触していなければ(ステップS11のN)、ステップS12に進み、制御部114は、第3所定時間が経過しているかを判定する。経過していなければ(ステップS12のN)、ステップS11に戻る。第3所定時間が経過する前に操作物がタッチパネル103に接触すれば(ステップS11のY)、ステップS13に進む。
【0050】
ステップS13で、制御部114は、操作物がタッチパネル103から離れたか否かを判定し、離れていない間(ステップS13のN)、操作物による接触位置を監視する。
【0051】
そして、操作物が離れたと判定されると(ステップS13のY)、ステップS14に進み、制御部114は、上記で監視した操作物による接触位置の軌跡に基づいて記号の認識を試みる(ステップS3で操作物がタッチパネル103から離れたときの軌跡も含めて認識する)。もし、記号の認識が可能であった場合(ステップS14のY)、ステップS5(
図3A)に進み、次の記号を入力される可能性があるかが判定される。
【0052】
一方、ステップS14で記号を認識することができなかった場合は(ステップS14のN)、誤入力があったとして、そのまま処理が終了する(エンド)。また、操作物のタッチパネル103への接触がないまま第3所定時間が経過した場合も(ステップS12のY)、誤入力として、そのまま処理は終了となる(エンド)。
【0053】
このような処理により、一筆書きできない記号を操作物によりなぞった場合でも、対応するコマンドをテレビ装置20に送信できる(ステップS8)。例えば、「×」という記号をなぞった場合、電源をオフにするコマンドを送信することができる。
【0054】
以上のように本実施形態によれば、ハイブリッドキャスト機能によりタッチパネル103の操作面にコンテンツ画面が表示された状態で、画像を選択操作することもできるし、なぞり動作によって外部機器であるテレビ装置20を遠隔操作することもできる。
【0055】
なお、コマンドについては、第2無線通信部112を用いずに、例えばスマートフォン10に別途設けられた赤外線通信部によってテレビ装置20に送信してもよい。
【0056】
<第2実施形態>
次に、本発明の第2実施形態について説明する。本実施形態では、スマートフォン10において、制御部114により液晶パネル104(即ちタッチパネル103の操作面)にOS(オペレーティングシステム)のホーム画面(例えばAndroid(登録商標)のホーム画面)が表示された状態で、操作物によりタッチパネル103が接触されると
図3Aに示した処理が開始される。
【0057】
これにより、OSのホーム画面に表示された例えばアイコン等の画像が操作物によりタッチされて操作物が即座に離されると、
図3AのステップS9に進んで、選択された画像に対応した処理を制御部114が行う。例えば、タッチされたアイコンに対応したアプリケーションを起動させる。
【0058】
一方、操作面にホーム画面が表示された状態で操作物によりなぞる動作を行った場合は、認識された記号(ステップS4等)に応じたコマンドがテレビ装置20に送信される。
【0059】
このように本実施形態によれば、操作面にOSのホーム画面が表示された状態で画像を選択操作することもできるし、なぞり動作によって外部機器であるテレビ装置20を遠隔操作することもできる。即ち、本発明は、先の第1実施形態のようなハイブリッドキャスト機能が必須ではない。
【0060】
<第3実施形態>
次に、本発明の第3実施形態について説明する。本実施形態は、第1実施形態での
図3Aの処理における、ステップS8でのコマンド送信の前に、一度ユーザに確認を取るものである。
【0061】
具体的には、ステップS8でのコマンド送信の前に、制御部114は、現状認識されている記号を液晶パネル104に表示させつつ、表示されている記号にてコマンド送信を決定してもよいかをユーザに確認する選択肢も液晶パネル104に表示させる。
【0062】
例えば、
図6に示す一例では、認識された記号である数字の「12」がタッチパネル103の操作面に表示されつつ、ユーザへ確認するための選択肢R1、R2が表示されている。ここで、制御部114は、決定してもよいという選択肢R1が操作面でタッチされたと判定すれば、制御部114は対応するコマンドを送信し、もう一方の選択肢R2がタッチされたと判定すれば、コマンド送信は行わずに処理を終了する。
【0063】
これにより、ユーザは、操作面をなぞった動作の認識結果を確認でき、自身が所望しない認識結果であれば、選択肢を選択することでコマンド送信をやめることができる。
【0064】
なお、選択肢を設けず、認識結果が表示されてから所定時間以内に操作面がタッチされるとコマンド送信され、タッチされなければコマンド送信がされないようにしてもよい。
【0065】
以上、本発明の実施形態について説明したが、本発明の趣旨の範囲内であれば、実施形態は種々の変形が可能である。