【実施例】
【0027】
図3は、本発明の実施例に係る電子システムの構成を示す図である。本実施例の電子システム100は、情報端末110と、情報端末110に接続手段120を介して接続された電子装置130とを含んで構成される。好ましくは、情報端末110として、通信機能を備えた多機能型のスマートフォンが用いられる。電子装置130は、例えば、テレビ受信機能、CDやDVD等のメディア再生機能を備え、さらに車内空間にディスプレイやスピーカを備える。
【0028】
本実施例では、接続手段120は、USB(Universal Serial Bus)ケーブルを用いるが、これに加えてまたはこれに代えて、ブルーツース(登録商標)等の他の無線通信を用いてもよい。接続手段120は、情報端末110から電子装置130へ画像データを送信する信号線と、音声データを送信する信号線と、情報端末110と電子装置130間で制御データを送受する信号線とを含んでいる。情報端末110および電子装置130の各々は、画像データ、音声データおよび制御データをターミナルモードの仕様で通信制御するための通信プロトコルをサポートし、電子装置130が情報端末110を遠隔操作することができるターミナルモードで動作することを可能にする。
【0029】
好ましくは、音声データは、RTP(Real Time Protocol)により通信制御され、画像データは、RFB(Remote Transport Protocol)を用いて通信制御される。これらの通信制御は、プロトコルの拡張が可能であり、音声データおよび画像データに拡張情報を付加することが可能である。本実施例のターミナルモードでは、音声データおよび画像データの拡張情報として、情報端末110が実行するアプリケーションを識別するためのアプリケーション識別情報やそこに含まれる動作態様を識別する識別情報、および全般的な動作のカテゴリーを識別する識別情報が付与されている。こうした音声データおよび画像データの全般的なまたは詳細な種別/意味を表す識別情報は、音声転送プロトコルおよび画像転送プロトコルに含められる。
【0030】
図4(A)は、音声データおよび画像データに付加される識別情報の例を示している。ここでは、音声データおよび画像データには、同じ識別情報が付加されている。図に示すように、音声データおよび画像データには、メニュー、ナビゲーション(通常)、交差点案内、電話着信、電話発信、メディア再生などをそれぞれ識別するための識別情報0001、0002、0003、0004、0005、0006が割り当てられる。情報端末110は、ターミナルモードにおいて、音声データおよび画像データを電子装置130へ転送するとき、音声/画像プロトコルに識別情報を含める。
図4(B)は、音声データおよび画像データに識別情報が付加された態様を示している。電子装置130は、情報端末110から受信した音声/画像プロトコルに含まれた識別情報を検出し、識別情報に基づき音声データや画面データの出力制御を行う。
【0031】
図5は、情報端末の典型的な構成を示すブロック図である。情報端末110は、ユーザからの入力を受け取る入力部200、接続手段120により電子装置130との接続を可能にする通信接続部210、ディスプレイに種々の画像を表示する表示部220、音声を出力する音声出力部230、外部のネットワークとのデータ通信、および公衆無線回線網を介しての電話機との通話等を可能にする通信部240、制御部250、情報端末110が保有するアプリケーション、プログラム等を格納するプログラムメモリ260、音声データ、画像データ、道路地図データなど種々のデータを記憶するデータメモリ270、各部を接続するバス280とを備えている。
【0032】
プログラムメモリ260には、種々のアプリケーションソフトウエアやプログラムが格納され、制御部250は、プログラムメモリ260に格納されたアプリケーションやプログラムを実行する。プログラムメモリ260には、例えば、データメモリ270に格納された音声データや画像データを再生するアプリケーション、ゲームを実行するアプリケーション、ナビゲーションを実行するアプリケーション、音声通話を可能にするアプリケーション、通信部240を介してインターネット上の情報をブラウズするためのアプリケーションなどが格納される。
【0033】
さらにプログラムメモリ260には、情報端末110が接続手段120を介して電子装置130に接続されたとき、ターミナルモードを制御する拡張プログラムが格納される。拡張プログラムは、電子装置130からユーザ操作による入力操作情報やその他のコマンド情報を受け取り、それに応答して情報端末側のアプリケーションを起動させたり、あるいはアプリケーションを終了させる。さらに拡張プログラムは、起動されたアプリケーションに関する画像データおよび音声データに上記の識別情報を、上記の音声転送プロトコルおよび画像転送プロトコルに従い電子装置130に転送し、その際、転送される画像データおよび音声データに、
図4(A)に示すようなアプリケーションの識別情報および/またはアプリケーションの詳細な種別や意味を表す識別情報を付加する。
【0034】
また、制御部250は、情報端末において複数のアプリケーションが実行されているとき、例えば、音楽再生のアプリケーションとナビゲーションのアプリケーションが実行されているとき、一方のアプリケーションに関する画像データをフォアグランド処理して表示部220に表示させ、他方のアプリケーションに関する画像データをバックグランド処理して非表示にする。例えば、表示部220には、音楽再生画面が表示され、自車位置周辺の道路地図等を表したナビゲーション画面がバックグランド処理により非表示にされる。音声出力部230からは、音楽再生された楽曲が出力される。ターミナルモードでは、フォアグランドの画像データおよび音声データが電子装置130へ転送される。また、制御部250は、電子装置130から通信接続部210を介してアプリケーションの起動を要求する信号を受信すると、当該アプリケーションをフォアグランド処理し、その画像データを表示させることができる。アプリケーションの起動を要求は、例えば、ユーザが電子装置のディスプレイに表示されたアイコンを選択することによって行うことができ、さらに本実施例では、後述するように、情報端末側の割り込み事象が発生したと判定されたとき、電子装置側が自動的にアプリケーションの起動を要求する信号が出力される。
【0035】
図6は、電子装置の典型的な構成を示すブロック図である。同図に示すように、電子装置130は、ユーザからの入力を受け取る入力部300、接続手段120により情報端末110との接続を可能にする通信接続部310、ディスプレイに画像データを表示させる表示制御部320、スピーカから音声を出力させる音声出力部330、種々のメディアの再生等を実行するマルチメディア部340、制御部350、アプリケーション等を実行するための種々のプログラムを格納するプログラムメモリ360、オーディオデータ、ビデオデータ、地図データなどのデータを記憶するデータメモリ370、各部を接続するバス380とを備えている。
【0036】
マルチメディア部240は、CD、DVD、ブルーレイディスク、メモリ媒体、データメモリ270などに記録された音声データや画像データを再生する機能、テレビ放送やラジオ放送を受信・再生する機能などを有する。プログラムメモリ360には、ナビゲーションに関するアプリケーションやマルチメディア部240を制御するプログラムに加え、情報端末110が接続されたときのターミナルモードを制御するプログラムなどが記憶される。プログラムメモリ360のプログラムやアプリケーションは制御部350によって実行される。なお、電子装置130は、ナビゲーション動作に必要なGPS測位情報、車速情報、方位情報などを受け取ることができる。
【0037】
さらにプログラムメモリ360は、ターミナルモードにおいて、情報端末110から転送される音声データおよび/または画像データの出力を制御する出力制御プログラムを備える。
図7は、出力制御プログラムの機能ブロック図である。出力制御プログラム400は、通信接続部310を介して情報端末110から受信された音声データおよび画像データに付与された識別情報を検出する識別情報検出部410と、識別情報検出部410で検出された識別情報に基づき情報端末側に割り込み事象が発生したか否かを判定する割り込み判定部420と、割り込み判定部420の判定結果に基づき情報端末110に対しアプリケーションの起動を要求する信号を出力する出力制御部430とを有する。また、ある実施例では、出力制御部430は、電子装置側の表示制御部320の表示画面の制御および音声出力部330の音声出力の制御を行う。
【0038】
次に、電子装置130のターミナルモードへの移行を
図8のフローチャートを参照して説明する。ターミナルモードは、電子装置130が情報端末110を遠隔操作し、かつ情報端末110から転送される音声データおよび映像データを出力することができる動作モードである。情報端末110が、例えばUSBケーブルを介して電子装置130に接続されると(S101)、USBプラグ・アンド・プレイにより相互に機器認識が行われる。次いで、電子装置130は、情報端末110に対し当該情報端末がターミナルモードをサポートしているか否かを問い合わせる(S102)。電子装置130は、情報端末110からターミナルモードに対応している旨の返信を受けると(S103)、ターミナルモードで動作を開始する(S104)。同時に、情報端末110もターミナルモードでの動作が可能になる。なお、USB接続が有効であるとき、情報端末110は、電子装置130からの電力供給を受けることができ、バッテリーの充電が可能となる。
【0039】
ターミナルモードに移行されると、情報端末110のディスプレイの表示画面である画像データが電子装置130へ転送され、それと同じ表示画面が電子装置130のディスプレイに出力される。ディスプレイには、電子装置130から遠隔操作が可能な情報端末110のアプリケーションのアイコンやメニューなどが表示される。ディスプレイがタッチパネル入力に対応している場合には、タッチパネルを介してユーザの入力操作(座標情報)が情報端末110へ伝えられ、入力操作に応じた処理が情報端末110において実行される。マウスやリモコンなどの他の入力インターフェースからの入力操作も同様である。
【0040】
次に、ターミナルモード時における電子装置の割り込み発生時の画像データの出力制御について説明する。
図9は、情報端末110が同時に複数のアプリケーション、ここでは2つのアプリケーションを実行しているときに情報端末側に割り込み事象が発生したときの動作シーケンスを示している。
【0041】
情報端末110において、ナビゲーションのアプリケーションと音楽再生のアプリケーションが同時に実行され、音楽再生のアプリケーションに関する音楽再生画面がフォアグランド画面として表示され、ナビゲーション画面がバックグランド画面として非表示であるとする(S201)。情報端末110は、例えば、ユーザによって最後に起動されたアプリケーションをフォアグランド処理する。ターミナルモードでは、情報端末110は、フォアグランド画面である音楽再生画面の画像データと、音楽再生された音声データとを電子装置130へ転送する。また、画像データおよび音声データには、メディア再生のアプリケーションであることを示す識別情報(0006:メディア再生)が付加される。一方、電子装置130において、情報端末110から転送された音楽再生画面がディスプレイに表示され、スピーカからは音楽再生された音声データが出力される(S301)。
図10(A)は、電子装置130のディスプレイ322において音楽再生画面が表示された例を示している。
【0042】
ナビゲーションにおいて、目的地までのルート設定がされているとき、自車または情報端末110の移動に伴い、あるタイミングで交差点案内の割り込み事象が発生する。このとき、情報端末110は、交差点案内の音声出力の割り込みを行う(S202)。これにより、情報端末110からの音楽再生の音声データの転送が中止され、割り込み処理された交差点案内の音声データが電子装置130へ転送される。この際、交差点案内の音声データには、それを識別するための識別情報(0003:交差点案内)が付与される。
【0043】
電子装置側の識別情報検出部410(
図7)は、音声データに付与された識別情報を検出し、これを割り込み判定部420へ提供する。割り込み判定部420は、識別情報に変化があったこと、すなわち、識別情報が「0006」から「0003」に変化があったことから情報端末側に割り込み事象が発生したと判定する。この判定結果は出力制御部430へ伝えられ、出力制御部430は、情報端末110に対し、ナビゲーションの起動を要求する信号を出力する。こうして、電子装置側は、割り込みモードに突入される(S302)。
【0044】
情報端末110は、通信接続部210を介してナビゲーションの起動信号を受信すると、この起動信号に応答して、フォアグランド画面とバックグランド画面の切換えを行いナビゲーション画面がフォアグランドとなり、音楽再生画面がバックグランドになる(S203)。これにより、情報端末110からは、フォアグランドのナビゲーション画面が電子装置130へ転送される。このとき、フォアグランド画面として転送される画像データには、交差点案内を示す識別情報が付加される。
【0045】
電子装置130は、情報端末110から転送されたナビゲーション画面を受信し、これをディスプレイに表示させる(S303)。こうして、交差点案内の音声データの検出に応答して、電子装置側の表示画面を交差点案内を含むナビゲーション画面に変更させることができる。
図10(B)は、電子装置のディスプレイ322の表示画面が、音楽再生画面からナビゲーション画面に遷移した例を示している。
【0046】
その後、交差点案内の割り込み事象が終了すると(S204)、情報端末110は、再び、音楽再生による音声データを電子装置130に出力する。音声データには、メディア再生である識別情報「0006」が付加される。
【0047】
電子装置側の識別情報検出部410は、音声データに付加されたメディア再生である識別情報を検出し、割り込み判定部420は、識別情報が「0003」から「0006」に変化したことにより、割り込み事象が終了したと判定する。この判定結果に基づき、出力制御部430は、割り込みモードを解除するため、情報端末110に対し、音楽再生のアプリケーションを起動する信号を出力する(S304)。
【0048】
情報端末110は、音楽再生のアプリケーションの起動信号を受信すると、音楽再生画面をフォアグランドに、ナビゲーションをバックグラウンドに変更する(S205)。これにより、情報端末110からは、音楽再生画面の画像データ、および音楽再生された音声データが電子装置130へ出力され、電子装置130のディスプレイの表示画面は、音楽再生画面に遷移される(S305)。
【0049】
上記実施例では、電子装置側の出力制御部430は、情報端末110から転送される音声データの識別情報が変化されたことをトリガーに、情報端末側の表示画面の切換えを要求する信号を出力するようにしたが、画像データに付加される識別情報に基づき割り込みを判定するようにしてもよい。但し、画像データの識別情報を検出するには、当該画像データが情報端末においてフォアグランド処理されている必要があるため、必ずしも、確実に割り込み事象の発生を判定することができない点に留意すべきである。
【0050】
さらに、上記実施例では、ナビゲーションの1つの動作態様である交差点案内に識別情報を付与することによって、割り込み事象の発生を判定したが、これ以外にも、アプリケーションに付与された識別情報の変化によって割り込み事象の発生を判定してもよい。例えば、音楽再生のアプリケーションの識別情報からナビゲーションのアプリケーションの識別情報に変更されたとき、メニューのアプリケーションの識別情報からナビゲーションのアプリケーションの識別情報に変更されたとき、ナビゲーションのアプリケーションの識別情報から電話着信や発信の通話を行うためのアプリケーションの識別情報に変更されたときのように、音声データに付与された識別情報がアプリケーション単位で変化されたときに、携帯端末側に割り込み事象が発生したと判定することも可能である。
【0051】
さらに、割り込み事象が発生したと判定したとき、電子装置側から情報端末に対してアプリケーションの起動を要求する信号を出力するようにしたが、これは一例であり、情報端末側の仕様に応じた信号とすることができる。要は、割り込み事象が発生したと判定されたアプリケーションに関する画像データが情報端末側でフォアグランド処理されて電子装置に転送されるような制御信号または選択信号であればよい。
【0052】
次に、本発明の第2の実施例について
図11を参照して説明する。
図11は、情報端末110からの画像データの識別情報をトリガーにして電子装置側のフォアグランド画面とバックグランド画面の切換えを行うものである。ここでは、ターミナルモードにおいて、情報端末110がナビゲーションのアプリケーションを実行しているものとする。情報端末110は、車内に持ち込まれ、自車位置を検出し、自車位置周辺の道路地図を含むナビゲーション画面を表示する(S401)。そして、ナビゲーションに関する画像データおよび音声データは、情報端末110から電子装置130へ転送される。
【0053】
一方、電子装置130において、マルチメディア部240が動作され、例えば、CD、DVD等のメディアが再生され、電子装置130のディスプレイには、フォアグランド画面として音楽再生画面が表示され、情報端末110からのナビゲーション画面がバックグランド処理により非表示にされる(S501)。
【0054】
情報端末110において、交差点案内の割り込みが発生すると(S402)、交差点案内の画像データおよびその音声データが電子装置130へ転送される。この画像データには、交差点案内を示す識別情報(
図4の「0003」)が付加される。電子装置側の識別情報検出部410は、画像データに含まれる交差点案内の識別情報を検出し、割り込み判定部420は、画像データの識別情報が変化したことにより(「0002」から「0003」)、割り込み事象が発生したと判定し、割り込みモードに突入する(S502)。
【0055】
出力制御部430は、情報端末110に対してアプリケーションの起動を要求する信号を出力するのではなく、電子装置側の表示制御部320の表示画面の切換えを制御する。すなわち、ナビゲーション画面がフォアグランド画面として表示され、音楽再生画面がバックグランド画面として非表示となるように制御する(S503)。その後、情報端末側の交差点案内が終了し、通常のナビゲーション画面に切り替わると(S403)、画像データに付加された識別情報が通常のナビゲーション「0002」に変更される。電子装置側において、通常のナビゲーションの識別情報「0002」が検出され、割り込み判定部420は、割り込み事象が終了したと判定し、割り込みモードを解除する(S504)。これにより、出力制御部430は、音楽再生画面をフォアグランド画面にし、ナビゲーション画面をバックグランド画面に切替える(S505)。
【0056】
このように、第2の実施例によれば、画像データの識別情報が変化したことに応答して電子装置側の表示画面の切換えを行うことで、遅滞なく割り込み画像を表示させることができ、割り込み画像と割り込み音声とを同期させることができる。なお、第2の実施例においても、第1の実施例と同様に、情報端末110からの音声データの識別情報の変化をトリガーにして、電子装置側の表示画面の切換えを行うことも可能である。
【0057】
さらに第1および第2の実施例では、音声データおよび/または画像データの識別情報の変化が生じたときに割り込み事象の発生および終了を判定したが、識別情報が割り込み事象であることを認識することができる場合には、必ずしも識別情報の変化により割り込み事象の発生を判定することを要しない。例えば、電子装置側において、識別情報と割り込み事象との関係を規定した判定テーブルなどをメモリ等に用意しておき、識別情報「0003」が検出された場合には、判定テーブルを参照し、判定テーブルに識別情報「0003」が含まれていれば、割り込み事象が発生したと判定するようにしてもよい。
【0058】
次に、本発明の第3の実施例について説明する。第3の実施例では、割り込み事象が競合したときの音声および画像データの出力制御に関する。好ましくは、出力制御部430は、割り込み事象が競合したとき、優先的に出力させるアプリケーションを予め規定した優先順位情報をメモリ等に格納する。この優先順位情報は、ユーザによって変更することが可能である。
図12は、割り込みモード時に、電子装置側で交差点案内による交差点拡大図を表示中に、情報端末から他の割り込みとしての着信を受信したときの出力例を示している。
【0059】
図12(A)は、画像が電話優先、音声が電話優先とされている例である。
図12(A)の左図に示すように、電子装置130のディスプレイには、自車位置周辺の道路地図画像500上に交差点案内画像510が割り込み表示されている。これらの画像データは、情報端末110から転送されるものであって、割り込み判定部420により割り込み事象が発生したと判定されたことに応答して表示される。ここで、情報端末110に電話の着信があると、情報端末110は、着信の割り込み処理を行い、着信画面および着信音を割り込み出力する。これにより、情報端末110から転送される音声データおよび画像データには、電話着信の識別情報「0004」が付加され、この識別情報が電子装置130において検出される。
【0060】
電子装置側の割り込み判定部420は、検出した識別情報に基づき割り込み事象が発生したと判定し、その判定結果を出力制御部430へ提供する。出力制御部430は、優先順位情報に従い電子装置側の音声出力および画像出力を制御する。
図12(A)の例は、音声および画像ともに電話着信を優先されるため、交差点案内画像510もしくは道路地図画像500上に、着信があったことを示す着信画像520が割り込み表示される。着信画像520は、発信者の電話番号等の表示を含む。また、情報端末110からの着信音530が電子装置側のスピーカから出力され、交差点案内の音声データは音声出力部330によりフィルタリングされ出力されない。
【0061】
図12(B)は、画像が着信を優先させ、音声がナビゲーションを優先させる例である。この場合には、着信画面520は割り込み表示されるが、着信音の音声データは音声出力部33によりフィルタリングされ出力されず、交差点案内音声540が電子装置側のスピーカから出力される。
【0062】
図12(C)は、画像が電話着信を優先し、音声がナビゲーションを優先させる例である。この場合には、情報端末110から転送された着信画像の画像データは、表示制御部320によりフィルタリング処理され非表示となる。一方、着信音530が音声出力され、交差点案内の音声データがフィルタリングされ、出力されない。
【0063】
図12(D)は、画像および音声ともにナビゲーションを優先する例である。この場合には、電話着信の割り込み事象が発生すると判定されても、着信画面の画像データおよび着信音の音声データは、それぞれフィルタリング処理され、電子装置側から出力されない。この場合、着信画像を保存しておき、ナビゲーションの交差点拡大図表示が終了した時点で、保存しておいた着信画像や、着信があったことを伝える独自に生成された画像を表示することも可能である。
図13(A)は、交差点案内画像510および交差点案内音声540を出力した状態を示し、
図13(B)は、交差点の割り込み終了後に、電子装置側で用意された独自の「着信あり」の着信画面522を、音声再生画面550上に表示している例である。
【0064】
第3の実施例によれば、画像データおよび音声データに付与された識別情報に基づき、画像および音声の割り込み出力をそれぞれ制御することができる。
【0065】
このように本実施例によれば、従来の割り込み処理と比較して、ソフトウェア/ハードウェアの開発工期、コストの削減をすることが可能になる。また、電子装置側で、必要に応じて自由に音声再生や画面切り替えを行うことが可能となり、製品仕様の自由度が向上されるため、ユーザにとってより魅力的な製品を提供することができる。さらに、電子装置において音声および画像に同期した割り込みの実現が可能となる。さらに、走行制限時などに、識別情報から音声データおよび画像データを識別することで、ユーザに見せたくない画面、聞かせたくない音声を電子装置側で遮断することが可能になる。
【0066】
なお、上記実施例では、主に、アプリケーションとして、音声再生、ナビゲーション、電話着信などが実行される例を示したが、これらは一例であって、他のアプリケーションにも適用することができる。さらに、音声転送プロトコルと画像転送プロトコル両方に識別情報を付加する必要はなく、どちらかに一方に識別情報を入れて対応することも可能である。例えば、ナビゲーションの割り込み音声は、割り込み画像とほぼ同期しているため、音声転送プロトコルの識別情報だけでも従来の精度と同等の割り込みを実現することができる。
【0067】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。