特許第6243380号(P6243380)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ロベルト ボッシュ ゲー.エム.ベー.ハー.の特許一覧

<>
  • 特許6243380-電話機の遠隔制御 図000002
  • 特許6243380-電話機の遠隔制御 図000003
  • 特許6243380-電話機の遠隔制御 図000004
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6243380
(24)【登録日】2017年11月17日
(45)【発行日】2017年12月6日
(54)【発明の名称】電話機の遠隔制御
(51)【国際特許分類】
   G06F 13/00 20060101AFI20171127BHJP
   H04M 11/00 20060101ALI20171127BHJP
   H04M 1/00 20060101ALI20171127BHJP
【FI】
   G06F13/00 357Z
   G06F13/00 550P
   H04M11/00 301
   H04M1/00 V
【請求項の数】2
【外国語出願】
【全頁数】15
(21)【出願番号】特願2015-141578(P2015-141578)
(22)【出願日】2015年7月15日
(62)【分割の表示】特願2013-512222(P2013-512222)の分割
【原出願日】2011年5月25日
(65)【公開番号】特開2015-222584(P2015-222584A)
(43)【公開日】2015年12月10日
【審査請求日】2015年8月4日
(31)【優先権主張番号】12/790,180
(32)【優先日】2010年5月28日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】595041660
【氏名又は名称】ロベルト ボッシュ ゲー.エム.ベー.ハー.
(74)【代理人】
【識別番号】100082072
【弁理士】
【氏名又は名称】清原 義博
(72)【発明者】
【氏名】フェンガー,イェンス
【審査官】 米倉 秀明
(56)【参考文献】
【文献】 特開2003−273979(JP,A)
【文献】 特開2008−078696(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 13/00
H04M 1/00
H04M 11/00
(57)【特許請求の範囲】
【請求項1】
携帯電子装置を遠隔制御する方法であって、該方法は:
前記携帯電子装置とユーザインターフェースを有する遠隔電子装置の間の通信を始める工程、
前記携帯電子装置の第1の出力を第1のHTMLファイルに変換する工程、
前記携帯電子装置から前記遠隔電子装置に第1のHTMLファイルを送信する工程、
前記遠隔電子装置によって受け取られた第1のHTMLファイルに依存して前記遠隔電子装置に第2の出力を示す工程、
前記遠隔電子装置から前記携帯電子装置にデータを送信する工程、
前記遠隔電子装置からのデータを処理するために、前記携帯電子装置内のアプリケーションを識別する工程、
前記アプリケーション内で前記遠隔電子装置からのデータを処理する工程、
前記遠隔電子装置からのデータの処理に基づいて前記携帯電子装置内の第3の出力を生成する工程、
前記携帯電子装置の第3の出力を第2のHTMLファイルに変換する工程、
及び、前記第2のHTMLファイルを前記携帯電子装置から前記遠隔電子装置に送信する工程を含み、前記携帯電子装置内で生成された前記第1及び第3の出力はライブビデオストリームに符号化される2D/3Dコンテンツと、音声ストリームに符号化される音声コンテンツを含み、
前記第1及び第2のHTMLファイルは、前記ビデオストリームおよび音声ストリームが前記遠隔電子装置上でユーザーに提供されるように、前記ビデオストリームおよび音声ストリームを参照し、
前記携帯電子装置が、意味データおよびセンサーデータを、前記第1のHTMLファイル及び前記第2のHTMLファイルに埋め込み、
前記携帯電子装置から送信されるCSSコンテンツが、前記遠隔電子装置で動作する他のアプリケーションによって使用される、レイアウト、配色、又はグラフィックデザインと一致するように修正され、
前記遠隔電子装置によって、第1の電話機から受け取ったデータが、第2の電話機又はインターネット上の他のデータ源から受け取った追加の情報と組み合わされる
ことを特徴とする方法。
【請求項2】
前記携帯電子装置内のアプリケーションがナビゲーションシステムを含み、
前記携帯電子装置内で生成された第1および第3の出力はグラフィカルマップおよび音声による命令を含み、
該グラフィカルマップのレンダリングがライブビデオストリームに符号化され、
音声による命令のライブビデオストリームは遠隔電子装置に送信され、
前記第1及び第2のHTMLファイルは前記ビデオストリームおよび音声ストリームを参照し、到着時間及び/又は前記遠隔電子装置が現在の通りの名前を含んでなる
請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
1.発明の分野
本発明は、携帯電話と、とりわけ、外部装置によって携帯電話を遠隔制御する方法とに関する。
【背景技術】
【0002】
2.関連技術の詳細
最先端の電話機は、電話機を遠隔制御する選択肢が非常に限られている。Bluetooth(登録商標)は、遠隔装置から非常に特殊な機能にアクセスすることを可能にする。例えば、Bluetooth(登録商標)のハンズフリーの特性は、電話帳にある番号をダイヤルし、その後、ハンズフリー装置または車の音声システムのような遠隔装置に音声データを送信することを可能にする。電話機の新しい機能を制御する必要がある場合、新しいBluetooth(登録商標)特性が与えられ、電話機と制御装置とによってサポートされる必要がある。新しいBluetooth(登録商標)特性を提供し、サポートする要件は、この手法の柔軟性を著しく低下させ、車のような分野で配備される装置をアップグレードすることを一般的に不可能にする。
【0003】
Nokiaの特許文献1は、自動車環境のために設計された電話機の遠隔制御について記載している。Nokiaの発明は、電話機の限られた量の機能に強固に統合されている。この技術を念頭に置いて特別に設計されたアプリケーションのみが、遠隔電子装置の機能を利用することができる。その発明は、この拡張を念頭に置いて設計されなかった電話機で利用できる無限にある第3のアプリケーションを、どのように制御するかを教示していない。
【0004】
上記の制限に対処するために、表示コンテンツを遠隔装置と共有することを可能にする電話機もなかにはある。映像出力用の物理的なコネクターを使用することにより、これは達成され得る。あるいは、Xウインドウ、リモートデスクトッププロトコル、および、バーチャル・ネットワーク・コンピューティングなどの最先端の技術は、電話機の表示コンテンツを別の装置に送信することを可能にし、かつ、電話機で動作する任意のアプリケーションの遠隔操作を可能にする。この手法は、電話機で動作するほとんどすべての機能またはアプリケーションを遠隔に制御することを可能にするが、制御装置が電話機によって提供されるコンテンツにどれだけ相互作用し得るかのという点では、著しく制限されている。この解決策は、変更されていない画面コンテンツを別の装置のスクリーンに送信する。スクリーンまたはアプリケーションのレイアウトを再配置するか、あるいは、ドライバ・ナビゲーション・システムで必要とされるコンテンツをフィルタ処理または制御しさえするような高度な操作は可能ではない。さらに、既存の技術のいずれも、制御コンピューターで利用できるアプリケーションのグラフィック表現に一致させるために、遠隔制御される装置のアプリケーションからの出力をどのようにして統合するかを教示していない。
【0005】
遠隔制御の代替的な手法は、ネットワークルーターまたはユニバーサルなプラグ・アンド・プレイ(UPnP)メディアサーバーのような装置によって使用されてきた。このような装置は、ルーターまたはメディアサーバーに接続し、物理的に触れることなく装置を表示および操作するために、制御コンピューターで利用できるウェブブラウザを使用することを可能にする。ウェブブラウザ以上のソフトウェアが遠隔制御コンピューター上では必要ではないため、この手法は非常に便利ではあるが、ルーターまたはメディアサーバーが、ウェブブラウザを介してさらされるほんのわずかな決められた機能しか提供しないため、それは限定された手法である。スマートフォンとは対照的に、これらの装置は、新しいアプリケーションを加えることを可能にしない。結果として、遠隔制御インタフェースの機能は静的になる。
【0006】
Johnson ControlのBluetooth(登録商標) Mobile Device Gatewayのような最先端の技術は、車からのセンサー情報を、Bluetooth(登録商標)またはUSBを用いて接続される携帯ナビゲーションシステムに送信することを可能にする。携帯ナビゲーションシステムは、それ自体のスクリーンおよびラウドスピーカーについての情報および表示出力を処理する。
【0007】
先行技術によって開示も示唆もされていないのは、上記のような先行技術の制限を有さない、携帯電子装置を遠隔に制御する方法である。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】国際特許公開公報WO2006067541
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は、車載のインフォテインメントシステム、テレビ、または、個人宅のコントロールパネルなどの外部装置から、携帯電話や他の携帯装置、および、そのような装置で利用できるアプリケーションを遠隔制御することを可能にする。本発明は、遠隔電子装置の要件に一致させるために、電話機の出力を調節することを可能にしてもよく、電話機で動作しているアプリケーションと、遠隔電子装置で利用できるアプリケーションとの間の相互作用を可能にしてもよく、電話機のコンテンツが提示される方法を、遠隔制御によって修正することを可能にしてもよく、コンテンツが提示される前に、電話機から送信されるコンテンツの修正を可能にしてもよく、および、電話機の新しい機能を制御するために、ユーザーに、遠隔電子装置に部品を取り付けるようには要求しない。加えて、本発明は、遠隔電子装置が、電話機から受け取る情報を、第2の電話機またはインターネットのような他のデータ供給源からの追加情報と組み合わせることを可能にするために、遠隔電子装置に機能を加えてもよい。最後に、本発明は、遠隔電子装置から電話機へと情報を送り返すことを可能にしてもよい。現在の最先端技術とは対照的に、本発明は、統一された手法で提供する機能をすべて組み合わせてもよく、遠隔電子装置に追加のソフトウェアをインストールする必要はない。
【0010】
本発明は、携帯電話および他の携帯装置の多目的な遠隔制御を可能にしてもよい。本発明は、遠隔電子装置としての機能を果たすために、電話機のスクリーンよりも大きいスクリーンを有する装置、例えば、テレビ、モニター、壁に取り付けられるディスプレイ、または、車載のインフォテインメントシステムといった装置を可能にしてもよい。
【0011】
ネットワークルーターと同様に、本発明のシステムは、携帯電話を遠隔制御するためにウェブブラウザに依存してもよい。最先端の技術とは対照的に、本発明のシステムは、依然としてユーザーによってインストールされる第三者からのアプリケーションを含む、電話機で動作するアプリケーションにサポートを追加してもよい。加えて、本発明は、遠隔制御される装置のコンテンツを制御、修正、および、これに相互作用するとともに、遠隔電子装置と制御される装置の両方の間で機械的に処理可能なデータを共有する、といった幅広い新規な機能を提供してもよい。
【課題を解決するための手段】
【0012】
本発明は、その1つの形状で、携帯電子装置を遠隔制御する方法を含み、該方法は、携帯電子装置と、ユーザインターフェースを有する遠隔電子装置との間で通信を開始する工程を含む。携帯電子装置の第1の出力は、第1のHTMLファイルに変換される。第1のHTMLファイルは携帯電子装置から遠隔電子装置に送信される。第2の出力は、遠隔電子装置によって受け取られる第1のHTMLファイルに依存して、遠隔電子装置上で表示される。データは遠隔電子装置から携帯電子装置に送信される。アプリケーションは、遠隔電子装置からのデータを処理するために、携帯電子装置内で特定される。遠隔電子装置からのデータは、アプリケーション内で処理される。第3の出力は、遠隔電子装置からのデータの処理に基づいて、携帯電子装置内部で生成される。携帯電子装置の第3の出力は、第2のHTMLファイルに変換される。第2のHTMLファイルは、携帯電子装置から遠隔電子装置に送信される。
【0013】
本発明は、その別の形状で、携帯電子装置を遠隔制御する方法を含み、該方法は、携帯電子装置と、ユーザインターフェースを有する遠隔電子装置との間で通信を開始する工程を含む。遠隔電子装置は、テレビ、モニター、家庭用コントロールパネル、または、車載のインフォテインメントシステムである。携帯装置の第1の出力は遠隔電子装置に送信される。機械処理可能なデータは、携帯装置から第1の出力から抽出される。第2の出力は、抽出された機械処理可能なデータに依存して、遠隔電子装置上で表示される。データは遠隔電子装置から携帯装置に送信される。アプリケーションは、遠隔電子装置からのデータを処理するために、携帯装置内部で特定される。遠隔電子装置からのデータはアプリケーション内部で処理される。第3の出力は、遠隔電子装置からのデータの処理に基づいて、携帯装置内部で生成される。第3の出力は携帯装置から遠隔電子装置に送信される。
【0014】
本発明は、さらに別の形状で、ウェブブラウザを有する遠隔電子装置を含む、ネットワーク配置を含む。遠隔電子装置は、車載のインフォテインメントシステム、テレビ、または、家庭用オートメーションパネル(automation panel)の形状をしている。携帯電子装置はwebサーバを含む。携帯装置は、コンテンツを生み出し、HTML、Java(登録商標)script、および、CSSのコンテンツをエンコードし、エンコードされたコンテンツを遠隔電子装置に送信する、アプリケーションを起動させる。遠隔電子装置は、携帯装置からエンコードされたコンテンツを受け取り、エンコードされたコンテンツをユーザーに提示し、エンコードされたコンテンツがユーザーに提示された後、ユーザーからの入力を受け取り、ユーザーからの入力を遠隔電子装置から携帯装置へと送信する。
【図面の簡単な説明】
【0015】
本発明の上記および他の特徴および目的と、これらを成し遂げる手法がさらに明らかになるとともに、本発明そのものは、添付の図面と併せて取り込まれた本発明の実施形態の以下の記載を参照することによって、一層よく理解されるであろう。
【0016】
図1】携帯電話を無線で遠隔制御する遠隔電子装置を含む、本発明のネットワークの1つの実施形態のブロック図である。
図2】携帯電話を遠隔制御するための本発明の方法の1つの実施形態を示すフローチャートである。
図3】本発明にしたがって、携帯電子装置を遠隔制御する別の方法の1つの実施形態を示すフローチャートである。
【0017】
対応する参照文字は、複数の図にわたって対応する部分を示している。本明細書で説明される事例は本発明の実施形態を示しており、幾つかの形状では、以下に開示される実施形態は、包括的となるよう意図されたものではなく、本発明の範囲を、開示された正確な形状に制限するものとして解釈されるように意図されたものでもない。
【発明を実施するための形態】
【0018】
ここで、図面、特に図1を参照すると、携帯電話(14)を無線で遠隔制御する遠隔電子装置(12)を含む、本発明のネットワーク(10)の1つの実施形態が示されている。携帯電話(14)は、いくつかの実施形態において、両矢印(16)によって示されるように、遠隔電子装置(12)と通信するおよび/または遠隔電子装置(12)を制御してもよい。いくつかの実施形態において、遠隔電子装置(12)は、両矢印(20)によって示されるように、携帯電話(18)などの他の随意の携帯装置を制御して該装置と通信することが可能である。またさらなる実施形態において、遠隔電子装置(12)は、両矢印(24)によって示されるように、部品(22)のような他の部品と随意に通信する。携帯電話(14)は、いくつかの実施形態において、遠隔電子装置(12)を介して、部品(22)を操作してもよい。
【0019】
携帯電話を制御する本発明の方法(200)が、図2で示されている。第1の工程(202)では、携帯電話は、遠隔電子装置と接続し、これは「遠隔制御」と本明細書で呼ばれることもある。携帯電話の遠隔制御は、ユーザーが遠隔電子装置を該電話と接続したときに始められてもよい。該電話と遠隔電子装置の間の接続は、USB、WiFi、または、Bluetooth(登録商標)のような無線または有線のデータ接続の形状であってもよい。携帯電話と遠隔電子装置の両方の間の認証は、周知の装置のみが互いにアクセスすることができることを確かめるために、使用されてもよい。したがって、接続が初めて確立される際には、両方の装置間のペアリング(a pairing)が要求されてもよい。ペアリング工程に関して、本発明は、「VISUAL PAIRING AND DATA EXCHANGE BETWEEN DEVICES USING BARCODES FOR DATA EXCHANGE WITH MOBILE NAVIGATION SYSTEMS」と題された、2010年5月28日に出願され、本発明の譲受人に譲渡され、そのまま引用されることで本明細書に組み込まれる米国特許出願第12/789,999号の最先端の技術または手法を含んでいる。
【0020】
次の工程(204)で、電話機のコンテンツはHTMLに変換されてもよい。電話機と遠隔電子装置の間の接続が確立された後、電話機はデータの交換を準備してもよい。これに応じて、通常、電話機の画面、電話機のラウドスピーカー、または、触覚ディスプレイやフォースフィードバック装置などの利用可能な他の出力チャネル上で出力されるコンテンツは、キャプチャされてもよい。
【0021】
電話機の出力をキャプチャするために、出力を生成する必要なグラフィックスと音声とによる命令は、すべてキャプチャされ、および/または、記録されてもよい。この手法は、例えば、「線を引く」、「テキストを示す」、「入力領域を表示する」、または、「オーディオサンプルを再生する」といった、電話機のグラフィックスおよび音声システムで出力を生成するすべての命令を記録可能な部品を必要としてもよい。したがって、電話機で開始されるあらゆるグラフィックスと音声とによるコマンドは登録されてもよい。その後、これらの命令は、標準的なウェブ技術、HTML、Java(登録商標)script、および、CSS(カスケーディング・スタイル・シート)からなる表現に変換されてもよい。
【0022】
作成されたHTMLファイルは、グラフィック要素の階層と順序のような記録されたアプリケーションコンテンツの構造化された表現を包含してもよい。その後、この階層と構造は、ボタン、リスト、画像、および、入力フィールドのような、HTMLタグによって記載されてもよい。
【0023】
アニメコンテンツは、ビデオストリームを用いて表現されてもよい。これに応じて、アニメコンテンツは、電話機でキャプチャされ、オンザフライでMotion JPEGまたはMotion PNGのような適切なビデオフォーマットへとエンコードされ、その後、遠隔電子装置にストリームされる。その後、HTMLファイルはビデオストリームに準拠して拡張されてもよい。この手法によって、2Dと3Dのグラフィックスが電話機で計算され、その結果は、それが後に表示される遠隔電子装置へと転送される。同様に、音声コンテンツはキャプチャされ、PCMまたはMPEGのような標準的なオーディオ形式へとエンコードされ、遠隔電子装置にストリームされる。
【0024】
各々のHTML要素は、ユーザーが入力を実行したあとの後の工程で要素を特定するために使用される、固有の識別(ID)を割り当てられてもよい。
【0025】
Java(登録商標)scriptファイルは、遠隔電子装置によって実行されるプログラム論理で作成されてもよい。この1つの目的は、遠隔電子装置上でユーザー入力を処理し、ユーザー入力を電話機に戻すことである。加えて、Java(登録商標)scriptは、遠隔電子装置が、電話機に話しかけることなく処理を実行するとともに、ユーザーとの対話をより動的なものとすることを可能にしてもよい。
【0026】
さらに、Java(登録商標)scriptは、電話機からのキャプチャされた2Dおよび3Dのグラフィックス命令が、遠隔電子装置で再生されることを可能にしてもよい。この目的のために、本発明は、HTML5〈canvas〉タグとWebGL標準に依存する(ウェブサイトkhronos.org/webgl/を参照)。例えば、本発明のシステムは、電話機に記録された本来の2Dおよび3D命令を取り込み、この命令を、例えば、WebGLに関する等価のJava(登録商標)script命令へと変換し、変換された命令をJava(登録商標)scriptファイルに置くことがある。遠隔制御によって実行される際、Java(登録商標)script命令はグラフィック出力を再生してもよい。
【0027】
最後に、CSSファイルは、各々のアプリケーションとその目に見える要素のグラフィック表現と様式をキャプチャするために用いられてもよい。例えば、CSSファイルは、グラフィックな要素によって使用される大きさと配色を記録してもよい。
【0028】
グラフィックと音声とによる命令をキャプチャすることで、電話機のアプリケーションは、アプリケーションを修正する必要なく、サポートされ得る。いくつかの電話機では、この手法は、そのような拡張を防ぐ電話機操作システムとして機能しない。この場合、個々のアプリケーションの修正を要求する代替的な手法が用いられてもよい。この目的のために、グラフィックスまたは音声による操作を行なうために使用される操作システムの通常の機能を模倣する部品が提供されてもよい。電話機アプリケーションは、これらの新しい機能を使用するために修正される必要があってもよい。そのような場合、アプリケーションコンテンツは、再度キャプチャされ、HTML、CSSおよびJava(登録商標)scriptに変換されてもよい。
【0029】
この代替的な手法は自動的ではなくてもよいが、この手法によって、グラフィックスまたは音声による命令のみからでは抽出することができないHTMLファイルに追加のコンテンツを加えることができるため、アプリケーションのより優れた遠隔制御を可能にしてもよい。この追加コンテンツは、電話機のセンサーデータ、電話機のデータベースに存在するコンテンツ、または、電話機のカメラからのライブビデオストリームなど含んでもよい。この追加コンテンツのエンコード化は、様々な手法によって行なわれてもよい。マイクロホンからのライブビデオまたは音声は、上記のようなストリーミングフォーマットにエンコードされ、HTMLファイル中で参照されてもよい。他のコンテンツは、HTMLドキュメントにもリンクされるXMLまたは他のファイルを用いて表現されてもよい。他のコンテンツもJava(登録商標)scriptプログラムまたはデータコンテナ(data container)(JSON)にもエンコードされてもよい。別の代替案として、他のコンテンツは、マイクロフォーマットを用いて、HTMLファイルへ直接統合されてもよい。これらのマイクロフォーマットは、目に見えないHTMLタグ属性に特別な意味を付け加えるか、あるいは、HTMLネームスペース機構を用いて導入される新しいタグを用いてデータをエンコードしてもよい。これは、地理的な座標やアドレスをエンコードして、例えば、遠隔制御によって理解され自動的に処理され得るフォーマットのHTMLファイルにすることを可能にしてもよい。
【0030】
次に、工程(206)では、電話機のwebサーバは、遠隔電子装置にコンテンツを送ってもよい。電話機の操作システムが背景のコンポーネントを動作させることを防ぐ場合、webサーバは、操作システムにおいて、または、アプリケーションの一部として作動してもよい。HTML、CSS、および、Java(登録商標)scriptコンテンツは、webサーバにハンドオーバーされてもよい。その後、webサーバは、このコンテンツを、接続された遠隔電子装置が利用できるようにしてもよい。遠隔電子装置はコンテンツにアクセスする2つの方法を有してもよい。第1に、遠隔電子装置は、HTTP GETまたはPOSTリクエストを用いて、電話機のwebサーバからのコンテンツを盛んに要求してもよい。あるいは、電話機のwebサーバは、webサーバが遠隔電子装置へとコンテンツを盛んに強要することを可能にする、HTMLのWebsocket技術を
使用してもよい。
【0031】
工程(208)では、遠隔電子装置はその出力装置にコンテンツを表示する。遠隔電子装置は、電話機のコンテンツを表示して該コンテンツに相互作用するための手段として、ウェブブラウザを使用してもよい。ウェブブラウザは、遠隔電子装置に追加ソフトウェアまたは部品をインストールする必要なく、遠隔電子装置のほとんどすべての種類のコンテンツを表示することを可能にしてもよい。遠隔電子装置が電話機の新しいアプリケーションを容易に制御してダウンロードすることができるため、このことは、遠隔電子装置を非常に柔軟かつ色あせないものとする。
【0032】
電話機から受け取ったHTML、CSS、Java(登録商標)script、および、追加のコンテンツファイルを使用するため、遠隔電子装置におけるウェブブラウザは、その装置上にコンテンツを出力し、したがって、電話機で動作するアプリケーションを再生してもよい。HTMLファイルは、遠隔電子装置、電話機、または、他の外部ソースに保存される追加コンテンツへの参照を含んでもよい。これらのソースは、例えば、インターネットまたは追加の遠隔制御可能な電話機のウェブサービス(webservice)であり得る。これは、いくつかのソースから集められたデータから効果的に構成されるコンテンツを遠隔電子装置で表示することを可能にしてもよい。例は、後に遠隔電子装置に表示される、2つの異なる電話機のアドレス帳を組み合わせている。加えて、さらなる詳細は、インターネットからダウンロードされるマップのように、各々表示されたアドレスに加えられてもよい。
【0033】
音声とビデオのコンテンツのストリーミングがHTMLコンテンツで参照される場合、遠隔電子装置のブラウザは、ストリームへの接続を開き、電話機からストリームされるコンテンツを備えたブラウザ出力を絶えず更新してもよい。前に記載されたように、ライブ・ストリーミングは、電話機でレンダリングされるリアルタイムの3Dグラフィックスのような、電話機からのアニメコンテンツを示す目的に役立ってもよい。
【0034】
電話機からのライブ・ストリーミングのあらかじめレンダリングされるコンテンツの代わりとして、例えば、WebGL標準の2Dまたは3Dの命令を含むJava(登録商標)scriptファイルは、ブラウザ内で直接、電話機の出力の再生を生じさせることができる。Java(登録商標)scriptを用いることによって、遠隔電子装置は、ブラウザ内での大量のアプリケーションロジックを実現し、遠隔電子装置にもともとインストールされているアプリケーションと等しい機能を実現することを可能にすることができる。
【0035】
電話機から送られるCSSファイルは、HTMLコンテンツをどのようにレイアウトしてグラフで表示するかについての記載を含んでもよい。CSS記載への修正は、遠隔電子装置によって使用される全体的なグラフィックデザインおよびレイアウトと、電話機のコンテンツのデザインとを一致させる方法として、使用されてもよい。基本的な手法では、遠隔電子装置は、CSSファイル内の命令にただ従うだけでよい。高度な実現形態において、遠隔電子装置は、HTMLコンテンツが添付されたCSS定義の一部またはすべてを無視してもよい。そうすることによって、配色、グラフィックス、および、レイアウトが変更されてもよい。これは、例えば、車内の遠隔電子装置に取り付けられるナビゲーションシステムのように、遠隔電子装置に取り付けられる他のアプリケーションまたは部品と、電話機のコンテンツを事実上統合することを可能にしてもよい。加えて、CSSファイルに対する修正は、必要に応じて、電話機のコンテンツの一部をユーザーに見せないようにしておくことを可能にしてもよい。
【0036】
次に、工程(210)では、遠隔電子装置は、電話機からのコンテンツと相互作用する。遠隔電子装置によって、ユーザーは、電話機のコンテンツと対話することができてもよい。この目的のために、ユーザーは、例えば、要素を選択するか、または、テキストを入力領域へと入力することによって、遠隔電子装置のウェブブラウザ内で入力することができる。AJAXのような技術は、それらの入力を即座に電話機へと入力し戻すために、かつ、応答を表示するために、使用されてもよい。ユーザーが入力を行う場合、Java(登録商標)scriptが実行されてもよく、入力は、入力を受け取った要素の特定とともに電話機へと送られてもよい。
【0037】
ユーザーによって認識され修正されるコンテンツに加えて、遠隔電子装置によって理解され自動的に処理され得る追加のコンテンツは、電話機から遠隔電子装置に送られてもよい。上に記載されたように、XML、埋め込まれたHTMLマイクロフォーマットタグ、または、他の属性が、この特別なコンテンツをマークするために使用されてもよい。遠隔電子装置はこの追加のコンテンツを認識し、別のコンテンツからそれを抽出してもよい。例えば、位置の記載、アドレス、または、地理座標が、コンテンツ中にエンコードされる場合、遠隔電子装置遠隔電子装置の他の部品に、このデータを転送してもよい。例えば、遠隔電子装置が車に搭載されている場合、座標またはアドレスは、選択後、ナビゲーションシステムに自動的にハンドオーバーされ、その後、ルートをガイドするために、ユーザーに提示されてもよい。同様に、電話機からの他のセンサーデータは、遠隔電子装置に取り付けられる部品に転送されてもよい。
【0038】
データがエンコードされ、それに反応しているかどうかを検知することに加えて、電話機は、遠隔電子装置とその取り付けられる部品とに影響を及ぼし得る。この目的のために、遠隔電子装置内のブラウザは、Java(登録商標)scriptファイルによってアクセスされ得る機能をさらしてもよい。このことは、取り付けられる部品の動作を変えることを可能にしてもよい。例えば、特定のJava(登録商標)script機能を呼び出すことによって、電話機で動作する家庭用の自動化アプリケーションの遠隔電子装置として機能する家庭用自動化パネルに取り付けられるエアコンの温度設定を変えることが可能であってもよい。
【0039】
新しいJava(登録商標)script機能を備えたブラウザを拡張することの代わりとして、遠隔電子装置にウェブサービスを加える手法が用いられてもよい。この手法では、電話機からのHTMLコンテンツは、遠隔電子装置で動作するウェブサービスの参照を包含してもよい。HTMLがブラウザに表示される場合、参照は、規則的なHTTP GETおよびPOSTリクエストにつながってもよい。リクエストでエンコードされるパラメータは、遠隔電子装置のどのような動作が修正されるのか、または、取り付けられた度の部品が修正されるのかを定義してもよい。
【0040】
次の工程(212)では、遠隔電子装置は電話機にデータを送信する。遠隔電子装置は、GETまたはPOSTのような標準的なHTTPコマンドを用いて、送信データを電話機に送ってもよい。電話機から先に受け取ったHTMLまたはJava(登録商標)scriptのファイルは、どのような種類のデータが送り戻されるかを自由に定義することができる。したがって、遠隔電子装置の動作は、電話機によって完全に制御され、このことが、本発明のシステムを、非常に柔軟かつ色あせないものとしている。電話機に送り戻されたデータは、ユーザー入力、遠隔電子装置に取り付けられた部品から読み込まれるセンサーデータ(例えば、車の最新のガソリンの残量)、および/または、(例えば、テレビに取り付けられたビデオカメラまたはマイクロホンからの)カメラ画像または音声放送を含んでもよい。
【0041】
最後の工程(214)では、電話機のウェブサーバーは、受信データを処理する。電話機で動作するウェブサーバーがデータを受信する際、webサーバは、データを処理する必要があるアプリケーションを決定し、そのアプリケーションへとコンテンツを転送してもよい。このディスパッチタスク(dispatch task)に必要な情報は、GETまたはPOSTリクエストの一部であるURLから抽出されてもよい。データが電話機に表示されたユーザインターフェース要素への入力を含んでいる場合、適切なユーザインターフェース要素の入力および特定は、電話機にフィードバックされてもよい。これは、表示されるコンテンツへのアップグレードを引き起こしてもよく、したがって、遠隔電子装置でなされる入力を反映してもよい。例えば、遠隔電子装置上の入力領域になされる入力は、電話機へと送り戻され、その後、電話機の対応する入力領域へと入力されてもよい。新しい入力に基づいて、アプリケーションは、順に遠隔電子装置へと再度送られる新しい出力を生じさせてもよく、それによって、新しいサイクルが開始される。
【0042】
代替的な実施形態では、遠隔電子装置は、電話機のコンテンツを表示し、該コンテンツに相互作用するユーザインターフェースを作成するために、ウェブブラウザを使用しなくてもよい。その代わりに、機械処理可能なデータのみが、電話機によって送られたコンテンツから遠隔電子装置へと抽出されてもよい。このデータに基づいて、遠隔電子装置は、依然として遠隔電子装置に送られる任意のHTML/Java(登録商標)script/CSSユーザインターフェースの記載とは無関係に、コンテンツの可視化をもたらしてもよい。この手法は遠隔電子装置の柔軟性を固定された機能に制限することもあるが、遠隔電子装置がコンピューティングリソースを制限した場合においては望ましいこともある。電話機に対してなされた拡張はそのままであってもよく、したがって、電話機は、ブラウザに基づいた遠隔電子装置と、固定されたユーザインターフェースを備えた遠隔電子装置との両方をサポートすることができてもよい。
【0043】
本発明の例示的な使用例において、ナビゲーションシステムは電話機内で動作されてもよいが、その出力は車内のシステムで表示されてもよい。携帯電話上で動作するナビゲーションシステムは、マップおよび音声による命令を表示してもよい。電話機が車の遠隔電子装置に接続される場合、マップレンダリングは、電話機から車に送られるライブビデオストリームへとエンコードされてもよい。加えて、HTMLファイルは電話機から車へと送られてもよく、HTMLファイルはビデオを参照し、到着時間や現在の通りの名前のような追加のコンテンツも含んでよい。加えて、次の運転命令に対応する音声による命令は、音声ストリームに変換されてもよく、これも車へと送られてもよい。HTMLコンテンツと参照の音声およびビデオストリームは、車のウェブブラウザによって出力されてもよく、それによって、運転手は、ナビゲーションシステムが車にインストールされていなくても、車のスクリーンやスピーカーをナビゲーション目的に使用することができる。
【0044】
本発明の別の使用例において、センサーデータはパネルから電話機へ送られる。例えば、ユーザーは、自宅の温度とセンサー設定を制御したいと思ってもよい。自宅にグラフィック制御ディスプレイと取り付けられた様々なセンサーを備えた家庭用自動化システムがあると仮定する。家庭用自動化システムは、温度制御のような基本的な設定へのアクセスを許可してもよいが、その計算能力に限りがあるため、データの高度な処理を欠くことがある。本発明の1つの実施形態によれば、ユーザーは、自分の携帯電話に制御アプリケーションをダウンロードしてもよい。アプリケーションが始まると、家庭用パネルに無線で接続してもよい。家庭用パネルにおけるブラウザは、電話機から受け取ったHTMLユーザインターフェースを表示してもよい。追加のCSSのグラフィック様式の記載は、HTMLユーザインターフェースがコントロールパネルのビジュアルデザインと一致することを確かめるために、送られてもよい。加えて、電話機は、現在の温度設定と他のセンサーデータを測定するように家庭用パネルに命じるJava(登録商標)scriptコマンドを送ってもよい。ユーザーがユーザインターフェース中の選択肢を選択した後、集められたセンサーデータは電話機のアプリケーションへと送り返される。アプリケーションは、強力なCPUまたはインターネット接続などの電話機のリソースをすべて用いて、データを処理してもよい。その結果を用いて最新のHTMLコンテンツが作成され、それが家庭用制御ディスプレイへと再度送られてもよい。
【0045】
本発明のさらに別の使用例において、電話機のアドレス帳は車内からアクセスされる。すなわち、携帯電話は、創造性のある遠隔電子装置を用いて、自動車からアクセスされてもよい。電話機のアプリケーションは、車内で動作するウェブブラウザを用いることで、アドレス帳をブラウズすることを可能にしてもよい。該工程では、各々のアドレスはHTMLへとエンコードされてもよい。加えて、HTMLマイクロフォーマットは、アドレスに意味情報を添付するために使用されてもよい。このことによって、通りの名前、都市、郵便番号、および、国のようなすべての個々のアドレス要素が示され得る。車のウェブブラウザに表示される時、この意味のある印はユーザーに見えなくてもよい。すなわち、ユーザーは通常のアドレスのみを見るだけでもよい。しかしながら、車のウェブブラウザは、埋め込みマイクロフォーマットを認識し、埋め込みマイクロフォーマットと相互作用する機会を提供してもよい。これはマップ上にアドレスの位置をプロットすること、または、車内の遠隔電子装置に接続されるナビゲーションシステムに、選択されたアドレスをハンドオーバーすることを含んでもよい。その後、ナビゲーションシステムは、ルートを計算するために個々のアドレス要素を使用してもよい。
【0046】
本発明は、先行技術に開示されていないいくつかの新規な特徴を含んでもよい。第1のそのような新規な特徴は、電話機のwebサーバと遠隔電子装置でウェブブラウザとを使用する、携帯電話用の遠隔制御技術であってもよい。コンテンツは、例えば、HTML、Java(登録商標)script、または、CSSでエンコードされてもよい。遠隔電子装置は固定された機能に制限されなくてもよい。むしろ、遠隔電子装置遠隔電子装置を修正する必要なく、電話機の新しい機能の制御をサポートしてもよい。
【0047】
本発明の第2の新規な特徴は、遠隔電子装置が、車載のインフォテインメントシステム、テレビ、または、家庭用自動化パネルの形状であってもよいということである。
【0048】
本発明の第3の新規な特徴は、画面コンテンツが電話機からキャプチャされ、HTML、Java(登録商標)script、および/または、CSS表現へと変換され、遠隔電子装置に送られてもよいということである。遠隔電子装置になされる入力は記録されてもよく、その後、入力は電話機のアプリケーションへと送り返されてもよく、電話機のアプリケーションのコンテンツは更新されてもよい。
【0049】
本発明の第4の新規な特徴は、電話機のアニメの二次元および三次元のコンテンツは、コンテンツをオンザフライでビデオストリームへとエンコードし、HTMLドキュメントで該ストリームへの参照を作成し、ビデオストリームとHTMLドキュメントの両方を遠隔電子装置に送信することによって、キャプチャされてもよい、ということである。その後、コンテンツは遠隔電子装置の表示画面で示されてもよい。
【0050】
本発明の第5の新規な特徴は、電話機の音声コンテンツは、コンテンツをオンザフライで音声ストリームへとエンコードし、HTMLドキュメントで該ストリームへの参照を作成し、および、音声ストリームとHTMLドキュメントの両方を遠隔電子装置に送信することによって、キャプチャされてもよい、ということである。その後、コンテンツは遠隔電子装置の音声スピーカーで再生されてもよい。
【0051】
本発明の第6の新規な特徴は、アニメの二次元および三次元のコンテンツへの命令がキャプチャされ、Java(登録商標)scriptコマンドへと変換され、遠隔電子装置に送信されてもよい、ということである。Java(登録商標)scriptは、結果を表示するために遠隔電子装置のブラウザで実行されてもよい。
【0052】
本発明の第7の新規な特徴は、電話機から送られるCSSコンテンツが、遠隔電子装置で動作する他のアプリケーションによって使用される、レイアウト、配色、または、グラフィックデザインと一致するように修正されてもよい、ということである。
【0053】
本発明の第8の新規な特徴は、電話機が、意味およびセンサーデータを、遠隔電子装置によって認識されるHTMLに埋め込んでもよい、ということである。データは、遠隔電子装置の表示画面において、ユーザーに見せないようにしておくことができる。遠隔電子装置はデータを自動処理に使用してもよく、取り付けられる部品にデータを渡してもよい。このことは、埋め込みデータが地理的な位置を含む、本発明の第9の新規な特徴につながる。遠隔電子装置は、遠隔電子装置に取り付けられる、位置情報システム/ナビゲーションシステムに、データを送信してもよい。
【0054】
本発明の第10の新規な特徴は、遠隔電子装置が、第1の電話機から受け取ったデータを、第2の電話機またはインターネット上の他のデータ源から受け取った追加の情報と組み合わせてもよい、ということである。集められた結果は、遠隔電子装置で表示されてもよい。
【0055】
本発明の第11の新規な特徴は、特定のJava(登録商標)script機能が遠隔電子装置のブラウザに加えられてもよいということである。これらの機能が電話機から送られたJava(登録商標)scriptファイルで呼び出される場合、電話機は遠隔電子装置に取り付けられる部品を操作することができてもよい。
【0056】
本発明の第12の新規な特徴は、特定のウェブサービス機能が遠隔電子装置のブラウザに加えられてもよいということである。これらの機能が電話機から送られるウェブサービスファイルで呼び出される場合、電話機は遠隔電子装置に取り付けられる部品を修正することができてもよい。電話機は、取り付けられる部品から遠隔電子装置へとデータを送り返すことができてもよい。
【0057】
本発明の第13の新規な特徴は、センサーデータが、HTTP GETおよびPOSTリクエストを用いて、遠隔電子装置から電話機へと送られてもよいということである。リクエストの間に呼び出されるURLと、添付されるPOSTデータとは、電話機に送られるセンサー情報をエンコードしてもよい。
【0058】
携帯電子装置を遠隔制御するための本発明の方法(300)の実施形態が図3で示されている。第1の工程(302)において、携帯電子装置と、ユーザインターフェースを有する遠隔電子装置との間で、通信が始められる。例えば、携帯電話(14)の遠隔制御は、ユーザーが遠隔電子装置(12)を携帯電話(14)に接続した後に始められてもよい。その接続は無線でも有線でもよく、例えば、USB、WiFi、または、Bluetooth(登録商標)を採用してもよい。遠隔電子装置(12)は、表示画面と入力装置を含む、テレビ、車載のインフォテインメントシステム、または、家庭用自動化システムであってもよい。
【0059】
次の工程(304)において、携帯装置の第1の出力は第1のHTMLファイルに変換される。例えば、携帯電話(14)は、電話機の表示画面、音声スピーカー、または、他の出力チャネル上で出力される、コンテンツを作成する。出力を生成するグラフィックおよび音声による命令はすべて、携帯電話(14)によってキャプチャされるか記録されてもよい。その後、携帯電話(14)は、命令をHTML、Java(登録商標)script、および、CSSに変換してもよい。
【0060】
次に、工程(306)において、第1のHTMLファイルは、携帯装置(14)から遠隔電子装置(12)へと送信される。例えば、HTML、Java(登録商標)script、および、CSSコンテンツは、電話機の操作システムで動作するwebサーバに渡されてもよい。その後、webサーバはコンテンツを遠隔電子装置(12)に利用可能にしてもよい。具体的には、遠隔電子装置(12)は、HTTP GETまたはPOSTリクエストを用いてコンテンツを要求してもよく、または、HTMLのWebsocket技術を使用してもよい。
【0061】
工程(308)において、第2の出力は、遠隔装置が受け取る第1のHTMLファイルに依存して、遠隔装置上で表示される。例えば、携帯電話(14)から受け取るHTML、CSS、Java(登録商標)script、および、追加のコンテンツファイルを用いることによって、遠隔電子装置(12)のウェブブラウザは、その装置上でコンテンツを出力してもよく、したがって、携帯電話(14)上で動作するアプリケーションを再生してもよい。
【0062】
工程(310)において、データは遠隔装置から携帯装置に送信される。例えば、遠隔電子装置(12)は、GETまたはPOSTのような通常のHTTPコマンドを用いて、携帯電話(14)にデータを送り返してもよい。携帯電話(14)から先に受け取ったHTMLまたはJava(登録商標)scriptのファイルは、どのような種類のデータが携帯電話(14)に送信されるかを定義してもよい。
【0063】
次に、工程(312)において、アプリケーションは、遠隔装置からのデータを処理するために、携帯装置内部で特定される。すなわち、携帯電話(14)で動作するwebサーバが遠隔電子装置(14)からデータを受信する際、webサーバは、データを処理する必要があるアプリケーションを特定し、特定されたアプリケーションにコンテンツを転送する。
【0064】
次に、工程(314)において、遠隔装置からのデータはアプリケーション内部で処理される。例えば、特定されたアプリケーションがアドレス帳であり、遠隔電子装置(12)からのデータが、アドレス帳への次の入力に進むためのコマンドである場合、携帯電話(14)内部の電話帳のアプリケーションは、アドレス帳への次の入力に関連したコマンドおよびアクセスのコンテンツを処理してもよい。
【0065】
次に、工程(316)では、第3の出力は、遠隔装置からのデータの処理に基づいて、携帯装置内部で生成される。例えば、携帯電話(14)は、そのユーザインターフェース上に、要求されたアドレス帳への次の入力を表示してもよい。
【0066】
工程(318)において、携帯装置の第3の出力は、第2のHTMLファイルに変換される。例えば、携帯電話(14)は、アドレス帳に新しくアクセスされた入力を、HTML、Java(登録商標)script、および、CSSに変換してもよい。
【0067】
最終工程(320)において、第2のHTMLファイルは、携帯装置から遠隔装置へと送信される。例えば、新しくアクセスされた電話帳への入力に関連するHTML、Java(登録商標)script、および、CSSコンテンツは、携帯電話の操作システムで動作するwebサーバにハンドオーバーされてもよい。工程(306)と同様に、webサーバはコンテンツを遠隔電子装置(12)にとって利用可能にしてもよい。
【0068】
本発明は例示的なデザインを有するものとして記載されてきたが、本発明はこの開示の精神と範囲の中においてさらに修正されてもよい。したがって、この出願は、その一般的な原理を用いて、本発明の任意の変化、用途、または、適応を含むように意図されている。
図1
図2
図3