特許 7230093 スマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-17

(45)【発行日】2023-02-28

(54)【発明の名称】スマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20230220BHJP

   B60R 1/12 20060101ALI20230220BHJP

【ＦＩ】

G06F3/0484

B60R1/12 Z

【請求項の数】 24

(21)【出願番号】P 2021065849

(22)【出願日】2021-04-08

(65)【公開番号】P2021108187

(43)【公開日】2021-07-29

【審査請求日】2021-04-08

(31)【優先権主張番号】202010474596.4

(32)【優先日】2020-05-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521208273

【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司

【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】チェン チアンチョー

(72)【発明者】

【氏名】オウヤン ネンジュン

(72)【発明者】

【氏名】チェン シンチアン

【審査官】菅原 浩二

(56)【参考文献】

【文献】国際公開第２０１４／１４１９５４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／０３５４８８１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００６１６２８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０２２２３９１（ＵＳ，Ａ１）

【文献】特開２０１５－２１９２２８（ＪＰ，Ａ）

【文献】特開２００７－２２６７９３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２７６９０８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２７２８２０（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０４８８３５８８（ＣＮ，Ａ）

【文献】中国特許出願公開第１０５９１５９７８（ＣＮ，Ａ）

【文献】国際公開第２０１９／１８４８３７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｂ６０Ｒ １／１２

(57)【特許請求の範囲】

【請求項1】

スマートバックミラーを制御するための方法であって、
スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報を取得するステップであって、前記アプリケーションプログラムにソフトウェア開発ツール(ＳＤＫ)が設置され、前記ＳＤＫには逆制御を実現するためのビジネスロジックが集積されることにより、前記アプリケーションプログラムを制御して対応する操作を実行させるステップと、
前記インターフェース表示情報を前記スマートバックミラーと通信可能に接続された少なくとも１つの外部機器へ送信するステップと、
前記少なくとも１つの外部機器からのユーザ操作情報に応答し、前記スマートバックミラーが相応の操作を実行するように制御するステップであって、前記ユーザ操作情報は、前記少なくとも１つの外部機器に対するユーザの操作を記述するためのものであり、前記少なくとも１つの外部機器には第１の外部機器が含まれるステップと、を含み、
前記アプリケーションプログラムが複数である場合、前記第１の外部機器の現在インターフェースに切り替えコントロールが表示され、前記切り替えコントロールは、前記第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、前記ユーザ操作情報は、前記第１の外部機器の現在インターフェースでの前記切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含むことを特徴とするスマートバックミラーを制御するための方法。

【請求項2】

前記スマートバックミラーが相応の操作を実行するように制御する前記ステップは、
前記ユーザ操作情報に基づいて、前記スマートバックミラーでの前記アプリケーションプログラムが相応の操作を実行するように制御するステップを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記ユーザ操作情報に基づいて、前記スマートバックミラーでの前記アプリケーションプログラムが相応の操作を実行するように制御する前記ステップは、
前記アプリケーションプログラムのインターフェースレイアウトと前記ユーザ操作情報に基づいて、トリガーイベントを生成し、前記トリガーイベントにより、前記アプリケーションプログラムが相応の操作を実行するように指示するステップと、
前記トリガーイベントに基づいて、前記スマートバックミラーでの前記アプリケーションプログラムが相応の操作を実行するように制御するステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記ユーザ操作情報は、前記第１の外部機器の現在インターフェースでの前記ユーザの操作の座標位置を含み、
前記アプリケーションプログラムのインターフェースレイアウトと前記ユーザ操作情報に基づいて、トリガーイベントを生成する前記ステップは、
前記第１の外部機器の現在インターフェースでの前記ユーザの操作の座標位置を前記スマートバックミラーの現在インターフェースでの座標位置に変換するステップと、
前記アプリケーションプログラムのインターフェースレイアウト、および前記スマートバックミラーの現在インターフェースでの座標位置に基づいて、前記トリガーイベントを生成するステップと、を含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記アプリケーションプログラムのインターフェースレイアウト、および前記スマートバックミラーの現在インターフェースでの座標位置に基づいて、前記トリガーイベントを生成する前記ステップは、
前記アプリケーションプログラムのインターフェースレイアウトに基づいて、前記スマートバックミラーの現在インターフェースでの座標位置に対応する操作コントロールを決定するステップと、
前記操作コントロールに基づいて、前記トリガーイベントを生成するステップと、を含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記ユーザ操作情報はまた、前記ユーザの操作動作を含み、前記アプリケーションプログラムのインターフェースレイアウト、および前記スマートバックミラーの現在インターフェースでの座標位置に基づいて、前記トリガーイベントを生成する前記ステップは、
前記アプリケーションプログラムのインターフェースレイアウト、前記スマートバックミラーの現在インターフェースでの座標位置、および前記ユーザの操作動作に基づいて、前記トリガーイベントを生成するステップを含むことを特徴とする請求項４に記載の方法。

【請求項7】

前記第１の外部機器の現在インターフェースでの前記ユーザの操作の座標位置を前記スマートバックミラーの現在インターフェースでの座標位置に変換する前記ステップは、
前記第１の外部機器の現在インターフェースでの前記ユーザの操作の座標位置、および前記第１の外部機器に表示された前記アプリケーションプログラムのインターフェースのサイズに基づいて、前記第１の外部機器に表示されたアプリケーションプログラムのインターフェースでの前記ユーザの操作の相対位置を確定するステップと、
前記相対位置、および前記スマートバックミラーに表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、前記スマートバックミラーの現在インターフェースでの座標位置を確定するステップと、を含むことを特徴とする請求項４～請求項６のいずれか１項に記載の方法。

【請求項8】

前記第１の外部機器に表示されたアプリケーションプログラムのインターフェースでの前記ユーザの操作の相対位置を確定する前記ステップは、
前記第１の外部機器の現在インターフェースでの前記ユーザの操作の座標位置、および前記第１の外部機器に表示された前記アプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、前記第１の外部機器に表示されたアプリケーションプログラムのインターフェースでの前記ユーザの操作の相対位置を確定するステップを含み、
ここで、前記スマートバックミラーの現在インターフェースでの座標位置を確定する前記ステップは、
前記相対位置、および前記スマートバックミラーに表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、前記スマートバックミラーの現在インターフェースでの座標位置を確定するステップを含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記アプリケーションプログラムが複数である場合、前記アプリケーションプログラムのインターフェースレイアウトと前記ユーザ操作情報に基づいて、トリガーイベントを生成する前記ステップは、
前記第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを確定するステップと、
前記ターゲットアプリケーションプログラムのインターフェースレイアウトと前記ユーザ操作情報に基づいて、前記トリガーイベントを生成するステップと、を含むことを特徴とする請求項３～請求項８のいずれか１項に記載の方法。

【請求項10】

前記第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを確定する前記ステップは、
前記スマートバックミラーの現在インターフェースに表示されたアプリケーションプログラムを前記ターゲットアプリケーションプログラムとするステップを含むことを特徴とする請求項９に記載の方法。

【請求項11】

前記トリガーイベントは、前記ターゲットアプリケーションプログラムから前記切り替えられたアプリケーションプログラムに切り替えるように指示し、
前記トリガーイベントに基づいて、前記スマートバックミラーでの前記アプリケーションプログラムが相応の操作を実行するように制御する前記ステップは、
前記トリガーイベントに基づいて、前記スマートバックミラーでの前記ターゲットアプリケーションプログラムを前記切り替えられたアプリケーションプログラムに切り替えるように制御するステップを含むことを特徴とする請求項９又は請求項１０に記載の方法。

【請求項12】

スマートバックミラーのインターフェース表示情報を取得する前記ステップの前に、また、
前記アプリケーションプログラムの投影プロセスを作成するステップを含むことを特徴とする請求項２～請求項８のいずれか１項に記載の方法。

【請求項13】

スマートバックミラーのインターフェース表示情報を取得する前記ステップの前に、さらに、
ユーザによって出力された投影指示を受信するステップを含み、
前記アプリケーションプログラムのインターフェース表示情報は、前記アプリケーションプログラムの投影対象のビデオを録画することであり、スマートバックミラーのインターフェース表示情報を取得する前記ステップは、
前記スマートバックミラーでのアプリケーションプログラムのインターフェースを録画し、前記投影対象のビデオを得るステップを含むことを特徴とする請求項１２に記載の方法。

【請求項14】

前記スマートバックミラーでのアプリケーションプログラムのインターフェースを録画する前記ステップの前に、また、
前記アプリケーションプログラムの状態を投影状態として保存するステップを含み、
前記方法はまた、
前記アプリケーションプログラムの投影終了時に、前記アプリケーションプログラムの投影状態を終了状態に修正して、前記アプリケーションプログラムの投影プロセスを終了させるステップを含むことを特徴とする請求項１３に記載の方法。

【請求項15】

前記逆制御は、前記第１の外部機器において前記スマートバックミラーでのアプリケーションプログラムに対する制御を実現することであり、前記アプリケーションプログラムを制御して対応する操作を実行させることは、
前記アプリケーションプログラムを制御して前記ＳＤＫに集積された前記ビジネスロジックで前記アプリケーションプログラムに対する逆制御を実現させることを含むことを特徴とする請求項１～請求項１４のいずれか１項に記載の方法。

【請求項16】

スマートバックミラーを制御するための方法であって、
投影制御機器でのアプリケーションプログラムからのインターフェース表示情報を受信するステップであって、前記アプリケーションプログラムにソフトウェア開発ツール(ＳＤＫ)が設置され、前記ＳＤＫには逆制御を実現するためのビジネスロジックが集積されることにより、前記アプリケーションプログラムを制御して対応する操作を実行させるステップと、
前記インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するステップと、
第１の外部機器の現在インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するステップと、
前記ユーザ操作情報を前記投影制御機器へ送信するステップと、を含み、
前記アプリケーションプログラムが複数である場合、前記第１の外部機器の現在インターフェースに切り替えコントロールが表示され、前記切り替えコントロールは、前記第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、前記ユーザ操作情報は、前記第１の外部機器の現在インターフェースでの前記切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含むことを特徴とするスマートバックミラーを制御するための方法。

【請求項17】

前記第１の外部機器の現在インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するステップは、
前記第１の外部機器の現在インターフェースでの前記ユーザの操作の座標位置を検出し、前記ユーザ操作情報を生成するステップを含むことを特徴とする請求項１６に記載の方法。

【請求項18】

前記第１の外部機器の現在インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成する前記ステップは、
前記第１の外部機器の現在インターフェースでの前記ユーザの操作の座標位置と操作動作を検出し、前記ユーザ操作情報を生成するステップを含むことを特徴とする請求項１６に記載の方法。

【請求項19】

前記方法はまた、
前記投影制御機器と接続された後に、前記投影制御機器からの投影対象のビデオを受信するステップであって、前記投影対象のビデオは前記アプリケーションプログラムのインターフェースを録画して得られたビデオであるステップと、
前記投影対象のビデオに基づいて、前記スマートバックミラーでのアプリケーションプログラムのインターフェースを表示するステップと、を含むことを特徴とする請求項１６に記載の方法。

【請求項20】

スマートバックミラーを制御するための装置であって、
スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報を取得するための処理モジュールであって、前記アプリケーションプログラムにソフトウェア開発ツール(ＳＤＫ)が設置され、前記ＳＤＫには逆制御を実現するためのビジネスロジックが集積されることにより、前記アプリケーションプログラムを制御して対応する操作を実行させる処理モジュールと、
前記インターフェース表示情報を前記スマートバックミラーと通信可能に接続された少なくとも１つの外部機器へ送信するための送受信モジュールと、を含み、
前記処理モジュールはまた、前記少なくとも１つの外部機器からのユーザ操作情報に応答し、前記スマートバックミラーが相応の操作を実行するように制御するために使用され、前記ユーザ操作情報は、前記少なくとも１つの外部機器に対するユーザの操作を記述するためのものであり、前記少なくとも１つの外部機器には第１の外部機器が含まれ、
前記アプリケーションプログラムが複数である場合、前記第１の外部機器の現在インターフェースに切り替えコントロールが表示され、前記切り替えコントロールは、前記第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、前記ユーザ操作情報は、前記第１の外部機器の現在インターフェースでの前記切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含むことを特徴とするスマートバックミラーを制御するための装置。

【請求項21】

スマートバックミラーを制御するための装置であって、
投影制御機器でのアプリケーションプログラムからのインターフェース表示情報を受信するための送受信モジュールであって、前記アプリケーションプログラムにソフトウェア開発ツール(ＳＤＫ)が設置され、前記ＳＤＫには逆制御を実現するためのビジネスロジックが集積されることにより、前記アプリケーションプログラムを制御して対応する操作を実行させる送受信モジュールと、
前記インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するための表示モジュールと、
第１の外部機器の現在インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するための処理モジュールと、を含み、
前記送受信モジュールは、前記ユーザ操作情報を前記投影制御機器へ送信するために使用され、
前記アプリケーションプログラムが複数である場合、前記第１の外部機器の現在インターフェースに切り替えコントロールが表示され、前記切り替えコントロールは、前記第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、前記ユーザ操作情報は、前記第１の外部機器の現在インターフェースでの前記切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含むことを特徴とするスマートバックミラーを制御するための装置。

【請求項22】

電子機器であって、
少なくとも１つのプロセッサ、および
前記少なくとも１つのプロセッサと通信可能に接続されたメモリ、および
出力装置を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることにより、前記電子機器に請求項１～請求項１９のいずれか１項に記載の方法を実行させることができ、前記出力装置は、前記電子機器のインターフェースを表示するためのものであることを特徴とする電子機器。

【請求項23】

コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～請求項１９のいずれか１項に記載の方法を実行させるためのものであることを特徴とする非一時的なコンピュータ可読記憶媒体。

【請求項24】

コンピュータプログラムであって、前記コンピュータプログラムはプロセッサで実行されるとき、前記プロセッサに請求項１～請求項１９のいずれか１項に記載の方法を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、データ処理分野に関し、特に、車両ネットワーキング技術におけるスマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

インテリジェント車両の発展に伴い、車載電子機器も徐々に増加してきた。バックミラーは、最初のリアビュー機能から、補助反転機能を備えたスマートバックミラーへと発展し、従来のスマートバックミラーにアプリケーションプログラムを設置してもよく、音楽再生、マップナビゲーションなどの数多くの機能を実現するようにする。しかしながら、
運転中に、ユーザはスマートバックミラーを操作及び観察する場合、頭のてっぺんに注意力を移す必要があり、操作が不便で、ユーザの運転セキュリティに危害が及ぶ。

【0003】

上記の問題を解決するために、従来技術には、スマートバックミラーのインターフェースを車載インフォテインメント端末に投影するという技術的解決手段を提供しており、ユーザは、車載インフォテインメント端末を見ることでスマートバックミラーに表示した内容を取得することができるようになり、ユーザがスマートバックミラーを見ることによる運転セキュリティへの影響という問題を回避する。スマートバックミラーは、スクリーンショットを撮り続け、つまり、画面記録であり、投影する必要がある内容をビデオとして録画して、ビデオをビデオストリームにエンコードして車載インフォテインメント端末に伝送し、これにより、車載インフォテインメント端末は、ビデオストリームをデコードしてスマートバックミラーのインターフェースを表示し、ひいては、スマートバックミラーのインターフェースが車載インフォテインメント端末に投影されるという解決手段を実現するようにする。

【0004】

しかしながら、従来技術において、ユーザは、スマートバックミラーのインターフェースを車載インフォテインメント端末に投影した後に、投影されたインターフェースを操作する必要がある場合、スマートバックミラーでしか操作できないから、操作が不便で、ユーザの運転セキュリティに危害が及ぶという問題が同様に存在する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願は、スマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体を提供し、ユーザがスマートバックミラーに投影されたアプリケーションプログラムを外部機器で制御することを実現することができる。

【課題を解決するための手段】

【0006】

第１の態様では、本願は、スマートバックミラーを制御するための方法を提供し、スマートバックミラーのインターフェース表示情報を取得するステップと、前記インターフェース表示情報を前記スマートバックミラーと通信可能に接続された少なくとも１つの外部機器へ送信するステップと、前記少なくとも１つの外部機器からのユーザ操作情報に応答し、前記スマートバックミラーが相応の操作を実行するように制御するステップであって、前記ユーザ操作情報が、前記少なくとも１つの外部機器に対する前記ユーザの操作を記述することに使用されるステップと、を含む。

【0007】

第２の態様では、本願は、スマートバックミラーを制御するための方法を提供し、投影制御機器からのインターフェース表示情報を受信するステップと、前記インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するステップと、前記インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するステップと、前記ユーザ操作情報を前記投影制御機器へ送信するステップと、を含む。

【0008】

第３の態様では、本願は、スマートバックミラーを制御するための装置を提供し、
スマートバックミラーのインターフェース表示情報を取得するための処理モジュールと、
前記インターフェース表示情報を前記スマートバックミラーと通信可能に接続された少なくとも１つの外部機器へ送信するための送受信モジュールと、を含み、
前記処理モジュールはまた、前記少なくとも１つの外部機器からのユーザ操作情報に応答し、前記スマートバックミラーが相応の操作を実行するように制御するために用いられ、前記ユーザ操作情報が、前記少なくとも１つの外部機器に対する前記ユーザの操作を記述することに使用される。

【0009】

第４の態様では、本願は、スマートバックミラーを制御するための装置を提供し、
投影制御機器からのインターフェース表示情報を受信するための送受信モジュールと、
前記インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するための表示モジュールと、
前記インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するための処理モジュールと、
前記ユーザ操作情報を前記投影制御機器へ送信するための前記送受信モジュールと、を含む。

【0010】

第５の態様では、本願は、電子機器を提供し、少なくとも１つのプロセッサ、前記少なくとも１つのプロセッサに通信接続されたメモリを含み、前記メモリは、コンピュータ実行命令を記憶し、前記少なくとも１つのプロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行し、その結果、前記電子機器は、上記の第１の態様と第２の態様によるスマートバックミラーを制御するための方法を実行し、前記出力装置は、前記電子機器のインターフェースを表示するためのものである。

【0011】

第６の態様では、本願は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、コンピュータ実行命令が記憶されており、前記コンピュータ実行命令がプロセッサによって実行されるとき、上記の第１の態様と第２の態様によるスマートバックミラーを制御するための方法が実現される。

【0012】

第７の態様では、本願は、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも１つのプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサは、前記コンピュータプログラムを実行することによって、前記電子機器に上記の第１の態様と第２の態様によるスマートバックミラーを制御するための方法を実行させる。

【発明の効果】

【0013】

上記の各態様の有益な効果について、具体的に、下記の具体的な実施形態に記述した有益な効果を参照することができる。

【0014】

本願に係るスマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体により、具体的な実現手段は、スマートバックミラーのインターフェース表示情報を取得すること、インターフェース表示情報をスマートバックミラーと通信可能に接続された少なくとも１つの外部機器へ送信すること、及び少なくとも１つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御し、ユーザ操作情報が少なくとも１つの外部機器に対するユーザの操作を記述するためのものであること、を含む。本願で開示される技術的解決手段において、ユーザが投影される外部機器でスマートバックミラーでの投影されたインターフェースを制御することを実現でき、操作が便利で、ユーザの運転セキュリティを確保できる。

【図面の簡単な説明】

【0015】

図面は、本解決手段をよりよく理解するために使用されるものであり、本願に対する限定を構成しない。

【図1】本願の実施例に係るスマートバックミラーを制御するための方法の一例示的なシステムアーキテクチャ図である。

【図2】本願に係るスマートバックミラーを制御するための方法のフローチャートである。

【図3】本願に係るスマートバックミラーのインターフェース変化の概略図１である。

【図4】本願に係る第１の外部機器のインターフェース変化の概略図２である。

【図5】本願に係るスマートバックミラーのインターフェース変化の概略図２である。

【図6】本願に係る第１の外部機器のインターフェース変化の概略図２である。

【図7】本願に係る第１の外部機器のインターフェースの概略図である。

【図8】本願に係るスマートバックミラーのインターフェースの概略図である。

【図9】本願に係る第１の外部機器のインターフェース変化の概略図３である。

【図10】本願に係るスマートバックミラーを制御するための方法が適用するシーンの概略図である。

【図11】本願に係るスマートバックミラーを制御するための装置の構造概略図１である。

【図12】本願に係るスマートバックミラーを制御するための装置の構造概略図２である。

【図13】本願に係る電子機器の構造概略図である。

【発明を実施するための形態】

【0016】

以下、本願の示範的な実施例を図面に合わせて説明する。理解に寄与するための本願の実施例の様々な詳細が含まれるが、これらは、示範的なものにすぎないと考えられるべきである。よって、当業者は、ここに記述した実施例に対する様々な変化や修正が可能であり、本願の範囲や趣旨から逸脱しないと認識すべきである。同様に、明確且つ簡潔のため、以下の記述では、周知の機能や構造に関する説明を省略するようにする。

【0017】

図１は、本願の実施例に係るスマートバックミラーを制御するための方法の一例示的なシステムアーキテクチャ図である。図１に示すように、該方法は、スマートバックミラーと少なくとも１つの外部機器に関する。本実施例におけるスマートバックミラーが車両内に設置され、スマートバックミラーが車両内部のフロントガラスの中央に近い位置などに取り付けられることができ、本実施例におけるスマートバックミラーは、リアビュー機能のみを備えるバックミラー、または、補助反転機能を備えたスマートバックミラー、または、ナビゲーション、音楽再生などの他の機能を備えたスマートバックミラーであってもよいが、これらに限定されないと理解すべきである。

【0018】

本実施例における外部機器は、車両における車載インフォテインメント端末か、または、車両におけるユーザの端末機器であってもよい。本実施例における車載インフォテインメント端末は、車両のセンターコンソール内に取り付けられることができ、車載インフォテインメント端末のスクリーンは、センターコンソールの表面に設置されて様々な情報をユーザに表示する。スマートバックミラーと車載インフォテインメント端末との間は、有線接続、例えばユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ＵＳＢと略称）によって車載インフォテインメント端末と接続されるか、または、無線接続、例えばブルートゥース（登録商標）によって接続されるか、または、ワイヤレス・フィディリティー（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、Ｗｉ－Ｆｉと略称）によって接続されてもよい。本実施例におけるスマートバックミラーにより、車両の反転を補助でき、スマートバックミラーにまた、アプリケーションプログラムを設置してもよく、音楽再生、マップナビゲーションなどの数多くの機能を実現するようにする。本実施例におけるユーザの端末機器は、携帯電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡと略称）、タブレットコンピュータ、ポータブル機器（例えば、ポータブルコンピュータ、ポケットコンピュータ又はハンドヘルドコンピュータ）などであってもよいが、これらに限定されない。図１には、車載インフォテインメント端末である１つの外部機器を例として説明すると理解すべきである。

【0019】

図１に示すように、スマートバックミラーが車両内部のフロントガラス中央に近い位置に設置されることは多いため、ユーザがスマートバックミラーのインターフェースを操作して見るとき、頭の上に注意力を移す必要があり、操作が不便で、ユーザの運転セキュリティに危害が及ぶ。従来技術において、該問題を解決するために、スマートバックミラーのインターフェースを外部機器に投影する技術的解決手段を提供し、外部機器は、例えば車載インフォテインメント端末であり、その結果、ユーザは、車載インフォテインメント端末を見ることでスマートバックミラーに表示した内容を取得することができ、ユーザがスマートバックミラーを見ることによる運転セキュリティへの影響という問題を回避する。

【0020】

しかし、従来技術において、ユーザは、スマートバックミラーのインターフェースを車載インフォテインメント端末に投影した後に、投影されたインターフェースを操作する必要がある場合、スマートバックミラーでしか操作できないから、スマートバックミラーでのインターフェースに対する制御を車載インフォテインメント端末で実現できないため、従来のスマートバックミラーのインターフェースを車載インフォテインメント端末に投影した後に、操作が不便で、ユーザの運転セキュリティに危害が及ぶという問題が同様に存在する。

【0021】

上記の問題を解決するために、本願は、スマートバックミラーを制御するための方法を提供し、該方法において、ユーザは、スマートバックミラーのインターフェースを外部機器に投影した後に、外部機器に投影されたインターフェースを操作することにより、スマートバックミラーのインターフェースに対する制御を実現でき、操作が便利で、ユーザの運転セキュリティを確保できる。

【0022】

以下、本願に係るスマートバックミラーを制御するための方法について具体的な実施例に合わせながら説明する。図２は、本願に係るスマートバックミラーを制御するための方法のフローチャートである。図２に示すような方法フローの実行主体は、スマートバックミラーを制御するための装置であってもよく、該スマートバックミラーを制御するための装置は、スマートバックミラー又はスマートバックミラーにおける投影制御機器であってもよく、該投影制御機器は、プロセッサまたはチップなどであってもよく、該投影制御機器は、任意のソフトウェア及び／又はハードウェアによって実現することができると理解すべきであり、以下、スマートバックミラーの制御装置が投影制御機器である場合について説明する。

【0023】

図２に示すように、本実施例に係るスマートバックミラーを制御するための方法は、以下のステップを含み、
Ｓ２０１、投影制御機器がスマートバックミラーのインターフェース表示情報を取得し、
Ｓ２０２、投影制御機器がインターフェース表示情報をスマートバックミラーと通信可能に接続された少なくとも１つの外部機器へ送信し、
Ｓ２０３、第１の外部機器がインターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示し、
Ｓ２０４、第１の外部機器がインターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成し、
Ｓ２０５、第１の外部機器がユーザ操作情報を投影制御機器へ送信し、
Ｓ２０６、投影制御機器が少なくとも１つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御し、ユーザ操作情報が少なくとも１つの外部機器に対するユーザの操作を記述するためのものである。

【0024】

上記のＳ２０１で、投影制御機器は、スマートバックミラーのインターフェースが投影されたとき、スマートバックミラーのインターフェース表示情報を取得することができる。本実施例において、投影制御機器は、スマートバックミラーに表示されたインターフェースに対して画面記録して、ひいては、スマートバックミラーのインターフェース表示情報を得ることができる。または、投影制御機器はまた、スマートバックミラーの現在インターフェースの表示情報を取得し、該現在インターフェースの表示情報をインターフェース表示情報とすることができ、このような方式で、インターフェース表示情報は、インターフェースの構造化されたレイアウト、およびインターフェースに表示された情報などであってもよい。

【0025】

上記のＳ２０２で、本実施例における少なくとも１つの外部機器は、上記した関連記述を参照することができ、ここで繰り返して説明しない。スマートバックミラーが少なくとも１つの外部機器に投影されたとき、スマートバックミラーのインターフェース表示情報を該少なくとも１つの外部機器に送信し、個々の外部機器は、いずれもスマートバックミラーのインターフェース表示情報に基づいて、スマートバックミラーでのインターフェースを確定し、ひいては、外部機器でスマートバックミラーでの投影されたインターフェースを表示することができるようにする。

【0026】

上記のＳ２０３で、本実施例において、第１の外部機器は、上記の少なくとも１つの外部機器のいずれかの機器で、以下、第１の外部機器を例として、該少なくとも１つの外部機器内の個々の外部機器の操作プロセスを説明する。個々の外部機器の操作プロセスは、該第１の外部機器の操作プロセスと同じであると理解すべきである。

【0027】

本実施例において、第１の外部機器は、投影制御機器からのインターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示することができる。スマートバックミラーのインターフェース表示情報は、スマートバックミラーのメインインターフェース表示情報であるか、または、スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報であってもよい。スマートバックミラーのメインインターフェースは、アプリケーションプログラムに入る前のスマートバックミラーのインターフェースであってもよいと理解すべきである。

【0028】

選択的に、本実施例におけるスマートバックミラーのインターフェースに、投影コントロールが表示でき、ユーザは、該投影コントロールを選択した後に、投影制御機器により、スマートバックミラーのインターフェースが少なくとも１つの外部機器に投影されるように制御する。

【0029】

例示的に、図３は、本願に係るスマートバックミラーのインターフェース変化の概略図１である。図３におけるインターフェース３０１に示すように、該インターフェース３０１は、スマートバックミラーのメインインターフェースであり、該メインインターフェースに、スマートバックミラーでのアプリケーションプログラムのアイコン、日時、設定などの情報が表示されている。該インターフェース３０１にまた、投影コントロールが表示されており、ユーザが該投影コントロールをクリックすると、インターフェース３０１は、インターフェース３０２にジャンプし、該インターフェース３０２に、投影される外部機器の標識、例えば「外部機器１」が表示されており、インターフェース３０１における情報も表示されている。選択的に、該インターフェース３０２に、インターフェース３０１における情報が表示されず、表示投影される外部機器の標識、例えば「外部機器１」、および「メインインターフェースが外部機器に投影され済みです」などの文字注意情報が表示されてもよい。スマートバックミラーのインターフェースを外部機器に投影する前に、スマートバックミラーは、外部機器と有線接続、または無線接続を確立しておると理解すべきである。

【0030】

投影制御機器がスマートバックミラーのインターフェースを外部機器に投影するように制御した後に、外部機器に、スマートバックミラーでの投影されたインターフェースを対応させて表示できる。

【0031】

例示的に、図４は、本願に係る第１の外部機器のインターフェース変化の概略図２である。図４におけるインターフェース４０１に示すように、該インターフェース４０１は、第１の外部機器に投影されない前のインターフェースで、該インターフェースは、第１の外部機器のメインインターフェースであってもよく、例えば該インターフェース４０１に、日時、設定などの情報が表示されてもよい。スマートバックミラーのインターフェースが第１の外部機器に投影されるように制御した後に、該第１の外部機器では、インターフェース４０１はインターフェース４０２にジャンプし、該インターフェース４０２が上記の図３におけるインターフェース３０１と同じであってもよいが、該インターフェース４０２に投影コントロールが表示されない。

【0032】

上記のＳ２０４と上記のＳ２０５で、第１の外部機器は、第１の外部機器に表示された投影のインターフェースに対するユーザの操作を検出し、ユーザ操作情報を生成することができる。ユーザ操作情報が第１の外部機器に対するユーザの操作情報を記述するためのものであると理解すべきである。ユーザ操作情報が、第１の外部機器に設置された機械コントロールに対するユーザの操作、または、第１の外部機器に表示された投影のインターフェースに対するユーザの操作を記述できる。なお、本実施例において、第１の外部機器はまた、ユーザ操作情報を投影制御機器へ送信し、ユーザの操作情報は、投影制御機器がスマートバックミラーを制御するように指示し、その結果、投影制御機器は、スマートバックミラーが相応の操作を実行するように制御する。

【0033】

例示的に、インターフェース４０２に、ユーザが設定コントロールをクリックしたら、第１の外部機器は、該インターフェース４０２に対するユーザの操作を検出し、ユーザ操作情報を生成することができ、該ユーザ操作情報は、ユーザが設定コントロールをクリックしたことを記述するためのものである。

【0034】

上記のＳ２０６で、投影制御機器は、ユーザ操作情報を受信した後に、外部機器の投影インターフェースでのユーザ操作を確定することができる。つまり、本実施例における投影制御機器は、少なくとも１つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御することができる。

【0035】

例示的に、ユーザ操作情報は、ユーザが設定コントロールをクリックしたことを記述するためのものである場合、投影制御機器は、スマートバックミラーが設定インターフェースに入る操作を実行するように制御し、対応して、上記のスマートバックミラーのインターフェース３０２は、インターフェース３０３にジャンプし、該インターフェース３０３がスマートバックミラーの設定インターフェースである。例えば、該インターフェース３０３に接続方式、例えばブルートゥース接続、より多くの接続などの設定、およびインターフェースの明るさや壁紙などの設定が表示されてもよい。スマートバックミラーのインターフェースが該第１の外部機器に投影されたため、相応して、外部機器のインターフェース４０２はインターフェース４０３にジャンプし、該インターフェース４０３が上記のインターフェース３０３と同じである。

【0036】

本実施例に係るスマートバックミラーを制御するための方法は、スマートバックミラーのインターフェース表示情報を取得するステップと、インターフェース表示情報をスマートバックミラーと通信可能に接続された少なくとも１つの外部機器へ送信するステップと、少なくとも１つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御ステップであって、ユーザ操作情報が少なくとも１つの外部機器に対するユーザの操作を記述するためのものであるステップと、を含む。本実施例において、外部機器は、外部機器に投影されたインターフェースに対するユーザの操作を検出し、ひいては、ユーザの操作情報をスマートバックミラーの投影制御機器へ送信することができ、スマートバックミラーによるインターフェース制御を実現するようにし、つまり、本実施例において、ユーザは、外部機器でスマートバックミラー投影のインターフェースに対する制御を実現することができ、操作が便利で、ユーザの運転セキュリティを確保する。

【0037】

上記の実施例に基づいて、下記の実施例において、スマートバックミラーでのアプリケーションプログラムの投影制御プロセスについて説明し、下記の実施例におけるスマートバックミラーを制御するための方法は、上記の実施例にも適用すると理解すべきである。上記したスマートバックミラーのインターフェースはスマートバックミラーでのアプリケーションプログラムのインターフェースであり、スマートバックミラーでのアプリケーションプログラムが例えば上記のインターフェース３０１に示すような音楽アプリケーションプログラム、ナビゲーションアプリケーションプログラム又は天気アプリケーションプログラムなどであってもよい。相応して、外部機器に投影されたインターフェースに対するユーザの操作は、即ち、外部機器に投影されたアプリケーションプログラムのインターフェースに対する操作であり、投影制御機器は、ユーザ操作情報に基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御することができる。

【0038】

以下、本願に係るスマートバックミラーを制御するための方法について図４に合わせながらさらに詳細に説明する。図４は、本願に係るスマートバックミラーを制御するための方法の実施例２のフローチャートである。図４に示すように、本実施例に係るスマートバックミラーを制御するための方法は、以下のステップを含み、
Ｓ４０１、投影制御機器がユーザによって出力された投影指示を受信して、スマートバックミラーでのアプリケーションプログラムのインターフェースを録画し、投影対象のビデオを得て、投影指示が、アプリケーションプログラムのインターフェースを少なくとも１つの外部機器に投影するように指示するためのものであり、
Ｓ４０２、投影制御機器が投影対象のビデオを少なくとも１つの外部機器へ送信し、
Ｓ４０３、第１の外部機器が投影対象のビデオに基づいて、スマートバックミラーでのアプリケーションプログラムのインターフェースを表示し、
Ｓ４０４、第１の外部機器がインターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成し、
Ｓ４０５、第１の外部機器がユーザ操作情報を投影制御機器へ送信し、
Ｓ４０６、投影制御機器がアプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成し、トリガーイベントは、アプリケーションプログラムが相応の操作を実行するように指示し、
Ｓ４０７、トリガーイベントに基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御する。

【0039】

上記のＳ４０１で、スマートバックミラーのインターフェースがスマートバックミラーでのアプリケーションプログラムのインターフェースであるとき、アプリケーションプログラムのインターフェースに、投影コントロールが表示でき、ユーザが該投影コントロールをクリックすると、投影指示をスマートバックミラーにおける投影制御機器へ入力するようにトリガーすることができる。本実施例において、ユーザはまた、音声命令又は動作命令を用いて投影指示を入力することができると理解すべきである。

【0040】

例示的に、図５は、本願に係るスマートバックミラーのインターフェース変化の概略図２である。図５におけるインターフェース５０１に示すように、該インターフェース５０１に表示されたのは、少なくとも１つの外部機器に投影されたスマートバックミラーの音楽アプリケーションプログラムのインターフェースであり、該インターフェースに現在、歌曲再生のインターフェースを表示している。

【0041】

本実施例において、アプリケーションプログラムのインターフェースを投影する方式は、投影制御機器がスマートバックミラーでのアプリケーションプログラムのインターフェースを録画し、投影対象のビデオを得て、ひいては、該投影対象のビデオを少なくとも１つの外部機器へ送信し、個々の外部機器はアプリケーションプログラムのインターフェースを投影するようにすることである。

【0042】

上記のＳ４０２で、投影制御機器は、該投影対象のビデオを得た後に、該投影対象のビデオをエンコードし、エンコードされた投影対象のビデオを少なくとも１つの外部機器へ送信することができる。

【0043】

相応して、上記のＳ４０３で、第１の外部機器は、投影制御機器からの投影対象のビデオを受信した後に、該投影対象のビデオをデコードして、該アプリケーションプログラムのインターフェースを第１の外部機器に表示することができる。例示的に、図６は、本願に係る第１の外部機器のインターフェース変化の概略図２である。図６におけるインターフェース６０１に示すように、該インターフェース６０１に表示されたのは、スマートバックミラー内の音楽アプリケーションプログラムのインターフェースであり、該インターフェースに現在、歌曲再生のインターフェースを表示している。

【0044】

上記のＳ４０４で、例えば、ユーザは、該インターフェース６０１で曲を切ったり、音量を調節したり、早送りしたりなどの操作を行うことができ、ユーザは、異なるアプリケーションプログラムに対して、インターフェースに対する操作が異なってもよいと理解すべきである。第１の外部機器はインターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成する。ユーザの操作情報は、ユーザが第１の外部機器に現在表示されているインターフェースでのユーザ操作の座標位置を含むことができる。インターフェース６０１に示すように、仮に第１の外部機器のＡ位置を原点として、横方向、縦方向をそれぞれＸ軸、Ｙ軸とすると、第１の外部機器に現在表示されているインターフェースでのユーザ操作の座標位置は、該座標系での位置であると理解すべきである。選択的に、ユーザの操作情報はまた、ユーザの操作動作を含むことができる。ユーザの操作動作は例えば、シングルクリック、ダブルクリック、スライドなどの動作であってもよい。

【0045】

例示的に、本実施例において、ユーザが該インターフェース６０１で一時停止コントロールをクリックすると、該ユーザの操作情報は、ユーザがクリックした座標位置、およびシングルクリックという操作動作を含むことができる。

【0046】

上記のＳ４０６で、投影制御機器は、第１の外部機器からのユーザ操作情報を受信した後に、アプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成することができる。トリガーイベントは、アプリケーションプログラムが相応の操作を実行するように指示する。

【0047】

以下、本実施例において、トリガーイベントを生成する可能な実施形態について説明する。

【0048】

第１種方法、本実施例におけるユーザ操作情報は、第１の外部機器の現在インターフェースでのユーザ操作の座標位置を含む。投影制御機器は、第１の外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換することができる。

【0049】

このような方法では、上記のインターフェース６０１に示すように、第１の外部機器のインターフェースの全部で投影されたアプリケーションプログラムのインターフェースが表示された場合、上記のインターフェース５０１に示すように、スマートバックミラーのインターフェースの全部で投影されたアプリケーションプログラムのインターフェースが表示された場合、本実施例において、第１の外部機器の現在インターフェースでのユーザ操作の座標位置、および第１の外部機器に表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、第１の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定することができる。

【0050】

例示的に、ユーザがインターフェース６０１で一時停止コントロールをクリックすると、該ユーザの操作情報は、ユーザがクリックした座標位置を含むことができる。本実施例において、該座標位置、および第１の外部機器に表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、該アプリケーションプログラムのインターフェースに対する該座標位置の相対位置を確定する。例えば該座標位置が該アプリケーションプログラムのインターフェースの左下のある位置にある。

【0051】

本実施例において、上記のような相対位置、およびスマートバックミラーに表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、スマートバックミラーの現在インターフェースでの座標位置を確定することができる。例示的に、該座標位置が該アプリケーションプログラムのインターフェースの左下のある位置にあると、スマートバックミラーでのアプリケーションプログラムのインターフェースのサイズに基づいて、ユーザがクリックした位置は該スマートバックミラーでのアプリケーションプログラムのインターフェースの左下のある位置にあると確定することができる。

【0052】

このような方法では、図７に示すように、第１の外部機器のインターフェースの一部で投影されたアプリケーションプログラムのインターフェースが表示された場合、他の部分で時間などの情報が表示され、図８に示すように、スマートバックミラーのインターフェースの一部で投影されたアプリケーションプログラムのインターフェースが表示された場合、他の部分で時間などの情報が表示される。図７は、本願に係る第１の外部機器のインターフェースの概略図である。図８は、本願に係るスマートバックミラーのインターフェースの概略図である。本実施例において、第１の外部機器の現在インターフェースでのユーザ操作の座標位置、および第１の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、第１の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定することができる。第１の外部機器のインターフェースの全部でアプリケーションプログラムのインターフェースに表示されないため、第１の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定するとき、第１の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置を確定する必要があると理解すべきである。図７の第１の外部機器左側の座標位置のように、第１の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置とは、第１の外部機器のインターフェースでのアプリケーションプログラムのインターフェースの位置のセットであると理解すべきである。

【0053】

例示的に、ユーザがインターフェース６０１で一時停止コントロールをクリックすると、該ユーザの操作情報は、ユーザがクリックした座標位置を含むことができる。本実施例において、該座標位置、および第１の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、該アプリケーションプログラムのインターフェースに対する該座標位置の相対位置を確定することができる。例えば該座標位置が該アプリケーションプログラムのインターフェースの左下のある位置にある。

【0054】

相応して、投影制御機器は、相対位置、およびスマートバックミラーに表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、スマートバックミラーの現在インターフェースでの座標位置を確定することができる。例示的に、該座標位置が該アプリケーションプログラムのインターフェースの左下のある位置にあると、スマートバックミラーでのアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、ユーザがクリックした位置が該スマートバックミラーでのアプリケーションプログラムのインターフェースの左下のある位置にあると確定することができる。第１の外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換する上記のような２種類の方法は、組み合わせて使用することができると理解すべきである。

【0055】

本実施例において、投影制御機器は、外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換した後に、アプリケーションプログラムのインターフェースレイアウト、およびスマートバックミラーの現在インターフェースでの座標位置に基づいて、トリガーイベントを生成することができる。

【0056】

アプリケーションプログラムのインターフェースレイアウトに基づいて、スマートバックミラーの現在インターフェースでの座標位置に対応する操作コントロールを確定し、ひいては、操作コントロールに基づいて、トリガーイベントを生成することができる。例示的に、アプリケーションプログラムのインターフェースレイアウトに基づいて、スマートバックミラーの現在インターフェースでの座標位置に対応する操作コントロールは一時停止コントロールであると確定すると、該一時停止コントロールに基づいてトリガーイベントを生成し、該トリガーイベントは、音楽アプリケーションプログラムに再生を一時停止するように指示する。

【0057】

第２種方法、ユーザ操作の情報は、第１の外部機器の現在インターフェースでのユーザ操作の座標位置とユーザの操作動作を含む。本実施例において、アプリケーションプログラムのインターフェースレイアウト、スマートバックミラーの現在インターフェースでの座標位置、およびユーザの操作動作に基づいて、トリガーイベントを生成することができる。

【0058】

本実施例において、第１の外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換する方法について、具体的に上記の第１種方法の関連記述を参照することができると理解すべきである。本実施例において、スマートバックミラーの現在インターフェースでの座標位置を確定した後に、アプリケーションプログラムのインターフェースレイアウトとスマートバックミラーの現在インターフェースでの座標位置に基づいて、アプリケーションプログラムにおけるユーザの操作位置を決定し、ひいては、ユーザの操作動作に基づいて、トリガーイベントを生成することができる。例えばユーザのシングルクリックは、再生を一時停止することを表徴し、ダブルクリックは、曲を切ることを表徴し、対応して、本実施例において、生成されたトリガーイベントは、音楽アプリケーションプログラムに再生を一時停止するように制御するか、または、音楽アプリケーションプログラムに曲を切るように制御するように指示する。

【0059】

相応して、上記のＳ４０７で、投影制御機器は、トリガーイベントに基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御することができる。例示的に、ユーザが第１の外部機器で一時停止コントロールをクリックすると、投影制御機器は、音楽アプリケーションプログラムが再生を一時停止するように制御し、対応して、上記のスマートバックミラーのインターフェース５０１は、インターフェース５０２にジャンプし、該インターフェース５０２は、音楽アプリケーションプログラムが再生を一時停止するインターフェースであり、例えば、該インターフェース５０２に音楽の一時停止の標識が表示されることができる。スマートバックミラーのインターフェースが第１の外部機器に投影されるため、相応して、第１の外部機器のインターフェース６０１はインターフェース６０２にジャンプし、該インターフェース６０２が上記のインターフェース５０２と同じである。

【0060】

本実施例において、投影制御機器は、ユーザの操作情報における第１の外部機器の現在インターフェースでのユーザ操作の座標位置、およびユーザの操作動作に基づいて、ユーザ操作の意図を決定し、ひいては、対応するトリガーイベントを生成し、ひいては、スマートバックミラーでのアプリケーションプログラムに対する制御を実現することができる。

【0061】

上記の実施例において、スマートバックミラー内の１つのアプリケーションプログラムが第１の外部機器に投影されて逆制御を実現する（即ち、スマートバックミラーでのアプリケーションプログラムに対する制御を第１の外部機器で実現する）プロセスを説明した。本願におけるスマートバックミラーを制御するための方法は、マルチアプリケーションプログラムの同時投影を実現することができると注意すべきである。相応して、マルチアプリケーションプログラムのインターフェースが第１の外部機器に同時投影されたとき、第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを確定し、ひいては、ターゲットアプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成することができる。本実施例において、ターゲットアプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成する方法について、具体的に、上記の実施例２の「アプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成する」の関連記述を参照することができると理解すべきである。投影制御機器は、スマートバックミラーの現在インターフェースに表示されたアプリケーションプログラムを確定して、スマートバックミラーの現在インターフェースに表示されたアプリケーションプログラムをターゲットアプリケーションプログラムとすることができる。

【0062】

マルチアプリケーションプログラムのインターフェースが第１の外部機器に同時投影されたシーンで、第１の外部機器の現在インターフェースにまた、切り替えコントロールが表示され、切り替えコントロールは、第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示する。選択的に、該切り替えコントロールは、ターゲットアプリケーションプログラム以外の投影されているアプリケーションプログラムの標識であってもよい。

【0063】

相応して、ユーザが該切り替えコントロールをクリックすると、第１の外部機器によって生成されたユーザ操作情報は、第１の外部機器の現在インターフェースでの切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含み、または、第１の外部機器によって生成されたユーザ操作情報は、第１の外部機器の現在インターフェースでの切り替えコントロールの座標位置、ユーザの操作動作、および切り替えられたアプリケーションプログラムの標識を含む。対応して、投影制御機器は、該ユーザの操作動作に基づいて、生成されたトリガーイベントは、ターゲットアプリケーションプログラムから切り替えられたアプリケーションプログラムに切り替えるように指示する。相応して、投影制御機器は、トリガーイベントに基づいて、スマートバックミラーでのアプリケーションプログラムが切り替えられたアプリケーションプログラムに切り替えるように制御する。

【0064】

例示的に、図９は、本願に係る第１の外部機器のインターフェース変化の概略図３である。図９に示すように、該インターフェース９０１が音楽アプリケーションプログラム投影のインターフェースであり、該インターフェース９０１に切り替えコントロールが表示されており、例えば切り替えコントロールがナビゲーションアプリケーションプログラムの標識や天気アプリケーションプログラムの標識である。ユーザがナビゲーションアプリケーションプログラムの標識をクリックした後に、インターフェース９０１がインターフェース９０２にジャンプし、該インターフェース９０２に表示されたのは、ナビゲーションアプリケーションプログラムのインターフェースである。図９と対応して、スマートバックミラーのインターフェース変化は、図９におけるインターフェース変化と同じであると理解すべきである。

【0065】

本実施例におけるスマートバックミラーを制御するための方法により、マルチアプリケーションプログラムの投影を実現できることを説明するために、まず、従来技術におけるスマートバックミラーを制御するための方法について紹介する。

【0066】

従来技術における投影方法は、投影アプリケーションプログラムをスマートバックミラーに設置し、あるアプリケーションプログラムのインターフェースを外部機器に投影するとき、該投影アプリケーションプログラムを起動する必要があり、該アプリケーションプログラムのインターフェースの投影を実現するようにする方法である。該投影アプリケーションプログラムには、スマートバックミラーでのアプリケーションプログラムのビジネスロジックコードが集積されており、投影するとき、アプリケーションプログラムのビジネスロジックコードおよび投影コードを呼び出して実現する必要がある。スマートバックミラーにアプリケーションプログラムを追加するとき、該追加されるアプリケーションプログラムのビジネスロジックコードを該投影アプリケーションプログラムにコピーし、具体的に、該投影アプリケーションプログラムのインストールパッケージａｐｋにコピーする必要がある。従来技術において、各アプリケーションプログラムの投影は、いずれも１つのプロセスで実現（即ち、該投影アプリケーションプログラム）され、従来技術において、１つのアプリケーションプログラムのインターフェースの投影のみを同時に許可することができる。従来技術において、ユーザがアプリケーションプログラムの投影するとき、現在投影されたアプリケーションプログラムを終了してから、もう１つのアプリケーションプログラムを投影する必要があり、マルチアプリケーションプログラムが外部機器に同時に投影されることを実現できない。

【0067】

本実施例において、スマートバックミラーにおける各アプリケーションプログラムにソフトウェア開発ツール(Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ)を設置し、該ＳＤＫには、逆制御ビジネスロジックを実現し、各アプリケーションプログラムの実行に対応する操作を制御するための動作が集積されている。本実施例において、アプリケーションプログラムを追加するとき、該追加されるアプリケーションプログラムのビジネスロジックコードをコピーする必要がなく、該追加されるアプリケーションプログラムにＳＤＫを集積させるだけでよく、イベントを節約し、後続の他のアプリケーションプログラムの快速な投影逆制御拡張の実現に有利である。

【0068】

対応して、本実施例において、本願に係るスマートバックミラーを制御するための方法について図１０に合わせてさらに説明する。図１０は、本願に係るスマートバックミラーを制御するための方法が適用するシーンの概略図であり、図１０に示すように、該シーンには、第１の外部機器とスマートバックミラーが含まれる。スマートバックミラーには、投影制御機器、および複数のアプリケーションプログラム、例えば、音楽アプリケーションプログラム、ナビゲーションアプリケーションプログラム及び天気アプリケーションプログラムが含まれる。第１の外部機器は、上記の実施例における第１の外部機器によって実行される動作を実行するためのものであり、投影制御機器は、上記の投影制御機器によって実行される動作を実行するためのものである。

【0069】

投影制御機器が投影指示を受信した後に、投影する必要があるアプリケーションプログラムは、まず投影制御機器に登録される必要があり、投影制御機器は、個々の投影されるアプリケーションプログラムの投影プロセスを作成し、ひいては、アプリケーションプログラムのインターフェースが第１の外部機器に投影されるように制御して、アプリケーションプログラムの状態を投影状態として保存する。

【0070】

投影制御機器は、第１の外部機器からのユーザ操作情報を受信した後に、該ユーザ操作情報とアプリケーションプログラムのインターフェースレイアウトに基づいて、トリガーイベントＭｏｔｉｏｎＥｖｅｎｔを生成して、トリガーイベントをターゲットアプリケーションプログラム（第１の外部機器の現在インターフェースに表示されたアプリケーションプログラム）の投影プロセスに配布し、具体的に、ターゲットアプリケーションプログラムの投影プロセスでのイベントインプットウィンドウ（ｗｉｎｄｏｗ．ｉｎｊｅｃｔ Ｉｎｐｕｔ Ｅｖｅｎｔ(ｅｖｅｎｔ)）に配布し、ひいては、ターゲットアプリケーションプログラムが、ＳＤＫにおける逆制御ビジネスロジックを用いてターゲットアプリケーションプログラムに対する逆制御を実現するように制御することができる。

【0071】

相応して、アプリケーションプログラムの投影終了時に、投影制御機器は、アプリケーションプログラムの投影状態を終了状態に修正することができる。

【0072】

本実施例に係るスマートバックミラーを制御するための方法により、スマートバックミラーの複数のアプリケーションプログラムを同時に投影することを実現でき、複数の投影されたアプリケーションプログラムの切り替えを実現でき、従来技術において、ユーザがアプリケーションプログラムを投影するとき、現在投影されているアプリケーションプログラムを終了させてから、もう１つのアプリケーションプログラムを投影するという問題を回避し、ユーザ体験を向上させる。

【0073】

図１１は、本願に係るスマートバックミラーを制御するための装置の構造概略図１である。該スマートバックミラーを制御するための装置は、上記の実施例における投影制御機器である。図１１に示すように、該スマートバックミラーを制御するための装置１１００は、処理モジュール１１０１及び送受信モジュール１１０２を含む。

【0074】

処理モジュール１１０１は、スマートバックミラーのインターフェース表示情報を取得するために使用される。

【0075】

送受信モジュール１１０２は、インターフェース表示情報をスマートバックミラーと通信可能に接続された少なくとも１つの外部機器へ送信するために使用される。

【0076】

相応して、処理モジュール１１０１はまた、少なくとも１つの外部機器からのユーザ操作情報に応答し、スマートバックミラーが相応の操作を実行するように制御するために使用され、ユーザ操作情報が少なくとも１つの外部機器に対するユーザの操作を記述するためのものである。

【0077】

可能な一実施形態で、スマートバックミラーのインターフェース表示情報は、スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報である。

【0078】

相応して、処理モジュール１１０１は、具体的に、ユーザ操作情報に基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御するために使用される。

【0079】

可能な一実施形態で、処理モジュール１１０１は、具体的に、アプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成し、トリガーイベントは、アプリケーションプログラムが相応の操作を実行するように指示するために使用され、トリガーイベントに基づいて、スマートバックミラーでのアプリケーションプログラムが相応の操作を実行するように制御するために使用される。

【0080】

可能な一実施形態で、ユーザ操作情報は、第１の外部機器の現在インターフェースでのユーザ操作の座標位置を含み、第１の外部機器は、少なくとも１つの外部機器のいずれかの機器である。

【0081】

相応して、処理モジュール１１０１は、具体的に、第１の外部機器の現在インターフェースでのユーザ操作の座標位置をスマートバックミラーの現在インターフェースでの座標位置に変換し、アプリケーションプログラムのインターフェースレイアウト、およびスマートバックミラーの現在インターフェースでの座標位置に基づいて、トリガーイベントを生成するために使用される。

【0082】

可能な一実施形態で、処理モジュール１１０１は、具体的に、アプリケーションプログラムのインターフェースレイアウトに基づいて、スマートバックミラーの現在インターフェースでの座標位置に対応する操作コントロールを確定し、操作コントロールに基づいて、トリガーイベントを生成するために使用される。

【0083】

可能な一実施形態で、ユーザ操作情報は、ユーザの操作動作を含む。

【0084】

相応して、処理モジュール１１０１は、具体的に、アプリケーションプログラムのインターフェースレイアウト、スマートバックミラーの現在インターフェースでの座標位置、およびユーザの操作動作に基づいて、トリガーイベントを生成するために使用される。

【0085】

可能な一実施形態で、処理モジュール１１０１は、具体的に、第１の外部機器の現在インターフェースでのユーザ操作の座標位置、および第１の外部機器に表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、第１の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定し、相対位置、およびスマートバックミラーに表示されたアプリケーションプログラムのインターフェースのサイズに基づいて、スマートバックミラーの現在インターフェースでの座標位置を確定するために使用される。

【0086】

可能な一実施形態で、処理モジュール１１０１は、具体的に、第１の外部機器の現在インターフェースでのユーザ操作の座標位置、および第１の外部機器に表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、第１の外部機器に表示されたアプリケーションプログラムのインターフェースでのユーザ操作の相対位置を確定し、相対位置、およびスマートバックミラーに表示されたアプリケーションプログラムのインターフェースの座標位置とサイズに基づいて、スマートバックミラーの現在インターフェースでの座標位置を確定するために使用される。

【0087】

可能な一実施形態で、アプリケーションプログラムは、複数である。

【0088】

相応して、処理モジュール１１０１は、具体的に、第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを確定し、ターゲットアプリケーションプログラムのインターフェースレイアウトとユーザ操作情報に基づいて、トリガーイベントを生成するために使用される。

【0089】

可能な一実施形態で、処理モジュール１１０１は、具体的に、スマートバックミラーの現在インターフェースに表示されたアプリケーションプログラムをターゲットアプリケーションプログラムとするために使用される。

【0090】

可能な一実施形態で、第１の外部機器の現在インターフェースにまた、切り替えコントロールが表示され、切り替えコントロールは、第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、相応して、ユーザ操作情報は、第１の外部機器の現在インターフェースでの切り替えコントロールの座標位置と切り替えられたアプリケーションプログラムの標識を含み、トリガーイベントは、ターゲットアプリケーションプログラムから切り替えられたアプリケーションプログラムに切り替えるように指示する。

【0091】

相応して、処理モジュール１１０１は、具体的に、トリガーイベントに基づいて、スマートバックミラーでのターゲットアプリケーションプログラムが切り替えられたアプリケーションプログラムに切り替えるように制御するために使用される。

【0092】

可能な一実施形態で、処理モジュール１１０１はさらに、アプリケーションプログラムの投影プロセスを作成するために使用される。

【0093】

可能な一実施形態で、処理モジュール１１０１は、具体的に、ユーザによって出力された投影指示を受信して、スマートバックミラーでのアプリケーションプログラムのインターフェースを録画し、投影対象のビデオを得て、投影指示は、アプリケーションプログラムのインターフェースを第１の外部機器に投影するように指示するためのものであり、投影対象のビデオを第１の外部機器へ送信するために使用される。

【0094】

可能な一実施形態で、処理モジュール１１０１はさらに、アプリケーションプログラムの状態を投影状態として保存し、およびアプリケーションプログラムの投影終了時に、アプリケーションプログラムの投影状態を終了状態に修正して、アプリケーションプログラムの投影プロセスを終了させるために使用される。

【0095】

図１２は、本願に係るスマートバックミラーを制御するための装置の構造概略図２である。該スマートバックミラーを制御するための装置は、上記の実施例における第１の外部機器である。図１２に示すように、該スマートバックミラーを制御するための装置１２００は、表示モジュール１２０１、処理モジュール１２０２及び送受信モジュール１２０３を含む。

【0096】

送受信モジュール１２０３は、投影制御機器からのインターフェース表示情報を受信するために使用される。

【0097】

表示モジュール１２０１は、インターフェース表示情報に基づいて、スマートバックミラーでの投影されたインターフェースを表示するために使用される。

【0098】

処理モジュール１２０２は、インターフェースに対するユーザの操作を検出した場合、ユーザ操作情報を生成するために使用される。

【0099】

送受信モジュール１２０３はまた、ユーザ操作情報を投影制御機器へ送信するために使用される。

【0100】

可能な一実施形態で、スマートバックミラーのインターフェース表示情報は、スマートバックミラーでのアプリケーションプログラムのインターフェース表示情報である。

【0101】

可能な一実施形態で、処理モジュール１２０２は、具体的に、第１の外部機器の現在インターフェースでのユーザ操作の座標位置を検出し、ユーザ操作情報を生成するために使用される。

【0102】

可能な一実施形態で、処理モジュール１２０２は、具体的に、第１の外部機器の現在インターフェースでのユーザ操作の座標位置と操作動作を検出し、ユーザ操作情報を生成するために使用される。

【0103】

可能な一実施形態で、アプリケーションプログラムは、複数であり、第１の外部機器の現在インターフェースにまた、切り替えコントロールが表示され、切り替えコントロールは、第１の外部機器の現在インターフェースに表示されたターゲットアプリケーションプログラムを切り替えるように指示し、ユーザ操作情報は、第１の外部機器の現在インターフェースでの切り替えコントロールの座標位置および切り替えられたアプリケーションプログラムの標識を含む。

【0104】

可能な一実施形態で、送受信モジュール１２０３はまた、投影制御機器と接続された後に、投影制御機器からの投影対象のビデオを受信し、投影対象のビデオはアプリケーションプログラムのインターフェースを録画して得られたビデオである。

【0105】

相応して、表示モジュール１２０１は、具体的に、投影対象のビデオに基づいて、スマートバックミラーでのアプリケーションプログラムのインターフェースを表示するために使用される。

【0106】

本実施例に係るスマートバックミラーを制御するための装置の実現原理や技術的効果は、上記のスマートバックミラーを制御するための方法の実現原理や技術的効果と類似するため、ここで繰り返して説明しない。

【0107】

本願の実施例によれば、本願は、さらに、電子機器及び可読記憶媒体を提供する。図１３は、本願に係る電子機器の構造概略図であり、該電子機器は、上記の実施例におけるスマートバックミラーであってもよい。本明細書に示したコンポーネント、それらの接続や関係、および、それらの機能は、単に一例にすぎず、本明細書に記述した及び／又は求められる本願の実現を制限することを意図しない。

【0108】

図１３に示すように、該電子機器は、１つ又は複数のプロセッサ１３０１、メモリ１３０２、及び各コンポーネントを連結するためのインターフェースを含み、該インターフェースは、高速インターフェースと低速インターフェースとを含む。個々のコンポーネントは、異なるバスを使用して互いに接続され、パブリックメインボードにインストールされるか、又は、必要に応じて他の方式でインストールされることができる。プロセッサは、電子機器内で実行される命令を処理することができ、外部の入力／出力装置（インターフェースにカップリングされたディスプレイデバイスなど）でＧＵＩのグラフィクス情報を表示するための、メモリ内又はメモリ上に記憶されている命令が含まれている。他の実施形態では、複数のプロセッサ及び／又は複数のバスを、必要に応じて、複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は一部の必要な操作（例えば、サーバアレイ、ブレードサーバのグループ、又はマルチプロセッサシステムとする）を提供することができる。図１３には、１つのプロセッサ１３０１を例としている。

【0109】

メモリ１３０２は、本願に係る非一時的なコンピュータ可読記憶媒体である。前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記少なくとも１つのプロセッサが本願に係るスマートバックミラーを制御するための方法を実行するようにする。本願の非一時的なコンピュータ可読記憶媒体は、コンピュータ命令を記憶しており、該コンピュータ命令は、コンピュータに本願に係るスマートバックミラーを制御するための方法を実行させるためのものである。

【0110】

メモリ１３０２は、非一時的なコンピュータ可読記憶媒体として、本願の実施例におけるスマートバックミラーを制御するための方法に対応するプログラム命令／モジュールなどの非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラムおよびモジュールを記憶するために使用されるものであってもよい。プロセッサ１３０１は、メモリ１３０２に記憶された非一時的なソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理を実行し、即ち、上記の方法の実施例におけるスマートバックミラーを制御するための方法を実現する。

【0111】

メモリ１３０２は、プログラム記憶領域及びデータ記憶領域を含むことができ、プログラム記憶領域は、オペレーティングシステム、及び少なくとも１つの機能に必要なアプリケーションプログラムを格納することができ、データ記憶領域は、スマートバックミラーを制御するための方法を実行するための電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ１３０２は、高速ランダムアクセスメモリを含むことができ、また、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含むこともできる。いくつかの実施例において、メモリ１３０２は、プロセッサ１３０１に対して遠隔に設置されたメモリを選択的に含むことができ、それらの遠隔メモリは、ネットワークを介して、スマートバックミラーを制御するための方法を実行するための電子機器に接続されることができる。上記のネットワークの実例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。

【0112】

スマートバックミラーを制御するための方法の電子機器は、さらに、入力装置１３０３及び出力装置１３０４を含むことができる。プロセッサ１３０１、メモリ１３０２、入力装置１３０３及び出力装置１３０４は、バス又はその他の方式によって接続されてもよく、図１３では、バスによって接続される方式を例としている。

【0113】

入力装置１３０３は、入力された数字又はキャラクタ情報を受信し、スマートバックミラーを制御するための方法を実行するための電子機器のユーザ設定、および機能制御に関連するキー信号の入力を生成することができ、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インディケータロッド、１つ又は複数のマウスボタン、トラックボール、操縦ハンドルなどの入力装置が挙げられる。出力装置１３０４は、ディスプレイデバイス、補助照明装置（ＬＥＤなど）や触感フィードバック装置（振動モータなど）などを含むことができる。該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイやプラズマディスプレイを含むことができるが、それらに限定されない。いくつかの実施形態では、ディスプレイデバイスはタッチスクリーンであってもよい。

【0114】

本願の実施例によれば、本願は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも１つのプロセッサは、前記コンピュータ可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサは、前記コンピュータプログラムを実行することによって、前記電子機器に上記のいずれかの実施例による手段を実行させる。

【0115】

ここに記載のシステムや技術的様々な実施形態は、デジタル電子回路、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてよい。それらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実施され、、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されることができ、該プログラマブルプロセッサは、特定用途向け、または、汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置から、データと命令を受信し、そして、データと命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができる。

【0116】

これらコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、または、コードとも呼ばれる）には、プログラマブルプロセッサの機械命令が含まれ、高レベルのプロセス及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピュータプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック機器（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信するための機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するための任意の信号を指す。

【0117】

ユーザとのインタラクションを提供するために、コンピュータ上で本明細書に説明したシステム及び技術をコンピュータに実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスやトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって、入力をコンピュータに提供することが可能になる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、そして、任意の形態（音入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信できる。

【0118】

ここに記載されたシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はＷＥＢブラウザーを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインターフェース又は当該ＷＥＢブラウザーを介して本明細書に説明したシステム及び技術の実施形態とインタラクションすることができる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントを含む任意の組み合わせコンピューティングシステム中で実施できる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介してシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットを含む。

【0119】

コンピュータシステムは、コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、通常、互いに遠く離れており、通信ネットワークを介して互いにインタラクションするのが一般的である。クライアントとサーバの関係は、対応するコンピュータで実行され、且つ互いにクライアント－サーバの関係を持つコンピュータプログラムによって生成される。

【0120】

上記の様々な形態のフローを使用して、ステップを並べ替えたり、追加したり、削除したりすることができる。例えば、本願に記載の各ステップは、本願に開示されている技術案が所望の結果を達成できる限り、並行に実施されてもよいし、順次実施されてもよいし、異なる順序で実施されてもよく、本明細書では、それについて限定しない。

【0121】

上記の具体的な実施形態は、本願の特許保護範囲に対する制限を構成するものではない。当業者にとって明らかなように、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができる。本願の精神と原則の範囲内で行われる修正、同等の置換、及び改良であれば、本願の特許保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】