特開 2022-69534 投影シーンの表示制御方法、装置、設備、媒体及びプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022069534

(43)【公開日】2022-05-11

(54)【発明の名称】投影シーンの表示制御方法、装置、設備、媒体及びプログラム製品

(51)【国際特許分類】

   G06F 3/16 20060101AFI20220428BHJP

   G06F 3/01 20060101ALI20220428BHJP

   G06F 3/0481 20220101ALI20220428BHJP

   G10L 15/22 20060101ALI20220428BHJP

   G10L 15/28 20130101ALI20220428BHJP

   G10L 15/10 20060101ALI20220428BHJP

   G09G 5/00 20060101ALI20220428BHJP

   B60R 11/02 20060101ALI20220428BHJP

【ＦＩ】

G06F3/16 620

G06F3/16 650

G06F3/01 510

G06F3/0481

G10L15/22 300Z

G10L15/28 230K

G10L15/10 500T

G09G5/00 550C

G09G5/00 530T

G09G5/00 510V

G09G5/00 555A

G09G5/00 530M

G09G5/00 510X

B60R11/02 C

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2022036892

(22)【出願日】2022-03-10

(31)【優先権主張番号】202110412533.0

(32)【優先日】2021-04-16

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】521208273

【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司

【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１０１，１ｓｔ ｆｌｏｏｒ，ｂｕｉｌｄｉｎｇ １，ｙａｒｄ ７，Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ，Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ，Ｂｅｉｊｉｎｇ，Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】▲劉▼ ▲ヨウ▼

(57)【要約】

【課題】本願は、投影シーンの表示制御方法、装置、設備、媒体及びプログラム製品を開示し、人工知能における自動運転、車両インターネット、スマート音声、投影技術分野に関する。
【解決手段】具体的な実現方案は、以下のとおりであり、即ち、音声アプリケーションに対応する音声対話命令を受信し、少なくとも一つの非音声アプリケーションのうち、対応の第１のページが既に端末設備のスクリーンに投影された第１のアプリケーションがある場合、前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得て、前記投影すべきページを前記端末設備のスクリーンに投影することである。上記過程によって、投影画面の遅れを減らすことができる。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両のスマートミラーに適用される投影シーンの表示制御方法であって、前記スマートミラーには、音声アプリケーションと少なくとも一つの非音声アプリケーションがインストールされており、前記方法は、
前記音声アプリケーションに対応する音声対話命令を受信することと、
前記少なくとも一つの非音声アプリケーションのうち、対応の第１のページが既に端末設備のスクリーンに投影された第１のアプリケーションがある場合、前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得ることと、
前記投影すべきページを前記端末設備のスクリーンに投影することと、を含む投影シーンの表示制御方法。

【請求項2】

各アプリケーションは対応のコンテナがあり、異なるアプリケーションは対応のコンテナが異なり、各アプリケーションに対応するコンテナは、前記アプリケーションに対応する投影すべきページのコンテンツを格納することに用いられ、
前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得ることは、
前記第１のページのコンテンツを含む、前記第１のアプリケーションに対応するコンテナを取得することと、
前記音声アプリケーションに対応する表示すべきコンテンツを、前記第１のアプリケーションに対応するコンテナに追加することと、を含む請求項１に記載の方法。

【請求項3】

前記投影すべきページを前記端末設備のスクリーンに投影することは、
エンコーダを利用して前記第１のアプリケーションに対応するコンテナにおけるコンテンツを符号化し、符号化結果を得ることと、
前記符号化結果を前記端末設備に送信することと、を含む請求項２に記載の方法。

【請求項4】

前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得ることは、
前記第１のページで目標領域を特定することと、
前記音声アプリケーションに対応する表示すべきコンテンツを前記目標領域に追加し、前記第１のアプリケーションに対応する投影すべきページを得ることと、を含む請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記音声対話命令は、前記音声アプリケーションをウェイクアップするためのウェイクアップ命令であり、前記音声アプリケーションに対応する表示すべきコンテンツを前記目標領域に追加することは、
前記ウェイクアップ命令に対応する返信メッセージを前記目標領域に追加することを含む、請求項４に記載の方法。

【請求項6】

前記音声対話命令は、前記音声アプリケーションにプリセット操作を実施することを要求するための要求命令であり、前記音声アプリケーションに対応する表示すべきコンテンツを前記目標領域に追加することは、
前記要求命令の受信過程において、受信した前記要求命令の少なくとも一部のコンテンツを前記目標領域に追加することと、
前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記目標領域に追加することと、を含む請求項４に記載の方法。

【請求項7】

前記要求命令の受信過程において、受信した前記要求命令の少なくとも一部のコンテンツに対して意図認識処理を行い、ユーザの意図類別を認識することと、
前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記目標領域に追加することは、
前記意図類別が第１のプリセット類別である場合、前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記目標領域に追加することを含む、請求項６に記載の方法。

【請求項8】

前記ユーザの意図類別を認識した後、
前記意図類別が第２のプリセット類別である場合、前記音声アプリケーションの全画面ページを描画することと、
前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記全画面ページに充填することと、
充填された前記全画面ページを前記端末設備のスクリーンに投影することと、をさらに含む請求項７に記載の方法。

【請求項9】

車両のスマートミラーに適用される投影シーンの表示制御装置であって、前記スマートミラーには、音声アプリケーションと少なくとも一つの非音声アプリケーションがインストールされており、前記装置は、
前記音声アプリケーションに対応する音声対話命令を受信することに用いられる受信モジュールと、
前記少なくとも一つの非音声アプリケーションのうち、対応の第１のページが既に端末設備のスクリーンに投影された第１のアプリケーションがある場合、前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得ることに用いられる処理モジュールと、
前記投影すべきページを前記端末設備のスクリーンに投影することに用いられる投影モジュールと、を含む投影シーンの表示制御装置。

【請求項10】

各アプリケーションは対応のコンテナがあり、異なるアプリケーションは対応のコンテナが異なり、各アプリケーションに対応するコンテナは、前記アプリケーションに対応する投影すべきページのコンテンツを格納することに用いられ、前記処理モジュールは、具体的に、
前記第１のページのコンテンツを含む、前記第１のアプリケーションに対応するコンテナを取得することと、
前記音声アプリケーションに対応する表示すべきコンテンツを、前記第１のアプリケーションに対応するコンテナに追加することに用いられる、請求項９に記載の装置。

【請求項11】

前記投影モジュールは、
エンコーダを利用して前記第１のアプリケーションに対応するコンテナにおけるコンテンツを符号化し、符号化結果を得ることに用いられる符号化ユニットと、
前記符号化結果を前記端末設備に送信することに用いられる送信ユニットと、を含む請求項１０に記載の装置。

【請求項12】

前記処理モジュールは、
前記第１のページで目標領域を特定することに用いられる特定ユニットと、
前記音声アプリケーションに対応する表示すべきコンテンツを前記目標領域に追加し、前記第１のアプリケーションに対応する投影すべきページを得ることに用いられる追加ユニットと、を含む請求項９～１１のいずれか一項に記載の装置。

【請求項13】

前記音声対話命令は、前記音声アプリケーションをウェイクアップするためのウェイクアップ命令であり、前記追加ユニットは、具体的に、
前記ウェイクアップ命令に対応する返信メッセージを前記目標領域に追加することに用いられる、請求項１２に記載の装置。

【請求項14】

前記音声対話命令は、前記音声アプリケーションにプリセット操作を実施することを要求することに用いられる要求命令であり、前記追加ユニットは、具体的に、
前記要求命令の受信過程において、受信した前記要求命令の少なくとも一部のコンテンツを前記目標領域に追加することと、
前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記目標領域に追加することに用いられる、請求項１２に記載の装置。

【請求項15】

前記処理モジュールは、認識ユニットをさらに含み、
前記認識ユニットは、前記要求命令の受信過程において、受信した前記要求命令の少なくとも一部のコンテンツに対して意図認識処理を行い、ユーザの意図類別を認識することに用いられ、
前記追加ユニットは、前記意図類別が第１のプリセット類別である場合、前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記目標領域に追加することに用いられる、請求項１４に記載の装置。

【請求項16】

前記処理モジュールは、生成ユニットをさらに含み、前記生成ユニットは、
前記意図類別が第２のプリセット類別である場合、前記音声アプリケーションの全画面ページを描画することと、
前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記全画面ページに充填することに用いられ、
前記投影モジュールは、具体的に、充填された前記全画面ページを前記端末設備のスクリーンに投影することに用いられる、請求項１５に記載の装置。

【請求項17】

電子設備であって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されるメモリと、を含み、ここで、
前記メモリには、前記少なくとも一つのプロセッサによって実行可能の命令が記憶されており、前記命令は、前記少なくとも一つのプロセッサが請求項１～８のいずれか一項に記載の方法を実行できるように、前記少なくとも一つのプロセッサによって実行される、電子設備。

【請求項18】

コンピュータ命令が記憶される非一時的なコンピュータ読取可能な記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～８のいずれか一項に記載の方法を実行させることに用いられる、非一時的なコンピュータ読取可能な記憶媒体。

【請求項19】

コンピュータプログラム製品であって、コンピュータプログラムを含み、前記コンピュータプログラムは、プロセッサによって実行されるとき、請求項１～８のいずれか一項に記載の方法を実現するコンピュータプログラム製品。

【請求項20】

請求項１７に記載の電子設備を含むスマートミラー。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、人工知能における自動運転、車両インターネット、スマート音声、投影技術分野に関し、特に投影シーンの表示制御方法、装置、設備、媒体及びプログラム製品に関する。

【背景技術】

【0002】

現在、スマートミラーの搭載されている車両が増えている。スマートミラーは、リアビュー機能に加えて、例えば、地図アプリケーション、音声アプリケーション、音楽アプリケーションなどの様々なアプリケーションのインストールを支援し、これらのアプリケーションによって提供されるコンテンツをスマートミラーに表示する。

【0003】

車内のユーザがスマートミラーの表示コンテンツを見やすくするために、スマートミラーは投影機能も支援する。例示的に、車内のユーザが見やすくするために、スマートミラーの表示画面を車載端末装置のスクリーンに投影することができる。

【0004】

スマートミラーに音声アプリケーションがインストールされる場合、音声アプリケーションは、頻繁にウェイクアップされる可能性がある。音声アプリケーションがウェイクアップされたとき、現在使用しているアプリケーションのページを音声アプリケーションのページに切り替える必要がある。スマートミラーが投影状態にある場合、音声アプリケーションが頻繁にウェイクアップされることは、車載端末装置のスクリーンに投影される表示画面が大きく遅れることを招く。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願は、投影シーンの表示制御方法、装置、設備、媒体及びプログラム製品を提供する。

【課題を解決するための手段】

【0006】

本願の第１の態様によると、車両のスマートミラーに適用される投影シーンの表示制御方法を提供し、前記スマートミラーには、音声アプリケーションと少なくとも一つの非音声アプリケーションがインストールされており、前記方法は、
前記音声アプリケーションに対応する音声対話命令を受信することと、
前記少なくとも一つの非音声アプリケーションのうち、対応の第１のページが端末設備のスクリーンに投影された第１のアプリケーションがある場合、前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得ることと、
前記投影すべきページを前記端末設備のスクリーンに投影することと、を含む。

【0007】

本願の第２の態様によると、車両のスマートミラーに適用される投影シーンの表示制御装置を提供し、前記スマートミラーには、音声アプリケーションと少なくとも一つの非音声アプリケーションがインストールされており、前記装置は、
前記音声アプリケーションに対応する音声対話命令を受信することに用いられる受信モジュールと、
前記少なくとも一つの非音声アプリケーションのうち、対応の第１のページが端末設備のスクリーンに投影された第１のアプリケーションがある場合、前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得ることに用いられる処理モジュールと、
前記投影すべきページを前記端末設備のスクリーンに投影することに用いられる投影モジュールとを含む。

【0008】

本願の第３の態様によると、電子設備を提供し、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されるメモリと、を含み、ここで、
前記メモリは、前記少なくとも一つのプロセッサによって実行可能の命令が記憶されており、前記命令は、前記少なくとも一つのプロセッサが第１の態様に記載の方法を実行できるように、前記少なくとも一つのプロセッサによって実行される。

【0009】

本願の第４の態様によると、コンピュータ命令が記憶される非一時的なコンピュータ読取可能な記憶媒体を提供し、ここで、前記コンピュータ命令は、コンピュータに第１の態様に記載の方法を実行させることに用いられる。

【0010】

本願の第５の態様によると、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品はコンピュータプログラムを含み、前記コンピュータプログラムは、読取可能な記憶媒体に記憶されており、電子設備の少なくとも一つのプロセッサは、前記読取可能な記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも一つのプロセッサは、電子設備に第１の態様に記載の方法を実行させるように前記コンピュータプログラムを実行する。

【0011】

本願の第６の態様によると、スマートミラーを提供し、本願の第３の態様に記載の電子設備を含む。

【0012】

本部分で説明される内容は、本願の実施例のケーポイント又は重要な特徴を特定することを意図するものではなく、本願の範囲を限定することに用いられるものでもないことを理解すべきである。本願のその他の特徴は、以下の明細書によって理解しやすくなる。

【0013】

図面は、本案をよりよく理解するために用いられるものであり、本願を制限するものではない。

【図面の簡単な説明】

【0014】

【図1】本願の実施例によって提供される一つのスマートミラーの投影シーンの模式図である。

【図2】１組のインターフェースの変化の模式図である。

【図3】スマートミラーの投影過程の模式図である。

【図4】投影シーンの表示制御過程の模式図である。

【図5】本願の実施例によって提供される一つの投影シーンの表示制御方法のフロー模式図である。

【図6】本願の実施例によって提供される投影シーンの表示制御過程の模式図である。

【図7】本願の実施例によって提供される１組のインターフェースの変化の模式図である。

【図8A】本願の実施例によって提供される一つのインターフェースの模式図である。

【図8B】本願の実施例によって提供されるもう一つのインターフェースの模式図である。

【図9】本願の実施例によって提供されるもう一つの投影シーンの表示制御方法のフロー模式図である。

【図10】本願の実施例によって提供される一つの投影シーンの表示制御装置の構造模式図である。

【図11】本願の実施例によって提供される一つの電子設備の構造模式図である。

【発明を実施するための形態】

【0015】

以下、図面と併せて本願の例示的な実施例について説明し、その中で、理解しやすくするために本願の実施例の様々な詳細が含まれるが、単に例示的なものとして考えるべきである。したがって、当業者は、本願の範囲と要旨を逸脱することなく、ここで説明した実施例に様々な変更や修正を行うことができることを認識すべきである。同様に、明確かつ簡潔にするために、以下の説明では、公知の機能と構造に対する説明を省略する。

【0016】

本願は、投影シーンの表示制御方法、装置、設備、媒体及びプログラム製品を提供し、人工知能における自動運転、車両インターネット、スマート音声、投影技術分野に適用されて投影画面の表示の遅れを減らす。

【0017】

現在、スマートミラーの搭載されている車両が増えている。スマートミラーは、独立の操作システム及び独立の実行空間を有し、ユーザによって様々なアプリケーションを自動にインストールし、ケーブルのネットワークに接続することができると共に、運行記録、車両測位、電子測速注意喚起、リバース可視化、リアルタイムのオンラインビデオエンターテイメントなどの機能を同時に提供することができる。

【0018】

通常、スマートミラーは、例えば、地図アプリケーション、音声アプリケーション、音楽アプリケーションなどの様々なアプリケーションのインストールを支援し、これらのアプリケーションによって提供されるコンテンツをスマートミラーに表示することができる。運転者が運転過程においてスマートミラーの表示コンテンツを見やすくするために、スマートミラーは、投影機能も支援する。つまり、スマートミラーの表示画面を端末設備のスクリーンに投影することができる。ここで、この端末設備は、車両における車載端末装置又はユーザの端末設備であってもよい。本実施例における車載端末装置は、コンソールの内部に取り付けられてもよく、車両のスクリーンがコンソールの表面に設置されることでユーザに様々な情報を表示する。スマートミラーと車載端末装置との間では、ユニバーサル・シリアル・バス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ，ＵＳＢ）などの有線接続を介して接続されてもよい。或いは、スマートミラーと車載端末装置とは、ブルートゥース（登録商標）接続又はワイヤレス・フィディリティ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ，Ｗｉ－Ｆｉ）などの無線接続を介して接続されてもよい。本実施例におけるユーザの端末設備は、携帯電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，ＰＤＡ）、タブレット、携帯設備（例えば、携帯コンピュータ、ポケットサイズコンピュータ又はハンドヘルドコンピュータ）などを含むが、これらに限定されるものではない。

【0019】

以下、図１と合わせて、スマートミラーが車載端末装置のスクリーンに投影することを例として説明する。

【0020】

図１は、本願の実施例によって提供される一つのスマートミラーの投影シーンの模式図である。図１に示すように、スマートミラー１０１は車内に設置され、スマートミラー１０１は、車両内部のウインドシールドの中央付近などの位置に取り付けられてもよい。スマートミラー１０１に表示される画面が車載端末装置１０２のスクリーンに投影されることで、車内のユーザは、車載端末装置１０２のスクリーンを介してスマートミラーの現在実行中のアプリケーションによって提供されるコンテンツを見ることができる。なお、実際応用では、スマートミラー１０１の表示画面が車載端末装置１０２のスクリーンに投影された後、スマートミラー１０１は、画面を同期して表示することができ、或いは、スマートミラー１０１は、表示しないことができ、本実施例でこれについて制限しない。

【0021】

本願の実施例において、説明しやすくするために、音声でウェイクアップされ、且つユーザの音声対話を支援するアプリケーションを音声アプリケーションと呼ぶ。音声アプリケーションは、例えば音声アシスタントアプリケーションを含んでもよい。

【0022】

スマートミラーに音声アプリケーションがインストールされる場合、音声アプリケーションは、ウェイクアップされる可能性がある。音声アプリケーションがウェイクアップされるとき、現在表示画面を音声アプリケーションの画面に切り替える必要がある。ここで、現在表示画面とは、スマートミラーのフォアグラウンドで現在実行中のアプリケーションの表示画面である。現在表示画面は、スマートミラーのシステムデスクトップのページであってもよいし、スマートミラーにインストールされる任意の非音声アプリケーションのページであってもよいことを理解すべきである。

【0023】

図２は、１組のインターフェースの変化の模式図である。図２に示すインターフェースは、スマートミラーの表示インターフェースであってもよいし、スマートミラーから車載端末装置に投影され、車載端末装置によって表示されるインターフェースであってもよい。図２におけるインターフェース２０１に示すように、スマートミラーのフォアグラウンドで現在運行中のアプリケーションが地図アプリケーションであると仮定し、投影モードでは、スマートミラー又は車載端末装置のスクリーンに表示されるものは、地図アプリケーションのページである。当該シーンでは、ユーザが「Ｄさん、Ｄさん」というウェイクアップワードを入力すると、スマートミラーにおける音声アプリケーションがウェイクアップされる。図２におけるインターフェース２０２を参照すると、スマートミラー及び／又は車載端末装置のスクリーンに表示されるページが、音声アプリケーションのページに切り替えられる。つまり、スマートミラーの地図アプリケーションがバックグラウンドで実行するように切り替えられるが、音声アプリケーションがフォアグラウンドで実行するように切り替えられる。図２におけるインターフェース２０３を参照すると、ユーザが「今は何時ですか」という音声命令を入力すると、音声アプリケーションのページに当該音声命令を表示する。さらに、図２におけるインターフェース２０４を参照すると、スマートミラーは、当該音声命令に対して音声認識と語義解析の処理を行った後、当該音声命令に対応する「今は午前１０時です」という返信メッセージを生成し、音声アプリケーションのページに当該返信メッセージを表示する。

【0024】

音声アプリケーションは、音声ウェイクアップによって対話するため、実際応用では、音声アプリケーションが頻繁にウェイクアップされることがある。スマートミラーが投影状態にある場合、音声アプリケーションが頻繁にウェイクアップされることは、車載端末装置のスクリーンに投影される表示画面が大きく遅れることを招く。

【0025】

本願の発明者は、スマートミラーの投影の原理を分析することで、投影画面の表示が遅れる原因を特定した。以下、図３と合わせて説明する。

【0026】

図３は、スマートミラーの投影過程の模式図である。図３に示すように、スマートミラーに複数のアプリケーションがインストールされ、各アプリケーションは対応のコンテナがあり、異なるアプリケーションは対応のコンテナが異なることを仮定する。各アプリケーションに対応するコンテナは、当該アプリケーションに対応する投影すべきページのコンテンツを格納することに用いられる。例示的に、スマートミラーのフォアグラウンドで現在実行中のアプリケーションがアプリケーション１であると仮定すると、アプリケーション１は、その投影すべきページのコンテンツをコンテナ１に入れる。スマートミラーのフォアグラウンドで現在実行中のアプリケーションがアプリケーション２であると仮定すると、アプリケーション２は、その投影すべきページのコンテンツをコンテナ２に入れる。

【0027】

図３を引き続き参照すると、スマートミラーには、投影モジュールがさらに含まれる。投影モジュールには、エンコーダが搭載されている。投影モジュールは、各アプリケーションに対応するコンテナから投影すべきページのコンテンツを取り出し、エンコーダを利用して投影すべきページのコンテンツを符号化し、符号化結果を得る。投影モジュールは、符号化結果を車載端末装置に送信する。車載端末装置は、受信した符号化結果を復号化し、復号化されたデータに応じて、投影すべきページをレンダリングして表示する。

【0028】

異なるアプリケーションは対応のコンテナが異なるため、スマートミラーのフォアグラウンドで実行されるアプリケーションが切り替えられるとき、投影モジュールは、相応的なコンテナの切り替えを行わなければならない。コンテナの切り替えが発生するとき、投影モジュールは、エンコーダをリセットし、つまり、エンコーダを再初期化する必要がある。

【0029】

図４は、投影シーンの表示制御過程の模式図である。例として、スマートミラーは、フォアグラウンドで地図アプリケーションが実行されると仮定し、地図アプリケーションのページを車載端末装置のスクリーンに投影する過程は、以下の通りである。即ち、地図アプリケーションは、投影すべきページにおけるコンテンツを、地図アプリケーションに対応するコンテナに入れる。投影モジュールは、地図アプリケーションに対応するコンテナから投影すべきページのコンテンツを取り出し、エンコーダを利用して投影すべきページのコンテンツを符号化し、符号化結果を得て車載端末装置に送信する。

【0030】

図４を引き続き参照すると、スマートミラーは、音声アプリケーションのウェイクアップ命令を受信したとき、音声アプリケーションをフォアグラウンドのアプリケーションとして切り替え、現在表示ページを音声アプリケーションのページに切り替える。この時点での投影過程は以下の通りである。即ち、音声アプリケーションは、投影すべきページのコンテンツを、音声アプリケーションに対応するコンテナに入れる。コンテナの変更が発生したため、投影モジュールはエンコーダをリセットする。投影モジュールは、音声アプリケーションに対応するコンテナから投影すべきページのコンテンツを取り出し、リセットされたエンコーダを利用して投影すべきページのコンテンツを符号化し、符号化結果を得る。符号化結果を車載端末装置に送信する。

【0031】

図４に示すように、投影シーンでは、音声アプリケーションがウェイクアップされた後、投影モジュールのエンコーダをリセットする必要がある。音声アプリケーションは、音声ウェイクアップによって対話するため、実際応用では、音声アプリケーションがウェイクアップされることがよくあり、そのため、投影シーンでは多くのエンコーダリセットの操作が必要となり、その結果、車載端末装置での音声アプリケーションの表示が大きく遅れることで、ユーザが音声アプリケーションの反応速度が遅いと誤解し、ユーザの音声対話体験を低下させてしまう。そして、音声アプリケーションのテクストから音声まで（Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ，ＴＴＳ）のアナウンスとページ表示との間に関連があるため、ページ表示の遅れも、ＴＴＳアナウンスの遅れをさらに招く。

【0032】

本願の発明者は、上記分析に基づいて本願の発明思想を提出する。即ち、ユーザと音声アプリケーションとの対話過程において、フォアグラウンドで現在実行中のページに音声アプリケーションの表示すべきコンテンツを追加することで、フォアグラウンドで実行されるアプリケーションの切り替えを極力避けて、車載端末装置の投影ページの表示が遅れるという問題を極力避けることができる。

【0033】

以下、いくつかの具体的な実施例と合わせて本願の技術案について詳細に説明する。以下のいくつかの実施例は互いに組み合わせることができ、同一又は類似の内容について、ある実施例でその説明を省略する。

【0034】

図５は、本願の実施例によって提供される一つの投影シーンの表示制御方法のフロー模式図である。本実施例の方法は、スマートミラーによって実行されてもよい。ここで、スマートミラーには、音声アプリケーションと少なくとも一つの非音声アプリケーションがインストールされている。例示的に、音声アプリケーションは、音声アシスタントアプリケーションであってもよく、非音声アプリケーションは、地図アプリケーションや音楽アプリケーションやユースアプリケーションなどを含んでもよい。

【0035】

図５に示すように、本実施例の方法は、以下のことを含む。

【0036】

Ｓ５０１：音声アプリケーションに対応する音声対話命令を受信する。

【0037】

本実施例において、音声対話命令は、音声アプリケーションをウェイクアップするためのウェイクアップ命令であってもよい。例示的に、スマートミラーは、音声を検出し、検出された音声を認識することで、音声アプリケーションに対応するウェイクアップ命令であるかどうかを特定する。

【0038】

本実施例において、音声対話命令は、音声アプリケーションにプリセット操作を実行することを要求するために用いられる要求命令であってもよい。例示的に、スマートミラーが音声アプリケーションに対応するウェイクアップ命令を受信してからの所定期間には、音声を継続的に検出することで、ユーザによって入力された要求命令を検出して得る。

【0039】

Ｓ５０２：少なくとも一つの非音声アプリケーションのうち、対応の第１のページが既に端末設備のスクリーンに投影された第１のアプリケーションがある場合、前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得る。

【0040】

ここで、第１のアプリケーションは、前記少なくとも一つの非音声アプリケーションの中の任意のアプリケーションであってもよい。本実施例の端末設備は、車載端末装置であってもよく、ユーザの端末設備であってもよい。

【0041】

本実施例において、受信した音声対話命令が異なる場合、音声アプリケーションに対応する表示すべきコンテンツは異なってもよい。一例として、受信した音声対話命令がウェイクアップ命令である場合、音声アプリケーションに対応する表示すべきコンテンツは、当該ウェイクアップ命令に対応する返信メッセージであってもよい。例えば、ユーザが「Ｄさん、Ｄさん」というウェイクアップ命令を入力したとき、音声アプリケーションは、「います」、「きました」、「ご指示ください」などの返信メッセージを表示してもよい。

【0042】

受信した音声対話命令が要求命令である場合、当該音声アプリケーションに対応する表示すべきコンテンツは、当該要求命令自体を含んでもよく、当該要求命令に対応する返信メッセージを含んでもよい。例えば、ユーザが「今は何時ですか」という音声命令を入力したとき、音声アプリケーションは「今は何時ですか」と表示してもよく、当該音声命令に対応する「今は午前１０時です」という返信メッセージを表示してもよい。

【0043】

また、本実施例におけるＳ５０１及びＳ５０２は、以下のように説明されてもよい。即ち、スマートミラーには、フォアグラウンドで第１のアプリケーションが実行され、且つ第１のアプリケーションに対応する第１のページが既に端末設備のスクリーンに投影された場合、音声アプリケーションに対応する音声対話命令を受信すると、音声アプリケーションに対応する表示すべきコンテンツを第１のページに追加し、第１のアプリケーションに対応する投影すべきページを得る。

【0044】

本実施例において、ユーザが音声アプリケーションと対話するとき、音声アプリケーションをフォアグラウンドのアプリケーションとして切り替えることでなく、現在実行中の第１のアプリケーションのページに音声アプリケーションの表示すべきコンテンツを表示させることを理解すべきである。つまり、音声アプリケーションがウェイクアップされた後、音声アプリケーションは依然としてバックグラウンドで実行されるが、第１のアプリケーションは依然としてフォアグラウンドで実行される。これにより、フォアグラウンドで実行されるアプリケーションを切り替えることを避けることで、エンコーダをリセットする必要がない。

【0045】

Ｓ５０３：前記投影すべきページを前記端末設備のスクリーンに投影する。

【0046】

投影すべきページには音声アプリケーションに対応する表示コンテンツを含むため、投影すべきページが端末設備に投影された後、ユーザは端末設備のスクリーンより音声アプリケーションに対応する表示コンテンツを見えることで、ユーザと音声アプリケーションとの対話体験に影響を与えないことを理解すべきである。

【0047】

本実施例によって提供される投影シーンの表示制御方法は、以下のことを含む。即ち、音声アプリケーションに対応する音声対話命令を受信し、前記少なくとも一つの非音声アプリケーションのうち、対応の第１のページが既に端末設備のスクリーンに投影された第１のアプリケーションがある場合、前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得て、前記投影すべきページを前記端末設備のスクリーンに投影する。このことから分かるように、本実施例において、ユーザが音声アプリケーションと対話するとき、現在実行中の第１のアプリケーションのページによって音声アプリケーションの表示すべきコンテンツを表示することで、フォアグラウンドで実行されるアプリケーションを切り替えることを避けて、エンコーダをリセットする必要がないため、投影画面が遅れるという問題を招かないようになる。

【0048】

以下、上記実施例に基づき、具体的な一例を挙げて本願の実施例における投影表示制御過程を説明する。

【0049】

図６は、本願の実施例によって提供される投影シーンの表示制御過程の模式図である。図６に示すように、スマートミラーは、フォアグラウンドで地図アプリケーションが実行されると仮定し、地図アプリケーションのページを車載端末装置のスクリーンに投影する過程は、以下の通りである。即ち、地図アプリケーションは、投影すべきページにおけるコンテンツを、地図アプリケーションに対応するコンテナに入れる。投影モジュールは、地図アプリケーションに対応するコンテナから投影すべきページのコンテンツを取り出し、エンコーダを利用して投影すべきページのコンテンツを符号化し、符号化結果を得て車載端末装置に送信する。

【0050】

図６を引き続き参照すると、スマートミラーは、音声アプリケーションのウェイクアップ命令を受信するとき、地図アプリケーションに対応するコンテナを取得し、音声アプリケーションに対応する表示すべきコンテンツを、地図アプリケーションに対応するコンテナに入れる。このように、音声アプリケーションの表示すべきコンテンツを地図アプリケーションのページに追加し、地図アプリケーションの投影すべきページを得る。この時、投影すべきページには、地図ページのコンテンツと共に、音声アプリケーションに対応する表示すべきコンテンツも含む。さらに、投影モジュールは、地図アプリケーションに対応するコンテナから投影すべきページのコンテンツを取り出し、エンコーダを利用して投影すべきページのコンテンツを符号化し、符号化結果を得る。コンテナが切り替えられないため、この時のエンコーダをリセットする必要がないことを理解すべきである。投影モジュールは、符号化結果を車載端末装置に送信する。

【0051】

図６に示すように、本実施例において、ユーザと音声アプリケーションとの対話過程において、音声アプリケーションの表示すべきコンテンツが地図アプリケーションのコンテナに追加され、コンテナが切り替えられることが避けるため、エンコーダをリセットする必要がないことで、投影画面が遅れるという問題を招かないようになる。

【0052】

図７は、本願の実施例によって提供される１組のインターフェースの変化の模式図である。図７におけるインターフェース７０１に示すように、スマートミラーのフォアグラウンドで現在運行中のアプリケーションが地図アプリケーションであると仮定する。投影モードでは、スマートミラー又は車載端末装置のスクリーンに表示されたものは、地図アプリケーションのページである。ユーザが音声アプリケーションをウェイクアップするためのウェイクアップ命令を入力する（例えば、ユーザが「Ｄさん、Ｄさん」というウェイクアップワードを入力する）とき、地図ページで目標領域を特定し、ウェイクアップ命令に対応する返信メッセージ（例えば、「きました」、「ご指示ください」、「います」など）を当該目標領域に追加し、図７におけるインターフェース７０２を得る。同時に、音声アプリケーションは、バックグラウンドで上記返信メッセージを音声アナウンスする。

【0053】

さらに、ユーザが音声アプリケーションにプリセット操作の実行を要求するための要求命令を入力するとき、上記目標領域において、音声アプリケーションの表示すべきコンテンツが表示される。一例として、要求命令の受信過程において、受信した前記要求命令の少なくとも一部のコンテンツを上記目標領域に追加する。図７におけるインターフェース７０３に示すように、ユーザの入力した「今は何時ですか」という要求命令が目標領域に表示される。

【0054】

別の例として、要求命令を受信した後、前記要求命令に対応する返信メッセージを上記目標領域に追加する。図７におけるインターフェース７０４に示すように、「今は午前１０時です」という返信メッセージが目標領域に表示される。同時に、音声アプリケーションは、バックグラウンドで上記返信メッセージを音声アナウンスする。

【0055】

なお、要求命令の返信メッセージが表示されるとき、既に表示された要求命令に加えて返信メッセージの表示を追加してもよく、要求命令の代わりに返信メッセージが表示されてもよい。本実施例は、これに限定されない。

【0056】

本実施例における目標領域は、地図ページにおける任意の領域にあってもよいことを理解すべきである。本実施例は、これについて限定しない。図７は、地図ページの上部の状態を例示している。実際応用では、目標領域は、地図ページの底部、又は左側や右側にあってもよい。図８Ａは、本願の実施例によって提供される一つのインターフェースの模式図である。図８Ａにおけるインターフェースは、目標領域が地図ページの底部にあることを例示している。図８Ｂは、本願の実施例によって提供されるもう一つのインターフェースの模式図であり、図８Ｂにおけるインターフェースは、目標領域が地図ページの右側にあることを例示している。

【0057】

上記実施例に基づいて、いくつかのシーンにおいて、音声アプリケーションがウェイクアップされた後、複雑な対話シーンに入る可能性がある。例えば、ユーザの入力した要求命令は、あるコンテンツを照会することを指示し、当該コンテンツの照会結果が複雑であり、上記目標領域を通じて当該照会結果を完全に表示することができない可能性がある。このシーンでは、依然として、音声アプリケーションをフォアグラウンドのアプリケーションとして切り替え、音声アプリケーションの全画面ページを通じて照会結果を表示する必要があるかもしれない。以下、図９と合わせて説明する。

【0058】

図９は、本願の実施例によって提供されるもう一つの投影シーンの表示制御方法のフロー模式図である。本実施例において、スマートミラーのフォアグラウンドで現在実行中のアプリケーションが地図アプリケーションであり、且つ、スマートミラーの表示画面が車載端末装置のスクリーンに投影されたことを仮定する。図９に示すように、本実施例の方法は、以下のことを含む。

【0059】

Ｓ９０１：ユーザの入力したウェイクアップワードを受信する。

【0060】

例えば、ユーザの入力した「Ｄさん、Ｄさん」というウェイクアップワードを受信する。

【0061】

Ｓ９０２：地図アプリケーションのページにダイアログコントロールを追加し、ウェイクアップワードに対応する返信メッセージをダイアログコントロールに表示し、地図アプリケーションに対応する投影すべきページを生成する。

【0062】

例えば、図７におけるインターフェース７０２に示すように、地図アプリケーションの現ページの上部に、ダイアログコントロールを追加し、且つ「ご指示ください」という返信メッセージが表示される。

【0063】

Ｓ９０２の実現形態は、前述実施例についての詳細の説明を参照してもよいことを理解すべきである。ダイアログコントロールを追加した後の地図ページは、端末設備のスクリーンに投影される。当該投影プロセスにおいて、エンコーダのリセットは必要がない。

【0064】

Ｓ９０３：地図アプリケーションに対応する投影すべきページを端末設備のスクリーンに投影する。

【0065】

Ｓ９０４：ユーザの入力した要求命令を受信する。

【0066】

Ｓ９０５：要求命令の受信過程において、受信した要求命令の少なくとも一部のコンテンツに対して意図認識処理を行い、ユーザの意図類別を認識する。

【0067】

本実施例において、スマートミラーが要求命令を受信する過程において、現在受信した不完全な音声命令に対して音声認識を行い、つまり、要求命令を受信してから認識することでなく、要求命令を受信しながら音声認識を行うようにしている。音声認識の結果に対して意図認識処理を行い、ユーザの意図類別を認識する。本実施例において、完全な要求命令を受信する前に、ユーザの意図類別を既に認識したことを理解すべきである。

【0068】

本実施例では、意図類別を第１のプリセット類別と第２のプリセット類別に分ける。ユーザの意図類別が第１のプリセット類別である場合、ユーザの要求命令に対応する返信メッセージは簡単であることを示すため、ダイアログコントロールを通じて要求命令に対応する返信メッセージを表示することができる。ユーザの意図類別が第２のプリセット類別である場合、ユーザの要求命令に対応する返信メッセージは複雑であることを示すため、ダイアログコントロールを通じて要求命令に対応する返信メッセージを完全に表示することができなく、そのため、音声アプリケーションの全画面ページを採用して要求命令の返信メッセージを表示する必要がある。

【0069】

選択可能に、オフラインの語義解析によって意図認識処理を行ってもよく、それにより、意図認識処理の速度を向上させることができる。ここでのオフラインの語義解析とは、高速で簡単な語義解析であると理解してもよく、通常の意味解析と異なり、ユーザの意図類別を予測することだけを目的としたものである。

【0070】

選択可能に、要求命令のキーワードを認識することで、ユーザの意図類別を特定してもよい。例えば、要求命令が第１類のキーワードを含む場合、ユーザの意図類別が第１のプリセット類別であると特定し、要求命令が第２類のキーワードを含む場合、ユーザの意図類別が第２のプリセット類別であると特定する。

【0071】

Ｓ９０６：意図類別が第１のプリセット類別である場合、要求命令を受信した後、要求命令に対応する返信メッセージを地図ページのダイアログコントロールに追加し、地図アプリケーションに対応する投影すべきページを得る。

【0072】

具体的には、要求命令を受信した後、前記要求命令に対して語義解析処理を行い、語義解析結果を得る。前記語義解析結果に応じて前記要求命令に対応する返信メッセージを生成する。前記要求命令に対応する返信メッセージを前記目標領域に追加し、地図アプリケーションに対応する投影すべきページを得る。

【0073】

Ｓ９０７：地図アプリケーションに対応する投影すべきページを端末設備のスクリーンに投影する。

【0074】

Ｓ９０７の投影過程について、上記実施例の詳細な説明を参照することができるので、ここで繰り返して説明しない。なお、Ｓ９０７における投影モジュールは、地図アプリケーションに対応するコンテナから投影すべきページのコンテンツを取り出し、エンコーダを利用して符号化処理を行う。コンテナの切り替えに関わらないので、エンコーダのリセットは必要がない。

【0075】

Ｓ９０８：意図類別が第２のプリセット類別であると、音声アプリケーションの全画面ページを描画し、且つ要求命令を受信した後、前記要求命令に対応する返信メッセージを全画面ページに充填し、音声アプリケーションに対応する投影すべきページを生成する。

【0076】

具体的には、要求命令を受信した後、前記要求命令に対して語義解析処理を行い、語義解析結果を得る。前記語義解析結果に応じて前記要求命令に対応する返信メッセージを生成する。前記要求命令に対応する返信メッセージを全画面ページに充填する。

【0077】

本実施例において、要求命令の受信が完了する前に、ユーザの意図類別を既に認識して得たので、ユーザの意図類別が第２のプリセット類別であると特定した場合、意図類別の特定と完全な要求命令に対する語義解析の完了との間の時間差を利用し、音声アプリケーションの全画面ページを事前に描画することができることを理解すべきである。要求命令の受信が完了し、要求命令の語義解析結果に応じて要求命令の返信メッセージを生成した後、描画された全画面ページに返信メッセージを直接に充填することができる。このようにして、本来シリアルで実行される語義解析と全画面ページの描画とを、パラレルで実行されるように変更するに相当する。

【0078】

Ｓ９０９：音声アプリケーションに対応する投影すべきページを端末設備のスクリーンに投影する。

【0079】

Ｓ９０９がＳ９０７と異なるとこるは、Ｓ９０７において、投影モジュールは、地図アプリケーションに対応するコンテナから投影すべきページのコンテンツを取り出し、エンコーダを利用して投影すべきページのコンテンツを符号化処理を行うことであると理解すべきである。コンテナの切り替えに関わらないので、エンコーダのリセットは必要がない。Ｓ９０９において、投影モジュールは、音声アプリケーションに対応するコンテナから投影すべきページのコンテンツを取得し、コンテナの切り替えに関わるため、エンコーダをリセットする必要がある。リセットされたエンコーダを利用して投影すべきページのコンテンツに対して符号化処理を行う。

【0080】

Ｓ９０７又はＳ９０９を実行する同時に、要求命令の語義解析結果に応じて、対応の音声アナウンス又は対応の操作を実行してもよいことを理解すべきである。

【0081】

本実施例では、要求命令の受信過程において、受信した要求命令の少なくとも一部のコンテンツに応じてユーザの意図類別を予測し、意図類別が第２のプリセット類別である場合のみ、音声アプリケーションをフォアグラウンドで実行されるように切り替え、音声アプリケーションの全画面ページを描画することによって要求命令の返信メッセージを表示し、そうでないと、ユーザと音声アプリケーションとの対話プロセスは、いずれも現在のフォアグラウンドのアプリケーションページに追加されたダイアログコントロールで行われることで、頻繁なエンコーダのリセット操作を避けて、投影表示の遅れを減らす。

【0082】

図１０は、本願の実施例によって提供される一つの投影シーンの表示制御装置の構造模式図である。本実施例の装置は、ソフトウェア及び／又はハードウェアの形態であってもよい。当該装置は、スマートミラーに適用してもよく、このスマートミラーには、音声アプリケーションと少なくとも一つの非音声アプリケーションがインストールされている。

【0083】

図１０に示すように、本実施例によって提供される投影シーンの表示制御装置１０００は、受信モジュール１００１と、処理モジュール１００２と、投影モジュール１００３とを含む。ここで、
受信モジュール１００１は、前記音声アプリケーションに対応する音声対話命令を受信することに用いられ、
処理モジュール１００２は、前記少なくとも一つの非音声アプリケーションのうち、対応の第１のページが既に端末設備のスクリーンに投影された第１のアプリケーションがある場合、前記音声アプリケーションに対応する表示すべきコンテンツを前記第１のページに追加し、前記第１のアプリケーションに対応する投影すべきページを得ることに用いられ、
投影モジュール１００３は、前記投影すべきページを前記端末設備のスクリーンに投影することに用いられる。

【0084】

一つの可能な実施形態において、各アプリケーションは対応のコンテナがあり、異なるアプリケーションは対応のコンテナが異なり、各アプリケーションに対応するコンテナは、前記アプリケーションに対応する投影すべきページのコンテンツを格納することに用いられ、前記処理モジュール１００２は、具体的に、
前記第１のページのコンテンツを含む、前記第１のアプリケーションに対応するコンテナを取得することと、
前記音声アプリケーションに対応する表示すべきコンテンツを、前記第１のアプリケーションに対応するコンテナに追加することに用いられる。

【0085】

一つの可能な実施形態において、前記投影モジュール１００３は、
エンコーダを利用し、前記第１のアプリケーションに対応するコンテナにおけるコンテンツを符号化し、符号化結果を得ることに用いられる符号化ユニットと、
前記符号化結果を前記端末設備に送信することに用いられる送信ユニットと、を含む。

【0086】

一つの可能な実施形態において、前記処理モジュール１００２は、
前記第１のページで目標領域を特定することに用いられる特定ユニットと、
前記音声アプリケーションに対応する表示すべきコンテンツを前記目標領域に追加し、前記第１のアプリケーションに対応する投影すべきページを得ることに用いられる追加ユニットと、を含む。

【0087】

一つの可能な実施形態において、前記音声対話命令は、前記音声アプリケーションをウェイクアップするためのウェイクアップ命令であり、前記追加ユニットは、具体的に、
前記ウェイクアップ命令に対応する返信メッセージを前記目標領域に追加することに用いられる。

【0088】

一つの可能な実施形態において、前記音声対話命令は、前記音声アプリケーションにプリセット操作の実施を要求することに用いられる要求命令であり、前記追加ユニットは、具体的に、
前記要求命令の受信過程において、受信した前記要求命令の少なくとも一部のコンテンツを前記目標領域に追加することと、
前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記目標領域に追加することに用いられる。

【0089】

一つの可能な実施形態において、前記処理モジュール１００２は、認識ユニットをさらに含み、
前記認識ユニットは、前記要求命令の受信過程において、受信した前記要求命令の少なくとも一部のコンテンツに対して意図認識処理を行い、ユーザの意図類別を認識することに用いられ、
前記追加ユニットは、具体的に、前記意図類別が第１のプリセット類別である場合、前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記目標領域に追加することに用いられる。

【0090】

一つの可能な実施形態において、前記処理モジュール１００２は、生成ユニットをさらに含み、前記生成ユニットは、
前記意図類別が第２のプリセット類別である場合、前記音声アプリケーションの全画面ページを描画することと、
前記要求命令を受信した後、前記要求命令に対応する返信メッセージを前記全画面ページに充填することに用いられ、
前記投影モジュール１００３は、具体的に、充填された前記全画面ページを前記端末設備のスクリーンに投影することに用いられる。

【0091】

本実施例によって提供される投影シーンの表示制御装置は、上記任意の方法の実施例における技術案の実行に用いられてもよく、その実現原理と技術的効果は類似であるため、ここで繰り返して説明しない。

【0092】

本願の実施例によって、本願は、電子設備及び読取可能な記憶媒体をさらに提供する。

【0093】

本願の実施例によって、本願は、コンピュータプログラムを含むコンピュータプログラム製品をさらに提供し、コンピュータプログラムは、読取可能な記憶媒体に記憶され、電子設備の少なくとも一つのプロセッサは、読取可能な記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも一つのプロセッサは、電子設備に上記いずれか一つの実施例によって提供される方案を実行させるように、コンピュータプログラムを実行する。

【0094】

図１１は、本願の実施例を実施するための電子設備の例の模式ブロック図を示す。電子設備は、例えば、ラップトップ型コンピュータ、デスクトップコンピュータ、ワークテーブル、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及びその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを指すことを目的とする。電子設備は、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを指してもよい。本実施例の電子設備は、スマートミラー、又はスマートミラーに集積されたチップやモジュールや装置であってもよい。本明細書で示される部品、それらの接続と関係、及びそれらの機能は、例としてのみ示されており、且つ本明細書に記載及び／又は請求されている本開示の実施を制限することを意図していない。

【0095】

図１１に示すように、電子設備１１００は、読取り専用メモリ（ＲＯＭ）１１０２に記憶されるコンピュータプログラム、又は記憶ユニット１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされたコンピュータプログラムに応じて、様々な適切な動作と処理を実行することができるコンピューティングユニット１１０１を含む。ＲＡＭ １１０３には、電子設備１１００の操作に必要な各種のプログラムやデータがさらに記憶されてもよい。コンピューティングユニット１１０１、ＲＯＭ １１０２及びＲＡＭ １１０３は、バス１１０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）接続ポート１１０５も、バス１１０４に接続されている。

【0096】

電子設備１１００における複数の部品は、Ｉ／Ｏ接続ポート１１０５に接続され、複数の部品は、キーボードやマウスなどの入力ユニット１１０６と、様々なディスプレイやスピーカーなどの出力ユニット１１０７と、磁気ディスクや光ディスクなどの記憶ユニット１１０８と、ネットワークカードやモデムや無線通信トランシーバーなどの通信ユニット１１０９とを含む。通信ユニット１１０９は、電子設備１１００がインターネットなどのコンピュータネットワーク及び／又は様々な通信ネットワークを介してその他の設備と情報／データを交換することを可能にする。

【0097】

コンピューティングユニット１１０１は、処理能力および計算能力を有する様々な汎用及び／又は専用な処理コンポーネントであってもよい。コンピューティングユニット１１０１のいくつかの例には、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用な人工知能（ＡＩ）コンピューティングチップ、機械学習モデルアルゴリズムを実行するための様々なコンピューティングユニット、デジタルシグナルプロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどが含まれるが、これらに限定されない。コンピューティングユニット１１０１は、投影シーンの表示制御方法などの上述した様々な方法や処理を実行する。例えば、いくつかの実施例において、投影シーンの表示制御方法は、記憶ユニット１１０８などの機械読取可能媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ １１０２及び／又は通信ユニット１１０９を介して電子設備１１００にロード及び／又はインストールされてもよい。コンピュータプログラムは、ＲＡＭ １１０３にロードされてコンピューティングユニット１１０１によって実行されるとき、上述した投影シーンの表示制御方法の一つ又は複数のステップが実行されることができる。あるいは、その他の実施例において、コンピューティングユニット１１０１は、その他の任意の適切な形態によって（例えば、ファームウェアによって）投影シーンの表示制御方法を実行するように配置されてもよい。

【0098】

本願の実施例によって、本願は、スマートミラーをさらに提供する。スマートミラーは、上記実施例における電子設備を含んでもよい。具体的には、スマートミラーは、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサに通信接続されるメモリとを含み、ここで、前記メモリには、前記少なくとも一つのプロセッサによって実行可能の命令が記憶されており、前記命令は、前記少なくとも一つのプロセッサが上記任意の実施例における投影シーンの表示制御方法を実行できるように、前記少なくとも一つのプロセッサによって実行される。

【0099】

上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、特定用途向け標準部品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔｓ，ＡＳＳＰ）、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ，ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてもよい。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムで実施することを含んでもよく、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されてもよく、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システムと、少なくとも一つの入力装置と、少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該記憶システムと、当該少なくとも一つの入力装置と、当該少なくとも一つの出力装置とに送信することができる

【0100】

本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又はその他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供され、プログラムコードがプロセッサ又はコントローラによって実行されるとき、フローチャート及び／又はブロック図で規定された機能／操作が実行されるようにしてもよい。プログラムコードは、機械で完全に実行されてもよいし、機械で部分的に実行されてもよいし、独立なパッケージとして機械で部分的に実行され且つリモート機械で部分的に実行され、或いは、リモート機械又はサーバーで完全に実行されてもよい。

【0101】

本開示の文脈において、機械読取可能媒体は、有形の媒体であってもよく、当該媒体は、命令実行システム、装置又は設備によって使用される、或いは、命令実行システム、装置又は設備と合わせて使用されるプログラムを含む又は保存することであってもよい。機械読取可能な媒体は、機械読取可能信号媒体又は機械読取可能な記憶媒体であってもよい。機械読取可能な媒体には、電子的、磁気的、光学的、電磁的、赤外線的、又は半導体のシステム、装置又は設備、又はこれらの任意の適切な組み合わせが含まれるが、これらに限定されない。械読取可能な媒体のより具体的な例としては、一つ又は複数のワイヤに基づく電気接続、携帯型コンピュータ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶設備、磁気記憶設備、又はこれらの任意の適切な組み合わせが挙げられる。

【0102】

ユーザとの対話を提供するために、ここで説明したシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）又はＬＣＤ（液晶ディスプレイ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニター）と、ユーザがコンピュータに入力を行うためのキーボード及びポインティング装置（例えば、マウス又はトラックボールなど）を有するコンピュータで実施されてもよい。その他の種類の装置は、ユーザとの対話を提供することにも用いられる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚的なフィードバック（視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であってもよく、任意の形態（声入力、音声入力又は触覚入力を含む）でユーザからの入力を受け取ってもよい。

【0103】

ここで記載されるシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとして）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、ユーザがここで記載されるシステム及び技術の実施形態と対話できるようなグラフィカルユーザインターフェース又はネットワークブラウザを備えるユーザコンピュータ）、又はこのようなバックグラウンド部品、ミドルウェア部品又はフロントエンド部品を含む任意の組み合わせのンピューティングシステムで実施されてもよい。システムの部品は、デジタルデータ通信の任意の形態又は媒体（例えば、通信ネットワーク）を介して相互に接続されてもよい。通信ネットワークの例としては、ローカルエリヤネットワーク（ＬＡＮ，Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ，Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットを含む。

【0104】

コンピュータシステムは、クライアントとサーバを含んでもよい。クライアントとサーバは、通常、互いに離れており、且つ通信ネットワークを介して対話を行う。クライアントとサーバとの関係は、対応のコンピュータで実行される、且つ互いにクライアント－サーバ関係を有するコンピュータプログラムを介して産生される。サーバは、クラウドサーバであってもよく、クラウドサーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、管理が難しくてビジネスの拡張性が弱いという従来の物理的なホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、又は「ＶＰＳ」と略称）にある欠点を解決するための、クラウドコンピューティングサービスシステムにおけるホスト製品である。また、サーバは、分散システムのサーバ、又はブロックチェーンを組み合わせたサーバであってもよい。

【0105】

以上に示された様々な形態のフローを用いて、ステップを並べ替えたり、追加したり、削除したりすることができることを理解すべきである。例えば、本願に記載されている各ステップは、並行に実行されてもよいし、順次に実行されてもよいし、異なる順序で実行されてもよく、本願で開示された技術案の所望の結果を実現できる限り、ここで制限しない。

【0106】

上記具体的な実施形態は、本願の保護範囲を制限するものではない。当業者にとっては、設計要求及びその他の要因に応じて、様々な変更、組み合わせ、下位組み合わせ及び置換を行われてもよいことを理解すべきである。本願の主旨の範囲内で行われた変更、均等置換及び改善などは、いずれも本願の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】