特許 7533854 投影データ処理方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】投影データ処理方法および装置

(51)【国際特許分類】

   H04N 21/436 20110101AFI20240806BHJP

   H04N 21/442 20110101ALI20240806BHJP

【ＦＩ】

H04N21/436

H04N21/442

【請求項の数】 31

(21)【出願番号】P 2023504158

(86)(22)【出願日】2021-05-19

(65)【公表番号】

(43)【公表日】2023-08-31

(86)【国際出願番号】 CN2021094510

(87)【国際公開番号】W WO2022022019

(87)【国際公開日】2022-02-03

【審査請求日】2023-02-24

(31)【優先権主張番号】202010753147.3

(32)【優先日】2020-07-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】シ、シンドン

(72)【発明者】

【氏名】リ、ジュン

(72)【発明者】

【氏名】ワン、シュ

(72)【発明者】

【氏名】ウ、ジアンジェン

【審査官】醍醐 一貴

(56)【参考文献】

【文献】特開２０１９－１７６３７４（ＪＰ，Ａ）

【文献】特開２０１７－０２８７０５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００９６１６４（ＵＳ，Ａ１）

【文献】特表２０１８－５０３２８１（ＪＰ，Ａ）

【文献】特開２０１９－１２１８３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

投影データ処理方法であって、
端末がネットワーク状態情報を取得する段階、ここで前記ネットワーク状態情報は、前記端末および投影デバイスの間の通信リンクの品質を示す；
前記端末が前記ネットワーク状態情報に基づき投影対象画像のターゲット解像度を決定する段階；
前記端末が現在の使用シナリオを決定する段階；および
前記端末が前記使用シナリオおよび前記ターゲット解像度に基づき画像データを選択的に合成し、および前記画像データを前記投影デバイスに送信する段階、ここで前記画像データは、前記投影対象画像を表示するために前記投影デバイスにより使用される、
を備える方法。

【請求項2】

前記ターゲット解像度は、前記通信リンクの前記品質と正の相関関係がある、
請求項１に記載の方法。

【請求項3】

前記ネットワーク状態情報は、受信信号強度インジケータＲＳＳＩを含む、
請求項１または２に記載の方法。

【請求項4】

前記端末が前記ネットワーク状態情報に基づき投影対象画像のターゲット解像度を決定する前記段階は、
前記ＲＳＳＩの値が第１閾値より大きいかそれに等しい場合、前記ターゲット解像度が第１解像度であると前記端末が判断する段階；
前記ＲＳＳＩの値が第１閾値より小さく第２閾値より大きいかそれに等しい場合、前記ターゲット解像度が第１解像度の半分であると前記端末が判断する段階、ここで前記第２閾値は、前記第１閾値より小さい；または
前記ＲＳＳＩの値が第２閾値より小さい場合、前記ターゲット解像度が第１解像度の３分の１であると前記端末が判断する段階
を有する、請求項３に記載の方法。

【請求項5】

前記端末が現在の使用シナリオを決定する前記段階は、
前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断する段階
を有し；および
前記端末が前記使用シナリオおよび前記ターゲット解像度に基づき前記画像データを選択的に合成する前記段階は、
前記投影対象画像が前記全画面シナリオにあると前記端末が判断した場合、前記端末が前記ターゲット解像度に基づき前記投影対象画像の全てのレイヤのうちのアプリケーションレイヤのみを合成する段階；または
前記投影対象画像が非全画面シナリオにあると前記端末が判断した場合、前記端末が前記ターゲット解像度に基づき前記投影対象画像のシステムレイヤおよびアプリケーションレイヤを合成する段階
を含む、
請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断する前記段階は、
前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しい場合、前記投影対象画像が前記全画面シナリオにあると前記端末が判断する段階；または
前記アプリケーションレイヤのソース解像度が第３閾値より小さい場合、前記投影対象画像が前記非全画面シナリオにあると前記端末が判断する段階
を含む、請求項５に記載の方法。

【請求項7】

前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断する前記段階は、
前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、前記投影対象画像が前記全画面シナリオにあると前記端末が判断する段階；または
前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、前記投影対象画像が前記非全画面シナリオにあると前記端末が判断する段階
を含む、請求項５に記載の方法。

【請求項8】

前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断する前記段階は、
前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、および前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、前記投影対象画像が前記全画面シナリオにあると前記端末が判断する段階；または
前記アプリケーションレイヤのソース解像度が第３閾値より小さい、または前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、前記投影対象画像が前記非全画面シナリオにあると前記端末が判断する段階
を含む、請求項５に記載の方法。

【請求項9】

前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断する前記段階は、
前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであり、および事前設定されたレイヤ識別子セットが前記アプリケーションレイヤの識別子を含む場合、前記投影対象画像が前記全画面シナリオにあると前記端末が判断する段階；または
前記アプリケーションレイヤのソース解像度が第３閾値より小さい、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる、または事前設定されたレイヤ識別子セットが前記アプリケーションレイヤの識別子を含まない場合、前記投影対象画像が前記非全画面シナリオにあると前記端末が判断する段階
を含む、請求項５に記載の方法。

【請求項10】

前記端末が前記ターゲット解像度に基づき画像データを合成する前記段階は、
前記端末が前記ターゲット解像度および第１フレームレートに基づき前記画像データを合成する段階、ここで前記第１フレームレートは、前記投影対象画像が前記端末上に表示されるフレームレートより低い、
を有する、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記方法は更に、
投影デバイスが第１解像度の投影対象画像を受信する段階；
前記投影デバイスがグラフィックス処理ユニットＧＰＵを使用することにより、事前設定されたニューラルネットワークモデルに基づき前記第１解像度の前記投影対象画像に対して超解像を実行して、第２解像度の画像を取得する段階；および
前記投影デバイスが前記第２解像度の前記画像を表示する段階
を備える、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記方法は更に、
前記投影対象画像が第１画像フレームを含むこと
を備え；および
前記投影デバイスがグラフィックス処理ユニットＧＰＵを使用することにより、事前設定されたニューラルネットワークモデルに基づき前記第１解像度の前記画像に対して超解像を実行して、第２解像度の画像を取得する前記段階は、
前記投影デバイスが１つのオーディオおよびビデオ同期周期で前記第１画像フレームに対してデコードおよび超解像を実行して、前記第２解像度のデコードされた画像データを取得する段階
を有する、請求項１１に記載の方法。

【請求項13】

前記投影対象画像の第１フレームレートが第４閾値より小さい場合、前記投影デバイスが前記投影対象画像に対してフレーム補間を実行して、第２フレームレートの投影対象画像を取得する段階
を更に備える、請求項１１または１２に記載の方法。

【請求項14】

前記第１解像度の前記投影対象画像は、前記合成される画像データを含む、
請求項１１から１３のいずれか一項に記載の方法。

【請求項15】

投影データ処理装置であって、
ネットワーク状態情報を取得するように構成された取得ユニット、ここで前記ネットワーク状態情報は、端末および投影デバイスの間の通信リンクの品質を示す；
前記ネットワーク状態情報に基づき投影対象画像のターゲット解像度を決定し、現在の使用シナリオを決定するように構成された決定ユニット；および
前記使用シナリオおよび前記ターゲット解像度に基づき画像データを選択的に合成し、および前記画像データを前記投影デバイスに送信するように構成された合成ユニット、ここで前記画像データは、前記投影対象画像を表示するために前記投影デバイスにより使用される、
を備える装置。

【請求項16】

前記ターゲット解像度は、前記通信リンクの前記品質と正の相関関係がある、
請求項１５に記載の装置。

【請求項17】

前記ネットワーク状態情報は、受信信号強度インジケータＲＳＳＩを含む、
請求項１５または１６に記載の装置。

【請求項18】

前記決定ユニットは具体的に、
前記ＲＳＳＩの値が第１閾値より大きいかそれに等しい場合、前記ターゲット解像度が第１解像度であると判断する；
前記ＲＳＳＩの値が第１閾値より小さく第２閾値より大きいかそれに等しい場合、前記ターゲット解像度が第１解像度の半分であると判断する、ここで前記第２閾値は、前記第１閾値より小さい；または
前記ＲＳＳＩの値が第２閾値より小さい場合、前記ターゲット解像度が第１解像度の３分の１であると判断する
ように構成されている、請求項１７に記載の装置。

【請求項19】

前記決定ユニットは具体的に、
前記投影対象画像が全画面シナリオにあるかどうかを判断する
ように構成されており；および
前記合成ユニットは具体的に、
前記投影対象画像が前記全画面シナリオにあると判断された場合、前記ターゲット解像度に基づき前記投影対象画像の全てのレイヤのうちのアプリケーションレイヤのみを合成する；または
前記投影対象画像が非全画面シナリオにあると判断された場合、前記ターゲット解像度に基づき前記投影対象画像のシステムレイヤおよびアプリケーションレイヤを合成する
ように構成されている、
請求項１５から１８のいずれか一項に記載の装置。

【請求項20】

前記決定ユニットは具体的に、
前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しい場合、前記投影対象画像が前記全画面シナリオにあると判断する；または
前記アプリケーションレイヤのソース解像度が第３閾値より小さい場合、前記投影対象画像が前記非全画面シナリオにあると判断する
ように構成されている、請求項１９に記載の装置。

【請求項21】

前記決定ユニットは具体的に、
前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、前記投影対象画像が前記全画面シナリオにあると判断する；または
前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、前記投影対象画像が前記非全画面シナリオにあると判断する
ように構成されている、請求項１９に記載の装置。

【請求項22】

前記決定ユニットは具体的に、
前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、および前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、前記投影対象画像が前記全画面シナリオにあると判断する；または
前記アプリケーションレイヤのソース解像度が第３閾値より小さい、または前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、前記投影対象画像が前記非全画面シナリオにあると判断する
ように構成されている、請求項１９に記載の装置。

【請求項23】

前記決定ユニットは具体的に、
前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであり、および事前設定されたレイヤ識別子セットが前記アプリケーションレイヤの識別子を含む場合、前記投影対象画像が前記全画面シナリオにあると判断する；または
前記アプリケーションレイヤのソース解像度が第３閾値より小さい、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる、または事前設定されたレイヤ識別子セットが前記アプリケーションレイヤの識別子を含まない場合、前記投影対象画像が前記非全画面シナリオにあると判断する
ように構成されている、請求項１９に記載の装置。

【請求項24】

前記合成ユニットは具体的に、
前記ターゲット解像度および第１フレームレートに基づき前記画像データを合成する、ここで前記第１フレームレートは、前記投影対象画像が前記端末上に表示されるフレームレートより低い、
ように構成されている、
請求項１５から２３のいずれか一項に記載の装置。

【請求項25】

請求項１５から２４のいずれか一項に記載の装置である端末と、投影デバイスとを備える投影システムであって、
前記投影デバイスは、
第１解像度の投影対象画像を受信するように構成された受信ユニット；
グラフィックス処理ユニットＧＰＵを使用することにより、事前設定されたニューラルネットワークモデルに基づき前記第１解像度の前記投影対象画像に対して超解像を実行して、第２解像度の画像を取得するように構成された取得ユニット；および
前記第２解像度の前記画像を表示するように構成された表示ユニット
を備える、投影システム。

【請求項26】

前記投影対象画像は、第１画像フレームを含み；および
前記投影デバイスの前記取得ユニットは具体的に、
１つのオーディオおよびビデオ同期周期で前記第１画像フレームに対してデコードおよび超解像を実行して、前記第２解像度のデコードされた画像データを取得する
ように構成されている、
請求項２５に記載の投影システム。

【請求項27】

前記投影デバイスは、
前記投影対象画像の第１フレームレートが第４閾値より小さい場合、前記投影対象画像に対してフレーム補間を実行して、第２フレームレートの投影対象画像を取得するように構成された処理ユニット
を更に備える、請求項２５または２６に記載の投影システム。

【請求項28】

前記第１解像度の前記投影対象画像は、前記端末で合成される前記画像データを含む、
請求項２５から２７のいずれか一項に記載の投影システム。

【請求項29】

メモリおよび１つまたは複数のプロセッサを備える、端末であって、
前記メモリは、コンピュータ可読命令を記憶し；および
前記１つまたは複数のプロセッサは、前記コンピュータ可読命令を読み取り、および前記端末は、請求項１から１０のいずれか一項に記載の方法を実装することができる、
端末。

【請求項30】

コンピュータ可読命令を備えるコンピュータプログラムであって、前記コンピュータ可読命令がコンピュータ上で実行されると、前記コンピュータは、請求項１から１４のいずれか一項に記載の方法を実行することができる、コンピュータプログラム。

【請求項31】

コンピュータ可読命令を備えるコンピュータ可読記憶媒体であって、前記コンピュータ可読命令がコンピュータ上で実行されると、前記コンピュータは、請求項１から１４のいずれか一項に記載の方法を実行することができる、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年７月３０日に中国国家知識産権局に提出された「ＰＲＯＪＥＣＴＩＯＮ ＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ」と題する中国特許出願第２０２０１０７５３１４７．３号の優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。

【0002】

本願は、投影技術の分野、特に投影データ処理方法および装置に関する。

【背景技術】

【0003】

近年では、インテリジェント端末の急速な発展に伴い、携帯電話、タブレットコンピュータ、コンピュータ、プロジェクタ、およびスマートテレビが継続的に繰り返しアップグレードされる。無線投影技術により複数の画面間のインタラクションが行われ、対応するアプリケーションシナリオもより多様化および普及する。これを背景にして、モバイル中心のストリーミングメディアリソースをデバイス間でシームレスに転送することが堅く求められるようになりつつある。

【0004】

ここ１～２年、無線投影は、複数の画面間のインタラクションのモードである。一般的なシナリオには、画面ミラーリング、ゲーム投影、およびマルチスクリーンインタラクションが含まれる。主流の無線投影プロトコルには、デジタルリビングネットワークアライアンス（ｄｉｇｉｔａｌ ｌｉｖｉｎｇ ｎｅｔｗｏｒｋ ａｌｌｉａｎｃｅ、ＤＬＮＡ（登録商標））、Ａｐｐｌｅ（登録商標）のエアプレイ（Ａｉｒｐｌａｙ）、およびＷｉ－Ｆｉ（登録商標）アライアンス指定の無線表示規格（Ｍｉｒａｃａｓｔ）が含まれる。

【0005】

現在、これら３つの主流の無線投影モードの遅延は、約１００ｍｓから２０００ｍｓであり、これは長く、ゲームアプリケーションにおける直接的な無線投影の要件を満たすことができない。結果として、ユーザエクスペリエンスが乏しくなる。

【発明の概要】

【0006】

本願の実施形態は、投影遅延を低減するとともにユーザエクスペリエンスを改善するための投影データ処理方法を提供する。

【0007】

本願の実施形態の第１態様は、投影データ処理方法であって、端末がネットワーク状態情報を取得し、ここで前記ネットワーク状態情報は、前記端末および投影デバイスの間の通信リンクの品質を示す；前記端末が前記ネットワーク状態情報に基づき投影対象画像のターゲット解像度を決定し；および前記端末が前記ターゲット解像度に基づき画像データを合成し、および前記画像データを前記投影デバイスに送信する、ここで前記画像データは、前記投影対象画像を表示するために前記投影デバイスにより使用される、ことを含む方法を提供する。

【0008】

投影対象画像は、静止画像、例えば、ピクチャとして理解されてもよいし、一連の動的画像、例えば、ビデオとして理解されてもよい。

【0009】

本願の本実施形態で提供する投影データ処理方法によれば、端末は、端末および投影デバイスの間の通信リンクの品質を示すネットワーク状態情報を取得することにより投影対象画像のターゲット解像度を決定し、リアルタイムのネットワーク状態情報に基づきターゲット解像度を調節する。画像が固定解像度で送信される従来技術と比較して、この方法は、現在のシナリオにより柔軟に適合され得る。この方法では、ネットワーク状態情報を考慮することによりターゲット解像度を決定し、無線ネットワーク通信の品質が悪い場合に解像度を調節することにより画像データの量を低減することができ、それにより、投影中のビデオ画像遅延を低減し、ユーザエクスペリエンスを改善する。

【0010】

第１態様の考えられる実装において、ターゲット解像度は、通信リンクの品質と正の相関関係がある。

【0011】

本願の本実施形態で提供する投影データ処理方法によれば、例えば、通信リンクの品質が悪い場合、遅延を低減するために画像が低解像度で送信され、通信リンクの品質が良い場合、投影画像品質を改善するために画像が高解像度で送信される。

【0012】

第１態様の考えられる実装において、ネットワーク状態情報は、受信信号強度インジケータＲＳＳＩを含む。

【0013】

本願の本実施形態で提供する投影データ処理方法によれば、通信リンクの品質は、Ｗｉ－Ｆｉプロトコルに基づき確立される無線通信リンク、セルラモバイルネットワークプロトコルに基づき確立される無線通信リンク、または同様のものを含む、ＲＳＳＩ信号を使用することにより測定されてよい。オプションで、ＲＳＳＩの値およびターゲット解像度の間の対応が事前設定される。したがって、現在のネットワーク状態におけるターゲットがＲＳＳＩ信号に基づき決定されてよい。

【0014】

第１態様の考えられる実装において、前記端末が前記ネットワーク状態情報に基づき投影対象画像のターゲット解像度を決定することは、前記ＲＳＳＩの値が第１閾値より大きいかそれに等しい場合、前記ターゲット解像度が第１解像度であると前記端末が判断する；前記ＲＳＳＩの値が第１閾値より小さく第２閾値より大きいかそれに等しい場合、前記ターゲット解像度が第１解像度の半分であると前記端末が判断する、ここで前記第２閾値は、前記第１閾値より小さい；または前記ＲＳＳＩの値が第２閾値より小さい場合、前記ターゲット解像度が第１解像度の３分の１であると前記端末が判断することを有する。

【0015】

本願の本実施形態で提供する投影データ処理方法によれば、端末および投影デバイスの間の通信リンクの品質は、事前設定されたＲＳＳＩ値の範囲と第１解像度とに基づき３つのケースに分類されてよい。通信リンクの品質が低いほど、対応するターゲット解像度が低く、合成される投影対象画像のデータ量が少ないことを示す。これにより、通信リンクの品質への影響を低減し、投影遅延を低減することができる。

【0016】

考えられる実装において、第１解像度は、合成対象レイヤの解像度である。この情報は、ＳｕｒｆａｃｅＦｌｉｎｇｅｒ側で現在のフレームの全てのレイヤ情報を取得することにより取得されてよい。レイヤ情報には、レイヤのアプリケーション名、レイヤのソースの実際の解像度、および同様のものが含まれる。

【0017】

第１態様の考えられる実装において、前記方法は更に、前記端末が現在の使用シナリオを決定することを含み；および前記端末が前記ターゲット解像度に基づき画像データを合成することは、前記端末が前記使用シナリオおよび前記ターゲット解像度に基づき前記画像データを選択的に合成することを有する。

【0018】

本願の本実施形態で提供する投影データ処理方法によれば、現在の使用シナリオが更に考慮され、画像データがシナリオおよびターゲット解像度に基づき選択的に合成され、その結果、無線投影中のデータの量が更に低減され得る。

【0019】

第１態様の考えられる実装において、前記端末が現在の使用シナリオを決定することは、前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断することを有し；および前記端末が前記使用シナリオおよび前記ターゲット解像度に基づき前記画像データを選択的に合成することは、前記投影対象画像が前記全画面シナリオにあると前記端末が判断した場合、前記端末が前記ターゲット解像度に基づき前記投影対象画像の全てのレイヤのうちのアプリケーションレイヤのみを合成する；または前記投影対象画像が非全画面シナリオにあると前記端末が判断した場合、前記端末が前記ターゲット解像度に基づき前記投影対象画像のシステムレイヤおよびアプリケーションレイヤを合成することを含む。

【0020】

本願の本実施形態で提供する投影データ処理方法によれば、端末は更に、現在の画像表示シナリオ情報が全画面表示シナリオであるかどうかを判断してよい。現在の画像表示シナリオ情報が全画面表示シナリオである場合は、アプリケーションレイヤのみを合成し、エンコードし、投影デバイスに送信する必要がある。したがって、投影のために送信すべきデータの量が更に低減されてよく、無線投影遅延が低減されてよく、ユーザエクスペリエンスが改善されてよい。

【0021】

第１態様の考えられる実装において、前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断することは、前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しい場合、前記投影対象画像が前記全画面シナリオにあると前記端末が判断する；または前記アプリケーションレイヤのソース解像度が第３閾値より小さい場合、前記投影対象画像が前記非全画面シナリオにあると前記端末が判断することを含む。

【0022】

端末により表示される投影対象画像には、２つのシナリオがあってよい。一方は、全画面表示シナリオ、例えば、全画面ゲームピクチャおよびビデオアプリケーションにおける全画面ピクチャである。全画面表示シナリオは、全画面シナリオと呼ばれる場合がある。他方は、非全画面表示シナリオ、例えば、デスクトップシナリオまたは小さいウィンドウで再生されるビデオピクチャであり、非全画面シナリオとも呼ばれる。本実施形態は、投影対象画像が全画面シナリオにあるかどうかを判断する、すなわち、アプリケーションレイヤのソース解像度を決定するための具体的な方法を提供する。異なる表示シナリオではアプリケーションレイヤのソース解像度が変化するので、全画面シナリオにおける解像度が非全画面シナリオにおける解像度より高い。第３閾値が設定され、現在の投影対象画像が全画面シナリオにあるかどうかが、比較を通じて単純ながらも大まかに判断されてよい。

【0023】

第１態様の考えられる実装において、前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断することは、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、前記投影対象画像が前記全画面シナリオにあると前記端末が判断する；または前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、前記投影対象画像が前記非全画面シナリオにあると前記端末が判断することを含む。

【0024】

本実施形態は、投影対象画像が全画面シナリオにあるかどうかを判断する、すなわち、アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであるかどうかを判断するための別の具体的な方法を提供する。異なる表示シナリオではアプリケーションレイヤの画素アスペクト比が通常変化するので、全画面シナリオにおいて、アプリケーションレイヤの画素アスペクト比は、画面の画素アスペクト比と同じであり；一方、非全画面シナリオにおいて、アプリケーションレイヤの画素アスペクト比は、画面の画素アスペクト比と異なっていてよい。この解決手段では、現在の投影対象画像が全画面シナリオにあるかどうかが、単純ながらも大まかに判断されてよい。

【0025】

第１態様の考えられる実装において、前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断することは、前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、および前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、前記投影対象画像が前記全画面シナリオにあると前記端末が判断する；または前記アプリケーションレイヤのソース解像度が第３閾値より小さい、または前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、前記投影対象画像が前記非全画面シナリオにあると前記端末が判断することを含む。

【0026】

本実施形態は、投影対象画像が全画面シナリオにあるかどうかを判断するための別の具体的な方法を提供する。加えて、アプリケーションレイヤのソース解像度が考慮され、アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであるかどうかが判断される。いくつかの特殊ケースでは、全画面シナリオまたは非全画面シナリオにおいて、アプリケーションレイヤの画素アスペクト比は、画面の画素アスペクト比と同じである。代替的に、高解像度の小さいウィンドウを使用してピクチャを再生する場合は、アプリケーションレイヤのソース解像度のみが決定に使用され、非全画面シナリオが全画面シナリオとして誤って決定される場合がある。この解決手段では、両方の要因が考慮され、その結果、シナリオ決定の精度が改善され得る。

【0027】

第１態様の考えられる実装において、前記投影対象画像が全画面シナリオにあるかどうかを前記端末が判断することは、前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであり、および事前設定されたレイヤ識別子セットが前記アプリケーションレイヤの識別子を含む場合、前記投影対象画像が前記全画面シナリオにあると前記端末が判断する；または前記アプリケーションレイヤのソース解像度が第３閾値より小さい、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる、または事前設定されたレイヤ識別子セットが前記アプリケーションレイヤの識別子を含まない場合、前記投影対象画像が前記非全画面シナリオにあると前記端末が判断することを含む。

【0028】

本実施形態は、投影対象画像が全画面シナリオにあるかどうかを判断するための別の具体的な方法を提供する。加えて、アプリケーションレイヤのソース解像度が考慮され、アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであるかどうかが判断され、レイヤ名が決定される。稀な特殊ケースでは、アプリケーションレイヤの画素アスペクト比およびソース解像度に基づき、シナリオが依然として誤って決定される場合がある。この解決手段では、レイヤ名が更に考慮されてよい。オプションで、端末は、レイヤ名ホワイトリストを事前設定し、レイヤ名ホワイトリスト内のレイヤ名に対応するレイヤが、全画面で表示され得るレイヤである。このように、シナリオ決定の精度が更に改善され得る。

【0029】

第１態様の考えられる実装において、前記端末が前記ターゲット解像度に基づき画像データを合成することは、前記端末が前記ターゲット解像度および第１フレームレートに基づき前記画像データを合成する、ここで前記第１フレームレートは、前記投影対象画像が前記端末上に表示されるフレームレートより低い、ことを有する。

【0030】

本願の本実施形態で提供する投影データ処理方法によれば、ビデオタイプの動的画像データの場合、端末は、投影対象画像に対してフレーム縮小処理を更に実行して、投影のために送信する必要があるデータの量を更に低減してよく、それにより、投影遅延を低減し、ユーザエクスペリエンスを改善する。

【0031】

本願の実施形態の第２態様は、投影データ処理方法であって、投影デバイスが第１解像度の投影対象画像を受信し；前記投影デバイスがグラフィックス処理ユニットＧＰＵを使用することにより、事前設定されたニューラルネットワークモデルに基づき前記第１解像度の前記投影対象画像に対して超解像を実行して、第２解像度の画像を取得し；および前記投影デバイスが前記第２解像度の前記画像を表示することを含む、方法を提供する。

【0032】

本願の本実施形態で提供する投影データ処理方法によれば、投影デバイスは、ＧＰＵを使用することにより、端末により送信される第１解像度の投影対象画像に対して超解像を実行して、表示される画像の解像度を改善してよい。投影デバイスは通常高いディスプレイ解像度を有し、および無線伝送遅延により限定されるので、受信される投影対象画像の解像度が通常低い。画像を再生する前に画像に対して超解像処理を実行し、その結果、画像表示精細度を改善することができ、画像品質を改善することができ、ユーザエクスペリエンスを改善することができる。

【0033】

第２態様の考えられる実装において、前記投影対象画像は、第１画像フレームを含み；および前記投影デバイスがグラフィックス処理ユニットＧＰＵを使用することにより、事前設定されたニューラルネットワークモデルに基づき前記第１解像度の前記画像に対して超解像を実行して、第２解像度の画像を取得することは、前記投影デバイスが１つのオーディオおよびビデオ同期周期で前記第１画像フレームに対してデコードおよび超解像を実行して、前記第２解像度のデコードされた画像データを取得することを有する。

【0034】

一般に、投影デバイスは、１つのオーディオおよびビデオ同期周期で画像の１フレームをデコードし、次の周期が到来した後に表示のために画像を送信する。本願の本実施形態で提供する投影データ処理方法によれば、投影デバイスは、１つのオーディオおよびビデオ同期周期でデコードおよび超解像を完了してよく、その結果、超解像に起因して余分な投影遅延が増加しない。

【0035】

第２態様の考えられる実装において、前記投影対象画像の第１フレームレートが第４閾値より小さい場合、前記投影デバイスは、前記投影対象画像に対してフレーム補間を実行して、第２フレームレートの投影対象画像を取得する。

【0036】

本願の本実施形態で提供する投影データ処理方法によれば、端末はフレームサブトラクションを通じて投影遅延を低減するので、それに応じて、投影デバイスは、フレーム補間を通じてフレームレートを増加させてよい。投影対象画像のフレームレートが低いと投影デバイスが判断した場合、投影デバイスは、インテリジェントフレーム補間を実行して、プレイバック画像品質を改善してよい。

【0037】

第２態様の考えられる実装において、第１解像度の投影対象画像は、本願の第１態様および考えられる実装のいずれか１つにおける合成される画像データを含む。

【0038】

本願の本実施形態で提供する投影データ処理方法によれば、投影デバイスにより受信される投影対象画像は、本願の第１態様および考えられる実装のいずれか１つにおける合成される画像データであってよい。このように、第１解像度は、ターゲット解像度であり、投影デバイスは、超解像を通じて、端末の解像度低減により引き起こされる画像品質損失を低減することができる。したがって、投影プロセスでは、低遅延を満たすことができ、投影画像品質を確保することができ、それにより、ユーザエクスペリエンスを大幅に改善する。

【0039】

本願の実施形態の第３態様は、投影データ処理装置であって、ネットワーク状態情報を取得するように構成された取得ユニット、ここで前記ネットワーク状態情報は、端末および投影デバイスの間の通信リンクの品質を示す；前記ネットワーク状態情報に基づき投影対象画像のターゲット解像度を決定するように構成された決定ユニット；および前記ターゲット解像度に基づき画像データを合成し、および前記画像データを前記投影デバイスに送信するように構成された合成ユニット、ここで前記画像データは、前記投影対象画像を表示するために前記投影デバイスにより使用される、を含む装置を提供する。

【0040】

第３態様の考えられる実装において、ターゲット解像度は、通信リンクの品質と正の相関関係がある。

【0041】

第３態様の考えられる実装において、ネットワーク状態情報は、受信信号強度インジケータＲＳＳＩを含む。

【0042】

第３態様の考えられる実装において、前記決定ユニットは具体的に、前記ＲＳＳＩの値が第１閾値より大きいかそれに等しい場合、前記ターゲット解像度が第１解像度であると判断する；前記ＲＳＳＩの値が第１閾値より小さく第２閾値より大きいかそれに等しい場合、前記ターゲット解像度が第１解像度の半分であると判断する、ここで前記第２閾値は、前記第１閾値より小さい；または前記ＲＳＳＩの値が第２閾値より小さい場合、前記ターゲット解像度が第１解像度の３分の１であると判断するように構成されている。

【0043】

第３態様の考えられる実装において、前記決定ユニットは更に、現在の使用シナリオを決定するように構成されており；および前記合成ユニットは具体的に、前記使用シナリオおよび前記ターゲット解像度に基づき前記画像データを選択的に合成するように構成されている。

【0044】

第３態様の考えられる実装において、前記決定ユニットは具体的に、前記投影対象画像が全画面シナリオにあるかどうかを判断するように構成されており；および前記合成ユニットは具体的に、前記投影対象画像が前記全画面シナリオにあると判断された場合、前記ターゲット解像度に基づき前記投影対象画像の全てのレイヤのうちのアプリケーションレイヤのみを合成する；または前記投影対象画像が非全画面シナリオにあると判断された場合、前記ターゲット解像度に基づき前記投影対象画像のシステムレイヤおよびアプリケーションレイヤを合成するように構成されている。

【0045】

第３態様の考えられる実装において、前記決定ユニットは具体的に、前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しい場合、前記投影対象画像が前記全画面シナリオにあると判断する；または前記アプリケーションレイヤのソース解像度が第３閾値より小さい場合、前記投影対象画像が前記非全画面シナリオにあると判断するように構成されている。

【0046】

第３態様の考えられる実装において、前記決定ユニットは具体的に、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、前記投影対象画像が前記全画面シナリオにあると判断する；または前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、前記投影対象画像が前記非全画面シナリオにあると判断するように構成されている。

【0047】

第３態様の考えられる実装において、前記決定ユニットは具体的に、前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、および前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、前記投影対象画像が前記全画面シナリオにあると判断する；または前記アプリケーションレイヤのソース解像度が第３閾値より小さい、または前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、前記投影対象画像が前記非全画面シナリオにあると判断するように構成されている。

【0048】

第３態様の考えられる実装において、前記決定ユニットは具体的に、前記アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであり、および事前設定されたレイヤ識別子セットが前記アプリケーションレイヤの識別子を含む場合、前記投影対象画像が前記全画面シナリオにあると判断する；または前記アプリケーションレイヤのソース解像度が第３閾値より小さい、前記アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる、または事前設定されたレイヤ識別子セットが前記アプリケーションレイヤの識別子を含まない場合、前記投影対象画像が前記非全画面シナリオにあると判断するように構成されている。

【0049】

第３態様の考えられる実装において、前記合成ユニットは具体的に、前記ターゲット解像度および第１フレームレートに基づき前記画像データを合成する、ここで前記第１フレームレートは、前記投影対象画像が前記端末上に表示されるフレームレートより低い、ように構成されている。

【0050】

本願の実施形態の第４態様は、投影データ処理装置であって、第１解像度の投影対象画像を受信するように構成された受信ユニット；グラフィックス処理ユニットＧＰＵを使用することにより、事前設定されたニューラルネットワークモデルに基づき前記第１解像度の前記投影対象画像に対して超解像を実行して、第２解像度の画像を取得するように構成された取得ユニット；および前記第２解像度の前記画像を表示するように構成された表示ユニットを含む装置を提供する。

【0051】

第４態様の考えられる実装において、前記投影対象画像は、第１画像フレームを含み；および前記取得ユニットは具体的に、１つのオーディオおよびビデオ同期周期で前記第１画像フレームに対してデコードおよび超解像を実行して、前記第２解像度のデコードされた画像データを取得するように構成されている。

【0052】

第４態様の考えられる実装において、前記装置は、前記投影対象画像の第１フレームレートが第４閾値より小さい場合、前記投影対象画像に対してフレーム補間を実行して、第２フレームレートの投影対象画像を取得するように構成された処理ユニットを更に含む。

【0053】

第４態様の考えられる実装において、第１解像度の投影対象画像は、第１態様および様々な考えられる実装における合成される画像データを含む。

【0054】

本願の実施形態の第５態様は、送信端および受信端を含む、投影システムであって、送信端は、無線通信リンクを通じて受信端に接続され、送信端は、本願の第３態様および考えられる実装のいずれか１つにおける投影データ処理装置を有し、受信端は、本願の第４態様および考えられる実装のいずれか１つにおける投影データ処理装置を有する、投影システムを提供する。

【0055】

本願の本実施形態で提供する投影システムによれば、端末は、リアルタイムのネットワーク状態情報を感知することによりターゲット解像度を調節し、投影デバイスは、受信される投影対象画像に対して超解像を実行して、端末の解像度低減により引き起こされる画像品質損失を低減する。したがって、投影プロセスでは、低遅延を満たすことができ、画像品質を確保することができ、それにより、ユーザエクスペリエンスを大幅に改善する。

【0056】

本願の実施形態の第６態様は、メモリおよび１つまたは複数のプロセッサを含む、端末を提供する。メモリは、コンピュータ可読命令を記憶する。１つまたは複数のプロセッサは、コンピュータ可読命令を読み取り、端末は、第１態様および考えられる実装のいずれか１つにおける方法を実行することができる。

【0057】

本願の実施形態の第７態様は、メモリおよび１つまたは複数のプロセッサを含む、投影デバイスを提供する。メモリは、コンピュータ可読命令を記憶する。１つまたは複数のプロセッサは、コンピュータ可読命令を読み取り、端末は、第２態様および考えられる実装のいずれか１つにおける方法を実行することができる。

【0058】

本願の実施形態の第８態様は、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、第１態様、第２態様、および考えられる実装のいずれか１つにおける方法を実行することができる。

【0059】

本願の実施形態の第９態様は、命令を含むコンピュータ可読記憶媒体を提供する。命令がコンピュータ上で実行されると、コンピュータは、第１態様、第２態様、および考えられる実装のいずれか１つにおける方法を実行することができる。

【0060】

本願の実施形態の第１０態様は、プロセッサを含むチップを提供する。プロセッサは、メモリに記憶されるコンピュータプログラムを読み取りおよび実行して、第１態様、第２態様、および考えられる実装のいずれか１つにおける方法を実行するように構成されている。オプションで、チップは、メモリを含み、メモリおよびプロセッサは、回路またはワイヤを使用することによりメモリに接続される。更に、オプションで、チップは更に、通信インタフェースを含み、プロセッサは、通信インタフェースに接続される。通信インタフェースは、処理する必要があるデータまたは情報またはその両方を受信するように構成されている。プロセッサは、データおよび／または情報を通信インタフェースから取得し、データおよび／または情報を処理し、通信インタフェースを通じて処理結果を出力する。通信インタフェースは、入力／出力インタフェースであってよい。

【0061】

第３態様、第４態様、または第６態様から第１０態様の任意の実装によりもたらされる技術的効果については、第１態様または第２態様の対応する実装によりもたらされる技術的効果を参照されたい。本明細書では詳細について改めて説明しない。

【0062】

上述の技術的解決手段によれば、本願の実施形態が以下の利点を有することが分かる。

【0063】

本願の本実施形態で提供する投影データ処理方法によれば、端末は、現在のネットワーク状態情報を取得し、ネットワーク状態情報に基づき投影対象画像のターゲット解像度を決定し、リアルタイムのネットワーク状態に基づきターゲット解像度を調節してよい。端末および投影デバイスの間の通信リンクの品質が悪い場合、ターゲット解像度は、無線投影中に伝送する必要があるデータの量を低減するために低減されてよく、それにより、遅延を低減し、ユーザエクスペリエンスを改善する。

【0064】

加えて、この方法において、端末は更に、投影対象画像内のアプリケーションレイヤのソース解像度および画面解像度を取得し、アプリケーションレイヤのソース解像度および画面解像度に基づき、現在の投影対象シナリオが全画面シナリオであるかどうかを判断してよい。全画面シナリオでは、アプリケーションレイヤに関する情報のみを表示してよく、すなわち、アプリケーションレイヤの画像データのみを投影デバイスに送信する必要があり；一方、非全画面シナリオでは、アプリケーションレイヤおよびシステムレイヤの画像情報を表示する必要があり、その結果、投影デバイスにより送信される画像データは、アプリケーションレイヤおよびシステムレイヤの画像情報を含む必要がある。端末は、シナリオに基づき投影対象画像内の合成対象画像レイヤを決定し、合成されるターゲット解像度を現在のネットワーク状態に基づき決定し、ネットワーク状態および実際の投影要件に基づき合成対象画像レイヤを合成、エンコード、および送信する。これにより、無線投影で伝送する必要があるデータの量を更に低減することができ、それにより、遅延を低減し、ユーザエクスペリエンスを改善する。

【0065】

加えて、本願の本実施形態で提供する投影データ処理方法によれば、投影受信端、すなわち、投影デバイスは、第１解像度の受信される画像データに対して超解像を実行し、第２解像度の画像データを取得し、画像データを表示してよい。これにより、表示される画像の解像度を改善し、投影デバイスの性能を十分に活用し、画像品質を改善し、ユーザエクスペリエンスを改善することができる。

【0066】

本願の本実施形態で提供する投影システムによれば、端末は、現在の投影対象シナリオおよびネットワーク状態を感知して、送信される画像データの量を低減し、および投影デバイスの超解像処理と連携して、画像データが低減された場合に投影画像品質を確保する。投影システムでは、投影遅延が短く、投影画像品質が高く、それにより、ユーザエクスペリエンスを大幅に改善する。

【図面の簡単な説明】

【0067】

【図1】無線投影シナリオの概略図である；

【0068】

【図2】本願の実施形態に係る無線投影の技術的フレームワークの概略図である；

【0069】

【図3】本願の実施形態に係る投影送信端における投影データ処理方法の実施形態の概略図である；

【0070】

【図4a】本願の実施形態に係る端末のグラフィックスソフトウェアシステムの階層構造図である；

【0071】

【図4b】本願の実施形態に係る知覚モジュールの主要手順の概略図である；

【0072】

【図5a】本願の実施形態に係る投影受信端における投影データ処理方法の実施形態の概略図である；

【0073】

【図5b】本願の実施形態に係る投影デバイスの推論計算の概略図である；

【0074】

【図6】本願の実施形態に係るオーディオおよびビデオ同期統合超解像の処理の概略図である；

【0075】

【図7a】本願の実施形態に係る投影デバイスのグラフィックスソフトウェアシステムの階層構造図である；

【0076】

【図7b】本願の実施形態に係る超解像モジュールの主要手順の概略図である；

【0077】

【図8】本願の実施形態に係る投影データ処理装置の実施形態の概略図である；

【0078】

【図9】本願の実施形態に係る投影データ処理装置の実施形態の概略図である；

【0079】

【図10】本願の実施形態に係る端末の実施形態の概略図である；および

【0080】

【図11】本願の実施形態に係る投影デバイスの実施形態の概略図である。

【発明を実施するための形態】

【0081】

本願の実施形態は、投影遅延を低減するとともにユーザエクスペリエンスを改善するための投影データ処理方法を提供する。

【0082】

理解し易くするために、以下では、本願の実施形態におけるいくつかの技術的用語について簡潔に説明する。

【0083】

１．無線投影

【0084】

無線投影は、無線画面共有、フライングスクリーン、または画面共有とも呼ばれる。具体的には、デバイスＡ（例えば、携帯電話、タブレット、ノートブックコンピュータ、またはコンピュータ）のピクチャが、無線伝送技術を使用することにより別のデバイスＢ（例えば、タブレット、ノートブックコンピュータ、テレビ、一体型マシン、またはプロジェクタ）の画面上に「リアルタイム」表示され、出力コンテンツが様々なメディア情報またはリアルタイム操作ピクチャを含む。現在、無線投影技術をサポートする成熟した解決手段には、ＡｐｐｌｅのＡｉｒｐｌａｙ画面ミラーリング、Ｗｉ－ＦｉアライアンスのＭｉｒａｃａｓｔプロトコル、および別の会社のＤＬＮＡプッシュが含まれる。

【0085】

無線投影を通じて、会議コンテンツ、マルチメディアファイル、ゲームピクチャ、映画、およびビデオピクチャを別の画面上に表示して、ケーブル接続せずにインタラクションすることができる。ユーザは制約を取り除き、より速くてより自由な投影エクスペリエンスを楽しむことができる。無線投影技術は、我々の生活に密接に関連しており、仕事および娯楽により多くの利便性を提供する。

【0086】

２．画像

【0087】

本願の本実施形態における画像は、静止画像、例えば、ピクチャであってもよいし、一連の動的画像、例えば、ビデオであってもよい。「画像」、「ビデオフレーム」、および「フレーム」は、同義語として使用され得る。画像は、複数のレイヤを合成することにより取得されてよい。

【0088】

３．レイヤ

【0089】

画像が端末の表示画面上に表示されると、表示される画像は、２つのタイプのレイヤを合成することにより取得されてよい。これら２つのタイプのレイヤはそれぞれ、アプリケーションレイヤおよびシステムレイヤである。アプリケーションレイヤは、メインコンテンツ表示レイヤであり、その解像度は、ユーザによる表示ウィンドウサイズの選択に従って設定または決定されてよい。システムレイヤは、端末アプリケーション上で２Ｄ描画をローカルに実行することにより取得されるユーザインタフェースレイヤであり、一般に、ステータスバー、コントロールメニュー、プロンプト情報、および同様のものを含む。システムレイヤの解像度は一般に、端末のシステム解像度である。

【0090】

一般に、非全画面シナリオでピクチャを表示する場合、端末は、オンラインまたはオフラインの方式でアプリケーションレイヤおよびシステムレイヤを合成し、次に、合成を通じて取得される画像を表示する。複数のレイヤが、事前設定された規則に従って合成を実行して、事前設定された解像度の画像を取得する。具体的な合成プロセスは従来技術に属し、本明細書では詳細について改めて説明しない。しかしながら、全画面表示シナリオ、例えば、全画面ゲームシナリオまたは全画面ビデオプレイバックシナリオにおいて、端末は、アプリケーションレイヤのみを表示してよい。

【0091】

なお、単一レイヤに含まれるデータは画像データであり、複数のレイヤを合成することにより取得される表示ピクチャに含まれるデータも画像データである。本願の本実施形態では、区別し易くするために、端末に表示されるために使用される画像データが画像と呼ばれ、画像を合成するために使用される単一レイヤに対応する画像データがレイヤと呼ばれる。表示される画像が１つのレイヤのみを含む（例えば、全画面シナリオにおいて、アプリケーションレイヤのみが表示される）場合、画像およびレイヤは、同じ画像データに対応することが理解され得る。

【0092】

４．フレームレート（ｆｒａｍｅ ｒａｔｅ）

【0093】

ビットマップ画像がフレーム内のディスプレイ上に継続的に現れる周波数（レート）。測定ユニットは、「フレーム／秒」（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ、ＦＰＳ）または「ヘルツ」である。一般に、ＦＰＳは、フィルム、電子描画、またはゲームにおいて１秒あたりに再生されるフレームの数を表すために使用される。

【0094】

５．解像度

【0095】

混乱を回避するために、以下では、解像度に関連する複数の用語を説明および区別する。

【0096】

画像解像度：画像に記憶される情報の量、すなわち、１インチ（１インチ＝２．５４ｃｍ）あたりの画像内の画素の数を示し、通常、「水平画素の数×垂直画素の数」または仕様コードで表される。例えば、画像解像度が６４０＊４８０、水平画素の数が６４０、および垂直画素の数が４８０である場合、解像度は３０７２００画素、すなわち、３００，０００画素である。解像度は７２０Ｐである。コードＰは順次走査を示す。７２０Ｐに対応する解像度は１２８０＊７２０である。同様に、１０８０Ｐに対応する解像度は１９２０＊１０８０である。画像の解像度が高いほど、多くのデータが含まれることを示し、より豊富な詳細を提示することもできるが、より多くのコンピュータストレージリソースが必要とされることが理解され得る。

【0097】

ディスプレイ解像度：コンピュータディスプレイ自体の物理的な解像度を指す。ＣＲＴディスプレイの場合、それは画面上の蛍光体点を指す。ＬＣＤディスプレイの場合、それはディスプレイ上の画素を指す。ディスプレイ解像度は、ディスプレイの製造中に決定される。それは、ディスプレイ自体の画素の数を表し、本質的に不変の値である。ディスプレイ解像度は通常、「水平画素の数×垂直画素の数」、例えば、８００×６００、１０２４×７６８、および１２８０×１０２４のフォーマット、または仕様コードで表される。ディスプレイ解像度は、ディスプレイデバイスにとって非常に重要である。同じサイズの画面サイズの場合は、解像度が高いほど、画面が繊細であることを示し、すなわち、画像の詳細をより明確に提示することができ、ユーザの視覚エクスペリエンスを大幅に改善することができる。

【0098】

画面解像度：画像を表示するためにコンピュータにより使用される解像度を指し、必要に応じて設定され得る。画面解像度は、ディスプレイ解像度より小さいかそれに等しい必要がある。

【0099】

加えて、本願の実施形態では更に、以下の用語を使用する。

【0100】

（１）レイヤのソース解像度：画像解像度に属し、レイヤに記憶される情報の量を示す。

【0101】

（２）ターゲット表示領域の解像度：画面解像度に属し、画面上の画像の表示領域のサイズを示す。

【0102】

以下では、添付図面を参照しながら本願の実施形態を説明する。説明される実施形態は、本願の実施形態の全てではなく一部に過ぎないことが明らかである。当業者であれば、技術開発および新しいシナリオの出現と共に、本願の実施形態で提供される技術的解決手段も、同様の技術的課題に適用可能であることを分かり得る。

【0103】

本願の明細書、特許請求の範囲、および添付図面において、「第１」、「第２」などの用語は、同様のオブジェクトを区別することを意図するものであり、必ずしも、具体的な順番または順序を示すものではない。そのようなやり方で名付けられているデータは、本明細書において説明されている本発明の実施形態を本明細書において例示または説明されている順番以外の順番で実装できるように、適切な状況では交換可能であることを理解すべきである。また、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｃｏｎｔａｉｎ）」という用語、および任意の他の変形は、非排他的な包含をカバーすることを意味しており、例えば、段階またはモジュールのリストを含むプロセス、方法、システム、製品、またはデバイスは、必ずしもそれらの段階またはモジュールに限定されるわけではないが、明示的に列挙されていない、またはそのようなプロセス、方法、システム、製品、またはデバイスに固有の、他の段階またはモジュールを含む場合がある。本願における段階の名称または番号は、方法の手順における段階が当該名称または番号によって示された時間／論理的な順序で実行される必要があることを意味するものではない。名称または番号が付けられた手順における段階の実行順序は、同じまたは類似の技術的効果を実現することができる限り、実現すべき技術的目的に基づいて変更することができる。

【0104】

本願の実施形態は、ゲーム投影、リアルタイムストリーミングメディアサービス、および同様のものを含む、複数のタイプの無線投影シナリオ、例えば、ライブビデオサービス、ビデオ通話サービス、およびビデオ会議サービスなどのシナリオに適用可能である。図１に示すように、無線投影シナリオは、端末１００および投影デバイス２００を含む。

【0105】

端末１００は、無線投影シナリオにおけるデータ送信端である、または送信側と呼ばれる。例えば、端末は、携帯電話、ノートブックコンピュータ、またはタブレットコンピュータであってよい。

【0106】

投影デバイス２００、すなわち、無線投影シナリオにおけるデータ受信端は、または受信側と呼ばれる受信端は、画像表示機能を有する。投影デバイス２００および端末１００は通常、同じシナリオに位置する。例えば、投影デバイス２００および端末１００は、同じ家に位置する、または同じオフィスに位置する、または同じ活動場所に位置するなどである。投影デバイス２００は、コンピュータ、スマートテレビ、スマート画面、または同様のものであってよい。

【0107】

端末１００は、表示ピクチャを投影デバイス２００上に投影してよく、その結果、投影デバイス２００および端末１００は、同期表示を実行する。端末が表示ピクチャを投影デバイスに投影する上述のプロセスは、「投影」、「画面転送」、または「１画面インタラクション」などと呼ばれる場合もある。端末１００の表示画面のサイズは通常小さいので、ユーザが端末１００を使用することにより画像またはビデオピクチャを見る場合、ユーザの視覚エクスペリエンスは乏しい。しかしながら、投影デバイス２００の表示画面のサイズは通常大きい、または表示装置のサイズは大きい。したがって、端末１００の表示ピクチャが投影デバイス２００上に投影され、ユーザが投影デバイス２００を使用することにより表示ピクチャを見て、その結果、ユーザの視覚エクスペリエンスが改善され得る。

【0108】

端末１００は、無線ネットワークを使用することにより投影デバイス２００と通信する。無線ネットワークは、ワイヤレスフィデリティプロトコル、ブルートゥース（登録商標）プロトコル、またはセルラモバイルネットワークプロトコルのうちの１つのプロトコルまたは複数のプロトコルの組み合わせに従って確立されるネットワークを含む。オプションで、端末は、Ｗｉ－Ｆｉを使用することにより画像データを投影デバイスに送信する。オプションで、端末は、５Ｇを使用することにより画像データを投影デバイスに送信する。

【0109】

一般に、端末１００および投影デバイス２００の間の無線データ伝送の遅延範囲は、約１００ミリ秒（ｍｓ）から２０００ｍｓであり、遅延は緩やかである。リアルタイム要件の高いシナリオ、例えば、ゲーム投影シナリオでは、ユーザエクスペリエンスが乏しい。投影遅延は、伝送される画像データの量に関連する。単純に画像データの解像度を低減することによりデータ量を低減する場合は、画像品質に影響があり、投影される画像がぼやけ、ユーザエクスペリエンスに影響がある。

【0110】

本願の本実施形態では、１つの態様において、無線投影中の無線ネットワークのリアルタイムのネットワーク状態を考慮し、無線ネットワーク通信リンクの品質が高い場合、合成対象画像レイヤのソース解像度に基づき合成、エンコード、および伝送を実行してよく；および通信リンクの品質が悪い場合、各合成対象画像レイヤの解像度を適切に低減してよい。別の態様では、端末が画像を表示する特定のアプリケーションシナリオを考慮し、全画面表示シナリオ、例えば、全画面ゲームシナリオまたは全画面ビデオプレイバックシナリオにおいて、アプリケーションレイヤのみが表示されてよく、システムレイヤが隠される。したがって、全画面表示シナリオにおいて、端末は、アプリケーションレイヤの画像データのみを投影デバイスに送信してよい。非全画面表示シナリオ、例えば、デスクトップ表示シナリオでは、アプリケーションレイヤおよびシステムレイヤを合成し、次に表示する必要がある。したがって、非全画面表示シナリオにおいて、端末は、全てのレイヤの画像データを投影デバイスに送信する必要がある。

【0111】

本願で提供する投影データ処理方法によれば、画像データ内のターゲット解像度および合成対象画像レイヤが、レイヤ情報およびネットワーク状態情報に基づき決定される。全画面シナリオでは、送信されるレイヤの数を低減し、通信リンクの品質が悪い場合に解像度を低減して、無線投影中に送信される画像データの量を低減し、それにより、投影中のビデオ画像遅延を回避し、ユーザエクスペリエンスを改善する。

【0112】

加えて、現在の無線投影技術において、送信端は、投影対象画像の解像度を７２０Ｐまたは１０８０Ｐに統一してよく、その投影対象画像を投影デバイスに送信する。しかしながら、投影デバイスは通常、より高い解像度、例えば、２Ｋ／４Ｋ／８Ｋをサポートする。無線投影データフレームを受信した後、投影デバイスは、データフレームをテレビによりサポートされる解像度まで直線的に引き伸ばし、その結果、ぼやけが生じる。加えて、いくつかのシナリオでは、送信端のレイヤの実際の解像度が７２０Ｐまたは１０８０Ｐより低く、送信端は、送信前にレイヤを均一に引き伸ばすとともにズームインし、これにより、画像品質に影響があり、エンコード、デコード、および伝送の負荷が増加する。

【0113】

本願で提供する投影データ処理方法によれば、投影デバイスは、端末により送信される画像に対して超解像を実行して、解像度を改善し、表示のために画像品質を改善する。これにより、ネットワーク状態が悪い場合に送信端における画像解像度低減により引き起こされる画像品質劣化を低減することができる。したがって、投影遅延を短くすることができ、画像品質を良くすることができ、それにより、ユーザエクスペリエンスを大幅に改善する。

【0114】

以下では、投影技術について簡潔に説明する。
図２は、本願の実施形態に係る無線投影の技術的フレームワークの概略図である。

【0115】

送信側は、例えば、携帯電話、シンセサイザサービス（以下では、アンドロイド（登録商標）システムにおけるＳｕｒｆａｃｅＦｌｉｎｇｅｒサービスを例として使用する）である。ＳｕｒｆａｃｅＦｌｉｎｇｅｒサービスは、画像データおよびレイヤ情報を含む、表示対象画像の各レイヤを取得してよい。１つの態様では、画像がディスプレイサブシステム（ｄｉｓｐｌａｙ ｓｕｂｓｙｓｔｅｍ、ＤＳＳ）により合成され、取得される画像は、携帯電話の表示画面上に表示される。別の態様では、各レイヤにおいて合成される画像データが、ＧＰＵを使用することによりエンコーダに送信され、次に、画像データは、暗号化およびパッケージ化された後、ＶＩＰ／ＴＣＰなどの伝送プロトコルを通じて送信される。本願では、インテリジェント知覚モジュールが追加される。インテリジェント知覚シナリオでは、ネットワーク状態とネットワーク状態およびシナリオに基づき決定されるターゲット解像度とに基づき、合成のために適切なレイヤを選択するようにシンセサイザを誘導し、その結果、伝送負荷を効果的に確保することができ、投影遅延を低減することができる。

【0116】

受信側は通常、大画面ディスプレイである。データが受信、パッケージ化、および解読され、データがデコーダに送信され、次に、データが表示のためにオーディオおよびビデオ同期モジュールに送信される。本願で新たに追加する超解像モジュールを既存のオーディオおよびビデオ同期モジュールと組み合わせてオーディオおよびビデオ同期による超解像を周期的に実行して、表示のために送信する前に表示画像品質を更に改善する。

【0117】

以下では、図３を参照して、本願の実施形態における投影送信端の投影データ処理方法について説明する。

【0118】

３０１：端末がネットワーク状態を取得する。

【0119】

端末は、リアルタイムのネットワーク状態を取得し、ネットワーク状態情報は、端末および投影デバイスの間の通信リンクの品質を示す。

【0120】

オプションで、Ｗｉ－Ｆｉマネージャを使用することにより、現在のＷｉ－Ｆｉ接続の状態がリアルタイムで取得される。すなわち、現在の接続の受信信号強度インジケータ（ｒｅｃｅｉｖｅｄ ｓｉｇｎａｌ ｓｔｒｅｎｇｔｈ ｉｎｄｉｃａｔｉｏｎ、ＲＳＳＩ）を取得して、信号強度依存ｇｅｔＲｓｓｉインタフェースを取得する。ネットワークが接続されている場合、ＲＳＳＩの値は０から１００の範囲の整数である。ネットワークが切断されている場合、ＲＳＳＩの値は－２００である。

【0121】

３０２：端末が投影対象画像のアプリケーションレイヤのソース解像度を取得する。

【0122】

投影対象画像は、端末により無線投影を通じて投影デバイスに送信されるべき画像であり、端末は、システムにより現在表示されるべき画像のアプリケーションレイヤのソース解像度を取得してよい。

【0123】

オプションで、端末は、システムサービス（ＳｕｒｆａｃｅＦｌｉｎｇｅｒ）を使用することにより現在の投影対象画像のアプリケーションレイヤのソース解像度を取得する。一般に、端末は、ＳｕｒｆａｃｅＦｌｉｎｇｅｒを使用することによりシステムレイヤおよびアプリケーションレイヤを合成して、表示対象画像を取得する。本願の本実施形態において、端末は、ＳｕｒｆａｃｅＦｌｉｎｇｅｒを使用することにより画像内の各レイヤのレイヤ情報を取得してよい。レイヤ情報は、レイヤ名、レイヤのソース解像度、およびターゲット表示領域の解像度を含む。以下では、レイヤ情報について詳細に説明する。

【0124】

（ａ）レイヤ名：レイヤの持ち主を識別する。一般に、２つのタイプのレイヤがある。一方は、ステータスバーに対応するレイヤまたはナビゲーションバーに対応するレイヤを通常含む、システムレイヤである。他方は、アプリケーション（Ａｐｐ）により表示されるレイヤである、アプリケーションレイヤである。一般に、レイヤ名は、Ａｐｐパッケージ名も含む。

【0125】

（ｂ）レイヤのソース解像度：レイヤの実際の解像度を指す。一般に、システムレイヤの解像度は、画面解像度と一致し、アプリケーションレイヤのソース解像度は、アプリケーションシナリオまたはユーザ命令に従って調節または設定されてよい。例えば、ゲームアプリケーションシナリオにおいて、ゲームアプリケーションは、異なるゲーム構成に基づき異なるソース解像度として提示される。具体的には、端末は、アプリケーションレイヤのソース解像度を取得し、レイヤのソース解像度は、画面解像度より小さいかそれに等しい。レイヤのソース解像度が「水平画素の数×垂直画素の数」の形で表される場合は、レイヤの画素アスペクト比が更に取得されてよい。例えば、レイヤのソース解像度が１２８０＊７２０である場合、レイヤの画素アスペクト比は、１６：９である。

【0126】

（ｃ）ターゲット表示領域の解像度：レイヤが最終的に合成されるとともに画面上に表示される場合の解像度を指し、画面上のレイヤの表示領域のサイズを決定するために使用される。画面上のレイヤの表示領域の具体的な位置を決定するには、一般に、レイヤの表示領域の始点位置が更に必要とされる。

【0127】

なお、段階３０１および段階３０２を実行するための順序は限定されない。

【0128】

合成ポリシ（合成対象レイヤおよび合成解像度）は、ネットワーク状態およびレイヤ情報に基づき決定される。具体的には、合成対象レイヤが決定され、合成対象レイヤのターゲット解像度が決定される。詳細は以下で個別に説明する。

【0129】

３０３：ネットワーク状態に基づき投影対象画像のターゲット解像度を決定する。

【0130】

端末は、ネットワーク状態に基づき投影対象画像のターゲット解像度を決定する。

【0131】

オプションで、ターゲット解像度は、端末および投影デバイスの間の通信リンクの品質と正の相関関係がある。すなわち、通信リンクの品質が悪いほど、ターゲット解像度が小さいことを示し、通信リンクの品質が良いほど、ターゲット解像度が大きいことを示す。一般に、ターゲット解像度は、レイヤのソース解像度より小さいかそれに等しい。

【0132】

オプションで、端末は、ターゲット解像度の値、例えば、１０８０＊２３４０または７２０＊１５６０を事前設定してよい。

【0133】

現在のネットワーク状態に基づき、端末は、元の解像度の画像データに対してダウンサンプリングを適切に実行して、解像度を低減し、画像データを合成し、次に、画像データをエンコードおよび伝送することができ、それにより、遅延を低減する。

【0134】

オプションで、ネットワーク状態情報は、受信信号強度インジケータＲＳＳＩを含む。ＲＳＳＩの値は、通信リンクの信号品質を示してよい。より良い信号品質は、より高いターゲット解像度に対応する。それに対して、より悪い信号品質は、より低いターゲット解像度に対応する。ターゲット解像度は一般に、レイヤのソース解像度より小さいかそれに等しい。

【0135】

オプションで、ＲＳＳＩの値が第１閾値より大きいかそれに等しい場合、端末は、ターゲット解像度が第１解像度であると判断する；ＲＳＳＩの値が第１閾値より小さく第２閾値より大きいかそれに等しい場合、端末は、ターゲット解像度が第１解像度の半分であると判断する、第２閾値は、第１閾値より小さい；またはＲＳＳＩの値が第２閾値より小さい場合、端末は、合成対象レイヤのターゲット解像度が第１解像度の３分の１であると判断する。第１解像度は、事前設定された標準解像度、例えば、１０８０Ｐまたは７２０Ｐであってもよいし、事前設定された規則に従ってリアルタイムで生成されてもよいし、アプリケーションレイヤのソース解像度であってもよい。本明細書では第１解像度の具体的な値を限定しない。

【0136】

例えば、第１閾値が－５０である場合は、第２閾値が－７０であり、第１解像度が１０８０Ｐである。すなわち、ＲＳＳＩの値が［０，－５０］内におさまる場合、それは、信号品質が良いことを示し、端末は、投影対象画像のターゲット解像度が１０８０Ｐであると判断する；ＲＳＳＩの値が（－５０，－７０］内におさまる場合、それは、信号品質が中位であることを示し、端末は、ターゲット解像度が５４０Ｐであると判断する；またはＲＳＳＩの値が－７０より小さい場合、それは、信号品質が悪いことを示し、ターゲット解像度は３６０Ｐである。

【0137】

なお、段階３０３は、段階３０１の後に実行され、段階３０３、および段階３０２、および段階３０４の間の実行順序は限定されない。

【0138】

３０４：端末が合成対象画像レイヤを決定する。

【0139】

端末は更に、現在の使用シナリオを決定し、使用シナリオおよびターゲット解像度に基づき画像データを選択的に合成してよい。使用シナリオは、端末上に現在表示されているコンテンツ、例えば、アプリケーション表示シナリオまたはデスクトップ表示シナリオに基づき分類されてよい。具体的には、アプリケーション表示シナリオは更に、アプリケーションのタイプ、例えば、ビデオまたはゲームなどの動的ピクチャを表示するアプリケーション、または、音楽または読み取りアプリケーションなどのピクチャの更新が遅いアプリケーションに基づき細分割されてよい。使用シナリオは、現在の画像が全画面で表示されているかどうかに基づき分類されてもよく、これには、全画面シナリオおよび非全画面シナリオが含まれる。後続の実施形態では、全画面シナリオおよび非全画面シナリオを説明のための例として使用する。

【0140】

端末は、現在のシナリオが全画面シナリオであるか非全画面シナリオであるかを判断し、シナリオによって異なる合成対象画像レイヤを決定する。全画面シナリオの場合は、アプリケーションレイヤのみが合成されてよい。非全画面シナリオの場合は、画像の全てのレイヤを合成する必要がある。

【0141】

現在のシナリオが全画面シナリオであるかどうかを端末が決定する方法は複数あり、これについては、例を使用することにより以下で説明する。

【0142】

１．アプリケーションレイヤのレイヤソース解像度に基づく

【0143】

アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しい場合、端末は、投影対象画像が全画面シナリオにあると判断する；またはアプリケーションレイヤのソース解像度が第３閾値より小さい場合、端末は、投影対象画像が非全画面シナリオにあると判断する。

【0144】

第３閾値は、事前設定された値であり、既存のアプリケーションが全画面で表示される場合にアプリケーションレイヤの共通解像度に関する統計を収集することにより取得されてよい。全画面シナリオにおけるアプリケーションレイヤの共通解像度は一般に７２０Ｐより大きいので、第３閾値は７２０Ｐに設定されてよい。なお、本明細書では第３閾値の具体的な値を限定しない。

【0145】

２．アプリケーションレイヤの画素アスペクト比に基づく

【0146】

アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、端末は、投影対象画像が全画面シナリオにあると判断する；またはアプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、端末は、投影対象画像が非全画面シナリオにあると判断する。

【0147】

３．アプリケーションレイヤのレイヤソース解像度および画素アスペクト比に基づく

【0148】

アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、およびアプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、端末は、投影対象画像が全画面シナリオにあると判断する。

【0149】

アプリケーションレイヤのソース解像度が第３閾値より小さい、またはアプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、端末は、投影対象画像が非全画面シナリオにあると判断する。

【0150】

４．アプリケーションレイヤのレイヤソース解像度および画素アスペクト比並びにレイヤ名に基づく

【0151】

アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであり、および事前設定されたレイヤ識別子セットがアプリケーションレイヤの識別子を含む場合、端末は、投影対象画像が全画面シナリオにあると判断する。

【0152】

アプリケーションレイヤのソース解像度が第３閾値より小さい、アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる、または事前設定されたレイヤ識別子セットがアプリケーションレイヤの識別子を含まない場合、端末は、投影対象画像が非全画面シナリオにあると判断する。

【0153】

アプリケーションレイヤのレイヤ情報は、アプリケーションレイヤのレイヤソース解像度、アプリケーションレイヤの画素アスペクト比、およびレイヤ名を含む。

【0154】

なお、段階３０４は、段階３０２の後に実行され、段階３０４、および段階３０１、および段階３０３の間の実行順序は限定されない。

【0155】

３０５：端末がターゲット解像度に基づき画像データを合成し、画像データを投影デバイスに送信する。

【0156】

端末は、ターゲット解像度に基づき画像データを合成し、エンコードおよび圧縮などの操作を実行し、無線ネットワークを使用することにより画像データを投影デバイスに送信する。画像データは、投影対象画像を表示するために投影デバイスにより使用される。

【0157】

オプションで、端末は更に、フレームレートを低減することにより投影対象画像に対して合成を実行し、次に、投影対象画像をエンコードおよび送信してよい。フレームレート制御方法は、従来技術に属し、本明細書では詳細について改めて説明しない。例えば、投影対象画像の元のフレームレートは、６０フレーム／秒（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ、ＦＰＳ）であり、フレームレートが低減された後、投影対象画像のフレームレートは３０ＦＰＳである。フレームレートを低減することで、送信対象データの量を更に低減し、投影遅延を低減することができる。

【0158】

本願で提供する投影データ処理方法によれば、端末、すなわち、投影送信端は、レイヤ情報およびネットワーク状態情報に基づき画像データ内のターゲット解像度および合成対象画像レイヤを決定する。全画面シナリオでは、送信されるレイヤの数を低減し、通信リンクの品質が悪い場合に解像度を低減して、無線投影中に送信される画像データの量を低減し、それにより、投影中のビデオ画像遅延を回避し、ユーザエクスペリエンスを改善する。

【0159】

以下では、本願の実施形態における投影データ処理方法を実装するためのシステムについて説明する。オプションで、製品実装状態は、端末のグラフィックスソフトウェアシステムにおいて展開されるプログラムコードである。図４ａは、端末のグラフィックスソフトウェアシステムの階層構造図を示す。

【0160】

最上レイヤは、Ａｐｐレイヤ、すなわち、アプリケーションレイヤである。各Ａｐｐレイヤは、独自の表示コンテンツを提示するための独自の表示レイヤを有する。Ａｎｄｒｏｉｄ（登録商標）インテリジェント端末システム上のグラフィックスレイヤシンセサイザとして、ＦｒａｍｅｗｏｒｋレイヤにおけるＳｕｒｆａｃｅＦｌｉｎｇｅｒは、各Ａｐｐのレイヤおよびシステムレイヤを合成する。１つの態様において、合成される画像は、表示のために送信される。別の態様では、投影サービスが存在する場合、ＳｕｒｆａｃｅＦｌｉｎｇｅｒは、ＮａｔｉｖｅレイヤにおけるＯｐｅｎ ＧＬ ＥＳシステムライブラリのＡＰＩを呼び出して、ＧＰＵ合成を実行し、合成されるデータを投影サービス（Ｃａｓｔ Ｓｅｒｖｅｒ）に転送する。投影プロセスでは、シンセサイザの出力がエンコーダによりエンコードおよびパッケージ化され、次に、表示のためにピアエンドに送信されてよい。

【0161】

本願における送信端に新たに追加される知覚モジュールは、知覚サービス（Ｐｅｒｃｅｐｔｉｏｎ Ｓｅｒｖｉｃｅ）を提供してよい。現在の表示対象画像の各レイヤ（Ｌａｙｅｒ）に関する情報がＳｕｒｆａｃｅＦｌｉｎｇｅｒを通じて取得され、現在のシナリオが決定され、ＳｕｒｆａｃｅＦｌｉｎｇｅｒにより最終的に合成されるレイヤおよび合成後の解像度が誘導され、次に、その情報が投影サービスに送信される。

【0162】

以下では、図４ｂを参照して、知覚モジュールの主要手順について説明する。

【0163】

知覚モジュールの主要手順は以下の通りである。

【0164】

１．情報収集：ＳｕｒｆａｃｅＦｌｉｎｇｅｒ側の現在のフレームの全てのレイヤに関する情報が取得され、その情報は主に、レイヤのアプリケーション名およびレイヤのソース解像度を含む。加えて、Ｗｉ－Ｆｉマネージャサービスを使用することにより、現在のＷｉ－Ｆｉ接続のネットワーク信号状態が取得される。

【0165】

２．情報分析：現在表示されている画像の実際のシナリオが全画面シナリオであるかどうかが、レイヤに対応するアプリケーション名、アプリケーションレイヤのソース解像度、アプリケーションレイヤの画素アスペクト比、および同様のものを使用することにより、段階１で収集されるレイヤ情報に基づき推論される。加えて、ネットワーク信号状態に基づき、例えば、ネットワーク状態は、悪い、中位、および良いという３つの状態に分類されてよい。

【0166】

３．ポリシ策定：ポリシは、予測されるシナリオに基づき策定され、以下を含む。

【0167】

３．１ 全画面ゲームシナリオまたは全画面ビデオプレイバックシナリオなどの全画面シナリオの場合は、アプリケーションレイヤのみが合成され、合成されるフレームの解像度がネットワーク状態に基づき決定される。ネットワーク状態が良い場合は、アプリケーションレイヤのソース解像度または事前設定された第１解像度に基づき合成およびエンコードが実行される。ネットワーク状態が中位である場合は、現在のアプリケーションレイヤのソース解像度または事前設定された第１解像度で１／２サンプリングが実行された後、合成およびエンコードが実行される。ネットワーク状態が悪い場合は、現在のアプリケーションレイヤのソース解像度または事前設定された第１解像度で１／３ダウンサンプリングが実行された後、合成およびエンコードが実行される。

【0168】

３．２ デスクトップシナリオなどの非全画面シナリオの場合は、全てのアプリケーションレイヤが合成され、ポリシがネットワーク状態に基づき調節される。詳細については、段階３．１を参照されたい。

【0169】

４．ポリシ実行：段階３でシナリオに基づき策定される対応するポリシに基づき、ＳｕｒｆａｃｅＦｌｉｎｇｅｒにより実際に合成されるレイヤおよび合成後の最終的なフレーム解像度が更新され、実際のリンクロードを低減するためにエンコードおよび伝送が実行される。

【0170】

シナリオ知覚を通じて、知覚モジュールは、実際のアプリケーションシナリオおよびユーザの現在のネットワーク状態を取得し、現在合成されているレイヤに関する情報を収集および分析し、シナリオおよびネットワーク状態に基づき対応するポリシを実行し、合成されるレイヤのコンテンツおよび最終的に合成されるビデオフレームの解像度を動的に調節する。このように、合成される解像度を変化させて、エンコードおよびデータ伝送を低減し、負荷を低減し、遅延を低減する。

【0171】

以上では、投影送信端の投影データ処理方法について説明した。以下では、投影受信端の投影データ処理方法について説明する。投影受信端は、端末に属する。説明し易くするために、投影受信端は、投影送信端と区別される。本願の本実施形態において、投影受信端の端末は、投影デバイスと呼ばれる。投影デバイスの具体的なデバイス形態については限定しない。

【0172】

以下では、図５ａを参照して、本願の実施形態における投影受信端の投影データ処理方法について説明する。

【0173】

５０１：投影デバイスは、第１解像度の投影対象画像を受信する。

【0174】

投影デバイスは、無線ネットワークを使用することにより第１解像度の投影対象画像を受信する。オプションで、第１解像度の投影対象画像は、ターゲット解像度で合成され、および図３に対応する実施形態において端末により送信される、画像データである。

【0175】

一般に、投影デバイスによりサポートされる画像の解像度は高いが、受信される画像データの第１解像度は低い。第１解像度を表示のために投影デバイスによりサポートされる解像度まで直線的に引き伸ばす従来方式では、表示される画像がぼやけ、画像品質が悪く、ユーザエクスペリエンスに影響がある。

【0176】

オプションで、ビデオタイプの動的画像データについては、投影デバイスにより受信される投影対象画像のフレームレートが閾値より小さいかそれに等しい場合、投影対象画像に対してフレーム補間が実行される。閾値は、第４閾値であり、第４閾値は、例えば、３０ＦＰＳであってよい。フレーム補間の具体的なプロセスは、従来技術であり、本明細書では詳細について改めて説明しない。オプションで、投影対象画像に対してインテリジェントフレーム補間が実行される。例えば、取得される投影対象画像のフレームレートが３０ＦＰＳである場合は、フレーム補間を通じてフレームレートを６０ＦＰＳまで増加させる。したがって、フレームレート制御の送信がユーザエクスペリエンスに及ぼす影響を低減することができる。

【0177】

５０２：事前設定されたニューラルネットワークモデルに基づき第１解像度の画像に対して超解像を実行して、第２解像度の画像データを取得する。

【0178】

投影デバイスは、ニューラルネットワークモデルに基づき画像データに対して超解像を実行して、画像データの解像度を改善してよい。ニューラルネットワークモデルは、様々な既存の超解像モデルのいずれか１つであってよい。本明細書ではこれについて特に限定しない。超解像プロセスについて簡潔に説明すると、以下の通りである。

【0179】

１．モデルのロード：モデルの階層が解析され、トポロジ内のレイヤがソートされ、各レイヤの重み値、各レイヤの活性化関数、対応するコンボリューションカーネルのサイズ、および段階を含む、各レイヤのパラメータが解析される。

【0180】

２．前処理：モデル要件に基づき入力正規化範囲および出力データ正規化範囲が設定される。例えば、超解像モデル入力の場合は、ピクチャのＹＵＶ色域内のＹチャネルデータが入力として使用され、そのデータは、０から０．１または－０．１から０．１の範囲に正規化される。

【0181】

３．推論計算：モデル推論計算を実行するプロセスである。
詳細については、図５ｂを参照されたい。このプロセスは、以下の段階を含む。

【0182】

（ａ）バックエンド（ｂａｃｋｅｎｄ）選択：異なるハードウェアプラットフォームに基づき適当なバックエンドが選択される。ＧＰＵは、ピクチャデータを処理する際、特にデータＩ／Ｏオーバヘッドを低減する際により有利である。したがって、ＧＰＵは、バックエンドとして選択されるのが好ましい。

【0183】

（ｂ）リソース再編成：ロードされるモデルについて、選択されるバックエンドに基づきリソースが再編成される。ＧＰＵがバックエンドとして使用される場合は、各レイヤにおけるパラメータなどの情報をソートして、現在のレイヤに対応するＦｒａｇｍｅｎｔ Ｓｈａｄｅｒを生成する。

【0184】

（ｃ）トラバーサル計算：ＧＰＵバックエンドの例では、モデルの各レイヤの計算のために、対応する入力および出力のテクスチャＩＤが結び付けられる。その情報は、対応する入力データソースおよび出力データストレージを指定するためにＦｒａｇｍｅｎｔ Ｓｈａｄｅｒで使用される。Ｏｐｅｎ ＧＬ命令を呼び出して、現在のレイヤのＦｒａｇｍｅｎｔ Ｓｈａｄｅｒを実行して、現在のレイヤに対応する全ての畳み込み計算を完了する。

【0185】

４．後処理：前処理の逆のプロセスであり、推論計算結果を元の入力データと組み合わせて、元のピクチャフォーマットを形成し、元のピクチャフォーマットを表示のための最終的なデータとして、すなわち、表示のための画像データとして使用する。

【0186】

一般に、超解像後に取得される第２解像度は、第１解像度の整数倍であり、具体的な倍数は限定されない。例えば、第１解像度は、３６０Ｐであり、超解像後に取得される第２解像度は、７２０Ｐである；第１解像度は、５４０Ｐであり、超解像後に取得される第２解像度は、１０８０Ｐである。なお、ＡＩ加速度計算を実行するとともに表示画像品質を改善するためにＧＰＵまたはＮＰＵが使用される場合は、超解像のためのソフトウェア開発キット（ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｋｉｔ、ＳＤＫ）が、デコード後、表示のために送信する前に統合される。元のオーディオおよびビデオ同期段階では、余分な時間を追加することなく、表示のために送信する時間周期内に超解像が完了される。以下では、図６を参照して、オーディオおよびビデオ同期統合超解像を処理するプロセスについて説明する。

【0187】

Ｖｓｙｎｃ信号は、周期的表示のためのトリガ信号である。それは主に、アプリケーションレイヤにおけるビュー描画タスクおよびＮａｔｉｖｅレイヤにおけるビュー合成タスクを同期させるために使用される。

【0188】

従来技術において、画像フレームは、オーディオおよびビデオ同期フェーズでＶｓｙｎｃに従って周期的にデコードされる。図６からは、第１フレーム（この図では番号１など）がデコードされた後に、次のＶｓｙｎｃ周期で第１フレームが表示されることが分かる。画像の各フレームは、Ｖｓｙｎｃ周期内でデコードされ、Ｖｓｙｎｃ周期が終了した後に表示される。本願の本実施形態では、オーディオおよびビデオ同期フェーズで超解像モジュールが追加され、受信端のＧＰＵコンピューティングパワーを使用することにより超解像ＡＩ推論計算が実行され、これにかかる時間は短い。デコードおよび超解像のアクションは１つのＶｓｙｎｃ周期で完了されてよく、次に、超解像後に取得される結果が表示のために送信される。このように、遅延に影響を及ぼすことなく、画像品質を更に改善し、ユーザエクスペリエンスを充実させる。

【0189】

以下では、本願の実施形態における投影データ処理方法を実装する、受信端内のシステムについて説明する。オプションで、製品実装状態は、端末のグラフィックスソフトウェアシステムにおいて展開されるプログラムコードである。図７ａは、投影デバイスのグラフィックスソフトウェアシステムの階層構造図を示す。

【0190】

詳細については、送信端におけるグラフィックスソフトウェアシステムの階層構造を参照されたい。受信端は、投影サービス（Ｃａｓｔ Ｓｅｒｖｉｃｅ）の後に超解像モジュール（ＳＲ）を統合する。既存の解決手段では、受信側のハードウェアコーデック（Ｈａｒｄｗａｒｅ Ｃｏｄｅｃ）を使用することによりデコードされるデータが、受信側のキャストサービスに送信される。しかしながら、本願の本実施形態では、送信端によりデコードされるデータを受信した後、キャストはまず、データをＳＲモジュールに送信し、最終的に、超解像データをアプリケーションのレイヤとして画面上に表示する。

【0191】

以下では、図７ｂを参照して、超解像モジュールの主要手順について説明する。

【0192】

知覚モジュールの主要手順は以下の通りである。

【0193】

１．モデルのロード

【0194】

（ａ）実行中にモデルがロードされたかどうかを確認し；およびモデルがロードされていない場合は、対応するモデルファイルをロードし、モデルの有向グラフのレイヤ構造を解析し、入力／出力のための対応する構造レイヤを生成し、各レイヤのパラメータを解析し、対応する計算ユニットを生成する。このプロセスは、構造および重みのパラメータに関連するリソースをメモリにロードするために一度だけ初期化される。

【0195】

（ｂ）モデルがロードされた場合は、次の段階に進む。

【0196】

２．計算バックエンド選択：異なるハードウェアプラットフォームに基づき適当なバックエンドを選択することを指す。ＧＰＵはビデオフレームデータを処理するときにその並列処理の利点を使用することができるので、ＧＰＵはバックエンドとして使用されるのが好ましい。ハードウェアプラットフォーム上でＮＰＵが使用される場合、ＮＰＵは、何らかの補助計算に使用される。

【0197】

３．推論計算：異なる計算バックエンドに基づき、対応する計算が、モデル構造の有向グラフによりソートされるレイヤノードに基づき順次実行される。

【0198】

４．前処理および後処理：前処理は、超解像モジュール計算の前に画像フレームのＡＩ推論により計算される関心情報、例えば、画像のＹチャネルのチャネル数を抽出することを指し；および後処理は、画像データを元のＲＧＢＡデータフォーマットに復元することを指す。

【0199】

超解像モジュールは、受信側のオーディオおよびビデオ同期フェーズで超解像を統合し、解像度に基づき対応する超解像モデルをロードし、対応する推論エンジンを実行し、バックエンド管理に基づきＡＩ計算のための対応するＧＰＵまたはＮＰＵを選択し、それにより、表示画像品質を改善する。

【0200】

以上では、本願で提供する投影データ処理方法について説明した。以下では、投影データ処理方法を実装する投影データ処理装置について説明する。
図８は、本願の実施形態に係る投影データ処理装置の実施形態の概略図である。

【0201】

ソフトウェア、ハードウェア、ファームウェア、またはその組み合わせを使用することにより、図８におけるモジュールのうちの１つまたは複数のみが実装されてよい。ソフトウェアまたはファームウェアは、限定されるものではないが、コンピュータプログラム命令またはコードを含み、ハードウェアプロセッサにより実行されてよい。ハードウェアは、限定されることはないが、様々な集積回路、例えば、中央演算処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む。

【0202】

投影データ処理装置は具体的に、無線投影シナリオにおけるデータ送信端である、または送信側、すなわち、本願では端末と呼ばれる。端末は具体的に、携帯電話、ノートブックコンピュータ、タブレットコンピュータ、または同様のものであってよい。本明細書では具体的なデバイス形態を限定しない。

【0203】

投影データ処理装置は、ネットワーク状態情報を取得するように構成された取得ユニット８０１、ネットワーク状態情報は、端末および投影デバイスの間の通信リンクの品質を示す；ネットワーク状態情報に基づき投影対象画像のターゲット解像度を決定するように構成された決定ユニット８０２；およびターゲット解像度に基づき画像データを合成し、および画像データを投影デバイスに送信するように構成された合成ユニット８０３、画像データは、投影対象画像を表示するために投影デバイスにより使用される、を含む。

【0204】

オプションで、ターゲット解像度は、通信リンクの品質と正の相関関係がある。

【0205】

オプションで、ネットワーク状態情報は、受信信号強度インジケータＲＳＳＩを含む。

【0206】

オプションで、決定ユニット８０２は具体的に、ＲＳＳＩの値が第１閾値より大きいかそれに等しい場合、ターゲット解像度が第１解像度であると判断する；ＲＳＳＩの値が第１閾値より小さく第２閾値より大きいかそれに等しい場合、ターゲット解像度が第１解像度の半分であると判断する、第２閾値は、第１閾値より小さい；またはＲＳＳＩの値が第２閾値より小さい場合、ターゲット解像度が第１解像度の３分の１であると判断するように構成されている。

【0207】

オプションで、決定ユニット８０２は更に、現在の使用シナリオを決定するように構成されており；および合成ユニット８０３は具体的に、使用シナリオおよびターゲット解像度に基づき画像データを選択的に合成するように構成されている。

【0208】

オプションで、決定ユニット８０２は具体的に、投影対象画像が全画面シナリオにあるかどうかを判断するように構成されている。

【0209】

合成ユニット８０３は具体的に、投影対象画像が全画面シナリオにあると判断された場合、ターゲット解像度に基づき投影対象画像の全てのレイヤのうちのアプリケーションレイヤのみを合成する；または投影対象画像が非全画面シナリオにあると判断された場合、ターゲット解像度に基づき投影対象画像のシステムレイヤおよびアプリケーションレイヤを合成するように構成されている。

【0210】

オプションで、決定ユニット８０２は具体的に、アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しい場合、投影対象画像が全画面シナリオにあると判断する；またはアプリケーションレイヤのソース解像度が第３閾値より小さい場合、投影対象画像が非全画面シナリオにあると判断するように構成されている。

【0211】

オプションで、決定ユニット８０２は具体的に、アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、投影対象画像が全画面シナリオにあると判断する；またはアプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、投影対象画像が非全画面シナリオにあると判断するように構成されている。

【0212】

オプションで、決定ユニット８０２は具体的に、アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、およびアプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じである場合、投影対象画像が全画面シナリオにあると判断する；またはアプリケーションレイヤのソース解像度が第３閾値より小さい、またはアプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる場合、投影対象画像が非全画面シナリオにあると判断するように構成されている。

【0213】

オプションで、決定ユニット８０２は具体的に、アプリケーションレイヤのソース解像度が第３閾値より大きいかそれに等しく、アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と同じであり、および事前設定されたレイヤ識別子セットがアプリケーションレイヤの識別子を含む場合、投影対象画像が全画面シナリオにあると判断する；またはアプリケーションレイヤのソース解像度が第３閾値より小さい、アプリケーションレイヤの画素アスペクト比が画面の画素アスペクト比と異なる、または事前設定されたレイヤ識別子セットがアプリケーションレイヤの識別子を含まない場合、投影対象画像が非全画面シナリオにあると判断するように構成されている。

【0214】

オプションで、合成ユニット８０３は具体的に、ターゲット解像度および第１フレームレートに基づき画像データを合成する、第１フレームレートは、投影対象画像が端末上に表示されるフレームレートより低い、ように構成されている。

【0215】

投影データ処理装置の利点については、上述の実施形態における投影データ処理方法の効果を参照されたい。本明細書では詳細について改めて説明しない。

【0216】

図９は、本願の実施形態に係る投影データ処理装置の実施形態の概略図である。

【0217】

ソフトウェア、ハードウェア、ファームウェア、またはその組み合わせを使用することにより、図９におけるモジュールのうちの１つまたは複数のみが実装されてよい。ソフトウェアまたはファームウェアは、限定されるものではないが、コンピュータプログラム命令またはコードを含み、ハードウェアプロセッサにより実行されてよい。ハードウェアは、限定されることはないが、様々な集積回路、例えば、中央演算処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む。

【0218】

投影データ処理装置は、無線投影シナリオにおけるデータ受信端である、または受信側と呼ばれ、本願では投影デバイスと呼ばれる。投影デバイスは、画像表示機能を有し、具体的には、コンピュータ、スマートテレビ、スマート画面、または同様のものであってよい。デバイス形態については限定しない。

【0219】

投影データ処理装置は、第１解像度の投影対象画像を受信するように構成された受信ユニット９０１；グラフィックス処理ユニットＧＰＵを使用することにより、事前設定されたニューラルネットワークモデルに基づき第１解像度の投影対象画像に対して超解像を実行して、第２解像度の画像を取得するように構成された取得ユニット９０２；および第２解像度の画像を表示するように構成された表示ユニット９０３を含む。

【0220】

オプションで、投影対象画像は、第１画像フレームを含み；および取得ユニット９０２は具体的に、１つのオーディオおよびビデオ同期周期で第１画像フレームに対してデコードおよび超解像を実行して、第２解像度のデコードされた画像データを取得するように構成されている。

【0221】

オプションで、装置は、投影対象画像の第１フレームレートが第４閾値より小さい場合、投影対象画像に対してフレーム補間を実行して、第２フレームレートの投影対象画像を取得するように構成された処理ユニット９０４を更に含む。

【0222】

オプションで、第１解像度の投影対象画像は、上述の実施形態で説明した合成される画像データを含む。

【0223】

図１０は、本願の実施形態に係る端末の実施形態の概略図である。

【0224】

理解し易くするために、以下では、例を使用することにより、本願の本実施形態で提供する端末１００の構造について説明する。
図１０は、本出願の実施形態による端末の構造の概略図である。

【0225】

図１０に示すように、端末１００は、プロセッサ１１０、外部メモリインタフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）インタフェース１３０、充電管理モジュール１４０、電源管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、オーディオモジュール１７０、スピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、ボタン１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｕｌｅ、ＳＩＭ）カードインタフェース１９５、および同様のものを含んでよい。センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロスコープセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光学近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、周辺光センサ１８０Ｌ、および骨伝導センサ１８０Ｍなどを含んでよい。

【0226】

本願の本実施形態に示す構造は、端末１００に対する特定の制限にならないことが理解され得る。本願のいくつかの他の実施形態では、端末１００が、この図に示すコンポーネントより多いまたは少ないコンポーネントを含んでもよいし、いくつかのコンポーネントが組み合わされてもよいし、いくつかのコンポーネントが分割されてもよいし、異なるコンポーネントレイアウトがあってもよい。図に示されるコンポーネントは、ハードウェア、ソフトウェア、または、ソフトウェアおよびハードウェアの組み合わせによって実装され得る。

【0227】

プロセッサ１１０は１つまたは複数の処理ユニットを含み得る。例えば、プロセッサ１１０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、画像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、ベースバンドプロセッサ、ニューラルネットワーク処理ユニット（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＮＰＵ）および／または同様のものを含み得る。異なる処理ユニットは、独立したコンポーネントであり得る、または、１つまたは複数のプロセッサに統合され得る。

【0228】

コントローラは、端末１００の中枢部およびコマンドセンタであってよい。コントローラは、命令動作コードおよび時系列信号に基づき動作制御信号を生成して、命令の読み取りおよび命令の実行の制御を完了してよい。

【0229】

メモリは更に、プロセッサ１１０に配置されてよく、命令およびデータを記憶するように構成されている。いくつかの実施形態において、プロセッサ１１０内のメモリは、キャッシュメモリである。メモリは、プロセッサ１１０により使用されたまたは巡回的に使用された命令またはデータを記憶してよい。プロセッサ１１０が命令またはデータを再び使用する必要がある場合に、プロセッサは命令またはデータをメモリから直接的に呼び出すことができる。これにより反復アクセスを回避し、プロセッサ１１０の待機時間を低減し、システム効率を改善する。

【0230】

いくつかの実施形態において、プロセッサ１１０は１つまたは複数のインタフェースを含み得る。インタフェースは、集積回路間（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、Ｉ１Ｃ）インタフェース、集積回路間サウンド（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｓｏｕｎｄ、Ｉ１Ｓ）インタフェース、パルス符号変調（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ、ＰＣＭ）インタフェース、汎用非同期レシーバ／トランスミッタ（ｕｎｉｖｅｒｓａｌ ａｓｙｎｃｈｒｏｎｏｕｓ ｒｅｃｅｉｖｅｒ／ｔｒａｎｓｍｉｔｔｅｒ、ＵＡＲＴ）インタフェース、モバイルインダストリプロセッサインタフェース（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ、ＭＩＰＩ）、汎用入力／出力（ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｉｎｐｕｔ／ｏｕｔｐｕｔ、ＧＰＩＯ）インタフェース、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ、ＳＩＭ）インタフェース、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）ポート、および／または同様のものを含み得る。

【0231】

本願の本実施形態におけるモジュール間のインタフェース接続関係は、説明のための例に過ぎず、端末１００の構造に対する制限にならないことが理解され得る。本願のいくつかの他の実施形態において、端末１００は代替的に、上述の実施形態とは異なるインタフェース接続方式、または複数のインタフェース接続方式の組み合わせを使用してもよい。

【0232】

充電管理モジュール１４０は、充電入力を充電器から受信するように構成されている。充電器は、無線充電器または有線充電器であり得る。有線充電のいくつかの実施形態において、充電管理モジュール１４０は、ＵＳＢインタフェース１３０を通じて有線充電器の充電入力を受信してよい。

【0233】

電源管理モジュール１４１は、バッテリ１４２、充電管理モジュール１４０、およびプロセッサ１１０に接続するように構成されている。電源管理モジュール１４１は、バッテリ１４２および／または充電管理モジュール１４０の入力を受信して、プロセッサ１１０、内部メモリ１２１、外部メモリ、表示画面１９４、カメラ１９３、無線通信モジュール１６０、および同様のものに電力を供給する。

【0234】

端末１００の無線通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサ、および同様のものを通じて実装されてよい。

【0235】

いくつかの実現可能な実装において、端末１００は、無線通信機能を使用することにより別のデバイスと通信してよい。例えば、端末１００は、第２電子デバイスと通信してよく、端末１００は、第２電子デバイスへの投影接続を確立し、端末１００は、投影データを第２電子デバイスに出力する。端末１００により出力される投影データは、オーディオおよびビデオデータであってよい。

【0236】

アンテナ１およびアンテナ２は、電磁波信号を送受信するように構成されている。端末１００内の各アンテナは、１つまたは複数の通信周波数帯域をカバーするように構成されてよい。アンテナ利用率を改善するために異なるアンテナが更に多重化され得る。例えば、アンテナ１は、無線ローカルエリアネットワークのダイバーシティアンテナとして多重化されてよい。いくつかの他の実施形態において、アンテナは、チューニングスイッチと組み合わせて使用されてよい。

【0237】

モバイル通信モジュール１５０は、端末１００に適用され、および１Ｇ、３Ｇ、４Ｇ、５Ｇ、および同様のものなどの無線通信を含む、解決手段を提供してよい。モバイル通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器（ｌｏｗ ｎｏｉｓｅ ａｍｐｌｉｆｉｅｒ、ＬＮＡ）などを含み得る。モバイル通信モジュール１５０は、アンテナ１を通じて電磁波を受信し、受信される電磁波に対してフィルタリングまたは増幅などの処理を実行し、復調のために電磁波をモデムプロセッサへ送信し得る。モバイル通信モジュール１５０は更に、モデムプロセッサによって変調される信号を増幅し、アンテナ２を通じた放射のために信号を電磁波に変換し得る。いくつかの実施形態において、モバイル通信モジュール１５０における少なくともいくつかの機能モジュールはプロセッサ１１０に配置され得る。いくつかの実施形態では、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールが、プロセッサ１１０の少なくともいくつかのモジュールと同じデバイスに配置されてよい。端末は、モバイル通信モジュールを使用することによりサーバと通信してよい。

【0238】

モデムプロセッサは、変調器および復調器を含み得る。変調器は、送信対象の低周波数ベースバンド信号を中高周波数信号に変調するように構成されている。復調器は、受信される電磁波信号を低周波数ベースバンド信号に復調するように構成されている。次に、復調器は、復調を介して取得される低周波数ベースバンド信号を、処理のためにベースバンドプロセッサへ送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、次にアプリケーションプロセッサに伝送される。アプリケーションプロセッサは、オーディオデバイス（スピーカ１７０Ａ、レシーバ１７０Ｂ、または同様のものに限定されない）でサウンド信号を出力する、またはディスプレイ１９４で画像またはビデオを表示する。いくつかの実施形態において、モデムプロセッサは、独立のコンポーネントであり得る。いくつかの他の実施形態において、モデムプロセッサは、プロセッサ１１０から独立していてよく、モバイル通信モジュール１５０または別の機能モジュールと同じデバイスに配置される。

【0239】

無線通信モジュール１６０は、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＬＡＮ）（例えば、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、Ｗｉ－Ｆｉ）ネットワーク）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＴ）、全球測位衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＮＳＳ）、周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ、ＦＭ）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）技術、赤外線（ｉｎｆｒａｒｅｄ、ＩＲ）技術、および同様のものを含む、端末１００に適用される無線通信解決手段を提供してよい。無線通信モジュール１６０は、少なくとも１つの通信プロセッサモジュールを統合する１つまたは複数のコンポーネントであってよい。無線通信モジュール１６０は、アンテナ１で電磁波を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を実行し、処理される信号をプロセッサ１１０に送信する。無線通信モジュール１６０は更に、送信対象信号をプロセッサ１１０から受信し、信号に対して周波数変調および増幅を実行し、アンテナ２を通じた放射のために信号を電磁波に変換し得る。端末１００は、Ｗｉ－Ｆｉネットワークを使用することにより投影デバイス２００と通信してよい。

【0240】

いくつかの実施形態において、端末１００のアンテナ１は、モバイル通信モジュール１５０に連結され、アンテナ２は、無線通信モジュール１６０に連結され、その結果、端末１００は、無線通信技術を使用することによりネットワークおよび別のデバイスと通信してよい。無線通信技術は、グローバルシステム・フォー・モバイルコミュニケーションズ（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ＧＳＭ（登録商標））、汎用パケット無線サービス（ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＷＣＤＭＡ（登録商標））、時分割符号分割多元接続（ｔｉｍｅ－ｄｉｖｉｓｉｏｎ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＴＤ－ＳＣＤＭＡ）、ロングタームエボリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、ＩＲ技術および／または同様のものを含み得る。ＧＮＳＳは、グローバルポジショニングシステム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、ＧＰＳ）、全球測位衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＬＯＮＡＳＳ）、北斗衛星導航系統（ＢｅｉＤｏｕ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＢＤＳ）、準天頂衛星システム（ｑｕａｓｉ－ｚｅｎｉｔｈ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＱＺＳＳ）、および／または静止衛星型衛星航法補強システム（ｓａｔｅｌｌｉｔｅ ｂａｓｅｄ ａｕｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍ、ＳＢＡＳ）を含み得る。

【0241】

端末１００は、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサ、および同様のものを使用することにより表示機能を実装してよい。ＧＰＵは、画像処理のためのマイクロプロセッサであり、ディスプレイ１９４およびアプリケーションプロセッサに接続される。ＧＰＵは、数学的および幾何学的計算を実行し、画像をレンダリングするように構成されている。プロセッサ１１０は、表示情報を生成または変更するためにプログラム命令を実行する１つまたは複数のＧＰＵを含み得る。

【0242】

ディスプレイ１９４は、画像およびビデオなどを表示するように構成されている。ディスプレイ１９４は表示パネルを含む。表示パネルは、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、アクティブマトリクス有機発光ダイオード（ａｃｔｉｖｅ－ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＡＭＯＬＥＤ）、フレキシブル発光ダイオード（ｆｌｅｘｉｂｌｅ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＦＬＥＤ）、ミニＬＥＤ、マイクロＬＥＤ、マイクロＯＬＥＤ、量子ドット発光ダイオード（ｑｕａｎｔｕｍ ｄｏｔ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＱＬＥＤ）、または同様のものであってよい。いくつかの実施形態において、端末１００は、１つまたはＮ個のディスプレイ１９４を含んでよく、Ｎは１より大きい正の整数である。具体的には、表示画面１９４は、出力語をユーザに表示してよい。

【0243】

いくつかの実現可能な実装において、ディスプレイ１９４は、端末１００のシステムにより出力するためのインタフェースを表示するように構成されてよい。例えば、端末１００は、投影対象画像データを同期的に出力してよい。

【0244】

端末１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサ、および同様のものを使用することにより、画像シューティング機能を実装してよい。

【0245】

ＩＳＰは、カメラ１９３によってフィードバックされるデータを処理するように構成されている。例えば、撮影中にシャッタが押され、光がレンズを通じてカメラの感光素子へ送られる。光信号は電気信号へと変換され、カメラの感光素子は、電気信号を処理のためにＩＳＰに伝送して、電気信号を可視画像へと変換する。ＩＳＰは更に、画像のノイズ、輝度、および、色に対してアルゴリズム最適化を実行し得る。ＩＳＰは更に、撮影シナリオの露光および色温度などのパラメータを最適化し得る。いくつかの実施形態において、ＩＳＰはカメラ１９３内に配置され得る。

【0246】

カメラ１９３は、静止画像またはビデオをキャプチャするように構成されている。オブジェクトの光学画像は、レンズを介して生成され、感光素子に投影される。感光素子は、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤ）または相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）フォトトランジスタであってよい。感光素子は光信号を電気信号に変換し、次に、ＩＳＰに電気信号を伝送して、電気信号をデジタル画像信号に変換する。ＩＳＰは、処理のためにデジタル画像信号をＤＳＰへ出力する。ＤＳＰは、デジタル画像信号をＲＧＢまたはＹＵＶなどの標準フォーマットの画像信号に変換する。いくつかの実施形態において、端末１００は、１つまたはＮ個のカメラ１９３を含んでよく、Ｎは１より大きい正の整数である。

【0247】

デジタル信号プロセッサは、デジタル信号を処理するように構成されており、上記デジタル画像信号に加えて別のデジタル信号を処理してよい。

【0248】

ビデオコーデックは、デジタルビデオを圧縮または展開するように構成されている。端末１００は、１つまたは複数のビデオコーデックをサポートし得る。このように、端末１００は、複数のエンコードフォーマット、例えば、ムービングピクチャエキスパーツグループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）－１、ＭＰＥＧ－１、ＭＰＥＧ－３、およびＭＰＥＧ－４で、ビデオを再生または録画してよい。

【0249】

ＮＰＵは、ニューラルネットワーク（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ、ＮＮ）コンピューティングプロセッサであり、生物学的ニューラルネットワークの構造を参照することにより、例えば、人間の脳のニューロン間の伝達モードを参照することにより、入力情報を迅速に処理し、更には自己学習を継続的に実行し得る。画像認識、顔認識、スピーチ認識、およびテキスト理解など、端末１００のインテリジェント認知などのアプリケーションがＮＰＵを通じて実装されてよい。

【0250】

外部メモリインタフェース１２０を使用して、外部メモリカード、例えば、マイクロＳＤカードに接続して、端末１００の記憶能力を拡張してよい。外部メモリカードは、外部メモリインタフェース１２０を通じてプロセッサ１１０と通信し、データ記憶機能を実装する。例えば、音楽およびビデオなどのファイルは、外部記憶カードに記憶される。

【0251】

内部メモリ１２１は、コンピュータ実行可能プログラムコードを記憶するように構成され得る。実行可能プログラムコードは命令を含む。プロセッサ１１０は、内部メモリ１２１に記憶される命令を実行して、端末１００の様々な機能アプリケーションおよびデータ処理を実装する。内部メモリ１２１は、プログラム記憶領域およびデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、および少なくとも１つの機能（例えば、音声再生機能または画像再生機能）に必要なアプリケーションなどを記憶してよい。データ記憶領域は、端末１００が使用される場合に作成されるデータ（例えば、オーディオデータおよび電話帳）および同様のものを記憶してよい。加えて、内部メモリ１２１は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリ、またはユニバーサルフラッシュストレージ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ、ＵＦＳ）を含んでもよい。

【0252】

端末１００は、オーディオモジュール１７０、スピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、アプリケーションプロセッサなどを使用することによって音楽の再生および録音などのオーディオ機能を実装し得る。いくつかの実現可能な実装において、オーディオモジュール１７０は、ビデオに対応するサウンドを再生するように構成されてよい。例えば、ディスプレイ１９４がビデオ再生ピクチャを表示する場合、オーディオモジュール１７０は、ビデオ再生サウンドを出力する。

【0253】

オーディオモジュール１７０は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成されており、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成されている。

【0254】

スピーカ１７０Ａは、「ラウドスピーカ」とも呼ばれ、オーディオ電気信号をサウンド信号に変換するように構成されている。

【0255】

「イヤホン」とも呼ばれるレシーバ１７０Ｂは、オーディオ電気信号をサウンド信号に変換するように構成されている。

【0256】

「マイク（ｍｉｋｅ）」または「マイク（ｍｉｃ）」とも呼ばれるマイクロフォン１７０Ｃは、サウンド信号を電気信号に変換するように構成されている。

【0257】

ヘッドセットジャック１７０Ｄは有線ヘッドセットに接続するように構成されている。ヘッドセットジャック１７０Ｄは、ＵＳＢインタフェース１３０であってもよいし、３．５ｍｍオープンモバイル端末プラットフォーム（ｏｐｅｎ ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ ｐｌａｔｆｏｒｍ、ＯＭＴＰ）規格のインタフェースであってもよいし、米国セルラ通信工業会（ｃｅｌｌｕｌａｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎｄｕｓｔｒｙ ａｓｓｏｃｉａｔｉｏｎ ｏｆ ｔｈｅ ＵＳＡ、ＣＴＩＡ）規格のインタフェースであってもよい。

【0258】

圧力センサ１８０Ａは、圧力信号を感知するように構成されており、圧力信号を電気信号に変換できる。いくつかの実施形態において、圧力センサ１８０Ａは、ディスプレイ１９４上に配置されてよい。
ジャイロスコープセンサ１８０Ｂは、端末１００の動作姿勢を決定するように構成され得る。
気圧センサ１８０Ｃは気圧を測定するように構成されている。

【0259】

加速度センサ１８０Ｅは、様々な方向（通常は３軸または６軸）における端末１００の加速度の大きさを検出してよい。端末１００が静止している場合に重力の大きさおよび方向が検出されてよい。加速度センサ１８０Ｅは更に、端末の姿勢を識別するように構成されてよく、横モードおよび縦モードの切り替え、または、歩数計などの用途に適用される。

【0260】

距離センサ１８０Ｆは、距離を測定するように構成されている。

【0261】

周辺光センサ１８０Ｌは、周辺光輝度を感知するように構成されている。

【0262】

指紋センサ１８０Ｈは指紋を収集するように構成されている。

【0263】

温度センサ１８０Ｊは、温度を検出するように構成されている。

【0264】

タッチセンサ１８０Ｋは、タッチパネルとも呼ばれる。タッチセンサ１８０Ｋはディスプレイ１９４上に配置されてよく、タッチセンサ１８０Ｋおよびディスプレイ１９４は、「タッチスクリーン」とも呼ばれるタッチスクリーンを形成する。タッチセンサ１８０Ｋは、タッチセンサ上またはタッチセンサの近くで実行されるタッチ操作を検出するように構成されている。タッチセンサは、検出されたタッチ操作をアプリケーションプロセッサに転送して、タッチイベントのタイプを決定してよい。タッチ操作に関連する視覚的出力は、ディスプレイ１９４を通じて提供され得る。いくつかの他の実施形態において、タッチセンサ１８０Ｋは代替的に、ディスプレイ１９４とは異なる位置で端末１００の表面上に配置されてもよい。

【0265】

ボタン１９０は、電源ボタン、音量ボタン、および同様のものを含む。ボタン１９０は機械的ボタンであってもよいし、タッチボタンであってもよい。端末１００はボタン入力を受信し、端末１００のユーザ設定および機能制御に関連するボタン信号入力を生成し得る。

【0266】

モータ１９１は振動プロンプトを生成し得る。

【0267】

インジケータ１９２はインジケータライトであってよく、充電状態および電力変化を示すように構成されてもよいし、メッセージ、不在着信、通知などを示すように構成されてもよい。

【0268】

ＳＩＭカードインタフェース１９５は、ＳＩＭカードに接続するように構成されている。

【0269】

図１１は、本願の実施形態に係る投影デバイスの実施形態の概略図である。

【0270】

本実施形態で提供する投影デバイスは、コンピュータ、テレビ、スマート画面、または同様のものであってよい。本願の本実施形態では、投影デバイスの具体的なデバイス形態を限定しない。

【0271】

投影デバイス１１００は、構成または性能が異なるため比較的優れた性能を発揮してよく、１つまたは複数のプロセッサ１１０１およびメモリ１１０２を含んでよい。メモリ１１０２は、プログラムまたはデータを記憶する。

【0272】

メモリ１１０２は、揮発性メモリまたは不揮発性メモリであってよい。オプションで、１つまたは複数のプロセッサ１１０１は、１つまたは複数の中央演算処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）である。ＣＰＵは、シングルコアＣＰＵであってもよいし、マルチコアＣＰＵであってもよい。プロセッサ１１０１は、メモリ１１０２と通信し、投影デバイス１１００上のメモリ１１０２内の命令セットを実行してよい。

【0273】

投影デバイス１１００は更に、１つまたは複数の無線ネットワークインタフェース１１０３、例えば、イーサネット（登録商標）インタフェースを含む。オプションで、図１１には示していないが、投影デバイス１１００は更に、有線ネットワークインタフェースを含んでよい。

【0274】

投影デバイス１１００は更に、投影ピクチャを表示するように構成されたディスプレイ１１０４を含む。

【0275】

オプションで、図１１には示していないが、投影デバイス１１００は更に、１つまたは複数の電源および１つまたは複数の入力／出力インタフェースを含んでよい。入力／出力インタフェースは、ディスプレイ、マウス、キーボード、タッチスクリーンデバイス、センサデバイス、または同様のものに接続するように構成されてよい。入力／出力インタフェースは、任意選択的なコンポーネントであり、存在してもよいし、存在しなくてもよい。本明細書ではこれについて限定しない。

【0276】

本実施形態における投影デバイス１１００のプロセッサ１１０１により実行される手順については、上述の方法の実施形態で説明した方法の手順を参照されたい。本明細書では詳細について説明しない。

【0277】

簡便かつ簡潔な説明を目的として、上述のシステム、装置およびユニットの詳細な動作プロセスについては、上述の方法の実施形態における対応するプロセスを参照されたいことが、当業者には明確に理解され得る。本明細書では詳細について改めて説明しない。

【0278】

本願で提供する複数の実施形態において、開示されたシステム、装置、および方法は、別の方式で実装されてよいことを理解すべきである。例えば、記載された装置の実施形態は、一例に過ぎない。例えば、ユニットへの分割は、論理的機能の分割に過ぎず、実際の実装では他の分割であってよい。例えば、複数のユニットもしくはコンポーネントを組み合わせるかまたは別のシステムに統合してもよいし、いくつかの特徴を無視するかまたは実行しなくてもよい。加えて、表示または説明されている相互結合もしくは直接結合または通信接続は、いくつかのインタフェースを使用することにより実装され得る。装置またはユニット間の間接結合または通信接続は、電子的形態、機械的形態、または他の形態で実装されてよい。

【0279】

別個の部品として記載されるユニットは、物理的に別個である場合とそうでない場合があり、ユニットとして表示される部品は、物理ユニットである場合とそうでない場合があり、１つの位置に位置している場合と複数のネットワークユニットに分散されている場合がある。ユニットのいくつかまたは全ては、実施形態の解決手段の目的を実現するための実際の要件に基づいて選択され得る。

【0280】

加えて、本願の実施形態における機能ユニットが１つの処理ユニットに統合されてもよいし、これらのユニットのそれぞれが物理的に単独で存在してもよいし、２つまたはそれより多くのユニットが１つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実装されてもよいし、ソフトウェア機能ユニットの形態で実装されてもよい。

【0281】

統合ユニットがソフトウェア機能ユニットの形で実装され、独立した製品として販売または使用される場合、統合ユニットは、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づき、本願の技術的解決手段は本質的に、または、従来技術に貢献する部分は、または、技術的解決手段の全てまたはいくつかは、ソフトウェア製品の形態で実装され得る。コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスであってよい）に、本願の実施形態で説明する方法の段階の全てまたはいくつかを実行するように命令するための複数の命令を含む。上述の記憶媒体は、プログラムコードを記憶することができる任意の媒体、例えば、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、リードオンリメモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、フロッピーディスク、またはコンパクトディスクを含む。

【0282】

上述の実施形態は、本願を限定すること以外に、本願の技術的解決手段を説明することを意図しているに過ぎない。上述の実施形態を参照して本願が詳細に説明されているが、当業者は、本願の実施形態の技術的解決手段の趣旨および範囲から逸脱することなく、上述の実施形態で説明した技術的解決手段に対する修正またはそのいくつかの技術的特徴に対する同等の置換を依然として行い得ることを理解すべきである。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図6】

【図7a】

【図7b】

【図8】

【図9】

【図10】

【図11】