(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-23
(54)【発明の名称】画面表示方法と装置、電子機器及びコンピュータプログラム
(51)【国際特許分類】
G06F 3/14 20060101AFI20241016BHJP
【FI】
G06F3/14 360B
G06F3/14 310A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024519701
(86)(22)【出願日】2022-12-23
(85)【翻訳文提出日】2024-03-29
(86)【国際出願番号】 CN2022141262
(87)【国際公開番号】W WO2023138297
(87)【国際公開日】2023-07-27
(31)【優先権主張番号】202210060285.2
(32)【優先日】2022-01-19
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技(深▲セン▼)有限公司
【氏名又は名称原語表記】TENCENT TECHNOLOGY (SHENZHEN) COMPANY LIMITED
【住所又は居所原語表記】35/F,Tencent Building,Kejizhongyi Road,Midwest District of Hi-tech Park,Nanshan District, Shenzhen,Guangdong 518057,CHINA
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】▲楊▼ ▲広▼▲東▼
(72)【発明者】
【氏名】唐 ▲シー▼
【テーマコード(参考)】
5B069
【Fターム(参考)】
5B069AA16
5B069KA02
5B069KA04
(57)【要約】
本出願の実施例では画面表示方法と装置、電子機器、及びコンピュータプログラムが提供される。かかる方法は電子機器により実行され、クラウドテクノロジーやインテリジェント交通などの分野に適用され得る。かかる方法は、表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成し、表示器情報取得要求は目標実例により発され、目標実例は複数の実例のうちの任意の1つの実例であり、目標実例に対応する目標表示器はメイン表示器又は補助表示器であり;及び、メイン表示器仮想情報を目標実例にフィードバックすることで、目標実例に、目標実例に対応する目標表示器をメイン表示器として決定させ、かつ対応する画面を目標表示器に表示させるステップを含む。
【特許請求の範囲】
【請求項1】
電子機器が実行する、画面を表示する方法であって、
表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成するステップであって、前記表示器情報取得要求は目標実例により発され、前記目標実例は複数の実例のうちの任意の1つの実例であり、前記目標実例に対応する目標表示器はメイン表示器又は補助表示器である、ステップ;及び
前記メイン表示器仮想情報を前記目標実例にフィードバックすることで、前記目標実例に、前記目標実例に対応する目標表示器を前記メイン表示器として決定させ、かつレンダリング済みの画面を前記目標表示器に表示させるステップを含む、方法。
【請求項2】
請求項1に記載の方法であって、
前記表示器情報取得要求は表示器数量取得要求を含み、前記メイン表示器仮想情報は表示器数量又はメイン表示器標識特徴を含み、
前記表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成するステップは、
前記表示器数量取得要求を受信したときに、表示器隔離装置から前記表示器数量又は前記メイン表示器標識特徴を読み取るステップであって、前記表示器数量は第一目標の場合にフィードバックする必要のある表示器数量であり、前記第一目標の場合は前記目標実例に対応する画面をメイン表示器に表示する場合であり、前記メイン表示器標識特徴は前記目標表示器がメイン表示器であることを表すために用いられる、ステップを含む、方法。
【請求項3】
請求項1に記載の方法であって、
前記表示器情報取得要求はメイン表示器位置特徴要求を含み、前記メイン表示器仮想情報はメイン表示器位置特徴を含み、
前記表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成するステップは、
前記メイン表示器位置特徴要求を受信したときに、表示器隔離装置から前記メイン表示器位置特徴を取得するステップであって、前記表示器隔離装置は第二目標の場合にフィードバックする必要のある前記メイン表示器位置特徴を決定するために用いられ、前記第二目標の場合は前記目標実例に対応する画面をメイン表示器に伝送する場合である、方法。
【請求項4】
請求項2又は3に記載の方法であって、
前記メイン表示器は唯一の表示器の場合のものである、方法。
【請求項5】
請求項4に記載の方法であって、
レンダリング済みの画面を前記目標表示器に表示する前に、前記方法は、
前記目標実例が前記目標表示器に対応する目標グラフィックカードで画面レンダリングを行うステップをさらに含む、方法。
【請求項6】
請求項1に記載の方法であって、
前記目標実例に、前記目標実例に対応する目標表示器を前記メイン表示器として決定させることは、
前記目標実例が前記メイン表示器仮想情報に基づいて前記目標表示器をメイン表示器として決定することを含み、
前記目標実例に、レンダリング済みの画面を前記目標表示器に表示させることは、
前記目標表示器において前記画面に対応するウィンドウ位置を設定し、前記画面を前記目標表示器の前記ウィンドウ位置に伝送することを含む、方法。
【請求項7】
画面を表示する装置であって、
表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成するように構成されるシミュレーションモジュールであって、前記表示器情報取得要求は目標実例により発され、前記目標実例は複数の実例のうちの任意の1つの実例であり、前記目標実例に対応する目標表示器はメイン表示器又は補助表示器である、シミュレーションモジュール;及び
前記メイン表示器仮想情報を前記目標実例にフィードバックすることで、前記目標実例に、前記目標実例に対応する目標表示器を前記メイン表示器として決定させ、かつレンダリング済みの画面を前記目標表示器に表示させるように構成されるフィードバックモジュールを含む、装置。
【請求項8】
電子機器であって、
少なくとも1つの処理器;及び
少なくとも1つの前記処理器に接続される記憶器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は前記コンピュータプログラムを実行して請求項1乃至3のうちの何れか1項に記載の方法を実現するように構成される、電子機器。
【請求項9】
コンピュータに、請求項1乃至3のうちの何れか1項に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2022年01月19日に中国専利局に出願した、出願番号が202210060285.2である中国特許出願に基づく優先権を主張するものであり、その全内容を参照によりここに援用する。
【0002】
本出願の実施例は、コンピュータの技術分野に関し、特に、画面表示方法と装置、電子機器及びコンピュータプログラムに関する。
【背景技術】
【0003】
コンピュータ技術の普及に伴い、複数のプロセスの並行(concurrent)画面表示をサポートする画面表示技術が急速に発展するようになっている。しかし、関連技術におけるマルチ画面の表示は明らかにメイン(プライマリー(primary)とも言う)表示器に依存しており、具体的には、このような表示技術は並行の方式で画面レンダリングを行うが、最終的な画面はすべてメイン表示器に表示される。これにより、メイン表示器の負荷が高くなるため、同時実行数を減少させ、画面表示異常や画面表示失敗をもたらす恐れがある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の少なくとも1つの技術的問題を解決するために、本出願の実施例は、目標実例が表示器を感知するプロセスでの異常率を下げることができる、画面表示方法と装置、電子機器及びコンピュータプログラムの提供を課題とする。
【課題を解決するための手段】
【0005】
幾つかの実施例において、本出願の実施例は画面表示方法を提供し、前記方法は電子機器により実行され、前記方法は、
表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成し、前記表示器情報取得要求は目標実例(ターゲットインスタンス(target instance)とも言う)により発され、前記目標実例は複数の実例のうちの任意の1つの実例であり、前記目標実例に対応する目標表示器はメイン表示器又は補助表示器であり;及び
前記メイン表示器仮想情報を前記目標実例にフィードバックすることで、前記目標実例に、前記目標実例に対応する目標表示器を前記メイン表示器として確定させ、かつレンダリングされた画面(レンダリング済みの画面とも言う)を前記目標表示器に表示させることを含む。
【0006】
幾つかの実施例において、本出願の実施例は画面表示装置を提供し、前記装置は、
表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成するように構成されるシミュレーションモジュールであって、前記表示器情報取得要求は目標実例により発され、前記目標実例は複数の実例のうちの任意の1つの実例であり、前記目標実例に対応する目標表示器はメイン表示器又は補助表示器である、シミュレーションモジュール;及び
前記メイン表示器仮想情報を前記目標実例にフィードバックすることで、前記目標実例に、前記目標実例に対応する目標表示器を前記メイン表示器として確定させ、かつレンダリングされた画面を前記目標表示器に表示させるように構成させるフィードバックモジュールを含む。
【0007】
幾つかの実施例において、本出願の実施例はコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には少なくとも1つの命令又は少なくとも1つのプログラムが記憶されており、前記少なくとも1つの命令又は少なくとも1つのプログラムは処理器によってロードされ実行されることで上述の画面表示方法を実現する。
【0008】
幾つかの実施例において、本出願の実施例は電子機器を提供し、それは少なくとも1つの処理器、及び前記少なくとも1つの処理器に通信可能に接続される記憶器を含み、そのうち、前記記憶器には前記少なくとも1つの処理器によって実行され得る命令が記憶されており、前記少なくとも1つの処理器は前記記憶器に記憶されている命令を実行することで上述の画面表示方法を実現する。
【0009】
幾つかの実施例において、本出願の実施例はコンピュータプログラムプロダクトを提供し、それはコンピュータプログラム又は命令を含み、該コンピュータプログラム又は命令は処理器によって実行されるときに上述の画面表示方法を実現する。
【発明の効果】
【0010】
本出願の実施例では、メイン表示器仮想情報をシミュレーションし、メイン表示器仮想情報を目標実例に送信することで、目標実例に、目標実例に対応する目標表示器をメイン表示器として確定させ、かつレンダリングされた画面を目標表示器に表示させ、これによって、異なる表示器の間や異なる実例の間の隔離を実現することができる。目標実例がその対応する目標表示器のみを見ることができ、他の表示器の存在を感知することができないため、目標実例が他の表示器の存在を感知した場合に生じ得る様々な異常や動作失敗の問題を避け、並行パフォーマンスのボトルネックを突破することができる。
【図面の簡単な説明】
【0011】
本出願の実施例又は関連技術における技術案及び利点をより明確に説明するために、以下、実施例又は関連技術の説明に使用する必要のある図面を簡単に紹介する。明らかのように、以下の説明に係る図面は本出願の実施例を説明するための幾つかの実施例に過ぎず、当業者は創造性のある労働をせずにこれらの図面をもとに他の図面を得ることもできる。
【
図1】関連技術におけるマルチ画面表示のフローチャートである。
【
図2】関連技術における画面並行表示の負荷分布を示す図である。
【
図3】本出願の実施例で提供される画面表示方法の実行可能な実装フレームワークを示す図である。
【
図4】本出願の実施例で提供される画面表示方法のフローチャートである。
【
図5】本出願の実施例で提供される画面表示を示す図である。
【
図6】本出願の実施例で提供される画面表示の効果の対比を示す図である。
【
図7】本出願の実施例で提供される負荷テストデータを示す図である。
【
図8】本出願の実施例で提供される画面表示のロジックを示す図である。
【
図9】本出願の実施例で提供される画面表示装置のブロック図である。
【
図10】本出願の実施例で提供されるシミュレーションモジュールがアクセスする表示器隔離装置を示す図である。
【
図11】本出願の実施例で提供される方法を実現するための機器のハードウェア構成を示す図である。
【
図12】本出願の実施例で提供される方法を実現するためのもう1つの機器のハードウェア構成を示す図である。
【発明を実施するための形態】
【0012】
以下、本出願の実施例に係る図面と併せて、本出願の実施例における技術案を明確かつ完全に説明する。明らかのように、説明される実施例は本出願の実施例の一部に過ぎず、全部の実施例ではない。また、本出願の実施例に基づいて当業者が創造性のある労働をせずに得るすべての他の実施例も本出願の保護範囲に属する。
【0013】
なお、本出願の明細書、特許請求の範囲及び上述の図面における用語“第一”、“第二”などは類似した対象を区別するために用いられ、特定の順序や前後関係を限定するものではない。理解できるように、このように使用されるデータは適切な場合に交換することができ、これによって、ここで説明される本出願の実施例はここで図示又は説明される順序以外の順序に従って実施することもできる。また、用語“含む”や“有する”及びそれらの任意の変形は、非排他的な包含をカバーすることを意図しており、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、プロダクト又はサーバは、明確にリストされているステップ又はユニットに限定されず、明確にリストされていないもの、又はこれらのプロセス、方法、プロダクト又はデバイスに固有の他のステップ又はユニットをも含んでも良い。
【0014】
本出願の実施例で開示される目的、技術案及び利点をより明らかにするために、以下、図面及び実施例と併せて、本出願の実施例を詳細に説明する。理解できるように、ここで説明される具体的な実施例は本出願の実施例を解釈するための実施例に過ぎず、本出願の実施例を限定するものではない。
【0015】
以下、用語“第一”や“第二”は、説明の目的でのみ使用されており、相対的な重要性を示したり暗示したり、示された技術的特徴の量(数量)を暗黙的に示したりするものとして理解することはできない。そのため、“第一”や“第二”によって限定される特徴は、1つ又は複数の該特徴を明示的又は暗黙的に含むことができる。本出願の実施例の説明では、特段の記載がない限り、“複数”は2つ又は2つ以上を意味する。本出願の実施例における技術案及びそれによる技術的効果を理解しやすくするために、まず、関連する専門用語を以下のように紹介する。
【0016】
1)インテリジェント交通システム(Intelligent Traffic System、ITS)又はインテリジェント運輸システム(Intelligent Transportation System):先端科学技術(情報技術、コンピュータ技術、データ通信技術、センサ技術、電子制御技術、自動制御理論、オペレーションリサーチ、人工知能など)を交通運輸、サービス制御及び車両製造に効果的かつ総合的に適用し、車両、道路及び使用者の三者間のつながりを強化することで、セキュリティ性の確保、効率化、環境改善及び省エネルギーを実現する総合的な交通システムを形成する。
【0017】
2)インテリジェント車両インフラ連携システム(Intelligent Vehicle Infrastructure Cooperative Systems、IVICS(登録商標)):車両インフラ連携システムと略称され、インテリジェント交通システムの1つの発展方向である。車両インフラ連携システムは、先端無線通信や新世代のインターネット技術などを採用して、車両と車両との間や車両と道路との間の動的リアルタイム情報のインタラクションを全方位に実施し、全時空の動的交通情報の収集と融合をもとに車両自発セキュリティ制御と道路連携管理を行い、人、車両及び道路の有効な連携を十分に実現し、交通セキュリティを確保し、かつ通行効率を向上させることによって形成される安全かつ効率的で環境にやさしい道路交通システムである。
【0018】
3)クラウドゲーム:クラウドコンピューティングをベースにしたゲーム方式であり、クラウドゲームの実行モードでは、すべてのゲームがサーバ側で実行され、レンダリングされたゲーム画面が圧縮された後にネットワークを介してクライアントに伝送される。クライアントのゲーム機器はハイエンド処理器やグラフィックカードを必要とせず、基本的なビデオ解凍能力だけでゲームの実行をサポートするのを実現することができる。
【0019】
4)アプリケーションプログラムプログラミングインターフェース(Application Programming Interface、API):事前定義されている幾つかの関数であり、目的は、アプリケーションプログラム及び開発者がソースコードにアクセスする必要なく、又は内部のワーキングメカニズムの詳細を理解する必要なく、ソフトウェア又はハードウェアに基づいて1組のルーチンにアクセスする能力を提供することにある。
【0020】
5)グラフィックカード仮想化:対応する技術を通じて、1つのグラフィックカードを複数の仮想マシン(VM)の使用のために提供するスキームである。該技術はハードウェアとソフトウェアにより実現されるという2つの方式に分けられており、そのうち、ハードウェアにより実現されるグラフィックカード仮想化は通常、グラフィックカードメーカーの技術的サポートを要する。
【0021】
6)仮想マシン(Virtual Machine、VM):ソフトウェアによりシミュレーションされた、完全なハードウェアシステム機能を備え、かつ完全な隔離環境で実行される完全なコンピュータシステムである。VMは仮想化プラットフォームで実行される必要があり、Guestマシンとも呼ばれる。
【0022】
7)コンテナ(Container):コンテナ技術は、単一のオペレーティングシステムのリソースを孤立したグループに効果的に分割することで、孤立したグループの間で衝突有りリソースの使用ニーズのバランスをより良くとり、このような技術はコンテナである。
【0023】
8)グラフィックスプロセッシングユニット(Graphics Processing Unit、GPU):表示コアやビジュアル処理器、表示チップなども称され、パーソナルコンピュータ、ワークステーション、ゲーム機及び幾つかの移動装置(例えば、タブレットコンピュータ、スマートフォンなど)で画像及びグラフィックスに関する演算処理に特化したマイクロプロセッサである。本出願の実施例では、GPUはグラフィックカードとすることができる。
【0024】
9)ペリフェラルコンポーネントインターコネクトエクスプレス(Peripheral Component Interconnect Express、PCIe):高速シリアルコンピュータ拡張バス規格である。PCIeは高速シリアルポイントツーポイントデュアルチャネル高帯域幅伝送に属し、接続される装置は独占(専用)チャネル帯域幅が割り当てられ、バス帯域幅をシェアせず、主に、アクティブ電源の管理、エラー報告、エンドツーエンドの高信頼性伝送、ホットスワップ、サービス品質の確報などの機能をサポートする。
【0025】
10)1秒あたりのフレーム数(Frame Per Second、FPS):FPSは画像分野における定義であり、1秒あたりのフレーム数を指し、一般的に言えば、動画(アニメーション)やビデオの画面数を指す。FPSは動的ビデオの保存と表示に使用される情報量の尺度である。1秒あたりのフレーム数が多いほど、表示される動作がよりスムーズになる。通常、ギクシャクした動きを避けるための最小値は30である。一部のコンピュータビデオフォーマットでは、1秒あたり15 フレームしか提供できない。
【0026】
11)RGBA色空間:赤(Red)、緑(Green)、青(Blue)及びAlphaを表す色空間である。
【0027】
12)実例(インスタンス(instance)):オブジェクト指向プログラム設計では、クラスが実例化された後に1つの実例と呼ばれ、クラスは静的であり、プロセスメモリを占有しないが、実例は動的メモリを有する。データベースでは、幾つかのプログラムの集合を表し、データベースの操作をサポートし得るデータベースプログラムを指す。
【0028】
関連技術では画面表示を行うことができる複数のスキームが提案されている。もちろん、本出願の実施例は画面表示の適用シナリオについて限定せず、例えば、クラウドゲーム、クラウドコミュニティ、クラウドeコマース、インテリジェント運転などのシナリオで画面表示を行うことができる。クラウドゲームを例にとり、クラウドゲームは、クラウドコンピューティングをもとにしたゲーム方式であり、クラウドゲームの実行モードの下で、すべてのゲームはサーバ側で実行され、レンダリングされた後のゲーム画面は圧縮された後にネットワークを介してクライアントに伝送される。クライアントを実行する電子機器はハイエンド処理器やグラフィックカードを必要とせず、基本的なビデオ解凍縮能力だけでゲームの実行をサポートすることができる。
【0029】
クラウドゲームのシナリオの下で、サーバ側では、1つのオペレーティングシステムにより1つのゲーム実例を実行でき、各ゲーム実例は1つのクライアントに対応でき、サーバ側でゲーム実例を実行し、表示された画面を圧縮してクライアントに伝送することで、クライアントは解凍することで画面を表示することができる。なお、本出願の実施例はゲーム実例に限定されない。
【0030】
本出願の実施例はさらに、仮想マシン技術に基づいて実行されても良く、サーバ側では、1つのオペレーティングシステムにより1つの仮想化アプリケーションを実行でき、各仮想化アプリケーションは1つのクライアントに対応でき、サーバ側で仮想化アプリケーションを実行し、表示された仮想化アプリケーションの画面を圧縮してクライアントに伝送することで、クライアントは解凍することで画面を表示することができる。
【0031】
幾つかの実施例において、クラウドゲームシナリオの下で、さらに、サーバ側の1つのオペレーティングシステムについて、複数のグラフィックカードを、マルチゲーム実例を実行するために設定しても良い。クラウドゲームの実行環境への要求は次のとおりであり、即ち、マルチグラフィックカードシステムの下で、各グラフィックカードが1つの表示器に接続される必要があり、即ち、グラフィックカードは表示器と一対一マッピング(対応)を構築する必要がある。サーバは通常、仮想化又はシミュレーションの方式で仮想表示器に接続されるグラフィックカード(virtual display connected graphics card)を提供する。
図1を参照し、
図1は関連技術におけるマルチ画面表示のフローチャートである。
【0032】
ステップ01において、クラウドゲームを実行する。
【0033】
ステップ02において、クラウドゲームのゲームエンジンがメイン表示器の情報を枚挙し、具体的に言えば、該表示器の情報は表示器のマクロスコピック(macroscopic)数量情報であっても良い。
【0034】
ステップ03において、各表示器情報を取得し、具体的に言えば、マクロスコピック数量情報を得たときに、サーバ環境下の各表示器を取得し、これらの表示器は物理表示器(リアルな表示器)又は仮想表示器であっても良い。
【0035】
ステップ04において、ゲームウィンドウの位置をメイン表示器に設定する。
【0036】
ステップ05において、ゲームウィンドウにレンダリング済みの画面を表示する。
【0037】
ステップ04でゲームウィンドウの位置をメイン表示器に設定することを実行した後に、ゲーム画面の計算及びレンダリングを開始し、そして、該ゲーム画面を上述のウィンドウに出力する。各ゲーム実例は1つの表示器(メイン表示器又は補助表示器の何れか1つであっても良く、補助表示器は非メイン表示器である)に対応しても良く、該表示器に対応するグラフィックカードは関連する計算及びゲーム画面のレンダリングを行い、そして、レンダリング結果をメイン表示器のゲームウィンドウに表示する。
【0038】
上述のクラウドゲームの画面表示技術を述べたことから分かるように、クラウドゲームサーバはマルチグラフィックカードマルチゲーム実例の並行のシナリオにおいて、ゲーム中の様々なインタラクション操作が原因で、以下のような技術的問題をもたらす可能性がある。
【0039】
まず、パフォーマンス及びコストの問題が存在する。複数のゲーム実例がすべてウィンドウをメイン表示器の位置に設定し、最終的なゲーム画面が同一の表示器に出力されるため、メイン表示器に接続されるGPUのPCIeがボトルネック状態に入り、表示パフォーマンスの問題を来し、又は、ゲームの理論的同時実行数が比較的低いため、ゲームを実行するコストの増加を来すことがある。
図2を参照し、
図2は関連技術における画面並行表示の負荷分布を示す図である。GPU0、GPU1、GPU2、GPUNはそれぞれグラフィックカードであり、そのうち、GPU0はメイン表示器に対応するグラフィックカードである。各グラフィックカードはその対応するゲーム実例のために計算及び画面レンダリングのサービスを提供できるが、最終的にレンダリングされた画面はGPU0に対応するメイン表示器におけるウィンドウにのみ表示され得るため、GPU0の負荷は高くなる。例を挙げて言えば、1つのゲーム実例の解像度が1920*1080を要し、フレームレートが60FPSを要し、RGBAグラフィックスデータのサイズが1920*1080*4*60/(1024*1024)=475メガバイト(MB)であるが、PCIe Gen3x16の理論的伝送速度が16千メガバイト毎秒(GB/s)であるとする場合に、上述の設定に基づいて実現され得る理論的同時実行数は約30であり、同時実行数はひどく制限されている。
【0040】
また、互換性の問題が存在する可能性があり、例えば、一部のゲームが起動できず、ウィンドウ位置が異常になるなどの互換性の問題が存在する可能性がある。なお、異なるゲーム実例に行為や表現の差異がある。
【0041】
上述のパフォーマンス、コスト及び互換性の問題を解決するために、本出願の実施例では画面表示方法が提供され、これによって、グラフィックカードとグラフィックカードとの間や実例と実例との間の徹底的な隔離を実現可能であり、画面レンダリングのレベルの並行を実現できるだけでなく、画面表示上の分離をも実現できるため、複数の画面を同じメイン表示器に表示することを回避でき、パフォーマンスのボトルネック及び同時実行数の制限を打破できるのみならず、互換性の問題の出現をも避けることができる。
【0042】
本出願の実施例はクラウドテクノロジーに関わる可能性がある。クラウドテクノロジーとは、ワイドエリアネットワーク又はローカルエリアネットワークでハードウェア、ソフトウェア、ネットワークなどの一連のリソースを統合することで、データの計算、記憶、処理及び共有を実現するホスティングテクノロジーを指す。クラウドテクノロジーはクラウドコンピューティング商業モデルアプリケーションに基づくネットワーク技術、情報技術、統合技術、管理プラットフォーム技術、アプリケーション技術などの総称であり、リソースプールを構成し、必要に応じて使用することができ、柔軟かつ便利である。クラウドコンピューティング技術は需要なサポートになる見込みがある。テクニカルネットワークシステムのバックグラウンドサービスは大量の計算や記憶リソースが必要であり、例えば、ビデオウェブサイト、ピクチャ類ウェブサイト及びより多くのポータルウェブサイトである。インターネット業界の急速な発展及び適用に伴い、将来、各物品がすべて自分の識別子を持ち、バックグラウンドシステムに伝送され、ロジック処理してもらう必要があり、また、異なる程度やレベルのデータが分けられ処理され、各業界のデータがすべて強大なシステムサポートを要し、これらはクラウドコンピューティングによって実現されなければならない。
【0043】
本出願の実施例はクラウドテクノロジーに基づいて提供される様々なクラウドアプリケーション、例えば、メディカルクラウドに適用できる。メディカルクラウド(Medical cloud)とは、クラウドコンピューティング、モバイルテクノロジー、マルチメディアデータ、4G通信、ビッグデータ、IoTなどの新しい技術をもとに、医療技術と併せて、“クラウドコンピューティング”を使用して医療健康サービスクラウドプラットフォームを構築し、医療リソースの共有及び医療範囲の拡大を実現し得るものを指す。クラウドコンピューティング技術の適用及び組み合わせにより、メディカルクラウドは医療機関のサービス効率を向上させ、住民の医療を便利にすることができる。例えば、病院の予約登録、医療保険会計などはすべてクラウドコンピューティングと医療分野を組み合わせたものであり、メディカルクラウドにはデータセキュリティ、情報共有、動的拡張、グローバルレイアウトなどの利点もある。
【0044】
図3を参照し、
図3は本出願の実施例で提供される画面表示方法の実行可能な実装フレームワークを示す図である。
図3に示すように、該実装フレームワークは少なくとも、端末装置01及び画面表示サーバ02を含み得る。そのうち、端末装置01はインターネットにある電子機器であっても良く、ユーザのために様々なインターネットベースのサービスを提供でき、該サービスは本出願の実施例におけるクライアントにより提供される。端末装置01はノートパソコン、タブレットコンピュータ、デスクトップコンピュータ、セットトップボックス、モバイル装置、車載端末(例えば、モバイル電話、ポータブル音楽プレーヤー、パーソナルデジタルアシスタント、専用メッセージ装置、ポータブルゲーム機)などの様々な類型のユーザ端末を含んでも良いが、これらに限定されない。本出願の実施例におけるクライアントは様々なシナリオにおけるアプリケーション、例えば、クラウドテクノロジー、クラウドゲーム、クラウドレンダリング、人工知能、インテリジェント輸送、運転補助(支援)、ビデオメディア、インテリジェントコミュニティ、即時通信などを提供できるが、これらに限られない。
【0045】
画面表示サーバ02は端末装置01とインタラクションを行うことでユーザにサービスを提供する。具体的には、端末装置01は画面表示サーバ02に画面を要求(リクエスト)できる。このような場合に、上述の端末装置01に対応し、かつ画面表示サーバ02で実行される目標実例は表示器情報取得要求を発することができる。表示器情報取得要求を受信した場合に、画面表示サーバ02はメイン表示器仮想情報をシミュレーションによって生成し、上述の表示器情報取得要求は目標表示器に対応する目標実例により発され、上述の目標表示器はメイン表示器又は補助表示器である。上述のメイン表示器仮想情報を上述の目標実例にフィードバックすることで、上述の目標実例に、上述の目標表示器を上述のメイン表示器として確定させ、かつレンダリングされた画面を上述の目標表示器に表示させる。目標実例は表示された画面を圧縮して端末装置に伝送することで、端末装置が解凍する方式で上述の画面を表示し得るようにさせる。このようにして、クライアントは画面計算又は画面レンダリングの能力を具備する必要がなく、基本的な解凍能力だけあれば良い。
【0046】
以下、本出願の実施例における画面表示方法を紹介する。本出願の実施例に係る情報はユーザにより授権され、又は各パーティーにより十分に授権された情報であっても良い。
【0047】
図4は本出願の実施例で提供される画面表示方法のフローチャートである、本出願の実施例では実施例又はフローチャートに示すような方法の操作ステップが提供されるが、常識や創造性無しの労働に基づいてより多くの又はより少ない操作ステップが含まれても良い。実施例に列挙されるステップの順序はステップを実行する複数の順序のうちの1つのみの方式であり、唯一の実行順序を表さない。実際のシステム、端末装置又はサーバプロダクトにより実行されるときに、実施例又は図面に示す方法の順序に従って実行されても良く、又は並列実行されても良い(例えば、並列処理器又はマルチプロセス処理の環境)。上述の方法は次のようなさステップを含んでも良い。
【0048】
ステップS101において、表示器情報取得要求を受信したときにメイン表示器をシミュレーションするためのメイン表示器仮想情報を生成し、表示器情報取得要求は目標実例により発され、目標実例は複数の実例のうちの任意の1つの実例であり、目標実例に対応する目標表示器はメイン表示器又は補助表示器である。
【0049】
例示として、表示器情報取得要求を受信した場合に、メイン表示器仮想情報をシミュレーションによって生成し、上述の表示器情報取得要求は目標表示器に対応する目標実例により発され、上述の目標表示器はメイン表示器又は非メイン表示器である。
【0050】
マルチ実例のシナリオの下で、各実例は1つのグラフィックカードが割り当てられ、対応するグラフィックカードにその関連する計算又は画面レンダリングを行ってもらっても良い。各実例にその対応するグラフィックカードリソースを割り当てることで、各実例の計算又は画面レンダリングはそれぞれ独立して並列実行され、互いに影響することがない。各グラフィックカードが計算又は画面レンダリングを実行する前提はそれにその対応する表示器を関連付けることである。本出願の実施例ではグラフィックカードに関連付けられる表示器について限定せず、それは物理表示器又は仮想表示器であっても良い。本出願の実施例では目標実例はサーバで実行される任意の1つの実例であっても良い。目標実例について言えば、サーバはそれにその適した目標グラフィックカード及び目標表示器を割り当てることができ、この目標表示器はメイン表示器又は補助表示器であっても良い。例えば、サーバにA、B、C、Dという4つのグラフィックカードが配置されており、それぞれ、A1、B1、C1、D1という4つの表示器に対応し、そのうち、A1はメイン表示器であり、B1、C1、D1は補助表示器である。グラフィックカードBが実例B-10に関連付けることができ、実例B-10が目標実例である場合に、目標表示器はB1であり、これは明らかのように補助表示器である。グラフィックカードAが実例A-10に関連付けることができ、実例A-10が目標実例である場合に、目標表示器はA1であり、これは明らかのようにメイン表示器である。
【0051】
目標実例はその対応するクライアントと通信を行うことができ、クライアントがその対応する目標実例に画面要求を送信することに応じて、クライアントに対応する目標実例は画面表示サーバに表示器情報取得要求を発する。
【0052】
幾つかの実施例において、表示器情報取得要求は表示器数量取得要求を含み、メイン表示器仮想情報は表示器数量又はメイン表示器標識(ID)特徴を含み、表示器情報取得要求を受信したときにメイン表示器をシミュレーションするためのメイン表示器仮想情報を生成することは、次のような技術案により実現されても良く、即ち、表示器数量取得要求を受信したときに、表示器隔離装置から表示器数量又はメイン表示器標識特徴を取得し、そのうち、表示器数量は第一目標の場合にフィードバックする必要のある表示器数量であり、第一目標の場合は、目標実例に対応する画面をメイン表示器に表示する場合であり、メイン表示器標識特徴は目標表示器がメイン表示器であることを表すために用いられる。
【0053】
例示として、上述の表示器数量取得要求を受信した場合に、表示器隔離装置にアクセスして上述の表示器隔離装置から出力される上述の表示器数量又は上述のメイン表示器標識特徴を取得し、上述の表示器隔離装置は、上述の目標実例に対応する画面をメイン表示器に表示する場合にフィードバックする必要のある表示器数量を出力し、又は、上述の目標表示器がメイン表示器であることを表すためのメイン表示器標識特徴を出力するために用いられる。
【0054】
例示として、表示器隔離装置は次のようなキー能力を具備する必要があり、即ち、表示器総数を得るときに、実際には、毎回1つだけ返せば良く、表示器のデータをクエリする必要がない。もちろん、実際の場合に表示器数量が1よりも大きくなっても良く、これはサーバ環境でのグラフィックカード及び表示器の真の数量に依存する。現在の表示器がメイン表示器であるかを表す判断情報を得るときに、現在の表示器がメイン表示器であることを表す判断情報のみを返し、判断情報はメインサーバの標識特徴であるため、目標実例はメインサーバの標識特徴に対応する表示器をメイン表示器と誤認し得る。
【0055】
幾つかの実施例において、上述の目標実例に対応する画面をメイン表示器に伝送する場合は、目標実例に対応する画面をメイン表示器に伝送し、かつメイン表示器が唯一の表示器である場合を含む。ここで、目標実例がサーバ環境に1つのみの表示器が存在すると誤認し、かつこの表示器がメイン表示器であることに相当する。
【0056】
本出願の実施例では、フィードバックされる表示器数量又はメイン表示器特徴標識について限定せず、シミュレーションによって生成された表示器数量又はメイン表示器特徴標識により、目標実例を混乱させる目的を達成することができれば良い。目標実例を混乱させることにより、それがその対応する目標表示器がメイン表示器であると誤認するようにさせることができれば、混乱(混淆)の目的を達成できる。例えば、フィードバックされる表示器数量が1であり、かつメイン表示器標識特徴により、現在、目標実例に関連付けられている表示器がメイン表示器であると表す場合に、目標実例は現在のサーバ環境に1つのみの表示器が存在すると見なすことができ、この表示器はメイン表示器であり、かつ目標実例は現在のサーバ環境に目標表示器が存在すると知っているため、目標実例は必然に目標表示器がメイン表示器であると見なすことができ、これにいって、混乱の目的を達成することができる。
【0057】
幾つかの実施例において、表示器情報取得要求はメイン表示器位置特徴要求を含み、メイン表示器仮想情報はメイン表示器位置特徴を含み、上述の表示器情報取得要求を受信したときにメイン表示器をシミュレーションするためのメイン表示器仮想情報を生成することは、次のような技術案により実現されても良く、即ち、メイン表示器位置特徴要求を受信したときに、表示器隔離装置からメイン表示器位置特徴を取得し、そのうち、表示器隔離装置は第二目標の場合にフィードバックする必要のあるメイン表示器位置特徴を確定するために用いられ、第二目標の場合は目標実例に対応する画面をメイン表示器に伝送する場合である。
【0058】
例示として、上述のメイン表示器位置特徴要求を受信した場合に、表示器隔離装置にアクセスして上述の表示器隔離装置から出力されるメイン表示器位置特徴を取得し、上述の表示器隔離装置は、上述の目標実例に対応する画面をメイン表示器に伝送する場合にフィードバックする必要のある上述のメイン表示器位置特徴を確定するために用いられる。
【0059】
具体的には、上述の目標実例に対応する画面をメイン表示器に伝送する場合は、目標実例に対応する画面をメイン表示器に伝送し、かつメイン表示器が唯一の表示器である場合を含む。ここで、目標実例がサーバ環境に1つのみの表示器が存在すると誤認し、かつこの表示器がメイン表示器であることに相当する。
【0060】
本出願の実施例ではフィードバックされるメイン表示器位置特徴について限定せず、シミュレーションされたメイン表示器位置特徴によって目標実例の混乱の目的を達成することができれば良い。目標実例を混乱させることにより、それがその対応する目標表示器がメイン表示器であると見なすようにさせることができれば、混乱の目的を達成できる。例えば、フィードバックされるメイン表示器位置特徴が、サーバ環境に1つのみのメイン表示器が存在し、かつ他の表示器が存在しない場合のメイン表示器の位置である場合に、目標実例は現在のサーバ環境に1つのみの表示器が存在すると見なすことができ、この表示器はメイン表示器であり、かつ目標実例は現在のサーバ環境に目標表示器が存在することを知っている場合に、目標実例は必然に目標表示器がメイン表示器であると見なすことができ、これによって、混乱の目的を達成することができる。
【0061】
上述の2つの実施例では、メイン表示器標識のシミュレーション、位置のシミュレーション及び表示器数量のシミュレーションを行ったが、もちろん、本出願の実施例では他の混乱方式を採用しても良く、これは、目標実例が取得する必要のあるメイン表示器に関する情報が具体的にどのようなものであるかに依存する。本出願の実施例では、メイン表示器仮想情報をシミュレーションすることで混乱の目的を達成することができれば良く、これによって、目標実例はサーバ環境に1つのみの表示器が存在し、かつこの表示器がメイン表示器であると誤認することができる。
【0062】
クラウドゲームを例にとり、通常、クラウドゲームは次のようなステップにより表示器情報を取得する。
【0063】
まず、表示器数量を取得し、例えば、目標ゲーム実例はアプリケーションプログラムインターフェースにより表示器数量を得ることができ、例示として、ここでのアプリケーションプログラムインターフェースは“コンピュータのみに見える表示器関数(GetSystemMetrics(SM_CMONITORS))”及び“マルチディスプレイ関数(EnumDisplayMonitors/EnumDisplayDevices)”であっても良い。このような場合に、該APIをハイジャックすることで該APIの呼び出しをインターセプト(傍受(intercept))し、表示器隔離装置にアクセスして表示器数量を得ることができ、実際には毎回1つだけ返せば良く、これによって、目標実例は真のサーバ環境での表示器の関連データを得ることができないため、混乱の目的を達成することができる。
【0064】
次に、表示器数量を得た後に、目標ゲーム実例はAPI:EnumDisplaySettingを用いて表示器情報を取得する可能性があり、このような場合に、該APIをインターセプトし、その後に、表示器隔離装置と通信を行うことで、対応する情報、例えば、メイン表示器であるか、座標、解像度などを取得することができる。隔離装置は各表示器の座標を(0,0)として仮想化し、また、各表示器をメイン表示器として仮想化することができる。実際には、サーバにおける表示器情報を枚挙しない。
【0065】
本出願の実施例では、クラウドゲームのシナリオにおける表示器隔離装置は以下のようなキー能力を具備する必要がある。
【0066】
クラウドゲームが表示器総数を得るときに、実際には、毎回1つだけ返せば良く、表示器のデータをクエリしない。もちろん、実際の場合にサーバ環境での表示器数量が1よりも大きくなる可能性があり、これはサーバ環境におけるグラフィックカード及び表示器の真の数量に依存する。
【0067】
クラウドゲームが、現在の表示器がメイン表示器であるかを得るときに、それにメイン表示器であることのみを通知し、即ち、メインサーバの標識特徴をフィードバックすることで、それがその対応する表示器をメイン表示器として誤認するようにさせる。
【0068】
クラウドゲームが現在の表示器座標情報を得るときに、それに座標情報が(0、0)であることを通知し、真の座標情報は(0,0)ではない。
【0069】
もちろん、他の関連するメイン表示器特性についてもすべてニーズに応じて対応するシミュレーションを行うことで、目標実例を混乱させる目的を達成することができる。
【0070】
上述のステップを実行することで、目標実例は自分が実行するグラフィックカードの表示器しか見ることができず、また、それがメイン表示器であると見なし、現在のサーバ環境に他の表示器も存在することを知ることができないため、他の表示器とインタラクションを行うことがない。これにより、目標実例を混乱させる方式で表示器間の徹底的な隔離を実現することができる。
【0071】
ステップS102において、メイン表示器仮想情報を目標実例にフィードバックすることで、目標実例に、該目標実例に対応する目標表示器をメイン表示器として確定させ、かつレンダリング済みの画面を目標表示器に表示させる。
【0072】
例示として、上述のメイン表示器仮想情報を上述の目標実例にフィードバックすることで、上述の目標実例は上述の目標表示器を上述のメイン表示器として確定し、かつレンダリングされた画面を上述の目標表示器に表示する。
【0073】
目標実例はメイン表示器にのみレンダリング済みのデータを送信し、メイン表示器がそのレンダリング済みの画面を表示するようにトリガーでき、また、目標実例はその対応する目標表示器をメイン表示器として誤認し、このようにして、目標実例はレンダリング済みの画面を目標表示器にのみ表示でき、これらの画面を真のメイン表示器に伝送して表示することがないので、表示器の徹底的な隔離を実現することができる。
【0074】
クラウドゲームのシナリオにおいて、サーバはその中で実行される目標実例に、1つのみの表示器が存在すること及び該表示器がメイン表示器であることを通知し、かつ該表示器の位置、属性情報などを通知することで、目標実例を混乱させ、それがそれに関連付けられる目標表示器がメイン表示器であると誤認するようにさせることができるため、それにレンダリング済みの画面を送信することができる。
【0075】
図5を参照し、それは本出願の実施例における画面表示を示す図である、そのうち、GPU0、GPU1、GPU2、GPUNは各グラフィックカードを表し、各グラフィックカードはそれに対応する表示器を有し、そのうち、Primary displayはメイン表示器であり、他は何れも補助表示器である。メイン表示器であれ、補助表示器であれ、その対応する実例は、画面表示を行うときに、本出願の実施例における方法を実行することで混乱され得るため、該実例に対応する表示器が唯一のメイン表示器であり、かつ他の表示器が存在しないと誤認することができ、これによって、レンダリング済みの画面を該実例に対応する表示器に表示し、
図2のように真のメイン表示器に伝送して表示する必要がないので、負荷のバランスを実現することができ、真のメイン表示器の負荷が高すぎるようになることを回避できる。
図2と
図5を比較することで分かるように、本出願の実施例と関連技術は表示効果上、差異が存在する。各GPUで実行されるゲーム実例は現在のGPUに接続される仮想表示器にのみ関連しており、メイン表示器に接続されるGPUのPCIe負荷が重すぎるようになる問題を来すことがなく、各GPUは仮想表示器と徹底的に独立し得る。
【0076】
本出願の実施例では、目標実例は目標表示器に対応する目標グラフィックカードで画面レンダリングを行い、レンダリングして得た画面を、メイン表示器仮想情報に基づいて確定した表示器に表示する。本出願の実施例では、メイン表示器仮想情報に基づいて確定された表示器が目標実例に関連付けられる目標表示器であるので、目標実例に関連付けられるグラフィックカードで画面の計算及びレンダリングを行った後に、直接、それに関連付けられる目標表示器に該画面を表示することができ、該画面を真のメイン表示器に伝送して表示する必要がない。これにより、表示速度の向上及び表示器画面の隔離を実現し、真のメイン表示器の負荷を減少させることができる。
【0077】
具体的には、ステップS102において目標実例がその対応する目標表示器をメイン表示器として決定することは、実際には、目標実例がメイン表示器仮想情報に基づいて目標表示器をメイン表示器として確定することである。ステップS102においてレンダリング済みの画面を目標表示器に表示することは、実際には、目標表示器内で画面に対応するウィンドウ位置を設定し、そして、画面を目標表示器のウィンドウ位置に伝送することである。
【0078】
図6を参照し、それは画面表示の効果の対比を示す図である。
図6では上の図は関連技術における画面表示効果を示す図である。明らかのように、各実例に対応する画面は何れもメイン表示器に表示され、画面は各グラフィックカードで並行レンダリングされ得るが、最終的にはすべてメイン表示器におけるウィンドウに伝送され表示される必要がある。これにより、メイン表示器に接続されるPCIe帯域幅の負荷はかなり重くなる。
図7を参照し、それは負荷テストデータを示す図である。
図7はPCIe3.0x8版の1つのテストデータであり、理論的PCIe双方向帯域幅は8GB/sであり、実際には最高でも6GB/sであり、現在の占用は5GB/s以上に達しており、これは帯域幅占用についての関連技術のボトルネック現象を十分に説明している。
【0079】
図6における下の図は本出願の実施例における画面表示効果を示す図である。明らかのように、各実例がレンダリングして得た画面は該実例に対応する表示器に表示され、各画面はメイン表示器に伝送され表示される必要がない。表示器間の隔離を実現している。具体的に言えば、これは、本出願の実施例で仮想表示器の実現原理に基づいて達成した、マルチグラフィックカード-マルチディスプレイシナリオの下で、グラフィックカードとグラフィックカードとの間、及び異なるクライアントやサーバ内で異なるクライアントに対応する異なる実例の間の徹底的な隔離である。
【0080】
図8を参照し、それは本出願の実施例における画面表示のロジックを示す図である。
【0081】
ステップ11において、クラウドゲームを実行する。
【0082】
ステップ12において、表示器情報を枚挙する。
【0083】
ステップ13において、表示器隔離装置にアクセスする。
【0084】
ステップ14において、表示器隔離装置がメイン表示器仮想情報を出力する。
【0085】
ステップ15において、メイン表示器仮想情報に基づいて、目標表示器をメイン表示器として確定し、そして、メイン表示器にウィンドウ位置を設定する。
【0086】
ステップ16において、ウィンドウ位置にレンダリング済みの画面を表示する。
【0087】
画面表示を行う前に表示器情報取得要求を取得し、該要求をインターセプトした後に、表示器隔離装置にアクセスし、アクセス結果に基づいて表示器情報を返すことができ、該表示器情報は目標実例を混乱させることで、目標実例がそれに対応する目標表示器をメイン表示器として誤認し、該目標表示器にウィンドウ位置を設定し、そして、レンダリング済みの画面を該目標表示器のウィンドウ位置に表示するようにさせることができる。さらに、表示された画面が圧縮されクライアントに伝送されることで、クライアントは該画面を表示することもできる。
【0088】
本出願の実施例では画面表示スキームが提供され、メイン表示器仮想情報をシミュレーションして目標実例を混乱させることで、目標実例がそれに対応する目標表示器をメイン表示器として確定し、かつレンダリング済みの画面を目標表示器に表示するようにさせることができるため、異なる表示器の間及び異なる実例の間の隔離を実現することができる。具体的には、このスキームにより、目標実例がその対応する目標表示器のみを見ることができ、他の表示器の存在を感知することができないようにさせることができるため、目標実例が他の表示器の存在を感知した場合に生じ得る様々な異常、動作失敗などの問題を避け、並行パフォーマンスのボトルネックを突破することができる。
【0089】
クラウドゲームを例にとり、本出願の実施例では表示器の徹底的な隔離を達成することができ、ゲームから出力されるデータが表示器に至るときに、データが自分のPCIeのみを経由するため、或るグラフィックカードのPCIe帯域幅のボトルネックの問題を引き起こすことがなく、高パフォーマンス及び高同時実行数を確保することができる。クラウドゲームの環境の下で、ゲームはローカルで実行されるようになり、互換性が良く、より多くのゲームをサポートすることができる。もちろん、本出願の実施例では適用シナリオについて限定せず、クラウドゲームのシナリオに適用され得るだけでなく、従来のゲーム方式のマルチグラフィックカードマルチディスプレイのシナリオにも適用され得る。本出願の実施例ではオペレーティングシステムについても限定せず、Windowsオペレーティングシステムだけでなく、Linux(登録商標)オペレーティングシステム又は他のマルチグラフィックカード・マルチディスプレイ・プラットフォームをもサポートすることができる。
【0090】
図9を参照し、それは本実施例における画面表示装置のブロック図であり、該装置は次のようなものを含む。
【0091】
シミュレーションモジュール101:表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成するように構成され、表示器情報取得要求は目標実例により発され、目標実例は複数の実例のうちの任意の1つの実例であり、目標実例に対応する目標表示器はメイン表示器又は補助表示器であり;及び
フィードバックモジュール102:メイン表示器仮想情報を目標実例にフィードバックすることで、目標実例がその対応する目標表示器をメイン表示器として確定し、かつレンダリング済みの画面を目標表示器に表示するようにさせるように構成される。
【0092】
幾つかの実施例において、表示器情報取得要求は表示器数量取得要求を含み、メイン表示器仮想情報は表示器数量又はメイン表示器標識特徴を含み、シミュレーションモジュールは次のような操作を実行するように構成され、即ち、表示器数量取得要求を受信したときに、表示器隔離装置から表示器数量又はメイン表示器標識特徴を取得し、そのうち、表示器数量は第一目標の場合にフィードバックする必要のある表示器数量であり、第一目標の場合は目標実例に対応する画面をメイン表示器に表示する場合であり、メイン表示器標識特徴は目標表示器がメイン表示器であることを表すために用いられる。
【0093】
幾つかの実施例において、表示器情報取得要求はメイン表示器位置特徴要求を含み、メイン表示器仮想情報はメイン表示器位置特徴を含み、シミュレーションモジュールは次のような操作を実行するように構成され、即ち、メイン表示器位置特徴要求を受信したときに、表示器隔離装置からメイン表示器位置特徴を取得し、そのうち、表示器隔離装置は第二目標の場合にフィードバックする必要のあるメイン表示器位置特徴を確定するために用いられ、第二目標の場合は目標実例に対応する画面をメイン表示器に伝送する場合である。
【0094】
図10を参照し、それはシミュレーションモジュールがアクセスする表示器隔離装置を示す図である。それはメイン表示器特徴シミュレーションモジュール100及び表示器位置情報シミュレーションモジュール200を含む。そのうち、メイン表示器特徴シミュレーションモジュール100は表示器数量又はメイン表示器標識特徴を出力するように構成される。表示器位置情報シミュレーションモジュール200はメイン表示器位置特徴を出力するように構成される。
【0095】
幾つかの実施例において、目標実例に対応する画面をメイン表示器に伝送する場合は、目標実例に対応する画面をメイン表示器に伝送し、かつメイン表示器が唯一の表示器である場合を含む。
【0096】
幾つかの実施例において、目標実例は、目標表示器に対応する目標グラフィックカードで画面レンダリングを行い、レンダリングして得た画面を、メイン表示器仮想情報に基づいて確定した表示器に表示するために用いられる。
【0097】
幾つかの実施例において、目標実例はさらに次のような操作を実行するように構成され、即ち、目標実例はメイン表示器仮想情報に基づいて目標表示器をメイン表示器として確定し;及び、目標表示器において画面に対応するウィンドウ位置を設定し、そして、画面を目標表示器のウィンドウ位置に伝送する。
【0098】
本出願の装置の実施例は方法の実施例と同じ技術的構想に基づいているため、ここではその詳しい説明を省略する。
【0099】
本出願の実施例ではコンピュータプログラムプロダクト又はコンピュータプログラムが更に提供され、該コンピュータプログラムプロダクト又はコンピュータプログラムはコンピュータ命令を含み、該コンピュータ命令はコンピュータ可読記憶媒体に記憶されている。コンピュータ装置の処理器はコンピュータ可読記憶媒体から該コンピュータ命令を読み取り、該コンピュータ命令を実行することで、該コンピュータ装置に、画面表示方法を実行させることができる。
【0100】
本出願の実施例ではコンピュータ可読記憶媒体がさらに提供され、コンピュータ可読記憶媒体は複数の命令を記憶することができる。命令は処理器によりロードされ、本出願の実施例における画面表示方法を実行することができる。
【0101】
幾つかの実施例において、画面表示方法は、表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成し、表示器情報取得要求は目標実例により発され、目標実例は複数の実例のうちの任意の1つの実例であり、目標実例に対応する目標表示器はメイン表示器又は補助表示器であり;及び、メイン表示器仮想情報を目標実例にフィードバックすることで、目標実例が目標実例に対応する目標表示器をメイン表示器として確定し、そして、レンダリング済みの画面を目標表示器に表示するようにさせることを含む。
【0102】
幾つかの実施例において、表示器情報取得要求は表示器数量取得要求を含み、メイン表示器仮想情報は表示器数量又はメイン表示器標識特徴を含み、表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成することは、表示器数量取得要求を受信したときに、表示器隔離装置から表示器数量又はメイン表示器標識特徴を取得することを含み、そのうち、表示器数量は第一目標の場合にフィードバックする必要のある表示器数量であり、第一目標の場合は目標実例に対応する画面をメイン表示器に表示する場合であり、メイン表示器標識特徴は目標表示器がメイン表示器であることを表すために用いられる。
【0103】
幾つかの実施例において、表示器情報取得要求はメイン表示器位置特徴要求を含み、メイン表示器仮想情報はメイン表示器位置特徴を含み、表示器情報取得要求を受信したときに、メイン表示器をシミュレーションするためのメイン表示器仮想情報を生成することは、メイン表示器位置特徴要求を受信したときに、表示器隔離装置からメイン表示器位置特徴を得ることを含み、そのうち、表示器隔離装置は第二目標の場合にフィードバックする必要のあるメイン表示器位置特徴を確定するために用いられ、第二目標の場合は目標実例に対応する画面をメイン表示器に伝送する場合である。
【0104】
幾つかの実施例において、目標実例に対応する画面をメイン表示器に伝送する場合は、目標実例に対応する画面をメイン表示器に伝送し、かつメイン表示器が唯一の表示器である場合を含む。
【0105】
幾つかの実施例において、レンダリング済みの画面を目標表示器に表示する前に、方法はさらに、目標実例が目標表示器に対応する目標グラフィックカードで画面レンダリングを行うことをさらに含む。
【0106】
幾つかの実施例において、目標実例が目標実例に対応する目標表示器をメイン表示器として確定することは、目標実例がメイン表示器仮想情報に基づいて目標表示器をメイン表示器として確定することを含み、レンダリング済みの画面を目標表示器に表示することは、目標表示器において画面に対応するウィンドウ位置を設定し、画面を目標表示器のウィンドウ位置に伝送することを含む。
【0107】
幾つかの実施例において、
図11は本出願の実施例で提供される方法を実現するための機器(電子機器)のハードウェア構成を示す図である。機器は本出願の実施例で提供される装置又はシステムの構成に参与することができ、又は、それを含むことができる。
図11に示すように、機器10は1つ又は複数の(図中では102a、102b、……、102nで示されている)処理器102(処理器102はマイクロプロセッサMCU又はプログラミング可能なロジックデバイスFPGAなどの処理装置を含み得るが、これらに限定されない)、データを記憶するための記憶器104、及び通信機能を果たす伝送装置106を含んでも良い。これに加えて、表示器、入力/出力インターフェース(I/Oインターフェース)、汎用シリアルバス(USB)ポート(I/Oインターフェースのポートのうちの1つのポートとして含まれ得る)、ネットワークインターフェース、電源及び/又はカメラをさらに含んでも良い。当業者が理解できるように、
図11に示する構成は例示に過ぎず、電子機器の構成について限定しない。例えば、機器10はさらに、
図11に示するものよりも多くの又は少ない部品を含んでも良く、又は、
図11に示す配置とは異なる配置を有しても良い。
【0108】
なお、1つ又は複数の処理器102及び/又は他のデータ処理回路はここで通常“データ処理回路”と称され得る。該データ処理回路はすべて又は部分的にソフトウェア、ハードウェア、ファームウェア又は他の任意の組み合わせとして体現されても良い。また、データ処理回路は1つの独立し処理モジュールであっても良く、又は、すべて又は部分的に機器10(又は移動機器)における他の素子のうちの任意の1つと組み合わせられても良い。本出願の実施例では、該データ処理回路はプロセッサーコントロール(例えば、インターフェースに接続される可変抵抗端子径路の選択)として機能する。
【0109】
記憶器104はアプリケーションソフトウェアのソフトウェアプログラム及びモジュールを記憶するために用いられ、例えば、本出願の実施例における方法に対応するプログラム命令/データの記憶装置であり、処理器102は記憶器104に記憶されているソフトウェアプログラム及びモジュールを実行して様々な機能及びデータ処理を実行することで、画面表示方法を実現することができる。記憶器104は高速ランダムアクセスメモリを含んでも良く、さらに、不揮発性メモリ、例えば、1つ又は複数の磁気記憶デバイス、フレッシュメモリ、又は他の不揮発性固体メモリを含んでも良い。幾つかの実施例において、記憶器104はさらに、処理器102から遠隔設置される記憶器を含んでも良く、これらの遠隔記憶器はネットワークを介して機器10に接続され得る。ネットワークの具体例はインターネット、企業イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びその組み合わせを含むが、これらに限定されない。
【0110】
伝送装置106は1つのネットワークを経由してデータを受信又は送信するために用いられ得る。ネットワークの具体例は、機器10の通信プロバイダーが提供する無線ネットワークを含んでも良い。1つの例において、伝送装置106は1つのNIC(NetworkInterfaceController)を含み、それは基地局を介して他のネットワーク装置に接続されることで、インターネットと通信を行うことができる。1つの例において、伝送装置106はRF(RadioFrequency)モジュールであっても良く、それは無線方式でインターネットと通信を行うために用いられ得る。
【0111】
表示器は例えば、タッチパネル型の液晶表示器(LCD)であっても良く、該液晶表示器は、ユーザが機器10(又は移動機器)のユーザインターフェースとインタラクションを行うようにさせることができる。
【0112】
図12は本出願の実施例に係るもう1つの電子機器のブロック図である。例えば、電子機器1900はサーバとして提供することができる。
図12に示すように、電子機器1900は処理アセンブリ1922を含み、それは1つ又は複数の処理器を含み、さらに記憶器リソースとしての記憶器1932を含み、それは処理アセンブリ1922により実行され得る命令、例えば、アプリケーションプログラムを記憶するために用いられる。記憶器1932に記憶されているアプリケーションプログラムは、1つ又は1つ以上の各々が1組の命令に対応するモジュールを含んでも良い。また、処理アセンブリ1922は命令を実行して方法を実現するように構成される。
【0113】
電子機器1900はさらに、1つの電源アセンブリ1926であって、電子機器1900の電源管理を実行するように構成されるもの;1つの有線又は無線ネットワークインターフェース1950であって、電子機器1900をネットワークに接続するように構成されるもの;及び、1つの入出力(I/O)インターフェース1958を含む。電子機器1900は、記憶器1932に記憶されているオペレーティングシステム、例えば、Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTMなどに基づいて動作することができる。
【0114】
例示的な実施例において、不揮発性コンピュータ可読記憶媒体がさらに提供され、例えば、コンピュータプログラム命令を含む記憶器1932であり、コンピュータプログラム命令は電子機器1900の処理アセンブリ1922により実行されることで方法を実現することができる。
【0115】
なお、本出願の実施例の前後の順序は説明のためのものに過ぎず、実施例の優劣を表すものではない。また、本出願の実施例の特定の実施例について説明したが、他の実施例も添付した特許請求の範囲に属する。幾つかの場合に、特許請求の範囲に記載の動作又はステップは実施例における順序とは異なる順序に従って実行されても良く、かつ依然として所望の結果を得ることができる。図面に示すプロセスは必ずしも示されている特定の順序又は連続した順序に従って実行することで所望の結果を取得できない。幾つかの実施方式において、マルチタスク処理及び并列処理も可能であり、又は有利なものである可能性がある。
【0116】
本出願の実施例における各実施例は逓進の方式で説明されており、各実施例間の同じ又は類似した部分は互いに参照することができ、各実施例における重点的な説明は他の実施例との相違点についてのものである。特に、装置及びサーバの実施例について言えば、方法の実施例とほぼ同様であるため、説明は比較的簡単であり、関連する箇所は方法の実施例における対応説明を参照することができる。
【0117】
当業者が理解できるように、実施例の全部又は一部のステップは、ハードウェアによって実現されても良く、プログラムによって関連するハードウェアを命令することで実現されても良い。プログラムはコンピュータ読み取り可能な記憶媒体に記憶されても良く、記憶媒体は例えば、リードオンリーメモリ、磁気ディスク、又は光ディスクなどであっても良い。
【0118】
以上、本出願の好ましい実施例を説明したが、本出願はこの実施例に限定されず、本出願の趣旨を離脱しない限り、本出願に対するあらゆる変更は本出願の技術的範囲に属する。
【国際調査報告】