特許 7604493 マルチ画面共働方法およびシステム、ならびに電子デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-13

(45)【発行日】2024-12-23

(54)【発明の名称】マルチ画面共働方法およびシステム、ならびに電子デバイス

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20241216BHJP

   G06F 3/04817 20220101ALI20241216BHJP

   G06F 3/14 20060101ALI20241216BHJP

   G09G 5/00 20060101ALI20241216BHJP

   G09G 5/14 20060101ALI20241216BHJP

【ＦＩ】

G06F3/0484

G06F3/04817

G06F3/14 370A

G06F3/14 400

G09G5/00 510V

G09G5/00 555D

G09G5/00 510H

G09G5/00 555A

G09G5/14 A

【請求項の数】 19

(21)【出願番号】P 2022537183

(86)(22)【出願日】2020-12-03

(65)【公表番号】

(43)【公表日】2023-02-20

(86)【国際出願番号】 CN2020133650

(87)【国際公開番号】W WO2021121052

(87)【国際公開日】2021-06-24

【審査請求日】2022-08-18

(31)【優先権主張番号】201911303934.1

(32)【優先日】2019-12-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133569

【弁理士】

【氏名又は名称】野村 進

(72)【発明者】

【氏名】李 ▲曉▼▲敏▼

(72)【発明者】

【氏名】▲羅▼ 朴良

(72)【発明者】

【氏名】雷 ▲亮▼

(72)【発明者】

【氏名】胡 ▲遷▼▲喬▼

(72)【発明者】

【氏名】郭 睿▲帥▼

【審査官】相川 俊

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２１６８５２（ＵＳ，Ａ１）

【文献】特開２００６－１９０２５５（ＪＰ，Ａ）

【文献】特開２０１３－１８６８９２（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０４７１６３９（ＣＮ，Ａ）

【文献】特開平１０－１０５３６０（ＪＰ，Ａ）

【文献】特開２０１４－０５３０１４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０５１５５７６（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１５／００４６８４６（ＵＳ，Ａ１）

【文献】"Android TV入門"， Qiita［online］，2014年12月12日，［2024年6月11日検索］, <https://qiita.com/hotchemi/items/7e929fb8bbdab64caff7>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｆ ３／０４８１７

Ｇ０６Ｆ ３／１４

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／１４

(57)【特許請求の範囲】

【請求項1】

マルチ画面共働方法であって、前記方法は、
ソースデバイスによって、前記ソースデバイスにインストールされている少なくとも1つのソースデバイスアプリケーションのアプリケーション情報を宛先デバイスに送信するステップであって、前記アプリケーション情報は、前記少なくとも1つのソースデバイスアプリケーションの識別子を含み、前記ソースデバイスは第1のオペレーティングシステムを実行し、前記宛先デバイスは第2のオペレーティングシステムを実行する、ステップと、
前記宛先デバイスによって、前記アプリケーション情報に基づいて前記少なくとも1つのソースデバイスアプリケーションのアイコンを第1のインターフェースに表示し、前記宛先デバイスによって、前記宛先デバイスにインストールされている少なくとも1つの宛先デバイスアプリケーションのアイコンを前記第1のインターフェースに表示するステップと、
前記宛先デバイスによって、前記宛先デバイス上の第１のアプリケーションのアイコンに対してユーザによって行われた操作に応答して、前記第１のアプリケーションの識別子を含む第1の起動メッセージを前記ソースデバイスに送信するステップと、
前記ソースデバイスによって、前記第1の起動メッセージに応答して、前記第１のアプリケーションの前記識別子に基づいて前記第１のアプリケーションを起動し、前記第１のアプリケーションの実行中に生成された第1の表示データを前記宛先デバイスに送信するステップと、
前記宛先デバイスによって、前記ソースデバイス上での前記第１のアプリケーションの実行中に生成された前記第1の表示データを取得し、前記少なくとも1つのソースデバイスアプリケーションは前記第１のアプリケーションを含み、前記宛先デバイスによって、前記第1の表示データに基づいて前記第１のアプリケーションのアプリケーションウィンドウを前記第1のインターフェースに表示するステップと、
前記宛先デバイスによって、前記第1の表示データに基づいて前記第１のアプリケーションのアプリケーションウィンドウを前記第1のインターフェースに表示する前記ステップの後に、
前記宛先デバイスによって、前記第１のアプリケーションの前記アプリケーションウィンドウにおいて前記ユーザによって入力された第1の操作に応答して、前記第1の操作に対応する第1の制御メッセージを前記ソースデバイスに送信するステップであって、前記第1の制御メッセージは前記第１のアプリケーションの前記識別子を含む、ステップと、
前記ソースデバイスによって、前記第1の制御メッセージに応答して、前記第１のアプリケーションに対して、前記第1の制御メッセージに対応する動作命令を実行するステップと、
前記宛先デバイスによって、前記宛先デバイス上の第２のアプリケーションのアイコンに対して前記ユーザによって行われた操作に応答して、前記第２のアプリケーションを起動し、前記第２のアプリケーションのアプリケーションウィンドウを前記第1のインターフェースに表示するステップであって、前記少なくとも1つの宛先デバイスアプリケーションは前記第２のアプリケーションを含む、ステップと
を含む、マルチ画面共働方法。

【請求項2】

前記第1の表示データは、前記第１のアプリケーションの実行中に第１のアプリケーションインターフェースのために生成された描画命令であるか、
前記第1の表示データは、前記第１のアプリケーションの実行中に前記描画命令に基づいて前記第１のアプリケーションインターフェースのために前記ソースデバイスのサーフェスフリンガ（SurfaceFlinger）によって生成されたフレームデータであるか、または
前記第1の表示データは、前記第１のアプリケーションの実行中に前記フレームデータに基づいて前記第１のアプリケーションインターフェースのために前記ソースデバイスのHWコンポーザ（Hwcomposer）によって生成された画素データである、
請求項1に記載の方法。

【請求項3】

前記方法は、
前記ソースデバイスによって、ビデオエンコーダを使用して前記第1の表示データを符号化するステップ
をさらに含む、請求項2に記載の方法。

【請求項4】

前記第１のアプリケーションの前記アプリケーションウィンドウは、前記第１のアプリケーションの前記第１のアプリケーションインターフェースおよび第1のタイトルバーを備え、前記第1のタイトルバーは、前記第１のアプリケーションの最小化ボタン、最大化ボタン、および閉じるボタンを備える、請求項2または3に記載の方法。

【請求項5】

前記第２のアプリケーションの前記アプリケーションウィンドウは、前記第２のアプリケーションの第２のアプリケーションインターフェースおよび第2のタイトルバーを備え、前記第2のタイトルバーは、前記第２のアプリケーションの最小化ボタン、最大化ボタン、および閉じるボタンを備える、請求項4に記載の方法。

【請求項6】

前記宛先デバイスが前記第１のアプリケーションの前記アプリケーションウィンドウを表示するとき、前記方法は、
前記ソースデバイスによって、前記第１のアプリケーションの前記第１のアプリケーションインターフェースを表示するステップ、または
前記ソースデバイスによって、第3のアプリケーションのアプリケーションインターフェースを表示するステップであって、前記第3のアプリケーションは、前記第１のアプリケーションとは異なる前記ソースデバイスのアプリケーションである、ステップ
をさらに含む、請求項2から5のいずれか一項に記載の方法。

【請求項7】

前記ソースデバイスは、第1の表示モジュールおよび第2の表示モジュールを備え、前記第1の表示モジュールは、前記ソースデバイスに表示データを提供するように構成されており、前記第2の表示モジュールは、前記宛先デバイスに表示データを提供するように構成されており、前記第1の表示データは、前記第2の表示モジュールに記憶され、
前記宛先デバイスによって、前記ソースデバイス上での前記第１のアプリケーションの実行中に生成された第1の表示データを取得する前記ステップは、
前記宛先デバイスによって、前記第2の表示モジュールから、前記第１のアプリケーションの実行中に生成された前記第1の表示データを取得するステップ
を含む、請求項1から6のいずれか一項に記載の方法。

【請求項8】

前記宛先デバイスによって、前記第1の表示データに基づいて前記第１のアプリケーションのアプリケーションウィンドウを前記第1のインターフェースに表示する前記ステップの後に、前記方法は、
前記ソースデバイスによって、前記宛先デバイスによって送信された第2の起動メッセージを受信するステップであって、前記第2の起動メッセージは第4のアプリケーションの識別子を含み、前記少なくとも1つのソースデバイスアプリケーションは前記第4のアプリケーションを含み、前記第4のアプリケーションは前記第１のアプリケーションとは異なる、ステップと、
前記ソースデバイスによって、前記第2の起動メッセージに応答して前記第4のアプリケーションを起動し、前記第4のアプリケーションの実行中に生成された第2の表示データを前記第2の表示モジュールにさらに記憶するステップと、
前記宛先デバイスによって、前記第2の表示モジュールから前記第2の表示データを取得し、前記第2の表示データに基づいて前記第4のアプリケーションのアプリケーションウィンドウを前記第1のインターフェースに表示するステップと
をさらに含む、請求項7に記載の方法。

【請求項9】

前記ソースデバイスによって、前記宛先デバイスによって送信された第2の起動メッセージを受信する前記ステップの後に、前記方法は、
前記ソースデバイスによって、前記第2の表示データの位置情報を前記宛先デバイスに送信するステップ
をさらに含み、前記宛先デバイスによって、前記第2の表示モジュールから前記第2の表示データを取得する前記ステップは、
前記宛先デバイスによって、前記位置情報に基づいて前記第2の表示モジュールから前記第2の表示データを取得するステップ
を含む、請求項8に記載の方法。

【請求項10】

前記第2の表示モジュールは、第1の表示空間および第2の表示空間を備え、前記第1の表示空間は、前記第1の表示データを記憶するために使用され、前記第2の表示空間は、前記第2の表示データを記憶するために使用され、
前記宛先デバイスによって、前記第2の表示モジュールから前記第2の表示データを取得する前記ステップは、
前記宛先デバイスによって、前記第2の表示空間から前記第2の表示データを取得するステップ
を含む、請求項8に記載の方法。

【請求項11】

前記ソースデバイスは第3の表示モジュールをさらに備え、前記第3の表示モジュールも、前記宛先デバイスに表示データを提供するように構成されており、
前記宛先デバイスによって、前記第1の表示データに基づいて前記第１のアプリケーションのアプリケーションウィンドウを前記第1のインターフェースに表示する前記ステップの後に、前記方法は、
前記ソースデバイスによって、前記宛先デバイスによって送信された第2の起動メッセージを受信するステップであって、前記第2の起動メッセージは第4のアプリケーションの識別子を含み、前記少なくとも1つのソースデバイスアプリケーションは前記第4のアプリケーションを含み、前記第4のアプリケーションは前記第１のアプリケーションとは異なる、ステップと、
前記ソースデバイスによって、前記第2の起動メッセージに応答して前記第4のアプリケーションを起動し、前記第4のアプリケーションの実行中に生成された第2の表示データを前記第3の表示モジュールに記憶するステップと、
前記宛先デバイスによって、前記第3の表示モジュールから前記第2の表示データを取得し、前記第2の表示データに基づいて前記第4のアプリケーションのアプリケーションウィンドウを前記第1のインターフェースに表示するステップと
を含む、請求項7に記載の方法。

【請求項12】

前記宛先デバイスによって、前記第1の表示データに基づいて前記第１のアプリケーションのアプリケーションウィンドウを前記第1のインターフェースに表示する前記ステップの後に、前記方法は、
前記ソースデバイスによって、前記ソースデバイス上で前記ユーザによって前記第１のアプリケーションを開く操作に応答して、前記第１のアプリケーションの実行中に生成された前記第1の表示データを前記第1の表示モジュールに記憶し、前記第1の表示モジュールを使用して前記ソースデバイスに表示データを引き続き提供するステップ、または
前記ソースデバイスによって、前記ソースデバイス上で前記ユーザによって前記第１のアプリケーションを開く操作に応答して、前記第2の表示モジュールに記憶されている前記第1の表示データを読み出して表示するステップ
をさらに含む、請求項7から11のいずれか一項に記載の方法。

【請求項13】

ソースデバイスによって、前記ソースデバイスにインストールされている少なくとも1つのソースデバイスアプリケーションのアプリケーション情報を宛先デバイスに送信する前記ステップの後に、前記方法は、
前記宛先デバイスによって、前記第1のインターフェースに第1のボタンを表示するステップ
をさらに含み、前記宛先デバイスによって、前記アプリケーション情報に基づいて前記少なくとも1つのソースデバイスアプリケーションのアイコンを第1のインターフェースに表示する前記ステップは、
前記ユーザが前記第1のボタンを選択したことを検出したとき、前記宛先デバイスによって、前記アプリケーション情報に基づいて前記少なくとも1つのソースデバイスアプリケーションの前記アイコンを前記第1のインターフェースに表示するステップ
を含む、請求項1から12のいずれか一項に記載の方法。

【請求項14】

前記第1のボタンは予め設定されたプレゼンテーションバーに配置され、前記アプリケーション情報は、前記少なくとも1つのソースデバイスアプリケーションの使用頻度または実行ステータスをさらに含み、前記方法は、
前記宛先デバイスによって、前記アプリケーション情報に基づいて、前記少なくとも1つのソースデバイスアプリケーションのうちの、使用頻度が予め設定された値よりも大きい1つ以上のアプリケーションのアイコンを前記プレゼンテーションバーに表示するステップ、または
前記宛先デバイスによって、前記アプリケーション情報に基づいて、前記少なくとも1つのソースデバイスアプリケーションのうちの、前記ソースデバイス上で実行されている1つ以上のアプリケーションのアイコンを前記プレゼンテーションバーに表示するステップ
をさらに含む、請求項13に記載の方法。

【請求項15】

前記第1のボタンは予め設定されたプレゼンテーションバーに配置され、前記方法は、
前記宛先デバイスによって、前記ユーザによる新しいアプリケーションの追加の操作に応答して前記新しいアプリケーションのアイコンを前記プレゼンテーションバーに追加するステップ
をさらに含む、請求項13に記載の方法。

【請求項16】

前記少なくとも1つのソースデバイスアプリケーションの前記アイコンは、前記宛先デバイスのデスクトップ、スタートメニュー、タスクバー、またはタイルに配置される、請求項1から15のいずれか一項に記載の方法。

【請求項17】

前記宛先デバイスは電子ラベルまたは近距離無線通信NFCチップを備え、ソースデバイスによって、前記ソースデバイスにインストールされている少なくとも1つのソースデバイスアプリケーションのアプリケーション情報を宛先デバイスに送信する前記ステップの前に、前記方法は、
前記ソースデバイスが前記宛先デバイスの前記電子ラベルまたは前記NFCチップに接近または接触したとき、前記ソースデバイスによって、前記宛先デバイスへの通信接続を確立するステップ
をさらに含む、請求項1から16のいずれか一項に記載の方法。

【請求項18】

電子デバイスであって、前記電子デバイスは、
ディスプレイと、
1つ以上のプロセッサと、
メモリと、
通信モジュールと
を備え、前記メモリは、1つ以上のコンピュータプログラムを記憶し、前記1つ以上のコンピュータプログラムは命令を含み、前記命令が前記電子デバイスによって実行されるとき、前記電子デバイスは、請求項1から17のいずれか一項に記載のマルチ画面共働方法を行うことが可能とされる、電子デバイス。

【請求項19】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、コンピュータプログラムを記憶し、前記コンピュータプログラムは命令を含み、前記命令が端末デバイス上で実行されると、前記端末デバイスは請求項1から17のいずれか一項に記載のマルチ画面共働方法を行うことが可能とされる、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2019年12月17日付で中国国家知識産権局に出願された、「マルチ画面共働方法およびシステム、ならびに電子デバイス」と題された中国特許出願第201911303934．1号の優先権を主張するものであり、その全体は参照によりここに組み込まれる。

【0002】

本出願は、端末の分野に関し、特に、マルチ画面共働方法およびシステム、ならびに電子デバイスに関する。

【背景技術】

【0003】

インテリジェント端末技術の発展に伴い、ユーザまたは家族は、通常、互いに通信しうる複数の電子デバイスを有している。様々な電子デバイスは、一般に、それぞれのデバイス特性を有する。例えば、携帯電話はよりポータブルであり、テレビ画面はより良好な表示効果を有し、サウンドボックスの音質はより良好である。異なる電子デバイスのデバイス特性を十分に活かすために、電子デバイスは、画面投影などによって、複数のデバイス間で表示データの表示を切り替えうる。

【0004】

例えば、携帯電話がソースデバイスとして使用される。携帯電話は、表示のためにアプリケーションインターフェースまたは実行されているタスク（例えば、ビデオ再生タスク）を宛先デバイス（例えば、テレビまたはPC）に投影しうる。例えば、携帯電話がビデオアプリを実行するときに、ユーザが携帯電話の画面投影機能を有効にし、宛先デバイスとしてPCを選択した場合、携帯電話は、表示のためにビデオアプリのアプリケーションインターフェースをPCに投影するためのソースデバイスとして使用されうる。

【0005】

言い換えれば、携帯電話がPCに画面投影を行うとき、PCは、携帯電話内のコンテンツを表示するための携帯電話の別のディスプレイとして使用されうる。この場合、ユーザは携帯電話の関連アプリケーションを制御するためにPCを操作しうるが、ユーザは、PCによって元々提供されている関連機能を実施するためにPCを操作しえない。要するに、ソースデバイスが宛先デバイスに画面投影を行った後、ソースデバイスおよび宛先デバイスによって提供される機能は、マルチ画面共働機能を実施するように宛先デバイス上で効果的に統合されえない。その結果、ユーザは、画面投影によってソースデバイスにより提供される機能と宛先デバイスによって提供される機能とを宛先デバイス上で同時に使用しえない。

【発明の概要】

【課題を解決するための手段】

【0006】

本出願は、ソースデバイスおよび宛先デバイスにインストールされている異なるアプリケーションをユーザが宛先デバイス上で操作することを容易にし、マルチ画面共働機能を実施するために、ソースデバイスによって提供される様々なアプリケーションのアプリケーション機能が宛先デバイス上のアプリケーション機能と統合されうるように、マルチ画面共働方法およびシステム、ならびに電子デバイスを提供する。

【0007】

前述の目的を達成するために、本出願では以下の技術的ソリューションが使用される。

【0008】

第1の態様によれば、本出願は、マルチ画面共働方法であって、ソースデバイスが、ソースデバイスにインストールされている少なくとも1つのアプリケーション（ソースデバイスアプリケーションと呼ばれうる）のアプリケーション情報を宛先デバイスに送信することと、宛先デバイスが、アプリケーション情報に基づいて少なくとも1つのソースデバイスアプリケーションのアイコンを第1のインターフェースに表示し、宛先デバイスが、宛先デバイスにインストールされている少なくとも1つのアプリケーション（宛先デバイスアプリケーションと呼ばれうる）のアイコンを第1のインターフェースに表示することと、宛先デバイス上の第1のアプリケーション（第1のアプリケーションはソースデバイスアプリケーションのアプリケーションである）のアイコンに対してユーザによって行われた操作を検出したとき、宛先デバイスが、ソースデバイス上での第1のアプリケーションの実行中に生成された第1の表示データを取得しうることと、宛先デバイスが、第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示しうることと、宛先デバイス上の第2のアプリケーション（第2のアプリケーションは宛先デバイスアプリケーションのアプリケーションである）のアイコンに対してユーザによって行われた操作を検出したとき、宛先デバイスが第2のアプリケーションを起動し、第2のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示しうることとを含むマルチ画面共働方法を提供する。

【0009】

要するに、ソースデバイスのすべてのデバイス機能は、ソースデバイスのアプリケーションアイコンの形態で宛先デバイス上で提示されえ、宛先デバイスのすべてのデバイス機能も、宛先デバイスのアプリケーションアイコンの形態で宛先デバイス上で提示されうる。このようにして、ユーザは、宛先デバイス上で、宛先デバイスによって提供されるアプリケーションおよびソースデバイスによって提供されるアプリケーションを便利に使用しえ、ソースデバイスによって提供されるアプリケーション機能は、宛先デバイスの通常の動作に影響を及ぼすことなく、宛先デバイス上のアプリケーション機能と効果的に統合されうる。これにより、マルチ画面インタラクションおよび共働におけるユーザ体験が改善される。

【0010】

例えば、ソースデバイスは第1のオペレーティングシステムを実行してもよく、宛先デバイスは第2のオペレーティングシステムを実行してもよい。第1のオペレーティングシステムは、第2のオペレーティングシステムと同じであっても異なってもよい。例えば、第1のオペレーティングシステムはアンドロイドオペレーティングシステムであってもよく、第2のオペレーティングシステムはWindowsオペレーティングシステムであってもよい。

【0011】

可能な実施態様では、アプリケーション情報は、少なくとも1つのソースデバイスアプリケーションの識別子を含みうる。この場合、宛先デバイスが、宛先デバイス上の第1のアプリケーションのアイコンに対してユーザによって行われた操作に応答して、ソースデバイス上での第1のアプリケーションの実行中に生成された第1の表示データを取得することは、具体的には、宛先デバイスが、宛先デバイス上の第1のアプリケーションのアイコンに対してユーザによって行われた操作に応答して、第1の起動メッセージをソースデバイスに送信し、第1の起動メッセージが第1のアプリケーションの識別子を含み、第1の起動メッセージに応答して、ソースデバイスが、第1のアプリケーションの識別子に基づいて第1のアプリケーションを起動し、第1のアプリケーションの実行中に生成された第1の表示データを宛先デバイスに送信しうることを含む。

【0012】

アプリケーションの識別子に加えて、アプリケーション情報は、少なくとも1つのソースデバイスアプリケーションのアイコンをさらに含みうる。このようにして、アプリケーション情報を受信した後、宛先デバイスは、アプリケーション情報内のアイコンを第1のインターフェースに表示し、ソースデバイスのデバイス機能をユーザに提示しうる。

【0013】

可能な実施態様では、第1の表示データは、第1のアプリケーションの実行中に対応するバッファキュー内の第1のアプリケーションインターフェースのために生成された描画命令であってもよいし、第1の表示データは、第1のアプリケーションの実行中に描画命令に基づいて第1のアプリケーションインターフェースのためにソースデバイスのSurfaceFlingerによって生成されたフレームデータ（グラフィックデータとも呼ばれうる）であってもよいし、第1の表示データは、第1のアプリケーションの実行中にフレームデータに基づいて第1のアプリケーションインターフェースのためにソースデバイスのHWcomposerによって生成された画素データ（例えば、RGBデータ）であってもよい。

【0014】

例えば、第1の表示データを宛先デバイスに送信する前に、ソースデバイスは、宛先デバイスに送信される表示データを圧縮することによってデータ量を削減するために、ビデオエンコーダを使用して第1の表示データを最初に符号化してもよい。

【0015】

可能な実施態様では、第1のアプリケーションのアプリケーションウィンドウは、第1のアプリケーションの第1のアプリケーションインターフェースおよびタイトルバーを含みえ、タイトルバーは、第1のアプリケーションの最小化ボタン、最大化ボタン、および閉じるボタンを含み、またはタイトルバーは、アプリケーション名などの情報をさらに含んでもよい。もちろん、第1のアプリケーションのアプリケーションウィンドウは、あるいは、前述のタイトルバーを含まなくてもよい。

【0016】

同様に、第2のアプリケーションのアプリケーションウィンドウは、第2のアプリケーションの第2のアプリケーションインターフェースおよびタイトルバーを含みうる。このようにして、ユーザは、宛先デバイス上でソースデバイスのアプリケーションまたは宛先デバイスのアプリケーションを便利に開きうる。

【0017】

可能な実施態様では、宛先デバイスが第1のアプリケーションのアプリケーションウィンドウを表示するとき、本方法は、ソースデバイスが第1のアプリケーションの第1のアプリケーションインターフェースを表示すること、またはソースデバイスが第3のアプリケーションのアプリケーションインターフェースを表示し、第3のアプリケーションが、第1のアプリケーションとは異なるソースデバイスのアプリケーションであることをさらに含む。要するに、ソースデバイスは、第1のアプリケーションをフォアグラウンドまたはバックグラウンドで起動し、ソースデバイス上で実行されているアプリケーションに影響を及ぼすことなく、クロス画面モードで第1のアプリケーションを宛先デバイスに表示しうる。

【0018】

可能な実施態様では、ソースデバイスは、第1の表示モジュール（例えば、displayモジュール1）および第2の表示モジュール（例えば、displayモジュール2）を含む。言い換えれば、ソースデバイスはマルチdisplayモジュールモードをサポートする。第1の表示モジュールは、ソースデバイスに表示データを提供するように構成され、第2の表示モジュールは、宛先デバイスに表示データを提供するように構成され、宛先デバイスによって表示される第1の表示データは、第2の表示モジュールに記憶されうる。この場合、宛先デバイスが、ソースデバイス上での第1のアプリケーションの実行中に生成された第1の表示データを取得することは、宛先デバイスが、ソースデバイスの第2の表示モジュールから、第1のアプリケーションの実行中に生成された第1の表示データを取得することを含む。

【0019】

可能な実施態様では、クロス画面モードで表示される第1のアプリケーションのアプリケーションウィンドウと同様に、宛先デバイスが第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示した後、本方法は、ソースデバイスが、宛先デバイスによって送信された第2の起動メッセージを受信し、第2の起動メッセージが第4のアプリケーションの識別子を含み、第4のアプリケーションが、第1のアプリケーションとは異なるソースデバイスのアプリケーションであることと、ソースデバイスが、第2の起動メッセージに応答して第4のアプリケーションを起動し、第4のアプリケーションの実行中に生成された第2の表示データを第2の表示モジュールにさらに記憶することと、宛先デバイスが、第2の表示モジュールから第2の表示データを取得し、第2の表示データに基づいて第4のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示することとをさらに含む。これにより、クロス画面モードにおけるソースデバイスの複数のアプリケーションの表示が実施される。

【0020】

例えば、ソースデバイスの各表示モジュールは、特定のサイズを有する物理画面に対応する。ソースデバイスが宛先デバイスによって送信された第2の起動メッセージを受信した後、本方法は、ソースデバイスが第2の表示データの位置情報を宛先デバイスに送信し、位置情報が、第2の表示モジュールに対応する画面上の第4のアプリケーションのアプリケーションウィンドウの特定の位置を示すために使用されることをさらに含む。この場合、宛先デバイスが第2の表示モジュールから第2の表示データを取得することは、宛先デバイスが位置情報に基づいて第2の表示モジュールから第2の表示データを取得することを含む。このようにして、第2の表示モジュールが複数のアプリケーションの表示データを記憶するとき、宛先デバイスは、対応する位置情報に基づいて、ユーザによって現在操作されているアプリケーションの表示データを取得しうる。これにより、アプリケーション粒度でクロス画面モードにおける複数のアプリケーションウィンドウの表示が実施される。

【0021】

あるいは、第2の表示モジュールは、第1の表示空間および第2の表示空間を含む。言い換えれば、第2の表示モジュールは、複数のアプリケーションの実行中に事前に複数の実空間に分割される。例えば、第1の表示空間は、第1の表示データを記憶するために使用され、第2の表示空間は、第2の表示データを記憶するために使用される。この場合、宛先デバイスが第2の表示モジュールから第2の表示データを取得することは、宛先デバイスが第2の表示空間から第2の表示データを取得することを含む。この場合、宛先デバイスは、第2の表示モジュールに対する第2の表示データの位置情報を取得する必要はない。

【0022】

可能な実施態様では、ソースデバイスは、第3の表示モジュールをさらに含みえ、第3の表示モジュールもまた、宛先デバイスに表示データを提供するように構成されうる。宛先デバイスが第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示した後、本方法は、ソースデバイスが、宛先デバイスによって送信された第2の起動メッセージを受信し、第2の起動メッセージが第4のアプリケーションの識別子を含み、第4のアプリケーションが、第1のアプリケーションとは異なるソースデバイスのアプリケーションであることと、ソースデバイスが、第2の起動メッセージに応答して第4のアプリケーションを起動し、第4のアプリケーションの実行中に生成された第2の表示データを第3の表示モジュールに記憶することと、宛先デバイスが、第3の表示モジュールから第2の表示データを取得し、第3の表示データに基づいて第4のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示することとをさらに含む。要するに、宛先デバイス上で実行される必要がある、ソースデバイス上の各アプリケーションは、1つの表示モジュールに対応しうる。このようにして、アプリケーションに対応する表示モジュールは重ならず、宛先デバイスは、表示のために対応する表示モジュールから関連アプリケーションの表示データを取得しうる。

【0023】

可能な実施態様では、宛先デバイスが第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示した後に、本方法は、ソースデバイス上でユーザによって第1のアプリケーションを開く操作に応答して、ソースデバイスが、第1のアプリケーションの実行中に生成された第1の表示データを第1の表示モジュールに記憶し、第1の表示モジュールを使用してソースデバイスに表示データを引き続き提供すること、またはソースデバイス上でユーザによって第1のアプリケーションを開く操作に応答して、ソースデバイスが、第2の表示モジュールに記憶されている第1の表示データを読み出して表示することをさらに含む。具体的には、ソースデバイスの第1のアプリケーションがクロス画面モードで宛先デバイスに表示された後、ユーザは、ソースデバイス上で第1のアプリケーションをさらに開いて表示しうる。例えば、ユーザは、ソースデバイス上のマルチタスクウィンドウを使用して実行されている第1のアプリケーションを開きうる。この場合、ソースデバイスは、第1のアプリケーションの表示データを対応する第1の表示モジュールに記憶し、第1の表示モジュールを使用してソースデバイスの表示のために表示データを提供してもよいし、ソースデバイスは、第2の表示モジュールを使用してソースデバイスの表示のために表示データを提供してもよい。

【0024】

可能な実施態様では、宛先デバイスが第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示した後に、本方法は、第1のアプリケーションのアプリケーションウィンドウにおいてユーザによって入力された第1の操作に応答して、宛先デバイスが、第1の操作に対応する第1の制御メッセージをソースデバイスに送信し、第1の制御メッセージが第1のアプリケーションの識別子を含むことと、第1の制御メッセージに応答して、ソースデバイスが、第1のアプリケーションに対して、第1の制御メッセージに対応する動作命令を実行することとをさらに含む。このようにして、ユーザは、表示のために宛先デバイスに投影されたコンテンツを操作しうる。これにより、宛先デバイス上でソースデバイスの関連アプリケーションの様々な機能が実施される。

【0025】

可能な実施態様では、ソースデバイスが、ソースデバイスにインストールされている少なくとも1つのソースデバイスアプリケーションのアプリケーション情報を宛先デバイスに送信した後、本方法は、宛先デバイスが第1のボタンを第1のインターフェースに表示することをさらに含む。この場合、宛先デバイスがアプリケーション情報に基づいて少なくとも1つのソースデバイスアプリケーションのアイコンを第1のインターフェースに表示することは、ユーザが第1のボタンを選択したことを検出したとき、宛先デバイスがアプリケーション情報に基づいて少なくとも1つのソースデバイスアプリケーションのアイコンを第1のインターフェースに表示することを含む。

【0026】

例えば、第1のボタンは予め設定されたプレゼンテーションバーに配置され、アプリケーション情報は、アプリケーションの使用頻度または実行ステータスをさらに含みえ、本方法は、宛先デバイスが、アプリケーション情報に基づいて、使用頻度が予め設定された値よりも大きい1つ以上のアプリケーションのアイコンをプレゼンテーションバーに表示すること、または宛先デバイスが、アプリケーション情報に基づいて、ソースデバイス上で実行されている1つ以上のアプリケーションのアイコンをプレゼンテーションバーに表示することをさらに含む。

【0027】

予め設定されたプレゼンテーションバーは、dockバーまたはフローティングウィンドウなどであってもよく、予め設定されたプレゼンテーションバーの位置は、ユーザによって設定またはドラッグされうる。

【0028】

可能な実施態様では、第1のボタンは予め設定されたプレゼンテーションバーに配置され、本方法は、ユーザによる新しいアプリケーションの追加の操作に応答して、宛先デバイスが新しいアプリケーションのアイコンをプレゼンテーションバーに追加することをさらに含む。

【0029】

可能な実施態様では、宛先デバイスは、少なくとも1つのソースデバイスアプリケーションのアイコンを、宛先デバイスのデスクトップ、スタートメニュー、タスクバー、またはタイルに表示しうる。これは本出願の実施形態では限定されない。

【0030】

可能な実施態様では、宛先デバイスは電子ラベルまたはNFCチップを含みえ、ソースデバイスも電子ラベルまたはNFCチップを含みうる。ソースデバイスが、ソースデバイスにインストールされている少なくとも1つのソースデバイスアプリケーションのアプリケーション情報を宛先デバイスに送信する前に、本方法は、ソースデバイスが宛先デバイスの電子ラベルまたはNFCチップに接近または接触したとき、ソースデバイスが宛先デバイスへの通信接続を確立することをさらに含む。このようにして、ソースデバイスは、ソースデバイスと宛先デバイスとの間の「タッチ」方式で、クロス画面モードでソースデバイスの1つ以上のアプリケーションを宛先デバイスに表示するようトリガされうる。

【0031】

第2の態様によれば、本出願は、マルチ画面共働方法であって、宛先デバイスが、ソースデバイスによって送信された少なくとも1つのソースデバイスアプリケーションのアプリケーション情報を受信し、ソースデバイスが第1のオペレーティングシステムを実行し、宛先デバイスが第2のオペレーティングシステムを実行することと、宛先デバイスが、アプリケーション情報に基づいて少なくとも1つのソースデバイスアプリケーションのアイコンを第1のインターフェースに表示し、宛先デバイスが、宛先デバイスにインストールされている少なくとも1つの宛先デバイスアプリケーションのアイコンを第1のインターフェースに表示することと、宛先デバイス上の第1のアプリケーション（第1のアプリケーションはソースデバイスアプリケーションのアプリケーションである）のアイコンに対してユーザによって行われた操作に応答して、宛先デバイスが、ソースデバイス上での第1のアプリケーションの実行中に生成された第1の表示データを取得することと、宛先デバイスが、第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示することと、宛先デバイス上の第2のアプリケーション（第2のアプリケーションは宛先デバイスアプリケーションのアプリケーションである）のアイコンに対してユーザによって行われた操作に応答して、宛先デバイスが第2のアプリケーションを起動しえ、第2のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示することとを含むマルチ画面共働方法を提供する。

【0032】

要するに、ソースデバイスのすべてのデバイス機能は、ソースデバイスのアプリケーションアイコンの形態で宛先デバイス上で提示されえ、宛先デバイスのすべてのデバイス機能も、宛先デバイスのアプリケーションアイコンの形態で宛先デバイス上で提示されうる。このようにして、ユーザは、宛先デバイス上で、宛先デバイスによって提供されるアプリケーションおよびソースデバイスによって提供されるアプリケーションを便利に使用しえ、ソースデバイスによって提供されるアプリケーション機能は、宛先デバイスの通常の動作に影響を及ぼすことなく、宛先デバイス上のアプリケーション機能と効果的に統合されうる。これにより、マルチ画面インタラクションおよび共働におけるユーザ体験が改善される。

【0033】

可能な実施態様では、アプリケーション情報は、少なくとも1つのソースデバイスアプリケーションの識別子を含み、宛先デバイスが、宛先デバイス上の第1のアプリケーションのアイコンに対してユーザによって行われた操作に応答して、ソースデバイス上での第1のアプリケーションの実行中に生成された第1の表示データを取得することは、宛先デバイス上の第1のアプリケーションのアイコンに対してユーザによって行われた操作に応答して、宛先デバイスが、第1の起動メッセージをソースデバイスに送信し、第1の起動メッセージが、第1のアプリケーションの識別子を含み、宛先デバイスが、ソースデバイスから、第1のアプリケーションの実行中に生成された第1の表示データを取得することを含む。

【0034】

可能な実施態様では、第1のアプリケーションのアプリケーションウィンドウは、第1のアプリケーションの第1のアプリケーションインターフェースおよびタイトルバーを含みえ、タイトルバーは、第1のアプリケーションの最小化ボタン、最大化ボタン、および閉じるボタンを含む。

【0035】

同様に、第2のアプリケーションのアプリケーションウィンドウは、第2のアプリケーションの第2のアプリケーションインターフェースおよびタイトルバーを含む。もちろん、タイトルバーは、アプリケーション名などの情報をさらに含んでもよい。

【0036】

可能な実施態様では、ソースデバイスは第1の表示モジュールおよび第2の表示モジュールを含み、第1の表示モジュールは、ソースデバイスに表示データを提供するように構成され、第2の表示モジュールは、宛先デバイスに表示データを提供するように構成され、第1の表示データは、第2の表示モジュールに記憶される。宛先デバイスが、ソースデバイス上での第1のアプリケーションの実行中に生成された第1の表示データを取得することは、宛先デバイスが、第2の表示モジュールから、第1のアプリケーションの実行中に生成された第1の表示データを取得することを含む。

【0037】

可能な実施態様では、宛先デバイスが第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示した後に、本方法は、宛先デバイス上の第3のアプリケーションのアイコンに対してユーザによって行われた操作に応答して、宛先デバイスが、第2の起動メッセージをソースデバイスに送信し、第2の起動メッセージが第3のアプリケーションの識別子を含み、第3のアプリケーションが、第1のアプリケーションとは異なるソースデバイスのアプリケーションであることと、宛先デバイスが、第2の表示モジュールから、第3のアプリケーションの実行中に生成された第2の表示データを取得し、第2の表示データに基づいて第3のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示することとをさらに含む。

【0038】

可能な実施態様では、宛先デバイスが第2の起動メッセージをソースデバイスに送信した後、本方法は、宛先デバイスが、ソースデバイスによって送信された、第2の表示データの位置情報を受信することをさらに含む。宛先デバイスが、第2の表示モジュールから、第3のアプリケーションの実行中に生成された第2の表示データを取得することは、宛先デバイスが、位置情報に基づいて第2の表示モジュールから、第3のアプリケーションの実行中に生成された第2の表示データを取得することを含む。

【0039】

可能な実施態様では、第2の表示モジュールは、第1の表示空間および第2の表示空間を含み、第1の表示空間は、第1の表示データを記憶するために使用され、第2の表示空間は、第2の表示データを記憶するために使用される。宛先デバイスが、第2の表示モジュールから、第3のアプリケーションの実行中に生成された第2の表示データを取得することは、宛先デバイスが、第2の表示空間から、第3のアプリケーションの実行中に生成された第2の表示データを取得することを含む。

【0040】

可能な実施態様では、ソースデバイスは第3の表示モジュールをさらに含み、第3の表示モジュールもまた、宛先デバイスに表示データを提供するように構成される。宛先デバイスが第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示した後に、本方法は、宛先デバイス上の第3のアプリケーションのアイコンに対してユーザによって行われた操作に応答して、宛先デバイスが、第2の起動メッセージをソースデバイスに送信し、第2の起動メッセージが第3のアプリケーションの識別子を含み、第3のアプリケーションが、第1のアプリケーションとは異なるソースデバイスのアプリケーションであることと、宛先デバイスが、第3の表示モジュールから、第3のアプリケーションの実行中に生成された第2の表示データを取得し、第2の表示データに基づいて第3のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示することとをさらに含む。

【0041】

可能な実施態様では、宛先デバイスが第1の表示データに基づいて第1のアプリケーションのアプリケーションウィンドウを第1のインターフェースに表示した後に、本方法は、第1のアプリケーションのアプリケーションウィンドウにおいてユーザによって入力された第1の操作に応答して、宛先デバイスが、ソースデバイスが第1のアプリケーションに対して第1の制御メッセージに対応する動作命令を実行するように、第1の操作に対応する第1の制御メッセージをソースデバイスに送信し、第1の制御メッセージが第1のアプリケーションの識別子を含むことをさらに含む。このようにして、ユーザは、表示のために宛先デバイスに投影されたコンテンツを操作しうる。これにより、宛先デバイス上でソースデバイスの関連アプリケーションの様々な機能が実施される。

【0042】

可能な実施態様では、宛先デバイスは、第1のインターフェースに第1のボタンをさらに表示しうる。この場合、宛先デバイスがアプリケーション情報に基づいて少なくとも1つのソースデバイスアプリケーションのアイコンを第1のインターフェースに表示することは、ユーザが第1のボタンを選択したことを検出したとき、宛先デバイスがアプリケーション情報に基づいて少なくとも1つのソースデバイスアプリケーションのアイコンを第1のインターフェースに表示することを含む。

【0043】

例えば、第1のボタンは予め設定されたプレゼンテーションバーに配置され、アプリケーション情報は、アプリケーションの使用頻度または実行ステータスをさらに含みえ、本方法は、宛先デバイスが、アプリケーション情報に基づいて、使用頻度が予め設定された値よりも大きい1つ以上のアプリケーションのアイコンをプレゼンテーションバーに表示すること、または宛先デバイスが、アプリケーション情報に基づいて、ソースデバイス上で実行されている1つ以上のアプリケーションのアイコンをプレゼンテーションバーに表示することをさらに含む。

【0044】

予め設定されたプレゼンテーションバーは、dockバーまたはフローティングウィンドウなどであってもよく、予め設定されたプレゼンテーションバーの位置は、ユーザによって設定またはドラッグされうる。

【0045】

可能な実施態様では、第1のボタンは予め設定されたプレゼンテーションバーに配置され、本方法は、ユーザによる新しいアプリケーションの追加の操作に応答して、宛先デバイスが新しいアプリケーションのアイコンをプレゼンテーションバーに追加することをさらに含む。

【0046】

可能な実施態様では、ソースデバイスのアプリケーションのアイコンは、宛先デバイスのデスクトップ、スタートメニュー、タスクバー、またはタイルに表示されうる。要するに、表示のためにソースデバイスによって宛先デバイスに投影されたアプリケーションリストは、宛先デバイスによって元々表示されているアプリケーションリストに影響を及ぼさない。したがって、宛先デバイス上で、ユーザは、関連機能を使用するために、宛先デバイスによって提供されるアイコンを操作しうるだけでなく、ソースデバイスの関連機能を使用するために、ソースデバイスによって提供されるアプリケーションのアイコンを操作しうる。これにより、マルチ画面共働機能が実施される。

【0047】

第3の態様によれば、本出願は、マルチ画面共働方法であって、ソースデバイスが、宛先デバイスがアプリケーション情報に基づいて少なくとも1つのソースデバイスアプリケーションのアイコンを表示するように、ソースデバイスにインストールされている少なくとも1つのソースデバイスアプリケーションのアプリケーション情報を宛先デバイスに送信し、ソースデバイスが第1のオペレーティングシステムを実行し、宛先デバイスが第2のオペレーティングシステムを実行することと、ソースデバイスが、宛先デバイスによって送信された第1の起動メッセージを受信し、第1の起動メッセージが、第1のアプリケーション（第1のアプリケーションはソースデバイスアプリケーションのアプリケーションである）の識別子を含むことと、第1の起動メッセージに応答して、ソースデバイスが、第1のアプリケーションの識別子に基づいて第1のアプリケーションを起動し、第1のアプリケーションの実行中に生成された第1の表示データを宛先デバイスに送信することとを含むマルチ画面共働方法を提供する。

【0048】

ソースデバイスは、ソースデバイスにインストールされている1つ以上のアプリケーションのアプリケーション情報を宛先デバイスに送信しえ、これにより、宛先デバイスは、ソースデバイスにインストールされているアプリケーションのアプリケーションリストをユーザに提示しうることが知られうる。このようにして、ソースデバイスのすべてのデバイス機能がアプリケーションリストの形態で宛先デバイス上で提示されえ、ユーザは、ユーザの要求に従って、ソースデバイスにインストールされている1つ以上のアプリケーションを宛先デバイス上で開いて表示しうる。これにより、クロス画面モードにおける異なるデバイス上での1つ以上のアプリケーションの表示が実施され、ユーザ体験が改善される。

【0049】

可能な実施態様では、第1の表示データは、第1のアプリケーションの実行中に対応するバッファキュー内の第1のアプリケーションインターフェースのために生成された描画命令であってもよいし、第1の表示データは、第1のアプリケーションの実行中に描画命令に基づいて第1のアプリケーションインターフェースのためにソースデバイスのSurfaceFlingerによって生成されたフレームデータ（グラフィックデータとも呼ばれうる）であってもよいし、第1の表示データは、第1のアプリケーションの実行中にフレームデータに基づいて第1のアプリケーションインターフェースのためにソースデバイスのHWcomposerによって生成された画素データ（例えば、RGBデータ）であってもよい。

【0050】

可能な実施態様では、ソースデバイスが第1のアプリケーションの実行中に生成された第1の表示データを宛先デバイスに送信する前に、本方法は、ソースデバイスが、宛先デバイスに送信される表示データを圧縮することによってデータ量を削減するために、ビデオエンコーダを使用して第1の表示データを符号化することをさらに含む。

【0051】

可能な実施態様では、ソースデバイスが第1のアプリケーションの識別子に基づいて第1のアプリケーションを起動することは、ソースデバイスが第1のアプリケーションの識別子に基づいてフォアグラウンドまたはバックグラウンドで第1のアプリケーションを起動することを含む。

【0052】

可能な実施態様では、ソースデバイスは第1の表示モジュールおよび第2の表示モジュールを含み、第1の表示モジュールは、ソースデバイスに表示データを提供するように構成され、第2の表示モジュールは、宛先デバイスに表示データを提供するように構成され、第1の表示データは、第2の表示モジュールに記憶される。

【0053】

可能な実施態様では、ソースデバイスが、第1のアプリケーションの実行中に生成された第1の表示データを宛先デバイスに送信した後に、本方法は、ソースデバイスが、宛先デバイスによって送信された第2の起動メッセージを受信し、第2の起動メッセージが第2のアプリケーションの識別子を含み、第2のアプリケーションが、少なくとも1つのソースデバイスアプリケーションのうちの1つであり、第2のアプリケーションが、第1のアプリケーションとは異なることと、ソースデバイスが、第2の起動メッセージに応答して第2のアプリケーションを起動し、第2のアプリケーションの実行中に生成された第2の表示データを第2の表示モジュールに送信することとをさらに含む。

【0054】

可能な実施態様では、第2の起動メッセージに応答して、本方法は、ソースデバイスが第2の表示データの位置情報を宛先デバイスに送信することをさらに含む。

【0055】

可能な実施態様では、第2の表示モジュールは、第1の表示空間および第2の表示空間を含み、第1の表示空間は、第1の表示データを記憶するために使用され、第2の表示空間は、第2の表示データを記憶するために使用される。ソースデバイスが、第2のアプリケーションの実行中に生成された第2の表示データを第2の表示モジュールに送信することは、ソースデバイスが、第2のアプリケーションの実行中に生成された第2の表示データを第2の表示空間に送信することを含む。

【0056】

可能な実施態様では、ソースデバイスは第3の表示モジュールをさらに含み、第3の表示モジュールも、宛先デバイスに表示データを提供するように構成され、ソースデバイスが、第1のアプリケーションの実行中に生成された第1の表示データを宛先デバイスに送信した後に、本方法は、ソースデバイスが、宛先デバイスによって送信された第2の起動メッセージを受信し、第2の起動メッセージが第2のアプリケーションの識別子を含み、第2のアプリケーションが、少なくとも1つのソースデバイスアプリケーションのうちの1つであり、第2のアプリケーションが、第1のアプリケーションとは異なることと、ソースデバイスが、第2の起動メッセージに応答して第2のアプリケーションを起動し、第2のアプリケーションの実行中に生成された第2の表示データを第3の表示モジュールに送信することとをさらに含む。

【0057】

可能な実施態様では、ソースデバイスが、第1のアプリケーションの実行中に生成された第1の表示データを宛先デバイスに送信した後に、本方法は、ソースデバイスが、宛先デバイスによって送信された第1の制御メッセージを受信し、第1の制御メッセージが、第1のアプリケーションの識別子を含むことと、第1の制御メッセージに応答して、ソースデバイスが、第1のアプリケーションに対して、第1の制御メッセージに対応する動作命令を実行することとをさらに含む。

【0058】

第4の態様によれば、本出願は、ディスプレイと、通信モジュールと、1つ以上のプロセッサと、1つ以上のメモリと、1つ以上のコンピュータプログラムとを含む宛先デバイスを提供する。プロセッサは、通信モジュール、通信モジュール、およびメモリに結合される。1つ以上のコンピュータプログラムは、メモリに記憶される。宛先デバイスが動作するとき、プロセッサは、宛先デバイスが第2の態様または第2の態様の可能な実施態様のいずれか1つによるマルチ画面共働方法を実行することを可能にするために、メモリに記憶された1つ以上のコンピュータプログラムを実行する。

【0059】

第5の態様によれば、本出願は、ディスプレイと、通信モジュールと、1つ以上のプロセッサと、1つ以上のメモリと、1つ以上のコンピュータプログラムとを含むソースデバイスを提供する。プロセッサは、通信モジュール、通信モジュール、およびメモリに結合される。1つ以上のコンピュータプログラムは、メモリに記憶される。ソースデバイスが動作するとき、プロセッサは、ソースデバイスが第3の態様または第3の態様の可能な実施態様のいずれか1つによるマルチ画面共働方法を実行することを可能にするために、メモリに記憶された1つ以上のコンピュータプログラムを実行する。

【0060】

第6の態様によれば、本出願は、前述の宛先デバイスおよびソースデバイスを含むマルチ画面共働システムであって、宛先デバイスおよびソースデバイスは、インタラクションによって、第1の態様または第1の態様の可能な実施態様のいずれか1つによるマルチ画面共働方法を実行しうる、マルチ画面共働システムを提供する。

【0061】

第7の態様によれば、本出願は、コンピュータ命令を含むコンピュータ可読記憶媒体を提供する。コンピュータ命令が前述の宛先デバイスまたはソースデバイス上で実行されるとき、宛先デバイスまたはソースデバイスは、前述の態様のいずれか1つによるマルチ画面共働方法を実行することが可能とされる。

【0062】

第8の態様によれば、本出願はコンピュータプログラム製品を提供する。コンピュータプログラム製品が前述の宛先デバイスまたはソースデバイス上で動作するとき、宛先デバイスまたはソースデバイスは、前述の態様のいずれか1つによるマルチ画面共働方法を実行することが可能とされる。

【0063】

前述の態様で提供される宛先デバイス、ソースデバイス、マルチ画面共働システム、コンピュータ可読記憶媒体、およびコンピュータプログラム製品はすべて、前述の対応する方法に適用可能であることが理解されよう。宛先デバイス、ソースデバイス、マルチ画面共働システム、コンピュータ可読記憶媒体、およびコンピュータプログラム製品によって達成されうる有益な効果については、前述の対応するシステムまたは方法を使用することによって達成される有益な効果を参照されたい。ここでは詳細は再び説明されない。

【図面の簡単な説明】

【0064】

【図1】本出願の一実施形態によるマルチ画面共働システムのアーキテクチャの概略図である。

【図2】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図1である。

【図3A(1)】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図2である。

【図3A(2)】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図2である。

【図3B】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図3である。

【図3C】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図4である。

【図4(a)】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図5である。

【図4(b)】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図5である。

【図5】本出願の一実施形態による電子デバイスの構造の概略図1である。

【図6】本出願の一実施形態による電子デバイスにおけるオペレーティングシステムのアーキテクチャの概略図である。

【図7】本出願の一実施形態によるマルチ画面共働方法での表示データの処理の概略フローチャートである。

【図8】本出願の一実施形態によるマルチ画面共働方法の概略フローチャートである。

【図9(a)】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図6である。

【図9(b)】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図6である。

【図10】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図7である。

【図11(a)】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図8である。

【図11(b)】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図8である。

【図12A】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図9である。

【図12B】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図9である。

【図13】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図10である。

【図14】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図11である。

【図15A】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図12である。

【図15B】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図12である。

【図16】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図13である。

【図17A】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図14である。

【図17B】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図14である。

【図18】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図15である。

【図19】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図16である。

【図20】本出願の一実施形態によるマルチ画面共働方法の適用シナリオの概略図17である。

【図21】本出願の一実施形態によるノートブックコンピュータの構造の概略図である。

【図22】本出願の一実施形態による電子デバイスの構造の概略図2である。

【図23】本出願の一実施形態による電子デバイスの構造の概略図3である。

【発明を実施するための形態】

【0065】

以下では、添付の図面を参照して、実施形態の実施態様を詳細に説明する。

【0066】

本出願の実施形態で提供されるマルチ画面共働方法は、図1に示されているマルチ画面共働システム200に適用されうる。図1に示されているように、マルチ画面共働システム200は、第1の電子デバイス101および第2の電子デバイス102を含みうる。

【0067】

第1の電子デバイス101および第2の電子デバイス102はそれぞれ、具体的には、携帯電話、タブレットコンピュータ、スマートテレビ、ノートブックコンピュータ、ウルトラモバイルパーソナルコンピュータ（Ultra－mobile Personal Computer、UMPC）、ハンドヘルドコンピュータ、ネットブック、携帯情報端末（Personal Digital Assistant、PDA）、ウェアラブル電子デバイス、車載デバイス、または仮想現実デバイスなどの、表示機能を有するデバイスでありうる。これは本出願の実施形態では限定されない。

【0068】

例えば、第1の電子デバイス101と第2の電子デバイス102との両方が携帯電話であってもよいし、第1の電子デバイス101と第2の電子デバイス102との両方がノートブックコンピュータであってもよいし、第1の電子デバイス101が携帯電話またはタブレットコンピュータであってもよく、第2の電子デバイス102がノートブックコンピュータまたはスマートテレビであってもよい。

【0069】

一部の実施形態では、第1の電子デバイス101はソースデバイスとして使用されえ、第2の電子デバイス102は第1の電子デバイス101の宛先デバイスとして使用されうる。第1の電子デバイス101は、クロス画面表示機能を実施するために、第1の電子デバイス101のコンテンツ（例えば、アプリケーション、ピクチャ、ビデオ、オーディオ、またはドキュメント）を表示のために電子デバイス102のディスプレイに投影しうる。

【0070】

例えば、第1の電子デバイス101は携帯電話であり、第2の電子デバイス102はノートブックコンピュータである。一部のシナリオでは、ユーザは、携帯電話をソースデバイスとして使用し、表示のために携帯電話の1つ以上のアプリケーションをノートブックコンピュータ（すなわち、宛先デバイス）に投影しうる。

【0071】

例えば、図2に示されているように、電子ラベル201がノートブックコンピュータ（すなわち、第2の電子デバイス102）に配置されえ、電子ラベルは、NFC（near field communication、近距離無線通信）ラベルとも呼ばれうる。電子ラベル201には通常、コイルが配置されており、ノートブックコンピュータの出荷前に、ノートブックコンピュータのデバイス情報が電子ラベル201のコイルに事前に書き込まれうる。例えば、デバイス情報は、ノートブックコンピュータの名称およびブルートゥースのMAC（media access control、媒体アクセス制御）アドレスなどを含みうる。あるいは、ノートブックコンピュータにはNFCチップが配置されてもよく、NFCチップはノートブックコンピュータのデバイス情報を記憶する。

【0072】

この場合、ユーザが表示のために携帯電話のアプリケーションをノートブックコンピュータに投影する必要があるとき、ユーザは携帯電話のNFC機能を有効にし、携帯電話をノートブックコンピュータの電子ラベル201（またはNFCチップ）に接近または接触させうる。このようにして、電子ラベル201（またはNFCチップ）に接近したとき、携帯電話は、近距離無線通信信号を送信することによって電子ラベル201（またはNFCチップ）からノートブックコンピュータのデバイス情報を読み取りうる。次に、携帯電話は、ノートブックコンピュータのデバイス情報に基づいてノートブックコンピュータへのワイヤレス通信接続を確立しうる。例えば、ワイヤレス通信接続は、具体的には、ブルートゥース接続、Wi－Fi接続、またはWi－Fi P2P（peer to peer、ピアツーピア）接続でありうる。これは本出願の実施形態では限定されない。

【0073】

もちろん、携帯電話がノートブックコンピュータの電子ラベル201に接触することによってノートブックコンピュータへのワイヤレス通信接続を確立する方法に加えて、当業者は、携帯電話とノートブックコンピュータとの間の通信接続を確立するための別の方法を設計してもよい。これは本出願の実施形態では限定されない。例えば、ユーザは、携帯電話とノートブックコンピュータとの間の通信接続を確立するために、データケーブルを使用して携帯電話をノートブックコンピュータに接続しうる。別の例では、携帯電話は、ノートブックコンピュータによって表示されたQRコード（登録商標）またはバーコードを読み取ることによってノートブックコンピュータのデバイス情報を取得し、ノートブックコンピュータへのワイヤレス通信接続を確立しうる。

【0074】

図3A（1）および図3A（2）に示されているように、携帯電話がノートブックコンピュータへの通信接続を確立した後、携帯電話は、携帯電話にインストールされているN（Nは0より大きい整数）個のアプリケーションのアプリケーション情報をノートブックコンピュータに送信しうる。アプリケーション情報は、アプリケーションのアイコンおよび識別子を含みうる。アプリケーションの識別子は、アプリケーションパッケージ名（packgename）またはIDなどでありうる。アプリケーションのアイコンは、アプリケーションのショートカットとも呼ばれうる。あるいは、アプリケーション情報は、アプリケーションの実行ステータス（例えば、フォアグラウンドまたはバックグラウンドで実行中）および使用頻度などのパラメータをさらに含んでもよい。次に、さらに図3A（1）および図3A（2）に示されているように、ノートブックコンピュータは、受信されたアプリケーション情報に基づいて、ノートブックコンピュータのデスクトップ301にN個のアプリケーションのアイコン302を表示しうる。このようにして、携帯電話のアプリケーションリストがノートブックコンピュータに表示される。

【0075】

あるいは、図3Bに示されているように、携帯電話のN個のアプリケーションのアイコン302をデスクトップ301に表示するとき、ノートブックコンピュータは、ノートブックコンピュータに元々インストールされている1つ以上のアプリケーションまたはファイルのアイコン303をデスクトップ301にさらに表示しうる。要するに、携帯電話によって表示のためにノートブックコンピュータに投影されるアプリケーションリストは、ノートブックコンピュータによって元々表示されているアプリケーションリストに影響を及ぼさない。したがって、ノートブックコンピュータ上で、ユーザは、ノートブックコンピュータの関連機能を使用するためにアイコン303を操作しうるだけでなく、携帯電話の関連機能を使用するためにアイコン302も操作しうる。これにより、マルチ画面共働機能が実施される。携帯電話がソースデバイスとして機能するとき、携帯電話にインストールされているアプリケーションは、ソースデバイスアプリケーションと呼ばれうる。ノートブックコンピュータが宛先デバイスとして機能するとき、ノートブックコンピュータにインストールされているアプリケーションは、宛先アプリケーションと呼ばれうる。

【0076】

あるいは、図3Cに示されているように、ノートブックコンピュータは、ノートブックコンピュータのスタートメニュー304にアイコン302を表示してもよい。ユーザがノートブックコンピュータのスタートメニュー304を開いた後、ノートブックコンピュータは、「すべてのアプリ」オプション305に、ノートブックコンピュータにインストールされている1つ以上のアプリケーションまたはファイルのアイコン303と携帯電話のN個のアプリケーションのアイコン302とを同時に表示しうる。このようにして、ユーザは、ノートブックコンピュータ上で、ノートブックコンピュータによって提供されるアプリケーションおよび携帯電話によって提供されるアプリケーションを便利に使用しうる。これにより、宛先デバイス上での複数のデバイスの機能の無差別の統合が実施される。

【0077】

もちろん、ノートブックコンピュータは、あるいは、ノートブックコンピュータのタスクバー、タイル、ツールバー、またはステータスバーなどの位置にアイコン302を表示してもよい。これは本出願の実施形態では限定されない。

【0078】

あるいは、図4（a）に示されているように、携帯電話によって送信されたアプリケーション情報を受信した後、ノートブックコンピュータは、デスクトップ301にボタン401を表示してもよい。ノートブックコンピュータが、ユーザがボタン401を選択したことを検出した場合、図4（b）に示されているように、ノートブックコンピュータは、N個のアプリケーションのアプリケーション情報に基づいて、対応するアプリケーションリスト402を表示しえ、アプリケーションリスト402は、N個のアプリケーションのアイコンを含みうる。アプリケーションリスト402およびボタン401の具体的な表示形態および位置は、本出願の実施形態では限定されない。例えば、ボタン401を表示するためにプレゼンテーションバー（例えば、dockバー）がノートブックコンピュータのデスクトップ301に追加されてもよいし、ボタン401は、ノートブックコンピュータのデスクトップ301上の元のタスクバー、ツールバー、またはスタートメニューに表示されもよい。

【0079】

加えて、携帯電話がアプリケーション情報をノートブックコンピュータに送信し、ノートブックコンピュータがアイコン302を表示するとき、携帯電話は、携帯電話上で元々実行されているアプリケーションを引き続き通常通り実行してもよいし、携帯電話は画面オフ状態または画面ロック状態であってもよい。

【0080】

その後、ユーザがノートブックコンピュータ上で携帯電話のアプリケーション1の関連機能を使用する必要がある場合、ユーザは、ノートブックコンピュータに表示されているN個のアプリケーションのアイコン302からアプリケーション1のアイコンを選択しうる。さらに、ノートブックコンピュータは、アプリケーション1を実行するよう携帯電話をトリガするために、ユーザによって選択されたアイコンに対応するアプリケーション1の識別子を携帯電話に送信し、アプリケーション1の実行中に生成された、アプリケーション1のアプリケーションインターフェースの表示データを表示のためにノートブックコンピュータに送信しえ、これにより、携帯電話（すなわち、ソースデバイス）のアプリケーション1は、クロス画面モードにおいてアプリケーション粒度でノートブックコンピュータ（すなわち、宛先デバイス）に表示される。これは、ユーザが宛先デバイス上でソースデバイスのアプリケーションを使用することを容易にし、マルチ画面共働機能を実施する。

【0081】

もちろん、ユーザがノートブックコンピュータ上で携帯電話のアプリケーション2をさらに開く必要がある場合、ユーザは、前述の方法を使用してクロス画面モードでアプリケーション2をノートブックコンピュータに引き続き表示するよう携帯電話をトリガするために、デスクトップ301上でアプリケーション2のアイコンを引き続き選択してもよい。このようにして、ユーザは、ノートブックコンピュータ（すなわち、宛先デバイス）上で携帯電話（すなわち、ソースデバイス）の複数のアプリケーションを開きうる。これにより、クロス画面モードでの複数のアプリケーションの表示が実施される。

【0082】

本出願で提供されるマルチ画面共働方法によれば、ソースデバイス（例えば、携帯電話）によって表示されているアプリケーションインターフェースは、表示のために宛先デバイス（例えば、ノートブックコンピュータ）に投影されないが、ソースデバイスにインストールされているN個のアプリケーションのアプリケーション情報が宛先デバイスに送信され、これにより、宛先デバイスは、ソースデバイスにインストールされているアプリケーションのアプリケーションリストをユーザに提示しうることが知られうる。このようにして、ソースデバイスのすべてのデバイス機能がアプリケーションリストの形態で宛先デバイス上で提示されえ、ユーザは、ユーザの要求に従って、ソースデバイスにインストールされている1つ以上のアプリケーションを宛先デバイス上で開いて表示しうる。これにより、クロス画面モードにおける異なるデバイス上での1つ以上のアプリケーションの表示が実施され、ユーザ体験が改善される。

【0083】

加えて、ソースデバイスのアプリケーションリストを表示するとき、宛先デバイスは、依然として宛先デバイスのアプリケーションおよびファイルを表示しうる。要するに、ソースデバイスと宛先デバイスとの両方のデバイス機能が宛先デバイス上で提示されえ、ユーザは、宛先デバイス上で、宛先デバイスによって提供されるアプリケーションおよびソースデバイスによって提供されるアプリケーションを便利に使用しえ、ソースデバイスによって提供されるアプリケーション機能は、宛先デバイスの通常の動作に影響を及ぼすことなく、宛先デバイス上のアプリケーション機能と効果的に統合されうる。これにより、マルチ画面インタラクションおよび共働におけるユーザ体験が改善される。

【0084】

後続の実施形態では、クロス画面モードで宛先デバイスにソースデバイスの1つ以上のアプリケーションを表示するための特定の方法が、特定の例を参照して説明される。したがって、ここでは詳細は説明されない。

【0085】

例えば、携帯電話は、マルチ画面共働システム200の第1の電子デバイス101として機能する。図5は、携帯電話の構造の概略図である。

【0086】

携帯電話は、プロセッサ110、外部メモリインターフェース120、内部メモリ121、ユニバーサルシリアルバス（universal serial bus、USB）ポート130、アンテナ1、アンテナ2、移動通信モジュール150、ワイヤレス通信モジュール160、オーディオモジュール170、スピーカ170A、受話器170B、マイクロフォン170C、ヘッドセットジャック170D、およびセンサモジュール180などを含みうる。

【0087】

本発明のこの実施形態に示されている構造は、携帯電話に対する特定の限定を構成しないことが理解されよう。本出願の一部の他の実施形態では、携帯電話は、図に示されているものよりも多いまたは少ない構成要素を含んでもよいし、一部の構成要素は組み合わされてもよいし、一部の構成要素は分割されてもよいし、異なる構成要素の配置があってもよい。図に示されている構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアとの組み合わせを使用して実施されうる。

【0088】

プロセッサ110は、1つ以上の処理ユニットを含みうる。例えば、プロセッサ110は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィック処理装置（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、および／またはニューラルネットワーク処理装置（neural－network processing unit、NPU）を含みうる。異なる処理ユニットは、独立した構成要素であってもよいし、1つ以上のプロセッサに統合されてもよい。

【0089】

メモリは、プロセッサ110にさらに配置されてもよく、命令およびデータを記憶するように構成される。一部の実施形態では、プロセッサ110内のメモリは、キャッシュである。このメモリは、プロセッサ110によって使用されたばかりの、または周期的に使用される命令またはデータを記憶しうる。プロセッサ110が命令またはデータを再び使用する必要がある場合、プロセッサ110は、メモリから命令またはデータを直接呼び出しうる。これにより、繰り返しのアクセスが回避され、プロセッサ110の待ち時間が短縮され、システム効率が改善される。

【0090】

一部の実施形態では、プロセッサ110は、1つ以上のインターフェースを含みうる。インターフェースは、集積回路間（inter－integrated circuit、I2C）インターフェース、集積回路間サウンド（inter－integrated circuit sound、I2S）インターフェース、パルス符号変調（pulse code modulation、PCM）インターフェース、汎用非同期送受信機（universal asynchronous receiver／transmitter、UART）インターフェース、モバイルインダストリプロセッサインターフェース（mobile industry processor interface、MIPI）、汎用入出力（general－purpose input／output、GPIO）インターフェース、加入者識別モジュール（subscriber identity module、SIM）インターフェース、および／またはユニバーサルシリアルバス（universal serial bus、USB）インターフェースなどを含みうる。

【0091】

携帯電話のワイヤレス通信機能は、アンテナ1、アンテナ2、移動通信モジュール150、ワイヤレス通信モジュール160、モデムプロセッサ、およびベースバンドプロセッサなどを使用して実施されうる。

【0092】

アンテナ1およびアンテナ2は、電磁波信号を送受信するように構成される。携帯電話の各アンテナは、1つ以上の通信帯域をカバーするように構成されうる。アンテナ利用を改善するために、異なるアンテナがさらに多重化されうる。例えば、アンテナ1は、ワイヤレスローカルエリアネットワークにおいてダイバーシティアンテナとして多重化されうる。一部の他の実施形態では、アンテナは、チューニングスイッチと組み合わせて使用されうる。

【0093】

移動通信モジュール150は、2G／3G／4G／5Gなどを含む、携帯電話に適用されるワイヤレス通信ソリューションを提供しうる。移動通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、および低ノイズ増幅器（low noise amplifier、LNA）などを含みうる。移動通信モジュール150は、アンテナ1を介して電磁波を受信し、受信された電磁波に対してフィルタリングおよび増幅などの処理を実行し、復調のために、処理された電磁波をモデムプロセッサに送信しうる。移動通信モジュール150はさらに、モデムプロセッサによって変調された信号を増幅し、放射のためにアンテナ1を介してこの信号を電磁波に変換しうる。一部の実施形態では、移動通信モジュール150の少なくとも一部の機能モジュールは、プロセッサ110に配置されうる。一部の実施形態では、移動通信モジュール150の少なくとも一部の機能モジュールおよびプロセッサ110の少なくとも一部のモジュールは、同じデバイスに配置されうる。

【0094】

ワイヤレス通信モジュール160は、ワイヤレスローカルエリアネットワーク（wireless local area networks、WLAN）（例えば、ワイヤレスフィデリティ（wireless fidelity、Wi－Fi）ネットワーク）、ブルートゥース（bluetooth、BT）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、近距離無線通信（near field communication、NFC）技術、または赤外線（infrared、IR）技術などを含む、携帯電話に適用されるワイヤレス通信ソリューションを提供しうる。ワイヤレス通信モジュール160は、少なくとも1つの通信処理モジュールを組み込んだ1つ以上の構成要素でありうる。ワイヤレス通信モジュール160は、アンテナ2を介して電磁波を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を実行し、処理された信号をプロセッサ110に送信する。ワイヤレス通信モジュール160はさらに、プロセッサ110から送信信号を受信し、この信号に対して周波数変調および増幅を実行し、アンテナ2を介して放射のためにこの信号を電磁波に変換しうる。

【0095】

一部の実施形態では、携帯電話において、アンテナ1と移動通信モジュール150とが結合され、アンテナ2とワイヤレス通信モジュール160とが結合され、これにより、携帯電話は、ワイヤレス通信技術を使用してネットワークおよび別のデバイスと通信しうる。ワイヤレス通信技術は、グローバル・システム・フォー・モバイル・コミュニケーションズ（global system for mobile communications、GSM）、汎用パケット無線サービス（general packet radio service、GPRS）、符号分割多元接続（code division multiple access、CDMA）、広帯域符号分割多元接続（wideband code division multiple access、WCDMA（登録商標））、時分割符号分割多元接続（time－division code division multiple access、TD－SCDMA）、ロングタームエボリューション（long term evolution、LTE）、BT、GNSS、WLAN、NFC、FM、および／またはIR技術などを含みうる。GNSSは、全地球測位システム（global positioning system、GPS）、全地球航法衛星システム（global navigation satellite system、GLONASS）、北斗衛星導航系統（beidou navigation satellite system、BDS）、準天頂衛星システム（quasi－zenith satellite system、QZSS）、および／または静止衛星型衛星航法補強システム（satellite based augmentation systems、SBAS）を含みうる。

【0096】

携帯電話は、GPU、ディスプレイ194、およびアプリケーションプロセッサなどを使用して表示機能を実施する。GPUは、画像処理用のマイクロプロセッサであり、ディスプレイ194およびアプリケーションプロセッサに接続される。GPUは、数学的および幾何学的計算を実行し、画像をレンダリングするように構成される。プロセッサ110は、表示情報を生成または変更するためにプログラム命令を実行する1つ以上のGPUを含みうる。

【0097】

ディスプレイ194は、画像およびビデオなどを表示するように構成される。ディスプレイ194は、表示パネルを含む。表示パネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス式有機発光ダイオードもしくはアクティブマトリックス式有機発光ダイオード（active－matrix organic light－emitting diode、AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode、FLED）、Miniled、MicroLed、Micro－oLed、または量子ドット発光ダイオード（quantum dot light emitting diodes、QLED）などでありうる。一部の実施形態では、携帯電話は、1つまたはN個のディスプレイ194を含みえ、Nは1よりも大きい正の整数である。

【0098】

携帯電話は、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ194、およびアプリケーションプロセッサなどを使用して撮影機能を実施しうる。

【0099】

ISPは、カメラ193によってフィードバックされたデータを処理するように構成される。例えば、撮影中、シャッタが押され、光がレンズを介してカメラの受光素子に送られる。光信号は電気信号に変換され、カメラの受光素子は、電気信号を可視画像に変換するために、電気信号を処理のためにISPに送信する。ISPは、画像のノイズ、明るさ、および色合いに対してアルゴリズム最適化をさらに実行しうる。ISPは、撮影シナリオの露出および色温度などのパラメータをさらに最適化しうる。一部の実施形態では、ISPは、カメラ193に配置されうる。

【0100】

カメラ193は、静止画像またはビデオを取り込むように構成される。対象の光学像が、レンズによって生成され、受光素子に投影される。受光素子は、電荷結合素子（charge－coupled device、CCD）または相補型金属酸化膜半導体（complementary metal－oxide－semiconductor、CMOS）光電トランジスタでありうる。受光素子は、光信号を電気信号に変換し、次に、電気信号をデジタル画像信号に変換するために電気信号をISPに送信する。ISPは、処理のためにデジタル画像信号をDSPに出力する。DSPは、デジタル画像信号を、RGBまたはYUVなどの標準フォーマットの画像信号に変換する。一部の実施形態では、携帯電話は、1つまたはN個のカメラ193を含みえ、Nは1よりも大きい正の整数である。

【0101】

デジタル信号プロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号を処理しうる。例えば、携帯電話が周波数を選択したとき、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換などを実行するように構成される。

【0102】

ビデオコーデックは、デジタルビデオを圧縮または解凍するように構成される。携帯電話は、1つ以上のビデオコーデックをサポートしうる。このようにして、携帯電話は、複数の符号化フォーマット、例えば、動画専門家集団（moving picture experts group、MPEG）1、MPEG2、MPEG3、およびMPEG4でビデオを再生または録画しうる。

【0103】

外部メモリインターフェース120は、携帯電話の記憶容量を拡張するために、Micro SDカードなどの外部記憶カードに接続するように構成されうる。外部記憶カードは、データ記憶機能を実施するために、外部メモリインターフェース120を介してプロセッサ110と通信する。外部記憶カードには、例えば、音楽およびビデオなどのファイルが記憶される。

【0104】

内部メモリ121は、コンピュータ実行可能プログラムコードを記憶するように構成されうる。実行可能プログラムコードは命令を含む。プロセッサ110は、携帯電話の様々な機能アプリケーションおよびデータ処理を実行するために、内部メモリ121に記憶された命令を実行する。内部メモリ121は、プログラム記憶領域およびデータ記憶領域を含みうる。プログラム記憶領域は、オペレーティングシステム、および少なくとも1つの機能（例えば、音声再生機能または画像再生機能）によって必要とされるアプリケーションなどを記憶しうる。データ記憶領域は、携帯電話の使用中に作成されたデータ（例えば、オーディオデータまたはアドレス帳）などを記憶しうる。加えて、内部メモリ121は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリ、またはユニバーサルフラッシュストレージ（universal flash storage、UFS）を含んでもよい。

【0105】

携帯電話は、オーディオモジュール170、スピーカ170A、受話器170B、マイクロフォン170C、ヘッドセットジャック170D、およびアプリケーションプロセッサによって音楽再生および録音機能などのオーディオ機能を実施しうる。

【0106】

オーディオモジュール170は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール170は、オーディオ信号を符号化および復号化するようにさらに構成されうる。一部の実施形態では、オーディオモジュール170は、プロセッサ110に配置されてもよく、またはオーディオモジュール170内の一部の機能モジュールが、プロセッサ110に配置される。

【0107】

「ラウドスピーカ」とも呼ばれるスピーカ170Aは、オーディオ電気信号を音声信号に変換するように構成される。携帯電話は、スピーカ170Aを使用して音楽を聴いたり、ハンズフリー通話に応答するために使用されうる。

【0108】

「イヤピース」とも呼ばれる受話器170Bは、電気オーディオ信号を音声信号に変換するように構成される。携帯電話を使用して電話に出たり、音声情報を受信したりするとき、受話器170Bは、音声を聞くために人の耳に近づけられうる。

【0109】

「マイク」または「マイク」とも呼ばれるマイクロフォン170Cは、音声信号を電気信号に変換するように構成される。電話をかけるときまたは音声メッセージを送信するとき、ユーザは、マイクロフォン170Cに音声信号を入力するために、マイクロフォン170Cの近くで声を出しうる。少なくとも1つのマイクロフォン170Cが、携帯電話に配置されうる。一部の他の実施形態では、2つのマイクロフォン170Cが、音声信号を収集し、さらにノイズ低減機能を実施するために携帯電話に配置されうる。一部の他の実施形態では、3つ、4つ、またはより多くのマイクロフォン170Cが、あるいは、音声信号を収集し、ノイズを低減し、音源を識別し、指向性録音機能を実施するなどのために携帯電話に配置されうる。

【0110】

ヘッドセットジャック170Dは、有線ヘッドセットに接続するように構成される。ヘッドセットジャック170Dは、USBポート130または3．5mmオープン移動端末プラットフォーム（open mobile terminal platform、OMTP）標準インターフェースもしくは米国セルラー通信工業会（cellular telecommunications industry association of the USA、CTIA）標準インターフェースであってもよい。

【0111】

センサモジュール180は、圧力センサ、ジャイロセンサ、気圧センサ、磁気センサ、加速度センサ、距離センサ、光学式近接センサ、指紋センサ、温度センサ、タッチセンサ、周囲光センサ、および骨伝導センサなどを含みうる。

【0112】

もちろん、携帯電話は、充電管理モジュール、電力管理ユニット、バッテリ、ボタン、インジケータ、および1つ以上のSIMカードインターフェースなどをさらに含んでもよい。これは本出願の実施形態では限定されない。

【0113】

携帯電話のソフトウェアシステムは、階層化アーキテクチャ、イベントドリブンアーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、またはクラウドアーキテクチャを使用しうる。本出願の実施形態では、携帯電話のソフトウェア構造を説明するための例として、階層化アーキテクチャを有するAndroidシステムが使用される。

【0114】

図6は、本出願の一実施形態による携帯電話のソフトウェア構造のブロック図である。

【0115】

階層化アーキテクチャでは、ソフトウェアはいくつかの層に分割され、各層は明確な役割およびタスクを有する。層は、ソフトウェアインターフェースを介して互いに通信する。一部の実施形態では、Androidシステムは、上から順に、アプリケーション層、アプリケーションフレームワーク層、アンドロイド（登録商標）ランタイム（Android runtime）およびシステムライブラリ、ならびにカーネル層の4つの層に分割される。

【0116】

アプリケーション層は、一連のアプリケーションパッケージを含みうる。

【0117】

図6に示されているように、電話、メモ、ブラウザ、連絡先、カメラ、ギャラリー、カレンダー、マップ、ブルートゥース（登録商標）、音楽、ビデオ、およびメッセージなどのAPP（アプリケーション、application）がアプリケーション層にインストールされうる。

【0118】

アプリケーションフレームワーク層は、アプリケーション層のアプリケーションのためのアプリケーションプログラミングインターフェース（application programming interface、API）およびプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの所定の機能を含む。

【0119】

図6に示されているように、アプリケーションフレームワーク層は、NFCサービス、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、および通知マネージャなどを含みうる。

【0120】

NFC機能を有効にした後、携帯電話はNFCサービスの実行を開始しうる。携帯電話が別の電子デバイス（例えば、ノートブックコンピュータ）の電子ラベルまたはNFCチップに接近または接触したとき、NFCサービスは、電子ラベル内の情報を読み取るためにカーネル層のNFCドライバを呼び出しえ、携帯電話は、情報に基づいて別の電子デバイスへのワイヤレス通信接続を確立する。

【0121】

ウィンドウマネージャは、ウィンドウプログラムを管理するように構成される。ウィンドウマネージャは、ディスプレイのサイズの取得、ステータスバーがあるかどうかの判定、画面ロックの実行、およびスクリーンショットの撮影などを行うように構成されうる。

【0122】

コンテンツプロバイダは、データを記憶および取得し、データがアプリケーションによってアクセスされることを可能にするように構成される。データは、ビデオ、画像、オーディオ、発信および着信された通話、閲覧履歴およびブックマーク、ならびに電話帳などを含みうる。

【0123】

ビューシステムは、アプリケーションの表示インターフェースを構築するように構成されうる。各表示インターフェースは、1つ以上のコントロールを含みうる。一般に、コントロールは、アイコン、ボタン、メニュー、タブ、テキストボックス、ダイアログボックス、ステータスバー、ナビゲーションバー、およびウィジェット（Widget）などのインターフェース要素を含みうる。

【0124】

電話マネージャは、携帯電話の通信機能、例えば、通話ステータス（応答または拒否などを含む）の管理を提供するように構成される。

【0125】

リソースマネージャは、ローカライズされた文字列、アイコン、ピクチャ、レイアウトファイル、およびビデオファイルなど、アプリケーションのための様々なリソースを提供する。

【0126】

通知マネージャは、アプリケーションがステータスバーに通知情報を表示することを可能にし、通知タイプメッセージを伝えるように構成されえ、表示された通知情報は、ユーザインタラクションなしに短い期間の後に自動的に消えうる。例えば、通知マネージャは、ダウンロード完了およびメッセージリマインダなどを通知するように構成される。通知マネージャは、あるいは、グラフまたはスクロールバーテキストの形態でシステムの上部のステータスバーに表示される通知、例えば、バックグラウンドで実行されているアプリケーションの通知であってもよいし、ダイアログウィンドウの形態で画面に表示される通知であってもよい。例えば、ステータスバーにテキスト情報が表示されたり、警告音が再生されたり、振動が生成されたり、インジケータライトが点滅したりする。

【0127】

図6に示されているように、システムライブラリは、複数の機能モジュール、例えば、サーフェスフリンガ（SurfaceFlinger）、メディアライブラリ（Media Libraries）、3次元グラフィック処理ライブラリ（例えば、OpenGL ES）、および2Dグラフィックエンジン（例えば、SGL）を含みうる。

【0128】

SurfaceFlingerは、表示サブシステムを管理し、複数のアプリケーションに2D層および3D層の統合を提供するように構成される。メディアライブラリは、複数の一般的に使用されているオーディオおよびビデオフォーマットならびに静止画像ファイルなどの再生および記録をサポートする。メディアライブラリは、MPEG4、H．264、MP3、AAC、AMR、JPG、およびPNGなどの複数のオーディオおよびビデオ符号化フォーマットをサポートしうる。3次元グラフィック処理ライブラリは、3次元グラフィック描画、画像レンダリング、構成、および層処理などを実施するように構成される。2Dグラフィックエンジンは、2D描画用の描画エンジンである。

【0129】

Android Runtimeは、コアライブラリおよび仮想マシンを含む。Android runtimeは、アンドロイドシステムのスケジューリングおよび管理を担当する。

【0130】

コアライブラリは、java言語で呼び出される必要がある関数とアンドロイドのコアライブラリとの2つの部分を含む。

【0131】

アプリケーション層およびアプリケーションフレームワーク層は、仮想マシン上で動作する。仮想マシンは、アプリケーション層およびアプリケーションフレームワーク層のjavaファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティおよび例外管理、ならびにガベージコレクションなどの機能を実行するように構成される。

【0132】

カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともHWcomposer（HWコンポーザ）、カメラドライバ、オーディオドライバ、およびセンサドライバなどを含む。これは本出願の実施形態では限定されない。

【0133】

本出願の実施形態では、図7に示されているように、アプリケーション層がアプリケーション（例えば、音楽APP701）の実行を開始した後、携帯電話は、バッファキュー1などの対応するバッファキュー（buffer queue）を音楽APP701に割り当てうる。バッファキュー1は、音楽APP701の実行中に生成されたopenGL命令などの描画命令をバッファリングするために使用される。例えば、音楽APP701の実行中に、音楽APP701のアプリケーションインターフェースのすべてのコントロールおよび層の描画命令を生成するために、アプリケーションフレームワーク層のウィンドウマネージャおよびビューシステムが呼び出されえ、音楽APP701のアプリケーションインターフェースは、これらの描画命令を実行することによって描画されうる。この場合、これらの描画命令が音楽APP701のためにリアルタイムで生成された後、これらの描画命令は、記憶のために対応するバッファキュー1にプッシュされうる。同様に、携帯電話は、アプリケーション層で複数のアプリケーション（例えば、図7に示されているアプリケーション2およびアプリケーション3）を実行しえ、各アプリケーションの実行中に各アプリケーションのために生成された描画命令は、対応するバッファキューに記憶されうる。

【0134】

さらに図7に示されているように、バッファキュー内の描画命令は、システムライブラリ内のSurfaceFlingerに送信されえ、SurfaceFlingerは、各バッファキュー内の描画命令を実行することによって対応する層およびコントロールを描画しうる。加えて、SurfaceFlingerは、アプリケーションインターフェースのフレームデータ（グラフィックデータとも呼ばれうる）の各フレームを取得するために、これらの層およびコントロールを構成しうる。例えば、フレームデータは、RGBフォーマット（Rは赤を表し、Gは緑を表し、Bは青を表す）でありうる。例えば、SurfaceFlingerは、アプリケーションインターフェースのフレームデータを取得するための構成を実行するためにGPUなどのハードウェアを呼び出してもよいし、アプリケーションインターフェースのフレームデータを取得するための構成を実行するために、グラフィック構成機能を有するソフトウェアモジュールを使用してもよい。SurfaceFlingerは、生成されたフレームデータの各フレームを出力または表示のためにフレームバッファ（frame buffer）に記憶しうる。

【0135】

さらに図7に示されているように、フレームバッファ内のフレームデータは、カーネル層のHWcomposerに送信されうる。HWcomposer内の表示コントローラ（display controller）は、アプリケーションインターフェースのフレームデータを、ディスプレイに直接表示されうる画素データに変換しうる。画素データもまたRGBフォーマットであってよい。画素データが属するアプリケーションがフォアグラウンドで実行されているアプリケーションである場合、HWcomposerは、生成された画素データを携帯電話のディスプレイに送信しえ、これにより、アプリケーションのアプリケーションインターフェースは画素データに基づいてディスプレイに表示されうる。

【0136】

一部の実施形態では、さらに図7に示されているように、携帯電話は、ビデオエンコーダ（Media Encoder）をさらに含みうる。ビデオエンコーダは、SurfaceFlingerによって出力されたフレームデータを取得してもよいし、HWcomposerによって出力された画素データを取得してもよい。ビデオエンコーダは、SurfaceFlingerによって出力されたフレームデータまたはHWcomposerによって出力された画素データを符号化および圧縮するように構成されうる。後続の実施形態では、ビデオエンコーダによる符号化および圧縮によって取得されたデータは符号化データと呼ばれえ、符号化データのデータ量は、符号化および圧縮されていないフレームデータおよび画素データのデータ量に比べて大幅に削減されうる。例えば、符号化データは、YUVフォーマット（Yは輝度を表し、UおよびVはクロミナンスを表す）でありうる。

【0137】

本出願の実施形態では、携帯電話（すなわち、ソースデバイス）がインストールされているN個のアプリケーションをノートブックコンピュータ（すなわち、宛先デバイス）に投影することが依然として例として使用される。ユーザがノートブックコンピュータ上でN個のアプリケーションのうちの1つ（例えば、音楽APP701）を開いたことを検出したとき、ノートブックコンピュータは、表示のために音楽APP701のアプリケーションインターフェースをノートブックコンピュータに投影するよう携帯電話に示すために、音楽APP701の識別子を携帯電話に送信しうる。

【0138】

この場合、携帯電話は、アプリケーション層で音楽APP701の実行を開始しうる。音楽APP701を実行するプロセスでは、図7に示されているように、音楽APP701の実行中に生成された、音楽APP701のアプリケーションインターフェースの描画命令のセットが、音楽APP701に対応するバッファキュー1に記憶されうる。次に、携帯電話は、バッファキュー1にリアルタイムで記憶された描画命令のセットをノートブックコンピュータに送信しうる。次に、ノートブックコンピュータは、描画命令に基づいてノートブックコンピュータのデスクトップ上に音楽APP701のアプリケーションインターフェースを描画しうる。このようにして、携帯電話は、表示のために音楽APP701をノートブックコンピュータに投影する。

【0139】

あるいは、携帯電話が音楽APP701をノートブックコンピュータに投影するとき、さらに図7に示されているように、携帯電話は、音楽APP701の実行中にSurfaceFlingerで生成された、音楽APP701のアプリケーションインターフェースのフレームデータをノートブックコンピュータに送信してもよい。次に、ノートブックコンピュータは、フレームデータに基づいてノートブックコンピュータのデスクトップ上に音楽APP701のアプリケーションインターフェースを描画してもよい。このようにして、携帯電話は、表示のために音楽APP701をノートブックコンピュータに投影する。

【0140】

あるいは、携帯電話が音楽APP701をノートブックコンピュータに投影するとき、さらに図7に示されているように、携帯電話は、音楽APP701の実行中にHWcomposerで生成された、音楽APP701のアプリケーションインターフェースの画素データをノートブックコンピュータに送信してもよい。次に、ノートブックコンピュータは、画素データに基づいてノートブックコンピュータのデスクトップ上に音楽APP701のアプリケーションインターフェースを描画してもよい。このようにして、携帯電話は、表示のために音楽APP701をノートブックコンピュータに投影する。

【0141】

あるいは、携帯電話が音楽APP701をノートブックコンピュータに投影するとき、さらに図7に示されているように、携帯電話は、音楽APP701の実行中にビデオエンコーダによって出力された符号化データをノートブックコンピュータに送信してもよい。次に、符号化データを復号化した後、ノートブックコンピュータは、復号化データに基づいてノートブックコンピュータのデスクトップ上に音楽APP701のアプリケーションインターフェースを描画してもよい。このようにして、携帯電話は、表示のために音楽APP701をノートブックコンピュータに投影する。

【0142】

同様に、ユーザがノートブックコンピュータ上で、携帯電話にインストールされている複数のアプリケーションを開く場合、携帯電話は、前述の方法を使用して各アプリケーションを実行し、各アプリケーションの実行中に生成された、各アプリケーションのアプリケーションインターフェースの表示データ（表示データは、前述の描画命令、フレームデータ、画素データ、または符号化データでありうる）を表示のためにノートブックコンピュータに送信しうる。これにより、クロス画面モードでの複数のアプリケーションの表示が実施される。

【0143】

加えて、携帯電話がソースデバイスとして機能し、アプリケーションを宛先デバイス（例えば、ノートブックコンピュータ）に投影するとき、携帯電話は、アプリケーションのアプリケーションインターフェースを宛先デバイスと同期して表示するために、携帯電話のフォアグラウンドでアプリケーションを実行しうる。あるいは、携帯電話は、携帯電話のバックグラウンドでアプリケーションを実行してもよい。この場合、携帯電話は、別のアプリケーションのアプリケーションインターフェースをフォアグラウンドで表示してもよいし、画面オフ状態であってもよい。言い換えれば、携帯電話がアプリケーションのアプリケーションインターフェースを宛先デバイスに投影するとき、携帯電話は、携帯電話上でアプリケーションのアプリケーションインターフェースを同期して表示する必要はなく、ユーザは、携帯電話によって提供される関連機能を実施するために携帯電話を通常通り使用しうる。

【0144】

以下では、添付の図面を参照して、本出願の実施形態で提供されるマルチ画面共働方法を詳細に説明する。

【0145】

図8に示されているように、例えば、ユーザは、表示のために携帯電話（すなわち、ソースデバイス）のアプリケーションをノートブックコンピュータ（すなわち、宛先デバイス）に投影する。本出願の一実施形態で提供されるマルチ画面共働方法は、以下のステップを含みうる。

【0146】

S801：携帯電話はノートブックコンピュータへの通信接続を確立する。

【0147】

通信接続は、Wi－Fi接続、ブルートゥース接続、P2P接続、NFC接続、またはセルラーネットワークベースのデータ接続などのワイヤレス通信接続でありうる。あるいは、通信接続は有線接続であってもよい。例えば、携帯電話とノートブックコンピュータとは、データケーブルまたはdockデバイスを使用して接続されてもよい。これは、本出願のこの実施形態では限定されない。

【0148】

例えば、NFCチップまたは電子ラベルがノートブックコンピュータに配置されてもよく、ノートブックコンピュータのデバイス情報、例えばノートブックコンピュータのMACアドレスがNFCチップまたは電子ラベルに記憶される。さらに、NFC機能を有効にした後、携帯電話は、ノートブックコンピュータのNFCチップまたは電子ラベルに接近または接触することによってノートブックコンピュータのデバイス情報を取得しうる。次に、携帯電話は、デバイス情報に基づいてノートブックコンピュータへのブルートゥース接続、Wi－Fi接続、またはP2P接続などの通信接続を確立しうる。

【0149】

別の例では、予め設定されたQRコードがノートブックコンピュータに表示されてもよく、QRコードはノートブックコンピュータのデバイス情報を含む。この場合、携帯電話は、あるいは、ノートブックコンピュータのQRコードを読み取ることによってノートブックコンピュータのデバイス情報を取得してもよい。次に、携帯電話は、デバイス情報に基づいてノートブックコンピュータへのブルートゥース接続、Wi－Fi接続、またはP2P接続などの通信接続を確立しうる。

【0150】

もちろん、ユーザは、あるいは、携帯電話を使用してWi－Fiホットスポットを作成し、携帯電話とノートブックコンピュータとの間の通信接続を確立するために、携帯電話を使用して作成されたWi－Fiホットスポットにノートブックコンピュータを接続してもよい。携帯電話とノートブックコンピュータとの間の通信接続を確立する具体的な方法は、本出願のこの実施形態では限定されない。

【0151】

S802：携帯電話は、携帯電話にインストールされているN個のアプリケーションのアプリケーション情報をノートブックコンピュータに送信する。

【0152】

N個のアプリケーションは、携帯電話にインストールされている全部または一部のアプリケーションであってもよい。例えば、N個のアプリケーションは、携帯電話にインストールされているすべてのアプリケーションであってもよいし、N個のアプリケーションは、ユーザによって携帯電話にインストールされたすべてのサードパーティアプリケーションであってもよいし、N個のアプリケーションは、直近の一週間のユーザによる使用頻度が予め設定された値よりも大きいアプリケーションであってもよい。これは、本出願のこの実施形態では限定されない。

【0153】

例えば、携帯電話が、別のデバイス（例えば、ノートブックコンピュータ）への通信接続が確立されたことを検出した後、携帯電話は、現在インストールされているN個のアプリケーションの各々の識別子（例えば、アプリケーションのパッケージ名）およびアイコンを取得するようトリガされうる。さらに、携帯電話は、通信接続を介してアプリケーションのこれらの識別子およびアイコンをアプリケーション情報としてノートブックコンピュータに送信しうる。

【0154】

あるいは、携帯電話は、インストールされているアプリケーションのアプリケーションリストを定期的に維持してもよい。例えば、ユーザが携帯電話に新しいアプリケーションをインストールするか、またはインストールされているアプリケーションを携帯電話からアンインストールするとき、携帯電話は、アプリケーションリスト内のアプリケーションの識別子およびアイコンを更新しうる。次に、携帯電話がノートブックコンピュータへの通信接続を確立した後、携帯電話は、通信接続を介して最新のアプリケーションリスト内の各アプリケーションの識別子およびアイコンをアプリケーション情報としてノートブックコンピュータに送信しうる。

【0155】

加えて、N個のアプリケーションの各々の識別子およびアイコンに加えて、アプリケーション情報は、アプリケーションの実行ステータスまたは使用頻度などの、アプリケーションに関連するパラメータをさらに含みうる。例えば、携帯電話のWeChat APPが携帯電話上で実行されているとき、WeChat APPの実行ステータスは01でありえ、携帯電話の音楽APPが携帯電話上で実行されていないとき、音楽APPの実行ステータスは00でありうる。別の例では、直近の一週間の携帯電話のWeChat APPの起動頻度または実行時間が予め設定された値よりも大きいとき、WeChat APPの使用頻度は高く設定されえ、直近の一週間の携帯電話のフィットネスAPPの起動頻度または実行時間が予め設定された値よりも小さいとき、フィットネスAPPの使用頻度は低く設定されうる。

【0156】

携帯電話は、携帯電話がノートブックコンピュータへの通信接続を確立したことを初めて検出した後に、N個のアプリケーションのアプリケーション情報をノートブックコンピュータに送信しえ、ノートブックコンピュータはアプリケーション情報を記憶しうることに留意されたい。その後、携帯電話がノートブックコンピュータへの通信接続を再び確立した後、携帯電話はもはやアプリケーション情報をノートブックコンピュータに送信しなくてもよい。あるいは、携帯電話がノートブックコンピュータへの通信接続を再び確立した後、N個のアプリケーションのアプリケーション情報に加えて、携帯電話は、クロス画面モードでノートブックコンピュータに表示される必要がある1つ以上のアプリケーションのアプリケーション情報をノートブックコンピュータに送信してもよい。例えば、N個のアプリケーションのアプリケーション情報に加えて、携帯電話は、新たにインストールされたアプリケーションのアプリケーション情報をノートブックコンピュータに送信してもよい。

【0157】

S803：ノートブックコンピュータは、アプリケーション情報に基づいてN個のアプリケーションのアプリケーションリストを表示する。

【0158】

ステップS803において、携帯電話によって送信されたN個のアプリケーションのアプリケーション情報を受信した後、ノートブックコンピュータは、アプリケーション情報に基づいて、携帯電話にインストールされているN個のアプリケーションを含むアプリケーションリストをノートブックコンピュータのディスプレイに表示しうる。これにより、携帯電話にインストールされているアプリケーションリストのノートブックコンピュータへの表示のための投影が実施される。

【0159】

例えば、図9（a）に示されているように、携帯電話によって送信されたアプリケーション情報を受信した後、ノートブックコンピュータは、予め設定されたプレゼンテーションバー、例えばdockバー902をノートブックコンピュータのデスクトップ901に表示しうる。dockバー902には、携帯電話のアプリケーションリストを開くために使用されるボタン903が配置されている。ユーザがボタン903を選択したことを検出した場合、例えば、ユーザがノートブックコンピュータのマウスを操作することによってカーソルを移動してボタン903をクリックしたことを検出した場合、図9（b）に示されているように、ノートブックコンピュータは、N個のアプリケーションのアプリケーションリスト904を形成するように、N個のアプリケーションのアプリケーション情報で搬送された各アプリケーションのアイコンをデスクトップ901に表示しうる。このようにして、ノートブックコンピュータは、アプリケーションリスト904を使用して携帯電話（すなわち、ソースデバイス）の様々なデバイス機能をユーザに提示しえ、ユーザは、ノートブックコンピュータに投影される必要がある特定のアプリケーションをアプリケーションリスト904から選択しうる。アプリケーションリスト904を表示するとき、ノートブックコンピュータはさらに、ノートブックコンピュータのファイルまたはアプリケーションを通常通り表示しうる。具体的には、ユーザは、ノートブックコンピュータ上のファイルまたはノートブックコンピュータのアプリケーションも開きうる。言い換えれば、携帯電話がアプリケーションリスト904をノートブックコンピュータに投影するとき、ノートブックコンピュータの通常の動作は影響を受けない。

【0160】

一部の実施形態では、携帯電話によって送信されるアプリケーション情報は、アプリケーションの実行ステータスをさらに含む。例えば、携帯電話上で実行されているアプリケーションは、WeChat APPおよび音楽APPを含む。この場合、図10に示されているように、ノートブックコンピュータは、携帯電話上で実行されているWeChat APPのアイコン1001および音楽APPのアイコン1002をdockバー902にさらに表示しうる。言い換えれば、ノートブックコンピュータ（すなわち、宛先デバイス）は、携帯電話（すなわち、ソースデバイス）上で実行されているアプリケーションのアイコンの、ノートブックコンピュータによって表示されているインターフェースへの投影を実施しえ、これにより、ユーザは、携帯電話上で実行されているアプリケーションをノートブックコンピュータ上で迅速に開きうる。

【0161】

一部の実施形態では、携帯電話によって送信されるアプリケーション情報は、アプリケーションの使用頻度をさらに含む。例えば、使用頻度が予め設定された値よりも大きいアプリケーションは、電卓APPおよび天気APPを含む。この場合、図11（a）に示されているように、ノートブックコンピュータは、これらの頻繁に使用されるアプリケーションのアイコン、すなわち、電卓APPのアイコン1101および天気APPのアイコン1102をdockバー902にさらに表示しうる。このようにして、ユーザは、携帯電話で頻繁に使用されるアプリケーションをノートブックコンピュータ上で便利かつ迅速に見つけて開きうる。

【0162】

あるいは、ユーザは、表示される必要がある携帯電話の1つ以上のアプリケーションのアイコンをdockバー902に手動で追加してもよい。図11（b）に示されているように、ユーザがノートブックコンピュータ上でアプリケーションリスト904を開くためにボタン903を選択した後、ユーザは、カーソルを使用してアプリケーションリスト904内の1つ以上のアプリケーションのアイコンをdockバー902までドラッグしえ、携帯電話は、ユーザのドラッグ操作に応答して表示のために、対応するアプリケーションのアイコンをdockバー902に追加しうる。もちろん、追加ボタン1103がノートブックコンピュータのdockバー902上に設定されてもよく、ユーザは、追加ボタン1103を使用してアプリケーションのアイコンをdockバー902に手動で追加してもよい。

【0163】

加えて、dockバー902は、ノートブックコンピュータのデスクトップ901にフローティング方式で表示されえ、ユーザは、デスクトップ901上のdockバー902の位置またはサイズを手動で調整しうる。あるいは、ノートブックコンピュータが、dockバー902上でユーザによって入力される操作を特定の時間内に検出しなかった場合、ノートブックコンピュータはデスクトップ901上のdockバー902を非表示にしてもよい。

【0164】

当業者は、実際の経験または実際の適用シナリオに基づいてdockバー902上に別のボタンを設定してもよいことが理解されよう。例えば、携帯電話からノートブックコンピュータへのクロス画面表示のパラメータを設定するために、設定ボタンがdockバー902に表示されてもよい。別の例では、携帯電話からノートブックコンピュータへの現在のクロス画面表示タスクを終了するために、さらに終了ボタンがdockバー902に表示されてもよい。これは、本出願のこの実施形態では限定されない。

【0165】

もちろん、携帯電話によってノートブックコンピュータ上のdockバー902に投影されたN個のアプリケーションを表示することに加えて、ノートブックコンピュータは、あるいは、デスクトップまたはタスクバーなどの別の位置に、N個のアプリケーションを含むアプリケーションリストを表示してもよい。これは、本出願のこの実施形態では限定されない。

【0166】

ステップS801からS803に基づいて、携帯電話は、N個のインストールされているアプリケーションを含むアプリケーションリストを表示のためにノートブックコンピュータに投影しえ、これにより、ユーザは、対応する機能を実施するために、クロス画面表示プロセスにおいてユーザの要求に従ってアプリケーションリスト内のアプリケーションを操作しうることが知られうる。ステップS801からS803を実行するプロセスにおいて、携帯電話は、元々フォアグラウンドで実行されているアプリケーションを引き続き表示してもよいし、画面オフ状態または画面ロック状態であってもよい。言い換えれば、携帯電話がアプリケーションリストをノートブックコンピュータに投影するプロセスは、携帯電話の元の動作ステータスに影響を及ぼさず、ユーザは、依然として携帯電話の様々なアプリケーションおよび機能を通常通り操作しうる。

【0167】

S804：ユーザによってアプリケーションリストから第1のアプリケーションを選択する操作に応答して、ノートブックコンピュータは、第1の起動メッセージを携帯電話に送信し、第1の起動メッセージは第1のアプリケーションの識別子を含む。

【0168】

例えば、ノートブックコンピュータがデスクトップ901にアプリケーションリスト904を表示した後、ユーザは、表示のためにノートブックコンピュータに現在投影される必要がある特定のアプリケーションを選択するためにノートブックコンピュータ上のカーソルを操作しうる。例えば、さらに図9（b）に示されているように、ユーザが表示のために携帯電話のギャラリーAPPをノートブックコンピュータに投影したい場合、ユーザは、ノートブックコンピュータ上のカーソルを操作してギャラリーAPPのアイコン905をクリックしうる。ユーザがアプリケーションリスト904内のギャラリーAPPのアイコン905をクリックしたことを検出した後、ノートブックコンピュータは、表示のためにギャラリーAPPをノートブックコンピュータに投影するよう携帯電話に示すために、ギャラリーAPPの識別子（例えば、パッケージ名）を第1の起動メッセージに含め、第1の起動メッセージを携帯電話に送信しうる。

【0169】

もちろん、ユーザが開くつもりのアプリケーションのアイコンがdockバー902に配置されている場合、ユーザはまた、カーソルを操作して、dockバー902上の対応するアプリケーションのアイコンをクリックしてもよい。同様に、ユーザによってアプリケーションのアイコンをクリックする操作に応答して、ノートブックコンピュータは、対応する起動メッセージを携帯電話に送信しえ、起動メッセージは、ユーザによってクリックされた特定のアプリケーションの識別子を含む。

【0170】

S805：第1の起動メッセージに応答して、携帯電話は、第1のアプリケーションの実行中に生成された、第1のアプリケーションのアプリケーションインターフェースの表示データをノートブックコンピュータに送信する。

【0171】

携帯電話がノートブックコンピュータによって送信された第1の起動メッセージを受信した後、携帯電話は、第1の起動メッセージで搬送された、第1のアプリケーション（例えば、ギャラリーAPP）の識別子に基づいて、携帯電話上で実行されているアプリケーションがギャラリーAPPを含むかどうかを問い合わせうる。

【0172】

携帯電話がギャラリーAPPを実行している場合、図12Aに示されているように、ギャラリーAPPの実行中に生成された、ギャラリーAPPのアプリケーションインターフェースの描画命令が、対応するバッファキュー（buffer queue）1に記憶される。例えば、描画命令は、具体的には、GPUレンダリング命令またはopenGL命令などでありうる。描画命令を実行することによって、ギャラリーAPPに対応するアプリケーションインターフェースが描画されうる。この場合、ステップS805において、携帯電話は、ギャラリーAPPの表示データとして、リアルタイムでバッファキュー1に記憶される描画命令をノートブックコンピュータに送信しえ、これにより、ノートブックコンピュータは、描画命令に基づいてギャラリーAPPのアプリケーションインターフェースを描画しうる。

【0173】

あるいは、さらに図12Aに示されているように、ギャラリーAPPの実行中に、SurfaceFlingerが、構成によってギャラリーAPPのアプリケーションインターフェースのフレームデータの各フレームを取得する目的で、バッファキュー1内の描画命令を実行するために呼び出されてもよい。例えば、フレームデータは、具体的には、RGBフォーマットの表示データでありうる。フレームデータは、通常、SurfaceFlingerのフレームバッファ（frame buffer）に記憶される。この場合、ステップS805において、携帯電話は、フレームバッファ内のギャラリーAPPのフレームデータをギャラリーAPPの表示データとしてノートブックコンピュータに送信しえ、これにより、ノートブックコンピュータは、フレームデータに基づいてギャラリーAPPのアプリケーションインターフェースを描画しうる。

【0174】

あるいは、さらに図12Aに示されているように、ギャラリーAPPの実行中にSurfaceFlingerによって出力されたフレームデータは最終的にHWcomposerに送信され、HWcomposerはフレームデータを、ディスプレイに表示されうる画素データ、例えばRGBフォーマットの画素データに変換する。この場合、ステップS805において、携帯電話は、HWcomposerによってリアルタイムで出力されたギャラリーAPPの画素データをギャラリーAPPの表示データとしてノートブックコンピュータに送信しえ、これにより、ノートブックコンピュータは、画素データに基づいてギャラリーAPPのアプリケーションインターフェースを描画しうる。

【0175】

あるいは、さらに図12Aに示されているように、ギャラリーAPPの実行中にSurfaceFlingerによって出力されたフレームデータ（またはHWcomposerによって出力された画素データ）は、ギャラリーAPPのアプリケーションインターフェースに対応する符号化データ、例えばYUVフォーマットの表示データを生成するために、ビデオエンコーダによって符号化および圧縮されてもよい。この場合、ステップS805において、携帯電話は、ビデオエンコーダによってリアルタイムで出力されたギャラリーAPPの符号化データをギャラリーAPPの表示データとしてノートブックコンピュータに送信しえ、これにより、ノートブックコンピュータは、符号化データを復号化した後にギャラリーAPPのアプリケーションインターフェースを描画しえ、データ送信中のデータ送信量が削減されうる。

【0176】

これに対応して、携帯電話が第1の起動メッセージを受信したときギャラリーAPPの実行を開始していない場合、携帯電話は、ギャラリーAPPを起動するためにギャラリーAPPのアプリケーションプロセスを最初に作成しうる。例えば、携帯電話は、ギャラリーAPPをフォアグラウンドで起動してもよいし、ギャラリーAPPをバックグラウンドで起動してもよい。さらに、さらに図12Aに示されているように、起動後のギャラリーAPPの実行中に、携帯電話は、ギャラリーAPPのために生成された描画命令、フレームデータ、符号化データ、または画素データをギャラリーAPPの表示データとしてノートブックコンピュータにリアルタイムで送信しえ、これにより、ノートブックコンピュータは、表示データに基づいてギャラリーAPPのアプリケーションインターフェースを描画しうる。

【0177】

S806：ノートブックコンピュータは、表示データに基づいて第1のアプリケーションの第1のアプリケーションウィンドウを表示する。

【0178】

携帯電話がギャラリーAPPをノートブックコンピュータに投影することが依然として例として使用される。携帯電話によって送信された表示データがギャラリーAPPの実行中に生成された描画命令である場合、描画命令を受信した後、ノートブックコンピュータは、ノートブックコンピュータのGPUまたはグラフィックカードなどの表示モジュールを使用して描画命令を実行しうる。この場合、図12Bに示されているように、ノートブックコンピュータは、描画命令を実行することによって、デスクトップ901上にギャラリーAPPのアプリケーションインターフェース1301（ギャラリーAPPのアプリケーションウィンドウとも呼ばれうる）を描画しうる。携帯電話上で実行されているギャラリーAPPのアプリケーションインターフェースはリアルタイムで更新されうるため、携帯電話は、新しい描画命令をノートブックコンピュータにリアルタイムで送信しえ、ノートブックコンピュータは、デスクトップ901上に、ギャラリーAPPのために表示されるアプリケーションインターフェースをリアルタイムで連続的に描画しうる。

【0179】

あるいは、携帯電話によって送信された表示データがギャラリーAPPの実行中に生成されたフレームデータである場合、フレームデータを受信した後、ノートブックコンピュータはまた、図12Bに示されているアプリケーションインターフェース1301を取得するために、ノートブックコンピュータの表示モジュールを使用してフレームデータに基づいてギャラリーAPPのアプリケーションインターフェースを描画してもよい。

【0180】

あるいは、携帯電話によって送信された表示データがギャラリーAPPの実行中に生成された画素データである場合、画素データを受信した後、ノートブックコンピュータはまた、図12Bに示されているアプリケーションインターフェース1301を取得するために、ノートブックコンピュータの表示モジュールを使用して画素データに基づいてギャラリーAPPのアプリケーションインターフェースを描画してもよい。

【0181】

あるいは、携帯電話によって送信された表示データがギャラリーAPPの実行中に生成された符号化データである場合、符号化データを受信した後、ノートブックコンピュータは、ビデオデコーダ（Media Decoder）を使用して、受信された符号化データを最初に復号化しえ、次に、ノートブックコンピュータは、図12Bに示されているアプリケーションインターフェース1301を取得するために、ノートブックコンピュータの表示モジュールを使用して復号化データに基づいてギャラリーAPPのアプリケーションインターフェースを描画してもよい。

【0182】

一部の他の実施形態では、ノートブックコンピュータが、携帯電話によって送信された表示データに基づいてギャラリーAPPのアプリケーションインターフェース1301を描画した後、図13に示されているように、ノートブックコンピュータは、ギャラリーAPPのアプリケーションインターフェースをウィンドウ形式で表示するために、タイトルバー1401をアプリケーションインターフェース1301に追加しうる。タイトルバー1401およびアプリケーションインターフェース1301は、一緒にギャラリーAPPのアプリケーションウィンドウを形成する。タイトルバー1401は、アプリケーション名1402、最小化ボタン1403、最大化ボタン1404、および閉じるボタン1405などを含みうる。これは、本出願のこの実施形態では限定されない。次に、ノートブックコンピュータに投影されたアプリケーションは、ノートブックコンピュータのオペレーティングシステムの表示方法で表示されうる。これにより、ユーザ体験が改善される。

【0183】

要するに、ステップS801からS806に基づいて、携帯電話は、携帯電話のアプリケーションリストをノートブックコンピュータに投影し、これにより、ユーザは、表示のために携帯電話の必要とされる宛先アプリケーションをノートブックコンピュータに投影しうる。これにより、クロス画面モードにおける異なるデバイス上でのアプリケーションの表示が実施され、クロス画面表示シナリオでのユーザ体験が改善される。

【0184】

S807：第1のアプリケーションウィンドウにおいてユーザによって入力された第1の操作に応答して、ノートブックコンピュータは対応する第1の制御メッセージを携帯電話に送信する。

【0185】

携帯電話がギャラリーAPPをノートブックコンピュータに投影することが依然として例として使用される。ノートブックコンピュータがギャラリーAPPのアプリケーションウィンドウをデスクトップ901に表示した後、ユーザは、携帯電話上で実行されているギャラリーAPPを制御するために、ノートブックコンピュータに表示されたアプリケーションウィンドウを操作しうる。これにより、ノートブックコンピュータ（すなわち、宛先デバイス）上でソースデバイスの関連アプリケーションの様々な機能が実施される。

【0186】

例えば、表示データに基づいてカメラAPPのアプリケーションインターフェース1301を描画するとき、ノートブックコンピュータは、ノートブックコンピュータに表示されるアプリケーションインターフェース1301と、携帯電話上で実行されているカメラAPPの対応するアプリケーションインターフェースとの対応関係を確立しうる。例えば、携帯電話によって送信されたカメラAPPのアプリケーションインターフェースのサイズが300＊400である場合、ノートブックコンピュータは、300＊400のサイズに基づいてアプリケーションインターフェース1301を描画しうる。あるいは、ノートブックコンピュータは、特定の縮尺比に基づいてアプリケーションインターフェース1301を描画してもよい。例えば、ノートブックコンピュータは、600＊800のサイズに基づいてアプリケーションインターフェース1301を描画してもよい。

【0187】

図14に示されているように、ノートブックコンピュータは、直交座標系を確立するためにアプリケーションインターフェース1301の左上の頂点を原点Oとして使用しうる。ノートブックコンピュータに表示されるアプリケーションインターフェース1301は、携帯電話上で実行されているカメラAPPのアプリケーションインターフェースに対応するため、ノートブックコンピュータは、対応関係に基づいて、アプリケーションインターフェース1301内の任意の座標を、携帯電話上で実行されているカメラAPPのアプリケーションインターフェース内の対応する座標に変換しうる。ノートブックコンピュータが、ユーザがアプリケーションインターフェース1301においてクリック操作、ダブルクリック操作、ドラッグ操作、マウススクロール操作、またはキーボード入力操作などを入力したことを検出したとき、ノートブックコンピュータは、対応する制御メッセージを生成し、制御メッセージを携帯電話に送信しうる。

【0188】

制御メッセージは、アプリケーションインターフェース1301が属するアプリケーションの識別子、例えばギャラリーAPPのパッケージ名を含みえ、これにより、携帯電話は、現在の制御メッセージがギャラリーAPPの制御メッセージであることを知る。加えて、制御メッセージは、ユーザによって入力された操作の操作タイプ、例えば、クリック操作、ダブルクリック操作、ドラッグ操作、マウススクロール操作、またはキーボード入力操作をさらに含みうる。

【0189】

操作タイプがクリック操作またはダブルクリック操作として示されるとき、ノートブックコンピュータは、対応する制御メッセージに、ノートブックコンピュータ上のアプリケーションウィンドウ内のクリック操作に対応する座標を含めうる。操作タイプがドラッグ操作として示されるとき、ノートブックコンピュータは、対応する制御メッセージに、ノートブックコンピュータ上のアプリケーションウィンドウ内のドラッグ操作に対応する開始座標および終了座標を含みうる。ノートブックコンピュータに表示されるギャラリーAPPのアプリケーションインターフェース1301のサイズが、携帯電話上で実行されているギャラリーAPPのアプリケーションインターフェースのサイズと同じである場合、前述の座標は、直交座標系における現在の操作に対応する座標でありうる。あるいは、ノートブックコンピュータに表示されるギャラリーAPPのアプリケーションインターフェース1301のサイズが、携帯電話上で実行されているギャラリーAPPのアプリケーションインターフェースのサイズと異なる場合、ノートブックコンピュータは、直交座標系における現在の操作に対応する前述の座標を、携帯電話上で実行されているギャラリーAPPのアプリケーションインターフェース内の対応する座標に変換し、変換された座標を制御メッセージに含めうる。

【0190】

操作タイプがマウススクロール操作として示されるとき、ノートブックコンピュータは、対応する制御メッセージに特定のマウススクロール量を含めうる。操作タイプがキーボード入力操作として示されるとき、ノートブックコンピュータは、対応する制御メッセージに、ユーザによって入力された特定の文字列を含めうる。

【0191】

あるいは、操作タイプがドラッグ操作として示されるとき、ノートブックコンピュータは、ノートブックコンピュータ上のアプリケーションウィンドウにおいて特定の検出頻度でリアルタイムで検出されるカーソルの座標を一連の制御メッセージに含め、一連の制御メッセージを携帯電話に送信してもよい。このようにして、携帯電話は、ギャラリーAPPを制御することによって対応する機能を実施するために、一連の制御メッセージ内の座標に基づいてリアルタイムでアプリケーションインターフェース1301におけるユーザの操作に応答しうる。

【0192】

同様に、操作タイプがマウススクロール操作として示されるとき、ノートブックコンピュータは、現在のマウススクロール操作を携帯電話にリアルタイムで報告するために、マウススクロールホイールが1単位スクロールしたことをノートブックコンピュータが検出するたびに制御メッセージを携帯電話に送信しうる。同様に、携帯電話は、ギャラリーAPPに対して対応する操作を実行するために、受信された一連の制御メッセージに基づいてユーザのマウススクロール操作にリアルタイムで応答しうる。加えて、短時間に大量の制御メッセージを携帯電話に送信することによって生じる、携帯電話の処理性能への影響を回避するために、ノートブックコンピュータは、単位時間当たりに携帯電話に送信される制御メッセージの量の上限（例えば、毎秒10メッセージ）を設定しうる。送信された制御メッセージの数が上限を超えたとき、ノートブックコンピュータは、対応する制御メッセージの生成を停止するか、または冗長制御メッセージを破棄しうる。

【0193】

例えば、さらに図14に示されているように、ユーザがカーソルを制御してアプリケーションインターフェース1301内の写真1501の点Aをクリックしたことを検出した場合、ノートブックコンピュータは、点Aの座標（x，y）を、携帯電話上で実行されているカメラAPPのアプリケーションインターフェース内の対応する座標A’に変換しうる。次に、ノートブックコンピュータは、現在の操作の操作タイプ「クリック操作」、点A’の座標、およびギャラリーAPPのパッケージ名を第1の制御メッセージに含め、第1の制御メッセージを携帯電話に送信しうる。その後、携帯電話は、ギャラリーAPPの対応する動作命令の実行をトリガするために、第1の制御メッセージに基づいて、対応する入力イベントをギャラリーAPPに報告しうる。

【0194】

ユーザは、アプリケーションインターフェース1301において対応する操作を入力しうるだけでなく、アプリケーションインターフェース1301においてタイトルバー1401も操作しうる。例えば、ユーザがタイトルバー1401の最小化ボタン1403をクリックしたことを検出した場合、ノートブックコンピュータは、ギャラリーAPPの最小化されたウィンドウをdockバー902に表示するか、またはタスクバーをデスクトップ901に表示し、アプリケーションインターフェース1301を非表示にしうる。ユーザがタイトルバー1401の最大化ボタン1404をクリックしたことを検出した場合、ノートブックコンピュータは、アプリケーションインターフェース1301をデスクトップ901にタイルモードで表示しうる。ユーザがタイトルバー1401の閉じるボタン1405をクリックしたことを検出した場合、ノートブックコンピュータは、実行されているギャラリーAPPを終了するよう携帯電話をトリガするために、閉じるメッセージを携帯電話に送信しうる。この場合、携帯電話は、ギャラリーAPPのために生成された表示データをノートブックコンピュータにもはや送信せず、ノートブックコンピュータは、タイトルバー1401およびアプリケーションインターフェース1301をもはや表示し続けない。

【0195】

加えて、あるいは、ユーザは、デスクトップ901上のギャラリーAPPのアプリケーションインターフェース1301の位置およびサイズを手動で調整してもよい。例えば、ユーザがデスクトップ901上のアプリケーションインターフェース1301を2倍拡大した場合、ノートブックコンピュータは、デスクトップ901上のアプリケーションインターフェース1301の特定の位置を更新してもよい。次に、ノートブックコンピュータがその後、ユーザがアプリケーションインターフェース1301において対応する操作を入力したことを検出したとき、ノートブックコンピュータは、直交座標系における操作に対応する座標の値を2分の1に減少させて、この操作を、拡大される前のアプリケーションインターフェース1301における操作に復元しうる。その後、ノートブックコンピュータは、2分の1の減少によって取得された座標値を制御メッセージに含め、制御メッセージを携帯電話に送信しうる。

【0196】

S808：第1の制御メッセージに応答して、携帯電話は、第1のアプリケーションに対して、第1の制御メッセージに対応する動作命令を実行する。

【0197】

ユーザがアプリケーションインターフェース1301内の写真1501の点Aをクリックすることが、依然として例として使用される。ノートブックコンピュータによって送信される第1の制御メッセージは、ギャラリーAPPの識別子、現在の操作の操作タイプ「クリック操作」、および携帯電話のディスプレイ上の点A’に対応するクリック位置を含みうる。次に、携帯電話は、第1の制御メッセージを点A’でのユーザのタッチイベントに変換し、タッチイベントをギャラリーAPPに報告しうる。ギャラリーAPPの場合、ギャラリーAPPがタッチイベントを受信した後、ユーザは、実行されているギャラリーAPPの点A’をクリックしており、これは、ユーザが点A’（すなわち、ノートブックコンピュータ上の対応する点A）に対応する写真1501を開きたいことを示していることが理解されよう。この場合、ギャラリーAPPについては、対応する機能が、写真1501を開くための動作命令を実行するために呼び出されうる。

【0198】

ギャラリーAPPに対して、写真1501を開くための動作命令が実行されたとき、新しい表示データ（例えば、前述の描画命令、フレームデータ、または画素データ）が生成される。この場合、携帯電話は、デスクトップ901上のギャラリーAPPのアプリケーションインターフェースを更新するようノートブックコンピュータをトリガするために、ステップS805およびS806で説明された方法を使用して新しい表示データをノートブックコンピュータに引き続き送信しうる。このようにして、ユーザは、ノートブックコンピュータ（すなわち、宛先デバイス）に投影されて表示されたコンテンツを操作しうる。これにより、宛先デバイス上で携帯電話（すなわち、ソースデバイス）の関連アプリケーションの様々な機能が実施される。

【0199】

一部の実施形態では、ノートブックコンピュータによって送信された第1の制御メッセージを受信した後、携帯電話は、フォアグラウンドでのギャラリーAPPの対応する動作命令の実行をトリガしてもよいし、バックグラウンドでのギャラリーAPPの対応する動作命令の実行をトリガしてもよい。図15Aおよび図15Bに示されているように、携帯電話がデスクトップ1601を実行しており、第1の制御メッセージを受信したとき、携帯電話は、ギャラリーAPPをバックグラウンドで実行し、デスクトップ1601をフォアグラウンドで表示している。この場合、第1の制御メッセージを点Aでのユーザのタッチイベントに変換した後、携帯電話は、タッチイベントをバックグラウンドで実行されているギャラリーAPPに報告しうる。次に、バックグラウンドでのタッチイベントに応答して、写真1501を開くための動作命令が、ギャラリーAPPに対して実行されうる。この場合、さらに図15Aおよび図15Bに示されているように、デスクトップ1601をフォアグラウンドで表示しながら、携帯電話は、バックグラウンドでギャラリーAPPのために生成された新しい表示データをノートブックコンピュータに送信し、写真1501が開かれた後にギャラリーAPPのアプリケーションインターフェース1602を表示するようノートブックコンピュータをトリガしうる。要するに、ユーザが関連機能を実施するためにノートブックコンピュータ上で携帯電話のAPPを操作したとき、携帯電話の元の動作ステータスは影響を受けず、ユーザは依然として携帯電話の様々なアプリケーションおよび機能を通常通り操作しうる。

【0200】

一部の実施形態では、携帯電話が携帯電話のアプリケーションリストをノートブックコンピュータに投影した後、ユーザは、ノートブックコンピュータ上でアプリケーションリスト内の複数のアプリケーションを開きうる。これにより、クロス画面モードでの複数のアプリケーションの表示が実施される。例えば、ノートブックコンピュータが第1のアプリケーションの第1のアプリケーションウィンドウを表示した後（すなわち、ステップS806）、ユーザはさらに、ノートブックコンピュータ上でアプリケーションリスト内の第2のアプリケーションを引き続き開きうる。この場合、携帯電話およびノートブックコンピュータはさらに、以下のステップS809からS813を引き続き実行しうる。

【0201】

S809：ユーザによってアプリケーションリストから第2のアプリケーションを選択する操作に応答して、ノートブックコンピュータは、第2の起動メッセージを携帯電話に送信し、第2の起動メッセージは第2のアプリケーションの識別子を含む。

【0202】

ステップS804と同様に、ユーザがノートブックコンピュータ上でアプリケーションリスト904から携帯電話のギャラリーAPPを開いた後、ユーザはさらに、引き続きアプリケーションリスト904を開いて、アプリケーションリスト904から、開かれる必要があるアプリケーションを選択しうる。例えば、図16に示されているように、ユーザが表示のために携帯電話の音楽APPをノートブックコンピュータにさらに投影したい場合、ユーザは、ノートブックコンピュータ上のカーソルを操作して音楽APPのアイコン1701をクリックしうる。ユーザが音楽APPのアイコン1701をクリックしたことを検出した後、ノートブックコンピュータは、音楽APPの識別子を第2の起動メッセージに含め、表示のために音楽APPをノートブックコンピュータに投影するよう携帯電話に示すために、第2の起動メッセージを携帯電話に送信しうる。

【0203】

S810：第2の起動メッセージに応答して、携帯電話は、第2のアプリケーションの実行中に生成された、第2のアプリケーションのアプリケーションインターフェースの表示データをノートブックコンピュータに送信する。

【0204】

S811：ノートブックコンピュータは、表示データに基づいて第2のアプリケーションの第2のアプリケーションウィンドウを表示する。

【0205】

ステップS805およびS806と同様に、ステップS810およびS811において、携帯電話がノートブックコンピュータによって送信された音楽APPの第2の起動メッセージを受信した後、携帯電話が音楽APPを実行していない場合、携帯電話は最初に音楽APPを起動しうる。

【0206】

携帯電話が音楽APPを起動した後、音楽APPを実行するプロセス（このプロセスは、図12Aに示されている携帯電話によってギャラリーAPPを実行するプロセスと同様である）において、図17Aに示されているように、携帯電話は、対応するバッファキュー2内の描画命令を音楽APPの表示データとしてノートブックコンピュータに送信しえ、描画命令は、音楽APPの実行中に生成された。あるいは、携帯電話は、SurfaceFlingerのフレームバッファ内の音楽APPのフレームデータを音楽APPの表示データとしてノートブックコンピュータに送信してもよく、フレームデータは音楽APPの実行中に取得される。あるいは、携帯電話は、音楽APPの画素データを音楽APPの表示データとしてノートブックコンピュータに送信してもよく、画素データは、音楽APPの実行中にリアルタイムでHWcomposerによって出力される。あるいは、携帯電話は、音楽APPの符号化データを音楽APPの表示データとしてノートブックコンピュータに送信してもよく、符号化データは、音楽APPの実行中にリアルタイムでビデオエンコーダによって出力される。

【0207】

ノートブックコンピュータが携帯電話によって送信された音楽APPの表示データを受信した後、図17Bに示されているように、ノートブックコンピュータは、ノートブックコンピュータの表示モジュールを使用して表示データに基づいて音楽APPのアプリケーションインターフェース1801を描画しうる。もちろん、ノートブックコンピュータは、音楽APPのアプリケーションインターフェースをウィンドウの形態で表示するために、タイトルバー1802をアプリケーションインターフェース1801にさらに追加してもよい。この場合、ノートブックコンピュータは、音楽APPのアプリケーションウィンドウとギャラリーAPPのアプリケーションウィンドウとを同時にデスクトップ901に表示しうる。これにより、クロス画面モードでの複数のアプリケーションの表示が実施される。

【0208】

S812：第2のアプリケーションウィンドウにおいてユーザによって入力された第2の操作に応答して、ノートブックコンピュータは対応する第2の制御メッセージを携帯電話に送信する。

【0209】

S813：第2の制御メッセージに応答して、携帯電話は、第2のアプリケーションに対して、第2の制御メッセージに対応する動作命令を実行する。

【0210】

ステップS807およびS808と同様に、ステップS812およびS813において、ノートブックコンピュータが音楽APPのアプリケーションウィンドウをデスクトップ901に表示した後、ユーザは、携帯電話上で実行されている音楽APPを制御するために、ノートブックコンピュータ上の音楽APPのアプリケーションウィンドウを操作しうる。これにより、ノートブックコンピュータ（すなわち、宛先デバイス）上でソースデバイスの関連アプリケーションの様々な機能が実施される。

【0211】

例えば、ユーザが音楽APPのアプリケーションウィンドウにおいて第2の操作を入力したことを検出した場合、ノートブックコンピュータは、音楽APPの識別子、第2の操作の操作タイプ、およびアプリケーションウィンドウ内の第2の操作に対応する座標を第2の制御メッセージに含め、第2の制御メッセージを携帯電話に送信しうる。次に、携帯電話は、第2の制御メッセージを対応するタッチイベントに変換し、タッチイベントを音楽APPに報告しえ、これにより、対応する動作命令を実行するために、音楽APPの対応する機能が呼び出されうる。このようにして、ユーザは、ノートブックコンピュータ（すなわち、宛先デバイス）に投影されて表示されたコンテンツを操作しうる。これにより、宛先デバイス上で携帯電話（すなわち、ソースデバイス）の関連アプリケーションの様々な機能が実施される。

【0212】

本出願の一部の実施形態では、動作中、携帯電話はマルチdisplayモードをサポートしうる。マルチdisplayモードでは、携帯電話は、マルチ画面表示用の1つ以上の外部表示デバイスに異なる表示データを出力しうる。

【0213】

例えば、マルチdisplayモードを有効にした後、携帯電話は、ディスプレイマネージャサービス（DisplayManagerService）の実行を開始しうる。DisplayManagerServiceは、現在接続されている外部表示デバイスによって実行される論理表示を制御するために、携帯電話のローカル表示タイプ、HDMI（登録商標）表示タイプ、およびWIFI Displayプロトコルをサポートする表示タイプなどを含む複数の表示タイプにおける複数のディスプレイによるミラー表示をサポートする。言い換えれば、DisplayManagerServiceは、1つ以上の論理ディスプレイ（以下、displayモジュールと呼ばれうる）を作成および管理しうる。displayモジュールは、携帯電話または外部表示デバイス上の表示データを記憶しうる。

【0214】

例えば、DisplayManagerServiceは、携帯電話のディスプレイのサイズと同じサイズを有するdisplayモジュール1を作成し、携帯電話のディスプレイに表示される必要がある表示データをdisplayモジュール1に送信しうる。これに対応して、携帯電話のディスプレイは、対応するインターフェースを表示するために、displayモジュール1から対応する表示データを取得しうる。

【0215】

別の例では、displayモジュール1に加えて、DisplayManagerServiceはさらに、特定のサイズを有するdisplayモジュール2を作成し、外部表示デバイス1に表示される必要がある1つ以上のアプリケーションの表示データをdisplayモジュール2に送信しうる。これに対応して、外部表示デバイス1は、対応するインターフェースを表示するために、displayモジュール2から対応する表示データを取得しうる。

【0216】

別の例では、displayモジュール1に加えて、DisplayManagerServiceは、displayモジュール2およびdisplayモジュール3をさらに作成しうる。displayモジュール2およびdisplayモジュール3は、いずれも外部表示デバイス1に対応する。displayモジュール2は、アプリケーション1の表示データを記憶するように構成されえ、displayモジュール3は、アプリケーション2の表示データを記憶するように構成されうる。これに対応して、外部表示デバイス1は、表示のためにdisplayモジュール2からアプリケーション1の表示データを取得しえ、外部表示デバイス1は、表示のためにdisplayモジュール2からアプリケーション2の表示データを取得しうる。

【0217】

図18に示されているように、携帯電話が各アプリケーションを実行するとき、携帯電話のHWcomposerは、SurfaceFlingerによって出力されたフレームデータを画素データに変換しうる。次に、HWcomposerは、各アプリケーションの画素データを表示データとして対応するdisplayモジュールに記憶しうる。HWcomposerに加えて、携帯電話内のグラフィック処理機能を有する他のハードウェア（例えば、GPU）またはソフトウェアモジュールもまた、SurfaceFlingerによって出力されたフレームデータを画素データに変換し、画素データを対応するdisplayモジュールに記憶しうる。加えて、各displayモジュールに記憶される表示データは、ビデオエンコーダ（図示せず）による符号化によって取得された符号化データであってもよいし、ビデオエンコーダによって符号化されていないデータであってもよい。これは、本出願のこの実施形態では限定されない。

【0218】

さらに図18に示されているように、携帯電話のdisplayモジュール1は、携帯電話によって表示される必要がある1つ以上のアプリケーションの表示データを記憶するように設定されうる。言い換えれば、ユーザが携帯電話上で1つ以上のアプリケーション（例えば、アプリケーション1）を開いたとき、携帯電話は、アプリケーション1の実行中に生成された表示データ（例えば、画素データ）をdisplayモジュール1に記憶しうる。これに対応して、携帯電話のディスプレイは、対応するアプリケーションインターフェースを表示するために、displayモジュール1からアプリケーション1の画素データを取得しうる。

【0219】

加えて、displayモジュール1以外の携帯電話の各表示モジュール（例えば、displayモジュール2およびdisplayモジュール3）は、外部表示デバイス1によって表示される必要がある各アプリケーションを記憶するように設定される。言い換えれば、携帯電話は、外部表示デバイス1によって表示される必要がある1つ以上のアプリケーションの表示データを対応する表示モジュールに別々に記憶しうる。例えば、アプリケーション2が外部表示デバイス1に表示される必要があるとき、携帯電話は、アプリケーション2のために生成された表示データをdisplayモジュール2に記憶しうる。アプリケーション3も外部表示デバイス1に表示される必要がある場合、携帯電話は、アプリケーション3のために生成された表示データをdisplayモジュール3に記憶しうる。外部表示デバイス1は、対応するアプリケーションインターフェースを外部表示デバイス1に表示するために、displayモジュール2およびdisplayモジュール3からAPPの表示データを別々に取得しうる。

【0220】

本出願の一部の実施形態では、ノートブックコンピュータ（すなわち、宛先デバイス）は、携帯電話の外部表示デバイス（例えば、外部表示デバイス1）として使用されうる。携帯電話がノートブックコンピュータによって送信された1つ以上のアプリケーションの起動メッセージを受信した後、携帯電話は、マルチdisplayモードに入り、DisplayManagerServiceを実行しうる。この場合、さらに図18に示されているように、携帯電話は、携帯電話のディスプレイに出力される必要があるアプリケーション1の関連する表示データをdisplayモジュール1に記憶しうる。加えて、携帯電話がノートブックコンピュータによって送信されたアプリケーション2の起動メッセージを受信した場合、携帯電話は、アプリケーション2の実行を開始し、アプリケーション2の実行中に生成された表示データをdisplayモジュール2に記憶しうる。

【0221】

以下では、図21に示されているように、ノートブックコンピュータは、通信モジュール2101と、ビデオ復号化モジュール2102と、取り込みモジュール2103と、表示モジュール2104とを含みうる。通信モジュール2101は、携帯電話のdisplayモジュール2から、アプリケーション2のためにリアルタイムで生成される表示データを取得しうる。表示データがビデオエンコーダによって符号化されたデータである場合、ビデオ復号化モジュール2102は表示データを復号化しうる。アプリケーション2の表示データをdisplayモジュール2に記憶するとき、携帯電話は、全画面モードでアプリケーション2の表示データをdisplayモジュール2に記憶してもよいし、特定のウィンドウサイズに基づいてdisplayモジュール2の特定の位置でアプリケーション2の表示データを記憶してもよい。携帯電話は、アプリケーション2の表示データの位置情報をノートブックコンピュータの通信モジュール2101にさらに送信しうる。例えば、displayモジュール2は、400＊600のサイズを有するディスプレイに対応し、携帯電話によるアプリケーション2の実行中に生成された表示データに対応するアプリケーションウィンドウのサイズは100＊200であり、400＊600のサイズを有するディスプレイに対するアプリケーションウィンドウの左上の頂点の座標は（0，0）である。この場合、携帯電話がアプリケーション2を実行するとき、携帯電話は、アプリケーション2に対応するアプリケーションウィンドウのサイズ（100＊200）およびアプリケーションウィンドウの左上の頂点の座標（0，0）を、表示データの位置情報としてノートブックコンピュータに送信しうる。

【0222】

この場合、ノートブックコンピュータの取り込みモジュール2103は、位置情報に基づいてdisplayモジュール2からアプリケーション2のアプリケーションウィンドウに対応する表示データを取り込みえ、次に、表示モジュール2104は、表示データに基づいてノートブックコンピュータ上でアプリケーション2のアプリケーションウィンドウを描画する。これにより、クロス画面モードにおける異なるデバイス上でのアプリケーションの表示が実施される。

【0223】

加えて、ノートブックコンピュータがアプリケーション2のアプリケーションインターフェースを表示するとき、ユーザはさらに、ノートブックコンピュータ上で携帯電話の別のアプリケーション（例えば、アプリケーション3）を引き続き開きうる。携帯電話がノートブックコンピュータによって送信されたアプリケーション3の開始メッセージを受信した場合、携帯電話は、アプリケーション3の実行を開始し、アプリケーション3の実行中に生成された表示データをdisplayモジュール3に記憶しうる。同様に、ノートブックコンピュータの通信モジュール2101は、displayモジュール3から、アプリケーション3のためにリアルタイムで生成される表示データを取得しえ、ビデオ復号化モジュール2102および取り込みモジュール2103は、それぞれdisplayモジュール3内の表示データを復号化し取り込み、最後に、表示モジュール2104は、取り込まれた表示データに基づいてノートブックコンピュータ上でアプリケーション3のアプリケーションインターフェースを描画する。この場合、ノートブックコンピュータは、アプリケーション1のアプリケーションインターフェースとアプリケーション2のアプリケーションインターフェースとを同時に表示しうる。これにより、クロス画面モードでの複数のアプリケーションの表示が実施される。

【0224】

一部の他の実施形態では、図19に示されているように、displayモジュール1以外の携帯電話の各displayモジュール（例えば、displayモジュール2およびdisplayモジュール3）は、1つの外部表示デバイスに対応するように設定されうる。この場合、displayモジュール2が例として使用される。displayモジュール2は、外部表示デバイス（例えば、外部表示デバイス1）に表示される必要がある1つ以上のアプリケーションの表示データを記憶しうる。

【0225】

さらに図19に示されているように、携帯電話の外部表示デバイス1としてノートブックコンピュータ（すなわち、宛先デバイス）が使用されることが例として使用される。携帯電話は、携帯電話のディスプレイに出力される必要があるアプリケーション1の関連する表示データをdisplayモジュール1に記憶しうる。加えて、携帯電話がノートブックコンピュータによって送信されたアプリケーション2の起動メッセージを受信した場合、携帯電話は、アプリケーション2の実行を開始し、アプリケーション2の実行中に生成された表示データをdisplayモジュール2に記憶しうる。その後、ノートブックコンピュータは、displayモジュール2から、アプリケーション2のためにリアルタイムで生成される表示データを取得し、表示データに基づいてノートブックコンピュータ上でアプリケーション2のアプリケーションインターフェースを描画しうる。これにより、クロス画面モードにおける異なるデバイス上でのアプリケーションの表示が実施される。

【0226】

違いは、以下に、すなわち、ノートブックコンピュータがアプリケーション2のアプリケーションインターフェースを表示するときに、携帯電話がノートブックコンピュータによって送信されたアプリケーション3の起動メッセージを受信した場合、携帯電話はアプリケーション3の実行を開始し、また、アプリケーション3の実行中に生成されたデータをdisplayモジュール2に記憶し表示しうることにある。言い換えれば、ノートブックコンピュータに表示される必要があるすべてのアプリケーションの表示データは、対応するdisplayモジュール2に記憶される。

【0227】

displayモジュール2がアプリケーション2のアプリケーションインターフェースの表示データとアプリケーション3のアプリケーションインターフェースの表示データとの両方を含むとき、アプリケーション2のアプリケーションインターフェースとアプリケーション3のアプリケーションインターフェースとは、displayモジュール2において重なってもよい。したがって、携帯電話は、ユーザによって現在操作されているアプリケーション3のアプリケーションインターフェースの、displayモジュール2に対する位置情報をノートブックコンピュータにさらに送信しうる。このようにして、ノートブックコンピュータがdisplayモジュール2内の表示データを取得した後、ノートブックコンピュータの取り込みモジュール2103は、位置情報に基づいて、アプリケーション3のアプリケーションインターフェースに対応する表示データを取り込みうる。次に、ノートブックコンピュータは、取り込まれた表示データに基づいてアプリケーション3のアプリケーションインターフェースを描画しうる。これにより、クロス画面モードでの複数のアプリケーションの表示が実施される。

【0228】

あるいは、displayモジュール2において、ノートブックコンピュータによって表示される必要がある異なるアプリケーションに対して異なる表示テンプレートが予め設定されてもよい。例えば、ノートブックコンピュータが携帯電話の1つのアプリケーションのみを表示する必要があるとき、displayモジュール2内のすべての表示空間は、アプリケーションの表示データを記憶するように設定されてもよい。ノートブックコンピュータが携帯電話のアプリケーション1とアプリケーション2とを同時に表示する必要があるとき、displayモジュール2の表示空間は、等しいサイズを有する空間1および空間2に分割されてもよい。空間1は、アプリケーション1の表示データを記憶するために使用され、空間2は、アプリケーション2の表示データを記憶するために使用される。

【0229】

図20に示されているように、ノートブックコンピュータがアプリケーション2のアプリケーションインターフェースを表示するときに、携帯電話がノートブックコンピュータによって送信されたアプリケーション3の起動メッセージを受信した場合、携帯電話は、アプリケーション2の実行中に生成された表示データをdisplayモジュール2の空間1に記憶し、アプリケーション3の実行中に生成された表示データをdisplayモジュール2の空間2に記憶しうる。このようにして、displayモジュール2内の異なるアプリケーションの表示データにおいて遮蔽が発生しない。その後、ノートブックコンピュータは、displayモジュール2の空間1から、アプリケーション2のためにリアルタイムで生成された表示データを取得し、表示データに基づいてノートブックコンピュータ上でアプリケーション2のアプリケーションインターフェースを描画しえ、ノートブックコンピュータは、displayモジュール2の空間2から、アプリケーション3のためにリアルタイムで生成された表示データを取得し、表示データに基づいてノートブックコンピュータ上でアプリケーション3のアプリケーションインターフェースを描画しうる。これにより、クロス画面モードでの複数のアプリケーションの表示が実施される。

【0230】

もちろん、ノートブックコンピュータがアプリケーション1のアプリケーションインターフェースまたはアプリケーション2のアプリケーションインターフェースを表示した後、ユーザは、ノートブックコンピュータ（すなわち、宛先デバイス）上で携帯電話の関連アプリケーションを制御する機能を実施するために、前述の実施形態の関連する説明に従って、ウィンドウをドラッグする操作、最大化操作、最小化操作、またはアプリケーションインターフェース内のコントロールをクリックする操作などの関連する操作をさらに入力しうる。これは、本出願のこの実施形態では限定されない。

【0231】

図22に示されているように、本出願の一実施形態は、ソースデバイス、例えば前述の携帯電話を開示する。ソースデバイスは、具体的には、タッチセンサ2206およびディスプレイ2207を含むタッチ画面2201と、1つ以上のプロセッサ2202と、メモリ2203と、通信モジュール2208と、1つ以上のアプリケーション（図示せず）と、1つ以上のコンピュータプログラム2204とを含みうる。これらの構成要素は、1つ以上の通信バス2205を使用して接続されうる。1つ以上のコンピュータプログラム2204は、メモリ2203に記憶され、1つ以上のプロセッサ2202によって実行されるように構成される。1つ以上のコンピュータプログラム2204は命令を含む。命令は、前述の実施形態においてソースデバイスによって実行される関連ステップを実行するために使用されうる。

【0232】

任意選択で、ソースデバイスは、NFCチップまたは電子ラベルなどの別の構成要素をさらに含んでもよい。これは、本出願のこの実施形態では限定されない。

【0233】

図23に示されているように、本出願の一実施形態は、宛先デバイス、例えば前述のノートブックコンピュータを開示する。宛先デバイスは、具体的には、ディスプレイ2301と、1つ以上のプロセッサ2302と、メモリ2303と、通信モジュール2306と、1つ以上のアプリケーション（図示せず）と、1つ以上のコンピュータプログラム2304とを含みうる。これらの構成要素は、1つ以上の通信バス2305を使用して接続されうる。1つ以上のコンピュータプログラム2304は、メモリ2303に記憶され、1つ以上のプロセッサ2302によって実行されるように構成される。1つ以上のコンピュータプログラム2304は命令を含む。命令は、前述の実施形態において宛先デバイスによって実行される関連ステップを実行するために使用されうる。

【0234】

任意選択で、宛先デバイスは、キーボード、タッチセンサ、NFCチップ、または電子ラベルなどの別の構成要素をさらに含んでもよい。これは、本出願のこの実施形態では限定されない。

【0235】

実施態様に関する前述の説明は、当業者が、簡便な説明のために前述の機能モジュールへの分割が例示のための例として用いられていることを理解することを可能にする。実際の用途では、前述の機能は、要求に応じて異なるモジュールに割り当てられて実施されうる、すなわち、装置の内部構造は、上記で説明された機能の全部または一部を実施するために異なる機能モジュールに分割される。前述のシステム、装置、およびユニットの詳細な動作プロセスについては、前述の方法の実施形態における対応するプロセスを参照されたく、ここでは詳細は再び説明されない。

【0236】

本出願の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよいし、各ユニットは物理的に単独で存在してもよいし、2つ以上のユニットが1つのユニットに統合される。統合ユニットは、ハードウェアの形態で実施されてもよいし、ソフトウェア機能ユニットの形態で実施されてもよい。

【0237】

統合ユニットが、ソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用されるとき、統合ユニットは、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本質的に本出願の実施形態の技術的ソリューション、または従来技術に寄与する部分、または技術的ソリューションの全部もしくは一部は、ソフトウェア製品の形態で実施されてもよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ、もしくはネットワークデバイスなどであってもよい）またはプロセッサに、本出願の実施形態で説明された方法のステップの全部または一部を実行するように命令するためのいくつかの命令を含む。前述の記憶媒体は、フラッシュメモリ、リムーバブルハードディスク、読み出し専用メモリ、ランダムアクセスメモリ、磁気ディスク、または光ディスクなどの、プログラムコードを記憶しうる任意の媒体を含む。

【0238】

前述の説明は、本出願の実施形態の特定の実施態様にすぎず、本出願の実施形態の保護範囲を限定することを意図されていない。本出願の実施形態に開示されている技術的範囲内のいかなる変形または置換も、本出願の実施形態の保護範囲内にあるものとする。したがって、本出願の実施形態の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

【符号の説明】

【0239】

101 第1の電子デバイス
102 第2の電子デバイス
110 プロセッサ
120 外部メモリインターフェース
121 内部メモリ
130 USBポート
150 移動通信モジュール
160 ワイヤレス通信モジュール
170 オーディオモジュール
170A スピーカ
170B 受話器
170C マイクロフォン
170D ヘッドセットジャック
180 センサモジュール
193 カメラ
194 ディスプレイ
200 マルチ画面共働システム
201 電子ラベル
301 デスクトップ
302 アイコン
303 アイコン
304 スタートメニュー
305 「すべてのアプリ」オプション
401 ボタン
402 アプリケーションリスト
701 音楽APP
901 デスクトップ
902 dockバー
903 ボタン
904 アプリケーションリスト
905 アイコン
1001 アイコン
1002 アイコン
1101 アイコン
1102 アイコン
1103 追加ボタン
1301 アプリケーションインターフェース
1401 タイトルバー
1402 アプリケーション名
1403 最小化ボタン
1404 最大化ボタン
1405 閉じるボタン
1501 写真
1601 デスクトップ
1602 アプリケーションインターフェース
1701 アイコン
1801 アプリケーションインターフェース
1802 タイトルバー
2101 通信モジュール
2102 ビデオ復号化モジュール
2103 取り込みモジュール
2104 表示モジュール
2201 タッチ画面
2202 プロセッサ
2203 メモリ
2204 コンピュータプログラム
2205 通信バス
2206 タッチセンサ
2207 ディスプレイ
2208 通信モジュール
2301 ディスプレイ
2302 プロセッサ
2303 メモリ
2304 コンピュータプログラム
2305 通信バス
2306 通信モジュール

【図1】

【図2】

【図3A(1)】

【図3A(2)】

【図3B】

【図3C】

【図4(a)】

【図4(b)】

【図5】

【図6】

【図7】

【図8】

【図9(a)】

【図9(b)】

【図10】

【図11(a)】

【図11(b)】

【図12A】

【図12B】

【図13】

【図14】

【図15A】

【図15B】

【図16】

【図17A】

【図17B】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】