IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 中興通訊股▲ふん▼有限公司の特許一覧

特許7498800画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体
<>
  • 特許-画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体 図1
  • 特許-画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体 図2
  • 特許-画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体 図3
  • 特許-画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体 図4
  • 特許-画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体 図5
  • 特許-画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-04
(45)【発行日】2024-06-12
(54)【発明の名称】画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体
(51)【国際特許分類】
   H04N 21/436 20110101AFI20240605BHJP
【FI】
H04N21/436
【請求項の数】 6
(21)【出願番号】P 2022572724
(86)(22)【出願日】2021-07-06
(65)【公表番号】
(43)【公表日】2023-06-28
(86)【国際出願番号】 CN2021104752
(87)【国際公開番号】W WO2022028189
(87)【国際公開日】2022-02-10
【審査請求日】2022-11-25
(31)【優先権主張番号】202010777220.0
(32)【優先日】2020-08-05
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】511151662
【氏名又は名称】中興通訊股▲ふん▼有限公司
【氏名又は名称原語表記】ZTE CORPORATION
【住所又は居所原語表記】ZTE Plaza,Keji Road South,Hi-Tech Industrial Park,Nanshan Shenzhen,Guangdong 518057 China
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(74)【代理人】
【識別番号】110002505
【氏名又は名称】弁理士法人航栄事務所
(72)【発明者】
【氏名】チュー ユンロン
【審査官】富樫 明
(56)【参考文献】
【文献】特開2012-019413(JP,A)
【文献】特開2015-165669(JP,A)
【文献】特開2009-049498(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
クライアント端末を検索するための検索ファイルを送信するステップであって、前記検索ファイルがサービス端末のデバイス識別子と、目標クライアント端末を選択するためのパラメータを含む、サービス端末の構成パラメータとを含むというステップと、
前記クライアント端末が返した検索応答メッセージを受信するステップであって、前記検索応答メッセージが前記クライアント端末のデバイス識別子とデバイスパラメータとを含むというステップと、
前記検索応答メッセージに基づいて画面ミラーリング条件を満たす目標クライアント端末を確定するステップと、
前記目標クライアント端末に画面ミラーリングファイルを送信するステップと、を含み、
前記検索応答メッセージに基づいて画面ミラーリング条件を満たす目標クライアント端末を確定するステップは、
前記クライアント端末のデバイスパラメータとデバイス識別子に基づいてクライアント端末リストを生成するステップであって、前記クライアント端末リストが、予め設定された優先順位で並べられた少なくとも1つのクライアント端末を含むというステップと、
前記クライアント端末リストから優先度の低いクライアント端末を隠すステップと、
前記サービス端末の構成パラメータに基づいて前記クライアント端末リストから前記目標クライアント端末を確定するステップと、を含む、
画面ミラーリング方法。
【請求項2】
前記クライアント端末が返した検索応答メッセージを受信した後、前記サービス端末の構成パラメータと前記クライアント端末が返したデバイスパラメータに基づいて通信方式を確定し、前記サービス端末と前記クライアント端末に前記の通信方式にて通信させるというステップをさらに含む、
請求項1に記載の方法。
【請求項3】
前記構成パラメータは、画面サイズ、解像度、システムバージョン、地域特性のうちの1つまたは複数のパラメータを含む、
請求項1からのいずれか1項に記載の方法。
【請求項4】
クライアント端末を検索するための検索ファイルを外部に送信するように構成され、前記検索ファイルが、ランダムに生成されたサービス端末のデバイス識別子と、目標クライアント端末を選択するためのパラメータを含む、サービス端末の構成パラメータとを含む、サービス端末送信モジュールと、
前記クライアント端末が返した検索応答メッセージを受信するように構成され、前記検索応答メッセージが前記クライアント端末のデバイス識別子とデバイスパラメータとを含む、サービス端末受信モジュールと、
前記検索応答メッセージに基づいて画面ミラーリング条件を満たす目標クライアント端末を確定するように構成されるサービス端末確定モジュールと、を含み、
サービス端末送信モジュールは、前記目標クライアント端末に画面ミラーリングファイルを送信するようにさらに構成され、
前記検索応答メッセージに基づいて画面ミラーリング条件を満たす目標クライアント端末を確定することは、
前記クライアント端末のデバイスパラメータとデバイス識別子に基づいてクライアント端末リストを生成することであって、前記クライアント端末リストが、予め設定された優先順位で並べられた少なくとも1つのクライアント端末を含むということと、
前記クライアント端末リストから優先度の低いクライアント端末を隠すことと、
前記サービス端末の構成パラメータに基づいて前記クライアント端末リストから前記目標クライアント端末を確定することと、を含む、
画面ミラーリング装置。
【請求項5】
1つまたは複数のプロセッサと、
1つまたは複数のコンピュータプログラムが記憶され、前記1つまたは複数のコンピュータプログラムが前記1つまたは複数のプロセッサで実行されると、前記1つまたは複数のプロセッサが請求項1からのいずれか1項に記載の方法を実現するメモリと、
前記プロセッサと前記メモリとの間に接続され、前記プロセッサとメモリとの情報のやりとりを実現するように構成される1つまたは複数のI/Oインターフェースと、を備える、
電子デバイス。
【請求項6】
コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、請求項1からのいずれか1項に記載の方法を実現する、
コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2020年8月5日に提出された中国特許出願202010777220.0号の優先権を主張し、当該出願の内容を引用をもってここに援用する。
【0002】
本願は、インターネット、スマート端末技術分野に関わるものであり、特に、画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体に関するものである。
【背景技術】
【0003】
画面ミラーリングとは、あるデバイス上のメディアファイルをその他のデバイスに配信して再生/表示することをいう。例えば、現在の携帯電話上のビデオまたは画像をその他の携帯電話、コンピュータまたはスマートテレビに配信して再生/表示することにより、ユーザは、現在の携帯電話上のビデオまたは画像をその他の携帯電話、コンピュータまたはスマートテレビで見ることができる。
【0004】
現在の画面ミラーリングは、サービス端末とクライアント端末との間の接続を確立した後にビデオまたは画像を伝送することに依存するものであり、ビデオストリームの伝送過程での伝送パラメータ解析には、いくつかの画面ミラーリング表示の問題が存在し得る。このほか、クライアント端末が必ずしも画面ミラーリング対象であるとは限らないという問題が生じることもあり得、つまり、画面ミラーリングを受け入れる必要のないデバイスも画面ミラーリングファイルを受信するということは、ネットワークリソースの浪費を招くことになる。
【発明の概要】
【課題を解決するための手段】
【0005】
第1の態様において、本願の実施例は、クライアント端末を検索するための検索ファイルを送信するステップであって、前記検索ファイルが、ランダムに生成されたサービス端末のデバイス識別子と、目標クライアント端末を選択するためのパラメータを含む、サービス端末の構成パラメータとを含むというステップと、前記クライアント端末が返した検索応答メッセージを受信するステップであって、前記検索応答メッセージが前記クライアント端末のデバイス識別子とデバイスパラメータとを含むというステップと、前記検索応答メッセージに基づいて画面ミラーリング条件を満たす目標クライアント端末を確定するステップと、前記目標クライアント端末に画面ミラーリングファイルを送信するステップと、を含む、画面ミラーリング方法を提供する。
【0006】
第2の態様において、本願の実施例は、サービス端末が発する検索ファイルを検知するステップであって、前記検索ファイルが、ランダムに生成されたサービス端末のデバイス識別子と、目標クライアント端末を選択するためのパラメータを含む、サービス端末の構成パラメータとを含むというステップと、前記検索ファイルを検知したときに、前記検索ファイルに基づいて検索応答メッセージを生成して前記サービス端末に返すステップであって、前記検索応答メッセージが前記クライアント端末のデバイス識別子とデバイスパラメータとを含むというステップと、前記サービス端末が発した画面ミラーリングファイルを受信するステップと、を含む、画面ミラーリング方法を提供する。
【0007】
第3の態様において、本願の実施例は、クライアント端末を検索するための検索ファイルを外部に送信するように構成され、前記検索ファイルが、ランダムに生成されたサービス端末のデバイス識別子と、目標クライアント端末を選択するためのパラメータを含む、サービス端末の構成パラメータとを含む、サービス端末送信モジュールと、前記クライアント端末が返した検索応答メッセージを受信するように構成され、前記検索応答メッセージが前記クライアント端末のデバイス識別子とデバイスパラメータとを含む、サービス端末受信モジュールと、前記検索応答メッセージに基づいて画面ミラーリング条件を満たす目標クライアント端末を確定するように構成されるサービス端末確定モジュールと、を含み、サービス端末送信モジュールは、前記対象クライアント端末に画面ミラーリングファイルを送信するようにさらに構成される、画面ミラーリング装置を提供する。
【0008】
第4の態様において、本願の実施例は、サービス端末が発した検索ファイルを受信するように構成され、前記検索ファイルが、ランダムに生成されたサービス端末のデバイス識別子と、目標クライアント端末を選択するためのパラメータを含む、サービス端末の構成パラメータとを含む、クライアント端末受信モジュールと、前記サービス端末に検索応答メッセージを返すように構成され、前記検索応答メッセージが前記クライアント端末のデバイス識別子とデバイスパラメータとを含む、クライアント端末送信モジュールと、を含み、前記クライアント端末受信モジュールは、前記サービス端末が送信した画面ミラーリングファイルを受信するようにさらに構成される、画面ミラーリング装置を提供する。
【0009】
第5の態様において、本願の実施例は、
1つまたは複数のプロセッサと、
1つまたは複数のコンピュータプログラムが記憶され、前記1つまたは複数のコンピュータプログラムが前記1つまたは複数のプロセッサで実行されると、前記1つまたは複数のプロセッサが前述の画面ミラーリング方法を実現するメモリと、
前記プロセッサと前記メモリとの間に接続され、前記プロセッサとメモリとの情報のやりとりを実現するように構成される1つまたは複数のI/Oインターフェースと、を備える、電子デバイスを提供する。
【0010】
第6の態様において、本願の実施例は、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、前述の画面ミラーリング方法を実現する、コンピュータ読み取り可能な記憶媒体を提供する。
【図面の簡単な説明】
【0011】
図1】本願の実施例が提供する画面ミラーリング方法のフローチャートである。
図2】本願の実施例が提供する画面ミラーリング方法のフローチャートである。
図3】本願の実施例が提供する画面ミラーリング装置の原理ブロック図である。
図4】本願の実施例が提供する画面ミラーリング装置の原理ブロック図である。
図5】本願の実施例が提供する画面ミラーリング方法のフローチャートである。
図6】本願の実施例が提供する電子デバイスの原理ブロック図である。
【発明を実施するための形態】
【0012】
本願の技術案を当業者がよりよく理解できるように、以下では、本願が提供する画面ミラーリング方法および装置、電子デバイスならびにコンピュータ読み取り可能な記憶媒体について、図面を組み合わせて詳細に説明する。
【0013】
下文では図面を参照しながら例示的な実施例について詳しく説明するが、説明する例示的な実施例は、異なる態様により体現することができるものであって、本明細書で述べる実施例に限定されると解釈してはならない。これらの実施例を提供する目的は、本願を詳らかにかつ完全なものとして、当業者が本願の範囲を十分理解できるようにすることである。
【0014】
本明細書で用いる「および/または」という用語は、1つまたは複数の関連して列挙される項目の任意のおよびすべての組み合わせを含む。
【0015】
本明細書で用いる用語は特定の実施例を説明するためのものに過ぎず、本願を制限することを意図しない。本明細書において、文脈上明らかでない限り、単数形の「1つ」および「当該」は複数形も含むことを意図している。また、本明細書において「含む」および/または「……からなる」という用語を使用する際は、特定の特徴、全体、ステップ、操作、素子および/または構成要素が存在することを示すが、1つまたは複数のその他の特徴、全体、ステップ、操作、素子、構成要素および/またはそのグループが存在すること、またはそれらが追加されることを排除するものではない。
【0016】
特に限定しない限り、本明細書で用いる全ての用語(技術用語および科学用語を含む)は、当業者によって通常理解されるものと同じ意味を有する。また、常用の辞書で限定されている用語については、関連技術および本願の背景におけるものと同じ意味を有すると理解されるべきであり、本明細書で明らかに限定されない限り、理想化された意味または過度の形式的な意味を有すると解釈されるべきではない。
【0017】
デバイス間で画面ミラーリングを行う前に、サービス端末とクライアント端末は接続を確立し、次いで、クライアント端末が画面ミラーリングを行うために、クライアント端末に画面ミラーリングファイルを送信する必要がある。構成ファイルは画面ミラーリングファイルとともにクライアント端末デバイスに送信されるため、サービス端末はクライアント端末を制御できず、一部の不要なクライアント端末が画面ミラーリングファイルを受信し、ネットワークリソースを浪費してしまう。
【0018】
以下の各実施例において、サービス端末は送信側とも呼ぶことができ、クライアント端末は受信側とも呼ぶことができる。クライアント端末は画面ミラーリングファイルを送信し、クライアント端末は画面ミラーリングファイルを受信して表示する。
【0019】
第1の態様において、本願の実施例は、サービス端末、つまり、画面ミラーリングファイルを提供する側に適用される画面ミラーリング方法を提供する。図1は本願の実施例が提供する画面ミラーリング方法のフローチャートである。図1に示すように、画面ミラーリング方法は以下のステップ101~104を含んでよい。
【0020】
ステップ101:クライアント端末を検索するための検索ファイルを送信する。
【0021】
検索ファイルはサービス端末のデバイス識別子とサービス端末の構成パラメータとを含み、サービス端末のデバイス識別子はランダムに生成してよく、サービス端末の構成パラメータは目標クライアント端末を選択するためのパラメータを含み、つまり、サービス端末は構成パラメータに基づいて目標クライアント端末を選択してよい。当然ながら、その他の実施の形態において、サービス端末のデバイス識別子は予め設定された規則に従って生成してもよい。
【0022】
いくつかの実施の形態において、サービス端末とクライアント端末は互いに接続するために、それぞれがデバイス識別子ipを生成して、検索段階においてデバイス識別子を相手に送信する必要がある。
【0023】
いくつかの実施の形態において、サービス端末はランダムにipを生成してよく、ipの生成方式には既存の方式を採用することができ、本願はこれについて限定しない。サービス端末はipを生成した後、ipと構成パラメータに基づいて検索ファイルを生成する。構成パラメータは手動で入力してもよく、バックグラウンドで自動生成してもよい。
【0024】
いくつかの実施の形態において、構成パラメータは地域特性を含んでよく、地域特性によりクライアント端末をフィルタリングし、特定地域のクライアント端末を除外するか、または特定地域のクライアント端末のみを選択することができる。例えば、地域特性を地域A接続特性として設定した場合、サービス端末が検索ファイルを発した後、地域Aに位置するクライアント端末のみが検索ファイルを受信してこれとの接続を確立することができる。言い換えれば、構成パラメータはフィルタリングメカニズムに相当し、接続確立段階において事前に一部のクライアント端末を隠しておき、その後の画面ミラーリングファイル伝送過程においてネットワークリソース占有量を削減することができる。
【0025】
いくつかの実施の形態において、クライアント端末の構成パラメータによりクライアント端末リストを生成してよく、つまり、クライアント端末のデバイスパラメータとデバイス識別子に基づいてクライアント端末リストを生成し、クライアント端末リストは、予め設定された優先順位に従って並べられたリストであってよく、クライアント端末リストには少なくとも1つのクライアント端末が含まれ、優先順位は、A領域の優先順位を高、B領域の優先順位を中、C領域の優先順位を低とするというように、地域に応じて設定することができる。いくつかの実施の形態では、サービス端末の構成パラメータに基づいてクライアント端末リストから目標クライアント端末を選択することにより、優先順位の低いクライアント端末を隠すことができ、差別化された配置効果を達成し、後続のネットワークリソース占有量を低減することができる。
【0026】
いくつかの実施の形態において、サービス端末はクライアント端末のデバイスパラメータに基づいてクライアント端末の優先度を配列することができる。例えば、表示に適さないクライアント端末を低優先度、表示に適したクライアント端末を高優先度に設定する。クライアント端末の優先度に応じてクライアント端末リストを生成する。サービス端末は、接続確立段階においてクライアント端末をフィルタリングし、優先度の低いクライアント端末を隠すことができる。
【0027】
いくつかの実施の形態において、サービス端末の構成パラメータは、デバイスタイプ、すなわち、サービス端末のデバイスタイプを含んでよく、デバイスタイプに対して構成パラメータを調整し、その後のデータのやり取りの過程における固定パラメータに対して動的に増加または削除を行い、サービス端末は、不適切なクライアント端末を能動的に隠し、または、不適切なクライアント端末の優先度を下げることによって、差別化された配置効果を達成し、後続のネットワークリソース占有量を低減する。
【0028】
いくつかの実施の形態において、サービス端末の構成パラメータは、システムバージョン、画面サイズまたは解像度のうちの1つまたは複数のパラメータを含んでよい。サービス端末は、ip検索段階において、自らのシステムバージョン、画面サイズまたは画面ミラーリング解像度をクライアント端末に送信することができ、クライアント端末はシステムバージョンに基づいてサービス端末からの画面ミラーリングリクエストをサポートするかどうかを判定することができ、画面サイズと解像度に基づいてクライアント端末表示デバイスの画面サイズおよび解像度を調整することができる。システムバージョンとは、オペレーティングシステムのバージョンであって、携帯電話であれば、システムバージョンはアンドロイドシステムの各種バージョンであってよい。
【0029】
なお、検索ファイルはデバイス識別子と構成パラメータとを含んでよく、デバイス識別子はサービス端末の対応デバイスの唯一の識別子であり、クライアント端末はサービス端末のデバイス識別子に基づいてサービス端末を確定することができる。構成パラメータは、画面サイズ、解像度、システムバージョンおよび地域特性のうちの少なくとも1つを含む。
【0030】
ステップ102:クライアント端末が返した検索応答メッセージを受信する。
【0031】
検索応答メッセージは、クライアント端末のデバイス識別子とデバイスパラメータとを含んでよい。デバイス識別子はクライアント端末が使用するデバイスの唯一の識別子であり、デバイスパラメータは、画面解像度、画面サイズとシステムバージョンのうちの少なくとも1つを含んでよい。
【0032】
いくつかの実施の形態において、クライアント端末は、サービス端末が発した検索ファイルを受信した後、サービス端末のデバイス識別子と構成パラメータを識別し、自デバイスがサービス端末の表示をサポートするか否かを判定して、検索応答メッセージを返す。
【0033】
いくつかの実施の形態において、クライアント端末は、サービス端末が発した検索ファイルを受信した後、自デバイスが画面ミラーリングファイルの表示をサポートするか否かを判定し、表示をサポートする場合はipマッチング成功とのメッセージをサービス端末に返す、または、表示をサポートしない場合はipマッチング失敗とのメッセージをサービス端末に返す。
【0034】
ステップ103:検索応答メッセージに基づいて画面ミラーリング条件を満たす目標クライアント端末を確定する。
【0035】
いくつかの実施の形態において、クライアント端末が返す検索応答メッセージは、マッチング成功とのメッセージまたはマッチング失敗とのメッセージを含み、検索応答メッセージがマッチング成功とのメッセージである場合、当該検索応答メッセージに対応するクライアント端末は、画面ミラーリング条件に適合する目標クライアント端末であると確定する。検索応答メッセージが失敗とのメッセージである場合、当該検索応答メッセージに対応するクライアント端末は、画面ミラーリング条件に適合しないクライアント端末であると確定する。
【0036】
いくつかの実施の形態において、サービス端末とクライアント端末は、互いのシステムバージョンとデバイスパラメータに基づいてip検索段階においてプレデコーディングを実現してもよく、つまり、通信方式を確約することで、画面ミラーリングファイルの伝送過程での構成パラメータの解析を避け、画面ミラーリング効率と効果を向上させる。
【0037】
クライアント端末がipマッチング成功とのメッセージをサービス端末に返した後、サービス端末とクライアント端末は画面ミラーリングの前期作業を完了する。サービス端末はクライアント端末に画面ミラーリングファイルを送信し、クライアント端末は画面ミラーリングファイルを受信して表示することができる。
【0038】
ステップ104:目標クライアント端末に画面ミラーリングファイルを送信する。
【0039】
いくつかの実施の形態において、画面ミラーリングファイルは、ビデオまたは画像などの任意の適用可能なファイルを含み、サービス端末がクライアント端末において画像の画面ミラーリングを要する場合、クライアント端末に画像ストリームを送信する。サービス端末がクライアント端末においてビデオの画面ミラーリングを要する場合、クライアント端末にビデオストリームを送信する。
【0040】
いくつかの実施の形態において、ステップ102の後に、前記画面ミラーリング方法は、サービス端末が必要とするときに、クライアント端末のデバイス識別子の取得を容易にするために、クライアント端末のデバイス識別子を保存するステップをさらに含んでよい。
【0041】
本願の実施例が提供する画面ミラーリング方法は、クライアント端末を検索するための検索ファイルを送信し、検索ファイルがサービス端末のデバイス識別子と、目標クライアント端末を選択するためのパラメータを含む、サービス端末の構成パラメータとを含み、クライアント端末が返した検索応答メッセージし、検索応答メッセージがクライアント端末のデバイス識別子とデバイスパラメータとを含み、検索応答メッセージに基づいて画面ミラーリング条件を満たす目標クライアント端末を確定し、目標クライアント端末に画面ミラーリングファイルを送信するということを含み、サービス端末は、検索段階においてデバイス識別子と構成パラメータをクライアント端末に伝送し、構成パラメータにより、画面ミラーリングしようとする目標クライアント端末を選択することができ、つまり、選択されたクライアント端末のみが画面ミラーリングを受け入れることができ、差別化された構成パラメータを実現しているほか、伝送パラメータは検索段階においてプリデコードを実現し、ビデオファイルの伝送過程において伝送パラメータを解析する必要がなく、画面ミラーリングの安定性とユーザ体験を向上させている。
【0042】
第2の態様において、本願の実施例はクライアント端末、つまり、画面ミラーリングを受け入れる側に適用される画面ミラーリング方法を提供する。図2は本願の実施例が提供する画面ミラーリング方法のフローチャートである。図2に示すように、画面ミラーリング方法は以下のステップ201~204を含む。
【0043】
ステップ201:サービス端末が発した検索ファイルを受信する。
【0044】
検索ファイルはサービス端末のデバイス識別子とサービス端末の構成パラメータとを含んでよく、サービス端末のデバイス識別子はランダムに生成してよく、サービス端末の構成パラメータは目標クライアント端末を選択するためのパラメータを含んでよく、つまり、サービス端末は構成パラメータに基づいて目標クライアント端末を選択することができる。
【0045】
いくつかの実施の形態において、サービス端末とクライアント端末は互いに接続するために、それぞれがデバイス識別子ipを生成して、検索段階においてデバイス識別子を相手に送信することができる。
【0046】
いくつかの実施の形態において、サービス端末はランダムにipを生成してよく、ipの生成方式には既存の方式を採用することができ、本願はこれについて限定しない。サービス端末はipを生成した後、ipと構成パラメータに基づいて検索ファイルを生成する。構成パラメータは手動で入力してもよく、バックグラウンドで自動生成してもよい。
【0047】
いくつかの実施の形態において、構成パラメータは地域特性を含んでよく、地域特性によりクライアント端末をフィルタリングし、特定地域のクライアント端末を除外するか、または、特定地域のクライアント端末のみを選択することができる。例えば、地域特性を地域A接続特性として設定した場合、サービス端末が検索ファイルを発した後、地域Aに位置するクライアント端末のみが検索ファイルを受信してこれとの接続を確立することができる。言い換えれば、構成パラメータはフィルタリングメカニズムに相当し、接続確立段階において事前に一部のクライアント端末を隠しておき、その後の画面ミラーリングファイル伝送過程においてネットワークリソース占有量を削減することができる。
【0048】
いくつかの実施の形態において、クライアント端末の構成パラメータによりクライアント端末リストを生成してよく、クライアント端末リストは、予め設定された優先順位に従って並べられたリストであってよく、クライアント端末リストには少なくとも1つのクライアント端末が含まれ、例えば、A領域の優先順位を高、B領域の優先順位を中、C領域の優先順位を低とする。いくつかの実施の形態では、サービス端末の構成パラメータに基づいてクライアント端末リストから目標クライアント端末を選択することにより、優先順位の低いクライアント端末を隠すことができ、差別化された配置効果を達成し、後続のネットワークリソース占有量を低減することができる。
【0049】
いくつかの実施の形態において、サービス端末の構成パラメータは、デバイスタイプ、すなわち、サービス端末のデバイスタイプを含んでよく、デバイスタイプに対して構成パラメータを調整し、その後のデータのやり取りの過程における固定パラメータに対して動的に増加または削除を行い、サービス端末は、不適切なクライアント端末を能動的に隠し、または、不適切なクライアント端末の優先度を下げることによって、差別化された配置効果を達成し、後続のネットワークリソース占有量を低減する。
【0050】
いくつかの実施の形態において、サービス端末の構成パラメータは、システムバージョン、画面サイズと解像度のうちの1つ以上を含んでよい。サービス端末は、検索ip段階において、自らのシステムバージョン、画面サイズまたは画面ミラーリング解像度をクライアント端末に送信することができ、クライアント端末は、システムバージョンに基づいてサービス端末からの画面ミラーリングリクエストをサポートするかどうかを判定することができ、画面サイズと解像度に基づいてクライアント端末表示デバイスの画面サイズおよび解像度を調整することができる。システムバージョンとは、オペレーティングシステムのバージョンであって、携帯電話であれば、システムバージョンはアンドロイドシステムの各種バージョンであってよい。
【0051】
なお、検索ファイルはサービス端末のデバイス識別子と構成パラメータとを含んでよく、デバイス識別子はサービス端末の対応デバイスの唯一の識別子であり、クライアント端末はサービス端末のデバイス識別子に基づいてサービス端末を確定することができる。構成パラメータは、画面サイズ、解像度、システムバージョンおよび地域特性のうち少なくとも1つを含む。
【0052】
いくつかの実施の形態において、サービス端末はip検索段階においてクライアント端末に検索ファイルを送信し、サービス端末に構成パラメータが設けられているため、サービス端末が指定したクライアント端末のみが検索ファイルを受信することができる。ip検索段階においてクライアント端末が検索ファイルを受信した後、サービス端末との接続を確立すると同時に、通信方式を確約することができ、つまり、ip検索段階において端末パラメータの相互伝送を実現し、差別化された端末画面間の相互配信という表示問題を効果的に解決および回避している。
【0053】
ステップ202:検索ファイルに基づいて検索応答メッセージを生成する。
【0054】
検索応答メッセージはクライアント端末のデバイス識別子とクライアント端末のデバイスパラメータとを含む。クライアント端末のデバイス識別子はクライアント端末を示す唯一の識別子である。
【0055】
いくつかの実施の形態において、クライアント端末がサービス端末の発した検索ファイルを検知した後、サービス端末のデバイス識別子と構成パラメータを識別し、自デバイスが表示をサポートするか否かを判定して、検索応答メッセージを返す。
【0056】
いくつかの実施の形態において、クライアント端末は、サービス端末が発した検索ファイルを受信した後、自デバイスが画面ミラーリングファイルの表示をサポートするか否かを判定し、表示をサポートする場合はipマッチング成功とのメッセージをサービス端末に返し、表示をサポートしない場合はipマッチング失敗とのメッセージをサービス端末に返す。いくつかの実施の形態において、クライアント端末は、サービス端末の構成パラメータに基づいて自デバイスが画面ミラーリングファイルの表示をサポートするか否かを判定することができる。
【0057】
ステップ203:検索応答メッセージをサービス端末に返す。
【0058】
いくつかの実施の形態において、サービス端末に返される検索応答メッセージは、マッチング成功とのメッセージまたはマッチング失敗とのメッセージを含み、検索応答メッセージがマッチング成功とのメッセージである場合、当該検索応答メッセージに対応するクライアント端末は画面ミラーリング条件に適合する目標クライアント端末である。検索応答メッセージがマッチング失敗とのメッセージである場合、当該検索応答メッセージに対応するクライアント端末は画面ミラーリング条件に適合しない目標クライアント端末である。
【0059】
いくつかの実施の形態において、サービス端末とクライアント端末は、互いのシステムバージョンとデバイスパラメータに基づいてip検索段階においてプレデコーディングを実現してもよく、つまり、通信方式を確約することで、画面ミラーリングファイルの伝送過程での構成パラメータの解析を避け、画面ミラーリング効率と効果を向上させる。
【0060】
サービス端末にipマッチング成功とのメッセージが返された後、サービス端末とクライアント端末は画面ミラーリングの前期作業を完了する。サービス端末はクライアント端末に画面ミラーリングファイルを送信し、クライアント端末は画面ミラーリングファイルを受信して表示することができる。
【0061】
ステップ204:サービス端末が送信した画面ミラーリングファイルを受信する。
【0062】
いくつかの実施の形態において、画面ミラーリングファイルはビデオまたは画像を含み、サービス端末がクライアント端末において画像の画面ミラーリングを要する場合、クライアント端末に画像ストリームを送信する。サービス端末がクライアント端末においてビデオの画面ミラーリングを要する場合、クライアント端末にビデオストリームを送信する。
【0063】
いくつかの実施形態において、クライアント端末は画面ミラーリングファイルを受信した後、表示装置を用いて画面ミラーリングファイルを表示する。
【0064】
第3の態様ではサービス端末に適用される画面ミラーリング装置を提供する。図3は本願の実施例が提供する画面ミラーリング装置の原理ブロック図である。図3に示すように、前記画面ミラーリング装置は、サービス端末送信モジュール301と、サービス端末受信モジュール302と、サービス端末確定モジュール303とを含む。
【0065】
サービス端末送信モジュール301は、クライアント端末を検索するための検索ファイルを外部に送信するように構成される。
【0066】
いくつかの実施形態において、検索ファイルはサービス端末生成モジュールによって生成されたファイルである。検索ファイルは、ランダムに生成されたサービス端末のデバイス識別子情報と、条件を満たす目標クライアント端末を選択するための構成パラメータとを含む。当然ながら、その他の実施の形態において、サービス端末のデバイス識別子は予め設定された規則に従って生成してもよい。
【0067】
いくつかの実施の形態において、サービス端末とクライアント端末は互いに接続するために、それぞれがデバイス識別子ipを生成して、検索段階においてデバイス識別子を相手に送信する必要がある。
【0068】
いくつかの実施の形態において、サービス端末はランダムにipを生成してよく、ipの生成方式には既存の方式を採用することができ、本願はこれについて限定しない。サービス端末はipを生成した後、ipと構成パラメータに基づいて検索ファイルを生成する。構成パラメータは手動で入力してもよく、バックグラウンドで自動生成してもよい。
【0069】
サービス端末の構成パラメータは、画面サイズ、解像度、システムバージョン、地域特性、および装置タイプのうちの1つまたは複数のパラメータを含んでもよい。画面サイズ、解像度、システムバージョン、地域特性とデバイス類型の役割は、ステップ101の説明を参照することができるため、ここでは改めて説明しない。
【0070】
サービス端末受信モジュール302は、クライアント端末が返す検索応答メッセージを受信するように構成される。
【0071】
検索応答メッセージは、クライアント端末のデバイス識別子とデバイスパラメータとを含んでよい。デバイス識別子は、クライアント端末が使用するデバイスの唯一の識別子であり、デバイスパラメータは、画面解像度、画面サイズ、システムバージョンのうちの少なくとも1つを含む。
【0072】
いくつかの実施の形態において、クライアント端末は、サービス端末が発した検索ファイルを受信した後、サービス端末のデバイス識別子と構成パラメータを識別し、自デバイスが表示をサポートするかどうかを判定してから、検索応答メッセージを返す。
【0073】
いくつかの実施の形態において、クライアント端末は、サービス端末が発した検索ファイルを受信した後、自デバイスが画面ミラーリングファイルの表示をサポートするか否かを判定し、表示をサポートする場合はipマッチング成功とのメッセージをサービス端末に返し、表示をサポートしない場合はipマッチング失敗とのメッセージをサービス端末に返す。いくつかの実施の形態において、クライアント端末は、サービス端末の構成パラメータに基づいて自デバイスが画面ミラーリングファイルの表示をサポートするか否かを判定することができる。
【0074】
サービス端末確定モジュール303は、検索応答メッセージに基づいて画面ミラーリング条件を満たすクライアント端末を確定するように構成される。
【0075】
いくつかの実施の形態において、クライアント端末が返す検索応答メッセージは、マッチング成功とのメッセージおよびマッチング失敗とのメッセージを含み、検索応答メッセージがマッチング成功とのメッセージである場合、当該検索応答メッセージに対応するクライアント端末は、画面ミラーリング条件に適合する目標クライアント端末であると確定する。当該検索応答メッセージがマッチング失敗とのメッセージである場合、当該検索応答メッセージに対応するクライアント端末は、画面ミラーリング条件に適合しないクライアント端末であると確定する。
【0076】
いくつかの実施の形態において、サービス端末送信モジュール301は、画面ミラーリング条件を満たす目標クライアント端末に画面ミラーリングファイルを送信するようにさらに構成される。
【0077】
画面ミラーリングファイルはビデオまたは画像を含み、対応して、サービス端末送信モジュール301はクライアント端末にビデオストリームまたは画像ストリームを送信する。
【0078】
いくつかの実施の形態において、前記画面ミラーリング装置は、クライアント端末の構成パラメータに従ってクライアント端末リストを生成するように構成されるリスト生成モジュールをさらに含み、クライアント端末リストは、クライアント端末の優先順位に従って並べられたリストである。
【0079】
いくつかの実施の形態において、前記画面ミラーリング装置は、クライアント端末のデバイス識別子を保存するように構成される記憶モジュールをさらに含む。
【0080】
いくつかの実施の形態において、前記画面ミラーリング装置は、構成パラメータとクライアント端末が返したデバイスパラメータに基づいて通信方式を確定するように構成される通信確定モジュールをさらに含む。
【0081】
本願の実施例が提供する画面ミラーリング装置において、サービス端末送信モジュールは、クライアント端末を検索するための検索ファイルを送信し、検索ファイルは、サービス端末のデバイス識別子情報と、目標クライアント端末を選択するためのパラメータを含む、サービス端末の構成パラメータとを含み、サービス端末受信モジュールは、クライアント端末が返した検索応答メッセージを受信し、検索応答メッセージは、クライアント端末のデバイス識別子情報とデバイスパラメータとを含み、サービス端末決定モジュールは、検索応答メッセージに基づいて、画面ミラーリング条件を満たす目標クライアント端末を決定し、サービス端末送信モジュールは、目標クライアント端末に画面ミラーリングファイルを送信することを決定し、サービス端末は、検索段階において、デバイス識別子と構成パラメータをクライアント端末に送信し、構成パラメータにより、画面ミラーリングしようとする目標クライアント端末を選択することができ、つまり、選択されたクライアント端末のみが画面ミラーリングを受け入れることができ、構成パラメータの差別化を実現し、さらに、伝送パラメータは検索段階においてプリデコードを実現し、ビデオファイルの伝送過程において伝送パラメータを解析する必要がなく、画面ミラーリングの安定性とユーザ体験を向上させている。
【0082】
第4の様態では、クライアント端末に適用される画面ミラーリング装置を提供する。図4は本願の実施例が提供する画面ミラーリング装置の原理ブロック図である。図4に示すように、前記画面ミラーリング装置は、クライアント端末受信モジュール401と、検索応答生成モジュール402と、クライアント端末送信モジュール403と、を含む。
【0083】
クライアント端末受信モジュール401は、サービス端末が発した検索ファイルを検知するように構成される。
【0084】
検索ファイルは、ランダムに生成されたサービス端末のデバイス識別子と、条件を満たすクライアント端末を選択するためのサービス端末の構成パラメータとを含んでよい。
【0085】
いくつかの実施の形態において、サービス端末とクライアント端末は互いに接続するために、それぞれがデバイス識別子ipを生成して、検索段階においてデバイス識別子を相手に送信する必要がある。
【0086】
検索応答生成モジュール402は、検索ファイルを検知したとき、検索ファイルに基づいて検索応答メッセージを生成するように構成される。
【0087】
検索応答メッセージは、クライアント端末のデバイス識別子とクライアント端末のデバイスパラメータとを含む。
【0088】
いくつかの実施の形態において、クライアント端末は、サービス端末が発した検索ファイルを受信した後、サービス端末のデバイス識別子と構成パラメータを識別し、自デバイスが表示をサポートするかどうかを判定して、検索応答メッセージを返す。
【0089】
いくつかの実施の形態において、クライアント端末は、サービス端末が発した検索ファイルを受信した後、自デバイスが画面ミラーリングファイルの表示をサポートするかどうかを判定し、サポートする場合はipマッチング成功とのメッセージをサービス端末に返し、表示をサポートしない場合はipマッチング失敗とのメッセージをサービス端末に返す。
【0090】
クライアント送信モジュール403は、検索応答メッセージをサービス端末に返すように構成される。
【0091】
クライアント端末受信モジュール401は、サービス端末が送信した画面ミラーリングファイルを受信するようにさらに構成される。
【0092】
いくつかの実施の形態において、画面ミラーリングファイルはビデオまたは画像を含み、サービス端末がクライアント端末において画像の画面ミラーリングを要する場合、クライアント端末に画像ストリームを送信する。サービス端末がクライアント端末においてビデオの画面ミラーリングを要する場合、クライアント端末にビデオストリームを送信する。
【0093】
いくつかの実施の形態において、前記画面ミラーリング装置は、クライアント端末において画面ミラーリングファイルを表示するように構成される表示モジュールを含んでもよい。
【0094】
本願の実施例が提供する画面ミラーリング装置において、クライアント端末受信モジュールは、サービス端末が発した検索ファイルを受信するように構成され、検索ファイルは、ランダムに生成されたサービス端末のデバイス識別子と目標クライアント端末を選択するためのパラメータを含む、構成パラメータとを含み、クライアント端末送信モジュールは、検索応答メッセージをサービス端末に返すように構成され、検索応答メッセージは、クライアント端末のデバイス識別子とデバイスパラメータを含み、サービス端末は、検索段階において、デバイス識別子と構成パラメータをクライアント端末に伝送し、構成パラメータにより、画面ミラーリングしようとする目標クライアント端末を選択することができ、つまり、選択されたクライアント端末のみが画面ミラーリングを受け入れることができ、差別化された構成パラメータを実現しているほか、伝送パラメータは検索段階においてプリデコードを実現し、ビデオファイルの伝送過程において伝送パラメータを解析する必要がなく、画面ミラーリングの安定性とユーザ体験を向上させている。
【0095】
以上の実施例が提供する画面ミラーリング方法および画面ミラーリング装置をよりよく理解するために、以下では、画面ミラーリング方法および画面ミラーリング装置についてさらに説明する。図5に示すように、画面ミラーリングを実現するために、サービス端末とクライアント端末は以下のステップ501~504を実行する。
【0096】
ステップ501:サービス端末が検索ファイルをクライアント端末に送信する。
【0097】
サービス端末は、画面ミラーリングが受け入れ可能なクライアント端末を検索するために、クライアント端末に検索ファイルを送信する。検索ファイルは、ランダムに生成されたサービス端末のデバイス識別子と目標クライアント端末を選択するためのパラメータを含む構成パラメータとを含む。
【0098】
ステップ502:クライアント端末が検索応答をサービス端末に返す。
【0099】
クライアント端末が検索応答メッセージをサービス端末に返し、検索応答メッセージは、クライアント端末のデバイス識別子とデバイスパラメータとを含む。
【0100】
ステップ503:サービス端末がクライアント端末のデバイス識別子を保存する。
【0101】
ステップ504:サービス端末がクライアント端末に画面ミラーリングファイルを送信する。
【0102】
サービス端末は、要件を満たすクライアント端末にビデオまたは画像を含む画面ミラーリングファイルを送信する。サービス端末がクライアント端末において画像の画面ミラーリングを要する場合、クライアント端末に画像ストリームを送信する。サービス端末がクライアント端末においてビデオの画面ミラーリングを要する場合、クライアント端末にビデオストリームを送信する。
【0103】
サービス端末とクライアント端末が接続を確立した後、サービス端末とクライアント端末はデータをやり取りして画面ミラーリングを行うことができる。ip検索段階においてサービス端末の画面サイズがクライアント端末に送信されなければ、データのやり取りの際に、クライアント端末は、画面サイズ取得リクエストをサービス端末に送信することができ、サービス端末は当該リクエストに基づいて実際の画面サイズをクライアント端末に送信する。その後、画面ミラーリングデータの伝送を行う。
【0104】
いくつかの実施形態において、画面ミラーリングファイルは画像またはビデオであってよい。サービス端末はアンドロイドデバッグブリッジ(ADB)コマンドを使用して画像を切り取るか、アンドロイドシステムのImageReaderを使用して画像を取得してから、ネットワークを介して画像を転送することができる。ビデオストリームは、オペレーティングシステムによって画面ストリームを取得することができ、H264符号化後に伝送することによって、画面表示をよりスムーズにすることができる。オペレーティングシステムにおいて、システムプロキシにはMediaCodecクラスとVirtualDisplayクラスがあり、画面ストリームを読み出してからこれをH264符号化ビデオストリームに変換できる。
【0105】
いくつかの実施の形態において、サービス端末は、ソケット(Socket)を介してクライアント端末からの画像データ情報を受信し、圧縮を解凍してユーザインターフェース(UI)上に表示し、ユーザがUIをクリックしたときにクリック位置の座標を取得し、スケーリングにより実座標に換算し、その後、ADBにより対応するコマンドを実行し、その後画像の変化は再度Socketを介してリアルタイムでクライアント端末に送信される。
【0106】
PC端末についても、アンドロイドプロキシ側のH264符号化ビデオストリームを読み出してから、FFMPEGライブラリを用いてデコードすることができる。
【0107】
Webアプリケーションは、まず、node.jsにおいてsocketを介してアンドロイドプロキシ側のH264符号化ビデオストリームを取得し、次に、WebSocketを介してバイト配列をWebRtcにリアルタイムで伝送し、WebRtcのvideoタグを介して表示し、次に、jsを介してマウスがクリックした座標イベントを取得し、その後の操作はPCとよく似ており、いずれもコマンドを取得してから実行し、その後Android Clientが再び画像を画面ミラーリングするというものであり、このように繰り返される。
【0108】
なお、本願の実施例に係る各モジュールはいずれも論理モジュールであり、実際の適用において、1つの論理モジュール/手段は、1つの物理的手段、または1つの物理的手段の一部、または複数の物理的手段の組み合わせにより実現されてよい。このほか、本願の革新的な部分を強調するために、本願の実施例では、本願が開示する技術課題と関連性の低い手段が導入されていないが、これは、本願の実施例にその他の手段が存在しないことを示すものではない。
【0109】
第5の態様において、図6を参照すると、本願の実施例は、
1つまたは複数のプロセッサ601と、
1つまたは複数のコンピュータプログラムが記憶され、前記1つまたは複数のコンピュータプログラムが前記1つまたは複数のプロセッサ601で実行されると、前記1つまたは複数のプロセッサ601が上述のいずれか1つの画面ミラーリング方法を実現するメモリ602と、
前記プロセッサ601と前記メモリ602との間に接続され、前記プロセッサ601と前記メモリ602との情報のやりとりを実現するように構成された1つまたは複数のI/Oインターフェース603と、を備える、電子デバイスを提供する。
【0110】
プロセッサ601はデータ処理能力を有する素子であり、これには中央処理装置(CPU)などが含まれるがこれに限定されない。メモリ602はデータ記憶能力を有する素子であり、これにはランダムアクセスメモリ(RAM、より具体的にはSDRAM、DDRなど)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、フラッシュメモリ(FLASH)が含まれるがこれらに限定されない。I/Oインターフェース(読み取り/書き込み用インターフェース)603は、プロセッサ601とメモリ602との間に接続され、プロセッサ601とメモリ602との情報のやりとりを可能にするものであり、これにはデータバス(Bus)などが含まれるがこれに限定されない。
【0111】
いくつかの実施形態において、プロセッサ601、メモリ602、I/Oインターフェース603は、バスによって相互接続され、さらに計算デバイスのその他の構成要素に接続される。
【0112】
第6の態様において、本願の実施例は、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、上記のいずれか1つの画面ミラーリング方法を実現する、コンピュータ読み取り可能な記憶媒体を提供する。
【0113】
当業者は、以上で公開されている方法におけるステップ、システム、装置における機能モジュール/ユニットの全てまたは一部が、ソフトウェア、ファームウェア、ハードウェア、およびそれらの適切な組み合わせとして実施され得ることを理解するであろう。ハードウェアによる実施形態において、上記の説明で言及した機能モジュール/ユニット間の区分は、必ずしも物理的コンポーネントの区分に対応しない。例えば、1つの物理的コンポーネントは複数の機能を有してもよく、あるいは1つの機能またはステップは幾つかの物理的コンポーネントが連携して実行されてもよい。一部または全ての物理的コンポーネントは、処理装置(例えば、中央処理装置、デジタル信号プロセッサまたはマイクロプロセッサ)によって実行されるソフトウェアとして実施されてもよく、ハードウェアとして、または専用集積回路などの集積回路として実施されてもよい。このようなソフトウェアはコンピュータ読み取り可能な媒体上に配置されてもよく、コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体(または非一時的媒体)および通信媒体(または一時的媒体)を含んでもよい。当業者によく知られているように、コンピュータ記憶媒体という用語は、コンピュータ読み取り可能なコマンド、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性、取り外し可能および取り外し不可能な媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージ装置、または所望の情報を記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むが、これらに限定されない。また、通信媒体は通常コンピュータ読み取り可能なコマンド、データ構造、プログラムモジュール、または搬送波もしくは他の搬送機構などの変調データ信号内の他のデータを含み、任意の情報配信媒体を含み得ることが当業者に知られている。
【0114】
本明細書では例示的な実施例を公開し、具体的な用語を用いたが、それらは一般的な説明に用いたものに過ぎず、またそのように解釈されるべきであり、限定を目的としたものではない。別途明確に指摘しない限り、一部の実施例においては、特定の実施例と組み合わせて説明した特徴、特性および/もしくは素子を単独で使用することも、またはその他の実施例と組み合わせて説明した特徴、特性および/もしくは素子と組み合わせて使用することもできることは当業者にとって自明である。したがって、添付の請求項によって示される本願の範囲から逸脱しなければ、様々な形態および詳細において変更が可能であると当業者は理解するであろう。
図1
図2
図3
図4
図5
図6