(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-07
(45)【発行日】2024-11-15
(54)【発明の名称】インタフェースレイアウト方法、装置、及び、システム
(51)【国際特許分類】
G06F 3/14 20060101AFI20241108BHJP
G06F 3/0481 20220101ALI20241108BHJP
G06F 3/0484 20220101ALI20241108BHJP
G09G 5/00 20060101ALI20241108BHJP
G09G 5/373 20060101ALI20241108BHJP
G09G 5/38 20060101ALI20241108BHJP
【ＦＩ】
G06F3/14 310C
G06F3/0481
G06F3/0484
G09G5/00 510V
G09G5/00 555D
G09G5/373
G09G5/38
G09G5/00 510H
【請求項の数】
13
(21)【出願番号】P 2022550007
(86)(22)【出願日】2020-10-30
(65)【公表番号】
(43)【公表日】2023-04-06
(86)【国際出願番号】 CN2020125607
(87)【国際公開番号】W WO2021164313
(87)【国際公開日】2021-08-26
【審査請求日】2022-09-30
(31)【優先権主張番号】202010106801.1
(32)【優先日】2020-02-20
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133569
【弁理士】
【氏名又は名称】野村 進
(72)【発明者】
【氏名】▲馬▼ ▲暁▼慧
(72)【発明者】
【氏名】周 星辰
【審査官】田川 泰宏
(56)【参考文献】
【文献】国際公開第２０１２／１５７０１４（ＷＯ，Ａ１）
【文献】特開２０１５－０９０５７０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１２８０６５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０２９６９３０（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０９５０８１８９（ＣＮ，Ａ）
【文献】特開２００２－０６３１０８（ＪＰ，Ａ）
【文献】特開２００３－２８１０３０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／００－３／０４８９５、３／１４
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／３７３
Ｇ０９Ｇ ５／３８
(57)【特許請求の範囲】
【請求項1】
第1の端末デバイスに適用されるインタフェースレイアウト方法であって、前記第1の端末デバイスが第2の端末デバイスに接続され、前記方法は、画面投影命令を受信するステップであって、前記画面投影命令が、前記第2の端末デバイスへの画面投影を実行するように前記第1の端末デバイスに指示するために使用される、ステップと、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、前記第2の端末デバイスに表示されるべき第2のインタフェースを生成するステップであって、前記第1のインタフェースが前記第1の端末デバイスに表示されるインタフェースであり、前記第2のデバイス情報が前記第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる、ステップと、
を含み、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、前記第2の端末デバイスに表示されるべき第2のインタフェースを生成する前記ステップは、
前記第1のインタフェースの前記インタフェース情報及び前記第2のデバイス情報を取得するステップであって、前記第1のインタフェースの前記インタフェース情報が前記第1のインタフェースにおける少なくとも1つのインタフェース要素の要素情報を含み、前記要素情報が前記インタフェース要素の名前及びタイプ並びに前記第1のインタフェースにおける前記インタフェース要素の位置を示すために用いられる、ステップと、
インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって前記少なくとも1つのインタフェース要素の前記要素情報に基づいて認識を行なうステップと、
前記第2のインタフェースを取得するために、前記インタフェースカテゴリ及び前記第2のデバイス情報に基づいて前記少なくとも1つのインタフェース要素を配置するステップと、
を含む、インタフェースレイアウト方法。
【請求項2】
前記第1のインタフェースの前記インタフェース情報がインタフェース属性を更に含み、前記インタフェース属性は、前記第1のインタフェースのインタフェースサイズ及びインタフェース方向を示すために用いられ、インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって前記少なくとも1つのインタフェース要素の前記要素情報に基づいて認識を行なう前記ステップは、
インタフェース特徴データを取得するために、前記インタフェース属性に基づいて少なくとも1つの要素情報に関して特徴抽出を実行するステップと、
前記インタフェース認識モデルに前記インタフェース特徴データを入力するとともに、前記インタフェース認識モデルから出力される前記インタフェースカテゴリを取得するために、前記インタフェース認識モデルを使用することによって前記インタフェース特徴データを認識するステップと、
を含む、請求項1に記載のインタフェースレイアウト方法。
【請求項3】
前記第2のインタフェースを取得するために、前記インタフェースカテゴリ及び前記第2のデバイス情報に基づいて前記少なくとも1つのインタフェース要素を配置する前記ステップは、複数のサブエリアを取得するために、前記インタフェースカテゴリに基づいて、前記第2の端末デバイスの表示エリアを分割するステップであって、前記表示エリアが前記第2のデバイス情報によって示される、ステップと、
各サブエリアに配置されるインタフェース要素を決定するステップと、
前記第2のインタフェースを取得するために、前記第2のデバイス情報によって示される前記表示エリアのサイズと各サブエリア内に配置されるインタフェース要素の数量とに基づいて各サブエリア内の各インタフェース要素を調整するステップと、
を含む、請求項1又は2に記載のインタフェースレイアウト方法。
【請求項4】
前記第2のインタフェースを取得するために、前記第2のデバイス情報によって示される前記表示エリアのサイズと各サブエリア内に配置されるインタフェース要素の数量とに基づいて各サブエリア内の各インタフェース要素を調整する前記ステップは、各サブエリア内のインタフェース要素の数量を決定するステップと、
調整されたインタフェース要素を取得するために、表示エリアのサイズ、事前設定された配置規則、及び、前記サブエリア内のインタフェース要素の数量に基づいて、各サブエリア内の各インタフェース要素のサイズ及び方向を調整するステップと、
前記第2のインタフェースを取得するために、各サブエリアにおいて、前記サブエリア内のインタフェース要素の数量に基づいて前記サブエリア内の調整されたインタフェース要素の位置を調整するステップと、
を含む、請求項3に記載のインタフェースレイアウト方法。
【請求項5】
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、前記第2の端末デバイスに表示されるべき第2のインタフェースを生成する前記ステップの後に、前記方法は、前記第2の端末デバイスが前記第2のインタフェースを表示するように、前記第2のインタフェースを前記第2の端末デバイスに送信するステップ、
を更に含む、請求項1から4のいずれか一項に記載のインタフェースレイアウト方法。
【請求項6】
前記第2のインタフェースを前記第2の端末デバイスに送信する前記ステップの後に、前記方法は、フィードバック情報を取得するステップであって、前記フィードバック情報が、前記第2の端末デバイスに表示される前記第2のインタフェースに関してユーザによりフィードバックされる情報である、ステップと、
前記フィードバック情報が事前設定された更新条件を満たす場合に、前記フィードバック情報に基づいて前記インタフェース認識モデルを更新するステップと、
を更に含む、請求項5に記載のインタフェースレイアウト方法。
【請求項7】
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、前記第2の端末デバイスに表示されるべき第2のインタフェースを生成する前記ステップの前に、前記方法は、複数のインタフェース要素を取得するために、ユーザによってトリガされる抽出動作に基づいて前記第1のインタフェースにおいてインタフェース要素抽出を行なうステップと、
前記ユーザによってトリガされる補足動作に基づいて前記複数のインタフェース要素の要素情報を生成するステップと、
を更に含む、請求項1から4のいずれか一項に記載のインタフェースレイアウト方法。
【請求項8】
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、前記第2の端末デバイスに表示されるべき第2のインタフェースを生成する前記ステップの後に、前記方法は、前記第2のインタフェースにおける少なくとも1つのインタフェース要素にユーザによりトリガされる調整動作を記録するステップと、
前記調整動作に基づいて事前設定された配置規則を調整するステップと、
を更に含む、請求項1から4のいずれか一項に記載のインタフェースレイアウト方法。
【請求項9】
第1の端末デバイスに適用されるインタフェースレイアウト装置であって、前記第1の端末デバイスが第2の端末デバイスに接続され、前記インタフェースレイアウト装置は、画面投影命令を受信するように構成される受信モジュールであって、前記画面投影命令が、前記第2の端末デバイスへの画面投影を実行するように前記第1の端末デバイスに指示するために使用される、受信モジュールと、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、前記第2の端末デバイスに表示されるべき第2のインタフェースを生成するように構成される生成モジュールであって、前記第1のインタフェースが前記第1の端末デバイスに表示されるインタフェースであり、前記第2のデバイス情報が前記第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる、生成モジュールと、
を備え、
前記生成モジュールは、
前記第1のインタフェースの前記インタフェース情報及び前記第2のデバイス情報を取得し、前記第1のインタフェースの前記インタフェース情報が前記第1のインタフェースにおける少なくとも1つのインタフェース要素の要素情報を含み、前記要素情報が前記インタフェース要素の名前及びタイプ並びに前記第1のインタフェースにおける前記インタフェース要素の位置を示すために用いられ、
インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって前記少なくとも1つのインタフェース要素の前記要素情報に基づいて認識を行ない、
前記第2のインタフェースを取得するために、前記インタフェースカテゴリ及び前記第2のデバイス情報に基づいて前記少なくとも1つのインタフェース要素を配置する、
ように特に構成される、インタフェースレイアウト装置。
【請求項10】
第1の端末デバイスと第2の端末デバイスとを備えるインタフェースレイアウトシステムであって、前記第1の端末デバイスが前記第2の端末デバイスに接続され、前記第1の端末デバイスが画面投影命令を受信し、前記画面投影命令は、前記第2の端末デバイスへの画面投影を実行するように前記第1の端末デバイスに指示するために使用され、前記第1の端末デバイスは、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、前記第2の端末デバイスに表示されるべき第2のインタフェースを生成し、前記第1のインタフェースが前記第1の端末デバイスに表示されるインタフェースであり、前記第2のデバイス情報は、前記第2の端末デバイスの画面サイズ及び画面状態を示すために用いられ、
前記第1の端末デバイスが前記第2のインタフェースを前記第2の端末デバイスに送信し、
前記第2の端末デバイスが前記第2のインタフェースを受信して表示し、
前記第1の端末デバイスが、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、前記第2の端末デバイスに表示されるべき第2のインタフェースを生成することは、
前記第1のインタフェースの前記インタフェース情報及び前記第2のデバイス情報を取得するステップであって、前記第1のインタフェースの前記インタフェース情報が前記第1のインタフェースにおける少なくとも1つのインタフェース要素の要素情報を含み、前記要素情報が前記インタフェース要素の名前及びタイプ並びに前記第1のインタフェースにおける前記インタフェース要素の位置を示すために用いられる、ステップと、
インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって前記少なくとも1つのインタフェース要素の前記要素情報に基づいて認識を行なうステップと、
前記第2のインタフェースを取得するために、前記インタフェースカテゴリ及び前記第2のデバイス情報に基づいて前記少なくとも1つのインタフェース要素を配置するステップと、
を含む、インタフェースレイアウトシステム。
【請求項11】
メモリと、プロセッサと、前記メモリに記憶されて前記プロセッサで実行されるコンピュータプログラムとを備える端末デバイスであって、前記プログラムを実行するときに、前記プロセッサが請求項1から8のいずれか一項に記載の方法を実施する、端末デバイス。
【請求項12】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体がコンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサによって実行されるときに、請求項1から8のいずれか一項に記載の方法が実施される、コンピュータ可読記憶媒体。
【請求項13】
命令を含むチップであって、前記命令がコンピュータで実行されるときに、前記コンピュータが請求項1から8のいずれか一項に記載の方法を実行できるようにされる、チップ。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、参照によりその全体が本願に組み入れられる、2020年2月10日付で中国国家知識産権局に出願された、「インタフェースレイアウト方法、装置、及び、システム」と題される中国特許出願第2020101068011号の優先権を主張する。
【0002】
この出願は、人工知能認識技術の分野に属し、特に、インタフェースレイアウト方法、装置、及び、システムに属する。
【背景技術】
【0003】
端末デバイスの継続的な開発に基づき、端末デバイスがアプリケーションをロードすると、端末デバイスは、アプリケーションのインタフェースを表示することができるだけでなく、アプリケーションのインタフェースを別の端末デバイスに投影することもでき、それにより、ユーザは、別の端末デバイスを介して、異なる機能を果たすためにアプリケーションを制御することができ、また、ユーザは、異なる端末デバイス上で一貫した動作を可能にするシームレスなサービスを体験することができる。
【0004】
関連技術では、第1の端末デバイスがアプリケーションをロードするときに、第1の端末デバイスがユーザによってトリガされた画面投影動作を検出する場合、第1の端末デバイスは、画面投影動作に基づき、画面投影動作によって示されるアプリケーションの現在表示されるインタフェースを第2の端末デバイスに投影することができ、また、第2の端末デバイスは、第1の端末デバイスに表示されたアプリケーションのインタフェースを表示することができる。
【0005】
しかしながら、端末デバイスによって画面サイズが異なり、また、ユーザが端末デバイスを制御するための利便性の度合いが異なる。その結果、第1の端末デバイスに表示されたインタフェースが第2の端末デバイスに投影された後、ユーザは、第2の端末デバイスを介して投影されたインタフェースを都合良く制御することができない。
【発明の概要】
【課題を解決するための手段】
【0006】
この出願の実施形態は、第1の端末デバイスが表示されたインタフェースを第2の端末デバイスに投影した後でユーザが第2の端末デバイスを介して投影されたインタフェースを都合良く制御することができないという問題を解決するために、インタフェースレイアウト方法、装置、及び、システムを提供する。
【0007】
第1の態様によれば、この出願の一実施形態はインタフェースレイアウト方法を提供し、方法は第1の端末デバイスに適用され、第1の端末デバイスが第2の端末デバイスに接続され、方法は、
画面投影命令を受信するステップであって、画面投影命令が、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示するために使用される、ステップと、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するステップであって、第1のインタフェースが第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報が第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる、ステップと、
を含む。
画面投影命令を受信するステップであって、画面投影命令が、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示するために使用される、ステップと、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するステップであって、第1のインタフェースが第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報が第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる、ステップと、
を含む。
【0008】
第1の態様の第1の想定し得る実施において、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するステップは、
第1のインタフェースのインタフェース情報及び第2のデバイス情報を取得するステップであって、第1のインタフェースのインタフェース情報が第1のインタフェースにおける少なくとも1つのインタフェース要素の要素情報を含み、要素情報がインタフェース要素の名前及びタイプ並びに第1のインタフェースにおけるインタフェース要素の位置を示すために用いられる、ステップと、
インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって少なくとも1つのインタフェース要素の要素情報に基づいて認識を行なうステップと、
第2のインタフェースを取得するために、インタフェースカテゴリ及び第2のデバイス情報に基づいて少なくとも1つのインタフェース要素を配置するステップと、
を含む。
第1のインタフェースのインタフェース情報及び第2のデバイス情報を取得するステップであって、第1のインタフェースのインタフェース情報が第1のインタフェースにおける少なくとも1つのインタフェース要素の要素情報を含み、要素情報がインタフェース要素の名前及びタイプ並びに第1のインタフェースにおけるインタフェース要素の位置を示すために用いられる、ステップと、
インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって少なくとも1つのインタフェース要素の要素情報に基づいて認識を行なうステップと、
第2のインタフェースを取得するために、インタフェースカテゴリ及び第2のデバイス情報に基づいて少なくとも1つのインタフェース要素を配置するステップと、
を含む。
【0009】
第1の態様の第1の想定し得る実施に関連して、第1の態様の第2の想定し得る実施において、第1のインタフェースのインタフェース情報がインタフェース属性を更に含み、インタフェース属性は、第1のインタフェースのインタフェースサイズ及びインタフェース方向を示すために用いられ、
インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって少なくとも1つのインタフェース要素の要素情報に基づいて認識を行なうステップは、
インタフェース特徴データを取得するために、インタフェース属性に基づいて少なくとも1つの要素情報に関して特徴抽出を実行するステップと、
インタフェース認識モデルにインタフェース特徴データを入力するとともに、インタフェース認識モデルから出力されるインタフェースカテゴリを取得するために、インタフェース認識モデルを使用することによってインタフェース特徴データを認識するステップと、
を含む。
インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって少なくとも1つのインタフェース要素の要素情報に基づいて認識を行なうステップは、
インタフェース特徴データを取得するために、インタフェース属性に基づいて少なくとも1つの要素情報に関して特徴抽出を実行するステップと、
インタフェース認識モデルにインタフェース特徴データを入力するとともに、インタフェース認識モデルから出力されるインタフェースカテゴリを取得するために、インタフェース認識モデルを使用することによってインタフェース特徴データを認識するステップと、
を含む。
【0010】
第1の態様の第1の想定し得る実施に関連して、第1の態様の第3の想定し得る実施において、第2のインタフェースを取得するために、インタフェースカテゴリ及び第2のデバイス情報に基づいて少なくとも1つのインタフェース要素を配置するステップは、
複数のサブエリアを取得するために、インタフェースカテゴリに基づいて、第2の端末デバイスの表示エリアを分割するステップであって、表示エリアが第2のデバイス情報によって示される、ステップと、
各サブエリアに配置されるインタフェース要素を決定するステップと、
第2のインタフェースを取得するために、第2のデバイス情報によって示される表示エリアのサイズと各サブエリア内に配置されるインタフェース要素の数量とに基づいて各サブエリア内の各インタフェース要素を調整するステップと、
を含む。
複数のサブエリアを取得するために、インタフェースカテゴリに基づいて、第2の端末デバイスの表示エリアを分割するステップであって、表示エリアが第2のデバイス情報によって示される、ステップと、
各サブエリアに配置されるインタフェース要素を決定するステップと、
第2のインタフェースを取得するために、第2のデバイス情報によって示される表示エリアのサイズと各サブエリア内に配置されるインタフェース要素の数量とに基づいて各サブエリア内の各インタフェース要素を調整するステップと、
を含む。
【0011】
第1の態様の第3の想定し得る実施に関連して、第1の態様の第4の想定し得る実施において、第2のインタフェースを取得するために、第2のデバイス情報によって示される表示エリアのサイズと各サブエリア内に配置されるインタフェース要素の数量とに基づいて各サブエリア内の各インタフェース要素を調整するステップは、
各サブエリア内のインタフェース要素の数量を決定するステップと、
調整されたインタフェース要素を取得するために、表示エリアのサイズ、事前設定された配置規則、及び、サブエリアに対応する要素の数量に基づいて、各サブエリア内の各インタフェース要素のサイズ及び方向を調整するステップと、
第2のインタフェースを取得するために、各サブエリアにおいて、サブエリアに対応する要素の数量に基づいてサブエリア内の調整されたインタフェース要素の位置を調整するステップと、
を含む。
各サブエリア内のインタフェース要素の数量を決定するステップと、
調整されたインタフェース要素を取得するために、表示エリアのサイズ、事前設定された配置規則、及び、サブエリアに対応する要素の数量に基づいて、各サブエリア内の各インタフェース要素のサイズ及び方向を調整するステップと、
第2のインタフェースを取得するために、各サブエリアにおいて、サブエリアに対応する要素の数量に基づいてサブエリア内の調整されたインタフェース要素の位置を調整するステップと、
を含む。
【0012】
第1の態様の第1～第4の想定し得る実施のいずれか1つに関連して、第1の態様の第5の想定し得る実施において、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するステップの後に、方法は、
第2の端末デバイスが第2のインタフェースを表示するように、第2のインタフェースを第2の端末デバイスに送信するステップ、
を更に含む。
第2の端末デバイスが第2のインタフェースを表示するように、第2のインタフェースを第2の端末デバイスに送信するステップ、
を更に含む。
【0013】
第1の態様の第5の想定し得る実施に関連して、第1の態様の第6の想定し得る実施において、第2のインタフェースを第2の端末デバイスに送信するステップの後に、方法は、
フィードバック情報を取得するステップであって、フィードバック情報が、第2の端末デバイスに表示される第2のインタフェースに関してユーザによりフィードバックされる情報である、ステップと、
フィードバック情報が事前設定された更新条件を満たす場合に、フィードバック情報に基づいてインタフェース認識モデルを更新するステップと、
を更に含む。
フィードバック情報を取得するステップであって、フィードバック情報が、第2の端末デバイスに表示される第2のインタフェースに関してユーザによりフィードバックされる情報である、ステップと、
フィードバック情報が事前設定された更新条件を満たす場合に、フィードバック情報に基づいてインタフェース認識モデルを更新するステップと、
を更に含む。
【0014】
第1の態様の第1～第4の想定し得る実施のいずれか1つに関連して、第1の態様の第7の想定し得る実施において、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するステップの前に、方法は、
複数のインタフェース要素を取得するために、ユーザによってトリガされる抽出動作に基づいて第1のインタフェースにおいてインタフェース要素抽出を行なうステップと、
ユーザによってトリガされる補足動作に基づいて複数のインタフェース要素の要素情報を生成するステップと、
を更に含む。
複数のインタフェース要素を取得するために、ユーザによってトリガされる抽出動作に基づいて第1のインタフェースにおいてインタフェース要素抽出を行なうステップと、
ユーザによってトリガされる補足動作に基づいて複数のインタフェース要素の要素情報を生成するステップと、
を更に含む。
【0015】
第1の態様の第1～第4の想定し得る実施のいずれか1つに関連して、第1の態様の第8の想定し得る実施において、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するステップの後に、方法は、
第2のインタフェースにおける少なくとも1つのインタフェース要素にユーザによりトリガされる調整動作を記録するステップと、
調整動作に基づいて配置規則を調整するステップと、
を更に含む。
第2のインタフェースにおける少なくとも1つのインタフェース要素にユーザによりトリガされる調整動作を記録するステップと、
調整動作に基づいて配置規則を調整するステップと、
を更に含む。
【0016】
第2の態様によれば、この出願の一実施形態はインタフェースレイアウト装置を提供し、装置は第1の端末デバイスに適用され、第1の端末デバイスが第2の端末デバイスに接続され、装置は、
画面投影命令を受信するように構成される受信モジュールであって、画面投影命令が、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示するために使用される、受信モジュールと、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するように構成される生成モジュールであって、第1のインタフェースが第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報が第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる、生成モジュールと、
を含む。
画面投影命令を受信するように構成される受信モジュールであって、画面投影命令が、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示するために使用される、受信モジュールと、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するように構成される生成モジュールであって、第1のインタフェースが第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報が第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる、生成モジュールと、
を含む。
【0017】
第2の態様の第1の想定し得る実施において、生成モジュールは、第1のインタフェースのインタフェース情報及び第2のデバイス情報を取得し、第1のインタフェースのインタフェース情報が第1のインタフェースにおける少なくとも1つのインタフェース要素の要素情報を含み、要素情報がインタフェース要素の名前及びタイプ並びに第1のインタフェースにおけるインタフェース要素の位置を示すために用いられ、インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって少なくとも1つのインタフェース要素の要素情報に基づいて認識を行ない、第2のインタフェースを取得するために、インタフェースカテゴリ及び第2のデバイス情報に基づいて少なくとも1つのインタフェース要素を配置するように特に構成される。
【0018】
第2の態様の第1の想定し得る実施に関連して、第2の態様の第2の想定し得る実施において、第1のインタフェースのインタフェース情報がインタフェース属性を更に含み、インタフェース属性は、第1のインタフェースのインタフェースサイズ及びインタフェース方向を示すために用いられ、
生成モジュールは、更に、インタフェース特徴データを取得するために、インタフェース属性に基づいて少なくとも1つの要素情報に関して特徴抽出を実行し、インタフェース認識モデルにインタフェース特徴データを入力するとともに、インタフェース認識モデルから出力されるインタフェースカテゴリを取得するために、インタフェース認識モデルを使用することによってインタフェース特徴データを認識するように特に構成される。
生成モジュールは、更に、インタフェース特徴データを取得するために、インタフェース属性に基づいて少なくとも1つの要素情報に関して特徴抽出を実行し、インタフェース認識モデルにインタフェース特徴データを入力するとともに、インタフェース認識モデルから出力されるインタフェースカテゴリを取得するために、インタフェース認識モデルを使用することによってインタフェース特徴データを認識するように特に構成される。
【0019】
第2の態様の第1の想定し得る実施に関連して、第2の態様の第3の想定し得る実施において、生成モジュールは、更に、複数のサブエリアを取得するために、インタフェースカテゴリに基づいて、第2の端末デバイスの表示エリアを分割し、表示エリアが第2のデバイス情報によって示され、各サブエリアに配置されるインタフェース要素を決定し、第2のインタフェースを取得するために、第2のデバイス情報によって示される表示エリアのサイズと各サブエリア内に配置されるインタフェース要素の数量とに基づいて各サブエリア内の各インタフェース要素を調整するように特に構成される。
【0020】
第2の態様の第3の想定し得る実施に関連して、第2の態様の第4の想定し得る実施において、生成モジュールは、更に、各サブエリア内のインタフェース要素の数量を決定し、調整されたインタフェース要素を取得するために、表示エリアのサイズ、事前設定された配置規則、及び、サブエリアに対応する要素の数量に基づいて、各サブエリア内の各インタフェース要素のサイズ及び方向を調整し、第2のインタフェースを取得するために、各サブエリアにおいて、サブエリアに対応する要素の数量に基づいて、サブエリア内の調整されたインタフェース要素の位置を調整するように更に構成される。
【0021】
第2の態様の第1～第4の想定し得る実施のいずれか1つに関連して、第2の態様の第5の想定し得る実施において、装置は、
第2の端末デバイスが第2のインタフェースを表示するように、第2の端末デバイスに第2のインタフェースを送信するように構成される送信モジュール、
を更に含む。
第2の端末デバイスが第2のインタフェースを表示するように、第2の端末デバイスに第2のインタフェースを送信するように構成される送信モジュール、
を更に含む。
【0022】
第2の態様の第5の想定し得る実施に関連して、装置は、
フィードバック情報を取得するように構成される取得モジュールであって、フィードバック情報が、第2の端末デバイスに表示される第2のインタフェースに関してユーザによりフィードバックされる情報である、取得モジュールと、
フィードバック情報が事前設定された更新条件を満たす場合に、フィードバック情報に基づいてインタフェース認識モデルを更新するように構成される更新モジュールと、
を更に含む。
フィードバック情報を取得するように構成される取得モジュールであって、フィードバック情報が、第2の端末デバイスに表示される第2のインタフェースに関してユーザによりフィードバックされる情報である、取得モジュールと、
フィードバック情報が事前設定された更新条件を満たす場合に、フィードバック情報に基づいてインタフェース認識モデルを更新するように構成される更新モジュールと、
を更に含む。
【0023】
第2の態様の第1～第4の想定し得る実施のいずれか1つに関連して、装置は、
複数のインタフェース要素を取得するために、ユーザによってトリガされる抽出動作に基づいて第1のインタフェースにおけるインタフェース要素抽出を実行するように構成される抽出モジュールと、
ユーザによってトリガされる補足動作に基づいて複数のインタフェース要素の要素情報を生成するように構成される補足モジュールと、
を更に含む。
複数のインタフェース要素を取得するために、ユーザによってトリガされる抽出動作に基づいて第1のインタフェースにおけるインタフェース要素抽出を実行するように構成される抽出モジュールと、
ユーザによってトリガされる補足動作に基づいて複数のインタフェース要素の要素情報を生成するように構成される補足モジュールと、
を更に含む。
【0024】
第2の態様の第1～第4の想定し得る実施のいずれか1つに関連して、第2の態様の第8の想定し得る実施において、装置は、
ユーザによってトリガされる調整動作を第2のインタフェース内の少なくとも1つのインタフェース要素に記録するように構成される記録モジュールと、
前記調整動作に基づいて配置規則を調整するように構成される調整モジュールと、
を更に含む。
ユーザによってトリガされる調整動作を第2のインタフェース内の少なくとも1つのインタフェース要素に記録するように構成される記録モジュールと、
前記調整動作に基づいて配置規則を調整するように構成される調整モジュールと、
を更に含む。
【0025】
第3の態様によれば、この出願の一実施形態は、第1の端末デバイスと第2の端末デバイスとを含むインタフェースレイアウトシステムを提供し、第1の端末デバイスが第2の端末デバイスに接続され、
第1の端末デバイスが画面投影命令を受信し、画面投影命令は、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示するために使用され、
第1の端末デバイスは、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成し、第1のインタフェースが第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報は、第2の端末デバイスの画面サイズ及び画面状態を示すために用いられ、
第1の端末デバイスが第2のインタフェースを第2の端末デバイスに送信し、
第2の端末デバイスが第2のインタフェースを受信して表示する。
第1の端末デバイスが画面投影命令を受信し、画面投影命令は、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示するために使用され、
第1の端末デバイスは、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成し、第1のインタフェースが第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報は、第2の端末デバイスの画面サイズ及び画面状態を示すために用いられ、
第1の端末デバイスが第2のインタフェースを第2の端末デバイスに送信し、
第2の端末デバイスが第2のインタフェースを受信して表示する。
【0026】
第4の態様によれば、この出願の一実施形態は、端末デバイスを提供する。端末デバイスは、メモリ、プロセッサ、及び、メモリに記憶されてプロセッサで実行され得るコンピュータプログラムを含む。コンピュータプログラムを実行すると、プロセッサは、第1の態様又は第1の態様の想定し得る実施のいずれか1つに係るインタフェースレイアウト方法を実施する。
【0027】
第5の態様によれば、この出願の一実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、コンピュータプログラムを記憶する。コンピュータプログラムがプロセッサによって実行されると、第1の態様又は第1の態様の想定し得る実施のいずれか1つに係るインタフェースレイアウト方法が実施される。
【0028】
第6の態様によれば、この出願の実施形態はコンピュータプログラムプロダクトを提供する。コンピュータプログラムプロダクトが端末デバイスで実行されると、端末デバイスは、第1の態様及び第1の態様の想定し得る実施のいずれか1つに係るインタフェースレイアウト方法を実行できるようにされる。
【0029】
従来技術と比較して、この出願の実施形態は、以下の有益な効果を有する。
【0030】
この出願の実施形態において、第1の端末デバイスは、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示する投影命令を受信するとともに、第2のデバイス情報及び第1の端末デバイスに表示される第1のインタフェースのインタフェース情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成し、第2のデバイス情報は、第2の端末デバイスの画面サイズ及び画面状態を示すために使用される。このようにして、第2の端末デバイスは、第2の端末デバイスと適合する第2のインタフェースを表示することができ、ユーザは、第2の端末デバイスを介して第2のインタフェースを都合良く制御することができる。これにより、ユーザが画面投影インタフェースを都合良く制御することができないという問題が回避され、ユーザが第2の端末デバイスを介して第2のインタフェースを制御する利便性が向上し、異なる端末デバイス上でユーザによって実行される制御動作間の一貫性が向上する。
【図面の簡単な説明】
【0031】
【図1】この出願の一実施形態に係るインタフェースレイアウト方法に関連するインタフェースレイアウトシステムのシステムアーキテクチャの図である。
【図2】この出願の一実施形態に係る携帯電話の構造の概略図である。
【図3】この出願の一実施形態に係るソフトウェアシステムの階層アーキテクチャの概略図である。
【図4】この出願の一実施形態に係るインタフェースレイアウト方法の概略フローチャートである。
【図5】この出願の一実施形態に係るよるプレイヤの第1のインタフェースの概略図である。
【図6】この出願の一実施形態に係るインタフェースカテゴリ1に入るインタフェースの概略図である。
【図7】この出願の一実施形態に係るインタフェースカテゴリ2に入るインタフェースの概略図である。
【図8-a】この出願の一実施形態に係るインタフェースカテゴリ3に入るインタフェースの概略図である。
【図8-b】この出願の一実施形態に係る別のインタフェースカテゴリ3に入るインタフェースの概略図である。
【図9-a】この出願の一実施形態に係るインタフェースカテゴリ4に入るインタフェースの概略図である。
【図9-b】この出願の一実施形態に係る別のインタフェースカテゴリ4に入るインタフェースの概略図である。
【図10】この出願の一実施形態に係るインタフェースカテゴリ5に入るインタフェースの概略図である。
【図11】この出願の一実施形態に係るインタフェースカテゴリ6に入るインタフェースの概略図である。
【図12】この出願の一実施形態に係るインタフェースカテゴリ7に入るインタフェースの概略図である。
【図13】この出願の一実施形態に係るインタフェースカテゴリ8に入るインタフェースの概略図である。
【図14A】この出願の一実施形態に係る異なる端末デバイス上のインタフェースの概略図である。
【図14B】この出願の一実施形態に係る異なる端末デバイス上のインタフェースの概略図である。
【図15A】この出願の一実施形態に係る異なる端末デバイス上のインタフェースの別の概略図である。
【図15B】この出願の一実施形態に係る異なる端末デバイス上のインタフェースの別の概略図である。
【図16A】この出願の一実施形態に係る異なる端末デバイス上のインタフェースの更に別の概略図である。
【図16B】この出願の一実施形態に係る異なる端末デバイス上のインタフェースの更に別の概略図である。
【図17】この出願の一実施形態に係る第1のインタフェースの概略図である。
【図18】この出願の一実施形態に係るIDEインタフェースの概略図である。
【図19】この出願の一実施形態に係るインタフェースレイアウト装置の構造ブロック図である。
【図20】この出願の一実施形態に係る別のインタフェースレイアウト装置の構造ブロック図である。
【図21】この出願の一実施形態に係る端末デバイスの構造の概略図である。
【発明を実施するための形態】
【0032】
以下の説明では、限定ではなく例示目的で、この出願の実施形態を完全に理解するために、特定のシステム構造及び技術などの特定の詳細が提供される。しかしながら、当業者は、この出願がこれらの具体的な詳細を伴うことなく他の実施形態でも実施され得ることを知っているはずである。他の場合には、周知のシステム、装置、回路、及び、方法の詳細な説明が省かれ、そのため、この出願が不必要な詳細によって不明瞭にされることなく説明される。
【0033】
以下の実施形態で使用される用語は、単に特定の実施形態を説明しようとしているにすぎず、この出願を限定しようとするものではない。この明細書及びこの出願の添付の特許請求の範囲で使用される単数形の「1つの（one）」、「1つの（a）」、「その（the）」、「前述の」、「この（this）」、及び、「その1つの（the one）」という用語は、文脈で明確に定められなければ、「1つ以上」などの複数形も含むことが意図される。この出願の実施形態では、「1つ以上」は、1つ、2つ、又は、それ以上を意味することを更に理解すべきである。更に、「及び／又は」は、関連付けられた対象間の関連付け関係を記述し、3つの関係が存在し得ることを示す。例えば、A及び／又はBは、Aのみが存在する場合、AとBの両方が存在する場合、及び、Bのみが存在する場合を示す場合があり、AとBは単数であっても複数であってよい。記号「／」は一般に、関連付けられた対象間の「又は」の関係を示す。
【0034】
この出願の実施形態において提供されるインタフェースレイアウト方法は、携帯電話、タブレットコンピュータ、ウェアラブルデバイス、車載デバイス、拡張現実（augmented reality、AR）デバイス／仮想現実（virtual reality、VR）デバイス、ノートブックコンピュータ、ウルトラモバイルパーソナルコンピュータ（ultra－mobile personal computer、UMPC）、ネットブック、又は、携帯情報端末（personal digital assistant、PDA）などの端末デバイスに適用され得る。端末デバイスの特定の種類は、この出願の実施形態では限定されない。
【0035】
例えば、端末デバイスは、WLAN内のステーション（STATION，ST）であってもよく、携帯電話、コードレス電話、セッション開始プロトコル（Session Initiation Protocol，SIP）電話、ワイヤレスローカルループ（Wireless Local Loop，WLL）ステーション、携帯情報端末（Personal Digital Assistant，PDA）デバイス、無線通信機能を有するハンドヘルドデバイス、車載デバイス、車両端末のインターネット、コンピュータ、ラップトップコンピュータ、ハンドヘルド通信デバイス、ハンドヘルドコンピューティングデバイス、又は、衛星無線デバイスであってもよい。
【0036】
限定ではなく例として、端末デバイスがウェアラブルデバイスである場合、ウェアラブルデバイスは、代わりに、ウェアラブル技術を使用することによって日常的に着用する知的設計に基づいて開発される眼鏡、手袋、時計、衣服、及び、靴などのウェアラブルデバイスの総称であってもよい。ウェアラブルデバイスは、ユーザが直接着用することができる又はユーザの衣服もしくはアクセサリに組み込むことができるポータブルデバイスである。ウェアラブルデバイスは、ハードウェアデバイスであるだけでなく、ソフトウェアサポート、データ交換、及び、クラウド相互作用を介して強力な機能も実装する。一般的なウェアラブルインテリジェントデバイスは、スマートウォッチやスマートグラスなどのスマートフォンに依存せずに完全又は部分的な機能を実装できるフル機能の大型デバイスと、1種類のアプリケーション機能のみに焦点を当ててスマートフォンなどの他のデバイスや物理的な兆候を監視するための様々なスマートバンドやスマートジュエリーなどと連携する必要があるデバイスを含む。
【0037】
図1は、この出願の一実施形態に係るインタフェースレイアウト方法に関連するインタフェースレイアウトシステムのシステムアーキテクチャの図である。図1に示されるように、インタフェースレイアウトシステムは、第1の端末デバイス101と、少なくとも1つの第2の端末デバイス102とを含むことができ、第1の端末デバイスはそれぞれの第2の端末デバイスに接続されてもよい。
【0038】
第1の端末デバイスは、ユーザが入力操作を行なうのに便利な端末デバイスであってもよく、第2の端末デバイスは、ユーザによって一般的に使用されるが入力操作を行なうのに不便な端末デバイスであってもよい。例えば、第1の端末デバイスは携帯電話又はタブレットコンピュータであってもよく、第2の端末デバイスはテレビ、サウンドボックス、ヘッドセット、車載デバイスなどであってもよく、ユーザによって行なわれる入力操作は、テキスト情報を入力すること、及び、インタフェース内の各インタフェース要素でトリガされるタップ操作を含むことができる。タップ操作は、1つのタップ操作、ダブルタップ操作、又は、他の形態の操作であってもよい。
【0039】
第1の端末デバイスは、異なるアプリケーションをロードすることができ、第1の端末デバイスの画面上に、アプリケーションに対応する第1のインタフェースを表示することができる。第1の端末デバイスがユーザによってトリガされる画面投影命令を検出する場合、それは、ユーザが、第1のインタフェースを第2の端末デバイスに投影することを予期しており、第2の端末デバイスを介してアプリケーションが実行するインタフェースを表示することを予期していることを示す。この場合、第1の端末デバイスは、第1のインタフェースのインタフェース情報及び第2の端末デバイスの第2のデバイス情報を取得し、インタフェース情報及び第2のデバイス情報に基づいて再配置された第2のインタフェースを生成することができる。次いで、第1の端末デバイスは、再配置された第2のインタフェースを第2の端末デバイスに送信することができ、第2の端末デバイスは、再配置された第2のインタフェースを表示することができる。
【0040】
第1のインタフェースのインタフェース情報は、第1のインタフェース内にあって第2の端末デバイス上で表示され得るインタフェース要素の要素情報を含むことができる。例えば、要素情報は、第1のインタフェース内のインタフェース要素の位置、インタフェース要素が属する要素タイプ、インタフェース要素の名前などを含むことができる。加えて、第2のデバイス情報は、第2の端末デバイスの画面サイズ、画面方向、及び、画面解像度などの情報を含み得る。例えば、第2のデバイス情報は、第2の端末デバイスの解像度が2244＊1080であり、画面がランドスケープモードにあることを示すことができる。
【0041】
加えて、インタフェース情報及び第2のデバイス情報に基づいて再配置された第2のインタフェースを生成するプロセスにおいて、第1の端末デバイスは、事前トレーニングされたインタフェース認識モデルを使用することによって事前処理されたインタフェース情報を解析して、インタフェースの種類を決定することができ、その後、第1の端末デバイスは、再配置された第2のインタフェースを取得するために、インタフェースタイプ、第2のデバイス情報によって示される第2の端末デバイスの画面サイズ及び画面方向、並びに、第2の端末デバイスの画面に基づいてインタフェース情報における各インタフェース要素を配置することができる。
【0042】
実際の応用では、第1の端末デバイスは、1つの第1のインタフェースのためのインタフェースレイアウトを行なうこともでき、又は、複数の第1のインタフェースのためのインタフェースレイアウトを同時に行なうこともできることに留意すべきである。これに対応して、各第1のインタフェースは1つのインタフェースカテゴリに対応することができる。複数の第1のインタフェースがある場合、各第1のインタフェースは1つのインタフェースカテゴリに対応することができる。この出願の実施形態では、1つの第1のインタフェース及び1つのインタフェースカテゴリが単に説明のための一例として使用され、第1のインタフェースの数量及びインタフェースカテゴリの数量は限定されない。
【0043】
更に、この出願の実施形態は、主に人工知能（Artificial Intelligence，AI）認識分野に関し、特に、機械学習及び／又はニューラルネットワーク技術の分野に関する。例えば、この出願の実施形態におけるインタフェース認識モデルは、AI認識及び機械学習技術を使用することによってトレーニングにより取得される。
【0044】
以下では、第1の端末デバイスが携帯電話である例を使用することによって説明を行なう。図2は、この出願の一実施形態に係る携帯電話200の構造の概略図である。
【0045】
携帯電話200は、プロセッサ210、外部メモリインタフェース220、内部メモリ221、USBポート230、充電管理モジュール240、電力管理モジュール241、バッテリ242、アンテナ1、アンテナ2、モバイル通信モジュール251、無線通信モジュール252、オーディオモジュール270、スピーカ270A、受信機270B、マイクロフォン270C、ヘッドセットジャック270D、センサモジュール280、ボタン290、モータ291、インジケータ292、カメラ293、ディスプレイ294、SIMカードインタフェース295などを含むことができる。センサモジュール280は、ジャイロスコープセンサ280A、加速度センサ280B、光近接センサ280G、指紋センサ280H、及び、タッチセンサ280K（もちろん、携帯電話200は、温度センサ、圧力センサ、距離センサ、磁気センサ、周囲光センサ、気圧センサ、及び、骨伝導センサなどの他のセンサを更に含むことができ、これらは図には示されない）を含むことができる。
【0046】
本発明のこの実施形態に示される構造が携帯電話200の具体的な制限を構成するものではないことが理解され得る。この出願の幾つかの他の実施形態において、携帯電話200は、図に示されたものよりも多い又は少ない構成要素を含んでもよく、幾つかの構成要素が組み合わされてもよく、幾つかの構成要素が分割されてもよく、又は、異なる構成要素形態が使用されてもよい。図に示される構成要素は、ハードウェア、ソフトウェア、又は、ソフトウェアとハードウェアとの組み合わせを使用して実装され得る。
【0047】
プロセッサ210は、1つ以上の処理ユニットを含んでもよい。例えば、プロセッサ210は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィック処理ユニット（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、及び／又はニューラルネットワーク処理ユニット（neural－network processing unit、NPU）を含んでもよい。異なる処理ユニットは、独立した構成要素であってもよく、又は、1つ以上のプロセッサに組み込まれてもよい。コントローラは、携帯電話200の中枢及びコマンドセンタであってもよい。コントローラは、命令読み取り及び命令実行を制御するために、命令演算コード及び時系列信号に基づいて動作制御信号を生成し得る。
【0048】
メモリは、プロセッサ210に更に配置されてもよく、命令及びデータを記憶するように構成される。幾つかの実施形態では、プロセッサ210のメモリがキャッシュメモリである。メモリは、プロセッサ210によって使用されたばかりの又は周期的に使用される命令又はデータを記憶することができる。プロセッサ210が命令又はデータを再び使用する必要がある場合、プロセッサ210は、メモリから命令又はデータを直接呼び出し得る。これは、アクセスの繰り返しを回避し、プロセッサ210の待ち時間を低減する。したがって、システム効率が改善される。例えば、メモリは、第1の端末デバイスのインタフェース属性、例えば、第1のインタフェースのインタフェースサイズ及びインタフェース方向を記憶することができる。
【0049】
プロセッサ210は、この出願の実施形態で提供されるインタフェースレイアウト方法を実行して、ユーザによって第2の端末デバイスを介して第2のインタフェースを制御する利便性を向上させるとともに、異なる端末デバイス上でユーザによって実行される制御動作間の一貫性を向上させることができる。プロセッサ210は、異なる構成要素を含んでもよい。例えば、CPU及びGPUが一体化される場合、CPU及びGPUは、この出願の実施形態で提供されるインタフェースレイアウト方法を実行するために協働することができる。例えば、インタフェースレイアウト方法では、より高い処理効率を得るために、一部のアルゴリズムがCPUによって実行され、他のアルゴリズムがGPUによって実行される。例えば、CPUは、受信した画面投影命令にしたがって、現在表示されている第1のインタフェースのインタフェース情報及び画面投影端末デバイスのデバイス情報を取得することができ、また、GPUは、インタフェース情報及びデバイス情報に基づいて、画面投影端末デバイスに適した第2のインタフェースを生成することができる。
【0050】
ディスプレイ294は、画像、ビデオなどを表示するように構成される。ディスプレイ294は、表示パネルを含む。表示パネルは、液晶ディスプレイ（liquid crystal display，LCD）、有機発光ダイオード（organic light－emitting diode，OLED）、アクティブマトリックス有機発光ダイオード（active－matrix organic light emitting diode，AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode，FLED）、Miniled、MicroLed、Micro－oLed、量子ドット発光ダイオード（quantum dot light emitting diodes，QLED）などであってもよい。一部の実施形態では、携帯電話200が1つ又はN個のディスプレイ294を含んでもよく、Nは1よりも大きい正の整数である。ディスプレイ294は、ユーザによって入力された情報又はユーザに提供された情報、及び、様々なグラフィカルユーザインタフェース（graphical user interface，GUI）を表示するように構成されてもよい。例えば、ディスプレイ294は、写真、ビデオ、ウェブページ、ファイルなどを表示することができる。別の例では、ディスプレイ294は、グラフィカルユーザインタフェースを表示することができる。グラフィカルユーザインタフェースは、ステータスバー、隠すことができるナビゲーションバー、時間及び天候ウィジェット（widget）、並びに、にアプリケーションアイコン、例えばブラウザアイコンを含むことができる。ステータスバーは、オペレータ名（例えば、中国モバイル）、モバイルネットワーク（例えば、4G）、時刻、及び、バッテリ残量を含む。ナビゲーションバーは、戻る（back）ボタンのアイコンと、ホーム（home）ボタンのアイコンと、進むボタンのアイコンとを含む。更に、幾つかの実施形態において、ステータスバーは、Bluetoothアイコン、Wi－Fiアイコン、外部接続デバイスのアイコンなどを更に含んでもよいことが理解され得る。幾つかの他の実施形態において、グラフィカルユーザインタフェースは、ドックバーを更に含むことができ、ドックバーは、頻繁に使用されるアプリケーションのアイコンなどを含むことができることが更に理解され得る。プロセッサ210が指（スタイラスなど）を使用することによってアプリケーションアイコン上のユーザのタッチイベントを検出した後、タッチイベントに応じて、プロセッサ210は、アプリケーションアイコンに対応するアプリケーションのユーザインタフェースを開始し、ディスプレイ294上にアプリケーションのユーザインタフェースを表示する。
【0051】
この出願のこの実施形態において、ディスプレイ294は、1つの一体型フレキシブルディスプレイであってもよく、又は、2つの剛性画面と2つの剛性画面の間に位置される1つのフレキシブル画面とを含むスプライスディスプレイであってもよい。プロセッサ210がこの出願の実施形態で提供されるインタフェースレイアウト方法を実行した後、プロセッサ210は、第2の端末デバイスに表示されるべき第2のインタフェースを生成するようにGPUを制御してもよい。
【0052】
カメラ293（前向きカメラ、後向きカメラ、又は、前向きカメラと後向きカメラの両方として機能することができるカメラ）は、静止画像又はビデオを撮影するように構成される。通常、カメラ293は、レンズ群及び画像センサなどの感光素子を含むことができる。レンズ群は、複数のレンズ（凸レンズ又は凹レンズ）を含むとともに、被撮影物によって反射された光信号を収集して収集された光信号を画像センサに転送するように構成される。画像センサは、光信号に基づいて被撮影物の原画像を生成する。
【0053】
内部メモリ221は、コンピュータ実行可能プログラムコードを記憶するように構成されてもよい。実行可能なプログラムコードは、命令を含む。プロセッサ210は、携帯電話200の様々な機能アプリケーション及びデータ処理を実行するために、内部メモリ221に記憶された命令を実行する。内部メモリ221は、プログラム記憶エリア及びデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、アプリケーション（例えば、カメラアプリケーション又はWeChatアプリケーション）のコードなどを記憶することができる。データ記憶エリアは、携帯電話200の使用中に作成されるデータ（例えば、カメラアプリケーションによって収集された画像又はビデオ）などを記憶することができる。
【0054】
内部メモリ221は、この出願の実施形態で提供されるインタフェースレイアウト方法に対応する1つ以上のコンピュータプログラムを更に記憶することができる。1つ以上のコンピュータプログラムは、メモリ221に記憶されるとともに、1つ以上のプロセッサ210によって実行されるように構成される。1つ以上のコンピュータプログラムは命令を含み、命令は、図4～図18の対応する実施形態のステップを実行するために使用され得る。コンピュータプログラムは、受信モジュール及び生成モジュールを含むことができる。受信モジュールは、画面投影命令を受信するように構成され、画面投影命令は、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示するために使用される。生成モジュールは、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するように構成され、第1のインタフェースは第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報は第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる。
【0055】
加えて、内部メモリ221は、高速ランダムアクセスメモリを含んでいてもよく、又は、少なくとも1つの磁気ディスク記憶デバイス、フラッシュメモリ、ユニバーサルフラッシュストレージ（universal flash storage、UFS）などの不揮発性メモリを含んでいてもよい。
【0056】
当然ながら、この出願の実施形態で提供されるインタフェースレイアウト方法に対応するコードは、代替的に外部メモリに記憶されてもよい。この場合、プロセッサ210は、外部メモリインタフェース220を介して、インタフェースレイアウト方法に対応して外部メモリに記憶されるコードを実行することができ、プロセッサ210は、第2の端末デバイスに表示されるべき第2のインタフェースを生成するようにGPUを制御することができる。
【0057】
以下、センサモジュール280の機能を説明する。
【0058】
ジャイロスコープセンサ280Aは、携帯電話200の動作姿勢を決定するように構成されてもよい。幾つかの実施形態では、ジャイロスコープセンサ280Aを使用することによって、三軸（すなわち、x軸、y軸、及びz軸）を中心とした携帯電話200の角速度が決定されてもよい。言い換えると、ジャイロスコープセンサ280Aは、携帯電話200の現在の動作状態、例えば、振動状態又は静止状態を検出するように構成されてもよい。
【0059】
この出願のこの実施形態におけるディスプレイが折り畳み式画面である場合、ジャイロスコープセンサ280Aは、ディスプレイ294上で実行される折り畳み又は展開動作を検出するように構成され得る。ジャイロスコープセンサ280Aは、ディスプレイ294が折り畳まれた状態にあるか又は展開された状態にあるかどうかを決定するために、検出された折り畳み又は展開動作をイベントとしてプロセッサ210に報告することができる。
【0060】
加速度センサ280Bは、携帯電話200の様々な方向（通常は3軸上）の加速度の大きさを検出することができる。言い換えると、ジャイロスコープセンサ280Aは、携帯電話200の現在の動作状態、例えば、振動状態又は静止状態を検出するように構成されてもよい。この出願のこの実施形態におけるディスプレイが折り畳み式画面である場合、加速度センサ280Bは、ディスプレイ294上で行なわれる折り畳み又は展開動作を検出するように構成されてもよい。加速度センサ280Bは、ディスプレイ294が折り畳まれた状態にあるか又は展開された状態にあるかどうかを決定するために、検出された折り畳み又は展開動作をイベントとしてプロセッサ210に報告することができる。
【0061】
光近接センサ280Gは、例えば、発光ダイオード（LED）及び光検出器、例えば、フォトダイオードを含んでもよい。発光ダイオードは、赤外線発光ダイオードであってもよい。携帯電話は、発光ダイオードを使用することによって赤外光を放射する。携帯電話は、フォトダイオードを使用することによって近くの物体からの赤外線反射光を検出する。十分な反射光が検出されると、携帯電話は、携帯電話の近くに物体があると決定することができる。不十分な反射光が検出される場合、携帯電話は、携帯電話の近くに物体がないと決定してもよい。この出願のこの実施形態におけるディスプレイが折り畳み式画面である場合、光近接センサ280Gは、折り畳み式ディスプレイ294の第1の画面上に配置されてもよく、光近接センサ280Gは、赤外線信号間の光路差に基づいて、折り畳まれた状態又は展開された状態の第1の画面と第2の画面との間の角度の大きさを検出してもよい。
【0062】
ジャイロスコープセンサ280A（又は加速度センサ280B）は、検出された動作状態情報（例えば、角速度）をプロセッサ210に送信することができる。プロセッサ210は、動作状態情報に基づいて、携帯電話が現在ハンドヘルド状態にあるか又は三脚状態にあるかを決定する（例えば、角速度が0でない場合、そのことは携帯電話200がハンドヘルド状態にあることを示す）。
【0063】
指紋センサ280Hは、指紋を採取するように構成される。携帯電話200は、収集された指紋の特徴を使用して、指紋ロック解除、アプリケーションロックアクセス、指紋ベースの写真撮影、指紋ベースの電話応答などを実施することができる。
【0064】
タッチセンサ280Kは、「タッチパネル」とも呼ばれる。タッチセンサ280Kは、ディスプレイ294上に配置され得る。タッチセンサ280K及びディスプレイ294は、タッチ画面を構成し、「タッチスクリーン」とも称される。タッチセンサ280Kは、タッチセンサ280K上又はその近傍で行なわれたタッチ操作を検出するように構成される。タッチセンサは、検出されたタッチ操作をアプリケーションプロセッサに伝達して、タッチイベントのタイプを決定することができる。ディスプレイ294は、タッチ操作に関連する視覚的な出力を提供することができる。幾つかの他の実施形態において、タッチセンサ280Kは、代替的に、ディスプレイ294の位置とは異なる位置で携帯電話200の表面に配置されてもよい。
【0065】
例えば、携帯電話200のディスプレイ294は、ホーム画面を表示し、また、ホーム画面は複数のアプリケーション（例えば、カメラアプリケーション及びWeChatアプリケーション）のアイコンを含む。ユーザは、タッチセンサ280Kを介してホーム画面上のカメラアプリケーションのアイコンをタップし、プロセッサ210をトリガしてカメラアプリケーションを起動し、カメラ293をオンにする。ディスプレイ294は、カメラアプリケーションのインタフェース、例えばビューファインダのインタフェースを表示する。
【0066】
携帯電話200の無線通信機能は、アンテナ1、アンテナ2、モバイル通信モジュール251、無線通信モジュール252、モデムプロセッサ、ベースバンドプロセッサなどを介して実施され得る。
【0067】
アンテナ1及びアンテナ2はそれぞれ、電磁波信号を送受信するように構成される。携帯電話200における各アンテナは、1つ以上の通信帯域をカバーするように構成され得る。アンテナ利用を改善するために、異なるアンテナが更に多重化されてもよい。例えば、アンテナ1は、ワイヤレスローカルエリアネットワークにおいてダイバーシティアンテナとして多重化されてもよい。幾つかの他の実施形態では、アンテナが同調スイッチと組み合わせて使用されてもよい。
【0068】
モバイル通信モジュール251は、2G、3G、4G、5Gなどを含むとともに携帯電話200に適用される無線通信ソリューションを提供し得る。モバイル通信モジュール251は少なくとも1つのフィルタ、スイッチ、パワーアンプ、ローノイズアンプ（low noise amplifier，LNA）などを含んでもよい。モバイル通信モジュール251は、アンテナ1を介して電磁波を受信し、受信した電磁波に対してフィルタリング及び増幅などの処理を行ない、処理された電磁波を復調のためにモデムプロセッサに送信することができる。モバイル通信モジュール251は、モデムプロセッサによって変調された信号を更に増幅し、アンテナ1を介して放射するために信号を電磁波に変換することができる。幾つかの実施形態では、モバイル通信モジュール251の少なくとも幾つかの機能モジュールがプロセッサ210内に配置されてもよい。幾つかの実施形態において、モバイル通信モジュール251の少なくとも幾つかの機能モジュールは、プロセッサ210の少なくとも幾つかのモジュールとして同じデバイス内に配置されてよい。この出願のこの実施形態において、モバイル通信モジュール251は、別の端末デバイスと情報を交換し、例えば、別の端末デバイスにオーディオ出力要求を送信するように更に構成されてもよく、又は、モバイル通信モジュール251は、オーディオ出力要求を受信し、受信したオーディオ出力要求を指定されたフォーマットのメッセージにカプセル化するように構成されてもよい。
【0069】
モデムプロセッサは、変調器及び復調器を含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中又は高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波ベースバンド信号に復調するように構成される。次いで、復調器は、復調によって取得された低周波ベースバンド信号を処理のためにベースバンドプロセッサに送信する。ベースバンドプロセッサは、低周波数ベースバンド信号を処理し、次いで、得られた信号をアプリケーションプロセッサに転送する。アプリケーションプロセッサは、オーディオデバイス（スピーカ270A又は受信機270Bなどに限定されない）を使用することによって音声信号を出力し、又は、ディスプレイ294を使用することによって画像又はビデオを表示する。幾つかの実施形態では、モデムプロセッサが独立した構成要素であってもよい。幾つかの他の実施形態において、モデムプロセッサは、プロセッサ210から独立していてもよく、モバイル通信モジュール251又は別の機能モジュールと同じデバイスに配置される。
【0070】
無線通信モジュール252は、ワイヤレスローカルエリアネットワーク（wireless local area networks、WLAN）（例えば、ワイヤレスフィデリティ（wireless fidelity、Wi－Fi）ネットワーク）、ブルートゥース（登録商標）（bluetooth、BT）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、近距離無線通信（near field communication、NFC）技術、赤外線（infrared、IR）技術などを含むとともに携帯電話200に適用される無線通信の解決策を提供し得る。無線通信モジュール252は、少なくとも1つの通信処理モジュールを統合する1つ以上の構成要素であってもよい。無線通信モジュール252は、アンテナ2を介して電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を行ない、処理された信号をプロセッサ210に送る。無線通信モジュール252は、プロセッサ210から送信信号を更に受信し、信号に対して周波数変調及び増幅を実行し、アンテナ2を介して放射するために信号を電磁波に変換することができる。この出願のこの実施形態において、無線通信モジュール252は、音声出力デバイスへの接続を確立するとともに音声出力デバイスを介して音声信号を出力するように構成される。或いは、無線通信モジュール252は、アクセスポイントデバイスにアクセスし、音声出力要求に対応するメッセージを別の端末デバイスに送信する又は別の端末デバイスによって送信された音声出力要求に対応するメッセージを受信するように構成されてもよい。任意選択で、無線通信モジュール252は、別の端末デバイスから音声データを受信するように更に構成されてもよい。
【0071】
また、携帯電話200は、オーディオモジュール270、スピーカ270A、受信機270B、マイクロフォン270C、ヘッドセットジャック270D、アプリケーションプロセッサなどを使用することによって音楽の再生や録音などのオーディオ機能を実現してもよい。携帯電話200は、ボタン290から入力を受信し、携帯電話200のユーザ設定及び機能制御に関連するボタン信号入力を生成することができる。携帯電話200は、モータ291を介して振動プロンプト（例えば、着信振動プロンプト）を生成することができる。携帯電話200のインジケータ292は、インジケータライトであってもよく、充電状態及び電源変更を示すように構成されてもよく、或いは、メッセージ、不在着信、通知などを示すように構成されてもよい。携帯電話200におけるSIMカードインタフェース295は、SIMカードに接続するように構成される。SIMカードは、携帯電話200との接触又は携帯電話200からの分離を実現するために、SIMカードインタフェース295に挿入されてもよく又はSIMカードインタフェース295から取り外されてもよい。
【0072】
実際の用途において、携帯電話200は、図2に示される構成要素よりも多い又は少ない構成要素を含むことができることを理解すべきである。これは、この出願のこの実施形態では限定されない。図に示される携帯電話200は単なる一例であり、携帯電話200は、図に示されるものよりも多い又は少ない構成要素を有してもよく、2つ以上の構成要素が組み合わされてもよく、又は、異なる構成要素形態が使用されてもよい。図に示される様々な構成要素は、ハードウェア、ソフトウェア、又は、1つ以上の信号処理及び／又は特定用途向け集積回路を含むハードウェアとソフトウェアとの組み合わせで実装されてもよい。
【0073】
端末デバイスのソフトウェアシステムは、階層化アーキテクチャ、イベントドリブンアーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、又は、クラウドアーキテクチャを使用することができる。本発明の実施形態では、端末デバイスのソフトウェア構造を説明するための一例として、階層化アーキテクチャを有するAndroidシステムが使用される。図3は、本発明の一実施形態に係る端末デバイスのソフトウェア構造のブロック図である。
【0074】
階層化アーキテクチャでは、ソフトウェアが幾つかの層に分割され、各層が明確な役割及びタスクを有する。層は、ソフトウェアインタフェースを介して互いに通信する。一部の実施形態において、Androidシステムは、4つの層、すなわち、上から下へ、アプリケーション層、アプリケーションフレームワーク層、アンドロイド（登録商標）ランタイム（Android runtime）及びシステムライブラリ、並びに、カーネル層に分割される。
【0075】
アプリケーション層は、一連のアプリケーションパッケージを含むことができる。
【0076】
図3に示されるように、アプリケーションパッケージは、電話、カメラ、ギャラリー、カレンダー、フォン、地図、ナビゲーション、WLAN、ブルートゥース（登録商標）、音楽、ビデオ、メッセージ、及び、投影などのアプリケーションを含むことができる。
【0077】
アプリケーションフレームワーク層は、アプリケーション層のアプリケーションにアプリケーションプログラミングインタフェース（application programming interface、API）及びプログラミングフレームワークを与える。アプリケーションフレームワーク層は、幾つかの所定の機能を含む。
【0078】
図3に示されるように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、通知マネージャなどを含むことができる。
【0079】
ウィンドウマネージャは、ウィンドウプログラムを管理するように構成される。ウィンドウマネージャは、ディスプレイのサイズを取得し、ステータスバーがあるか否かを決定し、画面ロックを実行し、画面ショットを取得するなどをしてもよい。例えば、ウィンドウマネージャは、第1のインタフェースのインタフェース属性、例えば、第1のインタフェースのインタフェースサイズ及びインタフェース方向を取得することができる。
【0080】
コンテンツプロバイダは、データを記憶及び取得し、アプリケーションによってデータにアクセスできるようにするべく構成される。データは、ビデオ、画像、オーディオ、送受信された通話、閲覧履歴及びブックマーク、電話帳などを含むことができる。
【0081】
ビューシステムは、テキストを表示するための制御及び画像を表示するための制御などの視覚的制御を含む。ビューシステムは、アプリケーションを構築するように構成されてもよい。表示インタフェースは、1つ以上のビューを含み得る。例えば、メッセージ通知アイコンを含む表示インタフェースは、テキスト表示ビュー及び画像表示ビューを含むことができる。
【0082】
電話マネージャは、端末デバイスの通信機能、例えば、通話状態（回答、拒否等を含む）の管理を行なうように構成される。
【0083】
リソースマネージャは、ローカライズされた文字列、アイコン、画像、レイアウトファイル、及び、ビデオファイルなどのアプリケーションのための様々なリソースを与える。
【0084】
通知マネージャは、アプリケーションがステータスバーに通知情報を表示することを可能にし、通知メッセージを伝達するように構成されてもよい。通知マネージャは、ユーザとの対話を伴うことなく短い一時停止の後に自動的に消えることができる。例えば、通知マネージャは、ダウンロード完了の通知、メッセージ通知などを行なうように構成される。或いは、通知マネージャは、システムの上部のステータスバーにグラフ又はスクロールバーテキストの形で現れる通知、例えば、バックグラウンドで動作しているアプリケーションの通知又はダイアログウィンドウの形で画面に現れる通知であってもよい。例えば、テキスト情報がステータスバーで促され、プロンプトトーンが生成され、端末デバイスが振動し、或いは、インジケータライトが点滅する。
【0085】
Android runtimeは、カーネルライブラリ及び仮想マシンを含む。Android runtimeは、アンドロイド（登録商標）システムのスケジューリング及び管理を担当する。
【0086】
カーネルライブラリは、2つの部分、すなわち、Java言語で呼び出す必要がある機能と、Androidのカーネルライブラリとを含む。
【0087】
アプリケーション層及びアプリケーションフレームワーク層は、仮想マシン上で動作される。仮想マシンは、アプリケーション層及びアプリケーションフレームワーク層のjavaファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、セキュリティと例外管理、ガベージコレクションなどの機能を実装するように構成される。
【0088】
システムライブラリは、複数の機能モジュール、例えば、サーフェスマネージャ（surface manager）、メディアライブラリ（Media Libraries）、3次元グラフィック処理ライブラリ（例えば、OpenGL ES）、及び2Dグラフィックエンジン（例えば、SGL）を含み得る。
【0089】
サーフェスマネージャは、ディスプレイサブシステムを管理し、複数のアプリケーションのための2Dレイヤと3Dレイヤの融合を提供するように構成される。
【0090】
メディアライブラリは、複数の一般的に使用されるオーディオ及びビデオフォーマット、静止画像ファイルなどの再生及び記録をサポートする。メディアライブラリは、MPEG4、H．264、MP3、AAC、AMR、JPG、及びPNGなどの複数のオーディオ及びビデオ符号化フォーマットをサポートすることができる。
【0091】
3次元グラフィックス処理ライブラリは、3次元グラフィックス描画、画像レンダリング、画像合成、及び、レイヤ処理などを実施するように構成される。
【0092】
2Dグラフィックスエンジンは、2D描画用の描画エンジンである。
【0093】
カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ、及び、センサドライバを含む。
【0094】
図4は、この出願の一実施形態に係るインタフェースレイアウト方法の概略フローチャートである。限定ではなく一例として、方法は前述の第1の端末デバイスに適用することができる。図4に示されるように、方法は以下のステップを含む。
【0095】
ステップ401：画面投影命令を受信する。
【0096】
画面投影命令は、第1の端末デバイスに第2の端末デバイスへの画面投影を実行するように指示するために使用される。例えば、画面投影命令は、第2の端末デバイスを示すために使用される第2のデバイス識別子を含むことができる。この場合、第1の端末デバイスは、第2のデバイス識別子に基づいて、第2の端末デバイスへの画面投影を行なうことを決定することができる。
【0097】
アプリケーションをロードするプロセスにおいて、第1の端末デバイスはアプリケーションのインタフェースを表示することができる。第1の端末デバイスが位置されるネットワークが別の端末デバイス、例えば第2の端末デバイスも含む場合、第1の端末デバイスは、ユーザによってトリガされる画面投影命令を検出することができる。第2の端末デバイスへの画面投影を実行するためにトリガされる画面投影命令を第1の端末デバイスが検出する場合、第1の端末デバイスは、画面投影命令を受信することができ、それにより、第1の端末デバイスは、後続のステップにおいて、第2の端末デバイスと適合する第2のインタフェースを生成することができる。
【0098】
例えば、第1の端末デバイスが携帯電話であってもよく、第2の端末デバイスがテレビであってもよい。第1の端末デバイスがフィットネスアプリケーションをロードし、第1の端末デバイスによって表示されるインタフェースがフィットネスビデオであってもよい。しかしながら、ユーザが健康を保っているとき、ユーザが携帯電話を保持することは不便であり、そのため、携帯電話の画面は比較的小さい。この場合、第1の端末デバイスは、ユーザによってトリガされる画面投影命令を検出することができ、画面投影命令は、ユーザがテレビを介してフィットネスビデオを便利に視聴するように、フィットネスアプリケーションのインタフェースをテレビに投影するように第1の端末デバイスに指示する。
【0099】
ステップ402：第1のインタフェースのインタフェース情報及び第2のデバイス情報を取得する。
【0100】
第1の端末デバイスが画面投影命令を受信した後、それは、ユーザが、第1の端末デバイスによって表示されたインタフェースを第2の端末デバイスに投影することを予期しており、第2の端末デバイスを介して、第1の端末デバイスによって表示されたインタフェースを表示することを予期していることを示し、それにより、ユーザは、第2の端末デバイスを介して投影されたインタフェースを都合良く制御することができる。第1の端末デバイスは、第1のインタフェースのインタフェース情報及び第2のデバイス情報を取得することができ、それにより、第1の端末デバイスは、後続のステップで、第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスと適合するとともに第2の端末デバイスに表示されるべき第2のインタフェースを生成することができる。
【0101】
具体的には、異なるタイプの第2の端末デバイスについて、ユーザは異なる動作を使用することによって第2の端末デバイスを制御する必要がある。これに基づき、異なる第2の端末デバイスへの画面投影を実行するプロセスにおいて、第1の端末デバイスは、第2の端末デバイスとそれぞれ適合する第2のインタフェースを取得するために、第1の端末デバイスによって表示される第1のインタフェースを調整することができる。
【0102】
第1のインタフェースは、第1の端末デバイスに表示されるインタフェースである。インタフェース情報は、インタフェース属性と、第1のインタフェースにおける少なくとも1つのインタフェース要素の要素情報とを含むことができる。インタフェース属性は、第1のインタフェースのインタフェースサイズ及びインタフェース方向を示すために使用される。インタフェース要素の要素情報は、インタフェース要素の名前及びタイプ、並びに、第1のインタフェースにおけるインタフェース要素の位置を示すために使用される。例えば、第1の端末デバイスは、事前設定された要素認識態様で第1のインタフェースにおける各インタフェース要素を認識し、第1のインタフェースにおける複数のインタフェース要素及び各インタフェース要素の要素情報を決定することができる。
【0103】
例えば、図5は、第1の端末デバイスによって表示されるプレイヤの第1のインタフェースを示す。第1のインタフェースは、曲名（title）501、カバー（cover）502、シーク（seek）バー503、繰り返し（repeat）再生制御504、前の（pre）制御505、再生（play）506制御、次の（next）制御507、及び、メニュー（menu）制御508などの複数のインタフェース要素を含んでもよい。
【0104】
更に、第1の端末デバイスは、各インタフェース要素の要素情報を更に取得してもよい。前述のインタフェース要素の要素情報としては、
［｛’’label’’：0，’’labelName’’：’’title’’，’’uiRect’’：｛’’bottom’’：170，’’left’’：168，’’right’’：571，’’top’’：102｝，’’viewId’’：684｝，｛’’label’’：1，’’labelName’’：’’seek’’，’’uiRect’’：｛’’bottom’’：1992，’’left’’：0，’’right’’：1080，’’top’’：1924｝，’’viewId’’：670｝，｛’’label’’：2，’’labelName’’：’’repeat’’，’’uiRect’’：｛’’bottom’’：2167，’’left’’：84，’’right’’：204，’’top’’：2047｝，’’viewId’’：675｝，｛’’label’’：3，’’labelName’’：’’pre’’，’’uiRect’’：｛’’bottom’’：2167，’’left’’：279，’’right’’：399，’’top’’：2047｝，’’viewId’’：676｝，｛’’label’’：4，’’labelName’’：’’play’’，’’uiRect’’：｛’’bottom’’：2212，’’left’’：435，’’right’’：645，’’top’’：2002｝，’’viewId’’：677｝，｛’’label’’：5，’’labelName’’：’’next’’，’’uiRect’’：｛’’bottom’’：2167，’’left’’：681，’’right’’：801，’’top’’：2047｝，’’viewId’’：678｝，｛’’label’’：6，’’labelName’’：’’menu’’，’’uiRect’’：｛’’bottom’’：2167，’’left’’：876，’’right’’：996，’’top’’：2047｝，’’viewId’’：679｝，｛’’label’’：7’’labelName’’：’’cover’’，’’uiRect’’：｛’’bottom’’：1255，’’left’’：0，’’right’’：1080，’’top’’：451｝，’’viewId’’：618｝］．
を挙げることができる。
［｛’’label’’：0，’’labelName’’：’’title’’，’’uiRect’’：｛’’bottom’’：170，’’left’’：168，’’right’’：571，’’top’’：102｝，’’viewId’’：684｝，｛’’label’’：1，’’labelName’’：’’seek’’，’’uiRect’’：｛’’bottom’’：1992，’’left’’：0，’’right’’：1080，’’top’’：1924｝，’’viewId’’：670｝，｛’’label’’：2，’’labelName’’：’’repeat’’，’’uiRect’’：｛’’bottom’’：2167，’’left’’：84，’’right’’：204，’’top’’：2047｝，’’viewId’’：675｝，｛’’label’’：3，’’labelName’’：’’pre’’，’’uiRect’’：｛’’bottom’’：2167，’’left’’：279，’’right’’：399，’’top’’：2047｝，’’viewId’’：676｝，｛’’label’’：4，’’labelName’’：’’play’’，’’uiRect’’：｛’’bottom’’：2212，’’left’’：435，’’right’’：645，’’top’’：2002｝，’’viewId’’：677｝，｛’’label’’：5，’’labelName’’：’’next’’，’’uiRect’’：｛’’bottom’’：2167，’’left’’：681，’’right’’：801，’’top’’：2047｝，’’viewId’’：678｝，｛’’label’’：6，’’labelName’’：’’menu’’，’’uiRect’’：｛’’bottom’’：2167，’’left’’：876，’’right’’：996，’’top’’：2047｝，’’viewId’’：679｝，｛’’label’’：7’’labelName’’：’’cover’’，’’uiRect’’：｛’’bottom’’：1255，’’left’’：0，’’right’’：1080，’’top’’：451｝，’’viewId’’：618｝］．
を挙げることができる。
【0105】
ラベルは、各インタフェース要素の識別子を表わすために使用され、例えば、各インタフェース要素のシーケンス番号であってもよく、labelnameは、各インタフェース要素の名前を表わすために使用され、uiRectは、第1のインタフェースにおける各インタフェース要素に対応するエリアを表わすために使用され、及び、viewIDは、インタフェース要素に対応する画像の識別情報を表わすために使用されるビュー識別子である。更に、uiRectは、4つのパラメータ、すなわち、bottom、top、left、及びrightを含むことができ、bottomは、インタフェース要素の底部境界を表わすために使用され、topは、インタフェース要素の頂部境界を表わすために使用され、leftは、インタフェース要素の左境界を表わすために使用され、rightは、インタフェース要素の右境界を表わすために使用される。また、要素情報における各パラメータは、ピクセル単位であってもよい。例えば、曲名に対応するエリアは、上の境界が102ピクセル、下の境界が170ピクセル、左の境界が168ピクセル、右の境界が571ピクセルである。
【0106】
なお、各インタフェース要素の要素情報に示されるパラメータは、いずれも一例であり、インタフェース要素の要素情報は、ここでは限定されない。
【0107】
第1の端末デバイスによって認識されるインタフェース要素は、第2の端末デバイスに表示され得るインタフェース要素であることに更に留意すべきである。インタフェース要素を認識するプロセスにおいて、第1の端末デバイスは、まず第1のインタフェースにおける全てのインタフェース要素を認識し、次いで、事前設定された推奨アルゴリズムにしたがって認識された各インタフェース要素を取得された第2のデバイス情報と比較して適合させることができる。インタフェース要素を第2の端末デバイス上に表示できると第1の端末デバイスが決定する場合、第1の端末デバイスは、インタフェース要素の要素情報を取得するために、インタフェース要素を抽出することができる。インタフェース要素を第2の端末デバイスに表示することができないと第1の端末デバイスが決定する場合、第1の端末デバイスは、インタフェース要素を無視することができ、インタフェース要素を抽出しない。
【0108】
加えて、第2のデバイス情報を取得するプロセスにおいて、第1の端末デバイスは、画面投影命令で伝えられる第2のデバイス識別子に基づいて第2の端末デバイスからの第2のデバイス情報をまず要求することができ、第1の端末デバイスによって送信された要求を受信した後、第2の端末デバイスは、事前設定された構成情報に基づいて抽出により第2の端末デバイスの画面サイズ及び画面状態を取得し、画面サイズ及び画面状態を含む第2のデバイス情報を第1の端末デバイスにフィードバックすることができ、その後、第1の端末デバイスは第2のデバイス情報の取得を完了する。
【0109】
例えば、第2の端末デバイスの第2のデバイス情報は（dst＿width：2244，dst＿height：1080，2）を含むことができ、それは、第2の端末デバイスの解像度が2244＊1080であり、第2の端末デバイスの画面状態が2で示されるランドスケープモードであることを示す。
【0110】
ステップ403：インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって少なくとも1つのインタフェース要素の要素情報に基づいて認識を実行する。
【0111】
インタフェース情報を取得した後、第1の端末デバイスは、第1の端末デバイスが後続のステップでインタフェースカテゴリに基づいて各インタフェース要素を配置することができるように、第1のインタフェースに対応するインタフェースカテゴリを決定するべく、事前トレーニングによって取得されたインタフェース認識モデルを使用することにより、インタフェース情報に含まれるインタフェース属性に基づき、インタフェース情報における要素情報を解析することができる。
【0112】
異なる第1の端末デバイスは異なる画面解像度を有する。したがって、第1の端末デバイスは、要素情報を前処理して、第1の端末デバイスの計算量を低減することができる。具体的には、第1の端末デバイスは、各インタフェース要素を比較的小さいサイズのマッピングエリアにマッピングし、マッピングエリアで特徴抽出を行なってインタフェース特徴データを取得し、インタフェース特徴データによって示されるインタフェース要素の位置に基づいてインタフェースカテゴリを更に決定する。
【0113】
任意選択で、第1の端末デバイスは、インタフェース属性に基づいて複数のインタフェース要素の要素情報に対して特徴抽出を行ない、インタフェース特徴データを取得し、インタフェース特徴データをインタフェース認識モデルに入力し、インタフェース認識モデルを使用することによってインタフェース特徴データを認識して、インタフェース認識モデルから出力されたインタフェースカテゴリを取得してもよい。
【0114】
想定し得る実施において、第1の端末デバイスは、マッピングエリア内の各インタフェース要素の位置を取得するために、複数の要素情報に基づいて各インタフェース要素の位置をまず取得し、事前設定されたマッピング式を使用することによってインタフェース情報におけるインタフェース属性に基づいて計算を実行することができる。次に、第1の端末デバイスは、マッピングエリア内の各位置にインタフェース要素があるかどうかに基づいてマッピングエリア内で特徴抽出を実行して、インタフェース要素の位置を示すインタフェース特徴データを取得することができる。次いで、第1の端末デバイスは、事前トレーニングされたインタフェース認識モデルにインタフェース特徴データを入力し、インタフェース認識モデルを使用することにより、インタフェース要素の位置を示すインタフェース特徴データを解析し、最終的に、第1のインタフェースにおける各インタフェース要素の位置に基づいて第1のインタフェースのインタフェースカテゴリを認識することができる。
【0115】
例えば、マッピング式は
であってもよい。具体的には、xt≧ftop，xb≦fbot，xl≧fleft及びxr≦frightのとき、f（x）＝ftop＋fleft＋cである。他の場合、f（x）＝0である。f（x）＝0の場合、c＝0である。他の場合、cは非ゼロ定数である。
【数1】
【0116】
x＝（xt，xb．xl，xr）、ftop＝top＊dsth／src＿height、fbot＝bottom＊dsth／src＿height、fleft＝left＊dstw／src＿width、fright＝right＊dstw／src＿width、dsthはマッピングエリアの高さを表わし、dstwはマッピングエリアの幅を表わし、src＿heightは第1のインタフェースの高さをアたわし、src＿widthは第1のインタフェースの幅を表わす。
【0117】
実際の用途では、全てのアプリケーションのインタフェースを複数のインタフェースタイプに分類することができ、インタフェースタイプの数量はこの出願のこの実施形態では限定されないことに留意すべきである。例えば、8つのインタフェースカテゴリが事前設定されてもよい。図6～図13は、各インタフェースカテゴリに対応する概略図である。
【0118】
図6は、インタフェースカテゴリ1の概略図である。インタフェースにおける複数のインタフェース要素は、同じ層に位置されてもよく、インタフェース要素はオーバーレイされない。例えば、インタフェースカテゴリ1は、音楽再生インタフェースに適用されてもよい。図7は、インタフェースカテゴリ2の概略図である。インタフェースにおける複数のインタフェース要素は、同じ層に配置されてもよいが、インタフェース要素はオーバーレイされる。例えば、インタフェースカテゴリ2は、ビデオ再生インタフェースに適用されてもよい。図8－a及び図8－bは、ポートレートモード及びランドスケープモードのインタフェースカテゴリ3の概略図である。インタフェースにおける複数のインタフェース要素は同じ層に位置されてもよく、インタフェースにおける拡張項目をオーバーレイすることができる。例えば、インタフェースカテゴリ3は、ポップアッププレイリストを有する音楽再生インタフェース又はポップアップエピソードを有するビデオ再生ページに適用されてもよく、プレイリスト及びビデオエピソードはスライド可能部分に属する。図9－a及び図9－bは、ポートレートモードにおけるインタフェースカテゴリ4の概略図である。インタフェースにおける全てのインタフェース要素は異なる層に位置され、インタフェースにおけるビュー（View）エリア内で任意の方向の上方又は下方スライド操作又はスライド操作を実行することができる。例えば、インタフェースカテゴリ4は、複数のビデオが表示されるページ、例えばビデオアプリケーションのホームページやナビゲーションページに適用されてもよい。図10は、インタフェースカテゴリ5の概略図である。インタフェースにおける複数のインタフェース要素は異なる層に位置されてもよく、情報バー（Bar）はインタフェースの上部と下部の両方に配置され、インタフェースにおけるビューエリアはスライド可能である。例えば、インタフェースカテゴリ5は、ソーシャルソフトウェアのチャットインタフェース又は電子メールインタフェースに適用されてもよい。図11は、インタフェースカテゴリ6の概略図である。インタフェースにおける複数のインタフェース要素は異なる層に位置されてもよく、バーはインタフェースの上部に配置され、インタフェースにおけるビューエリアはスライド可能である。例えば、インタフェースカテゴリ6は、電子メールアプリケーションのホームページ又はショッピングアプリケーションの検索インタフェースに適用されてもよい。図12は、インタフェースカテゴリ7の概略図である。インタフェースにおける複数のインタフェース要素は異なる層に位置されてもよく、インタフェース内の上部及び下部はビューエリアであり、上部ビューエリアは固定され、下部ビューエリアはスライド可能である。例えば、インタフェースカテゴリ7は、ライブストリーミングインタフェースに適用されてもよい。図13は、インタフェースカテゴリ8の概略図である。インタフェースにおける複数のインタフェース要素は、異なる層に位置されてもよく、上から下へ順にバー、写真、タブバー（tab bar）、ビューエリア、及びバーであり、ビューエリアはスライド可能であり得る。例えば、インタフェースカテゴリ8は、ショッピングアプリケーションの製品詳細インタフェースに適用されてもよい。
【0119】
ステップ404：第2のインタフェースを取得するために、インタフェースカテゴリと第2のデバイス情報とに基づいて少なくとも1つのインタフェース要素を配置する。
【0120】
インタフェースカテゴリを決定した後、第1の端末デバイスは、第2の端末デバイスと適合する第2のインタフェースを取得するために、決定されたインタフェースカテゴリ、第2の端末デバイスの第2のデバイス情報、並びに、第2のデバイス情報によって示される第2の端末デバイスの画面サイズ及び画面方向に基づいて少なくとも1つのインタフェース要素を配置することができる。
【0121】
任意選択で、第1の端末デバイスは、複数のサブエリアを取得するために、インタフェースカテゴリに基づいて、第2の端末デバイスの表示エリアを分割することもでき、表示エリアは第2のデバイス情報によって示され、第1の端末デバイスは、各サブエリアに配置されたインタフェース要素を決定することができ、その後、第1の端末デバイスは、第2のインタフェースを取得するために、第2のデバイス情報によって示される表示エリアのサイズと各サブエリアに配置されたインタフェース要素の数量とに基づいて各サブエリア内の各インタフェース要素を調整することができる。
【0122】
想定し得る実施において、第1の端末デバイスは、分割によって取得された複数のサブエリアに基づいて、各サブエリアに配置され得るインタフェース要素を決定し得る。次いで、全てのサブエリア内の全てのインタフェース要素について、第1の端末デバイスは、第2のインタフェースを取得するために、表示エリアのサイズ及びサブエリア内に配置され得るインタフェース要素の数量、サブエリアに対応する要素の数量、並びに、各インタフェース要素の重要度に基づいて、各サブエリア内の各インタフェース要素のサイズ、位置、及び、方向を調整することができる。
【0123】
更に、インタフェース要素のサイズ、位置、及び、方向を調整するプロセスにおいて、第1の端末デバイスは、各サブエリア内に配置されたインタフェース要素に関する統計をまず収集して、各サブエリア内のインタフェース要素の数量を決定し、調整されたインタフェース要素を取得するために、表示エリアのサイズ、事前設定された配置規則、及び、サブエリアに対応する要素の数量に基づいて、サブエリア内の各インタフェース要素のサイズ及び方向を調整して、調整されたインタフェース要素が第2の端末デバイスにより良く適合するようにすることができる。最後に、第1の端末デバイスは、第2のインタフェースを取得するために、各サブエリアにおいて、サブエリアに対応する要素の数量に基づいて、サブエリア内の調整されたインタフェース要素の位置を調整することができる。
【0124】
加えて、調整されたインタフェース要素を調整するプロセスにおいて、第1の端末デバイスは、各調整されたインタフェース要素の重要度を更に取得し、各調整されたインタフェース要素の重要度に基づいて、その重要度パラメータがサブエリアの中央エリアで最大値を有する調整されたインタフェース要素を配置することができる。
【0125】
第1の端末デバイスは、インタフェース要素に対してスケーリング、回転、及び、変位などの複数の調整動作を実行することができる。調整動作は、この出願のこの実施形態では限定されない。
【0126】
例えば、図5に示されるように、図5に示されるインタフェースカテゴリがカテゴリ1である場合、第2の端末デバイスの表示エリアは、3つのサブエリア、すなわち、上側、中間、及び、下側サブエリアに分割され得る。上側サブエリアは表示エリアの17％を占め、中間サブエリアは表示エリアの50％を占め、下側サブエリアは表示エリアの33％を占める。曲名及び／又は歌唱者名は、上側サブエリアに配置されてもよく、カバー及び／又は歌詞は、中間サブエリアに配置されてもよく、再生制御、メニュー制御、前の制御、次の制御、繰り返し再生制御、及び、シークバーを含む複数のインタフェース要素は、下側サブエリア、すなわち制御エリアに配置されてもよい。シークバー以外のインタフェース要素は、全てシークバーの下方に配置されてもよく、又は、下側サブエリア内のインタフェース要素の数量に基づいてシークバーの上下に分けて配置されてもよい。
【0127】
例えば、下側サブエリア内のインタフェース要素の数量が要素閾値未満である場合、インタフェース要素はシークバーの下方に等間隔で配置されてもよい。下側サブエリア内のインタフェース要素の数量が要素閾値以上である場合、インタフェース要素は、シークバーの上側及び下側に別々に配置されてもよい。
【0128】
事前設定された要素閾値は6であり、図5に示される下側サブエリア内のシークバー以外のインタフェース要素の数量は5であると仮定する。この場合、インタフェース要素の数量は要素閾値未満であり、シークバー以外のインタフェース要素はシークバーの下方に等間隔で配置されてもよい。また、配置プロセスにおいて、最も重要な再生制御を中央に配置してもよい。次に、2番目に重要な前及び次の制御は、再生制御の左側及び右側にそれぞれ配置され、最後に、繰り返し再生制御が最も左側に配置され、メニュー制御が最も右側に配置されてもよい。
【0129】
なお、表示エリア内の各サブエリアが占めるエリアのサイズは、事前設定された配置規則にしたがって設定され、各サブエリアに対する要素閾値は、ユーザの使用習慣の学習を通じて取得されてもよい。同様に、各インタフェース要素の重要度は、ユーザがインタフェース要素をトリガする頻度に基づいて取得することもできる。例えば、トリガ頻度が高いほど、インタフェース要素の重要度が高いことを示す。表示エリア内の各サブエリアによって占有されるエリアのサイズ、各サブエリアの要素閾値、及び各インタフェース要素の重要度を決定する方法は、この出願のこの実施形態では限定されない。
【0130】
加えて、実際の用途では、複数のタイプの第2の端末デバイスがあってもよく、端末デバイスのインタフェースレイアウトは異なる。
【0131】
例えば、図14A及び図14Bに示されるように、非オーバレイレイアウトが一例として使用される。テレビ、ノートブックコンピュータ、及び、タブレットコンピュータには、上中下レイアウトを使用することができる。車載端末デバイスには、左右レイアウトが用いられてもよい。時計には、レイヤ区別レイアウトを使用することができる。例えば、ビューエリアが最下層に配置され、上下フローティングレイアウトが使用される。図15A及び図15Bに示されるように、一例としてオーバレイレイアウトが使用される。テレビ、ノートブックコンピュータ、タブレットコンピュータ、車載端末デバイス、又は、時計の場合、ビューエリアは最下層に配置され、上下フローティングレイアウトは上層に配置される。例えば、オーバレイレイアウトは、車載端末デバイスによってロードされる地図アプリケーションに用いられる。更に、図16A及び図16Bに示されるように、オーバーレイスクロールレイアウトが一例として使用される。テレビには上下レイアウト方式が使用されてもよく、ノートブックコンピュータ、タブレットコンピュータ、及び車載端末デバイスには左右レイアウト方式が使用されてもよい。
【0132】
ステップ405：第2の端末デバイスが第2のインタフェースを表示するように、第2のインタフェースを第2の端末デバイスに送信する。
【0133】
第2のインタフェースを生成した後、第1の端末デバイスは、第2の端末デバイスが第2のインタフェースを表示できるとともに第2の端末デバイスの画面と適合する第2のインタフェースをユーザに提示することができるように、第2の端末デバイスに第2のインタフェースを送信することができる。
【0134】
実際の用途では、ステップ403及びステップ404が第1の端末デバイスによって実行されてよく、すなわち、第1の端末デバイスは、第2のインタフェースを取得するためにインタフェースカテゴリに基づいてインタフェース要素を配置してもよく、又は、ステップ403及びステップ404が第2の端末デバイスによって実行されてもよく、すなわち、第2の端末デバイスは、第2のインタフェースを生成して表示するために、第1の端末デバイスによって送信されるインタフェースカテゴリ及びインタフェース要素を受信するとともに、インタフェースカテゴリ及び第2のデバイス情報に基づいてインタフェース要素を配置してもよい。第2の端末デバイスが第2のインタフェースを生成するプロセスは、ステップ403のプロセスと同様である。ここでは詳細を繰り返さない。
【0135】
ステップ406：取得されたフィードバック情報に基づいてインタフェース認識モデルを更新する。
【0136】
第2の端末デバイスが第2のインタフェースを表示するように、第1の端末デバイスが第2のインタフェースを第2の端末デバイスに送信した後、第1の端末デバイスは、第1の端末デバイスが取得されたフィードバック情報に基づいてインタフェース認識モデルを更新できるように、ユーザによってトリガされた動作を検出するとともに、第2のインタフェースについてユーザによって入力されたフィードバック情報を取得することができる。
【0137】
想定し得る実施では、第2のインタフェースを生成した後、第1の端末デバイスは、最初にフィードバックインタフェースをユーザに表示し、ユーザによってトリガされる入力操作を検出することができる。入力操作が検出される場合、第1の端末デバイスは、ユーザによって入力されたフィードバック情報を取得することができる。フィードバック情報が記録された後、現在記録されたフィードバック情報及び以前に記録されたフィードバック情報が事前設定された更新条件を満たす場合、第1の端末デバイスは、記録された複数のフィードバック情報に基づいてインタフェース認識モデルを更新することができる。
【0138】
更に、フィードバック情報が更新条件を満たすかどうかを決定するプロセスにおいて、第1の端末デバイスは、記録された複数のフィードバック情報内のフィードバック時間の量を取得し、フィードバック時間の量を事前設定されたフィードバック閾値と比較することができる。フィードバック時間がフィードバック閾値以上である場合、第1の端末デバイスは、記録された複数のフィードバック情報に基づいてインタフェース認識モデルを更新して、更新されたインタフェース認識モデルを使用することによってインタフェースカテゴリをより正確に決定することができる。
【0139】
この出願のこの実施形態で提供されるインタフェースレイアウト方法は、インタフェース投影シナリオに適用されるだけでなく、インタフェース開発シナリオにも適用され得ることに留意すべきである。それに対応して、インタフェースレイアウト方法がインタフェース開発シナリオに適用される場合、手動インタフェース要素抽出は、ステップ401の前に第1のインタフェースで実行されてもよい。
【0140】
任意選択で、第1の端末デバイスは、複数のインタフェース要素を取得するために、ユーザによってトリガされた抽出動作に基づいて第1のインタフェースにおいてインタフェース要素抽出を行ない、その後、第1の端末デバイスが生成された要素情報に基づいて後続のステップでインタフェースレイアウトを行なうことができるように、ユーザによってトリガされた補足動作に基づいて複数のインタフェース要素の要素情報を生成することもできる。
【0141】
例えば、第1の端末デバイスは、統合開発環境（Integrated Development Environment，IDE）をロードし、ユーザによってトリガされる入力操作に基づいて、第1のインタフェースに対応する画像及び第1のインタフェースのインタフェース属性をIDEに入力する、すなわち、第1のインタフェース画像及び第1のインタフェースに対応する解像度をIDEに入力することができる。その後、図17に示されるように、第1の端末デバイスは、インタフェース要素に関するユーザによりトリガされるボックス選択動作を検出し、複数のインタフェース要素を取得するために、ボックス選択動作に基づくボックス（図17に破線のボックスとして示される）を使用することによって第1のインタフェースにおける複数のインタフェース要素を選択してもよい。
【0142】
各インタフェース要素によって占有されるエリアは、インタフェース要素を選択するために使用されるボックスに基づいて決定することができる。例えば、ボックスの4つのエッジに対応する座標は、ボックスの4つのエッジに基づいて、第1のインタフェースにおけるインタフェース要素の対応する上、下、左、及び右の座標として決定され得る。
【0143】
加えて、第1の端末デバイスは、事前設定されたテーブルに基づいて、各インタフェース要素を補足し、各インタフェース要素の要素情報を生成するようにユーザに更に思い出させることができる。例えば、第1の端末デバイスは、ユーザによってトリガされる入力操作に基づいて、各インタフェース要素の名前及び要素タイプなどの複数の情報を取得して、インタフェース要素の要素情報を生成し、複数のインタフェース要素の要素情報に基づいて全体要素リストを生成することができる。
【0144】
加えて、第1の端末デバイスは、ユーザによってトリガされた操作に基づいて、ユーザによって入力された第2の端末デバイスの第2のデバイス情報を更に取得することもできる。例えば、第2のデバイス情報は、第2の端末デバイスの名前、画面解像度、及び横向き／縦向きモードを含み得る。
【0145】
インタフェース要素を取得した後、第1の端末デバイスは、第2のインタフェースを生成するためにステップ402及びステップ403と同様の動作を行なってもよく、次いで、第2のインタフェースにおける各インタフェース要素のサイズ及び位置を調整するために、ユーザによってトリガされた調整動作を検出し、ユーザによってトリガされた調整動作を記録してもよい。このようにして、第1の端末デバイスは、記録された調整動作に基づいて事前設定された配置規則を調整することができる。具体的には、第1の端末デバイスは、ユーザによってトリガされた調整動作を第2のインタフェースにおける少なくとも1つのインタフェース要素に記録し、調整動作に基づいて配置規則を調整することができる。
【0146】
例えば、図18は、第1の端末デバイスに表示されるIDEインタフェースを示す。図18に示されるように、左側は、インタフェース要素がボックスを使用することによって選択された第1のインタフェースを示し、右側の上部は、名前、場所、タイプなどの各インタフェース要素の属性情報を記録し、右側の中央部は、第1の端末デバイスの名前「携帯電話」、第2の端末デバイスの名前「テレビ」、第1の端末デバイスの画面解像度「720＊1080」、第2の端末デバイスの画面解像度「2244＊1080」、第1の端末デバイスのランドスケープ／ポートレートモード「1」（ポートレート画面を示す）、及び、第2の端末デバイスのランドスケープ／ポートレートモード「2」（ランドスケープを示す）を示し、右側の下部は、生成された第2のインタフェースを示す。第1の端末デバイスは、ユーザによってトリガされる調整動作に基づいて第2のインタフェースにおける各インタフェース要素を更に調整することができる。
【0147】
結論として、この出願のこの実施形態で提供されるインタフェースレイアウト方法によれば、第1の端末デバイスは、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示する投影命令を受信し、第2のデバイス情報及び第1の端末デバイスに表示される第1のインタフェースのインタフェース情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成し、第2のデバイス情報は、第2の端末デバイスの画面サイズ及び画面状態を示すために使用される。このようにして、第2の端末デバイスは、第2の端末デバイスと適合する第2のインタフェースを表示することができ、ユーザは、第2の端末デバイスを介して第2のインタフェースを都合良く制御することができる。これにより、ユーザが画面投影インタフェースを都合良く制御することができないという問題が回避され、ユーザが第2の端末デバイスを介して第2のインタフェースを制御する利便性が向上し、異なる端末デバイス上でユーザによって実行される制御動作間の一貫性が向上する。
【0148】
加えて、インタフェース開発を行なうユーザのために、再配置された第2のインタフェースをユーザに提供することができ、第2のインタフェースにおける各インタフェース要素は、ユーザが手動操作を伴うことなく第2のインタフェースを取得することができるように、ユーザによってトリガされる操作に基づいて再調整される。これにより、ユーザがインタフェース開発に費やす時間が短縮され、ユーザのインタフェース開発効率が向上する。
【0149】
また、インタフェース認識モデルを用いてインタフェースカテゴリを決定するプロセスでは、まず、インタフェース要素の要素情報に対して特徴抽出を行なってインタフェース特徴データを取得し、インタフェース特徴データを用いることにより、インタフェースカテゴリの決定に要する計算量を削減することができる。これにより、インタフェースカテゴリを決定する効率が向上する。
【0150】
更に、フィードバック情報が取得され、フィードバック情報に基づいてインタフェース認識モデルが更新される。これにより、インタフェース認識モデルを用いたインタフェースタイプの認識精度が向上する。
【0151】
最後に、第1のインタフェースにおける全てのインタフェース要素がフィルタリングされて再配置され、第2の端末デバイスに表示され得るインタフェース要素のみが抽出され、抽出されたインタフェース要素は、生成された第2のインタフェースが第2の端末デバイスにより良く適合するように、第2の端末デバイスの画面サイズ及び画面方向に基づいて配置される。これにより、第2のインタフェースの美的視認性が向上する。
【0152】
ステップの順序番号は、前述の実施形態における実行順序を意味しないことを理解されるべきである。プロセスの実行順序は、プロセスの機能及び内部ロジックに基づいて決定されるべきであり、この出願の実施形態の実施プロセスに対するいかなる制限も構成するべきではない。
【0153】
前述の実施形態におけるインタフェースレイアウト方法に対応して、図19は、この出願の一実施形態に係るインタフェースレイアウト装置の構造ブロック図である。説明を容易にするために、この出願の実施形態に関連する部分のみが図に示されている。
【0154】
図19に示されるように、装置は、
画面投影命令を受信するように構成される受信モジュール1901であって、画面投影命令が、第2の端末デバイスへの画面投影を実行するように前記第1の端末デバイスに指示するために使用される、受信モジュール1901と、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するように構成される生成モジュール1902であって、第1のインタフェースが第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報が第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる、生成モジュール1902と、
を含む。
画面投影命令を受信するように構成される受信モジュール1901であって、画面投影命令が、第2の端末デバイスへの画面投影を実行するように前記第1の端末デバイスに指示するために使用される、受信モジュール1901と、
第1のインタフェースのインタフェース情報及び第2のデバイス情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成するように構成される生成モジュール1902であって、第1のインタフェースが第1の端末デバイスに表示されるインタフェースであり、第2のデバイス情報が第2の端末デバイスの画面サイズ及び画面状態を示すために用いられる、生成モジュール1902と、
を含む。
【0155】
任意選択で、生成モジュール1902は、第1のインタフェースのインタフェース情報及び第2のデバイス情報を取得し、第1のインタフェースのインタフェース情報が第1のインタフェースにおける少なくとも1つのインタフェース要素の要素情報を含み、要素情報がインタフェース要素の名前及びタイプ並びに第1のインタフェースにおけるインタフェース要素の位置を示すために用いられ、インタフェースカテゴリを決定するために、事前トレーニングされたインタフェース認識モデルを使用することによって少なくとも1つのインタフェース要素の要素情報に基づいて認識を行ない、第2のインタフェースを取得するために、インタフェースカテゴリ及び第2のデバイス情報に基づいて少なくとも1つのインタフェース要素を配置するように特に構成される。
【0156】
任意選択で、第1のインタフェースのインタフェース情報はインタフェース属性を更に含み、インタフェース属性は、第1のインタフェースのインタフェースサイズ及びインタフェース方向を指示するのに用いられる。
【0157】
生成モジュール1902は、更に、インタフェース特徴データを取得するために、インタフェース属性に基づいて少なくとも1つの要素情報に対して特徴抽出を実行し、インタフェース認識モデルにインタフェース特徴データを入力し、インタフェース認識モデルから出力されたインタフェースカテゴリを取得するためにインタフェース認識モデルを使用することによってインタフェース特徴データを認識するように特に構成される。
【0158】
任意選択で、生成モジュール1902は、更に、複数のサブエリアを取得するために、インタフェースカテゴリに基づいて、第2の端末デバイスの表示エリアを分割し、表示エリアが第2のデバイス情報によって示され、各サブエリアに配置されるインタフェース要素を決定し、第2のインタフェースを取得するために、第2のデバイス情報によって示される表示エリアのサイズと各サブエリア内に配置されるインタフェース要素の数量とに基づいて各サブエリア内の各インタフェース要素を調整するように特に構成される。
【0159】
任意選択で、生成モジュール1902は、更に、各サブエリア内のインタフェース要素の数量を決定し、調整されたインタフェース要素を取得するために、表示エリアのサイズ、事前設定された配置規則、及び、サブエリアに対応する要素の数量に基づいて、各サブエリア内の各インタフェース要素のサイズ及び方向を調整し、第2のインタフェースを取得するために、各サブエリアにおいて、サブエリアに対応する要素の数量に基づいて、サブエリア内の調整されたインタフェース要素の位置を調整するように特に構成される。
【0160】
任意選択で、図20に示されるように、装置は、
第2の端末デバイスが第2のインタフェースを表示するように、第2のインタフェースを第2の端末デバイスに送信するように構成される送信モジュール1903、
を更に含む。
第2の端末デバイスが第2のインタフェースを表示するように、第2のインタフェースを第2の端末デバイスに送信するように構成される送信モジュール1903、
を更に含む。
【0161】
任意選択で、図20に示されるように、装置は、
フィードバック情報を取得するように構成される取得モジュール1904であって、フィードバック情報が、第2の端末デバイスに表示される第2のインタフェースに関してユーザによりフィードバックされる情報である、取得モジュール1904と、
フィードバック情報が事前設定された更新条件を満たす場合に、フィードバック情報に基づいてインタフェース認識モデルを更新するように構成される更新モジュール1905と、
を更に含む。
フィードバック情報を取得するように構成される取得モジュール1904であって、フィードバック情報が、第2の端末デバイスに表示される第2のインタフェースに関してユーザによりフィードバックされる情報である、取得モジュール1904と、
フィードバック情報が事前設定された更新条件を満たす場合に、フィードバック情報に基づいてインタフェース認識モデルを更新するように構成される更新モジュール1905と、
を更に含む。
【0162】
任意選択で、図20に示されるように、装置は、
複数のインタフェース要素を取得するために、ユーザによってトリガされる抽出動作に基づいて第1のインタフェースにおけるインタフェース要素抽出を実行するように構成される抽出モジュール1906と、
ユーザによってトリガされる補足動作に基づいて複数のインタフェース要素の要素情報を生成するように構成される補足モジュール1907と、
を更に含む。
複数のインタフェース要素を取得するために、ユーザによってトリガされる抽出動作に基づいて第1のインタフェースにおけるインタフェース要素抽出を実行するように構成される抽出モジュール1906と、
ユーザによってトリガされる補足動作に基づいて複数のインタフェース要素の要素情報を生成するように構成される補足モジュール1907と、
を更に含む。
【0163】
装置は、
ユーザによってトリガされた調整動作を第2のインタフェースにおける少なくとも1つのインタフェース要素に記録するように構成される記録モジュール1908と、
調整動作に基づいて配置規則を調整するように構成される調整モジュール1909と、
を更に含む。
ユーザによってトリガされた調整動作を第2のインタフェースにおける少なくとも1つのインタフェース要素に記録するように構成される記録モジュール1908と、
調整動作に基づいて配置規則を調整するように構成される調整モジュール1909と、
を更に含む。
【0164】
結論として、この出願のこの実施形態で提供されるインタフェースレイアウト装置によれば、第1の端末デバイスは、第2の端末デバイスへの画面投影を実行するように第1の端末デバイスに指示する投影命令を受信し、第2のデバイス情報及び第1の端末デバイスに表示される第1のインタフェースのインタフェース情報に基づいて、第2の端末デバイスに表示されるべき第2のインタフェースを生成し、第2のデバイス情報は、第2の端末デバイスの画面サイズ及び画面状態を示すために使用される。このようにして、第2の端末デバイスは、第2の端末デバイスと適合する第2のインタフェースを表示することができ、ユーザは、第2の端末デバイスを介して第2のインタフェースを都合良く制御することができる。これにより、ユーザが画面投影インタフェースを都合良く制御することができないという問題が回避され、ユーザが第2の端末デバイスを介して第2のインタフェースを制御する利便性が向上し、異なる端末デバイス上でユーザによって実行される制御動作間の一貫性が向上する。
【0165】
この出願の一実施形態は、端末デバイスを更に提供する。端末デバイスは、メモリ、プロセッサ、及び、メモリに記憶されてプロセッサで実行され得るコンピュータプログラムを含む。コンピュータプログラムを実行すると、プロセッサは、前述のインタフェースレイアウト方法の実施形態のいずれか1つのステップを実施する。
【0166】
この出願の一実施形態は、コンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は、コンピュータプログラムを記憶する。コンピュータプログラムがプロセッサによって実行されると、前述のインタフェースレイアウト方法の実施形態のいずれか1つのステップが実施される。
【0167】
図21は、この出願の一実施形態に係る端末デバイスの構造の概略図である。図21に示されるように、この実施形態の端末デバイス21は、少なくとも1つのプロセッサ211（図21には1つのプロセッサしか示されない）と、メモリ212と、メモリ212に記憶されて少なくとも1つのプロセッサ211で実行され得るコンピュータプログラム212とを含む。コンピュータプログラム212を実行すると、プロセッサ211は、前述のインタフェースレイアウト方法の実施形態のいずれか1つのステップを実施する。
【0168】
端末デバイス21は、デスクトップコンピュータ、ノートブックコンピュータ、パームトップコンピュータ、又は、クラウドサーバなどのコンピューティングデバイスであってもよい。端末デバイスは、プロセッサ211及びメモリ212を含むことができるが、これに限定されない。当業者であれば分かるように、図21は、端末デバイス21の一例にすぎず、端末デバイス21に対する限定を構成しない。端末デバイスは、図に示されているものよりも多い又は少ない構成要素を含んでもよく、或いは、幾つかの構成要素が組み合わされてもよく、或いは、異なる構成要素が使用されてもよい。例えば、端末デバイスは、入力／出力デバイス、ネットワークアクセスデバイスなどを更に含んでもよい。
【0169】
プロセッサ211が中央処理ユニット（Central Processing Unit、CPU）であってもよい。プロセッサ211は、代わりに、別の汎用プロセッサ、デジタル信号プロセッサ（Digital Signal Processor，DSP）、特定用途向け集積回路（Application－Specific Integrated Circuit，ASIC）、フィールドプログラマブルゲートアレイ（Field－Programmable Gate Array，FPGA）、又は、別のプログラマブル論理デバイス、ディスクリートゲート、或いは、トランジスタ論理デバイス、又は、ディスクリートハードウェア部品などであってもよい。汎用プロセッサはマイクロプロセッサであってもよく、又は、プロセッサは任意の従来のプロセッサなどであってもよい。
【0170】
幾つかの実施形態において、メモリ212は、端末デバイス21の内部記憶ユニット、例えば、端末デバイス21のハードディスク又はメモリであってもよい。幾つかの他の実施形態において、メモリ212は、代わりに、端末デバイス21の外部記憶デバイス、例えば、端末デバイス21に装備されるリムーバブルハードディスク、スマートメディアカード（Smart Media（登録商標） Card，SMC）、セキュアデジタル（Secure Digital，SD）カード、フラッシュメモリカード（Flash Card）などであってもよい。更に、メモリ212は、代わりに、端末デバイス21の内部記憶ユニット及び外部記憶デバイスの両方を含んでもよい。メモリ212は、オペレーティングシステム、アプリケーション、ブートローダ（BootLoader）、データ、及び、別のプログラム、例えばコンピュータプログラムのプログラムコードを記憶するように構成される。メモリ212は、出力されたデータ又は出力されるデータを一時的に記憶するように更に構成されてもよい。
【0171】
当業者であれば明確に分かるように、便利で簡潔な説明のために、前述の機能ユニット又はモジュールへの分割は、説明のための一例として使用されているにすぎない。実際の用途において、前述の機能は、要件に基づいて実装するために異なる機能ユニット又はモジュールに割り当てられてもよい。すなわち、装置の内部構造は、前述の機能の全て又は一部を実装するために異なる機能ユニット又はモジュールに分割される。実施形態における機能ユニット又はモジュールは、1つの処理ユニットに組み込まれてもよく、又は、ユニットのそれぞれが物理的に単独で存在してもよく、又は、2つ以上のユニットが1つのユニットに組み込まれてもよい。一体型ユニットは、ハードウェアの形態で実装されてもよく、又は、ソフトウェア機能ユニットの形態で実装されてもよい。更に、機能ユニット又はモジュールの具体的な名称は、単に区別を容易にするために使用されているにすぎず、この出願の保護範囲を限定しようとするものではない。前述のシステムにおけるユニット又はモジュールの具体的な動作プロセスについては、前述の方法の実施形態における対応するプロセスを参照されたい。ここでは詳細を繰り返さない。
【0172】
前述の実施形態は、それぞれの焦点から説明されている。一実施形態で詳細に説明又は記録されない部分については、他の実施形態の関連する説明を参照されたい。
【0173】
当業者であれば認識できるように、この明細書に開示される実施形態に関連して説明された例におけるユニット及びアルゴリズムステップは、電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実施され得る。機能がハードウェアによって果たされるか又はソフトウェアによって果たされるかは、技術的解決手段の特定の用途及び設計上の制約条件に依存する。当業者は、それぞれの特定の用途ごとに説明された機能を実装するために異なる方法を使用し得るが、その実装がこの出願の範囲を超えると考えられるべきではない。
【0174】
この出願で提供される実施形態では、開示された装置及び方法が他の態様で実施されてもよいことが理解されるべきである。例えば、記載された装置の実施形態は一例にすぎない。例えば、モジュール又はユニットへの分割は、単に論理機能の分割であり、実際の実装においては他の分割であってもよい。例えば、複数のユニット又は構成要素が組み合わされ又は別のシステムに組み込まれてもよく、或いは、幾つかの特徴が無視されてもよく又は実行されなくてもよい。更に、表示される又は論じられる相互結合又は直接結合又は通信接続が幾つかのインタフェースを通じて実施されてもよい。装置間又はユニット間の間接結合又は通信接続は、電気、機械、又は、他の形態で実装されてもよい。
【0175】
別々の部分として説明されたユニットは、物理的に別個であってもなくてもよく、また、ユニットとして表示される部分は、物理的なユニットであってもなくてもよく、一箇所に位置されてもよく、複数のネットワークユニット上に分散されてもよい。ユニットの一部又は全部は、実施形態における解決策の目的を達成するために実際の要求に基づいて選択されてもよい。
【0176】
加えて、この出願の実施形態における機能ユニットが1つの処理ユニットに組み込まれてもよく、又は、ユニットのそれぞれが物理的に単独で存在してよく、又は、2つ以上のユニットが1つのユニットに組み込まれてもよい。一体型ユニットは、ハードウェアの形態で実装されてもよく、又は、ソフトウェア機能ユニットの形態で実装されてもよい。
【0177】
一体型ユニットがソフトウェア機能ユニットの形態で実装されて独立した製品として販売又は使用される場合には、一体型ユニットがコンピュータ可読記憶媒体に記憶されてもよい。そのような理解に基づき、この出願の実施形態における方法の手順の全部又は一部は、関連するハードウェアに命令するコンピュータプログラムによって実施され得る。コンピュータプログラムは、コンピュータ可読記憶媒体に記憶されてもよい。コンピュータプログラムがプロセッサによって実行されると、前述の方法の実施形態のステップが実施され得る。コンピュータプログラムは、コンピュータプログラムコードを含む。コンピュータプログラムコードは、ソースコード形式、オブジェクトコード形式、実行可能ファイル形式、幾つかの中間形式などを成してもよい。コンピュータ可読媒体は、コンピュータプログラムコードを端末デバイス、記録媒体、コンピュータメモリ、リードオンリーメモリ（ROM，Read－Only Memory）、ランダムアクセスメモリ（RAM，Random Access Memory）、電気キャリア信号、遠隔通信信号、及び、ソフトウェア配信媒体、例えば、USBフラッシュドライブ、リムーバブルハードディスク、磁気ディスク、又は、光ディスクに伝えることができる少なくとも任意のエンティティ又は装置を含むことができる。幾つかの管轄区域において、コンピュータ可読媒体は、法律及び特許慣行に係る電気キャリア信号又は遠隔通信信号でなくてもよい。
【0178】
前述の実施形態は、この出願の技術的解決策を説明しようとしているにすぎず、この出願を限定しようとするものではない。この出願は前述の実施形態に関連して詳細に説明されるが、当業者は、この出願の実施形態の技術的解決策の思想及び範囲を逸脱することなく、前述の実施形態が、前述の実施形態に記載される技術的解決策に更に改変を加えてもよく又は前述の実施形態の一部の技術的特徴に対する等価な置換を行なってもよいことを理解すべきである。
【符号の説明】
【0179】
21 端末デバイス
101 端末デバイス
102 端末デバイス
200 携帯電話
210 プロセッサ
211 プロセッサ
212 メモリ
220 外部メモリインタフェース
221 内部メモリ
230 USBポート
240 充電管理モジュール
241 電力管理モジュール
242 バッテリ
251 モバイル通信モジュール
252 無線通信モジュール
270 オーディオモジュール
270A スピーカ
270B 受信機
270C マイクロフォン
270D ヘッドセットジャック
280 センサモジュール
280A ジャイロスコープセンサ
280B 加速度センサ
280G 光近接センサ
280H 指紋センサ
280K タッチセンサ
290 ボタン
291 モータ
292 インジケータ
293 カメラ
294 折り畳み式ディスプレイ
295 SIMカードインタフェース
503 バー
504 再生制御
505 制御
507 制御
508 制御
1901 受信モジュール
1902 生成モジュール
1903 送信モジュール
1904 取得モジュール
1905 更新モジュール
1906 抽出モジュール
1907 補足モジュール
1908 記録モジュール
1909 調整モジュール
101 端末デバイス
102 端末デバイス
200 携帯電話
210 プロセッサ
211 プロセッサ
212 メモリ
220 外部メモリインタフェース
221 内部メモリ
230 USBポート
240 充電管理モジュール
241 電力管理モジュール
242 バッテリ
251 モバイル通信モジュール
252 無線通信モジュール
270 オーディオモジュール
270A スピーカ
270B 受信機
270C マイクロフォン
270D ヘッドセットジャック
280 センサモジュール
280A ジャイロスコープセンサ
280B 加速度センサ
280G 光近接センサ
280H 指紋センサ
280K タッチセンサ
290 ボタン
291 モータ
292 インジケータ
293 カメラ
294 折り畳み式ディスプレイ
295 SIMカードインタフェース
503 バー
504 再生制御
505 制御
507 制御
508 制御
1901 受信モジュール
1902 生成モジュール
1903 送信モジュール
1904 取得モジュール
1905 更新モジュール
1906 抽出モジュール
1907 補足モジュール
1908 記録モジュール
1909 調整モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8-a】
【図8-b】
【図9-a】
【図9-b】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16A】
【図16B】
【図17】
【図18】
【図19】
【図20】
【図21】