(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】制御方法及び装置、及び電子デバイス
(51)【国際特許分類】
G06F 3/0484 20220101AFI20241210BHJP
G06F 3/16 20060101ALI20241210BHJP
H04L 67/025 20220101ALI20241210BHJP
H04L 67/125 20220101ALI20241210BHJP
H04N 21/436 20110101ALI20241210BHJP
【FI】
G06F3/0484
G06F3/16 630
G06F3/16 650
H04L67/025
H04L67/125
H04N21/436
(21)【出願番号】P 2023523533
(86)(22)【出願日】2021-09-22
(86)【国際出願番号】 CN2021119707
(87)【国際公開番号】W WO2022089102
(87)【国際公開日】2022-05-05
【審査請求日】2023-05-23
(31)【優先権主張番号】202011193906.1
(32)【優先日】2020-10-30
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】504161984
【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】シュ、シュン
(72)【発明者】
【氏名】フアン、ミン
(72)【発明者】
【氏名】ル、ジアンハイ
(72)【発明者】
【氏名】チョウ、ユペイ
(72)【発明者】
【氏名】ソン、ヤル
【審査官】遠藤 孝徳
(56)【参考文献】
【文献】特開2013-198085(JP,A)
【文献】中国特許出願公開第103970396(CN,A)
【文献】特表2016-527625(JP,A)
【文献】中国特許出願公開第110381195(CN,A)
【文献】特開2017-211830(JP,A)
【文献】米国特許出願公開第2014/0351434(US,A1)
【文献】国際公開第2016/075560(WO,A1)
【文献】特開2019-120976(JP,A)
【文献】特許第5524246(JP,B2)
【文献】特開2010-28802(JP,A)
【文献】米国特許出願公開第2020/0259887(US,A1)
【文献】特表2013-505631(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048 - 3/04895
G06F 3/16
H04L 67/00 - 67/75
H04N 21/00 - 21/858
(57)【特許請求の範囲】
【請求項1】
第1電子デバイスに適用される制御方法であって、
第1アプリケーションのコマンド情報を取得する段階、ここで、前記第1アプリケーションは第2電子デバイス上にあり、前記第1アプリケーションの前記コマンド情報は前記第1アプリケーションのアクション
を実行するために使用される;及び
前記第1アプリケーションの前記コマンド情報に基づいて制御アプリケーションを生成する段階、ここで、前記制御アプリケーションは、前記第2電子デバイスが前記第1アプリケーションの前記アクション
を実行することを可能にするために使用される
を備
え、
前記第1アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成する前記段階は、
前記第1アプリケーションとの連携した制御のための第2アプリケーションのコマンド情報を取得する段階、ここで、前記第2アプリケーションは、前記第1電子デバイス及び/又は第3電子デバイス上にあり、前記第2アプリケーションの前記コマンド情報は前記第2アプリケーションのアクションを実行するために使用される;及び
前記第1アプリケーションの前記コマンド情報及び前記第2アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成する段階、ここで、前記制御アプリケーションはさらに、前記第1電子デバイス及び/又は前記第3電子デバイスが前記第2アプリケーションの前記アクションを実行することを可能にするために使用される、段階
を含む、方法。
【請求項2】
第1アプリケーションのコマンド情報を取得する前記段階は、
前記第2電子デバイスから前記第1アプリケーションの前記コマンド情報を受信する段階、又
は
ユーザによって入力され
た前記第1アプリケーションの前記コマンド情報を取得する段階
を含む、請求項1に記載の方法。
【請求項3】
前記方法はさらに、
前記制御アプリケーションに対応する制御アイコンを生成する段階、及び
ディスプレイ上に前記制御アイコンを表示させる段階
を備える、請求項1又は2に記載の方法。
【請求項4】
前記制御アプリケーションに対応する制御アイコンを生成する前記段階は、
前記第1アプリケーションに対応するアイコン情報を取得する段階;及び
前記第1アプリケーションに対応する前記アイコン情報に基づいて前記制御アイコンを生成する段階
を含む、請求項3に記載の方法。
【請求項5】
前記方法はさらに、
前記制御アプリケーションの開始コマンドを取得する段階、次に、前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する段階、その結果、前記第2電子デバイスは、前記第1アプリケーションの受信された前記コマンド情報に基づいて前記第1アプリケーションの前記アクションを実行する
を備える、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記第2アプリケーションが前記第1電子デバイス上にあるとき、前記制御アプリケーションの開始コマンドを取得する前記段階の後、前記方法はさらに:前記第2アプリケーションの前記コマンド情報に基づいて前記第2アプリケーションの前記アクションを実行する段階を含む;又は
前記第2アプリケーションが前記第3電子デバイス上にあるとき、前記制御アプリケーションの開始コマンドを取得する前記段階の後、前記方法はさらに:前記第2アプリケーションの前記コマンド情報を前記第3電子デバイスに送信する段階、その結果、前記第3電子デバイスは、前記第2アプリケーションの前記受信されたコマンド情報に基づいて前記第2アプリケーションの前記アクションを実行する
を含む、請求項5に記載の方法。
【請求項7】
前記制御アプリケーションの開始コマンドを取得する前記段階は、
前記制御アプリケーションに対応する制御アイコンに対するユーザによって実行された操作を検出し、前記操作に応答して前記制御アプリケーションの前記開始コマンドを生成する段階;又は
音声アシスタントアプリケーションによって前記ユーザの音声命令を受信し
、前記音声アシスタントアプリケーションが前記音声命令を解析した後に取得された前記開始コマンドを取得する段階
を含む、請求項5又は6に記載の方法。
【請求項8】
前記音声アシスタントアプリケーションが前記音声命令を解析した後に取得された前記開始コマンドを取得する前記段階の前に、前記方法はさらに、
前記音声アシスタントアプリケーションによって管理されているアプリケーションリストに前記第1アプリケーションを追加する段階
を備える、請求項7に記載の方法。
【請求項9】
前記方法はさらに、
前記第2電子デバイスについての情報を取得する段階
を備え;
前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する前記段階は;
前記第2電子デバイスについての前記情報に基づいて、前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する段階
を含む、請求項5から8のいずれか一項に記載の方法。
【請求項10】
前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する前記段階の前に、前記方法はさらに、
前記第2電子デバイスへの接続が確立されていないことが決定されたとき、ターンオン信号を前記第2電子デバイスに送信する段階;及び
前記第2電子デバイスへの前記接続を確立する段階
を備える、請求項5から9のいずれか一項に記載の方法。
【請求項11】
前記方法はさらに、
前記第2電子デバイスに関連付けられた第4電子デバイスについての情報を取得する段階
を備え;
前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する前記段階の前に、前記方法はさらに、
前記第4電子デバイスへの接続が確立されていないことが決定されたとき、ターンオン信号を前記第4電子デバイスに送信する段階;及び
前記第4電子デバイスへの前記接続を確立する段階
を備える、請求項5から10のいずれか一項に記載の方法。
【請求項12】
第1アプリケーションのコマンド情報を取得する前記段階の前に、前記方法はさらに、
前記第2電子デバイスに第1制御要求を送信する段階、その結果、前記第2電子デバイスは前記第1制御要求に基づいて前記第1アプリケーションの前記コマンド情報をフィードバックする、を備える;又は
第1アプリケーションのコマンド情報を取得する前記段階は、前記第2電子デバイスから第2制御要求を受信する段階を備え、ここで、前記第2制御要求は、前記第1アプリケーションの前記コマンド情報を備える
請求項1から11のいずれか一項に記載の方法。
【請求項13】
制御アプリケーションを生成する前記段階の後に、前記方法はさらに、
前記制御アプリケーションの前記コマンド情報を第5電子デバイスに送信する段階、ここで、前記制御アプリケーションの前記コマンド情報は、前記制御アプリケーションを開始するために使用される
を備える、請求項1から12のいずれか一項に記載の方法。
【請求項14】
前記第1アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成する前記段階は、
予め設定された画像又はユーザによって選択された画像に基づいて、前記制御アプリケーションに対応する制御アイコンを生成する段階を含む、請求項1から13のいずれか一項に記載の方法。
【請求項15】
前記第1アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成する前記段階は、
連携して制御される前記第1アプリケーションのアイコン及び前記第2アプリケーションのアイコンを取得し、前記第1アプリケーションの前記アイコン及び前記第2アプリケーションの前記アイコンに基づいてアイコンを新しく描画することで、前記制御アプリケーションに対応する制御アイコンを生成する段階を含む、請求項1から13のいずれか一項に記載の方法。
【請求項16】
第1電子デバイスに適用される制御装置であって、
データを受信及び送信するように構成された通信ユニット;及び
第1アプリケーションのコマンド情報を取得すること、ここで、前記第1アプリケーションは第2電子デバイス上にあり、前記第1アプリケーションの前記コマンド情報は前記第1アプリケーションのアクション
を実行するために使用される;及び
前記第1アプリケーションの前記コマンド情報に基づいて制御アプリケーションを生成すること、ここで、前記制御アプリケーションは、前記第2電子デバイスが前記第1アプリケーションの前記アクション
を実行することを可能にするために使用される、を行うように構成されている処理ユニット
を備
え、
前記第1アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成するとき、前記処理ユニットは、
前記第1アプリケーションとの連携した制御のための第2アプリケーションのコマンド情報を取得すること、ここで、前記第2アプリケーションは、前記第1電子デバイス及び/又は第3電子デバイス上にあり、前記第2アプリケーションの前記コマンド情報は前記第2アプリケーションのアクションを実行するために使用される;及び
前記第1アプリケーションの前記コマンド情報及び前記第2アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成すること、ここで、前記制御アプリケーションはさらに、前記第1電子デバイス及び/又は前記第3電子デバイスが前記第2アプリケーションの前記アクションを実行することを可能にするために使用される
を行うように構成されている、装置。
【請求項17】
前記第1アプリケーションの前記コマンド情報を取得するとき、前記処理ユニットは:
前記通信ユニットによって前記第2電子デバイスから前記第1アプリケーションの前記コマンド情報を受信すること:又
は
ユーザによって入力され
た前記第1アプリケーションの前記コマンド情報を取得すること
を行うよう
に構成されている、請求
項16に記載の装置。
【請求項18】
前記処理ユニットはさらに、
前記制御アプリケーションに対応する制御アイコンを生成すること;及び
前記第1電子デバイスのディスプレイ上に前記制御アイコンを表示すること
を行うように構成されている、請求
項16又は17に記載の装置。
【請求項19】
前記制御アプリケーションに対応する前記制御アイコンを生成するとき、前記処理ユニットは、
前記第1アプリケーションに対応するアイコン情報を取得すること;及び
前記第1アプリケーションに対応する前記アイコン情報に基づいて前記制御アイコンを生成すること
を行うよう
に構成されている、請求
項18に記載の装置。
【請求項20】
前記処理ユニットはさらに、
前記制御アプリケーションの開始コマンドを取得すること、及び
次に、前記通信ユニットによって前記第2電子デバイスに前記第1アプリケーションの前記コマンド情報を送信すること、その結果、前記第2電子デバイスは、前記第1アプリケーションの前記受信されたコマンド情報に基づいて前記第1アプリケーションの前記アクションを実行する
を行うように構成されている、請求
項16から19のいずれか一項に記載の装置。
【請求項21】
前記第2アプリケーションが前記第1電子デバイス上にあるとき、前記処理ユニットはさらに、前記制御アプリケーションの前記開始コマンドを取得すること、次に、前記第2アプリケーションの前記コマンド情報に基づいて前記第2アプリケーションの前記アクションを実行することを行うように構成されている;又は
前記第2アプリケーションが前記第3電子デバイス上にあるとき、前記処理ユニットはさらに、前記制御アプリケーションの前記開始コマンドを取得すること、次に、前記通信ユニットによって前記第2アプリケーションの前記コマンド情報を前記第3電子デバイスに送信することを行うように構成されており、その結果、前記第3電子デバイスは、前記第2アプリケーションの前記受信されたコマンド情報に基づいて前記第2アプリケーションの前記アクションを実行する、請求
項20に記載の装置。
【請求項22】
前記制御アプリケーションの前記開始コマンドを取得するとき、前記処理ユニットは、
前記制御アプリケーションに対応する制御アイコンに対するユーザによって実行された操作を検出し、前記操作に応答して前記制御アプリケーションの前記開始コマンドを生成すること;又は
音声アシスタントアプリケーションによって前記ユーザの音声命令を受信し
、前記音声アシスタントアプリケーションが前記音声命令を解析した後に取得された前記開始コマンドを取得すること
を行うように構成されている、請求
項20又は21に記載の装置。
【請求項23】
前記処理ユニットはさらに
、
前記音声アシスタントアプリケーションが前記音声命令を解析した後に取得された前記開始コマンドを取得する前に、前記音声アシスタントアプリケーションによって管理されているアプリケーションリストに前記第1アプリケーションを追加するように構成されている、請求
項22に記載の装置。
【請求項24】
前記処理ユニットはさらに、前記第2電子デバイスについての情報を取得するように構成されており;
前記通信ユニットによって前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信するとき、前記処理ユニットは、
前記第2電子デバイスについての前記情報に基づいて、前記通信ユニットによって前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信することを行うよう
に構成されている、請求
項20から23のいずれか一項に記載の装置。
【請求項25】
前記処理ユニットはさらに、
前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する前に、前記第2電子デバイスへの接続が確立されていないことが決定されたとき、前記通信ユニットによってターンオン信号を前記第2電子デバイスに送信すること;及び
前記第2電子デバイスへの前記接続を確立すること
を行うように構成されている、請求
項20から24のいずれか一項に記載の装置。
【請求項26】
前記処理ユニットはさらに、
前記第2電子デバイスに関連付けられた第4電子デバイスについての情報を取得すること;
前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する前に、前記第4電子デバイスへの接続が確立されていないことが決定されたとき、前記通信ユニットによってターンオン信号を前記第4電子デバイスに送信すること;及び
前記第4電子デバイスへの前記接続を確立すること
を行うように構成されている、請求
項20から25のいずれか一項に記載の装置。
【請求項27】
前記処理ユニットはさらに、前記第1アプリケーションの前記コマンド情報を取得する前に、前記通信ユニットによって第1制御要求を前記第2電子デバイスに送信し、その結果、前記第2電子デバイスは、前記第1制御要求に基づいて前記第1アプリケーションの前記コマンド情報をフィードバックするように構成されているか、又は
前記第1アプリケーションの前記コマンド情報を取得するとき、前記処理ユニットは、前記通信ユニットによって前記第2電子デバイスから第2制御要求を受信するよう
に構成されており、ここで前記第2制御要求は前記第1アプリケーションの前記コマンド情報を含む、請求
項16から26のいずれか一項に記載の装置。
【請求項28】
前記処理ユニットはさらに、
前記制御アプリケーションが生成された後、前記通信ユニットによって前記制御アプリケーションの前記コマンド情報を第5電子デバイスに送信すること、ここで、前記制御アプリケーションの前記コマンド情報は、前記制御アプリケーションを開始するために使用される
を行うように構成されている、請求
項16から27のいずれか一項に記載の装置。
【請求項29】
前記第1アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成するとき、前記処理ユニットは、
予め設定された画像又はユーザによって選択された画像に基づいて、前記制御アプリケーションに対応する制御アイコンを生成するように構成されている、請求項16から28のいずれか一項に記載の装置。
【請求項30】
前記第1アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成するとき、前記処理ユニットは、
連携して制御される前記第1アプリケーションのアイコン及び前記第2アプリケーションのアイコンを取得し、前記第1アプリケーションの前記アイコン及び前記第2アプリケーションの前記アイコンに基づいてアイコンを新しく描画することで、前記制御アプリケーションに対応する制御アイコンを生成するように構成されている、請求項16から28のいずれか一項に記載の装置。
【請求項31】
ディスプレイ、プロセッサ、及びメモリを備える電子デバイスであって、ここで、前記メモリはコンピュータプログラムを格納しており、前記コンピュータプログラムは命令を含み、前記命令が前記プロセッサによって実行されたとき、前記電子デバイスは、請求項1か
ら15のいずれか一項に記載の方法を実行することが可能になる、電子デバイス。
【請求項32】
コンピュータに、請求項1か
ら15のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、2020年10月30日に中国国家知識産権局に出願された「制御方法及び装置、及び電子デバイス」と題する中国特許出願第202011193906.1号に基づく優先権を主張しており、当該出願はその全体が参照により本明細書に組み込まれる。
【0002】
本願は、電子デバイス技術分野、とりわけ、制御方法及び装置、及び電子デバイスに関連する。
【背景技術】
【0003】
すべてのシナリオにおける様々なタイプの電子デバイスの普及に伴い、マルチデバイス連携が開発のトレンドになっている。しかしながら、現在、マルチデバイス連携を実装するために、ユーザは、マルチデバイス連携において各電子デバイスに対して操作を個別で実行する必要がある。このプロセスは複雑で、操作は複雑で、ユーザエクスペリエンスは不十分である。
【発明の概要】
【0004】
本願は、クロスデバイスアプリケーション制御機能を実装すべく、制御方法及び装置、及び電子デバイスを提供する。
【0005】
第1態様によると、本願の実施形態は制御方法を提供する。本方法は、複数の電子デバイスが通信し得る様々なアプリケーションシナリオに適用され得る。以下では、本方法における段階を説明すべく、第1電子デバイスを一例として使用する。本方法は以下に挙げることを含む。
【0006】
第1電子デバイスは、第1アプリケーションのコマンド情報を取得して、次に、第1アプリケーションのコマンド情報に基づいて、制御アプリケーションを生成する。第1アプリケーションは、第2電子デバイス上にある。第1アプリケーションのコマンド情報は、第1アプリケーションのアクションを実装するために使用される。制御アプリケーションは、第2電子デバイスが第1アプリケーションのアクションを実装することを可能にするために使用される。例えば、第1アプリケーションのコマンド情報は、第1アプリケーションのインテント(Intent)であり得る。
【0007】
この方法において、第1電子デバイスは、別の電子デバイス上のアプリケーションのコマンド情報に基づいて制御アプリケーションを生成し得る。このように、ユーザは、制御アプリケーションを開始して、別の電子デバイスがアプリケーションのアクションを実装することを可能にし得る。明らかに、この方法に基づいて、電子デバイスは、制御アプリケーションを生成することによってクロスデバイスアプリケーション制御機能を実装し、マルチデバイス連携を実装し、ユーザエクスペリエンスを改善し得る。
【0008】
可能な設計において、第1電子デバイスは、以下の方式で第1アプリケーションのコマンド情報を取得し得る。
【0009】
方式1:第2電子デバイスから第1アプリケーションのコマンド情報を受信する。
【0010】
方式2:第1アプリケーションの且つユーザによって入力されたコマンド情報を取得する。
【0011】
本方法に基づいて、第1電子デバイスは、複数の方式で、別の電子デバイス上のアプリケーションのコマンド情報を柔軟に取得し得る。
【0012】
可能な設計において、第1電子デバイスはさらに、制御アプリケーションに対応する制御アイコンを生成し、当該制御アイコンをディスプレイ上に表示し得る。
【0013】
本方法に基づいて、第1電子デバイスは、制御アイコンを生成して、制御アイコンをタップすることによって、制御アプリケーションを開始し得る。
【0014】
可能な設計において、第1電子デバイスは、限定されるものではないが、以下の方式で制御アイコンを生成し得る。
【0015】
方式1:第1電子デバイスは、第1アプリケーションに対応するアイコン情報を取得して、第1アプリケーションに対応するアイコン情報に基づいて制御アイコンを生成する。
【0016】
方式2:第1電子デバイスは、予め設定された画像又はユーザによって選択された画像に基づいて、制御アイコンを生成し得る。
【0017】
本方法に基づいて、第1電子デバイスは、制御アプリケーションに対応する制御アイコンを生成する。
【0018】
可能な設計において、制御アプリケーションの開始コマンドを取得した後、第1電子デバイスはさらに、第1アプリケーションのコマンド情報を第2電子デバイスに送信して、その結果、第2電子デバイスは、第1アプリケーションの受信されたコマンド情報に基づいて、第1アプリケーションのアクションを実行し得る。
【0019】
本方法に基づいて、第1電子デバイスは、第1アプリケーションのコマンド情報を第2電子デバイスに送信することによって、クロスデバイスアプリケーション制御を実装し得る。
【0020】
可能な設計において、第1電子デバイスは、以下の段階で制御アプリケーションを生成し得る。当該段階は、
第2アプリケーションのコマンド情報を取得する段階、ここで、第2アプリケーションは第1電子デバイス及び/又は第3電子デバイス上にあり、第2アプリケーションのコマンド情報は第2アプリケーションのアクションを実装するために使用される;及び
第1アプリケーションのコマンド情報及び第2アプリケーションのコマンド情報に基づいて制御アプリケーションを生成する段階、ここで、制御アプリケーションはさらに、第1電子デバイス及び/又は第3電子デバイスが第2アプリケーションのアクションを実装することを可能にするために使用される、を含む。
【0021】
第2アプリケーションが第1電子デバイス上にあるとき、制御アプリケーションの開始コマンドを取得した後、第1電子デバイスはさらに、第2アプリケーションのコマンド情報に基づいて第2アプリケーションのアクションを実行し得る。第2アプリケーションが第3電子デバイス上にあるとき、制御アプリケーションの開始コマンドを取得した後、第1電子デバイスはさらに、第2アプリケーションのコマンド情報を第3電子デバイスに送信して、その結果、第3電子デバイスは、第2アプリケーションの受信されたコマンド情報に基づいて、第2アプリケーションのアクションを実行し得る。
【0022】
この設計において、制御アプリケーションは、第2電子デバイスが第1アプリケーションのアクションを実装することを可能にするだけでなく、第1電子デバイス又は第3電子デバイスが第2アプリケーションのアクションを実装することもまた可能にし得る。本願のこの実施形態において、連携して制御される必要がある電子デバイスの数は限定されず、連携して制御される必要があるアプリケーションの数は限定されないことに留意されたい。
【0023】
この設計において、制御アプリケーションは、複数のアプリケーションを複数の電子デバイス上に統合し得る。この設計において、第1電子デバイスは、制御アプリケーションを開始することによって、複数の電子デバイスのアプリケーション制御機能を実装し得る。
【0024】
可能な設計において、第1電子デバイスは、以下の方式で制御アプリケーションの開始コマンドを取得し得る。
【0025】
方式1:制御アプリケーションに対応する制御アイコン上でユーザによって実行される操作を検出し、当該操作に応答して、制御アプリケーションの開始コマンドを生成する。
【0026】
方式2:音声アシスタントアプリケーションによってユーザの音声命令を受信し、制御アプリケーションの且つ音声アシスタントアプリケーションが音声命令を解析した後に取得された開始コマンドを取得する。
【0027】
この設計において、ユーザは、複数の操作によって、制御アプリケーションを柔軟に開始し得る。
【0028】
可能な設計において、制御アプリケーションの且つ音声アシスタントアプリケーションが音声命令を解析した後に取得された開始コマンドを取得する前に、第1電子デバイスはさらに、音声アシスタントアプリケーションによって管理されているアプリケーションリストに第1アプリケーションを追加する必要がある。
【0029】
この設計において、音声アシスタントアプリケーションの使用範囲は拡張され得る。音声アシスタントアプリケーションによって、ユーザは、音声命令に基づいて、別の電子デバイス上でアプリケーションを開き得る。
【0030】
可能な設計において、第1アプリケーションのコマンド情報を取得するとき、第1電子デバイスはさらに、第2電子デバイスについての情報を取得し得る。このように、第1電子デバイスは、第2電子デバイスについての情報に基づいて、第1アプリケーションのコマンド情報を第2電子デバイスに送信し得る。
【0031】
可能な設計において、第1アプリケーションのコマンド情報を第2電子デバイスに送信する前に、第2電子デバイスへの接続が確立されていないと決定されている場合、第1電子デバイスはターンオン信号を第2電子デバイスに送信し;当該第2電子デバイスがオンになった後に第2電子デバイスへの接続を確立する。
【0032】
この設計において、第1電子デバイスはさらに、別の電子デバイスを自動的に開始し、別の電子デバイスへの接続を確立し、それにより、連携した制御プロセスにおけるユーザの操作を低減し、ユーザエクスペリエンスを改善し得る。
【0033】
可能な設計において、第1電子デバイスはさらに、第2電子デバイスに関連付けられた第4電子デバイスについての情報を取得し得る。この場合、第1アプリケーションのコマンド情報を第2電子デバイスに送信する前に、第4電子デバイスへの接続が確立されていないと決定されている場合、第1電子デバイスはターンオン信号を第4電子デバイスに送信し;当該第4電子デバイスがオンになった後に第4電子デバイスへの接続を確立する。
【0034】
この設計において、第1電子デバイスはさらに、第2電子デバイスに関連付けられた第4電子デバイスの開始を制御し得る。したがって、接続は、オン状態の第4電子デバイス及びオン状態の第2電子デバイスの間で自動的に確立されることで、第1アプリケーションのアクションを実装するべく第2電子デバイスが第4電子デバイスと協働し得ることを保証し得る。
【0035】
可能な設計において、第1電子デバイスは、以下の方式で第1アプリケーションのコマンド情報を取得し得る。
【0036】
方式1:第1制御要求を第2電子デバイスに送信し、その結果、第2電子デバイスは、第1制御要求に基づいて第1アプリケーションのコマンド情報をフィードバックする。第1アプリケーションの且つ第2電子デバイスによって送信されたコマンド情報を受信する。
【0037】
方式2:第2電子デバイスから第2制御要求を受信し、ここで、第2制御要求は、第1アプリケーションのコマンド情報を含む。
【0038】
この設計において、第1電子デバイスは、複数の方式で第1アプリケーションのコマンド情報を取得し得る。
【0039】
可能な設計において、制御アプリケーションを生成した後、第1電子デバイスはさらに、制御アプリケーションのコマンド情報を第5電子デバイスに送信し得る。制御アプリケーションのコマンド情報は、制御アプリケーションを開始するために使用される。このように、第5電子デバイスは、制御アプリケーションのコマンド情報に基づいて第5電子デバイス上の新たな制御アプリケーションを生成し得る。
【0040】
第2態様によると、本願の実施形態はさらに、制御装置を提供する。上記制御装置は、電子デバイス内で使用され得、第1態様における各段階を実行するように構成されたユニット又はモジュールを含む。
【0041】
第3態様によると、本願は、少なくとも1つの処理要素及び少なくとも1つの記憶素子を含む電子デバイスを提供する。少なくとも1つの格納要素は、プログラム及びデータを格納するよう構成されている。少なくとも1つの処理要素は、本願の第1の態様で提供される方法を実行するよう構成されている。
【0042】
第4態様によると、本願の実施形態はさらに、コンピュータ記憶媒体を提供する。本記憶媒体は、ソフトウェアプログラムを格納する。ソフトウェアプログラムが1又は複数のプロセッサによって読み出され実行されたとき、第1態様に提供された方法又は第1態様における任意の設計が実装され得る。
【0043】
第5態様によると、本願の実施形態はさらに、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行されたとき、上記コンピュータは、第1態様に提供された方法又は第1態様における任意の設計を実行することが可能になる。
【0044】
第6態様によると、本願の実施形態はチップシステムを提供する。チップシステムは、第1態様の機能を実装する際に電子デバイスをサポートするように構成されたプロセッサを含む。可能な設計において、チップシステムはメモリをさらに含む。メモリは、電子デバイスに必要なプログラム命令及びデータを格納するように構成されている。チップシステムは、チップを含み得る、又は、チップ及び別のディスクリートコンポーネントを含み得る。
【図面の簡単な説明】
【0045】
【
図1】本願の実施形態による適用シナリオの概略図である。
【0046】
【
図2】本願の実施形態による電子デバイスの構造の図である。
【0047】
【
図3】本願の実施形態による電子デバイスのソフトウェアアーキテクチャの図である。
【0048】
【
図4A】本願の実施形態による制御アプリケーションを生成するプロセスの概略図である。
【0049】
【
図4B】本願の実施形態による制御アプリケーションを開始するプロセスの概略図である。
【0050】
【
図5】本願の実施形態による制御方法のフローチャートである。
【0051】
【
図6A】本願の実施形態による制御方法の事例の概略図である。
【
図6B】本願の実施形態による制御方法の事例の概略図である。
【0052】
【
図7A】本願の実施形態による別の制御方法の事例の概略図である。
【
図7B】本願の実施形態による別の制御方法の事例の概略図である。
【0053】
【
図8A】本願の実施形態による更に別の制御方法の事例の概略図である。
【
図8B】本願の実施形態による更に別の制御方法の事例の概略図である。
【
図8C】本願の実施形態による更に別の制御方法の事例の概略図である。
【0054】
【
図9A】本願の実施形態によるまた別の制御方法の事例の概略図である。
【
図9B】本願の実施形態によるまた別の制御方法の事例の概略図である。
【0055】
【
図10】本願の実施形態による制御装置の構造の図である。
【0056】
【
図11】本願の実施形態による電子デバイスの構造お図である。
【発明を実施するための形態】
【0057】
本願は、本願は、クロスデバイスアプリケーション制御機能を実装して、それによりマルチデバイス連携を実装すべく、制御方法及び装置、及び電子デバイスを提供する。上記方法及び電子デバイスは、同じ技術的概念に基づいている。上記方法、装置及び電子デバイスが類似した問題解決方針を有しているので、上記装置、電子デバイス及び方法の実装間で相互参照が成され得る。繰り返しの説明は提供されない。
【0058】
本願の実施形態に提供された解決手段において、電子デバイスは、別の電子デバイス上のアプリケーションのコマンド情報を取得し得、当該コマンド情報に基づいて制御アプリケーションを生成する。このように、ユーザは、制御アプリケーションを開始して、別の電子デバイスがアプリケーションのアクションを実装することを可能にし得る。明らかに、この方法に基づいて、電子デバイスは、制御アプリケーションを生成することによってクロスデバイスアプリケーション制御機能を実装し、マルチデバイス連携を実装し、ユーザエクスペリエンスを改善し得る。
【0059】
以下では、当業者がより良い理解を得るのを助けるために、本願におけるいくつかの用語が説明される。
【0060】
(1)電子デバイスは、データ接続機能、データ計算機能、及びデータ処理機能を有するデバイス又は装置である。例えば、電子デバイスは、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、ネットブック、車載装置、業務用スマート端末(テレビ電話、会議用デスクトップスマート端末及び同様のものを含む)、携帯情報端末(personal digital assistant,PDA(登録商標))、拡張現実(augmented reality,AR)デバイス/仮想現実(virtual reality,VR)デバイス、又は同様のものであり得る。電子デバイスの具体的な形態は本願において限定されない。
【0061】
(2)アプリケーション(application,APP)が電子デバイス上にインストールされ、それは、例えば、撮影サービス機能を提供するカメラアプリケーション、チャットサービス機能を提供するWeChat(登録商標)アプリケーション又はQQアプリケーション、ビデオサービス機能を提供するiQIYIアプリケーション又はWeTVアプリケーション、又は、音楽サービス機能を提供するQQ音楽アプリケーションなどのサービスを、ユーザに提供する機能を有する。上記アプリケーションは、電子デバイスの製造業者によって開発されてもよく、又は、電子デバイスのオペレーティングシステムの供給業者によって開発されてもよく、又は、サードパーティアプリケーションプロバイダによって開発されてもよい。これは、本願において限定されない。
【0062】
(3)アプリケーションのコマンド情報は、アプリケーションのアクション(すなわち、機能、サービス、タスク、操作又は同様のもの)を実装するために使用される。いくつかの実装において、アプリケーションのコマンド情報は、アクションの関連情報を含み得、具体的には、アクションのタイプ、関連データ、追加のデータ、及び同様のものを含む。
【0063】
アンドロイド(登録商標)(Android(登録商標))システムにおいて、アプリケーションのコマンド情報は、インテント(Intent)によって示され得る。Androidシステムは、インテントメカニズムを使用することによって、アプリケーション間の相互作用及び通信を補助し得る。インテントは、アプリケーションにおいて実行される必要があるアクションの抽象的な説明であり、アプリケーションのパラメータとして使用され得る。Androidシステムは、インテントの説明に基づいて、対応するコンポーネントを見つけ、呼び出される必要があるコンポーネントに当該インテントを送信することで、当該コンポーネントの呼び出しを完了することを担当し得る。インテントは、アプリケーション間における使用だけでなく、アプリケーション内のアクティビティ(Activity)及びサービス(Service)間の相互作用にも使用され得る。したがって、インテントは、コンポーネントの呼び出しについての関連情報を提供するとともに、呼び出す当事者及び呼び出された当事者の間の分離を実装するための媒体として作用する。インテントの表現形態は:
アクティビティを開始すること、サービスを開始すること、アクティビティ及びサービスを結合してその2つの間の通信を確立すること、及び、ブロードキャスト(Broadcast)を送信することを含む。
【0064】
ブロードキャストBroadcastが送信される。ブロードキャストは、ブロードキャスト関数Context.sendBroadcasts()/Context.sendOrderedBroadcast()/Context.sendStickyBroadcast()に基づいて、ブロードキャスト受信器に送信される。
【0065】
インテント情報の1次属性は、実行されたアクション(Action)のタイプ及び操作データ(Data)を含む。2次属性(すなわち、インテント情報に含まれた追加のデータ)は、カテゴリ(category)、データタイプ(type)、コンポーネント(component)、及び追加の情報(extras)を含む。
【0066】
(4)「複数の」は、2つ又はより多くを意味する。「少なくとも1つ」とは、1つ以上を意味する。
【0067】
(5)「及び/又は」という用語は、関連付けられたオブジェクト間の関連関係を説明しており、3つの関係が存在し得ることを示す。例えば、A及び/又はBは、以下の3つの場合を表し得る。すなわち、Aのみが存在する場合、A及びBの両方が存在する場合、及び、Bのみが存在する場合である。記号「/」は一般に、関連する対象の間の「又は」の関係を示している。
【0068】
加えて、本願の説明において、「第1」及び「第2」などの用語は単に説明を区別するために使用されており、相対的な重要度の指示又は示唆として理解されるものではなく、又は、順序の指示又は示唆として理解されるものではないことを理解されたい。
【0069】
以下では、本願の実施形態が使用され得る適用シナリオのアーキテクチャの図を説明する。
図1に示すように、当該適用シナリオは、複数の電子デバイスを含む。
【0070】
この適用シナリオにおいて、異なる電子デバイスは通信ネットワークを介して互いに通信し得る。例えば、通信ネットワークは、ローカルエリアネットワーク(例えば、ホームローカルエリアネットワーク又はスマートホームローカルエリアネットワーク)であり得る。別の例の場合、通信ネットワークは代替的に、ワイヤレスフィデリティ(wireless-fidelity,Wi-Fi(登録商標))、ブルートゥース(登録商標)(Bluetooth(登録商標),BT)、近距離無線通信(near field communication,NFC)技術、赤外線(infrared,IR)技術、又は直接接続(sidelink)通信技術などの技術を使用することによって形成されたネットワークであり得る。これは、本願において限定されない。この適用シナリオにおいて、通信接続が同じ通信ネットワーク内の2つの電子デバイス間において確立されたとき、上記2つの電子デバイスは両方がオン状態にあり、上記通信ネットワーク内の通信は正常であり、上記2つの電子デバイスは両方が上記通信ネットワークに自動的にアクセスし得、上記2つの電子デバイス間には接続が確立される。
【0071】
上記適用シナリオにおける任意の電子デバイスは、制御機能を有する制御デバイスとして機能し得ることに留意されたい。同様に、任意の電子デバイスは、連携したデバイス、すなわち、アプリケーションが制御されている被制御デバイスとしても機能し得る。
【0072】
例えば、
図1に示したスマートホームシステムの適用シナリオにおいて、スマートフォンは、スマートテレビ、スマートスピーカ、ノートブックコンピュータ、及びウェアラブルデバイスなどの電子デバイスのうちの少なくとも1つを制御し得る。
【0073】
本発明の実施形態において説明された前述の適用シナリオは、本発明の実施形態における技術的解決手段をより明確に説明することを意図しており、本発明の実施形態に提供された技術的解決手段に対する制限を構成しないことが理解され得る。当業者であれば、ネットワークアーキテクチャの発展及び新たなサービスの出現につれて、本発明の実施形態に提供された技術的解決手段も、類似した技術的問題に適用可能であることを認識し得る。例えば、上記方法はさらに、例えば、ビークルツーエブリシング(vehicle to everything,V2X)、ロングタームエボリューション‐インターネットオブビークル(LTE-vehicle,LTE-V)、ビークルツービークル(vehicle to vehicle,V2V)、インターネットオブビークル、マシンタイプ通信(Machine Type Communication,MTC)、モノのインターネット(internet of things,IoT)、ロングタームエボリューション‐マシンツーマシン(LTE-machine to machine,LTE-M)、及びマシン‐マシン(machine to machine,M2M)などの適用シナリオのような様々な他の適用シナリオに適用され得る。
【0074】
本願の実施形態に提供された制御方法は、
図1に示した適用シナリオにおける任意の電子デバイスに適用され得る。以下では、電子デバイスの構造について説明する。
図2は、本願の実施形態による、方法が適用可能な、考えられる電子デバイスの構造の図である。
図2に示すように、電子デバイス200は、通信ユニット201、プロセッサ202、メモリ203、表示ユニット204、入力ユニット205、オーディオ回路206、センサ207、及びカメラ208などのコンポーネントを含む。以下では、
図2を参照して電子デバイス200のコンポーネントを具体的に説明する。
【0075】
通信ユニット201は、電子デバイス200の機能を実装し、別のデバイスとのデータ通信を実装するように構成されている。任意選択的に、通信ユニット201は、無線通信モジュール2011及びモバイル通信モジュール2012を含み得る。通信ユニット201に加えて、電子デバイス200はさらに、プロセッサ202内でアンテナ、モデムプロセッサ及びベースバンドプロセッサなどのコンポーネントと協働して、通信機能を実装する必要がある。
【0076】
無線通信モジュール2011は、電子デバイスに適用されているとともに無線ローカルエリアネットワーク(wireless local area networks,WLAN)(ワイヤレスフィデリティ(wireless fidelity,Wi-Fi)ネットワークなど)、ブルートゥース(Bluetooth,BT)、全球測位衛星システム(global navigation satellite system,GNSS)、周波数変調(frequency modulation,FM)、近距離無線通信(near field communication,NFC)技術、赤外線技術(infrared,IR)、及び同様のものを含む無線通信解決手段を提供し得る。無線通信モジュール2011は、少なくとも1つの通信処理モジュールを統合する1又は複数のコンポーネントであり得る。無線通信モジュール2011は、アンテナを介して電磁波を受信し、電磁波に対して信号周波数変調及びフィルタリング処理を実行し、処理された信号をプロセッサ202に送信する。無線通信モジュール2011はさらに、送信される信号をプロセッサ202から受信し、信号に対して周波数変調及び増幅を実行し、周波数変調及び増幅の後に取得された信号を、アンテナを介した放射のための電磁波に変換し得る。
【0077】
モバイル通信モジュール2012は、電子デバイスに適用され且つ2G/3G/4G/5G又は同様のものを含むモバイル通信解決手段を提供し得る。モバイル通信モジュール2012は、少なくとも1つのフィルタ、スイッチ、電力増幅器、及び、低雑音増幅器(low noise amplifier、LNA)などを含み得る。モバイル通信モジュール2012は、アンテナを介して電磁波を受信し、フィルタリング及び増幅などの処理を受信した電磁波に対して実行し、処理された電磁波を復調のためにモデムプロセッサへ送信し得る。モバイル通信モジュール2012はさらに、モデムプロセッサによって変調された信号を増幅し、当該増幅された信号を、アンテナを介した放射のための電磁波に変換し得る。いくつかの実施形態において、モバイル通信モジュール2012の少なくともいくつかの機能モジュールは、プロセッサ202に配置され得る。いくつかの実施形態において、モバイル通信モジュール2012の少なくともいくつかの機能モジュールは、プロセッサ202の少なくともいくつかのモジュールと同じデバイスに配置され得る。
【0078】
電子デバイス200は、モバイル通信モジュール2012を介してモバイル通信システムの基地局への無線接続を確立し、モバイル通信モジュール2012を介してモバイル通信システムのサービスを受信し得る。
【0079】
電子デバイス200が本願の実施形態に提供された制御方法を実装したとき、通信ユニット201における無線通信モジュール2011又はモバイル通信モジュール2012によって、電子デバイス200は、アプリケーションのコマンド情報を別の電子デバイスに送信しても又は別の電子デバイスのアプリケーションのコマンド情報、又は同様のものを受信してもよく、さらに、別の電子デバイスにターンオン信号を送信しても又は別の電子デバイスのターンオン信号を受信してもよい。
【0080】
通信ユニット201はさらに、電子デバイス200及び別のデバイスの間で物理的接続を実装するように構成されている通信インタフェースを含み得る。通信インタフェースは、ケーブルを介して別のデバイスの通信インタフェースに接続して、端末デバイス200及び別のデバイスの間でデータ送信を実装し得る。
【0081】
メモリ203は、ソフトウェアプログラム及びデータを格納するように構成され得る。プロセッサ202は、メモリ203に格納されたソフトウェアプログラム及びデータを実行して、端末デバイス200の様々な機能を実行するとともにデータを処理する。本願のこの実施形態において、上記ソフトウェアプログラムは、制御方法を実装するための制御プログラム、各アプリケーションのプログラム、又は同様のものであり得る。
【0082】
任意選択的に、メモリ203は、プログラム記憶領域及びデータ記憶領域を主に含み得る。プログラム記憶領域は、オペレーティングシステム、様々なソフトウェアプログラム、及び同様のものを格納し得る。データ記憶領域は、ユーザによって入力されたデータ又はソフトウェアプログラムを実行するプロセスにおいて端末デバイス200によって作成されたデータ、及び同様のものを格納し得る。オペレーティングシステムは、HarmonyOS(登録商標)、IOS(登録商標)、Android(登録商標)、Microsoft(登録商標)、又は同様のものであり得る。加えて、メモリ203は、高速ランダムアクセスメモリを含み得、例えば、少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は別の揮発性ソリッドステートストレージデバイスなどの不揮発性メモリをさらに含み得る。例えば、本願のこの実施形態において、制御方法を実装するための制御プログラム、各アプリケーションのプログラム、及び同様のものは、プログラム記憶領域に格納され得;アプリケーションのコマンド情報及びアイコンなどのデータは、データ記憶領域に格納され得る。
【0083】
入力ユニット205は、文字情報及びユーザによって入力された信号を受信するように構成され得る。任意選択的に、入力ユニット205は、タッチパネル2051及び別の入力デバイス(例えば、機能キー)を含み得る。タッチパネル2051は、タッチスクリーンとも称されており、タッチパネル2051の上又は近くにおいてユーザによって実行されるタッチ操作を収集し、対応するタッチ情報を生成し、上記タッチ情報をプロセッサ202に送信して、その結果、プロセッサ202は上記タッチ情報に対応するコマンドを実行し得る。タッチパネル2051は、抵抗型、静電容量型、赤外線型、及び表面弾性波型などの複数のタイプで実装され得る。例えば、本願のこの実施形態において、ユーザは、タッチパネル2051によって、統合又は開始される必要があるアプリケーションを選択し得る。
【0084】
表示ユニット204は、ユーザインタフェースを提示し、人間‐コンピュータ間の相互作用を実装するように構成されている。例えば、表示ユニット204は、ユーザによって入力された情報又はユーザに提供された情報、及び、端末デバイス200の様々なメニュー、メインインタフェース(様々なアプリケーションのアイコンを含む)、及び様々なアプリケーションのウィンドウなどのコンテンツを表示し得る。本願のこの実施形態において、プロセッサ202は、表示ユニット204において様々なアプリケーションのアイコンを表示し得る。
【0085】
表示ユニット204は、表示パネル2041を含んでよい。表示パネル2041は、液晶ディスプレイ(liquid crystal display,LCD)、有機発光ダイオード(organic light-emitting diode,OLED)、又は同様のものの形態で構成され得る。
【0086】
タッチパネル2051は表示パネル2041を覆い得ることに留意されたい。
図2において、タッチパネル2051及び表示パネル2041は2つの独立したコンポーネントとして機能し、電子デバイス200の入力及び出力機能を実装する。しかしながら、本願のこの実施形態において、タッチパネル2051及び表示パネル2041は、統合(すなわち、タッチスクリーン)され、電子デバイス200の入力及び出力機能を実装し得る。
【0087】
プロセッサ202は電子デバイス200の制御センターであり、様々なインタフェース及び回線によってコンポーネントに接続されており、メモリ203に格納されたソフトウェアプログラム及び/又はモジュールを実行又は実施してメモリ203に格納されたデータを呼び出すことによって、電子デバイス200の様々な機能を実行し、データを処理する。したがって、電子デバイス200の複数のサービスが実装される。例えば、プロセッサ202は、メモリ203に格納された制御プログラムを実行することで、本願の実施形態に提供された制御方法を実装し、制御アプリケーションを生成し得る。加えて、制御アプリケーションを生成した後、プロセッサ202はさらに、制御アプリケーションの開始コマンドを取得し、次に、アプリケーションのコマンド情報を別の電子デバイスに送信するように通信ユニット201を制御し得る。
【0088】
任意選択で、プロセッサ202は、1又は複数の処理ユニットを含み得る。プロセッサ202は、アプリケーションプロセッサ、モデムプロセッサ、ベースバンドプロセッサ、グラフィックス処理ユニット(graphics processing unit,GPU)、及び同様のものを統合し得る。アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインタフェース、アプリケーションプログラムなどを処理する。モデムプロセッサは、主に無線通信の処理を行う。前述のモデムプロセッサは、代替的に、プロセッサ202に統合されない場合があることが理解され得る。
【0089】
オーディオ回路206(スピーカ2061及びマイク2062を含む)は、ユーザ及び端末デバイス200の間にオーディオインタフェースを提供し得る。オーディオ回路206は、受信されたオーディオデータから変換された電気信号をスピーカ2061に送信し得、スピーカ2061は、当該電気信号を出力のためにサウンド信号に変換する。加えて、マイク2062は、収集されたサウンド信号を電気信号に変換し;オーディオ回路206は当該電気信号を受信し;次に、送信又は格納などのさらなるプロセスのために、当該電気信号をオーディオデータに変換する。本願のこの実施形態において、電子デバイス200上の音声アシスタントアプリケーションは、マイク2062によってユーザの音声命令を収集することで、当該音声命令を解析し、対応するコマンドを取得し得る。
【0090】
電子デバイス200はさらに、1又は複数のセンサ207、例えば、光センサ、モーションセンサ、超音波センサ、及び別のセンサを含み得る。電子デバイス200は、センサ207によって収集されたリアルタイムセンサデータに基づいて様々な機能を実装し得る。
【0091】
電子デバイス200はさらに、画像を収集するためのカメラ208を含み得る。
【0092】
当業者であれば、
図1に示した端末デバイスの構造が端末デバイスに対する制限を構成しないことが理解し得る。本願のこの実施形態において提供された端末デバイスは、図面に示したものより多くの又はより少ないコンポーネントを含み得、いくつかのコンポーネントは組み合わされ得、又は、異なるコンポーネント展開が使用され得る。
【0093】
本願に提供された電子デバイスのソフトウェアシステムは、階層型アーキテクチャ、イベント駆動型アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、又はクラウドアーキテクチャを使用し得る。本願の実施形態において、階層型アーキテクチャを有するアンドロイド(Android)システムは、電子デバイスのソフトウェア構造を説明するための一例として使用される。
【0094】
図3は、本願の一実施形態による電子デバイスのソフトウェア構造のブロック図である。
図3に示すように、電子デバイスのソフトウェア構造は、階層型アーキテクチャであり得る。例えば、ソフトウェアがいくつかの層に分割されてよく、各層が明確な役割及び担当を有する。層はソフトウェアインタフェースを通じて互いに通信する。いくつかの実施形態において、Androidシステムは、4つの層、すなわち、上から下に、アプリケーション層、フレームワーク(framework,FWK)層、Androidランタイム(Android runtime)及びシステムライブラリ、及びカーネル層に分割される。
【0095】
アプリケーション層は一連のアプリケーションを含み得る。
図3に示すように、アプリケーション層は、カメラアプリケーション、音声アシスタントアプリケーション、デスクトップ管理(例えば、HuaweiランチャHuawei Launcher)アプリケーション、音楽アプリケーション、ビデオアプリケーション、マップアプリケーション、サードパーティアプリケーション、及び同様のものを含み得る。サードパーティアプリケーションは、WeChatアプリケーション、iQIYIアプリケーション、及び同様のものを含み得る。
【0096】
フレームワーク層は、アプリケーション層におけるアプリケーションのためのアプリケーションプログラミングインタフェース(application programming interface、API)及びプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの予め定義された機能を含み得る。
図6A及び
図6Bに示すように、アプリケーションフレームワーク層は、システムサービス(System Service)、ビューシステム(View System)、ウェブサービス(Web Service)、電話マネージャ、リソースマネージャ、及び同様のものを含み得る。
【0097】
システムサービスは、ウィンドウマネージャサービス(window manager service,WMS)及びアクティビティマネージャサービス(activity manager service,AMS)を含み得る。本願のこの実施形態において、新たなシステムレベルサービス、すなわち、リモートシステムサービス(remote system service)が、システムサービスにさらに追加され得る。以下では、システムサービスにおける様々なサービスを個別で説明する。
【0098】
ウィンドウマネージャサービス:ウィンドウマネージャサービスは、ウィンドウ(window)に提供され、具体的には、すべてのウィンドウの表示及び非表示、及びディスプレイ上のすべてのウィンドウの位置を制御する。ウィンドウマネージャサービスは、具体的には、以下の機能を担当し得る。1.表示表面(surface)を各ウィンドウに割り当てる。2.表面の表示順序、サイズ、及び位置を管理する。3.管理機能(表面制御関数(SurfaceControl.Transaction)など)を呼び出し、透明性、伸縮係数、位置、ウィンドウのサイズを調整し、ウィンドウのアニメーション効果を実装する。4.入力システムに関連する。例えば、電子デバイスがタッチイベントを受信したとき、電子デバイスは、ウィンドウマネージャサービスを介して、適切なウィンドウをユーザに提供することで、メッセージを表示又は処理し得る。
【0099】
アクティビティマネージャサービスは、アプリケーション内のアクティビティ(activity)に、管理サービスを提供する。アクティビティマネージャサービスは、限定されるものではないが、以下の機能を担当し得る。1.すべてのアプリケーションにおけるアクティビティのライフサイクルを均一にスケジューリングする。2.アプリケーションのプロセスを開始又は停止する。3.サービスのライフサイクルを開始及びスケジューリングする。4.ブロードキャスト受信器(Broadcast Receiver)を登録し、ブロードキャスト(Broadcast)を受信及び分配する。5.システムの現在の実行状況をクエリする。6.タスク(task)をスケジューリングする。
【0100】
リモートシステムサービスは、本願の実施形態における制御方法において、異なる電子デバイス間のシグナリングの相互作用、アプリケーションのコマンド情報、及び同様のものを実装するために使用される。例えば、電子デバイスは、リモートシステムサービスによって、別の電子デバイスに第1制御要求を送信し、その結果、上記別の電子デバイスは、第1制御要求に基づいて、制御される必要があるアプリケーションのコマンド情報をフィードバックし得る。加えて、電子デバイスは、続いて、アプリケーションのコマンド情報であり且つ別の電子デバイスによって送信されたコマンド情報を、リモートシステムサービスによって受信し得る。別の例の場合、電子デバイスは、別の電子デバイスによって送信された第2制御要求(アプリケーションのコマンド情報を含む)を受信し得る。更に別の例の場合、制御されるアプリケーションの開始コマンドを取得した後、電子デバイスはさらに、リモートシステムサービスによって、アプリケーションのコマンド情報を別の電子デバイスに送信し得る。
【0101】
ビューシステムは、視覚的な制御、例えば、テキスト表示制御及び画像表示制御を含む。ビューシステムは、アプリケーションの構造に使用され得る。インタフェースは、1又は複数の制御を含み得る。例えば、SMS通知アイコンを含むインタフェースは、テキスト表示制御及び画像表示制御を含み得る。
【0102】
ウェブサービス(Web Service)は、ウェブページによって呼び出され得るAPIである。
電話マネージャは、電子デバイスの通信機能、例えば、通話状況(応答又は拒否を含む)、又は同様のものの管理を提供するように構成されている。
リソースマネージャは、ローカライズされた文字列、アイコン、画像、レイアウトファイル、及びビデオファイル等の様々なリソースをアプリケーションに提供する。
【0103】
Androidランタイムは、カーネルライブラリ(Kernel Library)及び仮想マシンを含む。Androidランタイムは、Androidシステムのスケジューリング及び管理を担う。カーネルライブラリは、2つの部分を含む:1つの部分は、java(登録商標)言語で呼び出される必要がある機能であり、他の部分は、Androidシステムのカーネルライブラリであり且つAndroidシステムに入力/出力サービス(Input/Output Service)及びカーネルサービス(Kernel Service)を提供するために使用される。
アプリケーション層及びフレームワーク層は、仮想マシンにおいて実行され得る。仮想マシンは、javaファイルをアプリケーション層及びフレームワーク層において二値ファイルとして実行する。仮想マシンは、オブジェクトのライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び例外の管理、及びガベージコレクションなどの機能を実装するように構成されている。
【0104】
システムライブラリは、複数の機能モジュール、例えば、アイコン管理モジュール、統合アプリケーション管理モジュール、メディアライブラリ(media libraries)、及び画像処理ライブラリを含み得る。
【0105】
制御アプリケーション管理モジュールは、制御される必要があり且つユーザによって選択されるローカルアプリケーションのコマンド情報を決定すること、又は、別の電子デバイス上における取得されたアプリケーションのコマンド情報に基づいて、制御アプリケーション(統合アプリケーションとしても称され得る)を生成することを行うように構成されている。
【0106】
アイコン管理モジュールは、制御アプリケーションを生成するプロセスにおける制御アプリケーションの制御アイコンをこれに応じて生成するように構成されている。
【0107】
メディアライブラリは、複数の形式でオーディオ及びビデオを再生及び記録すること、及び複数の形式で静的画像を開くことをサポートする。メディアライブラリは、MPEG-4、H.264、MP3、AAC、AMR、JPG、及びPNGなどの、複数のオーディオ及びビデオエンコード形式をサポートしてよい。
【0108】
カーネル層はハードウェアとソフトウェアとの間の層である。カーネル層は、少なくとも表示ドライバー、センサドライバー、プロセッサドライバー、カメラドライバー、オーディオドライバー、及び同様のものを含み;ハードウェア層においてハードウェアを駆動するように構成されている。
【0109】
ハードウェア層は、様々なタイプのセンサ、ディスプレイ、プロセッサ、入力デバイス、メモリ、カメラ、及び同様のものを含み得る。
【0110】
電子デバイスのクロスデバイスアプリケーション制御及びマルチデバイス連携を実装するために、本願の実施形態は制御方法を提供する。本方法は、
図1に示した複数の電子デバイスを含む適用シナリオに適用され得る。本方法は、具体的には、制御アプリケーションを生成するプロセス、及び制御アプリケーションを開始するプロセスの2つのプロセスを含む。
図3に示した電子デバイスのソフトウェア構造に基づいて、以下では、制御アプリケーションを生成するプロセス、及び制御アプリケーションを開始するプロセスの2つのプロセスをそれぞれ、第1電子デバイスが、第1電子デバイスの第1アプリケーション及び第2電子デバイスの第2アプリケーションを連携して制御する例を使用して、
図4A及び
図4Bを参照して、詳細に説明する。
【0111】
図4Aに示すように、制御アプリケーションを生成するプロセスは、以下の段階を含む。
【0112】
ユーザが第1アプリケーション及び第2アプリケーションの制御アプリケーションを第1電子デバイスに生成することを期待しているとき、ユーザは、第2電子デバイスを操作し、連携して制御される第2アプリケーションを第2電子デバイス上で選択し、連携して制御するデバイスは第1電子デバイスであることを決定する必要がある。
【0113】
第2電子デバイスは、ユーザの操作に応じて、第2アプリケーションのアイコン2(すなわち、Icon2)及びインテント2(すなわち、Intent2)を第2電子デバイスのリモートシステムサービスに送信する。この場合、アイコン2及びインテント2は、複数のネットワーク通信方式、例えば、ブロードキャスト(すなわち、Broadcast)及びソケット(Socket)で、リモートシステムサービスに送信され得る。第1電子デバイスのリモートシステムサービスへの接続を検証によって確立した後、第2電子デバイスのリモートシステムサービスは、第1電子デバイスのリモートシステムサービスに制御要求を送信する。制御要求は、第2アプリケーションのアイコン2及びインテント2、及び第2電子デバイスについての情報を含む。任意選択的に、制御要求はさらに、第2アプリケーションの関連情報(例えば、アプリケーション名及びアプリケーション機能情報)を含み得る。
【0114】
第2電子デバイスの制御要求をリモートシステムサービスによって受信した後、第1電子デバイスは、第2アプリケーションとの連携した制御(すなわち、統合/組み合わせ)のためにローカルアプリケーションを選択するかどうかをユーザに促し、制御要求における様々な情報を第1電子デバイスのアクティビティマネージャサービス(AMS)に送信し得る。ユーザが第1電子デバイスを操作することで、連携される第1アプリケーションを選択した後、第1電子デバイスは、第1アプリケーションのアイコン1(すなわち、Icon1)及びインテント1(すなわち、Intent1)を、ユーザの操作に応じてアクティビティマネージャサービスに送信する。例えば、アイコン1及びインテント1は、ブロードキャスト又はソケットなどのネットワーク通信方式で送信されてもよい。第1電子デバイスのアクティビティマネージャサービスは、第1アプリケーションの受信されたアイコン1及びインテント1、第2アプリケーションの受信されたアイコン2及びインテント2、及び第2電子デバイスの受信された情報を、第1電子デバイスのデスクトップ管理機能(例えば、Huaweiランチャ(Huawei Launcher))に送信する。例えば、前述の情報は、ブロードキャスト又はソケットなどのネットワーク通信方式でデスクトップ管理機能に送信されてもよい。デスクトップ管理機能は、受信された情報に基づいて、制御アプリケーション及び制御アイコンを生成する。図面に示すように、このプロセスは、具体的には、以下の段階を含む。
【0115】
1.デスクトップ管理機能は、第1アプリケーションのインテント1及び第2アプリケーションのインテント2に基づいて制御アプリケーションを生成する。
【0116】
2.デスクトップ管理機能は、第1アプリケーションのアイコン1及び第2アプリケーションのアイコン2に基づいてアイコンを新しく描画(例えば、組み合わせ方式で描画)して、制御アイコンを生成する。いくつかの他の実施形態において、デスクトップ管理機能はさらに、ユーザによって選択された予め設定された画像又は画像に基づいて制御アイコンを生成し得る。
【0117】
3、デスクトップ管理機能は、制御アイコンを制御アプリケーションと関連付け(すなわち、制御アイコンをインテント1及びインテント2と関連付け)、制御アイコンを第2電子デバイスについての情報と関連付ける。
【0118】
制御アイコンは実際に、新たなタイプのショートカットアイコンであり、単一アイコンは、少なくとも1つの電子デバイス上でアプリケーションのインテントと関連付けられ得ることに留意されたい。
【0119】
最終的に、第1電子デバイスは、生成された制御アプリケーション及び生成された制御アイコンをデータベースに格納し得る。
【0120】
図4Bに示すように、制御アプリケーションを開始するプロセスは、以下の段階を含む。
【0121】
ユーザが第1電子デバイスの制御アプリケーションを開始することを期待しているとき、ユーザは、第1電子デバイスを操作して、第1電子デバイスの制御アイコンをタップする必要がある。
【0122】
第1電子デバイスは、ユーザの操作に応じて、内部アクティビティマネージャサービス(AMS)に、統合アクティビティを開始するように命令する(StartMultiActivity)。第1電子デバイスのアクティビティマネージャサービスは、現在の開始時間が、制御アプリケーションのクロスデバイス開始であることを決定する。したがって、第1電子デバイスのアクティビティマネージャサービスは、制御アプリケーションに関連付けられたインテント(インテント1及びインテント2)に基づいて、インテント1に対応する第1アプリケーションは第1電子デバイス上にあることを決定し、インテント2に対応する第2アプリケーションは第2電子デバイス上にあることを決定する。第1電子デバイスのアクティビティマネージャサービスは、アクティビティを開始すること(StartActivity)によって第1アプリケーションを直接開始して、インテント1に対応するアクションを実装する。加えて、第2電子デバイスの場合、第1電子デバイスはまず、第2電子デバイスへの接続が確立されたかどうかをチェックする。接続が確立されていないことが決定された(第2電子デバイスがオンにされていないことを識別した)場合、第1電子デバイスは、ターンオン信号(例えば、赤外線信号)を第2電子デバイスに送信する。このように、第2電子デバイスがオンになった後、第2電子デバイスは、第1電子デバイスへの接続を自動的に確立する。第1電子デバイスが第2電子デバイスへの接続を確立することを決定したとき、第1電子デバイスは、リモートアクティビティを開始するように内部アクティビティマネージャサービス(AMS)に命令する(StartRemoteActivity)。第1電子デバイスのアクティビティマネージャサービスはリモートシステムサービスを開始し、その結果、第1電子デバイスのリモートシステムサービスは、第2電子デバイスについての情報に基づいて、第2電子デバイスのリモートシステムサービスにインテント2を送信する。
【0123】
インテント2を受信した後、第2電子デバイスのリモートシステムサービスは、内部アクティビティマネージャサービス(AMS)にインテント2を送信する。第2電子デバイスのアクティビティマネージャサービスは、アクティビティを開始すること(StartActivity)によって第2アプリケーションを開始し、インテント2に対応するアクションを実装する。
【0124】
本願のこの実施形態において、第1電子デバイスは、第2電子デバイス上のアプリケーションのインテントに基づいて制御アプリケーションを生成し、ユーザが制御アプリケーションを開始したときに第2電子デバイスにインテントを送信し、その結果、第2電子デバイスは、インテントに対応するアクションを実装し得る。最終的に、クロスデバイスアプリケーション制御が実装され、マルチデバイス連携がさらに実装される。
【0125】
本願のこの実施形態におけるアプリケーションのインテントの記載については、前述のコンテンツにおけるアプリケーションのコマンド情報の用語説明の記載に対して参照が成され得ることに留意されたい。本明細書において詳細について再度説明しない。
【0126】
本願の実施形態は、別の制御方法を提供する。本方法は、
図1に示した複数の電子デバイスを有する適用シナリオに適用され得る。本願のこの実施形態において、第1電子デバイスは、別のデバイスを制御するための電子デバイスとして機能する。第1電子デバイスは、携帯可能且つユーザにとって操作しやすい電子デバイス、例えば、スマートフォン又はウェアラブルデバイスであり得る。被制御電子デバイスとして、第2電子デバイスは様々な電子デバイスであり得る。これは、本願において限定されない。以下では、
図5に示した制御方法のフローチャートを参照して、本方法の具体的なプロセスを詳細に説明する。
【0127】
S501:第1電子デバイスは、第1アプリケーションのコマンド情報を取得する。第1アプリケーションは、第2電子デバイス上にある。第1アプリケーションのコマンド情報は、第1アプリケーションのアクションを実装するために使用される。
【0128】
任意選択的に、第1アプリケーションのコマンド情報は、第1アプリケーションのインテント(Intent)であり得る。
【0129】
異なる具体的なシナリオにおいて、第1電子デバイスは、限定されるものではないが、図面に示した3つの方式で、第1アプリケーションのコマンド情報を取得し得る。以下では、各方式を個別で説明する。
【0130】
方式1:段階S501aにおいて、第1電子デバイスは、第1アプリケーションの、ユーザによって入力された又は別のデバイスから来たコマンド情報を受信する。
【0131】
方式2:ユーザは、第2電子デバイスを操作し、連携して制御される第1アプリケーションを第2電子デバイスのアプリケーションから選択し、連携して制御する第1電子デバイスを選択する。次に、段階S501bにおいて、第2電子デバイスは、第1電子デバイスに制御要求を送信する。制御要求は、第1アプリケーションのコマンド情報を保持する。第1電子デバイスは、第2電子デバイスから第1アプリケーションのコマンド情報を受信する。
【0132】
[方式3]
【0133】
実装において、ユーザは第1電子デバイスを操作し、連携して制御される第2電子デバイスを第1電子デバイスから選択し、連携して制御される第1アプリケーションを選択する。次に、段階S501c1において、第1電子デバイスは、第2電子デバイスに制御要求を送信する。制御要求は、第1アプリケーションについての情報を保持する。したがって、第2電子デバイスは、制御要求に基づいて第1アプリケーションのコマンド情報をフィードバックする。制御要求を受信した後、第2電子デバイスは、第1電子デバイスが第1アプリケーションに対して連携した制御を実行する必要があるかどうかをユーザに促す。連携した制御が第1アプリケーションに対して実行される必要があることを示すオプションをユーザが選択したとき、段階S501c2において、第2電子デバイスは、制御要求に基づいて第1電子デバイスの制御応答を送信する。制御応答は、第1アプリケーションのコマンド情報を含む。
【0134】
別の実装において、ユーザは第1電子デバイスを操作し、連携して制御される第2電子デバイスを第1電子デバイスから選択する。次に、段階S501c1において、第1電子デバイスは第2電子デバイスに制御要求を送信し、その結果、第2電子デバイスは、制御要求に基づいて、連携して制御される第1アプリケーションのコマンド情報をフィードバックする。制御要求を受信した後、第2電子デバイスは、連携して制御されるアプリケーションが選択される必要があることをユーザに促す。その後、ユーザは第2電子デバイスを操作し、連携して制御される第1アプリケーションを第2電子デバイスのアプリケーションから選択する。第1電子デバイスは、第1電子デバイスに制御応答を送信する。制御応答は、第1アプリケーションのコマンド情報を含む。
【0135】
方式2及び方式3の両方が、第2電子デバイスが第1アプリケーションのコマンド情報を第1電子デバイスに送信することであるということが前述の説明から分かり得る。したがって、任意選択的に、方式2及び方式3において、第2電子デバイスはさらに、第1アプリケーションのアイコン又は第2電子デバイスについての情報を第1電子デバイスに送信し得る。第1アプリケーションのアイコンは、続いて制御アプリケーションの制御アイコンを生成するために、第1電子デバイスによって使用される。第2電子デバイスについての情報は、第1アプリケーションが第2電子デバイス上にあることを示し得る。
【0136】
第2電子デバイスが第1アプリケーションのコマンド情報を第1電子デバイスに送信する具体的なプロセス(例えば、段階S501b又は段階S501c2)の場合、
図4Aにおける第2電子デバイスがアイコン2及びインテント2を送信するプロセスに対して参照が成され得ることに留意されたい。本明細書において詳細について再度説明しない。
【0137】
S502:第1電子デバイスは、第1アプリケーションのコマンド情報に基づいて、制御アプリケーションを生成する。制御アプリケーションは、第2電子デバイスが第1アプリケーションのアクションを実装することを可能にするために使用される。
【0138】
第1実装において、第1電子デバイスは、第1アプリケーションのコマンド情報だけに基づいて、制御アプリケーションを生成する。この場合、制御アプリケーションは、第2電子デバイス上の第1アプリケーションを連携して制御するために、第1電子デバイスによって使用される。
【0139】
第2実装において、段階S501で第1アプリケーションのコマンド情報を受信した後、第1電子デバイスは、第1アプリケーションとの連携した制御のためにローカルアプリケーションを選択するかどうかをユーザに促し得る。ローカルアプリケーションに対して連携した制御が実行される必要がないことを示すオプションをユーザが選択した場合、第1電子デバイスは、第1アプリケーションのコマンド情報だけに基づいて、制御アプリケーションを生成する。第1アプリケーションとの連携した制御のためにユーザがローカルの第2アプリケーションを選択した場合、第1電子デバイスは、第2アプリケーションのコマンド情報及び第1アプリケーションのコマンド情報に基づいて、制御アプリケーションを生成する。
【0140】
この場合、制御アプリケーションは、第2電子デバイスが第1アプリケーションのアクションを実装することを可能にするだけでなく、第1電子デバイスが第2アプリケーションのアクションを実装することもまた可能にし得る。
【0141】
第3実装において、第1電子デバイスはさらに、別の電子デバイス上の第3アプリケーションのコマンド情報を取得し得る(第3電子デバイスは、以下の説明の例として使用される)。
【0142】
任意選択的に、第1実装と同様に、第1電子デバイスは、第1アプリケーションのコマンド情報及び第3アプリケーションのコマンド情報に基づいて、制御アプリケーションを生成し得る。
この場合、制御アプリケーションは、第2電子デバイスが第1アプリケーションのアクションを実装することを可能にするだけでなく、第3電子デバイスが第3アプリケーションのアクションを実装することもまた可能にし得る。
【0143】
任意選択的に、第2実装と同様に、第1電子デバイスはさらに、第1アプリケーション及び第3アプリケーションとの連携した制御のためにローカルアプリケーションを選択するかどうかをユーザに促し得る。第1アプリケーション及び第3アプリケーションとの連携した制御のためにユーザがローカルの第2アプリケーションを選択した場合、第1電子デバイスは、第1アプリケーションのコマンド情報、第2アプリケーションのコマンド情報、及び第3アプリケーションのコマンド情報に基づいて、制御アプリケーションを生成する。この場合、制御アプリケーションは、3つの電子デバイスが、当該3つの電子デバイスのアプリケーションのアクションを個別で実装することを可能にし得る。ローカルアプリケーションに対して連携した制御が実行される必要がないことを示すオプションをユーザが選択した場合、第1電子デバイスは、第1アプリケーションのコマンド情報及び第3アプリケーションのコマンド情報に基づいて、制御アプリケーションを生成する。
この場合、制御アプリケーションは、第2電子デバイスが第1アプリケーションのアクションを実装することを可能にするだけでなく、第3電子デバイスが第3アプリケーションのアクションを実装することもまた可能にし得る。
【0144】
本願のこの実施形態において、連携して制御される必要がある電子デバイスの数は限定されず、連携して制御される必要があるアプリケーションの数は限定されないことに留意されたい。
【0145】
加えて、第1電子デバイスが段階S502を実行して制御アプリケーションを生成するプロセスにおいて、第1電子デバイスはさらに、制御アプリケーションに対応する制御アイコンを生成し、第1電子デバイスのディスプレイ上に当該制御アイコンを表示し得る。このように、ユーザは、制御アプリケーションが生成されたことを直感的に見ることができ、ユーザは、制御アイコンをタップすることによって、制御アプリケーションを開始することができる。
【0146】
実装において、第1電子デバイスは、予め設定された画像又はユーザによって選択された画像に基づいて、制御アイコンを生成し得る。
【0147】
別の実装において、第1電子デバイスはさらに、連携して制御される各アプリケーションのアイコンを取得し、それらのアイコンに基づいてアイコンを新しく描画する(例えば、統合方式で描画する、組み合わせ方式で描画する、又はレイヤ方式で描画する)ことで、制御アイコンを生成し得る。例えば、第1電子デバイスは、別の電子デバイスのアプリケーションのコマンド情報を取得する方式と同じ方式で、対応するアプリケーションのアイコンを取得し得る。具体的なプロセスについては、段階S501における第1アプリケーションのコマンド情報を取得する具体的な説明を参照されたい。本明細書において詳細について再度説明しない。
【0148】
制御アイコンは実際に、新たなタイプのショートカットアイコンであり、単一アイコンは、少なくとも1つの電子デバイス上のアプリケーションのコマンド情報に対応し得ることに留意されたい。制御アプリケーションが開始されたときに、応答されたコマンド情報を、第1電子デバイスが続いて別の電子デバイスに送信できるようにするために、制御アイコンを生成するときに、第1電子デバイスはさらに、当該制御アイコンを別の電子デバイスについての情報に関連付け得る。
【0149】
例えば、第1電子デバイスはまた、別の電子デバイスアプリケーションのコマンド情報を取得する方式と同じ方式で、対応する電子デバイスについての情報を取得し得る。具体的なプロセスについては、段階S501における第1アプリケーションのコマンド情報を取得する具体的な説明を参照されたい。本明細書において詳細について再度説明しない。
【0150】
S503:第1電子デバイスは制御アプリケーションの開始コマンドを取得し、次に、第1アプリケーションのコマンド情報を第2電子デバイスに送信し、その結果、第2電子デバイスは、第1アプリケーションの受信されたコマンド情報に基づいて、第1アプリケーションのアクションを実行する。
【0151】
いくつかの実装において、第1電子デバイスがさらに、ローカルの第2アプリケーションのコマンド情報に基づいて制御アプリケーションを生成するとともに段階S503を実行するとき、第1電子デバイスはさらに、第2アプリケーションのコマンド情報に基づいて、第2アプリケーションのアクションを実行する必要がある。言い換えれば、第1電子デバイスは、第2アプリケーションのコマンド情報に基づいて第2アプリケーションを開始し、第2アプリケーションによって第2アプリケーションのアクションを実行する。
【0152】
いくつかの他の実装において、第1電子デバイスがさらに、第3電子デバイス上の第3アプリケーションのコマンド情報に基づいて制御アプリケーションを生成するとともに、段階S503を実行するとき、第1電子デバイスはさらに、第3アプリケーションの受信されたコマンド情報に基づいて第3アプリケーションのアクションを第3電子デバイスが実行するように、第3電子デバイスに第3アプリケーションのコマンド情報を送信する必要がある。
【0153】
第1電子デバイスがさらに、制御アプリケーションを生成するプロセスにおいて制御アイコンを別の電子デバイスについての情報と関連付けるとき、第1電子デバイスは、制御アイコンに関連付けられた第2電子デバイスについての情報に基づいて、第1アプリケーションのコマンド情報を第2電子デバイスに送信し得;第1電子デバイスは、制御アイコンに関連付けられた第3電子デバイスについての情報に基づいて、第3アプリケーションのコマンド情報を第3電子デバイスに送信し得ることに留意されたい。
【0154】
本願のこの実施形態において、第1電子デバイスは、以下の方式で制御アプリケーションの開始コマンドを取得し得る。
【0155】
方式1:第1電子デバイスは、制御アプリケーションに対応する制御アイコン上でユーザによって実行される操作を検出し、当該操作に応答して、第1電子デバイスは、制御アプリケーションの開始コマンドを生成する。
【0156】
方式2:第1電子デバイスは、音声アシスタントアプリケーションによってユーザの音声命令を受信し、第1電子デバイスは、制御アプリケーションの且つ音声アシスタントアプリケーションが音声命令を解析した後に取得された開始コマンドを取得する。
【0157】
第1電子デバイスの音声アシスタントアプリケーションによって管理されたアプリケーションは一般に、第1電子デバイス上のアプリケーションであり、管理されたアプリケーションの数は制限されていることに留意されたい。したがって、第1電子デバイスの音声アシスタントが別の電子デバイス上のアプリケーション(例えば、第1アプリケーション)を管理できるようにするために、第1電子デバイスが段階S503を実行する前に、第1電子デバイスはさらに、音声アシスタントアプリケーションによって管理されたアプリケーションリストに、第1アプリケーションを追加し得る(任意選択的に、さらに、管理された電子デバイス、すなわち第2電子デバイスを追加し得る)。
【0158】
この場合、第1電子デバイスは、音声アシスタントアプリケーションのリストに第1アプリケーションを追加した後、第2電子デバイスに制御要求を送信して、その結果、第2電子デバイスは、制御要求に基づいて第1アプリケーションのコマンド情報をフィードバックし得る。具体的なプロセスについては、段階S501における方式3の説明を参照されたい。本明細書において詳細について再度説明しない。
【0159】
加えて、対応するアプリケーションのコマンド情報を別の電子デバイスに送信する前に、第1電子デバイスはさらに、別の電子デバイスがオンになったかどうか(第1電子デバイス及び別の電子デバイスの間で接続が確立されたかどうか)を決定し得る。別の電子デバイスがオンにされていない場合、第1電子デバイスはさらに、ターンオン信号(例えば、赤外線信号)を別の電子デバイスに送信し得る。第2電子デバイスは依然として例として使用される。第1電子デバイスが第1アプリケーションのコマンド情報を第2電子デバイスに送信する前に、本方法はさらに、以下の段階を含む。
【0160】
第2電子デバイスへの接続が確立されていないと決定されているとき、第1電子デバイスはターンオン信号を第2電子デバイスに送信し;当該第2電子デバイスがオンになった後に第2電子デバイスへの接続を確立する。
【0161】
この段階において、第1電子デバイスはさらに、別の電子デバイスを自動的に開始し、別の電子デバイスへの接続を確立し、それにより、連携した制御プロセスにおけるユーザの操作を低減し、ユーザエクスペリエンスを改善し得る。
【0162】
加えて、本願のこの実施形態において、第1電子デバイスが段階S501において第1アプリケーションのコマンド情報及び第2電子デバイスについての情報を取得し、さらには第2電子デバイスに関連付けられた第4電子デバイスについての情報(第2電子デバイスが第1アプリケーションのアクションを実装するときに必要であり得る第4電子デバイスの協力を示す)を取得する場合、第1アプリケーションのコマンド情報を第2電子デバイスに送信する前に、第1電子デバイスはさらに、第4電子デバイスへの接続を確立する、すなわち、以下の段階を実行する必要がある。
【0163】
第4電子デバイスへの接続が確立されていないと決定されているとき、第1電子デバイスはターンオン信号を第4電子デバイスに送信し;当該第4電子デバイスがオンになった後に第4電子デバイスへの接続を確立する。このように、第1電子デバイスはさらに、第2電子デバイスに関連付けられた第4電子デバイスの開始を制御し得る。したがって、接続は、オン状態の第4電子デバイス及びオン状態の第2電子デバイスの間で自動的に確立されることで、第1アプリケーションのアクションを実装するべく第2電子デバイスが第4電子デバイスと協働し得ることを保証し得る。
【0164】
S504:第2電子デバイスは第1アプリケーションの受信されたコマンド情報に基づいて第1アプリケーションを開始し、第1アプリケーションによって第1アプリケーションのアクションを実行する。
【0165】
本願のこの実施形態において、第1電子デバイスが制御アプリケーションを生成した後、ユーザがアプリケーション制御要件又はマルチデバイス連携要件をさらに有する場合、第1電子デバイスはさらに、制御アプリケーションのコマンド情報を第5電子デバイスに送信し得ることにさらに留意されたい。制御アプリケーションのコマンド情報は、制御アプリケーションを開始するために使用される。このように、第5電子デバイスは、制御アプリケーションのコマンド情報に基づいて第5電子デバイス上の新たな制御アプリケーションを生成し得る。第5電子デバイスが新たな制御アプリケーションを生成するプロセスについては、前述の段階における第1電子デバイスが制御アプリケーションを生成するプロセスを参照されたい。詳細はここで説明されない。
【0166】
加えて、本願のこの実施形態において、制御アプリケーションの生成処理及び起動プロセスにおける各電子デバイス内の実行アクションについては、
図4A及び
図4Bにおける説明を参照されたい。本明細書において詳細について再度説明しない。
【0167】
本願の実施形態は、制御方法を提供する。本方法によると、電子デバイスは、別の電子デバイス上のアプリケーションのコマンド情報を取得し得、当該コマンド情報に基づいて制御アプリケーションを生成する。このように、ユーザは、制御アプリケーションを開始して、別の電子デバイスがアプリケーションのアクションを実装することを可能にし得る。明らかに、この方法に基づいて、電子デバイスは、制御アプリケーションを生成することによってクロスデバイスアプリケーション制御機能を実装し、マルチデバイス連携を実装し、ユーザエクスペリエンスを改善し得る。
【0168】
本願のこの実施形態において提供された方法は、様々なアプリケーションシナリオに適用され得る。以下では、いくつかの具体的な事例を参照して、本願のこの実施形態において提供された制御方法を説明する。以下の事例における制御アプリケーションの生成処理及び起動プロセスにおいて、
図4A及び
図4Bにおける説明及び
図5に示した実施形態における説明に対して参照が成され得ることに留意されたい。詳細については以下の事例において再度説明しない。加えて、以下の事例において、任意の2つの電子デバイス間における接続は、様々な無線通信接続、例えば、ローカルエリアネットワーク接続、Wi-Fi接続、ブルートゥース接続、IR接続、NFC接続、及びサイドリンク接続のうちの少なくとも1つであり得る。
【0169】
事例1:適用可能なアプリケーションシナリオは、ユーザがビデオを視聴するためにスマートテレビ上でHuaweiビデオアプリケーションを使用して、ユーザはリモコンとしてスマートフォンを使用することを期待していることである。
【0170】
この事例において、クロスデバイス制御アプリケーションを生成するプロセス(統合アプリケーションとも称され得る)は、以下の段階を含む。
【0171】
ユーザは、連携して制御される(共有又は統合される)アプリケーションとして、スマートテレビのアプリケーションリストインタフェースからHuaweiビデオアプリケーションを選択して、共有されるべき電子デバイスとしてスマートフォンを選択する。スマートテレビは、Huaweiビデオアプリケーションのアイコン及びインテント、及びスマートテレビの識別子を、制御要求によってスマートフォンに送信する。
【0172】
制御要求を受信した後、スマートフォンは、Huaweiビデオアプリケーションとの連携した制御のためにローカルアプリケーションを選択するかどうか(Huaweiビデオアプリケーションと統合又は組み合わされるべきローカルアプリケーションを選択するかどうか)をユーザに尋ねる。ユーザがHuaweiビデオアプリケーションとの連携した制御のためにローカルのスマートリモートアプリケーションを選択した場合、スマートフォンは、Huaweiビデオアプリケーションのインテント及びスマートリモートアプリケーションのインテントに基づいて制御アプリケーションそ生成し、Huaweiビデオアプリケーションのアイコン及びスマートリモートアプリケーションのアイコンに基づいて制御アイコンを生成し;当該制御アイコンを制御アプリケーションと関連付けて、当該制御アイコンをスマートテレビの識別子と関連付ける。
【0173】
加えて、
図6A及び
図6Bを参照すると、この事例において制御アプリケーションを開始するプロセスは、以下の段階を含む。
【0174】
ユーザは、スマートフォンのホーム画面上の制御アプリケーションの制御アイコンをタップする。スマートフォンは、スマートテレビへの接続を検出する。スマートフォンがスマートテレビへの接続を検出しない場合、それは、スマートテレビがオンにされていないことを示す。この場合、スマートフォンは、赤外線リモート制御信号によってスマートテレビをオンにして、スマートテレビへの接続を確立する。
【0175】
スマートフォンは、通常ローカルアプリケーション開始プロセスに従って、スマートリモートアプリケーションを開始する。
【0176】
スマートフォンは、Huaweiビデオアプリケーションのインテントをスマートテレビに送信する。次に、スマートテレビはHuaweiビデオアプリケーションを開始する。
【0177】
このように、ユーザは、スマートフォン上のスマートリモートアプリケーション上で様々な操作を実行し得、スマートフォンは、操作に対応する赤外線リモート制御信号をスマートテレビに送信し、その結果、スマートテレビ上のHuaweiビデオアプリケーションは、赤外線リモート制御信号に基づいて、対応するアクションを実行する。
【0178】
この事例において、ユーザがスマートテレビのリモコンを操作する必要がないとき、スマートフォンの制御アイコンをタップする操作によって、ユーザは、スマートテレビをオンにして、スマートフォン及びスマートテレビ上の対応するアプリケーションをそれぞれ開き得る。次に、ユーザは、スマートフォンをリモコンとして使用してスマートフォン上のスマートリモートアプリケーションを操作することで、スマートテレビ上のHuaweiビデオアプリケーションを使用することによって再生されるプログラムを直接制御し得る。
【0179】
明らかに、この事例において、スマートフォン上のデスクトップアイコンの機能は拡張されている。言い換えれば、複数のデバイスを開始するとともに複数のアプリケーションを開くことの目的は、単一制御アイコンによって達成され得る。加えて、スマートフォン上の制御アプリケーションはスマートテレビの識別子に関連付けられており、その結果、スマートフォンは、スマートテレビをオンにするとともにスマートテレビへの接続を確立するプロセスを、スマートテレビの識別子に基づいて自動的に完了し得る。
【0180】
事例2:使用の適用シナリオは、ユーザがスマートテレビ上のバドミントンモーションセンシングゲームアプリケーションによってゲームをプレイし、ユーザは、スマートフォンがモーション制御器として使用され得ることを期待している(すなわち、他のデータを入力するための入力デバイス)ことである。
【0181】
この事例において、クロスデバイス制御アプリケーションを生成するプロセス(統合アプリケーションとも称され得る)は、以下の段階を含む。
【0182】
ユーザは、連携して制御される(共有又は統合される)アプリケーションとして、スマートテレビのアプリケーションリストインタフェースからバドミントンモーションセンシングゲームアプリケーションを選択(すなわち、入力デバイスに関連付けられる必要があるアプリケーションとしてバドミントンモーションセンシングゲームアプリケーションを選択)し、共有されるべき電子デバイスとしてスマートフォンを選択する。スマートテレビは、バドミントンモーションセンシングゲームアプリケーションのアイコン及びインテント、及びスマートテレビの識別子を、制御要求によってスマートフォンに送信する。
【0183】
制御要求を受信した後、スマートフォンは、バドミントンモーションセンシングゲームアプリケーションとの連携した制御のためにローカルアプリケーションを選択するかどうか(バドミントンモーションセンシングゲームアプリケーションと統合又は組み合わされるべきローカルアプリケーションを選択するかどうか)をユーザに尋ねる。ユーザがバドミントンモーションセンシングゲームアプリケーションとの連携した制御のためにローカルのモーション制御アプリケーションを選択した場合、スマートフォンは、バドミントンモーションセンシングゲームアプリケーションのインテント及びモーション制御アプリケーションのインテントに基づいて制御アプリケーションそ生成し、バドミントンモーションセンシングゲームアプリケーションのアイコン及びモーション制御アプリケーションのアイコンに基づいて制御アイコンを生成し;当該制御アイコンを制御アプリケーションと関連付けて、当該制御アイコンをスマートテレビの識別子と関連付ける。
【0184】
加えて、
図7A及び
図7Bを参照すると、この事例において制御アプリケーションを開始するプロセスは、以下の段階を含む。
【0185】
ユーザは、スマートフォンのホーム画面上の制御アプリケーションの制御アイコンをタップする。スマートフォンは、スマートテレビへの接続を検出する。スマートフォンがスマートテレビへの接続を検出しない場合、それは、スマートテレビがオンにされていないことを示す。この場合、スマートフォンは、赤外線リモート制御信号によってスマートテレビをオンにして、スマートテレビへの接続を確立する。
【0186】
スマートフォンは、通常ローカルアプリケーション開始プロセスに従って、モーション制御アプリケーションを開始する。
【0187】
スマートフォンは、バドミントンモーションセンシングゲームアプリケーションのインテントをスマートテレビに送信する。次に、スマートテレビは、バドミントンモーションセンシングゲームアプリケーションを開始する。
【0188】
このように、ユーザは、スマートフォンをモーション制御器として使用し得る。ユーザがスマートフォンの位置を変更すると、スマートフォンは、モーションセンシング入力データをスマートテレビに送信し、その結果、スマートテレビ上のバドミントンモーションセンシングゲームアプリケーションは、受信されたモーションセンシング入力データに対応するアクションを実装し得る。スマートフォンは、確立された接続(例えば、ブルートゥース接続又はWi-Fi接続)を介してモーションセンシング入力データをスマートテレビに送信してもよく、又は、スマートフォンは、スマートテレビへの新たな接続を確立して、モーションセンシング入力データを送信する。
【0189】
この事例において、ユーザがゲームパッドを必要としないとき、スマートフォン上の制御アイコンをタップする操作によって、ユーザは、スマートテレビをオンにして、スマートテレビ上のバドミントンモーションセンシングゲームアプリケーションを開き得る。次に、ユーザは、スマートフォンをモーション制御器又はゲームパッドとして使用し、スマートフォン上のバドミントンモーションセンシングゲームアプリケーションにおけるゲームオブジェクトを制御し得る。
【0190】
明らかに、この事例において、スマートフォン上のデスクトップアイコンの機能は拡張されている。言い換えれば、複数のデバイスを開始するとともに複数のアプリケーションを開くことの目的は、単一制御アイコンによって達成され得る。加えて、スマートフォン上の制御アプリケーションはスマートテレビの識別子に関連付けられており、その結果、スマートフォンは、スマートテレビをオンにするとともにスマートテレビへの接続を確立するプロセスを、スマートテレビの識別子に基づいて自動的に完了し得る。
【0191】
事例3:適用可能なアプリケーションシナリオは、ユーザがスマートテレビ上のWeSingアプリケーションを使用して歌い、ユーザがスマートフォンをマイクとして使用すること及びスマートスピーカによってオーディオを再生することを期待することである。
【0192】
この事例において、クロスデバイス制御アプリケーションを生成するプロセス(統合アプリケーションとも称され得る)は、以下の段階を含む。
【0193】
ユーザは、連携して制御される(共有又は統合される)アプリケーションとして、スマートテレビのアプリケーションリストインタフェースからWeSingアプリケーションを選択して、共有されるべき電子デバイスとしてスマートフォンを選択し、関連付けられたデバイスとしてスマートスピーカを選択する。スマートテレビは、WeSingアプリケーションのアイコン及びインテント、スマートテレビの識別子、及びスマートスピーカの識別子を、制御要求によってスマートフォンに送信する。
【0194】
制御要求を受信した後、スマートフォンは、WeSingアプリケーションとの連携した制御のためにローカルアプリケーションを選択するかどうか(WeSingアプリケーションと統合又は組み合わされるべきローカルアプリケーションを選択するかどうか)をユーザに尋ねる。ユーザがWeSingアプリケーションとの連携した制御のためにローカルのマイクアプリケーションを選択した場合、スマートフォンは、WeSingアプリケーションのインテント及びマイクアプリケーションのインテントに基づいて制御アプリケーションそ生成し、WeSingアプリケーションのアイコン及びマイクアプリケーションのアイコンに基づいて制御アイコンを生成し;当該制御アイコンを制御アプリケーションと関連付けて、当該制御アイコンをスマートテレビの識別子及びスマートスピーカの識別子と関連付ける。
【0195】
加えて、
図8A、
図8B及び
図8Cを参照すると、この事例において制御アプリケーションを開始するプロセスは、以下の段階を含む。
【0196】
ユーザは、スマートフォンのホーム画面上の制御アプリケーションの制御アイコンをタップする。スマートフォンは、スマートテレビへの接続及びスマートスピーカへの接続を個別で検出する。スマートフォンがスマートテレビへの接続を検出しない場合、それは、スマートテレビがオンにされていないことを示す。この場合、スマートフォンは、赤外線リモート制御信号によってスマートテレビをオンにして、スマートテレビへの接続を確立する。同様に、スマートフォンがスマートスピーカへの接続を検出しない場合、それはスマートスピーカがオンにされていないことを示す。この場合、スマートフォンは、赤外線リモート制御信号によってスマートスピーカをオンにして、スマートスピーカへの接続を確立する。このように、スマートスピーカ及びスマートテレビの両方がオンになっているとき、スマートスピーカ及びスマートテレビの間の接続が確立され得る。
【0197】
スマートフォンは、通常ローカルアプリケーション開始プロセスに従って、マイクアプリケーションを開始する。
【0198】
スマートフォンは、WeSingアプリケーションのインテントをスマートテレビに送信する。次に、スマートテレビはWeSingアプリケーションを開始する。
【0199】
このように、スマートフォン上のマイクアプリケーションによって、ユーザは、スマートテレビのマイクとしてスマートフォンを使用して、ユーザの音声データを収集し、スマートフォンはスマートテレビに当該音声データを送信し、その結果、スマートテレビ上のWeSingアプリケーションは、音声データを処理し、さらにはオーディオデータを生成し得る。スマートテレビはさらに、当該オーディオデータをスマートスピーカに送信し、その結果、スマートスピーカはオーディオデータを出力し得る。
【0200】
スマートフォンは、WeSingアプリケーションのインテント又は音声データをスマートテレビへの接続(例えば、ブルートゥース接続)によってスマートテレビに送信し得、スマートテレビはまた、スマートスピーカへの接続(例えば、ブルートゥース接続)によって、オーディオデータをスマートスピーカに送信し得る。
【0201】
この事例において、ユーザがスマートテレビのリモコンを操作する必要がないとき、スマートフォンの制御アイコンをタップする操作によって、ユーザは、スマートテレビ及びスマートスピーカをオンにして、スマートフォン及びスマートテレビ上の対応するアプリケーションをそれぞれ開き得る。次に、ユーザは、スマートテレビのマイクとしてスマートフォンを使用し、音声データを収集し得る。加えて、スマートテレビはさらに、スマートスピーカによってオーディオデータを再生し、それにより、ユーザエクスペリエンスを著しく改善し得る。
【0202】
明らかに、この事例において、スマートフォン上のデスクトップアイコンの機能は拡張されている。言い換えれば、複数のデバイスを開始するとともに複数のアプリケーションを開くことの目的は、単一制御アイコンによって達成され得る。加えて、スマートフォン上の制御アプリケーションはスマートテレビの識別子及びスマートスピーカの識別子に関連付けられており、その結果、スマートフォンは、スマートテレビをオンにするとともにスマートテレビへの接続を確立するプロセスを、スマートテレビの識別子に基づいて自動的に完了し、スマートスピーカの識別子に基づいてスマートスピーカをオンにすることを自動的に完了し得る。
【0203】
事例4:適用可能なアプリケーションシナリオは、ユーザが、スマートフォン上の音声アシスタントアプリケーションを使用して、スマートテレビ上のHuaweiビデオアプリケーションを連携して制御し、スマートスピーカを使用してオーディオを再生することを期待することである。
【0204】
この事例において、スマートフォンがクロスデバイス制御アプリケーションを生成するプロセスは、以下の段階を含む。
【0205】
ユーザは、スマートフォン上の音声アシスタントアプリケーションによって管理されている電子デバイスリストにスマートテレビを追加する(すなわち、スマートテレビは、連携して制御される電子デバイスである)。スマートフォンは、スマートテレビに制御要求を送信する。
【0206】
制御要求を受信した後、スマートテレビは、連携して制御されるアプリケーションを選択するようにユーザを促す。次に、ユーザはスマートテレビを操作して、連携して制御されるアプリケーションとしてローカルのHuaweiビデオアプリケーションを選択して、アプリケーションに関連付けられたデバイスとしてスマートスピーカを選択する。スマートテレビは、Huaweiビデオアプリケーションのアイコン及びインテント、スマートテレビの識別子、及びスマートスピーカの識別子を、制御応答によってスマートフォンに送信する。
【0207】
制御要求を受信した後、スマートフォンは、Huaweiビデオアプリケーションのインテントに基づいて制御アプリケーションを生成し、Huaweiビデオアプリケーションのアイコンに基づいて制御アイコンを生成し;生成された制御アイコンを生成された制御アプリケーションと関連付け、当該制御アイコンを、スマートテレビの識別子及びスマートスピーカの識別子と関連付ける。
【0208】
加えて、
図9A及び
図9Bを参照すると、この事例においてスマートフォン上の制御アプリケーション(第2実装における第2制御アプリケーションを含む)を開始するプロセスは、以下の段階を含む。
【0209】
ユーザはスマートフォン上の音声アシスタントアプリケーションを開始し、音声情報「テレビでXXXXを再生する」を入力する。音声アシスタントアプリケーションは当該音声情報を解析して、スマートフォン上の制御アプリケーションを開始して、XXXXを再生するように示すコマンドメッセージを生成する。スマートフォンは、スマートテレビへの接続及びスマートスピーカへの接続を個別で検出する。スマートフォンがスマートテレビへの接続を検出しない場合、それは、スマートテレビがオンにされていないことを示す。この場合、スマートフォンは、赤外線リモート制御信号によってスマートテレビをオンにして、スマートテレビへの接続を確立する。同様に、スマートフォンがスマートスピーカへの接続を検出しない場合、それはスマートスピーカがオンにされていないことを示す。この場合、スマートフォンは、赤外線リモート制御信号によってスマートスピーカをオンにして、スマートスピーカへの接続を確立する。このように、スマートスピーカ及びスマートテレビの両方がオンになっているとき、スマートスピーカ及びスマートテレビの間の接続が確立され得る。
【0210】
スマートテレビへの接続を確立した後、スマートフォンは、Huaweiビデオアプリケーションのインテント、及び音声情報の解析によって取得されたコマンドメッセージを、スマートテレビに送信する。次に、スマートテレビはHuaweiビデオアプリケーションを開始し、コマンドメッセージに従ってXXXXビデオを再生する。加えて、スマートテレビは、XXXXビデオのオーディオデータをスマートスピーカに送信し、その結果、スマートスピーカは、当該オーディオデータを出力する。スマートテレビは、スマートスピーカへの接続(例えば、ブルートゥース接続)によって、オーディオデータをスマートスピーカに送信し得る。
【0211】
事例5:適用可能なアプリケーションシナリオは、事例4におけるそれと同じである。
【0212】
この事例の必要条件は、スマートテレビがユーザのための第1制御アプリケーションを生成することであるということに留意されたい。第1制御アプリケーションは、Huaweiビデオアプリケーションのインテントに基づいて生成され、スマートスピーカに関連付けられている。具体的な生成処理は、以下の通りである:ユーザは、連携して制御されるアプリケーションとして、スマートテレビのアプリケーションリストインタフェースからHuaweiビデオアプリケーションを選択し;関連付けられる電子デバイスとしてスマートスピーカを選択する。スマートテレビはHuaweiビデオアプリケーションのインテントに基づいて第1制御アプリケーションを生成し、Huaweiビデオアプリケーションのアイコンに基づいて第1制御アイコンを生成し;第1制御アイコンを第1制御アプリケーションと関連付け、第1制御アイコンをスマートスピーカの識別子と関連付ける。
【0213】
この事例において、スマートフォンがクロスデバイス制御アプリケーションを生成するプロセスは、以下の段階を含む。
【0214】
ユーザは、スマートフォン上の音声アシスタントアプリケーションによって管理されている電子デバイスリストにスマートテレビを追加する(すなわち、スマートテレビは、連携して制御される電子デバイスである)。スマートフォンは、スマートテレビに制御要求を送信する。
【0215】
制御要求を受信した後、スマートテレビは、連携して制御されるアプリケーションを選択するようにユーザを促す。次に、ユーザはスマートテレビを操作し、連携して制御されるアプリケーションとしてローカルの第1制御アプリケーションを選択する。スマートテレビは、第1制御アプリケーションのアイコン及びインテント(Huaweiビデオアプリケーションを開き、スマートスピーカによって再生を実行するために使用される)、スマートテレビの識別子、及びスマートスピーカの識別子を、制御応答によってスマートフォンに送信する。
【0216】
制御要求を受信した後、スマートフォンは、第1制御アプリケーションのインテントに基づいて第2制御アプリケーションを生成し、第1制御アプリケーションのアイコンに基づいて第2制御アイコンを生成し;生成された第2制御アイコンを第2制御アプリケーションと関連付け、当該第2制御アイコンを、スマートテレビの識別子及びスマートスピーカの識別子と関連付ける。
【0217】
加えて、
図9A及び
図9Bを参照すると、この事例においてスマートフォン上の第2制御アプリケーションを開始するプロセスは、以下の段階を含む。
【0218】
ユーザはスマートフォン上の音声アシスタントアプリケーションを開始し、音声情報「テレビでXXXXを再生する」を入力する。音声アシスタントアプリケーションは当該音声情報を解析して、スマートフォン上の第2制御アプリケーションを開始して、XXXXを再生するように示すコマンドメッセージを生成する。スマートフォンは、スマートテレビへの接続及びスマートスピーカへの接続を個別で検出する。スマートフォンがスマートテレビへの接続を検出しない場合、それは、スマートテレビがオンにされていないことを示す。この場合、スマートフォンは、赤外線リモート制御信号によってスマートテレビをオンにして、スマートテレビへの接続を確立する。同様に、スマートフォンがスマートスピーカへの接続を検出しない場合、それはスマートスピーカがオンにされていないことを示す。この場合、スマートフォンは、赤外線リモート制御信号によってスマートスピーカをオンにして、スマートスピーカへの接続を確立する。このように、スマートスピーカ及びスマートテレビの両方がオンになっているとき、スマートスピーカ及びスマートテレビの間の接続が確立され得る。
【0219】
スマートテレビへの接続を確立した後、スマートフォンは、第1制御アプリケーションのインテント、及び音声情報の解析によって取得されたコマンドメッセージを、スマートテレビに送信する。次に、スマートテレビは、第1制御アプリケーション(ローカルのHuaweiビデオアプリケーションを開くこと及びスマートスピーカへの接続を確立することを含む)を開始し、コマンドメッセージに従ってHuaweiビデオアプリケーションにおいてXXXXビデオを再生する。加えて、スマートテレビは、XXXXビデオのオーディオデータをスマートスピーカに送信し、その結果、スマートスピーカは、当該オーディオデータを出力する。
【0220】
事例4及び事例5において、ユーザは、音声アシスタントアプリケーションによって別の電子デバイス上のアプリケーションを管理し、それにより、音声アシスタントアプリケーションの適用範囲を大きく拡張し得る。加えて、音声アシスタントアプリケーションによって、ユーザの要件を満たすためのすべてのアプリケーション及びすべての電子デバイスは、一度に開始され得る。前述の事例に示すように、ユーザは、スマートフォン側の音声アシスタントアプリケーションを直接操作し、すなわち、スマートテレビ及びスマートスピーカを一度にオンにし、スマートテレビ上でHuaweiビデオアプリケーションを開き、所望のビデオを再生し得る。
【0221】
明らかに、事例4及び事例5は音声アシスタントアプリケーションの機能を拡張させ、その結果、音声アシスタントアプリケーションはさらに、別の電子デバイスを管理し得る。加えて、別の電子デバイスを管理するプロセスにおいて、音声アシスタントアプリケーションは、別の電子デバイスのオン状態又は音声アシスタントの開状態に基づくことなく、制御アプリケーションを開始することによって対応するデバイスを開始し得る。
【0222】
前述の実施形態及び事例に基づいて、本願はさらに、制御装置を提供する。装置は、前述の実施形態又は事例における電子デバイスを使用し得る。以下の例は、以下の説明に使用される:装置は、第1電子デバイスにおいて使用される。装置は、前述の制御方法を実装し得る。
図10を参照すると、制御装置1000は、通信ユニット1001及び処理ユニット1002を含む。以下では、各ユニットの機能を説明する。
【0223】
通信ユニット1001は、データを受信及び送信するように構成されている。例えば、通信ユニット1001は、モバイル通信モジュール及び/又は無線通信モジュールによって実装され得る。
【0224】
処理ユニット1002は、第1アプリケーションのコマンド情報を取得すること、ここで、前記第1アプリケーションは第2電子デバイス上にあり、前記第1アプリケーションの前記コマンド情報は前記第1アプリケーションのアクションを実装するために使用される;及び、前記第1アプリケーションの前記コマンド情報に基づいて制御アプリケーションを生成すること、ここで、前記制御アプリケーションは、前記第2電子デバイスが前記第1アプリケーションの前記アクションを実装することを可能にするために使用される、を行うように構成されている。
【0225】
可能な実装において、前記第1アプリケーションの前記コマンド情報を取得するとき、前記処理ユニット1002は:
前記通信ユニット1001によって前記第2電子デバイスから前記第1アプリケーションの前記コマンド情報を受信すること:又は、前記第1アプリケーションの且つユーザによって入力された前記コマンド情報を取得すること
を行うように具体的に構成されている。
【0226】
可能な実装において、前記処理ユニット1002はさらに、
前記制御アプリケーションに対応する制御アイコンを生成すること;及び
前記第1電子デバイスのディスプレイ上に前記制御アイコンを表示すること
を行うように構成されている。
【0227】
可能な実装において、前記制御アプリケーションに対応する前記制御アイコンを生成するとき、前記処理ユニット1002は、
前記第1アプリケーションに対応するアイコン情報を取得すること;及び
前記第1アプリケーションに対応する前記アイコン情報に基づいて前記制御アイコンを生成すること
を行うように具体的に構成されている。
【0228】
可能な実装において、処理ユニット1002はさらに、
前記制御アプリケーションの開始コマンドを取得すること、及び
次に、前記通信ユニット1001によって前記第2電子デバイスに前記第1アプリケーションの前記コマンド情報を送信すること、その結果、前記第2電子デバイスは、前記第1アプリケーションの前記受信されたコマンド情報に基づいて前記第1アプリケーションの前記アクションを実行する
を行うように構成されている。
【0229】
可能な実装において、前記第1アプリケーションのコマンド情報に基づいて前記制御アプリケーションを生成するとき、前記処理ユニット1002は、
第2アプリケーションのコマンド情報を取得すること、ここで、前記第2アプリケーションは前記第1電子デバイス及び/又は第3電子デバイス上にあり、前記第2アプリケーションの前記コマンド情報は前記第2アプリケーションのアクションを実装するために使用される;及び
前記第1アプリケーションの前記コマンド情報及び前記第2アプリケーションの前記コマンド情報に基づいて前記制御アプリケーションを生成すること、ここで、前記制御アプリケーションはさらに、前記第1電子デバイス及び/又は前記第3電子デバイスが前記第2アプリケーションの前記アクションを実装することを可能にするために使用される、
を行うように具体的に構成されている。
【0230】
前記第2アプリケーションが前記第1電子デバイス上にあるとき、前記処理ユニット1002はさらに:前記制御アプリケーションの前記開始コマンドを取得し、次に、前記第2アプリケーションの前記コマンド情報に基づいて前記第2アプリケーションの前記アクションを実行するように構成されている。
【0231】
前記第2アプリケーションが前記第3電子デバイス上にあるとき、前記処理ユニット1002はさらに:前記制御アプリケーションの前記開始コマンドを取得し、次に、前記通信ユニット1001によって前記第2アプリケーションの前記コマンド情報を前記第3電子デバイスに送信し、その結果、前記第3電子デバイスは、前記第2アプリケーションの前記受信されたコマンド情報に基づいて前記第2アプリケーションの前記アクションを実行するように構成されている。
【0232】
可能な実装において、処理ユニット1002は、以下の方式における制御アプリケーションの開始コマンドを取得するように具体的に構成されている。
【0233】
方式1:制御アプリケーションに対応する制御アイコン上でユーザによって実行される操作を検出し、当該操作に応答して、制御アプリケーションの開始コマンドを生成する。
【0234】
方式2:音声アシスタントアプリケーションによってユーザの音声命令を受信し、制御アプリケーションの且つ音声アシスタントアプリケーションが音声命令を解析した後に取得された開始コマンドを取得する。
【0235】
可能な実装において、前記処理ユニット1002はさらに、
前記制御アプリケーションの且つ前記音声アシスタントアプリケーションが前記音声命令を解析した後に取得された前記開始コマンドを取得する前に、前記音声アシスタントアプリケーションによって管理されているアプリケーションリストに前記第1アプリケーションを追加するように構成されている。
【0236】
可能な実装において、前記処理ユニット1002はさらに、前記第2電子デバイスについての情報を取得するように構成されている。
【0237】
前記通信ユニット1001によって前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信するとき、前記処理ユニット1002は、
前記第2電子デバイスについての前記情報に基づいて、前記通信ユニット1001によって前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信すること
を行うように具体的に構成されている。
【0238】
可能な実装において、前記処理ユニット1002はさらに、
前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する前に、前記第2電子デバイスへの接続が確立されていないことが決定されたとき、前記通信ユニット1001によってターンオン信号を前記第2電子デバイスに送信すること;及び
前記第2電子デバイスへの前記接続を確立すること
を行うように構成されている。
【0239】
可能な実装において、前記処理ユニット1002はさらに、
前記第2電子デバイスに関連付けられた第4電子デバイスについての情報を取得すること;
前記第1アプリケーションの前記コマンド情報を前記第2電子デバイスに送信する前に、前記第4電子デバイスへの接続が確立されていないことが決定されたとき、前記通信ユニット1001によってターンオン信号を前記第4電子デバイスに送信すること;及び
前記第4電子デバイスへの前記接続を確立すること
を行うように構成されている。
【0240】
可能な実装において、前記処理ユニット1002はさらに、前記第1アプリケーションの前記コマンド情報を取得する前に、前記通信ユニット1001によって第1制御要求を前記第2電子デバイスに送信し、その結果、前記第2電子デバイスは、前記第1制御要求に基づいて前記第1アプリケーションの前記コマンド情報をフィードバックするように構成されているか、又は、前記第1アプリケーションの前記コマンド情報を取得するとき、前記処理ユニット1002は、前記通信ユニット1001によって前記第2電子デバイスから第2制御要求を受信するように具体的に構成されており、ここで前記第2制御要求は前記第1アプリケーションの前記コマンド情報を含む。
【0241】
可能な実装において、前記処理ユニット1002はさらに、
前記制御アプリケーションが生成された後、前記通信ユニット1001によって前記制御アプリケーションの前記コマンド情報を第5電子デバイスに送信すること、ここで、前記制御アプリケーションの前記コマンド情報は、前記制御アプリケーションを開始するために使用される
を行うように構成されている。
【0242】
本願の実施形態において、モジュールへの分割は一例であり、単なる論理機能分割であることに留意されたい。実際の実装では、別の分割方式が存在し得る。加えて、本願の実施形態における機能ユニットは、1つの処理ユニットに統合され得、又は、物理的に単独で存在し得、又は、2つ又はより多くのユニットが1つのユニットに統合され得る。統合ユニットは、ハードウェアの形態で実装されてもよいし、ソフトウェア機能ユニットの形態で実装されてもよい。
【0243】
統合ユニットがソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用される場合、統合ユニットは、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本願の技術的解決手段は、本質的に、又は従来の技術に寄与する部分が、又は技術的解決手段のすべて又は一部が、ソフトウェア製品の形態で実装され得る。ソフトウェア製品は、記憶媒体に格納され、コンピュータデバイス(パーソナルコンピュータ、サーバ又はネットワークデバイスであってよい)、又は、プロセッサ(processor)に、本願の実施形態において説明された方法の段階のすべて又は一部を実行するよう命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリメモリ(read-only memory:ROM)、ランダムアクセスメモリ(random access memory:RAM)、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶し得る任意の媒体を含む。
【0244】
前述の実施形態及び事例に基づいて、本願の実施形態はさらに、電子デバイスを提供する。電子デバイスは、前述の実施形態に提供された制御方法を実装するように構成されており、
図10に示した制御装置1000の機能を有している。
図11に示すように、電子デバイス1100は、送受信機1101、プロセッサ1102、メモリ1103、及びディスプレイ1104を含む。
【0245】
送受信機1101、プロセッサ1102、メモリ1103、及びディスプレイ1104は、互いに接続されている。任意選択的に、送受信機1101、プロセッサ1102、メモリ1103、及びディスプレイ1104は、バスによって互いに接続されている。バスはペリフェラルコンポーネント相互接続(peripheral component interconnect、PCI)バス、拡張型業界標準アーキテクチャ(extended industry standard architecture、EISA)バス、などであり得る。バスは、アドレスバス、データバス、及び制御バス等へと分類されてよい。表現を容易に行うために、
図11においてはバスを表すのに1つの太線のみが用いられているが、このことは、1つのバスのみ、又は1つのタイプのバスのみがあることを意味しない。
【0246】
送受信機1101は、データを受信及び送信して、別のデバイスとの通信を実装するように構成されている。例えば、通信ユニット1001は、モバイル通信モジュール及び/又は無線通信モジュールによって実装され得る。具体的には、送受信機1101は、無線周波数装置及びアンテナによって実装され得る。
【0247】
プロセッサ1102は、前述の実施形態又は事例に提供された制御方法を実装するように構成されている。具体的なプロセスについては、前述の実施形態又は事例における説明を参照されたい。本明細書において詳細について再度説明しない。
【0248】
ディスプレイ1104は、インタフェースを表示するように構成されている。
【0249】
プロセッサ1102は、中央処理装置(central processing unit,CPU)、ネットワークプロセッサ(network processor,NP)、CPU及びNPの組み合わせ、又は同様のものであり得る。プロセッサ1102はハードウェアチップを更に含み得る。ハードウェアチップは、特定用途向け集積回路(application-specific integrated circuit、ASIC)、プログラマブル論理デバイス(programmable logic device、PLD)、又はそれらの組み合わせであってよい。PLDは、コンプレックスプログラマブルロジックデバイス(complex programmable logic device,CPLD)、フィールドプログラマブルロジックゲートアレイ(field-programmable gate array,FPGA)、汎用アレイロジック(generic array logic,GAL)、又はそれらの任意の組み合わせであり得る。プロセッサ1102は、ハードウェアによって、又は、対応するソフトウェアをハードウェアによって実行することによって確実に、前述の機能を実装し得る。
【0250】
メモリ1103は、プログラム命令、及び同様のものを格納するように構成されている。具体的には、プログラム命令は、プログラムコードを含み得る。プログラムコードは、コンピュータ操作命令を含む。メモリ1103は、ランダムアクセスメモリ(random access memory、RAM)を含み得、又は、さらに、少なくとも1つのディスクメモリなどの不揮発性メモリ(non-volatile memory)を含み得る。プロセッサ1102は、メモリ1103に格納されたプログラム命令を実行して、前述の機能を実装し、それにより、前述の実施形態に提供された方法を実装する。
【0251】
前述の実施形態に基づいて、本願の実施形態はさらに、コンピュータプログラムを提供する。コンピュータプログラムがコンピュータ上で実行されたとき、上記コンピュータは、前述の実施形態に提供された方法を実行することが可能になる。
【0252】
前述の実施形態に基づいて、本願の実施形態はさらに、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、コンピュータプログラムを記憶する。コンピュータプログラムがコンピュータ上で実行されたとき、上記コンピュータは、前述の実施形態に提供された方法を実行することが可能になる。
【0253】
記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。以下に一例を提供するが、限定を課すものではない。コンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、若しくは別の光ディスクストレージ若しくはディスクストレージ媒体、若しくは別の磁気ストレージデバイス、又は望まれるプログラムコードを命令の形態若しくはデータ構造の形態で保持若しくは格納可能で、コンピュータによってアクセス可能な任意の他の媒体を含んでよい。
【0254】
前述の実施形態に基づいて、本願の実施形態は更にチップを提供する。チップは、メモリに格納されたコンピュータプログラムを読み出して、前述の実施形態に提供された方法を実装するように構成されている。
【0255】
前述の実施形態に基づいて、本願の実施形態は、チップシステムを提供する。チップシステムは、前述の実施形態において通信デバイスの関連機能を実装する際にコンピュータ装置をサポートするように構成されたプロセッサを含む。可能な設計において、チップシステムはメモリをさらに含む。メモリは、コンピュータ装置に必要なプログラム及びデータを格納するように構成されている。チップシステムは、チップを含み得る、又は、チップ及び別のディスクリートコンポーネントを含み得る。
【0256】
結論として、本願の実施形態は、制御方法及び装置、及び電子デバイスを提供する。この解決手段に基づいて、電子デバイスは、別の電子デバイス上のアプリケーションのコマンド情報を取得し得、当該コマンド情報に基づいて制御アプリケーションを生成する。このように、ユーザは、制御アプリケーションを開始して、別の電子デバイスがアプリケーションのアクションを実装することを可能にし得る。明らかに、この方法に基づいて、電子デバイスは、制御アプリケーションを生成することによってクロスデバイスアプリケーション制御機能を実装し、マルチデバイス連携を実装し、ユーザエクスペリエンスを改善し得る。
【0257】
当業者であれば、本願の実施形態が、方法、システム又はコンピュータプログラム製品として提供され得ることを理解するはずである。したがって、本願は、ハードウェアのみの一実施形態、ソフトウェアのみの一実施形態、又はソフトウェアとハードウェアとを組み合わせた一実施形態の形式を用いてよい。さらに、本願は、コンピュータが使用可能なプログラムコードを含む1つ又は複数のコンピュータが使用可能な記憶媒体(限定されないが、ディスクメモリ、CD-ROM、及び光メモリなどを含む)に実装されるコンピュータプログラム製品の形態を用いてもよい。
【0258】
本願は、本願による方法、デバイス(システム)、及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して記載されている。フローチャート及び/又はブロック図における各プロセス及び/又は各ブロックならびにフローチャート及び/又はブロック図におけるプロセス及び/又はブロックの組み合わせを実装するためにコンピュータプログラム命令が用いられてよいことを理解されたい。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は、任意の他のプログラム可能なデータ処理デバイスのプロセッサに提供することで機械をもたらしてよい。その結果、コンピュータ、又は、任意の他のプログラム可能なデータ処理デバイスのプロセッサにより実行される命令は、フローチャートの1つ又は複数のプロセス、及び/又は、ブロック図の1つ又は複数のブロックにおける特定の機能を実装するための装置をもたらす。
【0259】
これらのコンピュータプログラム命令が、特定の方式で動作するようコンピュータ又は任意の他のプログラマブルデータ処理デバイスに命令できるコンピュータ可読メモリに記憶され得ることから、コンピュータ可読メモリに記憶される命令は、命令装置を含むアーチファクトをもたらす。命令装置は、フローチャートの1又は複数のプロセス、及び/又は、ブロック図の1又は複数のブロックにおける特定の機能を実装する。
【0260】
コンピュータプログラム命令は、コンピュータ又は別のプログラマブルデータ処理デバイス上に代替的にロードされ得、その結果、一連の操作及び段階がコンピュータ又は別のプログラム可能型デバイス上で実行され、その結果、コンピュータ実装処理が生成される。したがって、コンピュータ又は別のプログラム可能なデバイスで実行される命令は、フローチャートの1又は複数のプロセス及び/又はブロック図の1又は複数のブロックにおける特定の機能を実装するための段階を提供する。
【0261】
当業者にとっては、本願の範囲から逸脱することなく、本願に対する様々な修正及び変形が成され得ることが明らかである。このように、本願は、以下の特許請求の範囲及びそれらの同等な技術によって定義された保護の範囲にそれらが含まれる限り、本願のそれらの修正及び変形を網羅することを意図している。