特開 2022-126793 端末の制御方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022126793

(43)【公開日】2022-08-30

(54)【発明の名称】端末の制御方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム

(51)【国際特許分類】

   G06F 3/0488 20220101AFI20220823BHJP

   G06F 3/14 20060101ALI20220823BHJP

   G09G 5/00 20060101ALI20220823BHJP

【ＦＩ】

G06F3/0488

G06F3/14 310A

G09G5/00 550C

G09G5/00 555D

G09G5/00 510V

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2022100557

(22)【出願日】2022-06-22

(31)【優先権主張番号】202110716053.3

(32)【優先日】2021-06-25

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＨＤＭＩ

３．アンドロイド

４．ＡＮＤＲＯＩＤ

(71)【出願人】

【識別番号】521208273

【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司

【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(72)【発明者】

【氏名】ホアン，チーリー

(72)【発明者】

【氏名】ホァ，チャンミン

(72)【発明者】

【氏名】チェン，ヤンチアン

(57)【要約】      （修正有）

【課題】ＩＯＶ技術分野、特にカーオーディオ相互接続／マッピングの技術分野に関し、タッチイベントによる端末の制御方法及び装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
【解決手段】方法は、端末機器の操作インタフェースと対応しているスクリーンキャスト画像のタッチ操作に応じて、タッチ操作のタッチ位置座標に基づき、タッチ操作と対応するタッチイベントを作成するステップＳ２１０と、ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、タッチイベントを端末機器との間のブルートゥース接続を介して端末機器に送信して、端末機器がタッチイベントに応じて操作インタフェースにおけるウィジェットを制御するステップＳ２２０と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

端末機器の操作インタフェースと対応するスクリーンキャスト画像に対するタッチ操作に応じて、前記タッチ操作のタッチ位置座標に基づき、前記タッチ操作と対応するタッチイベントを作成すること、及び、
ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、前記タッチイベントを端末機器との間のブルートゥース接続を介して前記端末機器に送信することで、前記端末機器を制御すること、を含む端末の制御方法。

【請求項2】

前記タッチ操作のタッチ位置座標に基づき、前記タッチ操作と対応するタッチイベントを作成することは、
タッチ位置座標に基づき、前記操作インタフェースと対応する目標座標を特定すること、及び
前記目標座標に基づき、タッチイベントを作成すること、を含む請求項１に記載する方法。

【請求項3】

タッチ位置座標に基づき、前記操作インタフェースと対応する目標座標を特定することは、
前記スクリーンキャスト画像の第一解像率と前記操作インタフェースの第二解像率を取得すること、及び
前記第一解像率と前記第二解像率とに基づき、前記タッチ位置座標を前記操作インタフェースにおける目標座標に転換すること、を含む請求項２に記載する方法。

【請求項4】

ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、前記タッチイベントを端末機器との間のブルートゥース接続を介して前記端末機器に送信することは、
ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、前記タッチイベントをパケットとパッケージさせること、及び
前記パケットを前記ブルートゥース接続を介して前記端末機器のブルートゥース入力インタフェースに送信すること、を含む請求項１に記載する方法。

【請求項5】

端末機器からの前記操作インタフェースと対応するスクリーンキャスト画像を受信すること、及び
前記スクリーンキャスト画像を展示すること、をさらに含む請求項１に記載する方法。

【請求項6】

ブルートゥースヒューマンインタフェースデバイスのコンフィグファイルをロードすること、及び
前記端末機器との間のブルートゥース接続を確立すること、をさらに含む請求項１に記載する方法。

【請求項7】

端末機器の操作インタフェースと対応するスクリーンキャスト画像に対するタッチ操作に応じて、前記タッチ操作のタッチ位置座標に基づき、前記タッチ操作と対応するタッチイベントを作成するための作成モジュールと、
ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、前記タッチイベントを端末機器との間のブルートゥース接続を介して前記端末機器に送信することで、前記端末機器を制御するための送信モジュールと、を備える端末の制御装置。

【請求項8】

前記作成モジュールは、
タッチ位置座標に基づき、前記操作インタフェースと対応する目標座標を特定するための第１特定サブモジュールと、
前記目標座標に基づき、タッチイベントを作成するための作成サブモジュールと、を備える請求項７に記載する装置。

【請求項9】

前記作成サブモジュールは、
前記スクリーンキャスト画像の第一解像率と前記操作インタフェースの第二解像率を取得するための取得サブモジュールと、
前記第一解像率と前記第二解像率とに基づき、前記タッチ位置座標を前記操作インタフェースにおける目標座標に転換するための変換サブモジュールと、を備える請求項８に記載する装置。

【請求項10】

前記送信モジュールは、
ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、前記タッチイベントをパケットとパッケージさせるためのパッキングサブモジュールと、
前記パケットを前記ブルートゥース接続を介して前記端末機器のブルートゥース入力インタフェースに送信するための送信サブモジュールと、を備える請求項７に記載する装置。

【請求項11】

端末機器からの前記操作インタフェースと対応するスクリーンキャスト画像を受信するための受信モジュールと、
前記スクリーンキャスト画像を展示するための展示モジュールと、をさらに備える請求項７に記載する装置。

【請求項12】

ブルートゥースヒューマンインタフェースデバイスのコンフィグファイルをロードするためのロードモジュールと、
前記端末機器との間のブルートゥース接続を確立するための確立モジュールと、をさらに備える請求項７に記載する装置。

【請求項13】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続するメモリとを備える電子機器であって、
前記メモリに、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが請求項１～６のいずれか一項に記載の方法を実行可能である、電子機器。

【請求項14】

非一時的なコンピュータ可読記憶媒体であって、
コンピュータに請求項１～６のいずれか一項に記載の方法を実行させるためのコンピュータ命令を記憶している、
記憶媒体。

【請求項15】

プロセッサにより実行される場合に、請求項１～６のいずれか一項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ＩＯＶ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｖｅｈｉｃｌｅｓ；自動車のインターネット化）の技術分野に関し、特に、カーオーディオ相互接続／マッピングの技術分野に関する。

【背景技術】

【0002】

ＩＯＶの発展に従い、自動車におけるカーオーディオ機器はモバイル端末と相互接続することが可能である。例えば、ユーザはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ユニバーサル・シリアル・バス）やＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク）等の技術を利用して携帯等のモバイル端末を自動車におけるカーオーディオ機器と繋がって、モバイル端末における表示内容がカーオーディオ機器のディスプレイパネルにスクリーンキャストされることで、カーオーディオ機器のディスプレイパネルを介してモバイル端末の表示内容が表示される。

【発明の概要】

【0003】

本開示は端末の制御方法及び装置、電子機器、記憶媒体及びコンピュータプログラムを提供している。

【0004】

本開示の１つの局面によれば、スクリーンキャスト画像に対するタッチ操作に応じて、前記タッチ操作のタッチ位置座標に基づき、前記タッチ操作と対応するタッチイベントを作成し、ただし、前記スクリーンキャスト画像が端末機器の操作インタフェースと対応すること、及び、ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、前記タッチイベントを端末機器との間のブルートゥース接続を介して前記端末機器に送信することで、前記端末機器を制御すること、を含む端末の制御方法を提供している。

【0005】

本開示の別の局面によれば、スクリーンキャスト画像に対するタッチ操作に応じて、前記タッチ操作のタッチ位置座標に基づき、前記タッチ操作と対応するタッチイベントを作成する作成モジュールであって、前記スクリーンキャスト画像が端末機器の操作インタフェースと対応する作成モジュールと、ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、前記タッチイベントを端末機器との間のブルートゥース接続を介して前記端末機器に送信することで、前記端末機器を制御する送信モジュールと、を備える端末の制御装置を提供している。

【0006】

本開示の別の局面によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続するメモリとを備える電子機器であって、前記メモリに、前記少なくとも１つのプロセッサによって実行され得る命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが本開示の実施例に記載の方法を実行することができる、電子機器を提供している。

【0007】

本開示の別の局面によれば、コンピュータに本開示の実施例に記載の方法を実行させるためのコンピュータ命令を記憶している、非一時的なコンピュータ可読記憶媒体を提供している。

【0008】

本開示の別の局面によれば、プロセッサにより実行される場合に、本開示の実施例に記載の方法を実現するコンピュータプログラムを提供している。

【0009】

理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。

【図面の簡単な説明】

【0010】

ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。

【0011】

【図1】本開示の実施例による端末の制御方法及び装置を適用可能な例示的なシステム構造を模式的に示す。

【図2】本開示の実施例による端末の制御方法を模式的に示すフローチャートである。

【図3】本開示の実施例によるタッチ操作と対応するタッチイベントを作成する方法を模式的に示すフローチャートである。

【図4A】本開示の実施例による端末機器のスクリーンを模式的に示す模式図である。

【図4B】本開示の実施例によるスクリーンキャスト機器のスクリーンを模式的に示す模式図である。

【図4C】本開示の実施例による端末機器のインタフェースがスクリーンキャスト機器に表示された様子を模式的に表す模式図である。

【図5】本開示の実施例による端末の制御方法を模式的に示す模式図である。

【図6】本開示の実施例による端末の制御装置を模式的に示すブロック図である。

【図7】本開示の実施例を実施可能な例示的電子機器を示す模式的なブロック図である。

【発明を実施するための形態】

【0012】

以下、本開示の例示的な実施例を図面と合わせて説明する。ただし、理解しやすくするために、本開示の実施例の様々な細部が含まれるが、例示的なものに過ぎない。したがって、本開示の範囲や精神から逸脱していない範囲でここで記述する実施例に対して様々な改変や修正が可能であることは、当業者にとって認識できる。これとともに、明瞭や簡潔のために、公知機能や構造に関する記述は下記の記述に省略される。

【0013】

図１は、本開示の実施例による端末の制御方法及び装置を適用可能な例示的なシステム構造１００を模式的に示す。図１に示されるのは、本開示の実施例のシステム構造が適用可能なシステム構造の一例にすぎず、当業者に本開示の技術内容を理解させるためであり、本開示の実施例が他の機器、システム、環境やシーンに適用できないことに意味するわけではない。

【0014】

図１に示されるよう、当該実施例によるシステム構造１００は、スクリーンキャスト機器１１０と端末機器１２０とを含んでも良い。ただし、スクリーンキャスト機器１１０はディスプレイパネル１１１を含み、ディスプレイパネル１１１はタッチ操作に対応可能である。端末機器１２０はディスプレイパネル１２１を含む。ディスプレイパネル１２１は、タッチ操作に対応可能でもよいし、タッチ操作に対応不可でもよい。

【0015】

スクリーンキャスト機器１１０は、例えば、カーオーディオ機器のようなタッチ操作対応可能なディスプレイパネルを有し、且つ他の端末と通信可能な各種の電子機器であってもよい。端末機器１２０は、例えば、スマートフォン、タブレット、ラップトップ、デスクトップ等の、ディスプレイパネルを有し且つ他の端末と通信可能な各種の電子機器であればよいが、これに限らない。スクリーンキャスト機器１１０と端末機器１２０には、例えば、ＩＯＶアプリ、Ｗｅｂブラウザアプリ、検索アプリ、インスタントメッセージングアプリ等の各種の通信クライアントアプリが実装される。

【0016】

端末機器１２０とスクリーンキャスト機器１１０との間では、有線または無線の接続が確立される。ただし、有線接続として、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ，ユニバーサル・シリアル・バス）接続、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ，ハイデフィニションマルチメディアインタフェース）接続などが挙げられ、無線接続として、たとえば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ，ワイヤレスローカルエリアネットワーク）接続、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，ニアフィールドコミュニケーション）接続、ブルートゥース接続などが挙げられる。端末機器１２０とスクリーンキャスト機器１１０とは、互いの接続でインタラクションが実現される。例えば、端末機器１２０は、ディスプレイパネル１２１に表示されている操作インタフェースの画像を接続を介してスクリーンキャスト機器１１０に送信し、スクリーンキャスト機器１１０は、端末機器１２０からの画像を受信すると、スクリーンキャスト機器１１０のディスプレイパネル１１１に動画像を表示することで、スクリーンキャストが実現される。また、ユーザがディスプレイパネル１１１を介してタッチ操作を行って、スクリーンキャスト機器１１０がタッチ操作に応じて対応するタッチイベントを作成してモバイル端末１２０に送信することで、モバイル端末１２０を制御する。

【0017】

理解されるべきこととして、本開示の実施例に提供する端末の制御方法はスクリーンキャスト機器１１０により実行可能である。これに応じて、本開示の実施例に提供する端末の制御装置は、スクリーンキャスト機器１１０に設置可能である。本開示の実施例に提供する端末の制御方法は、スクリーンキャスト機器１１０と別のものであって、端末機器１２０及び／又はスクリーンキャスト機器１１０と通信可能な機器で実行されてもよい。これに応じて、本開示の実施例に提供する端末の制御装置でも、スクリーンキャスト機器１１０と別のものであって、端末機器１２０及び／又はスクリーンキャスト機器１１０と通信可能な機器に設置されてもよい。

【0018】

図１における端末機器及びスクリーンキャスト機器の数が例示的なものに過ぎないことは、当業者であれば理解される。実現のニーズに応じて、任意の数の端末機器及びスクリーンキャスト機器を備えてもよい。

【0019】

図２は、本開示の実施例による端末の制御方法のフローチャートを模式的に示す。

【0020】

図２に示されるように、当該端末の制御方法２００は、操作Ｓ２１０～Ｓ２２０を含む。当該方法は、例えば、上記のスクリーンキャスト機器により実行される。

【0021】

操作Ｓ２１０において、スクリーンキャスト画像に対するタッチ操作に応じて、タッチ操作のタッチ位置座標に基づき、タッチ操作に対応するタッチイベントを作成する。

【0022】

操作Ｓ２２０において、ブルートゥースヒューマンインタフェースデバイス（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ，ＨＩＤ）プロトコルに基づき、タッチイベントを端末機器とのブルートゥース接続を介して端末機器に送信して、端末機器を制御する。

【0023】

本開示の実施例により、スクリーンキャスト機器は、予め端末機器と有線又は無線の接続を確立可能である。例を挙げると、有線接続として、例えば、ＵＳＢ接続、ＨＤＭＩ接続を含んでもよく、無線接続として、例えば、ＷＬＡＮ接続、ブルートゥース接続等を含んでもよい。操作Ｓ２１０において、端末機器は、現在表示中の操作インタフェースの画像を接続を介してスクリーンキャスト機器にリアルタイムで送信してもよい。スクリーンキャスト機器は、端末機器からの画像を受信すると、当該画像を同スクリーンキャスト機器のディスプレイパネルにリアルタイムで表示させる。スクリーンキャスト機器に表示される画像はスクリーンキャスト画像そのものである。ここで、スクリーンキャスト画像が端末機器の操作インタフェースと対応されることが理解される。

【0024】

本開示の実施例によれば、ユーザがスクリーンキャスト機器のディスプレイパネルに表示されるスクリーンキャスト画像をタッチで操作可能である。例を挙げると、本実施例において、タッチ操作として、例えば、スワイプ、タップ、ダブルタップ、長押し、ダブルフィンガータッチ等が含まれ、これと対応するよう、タッチイベントは、例えば、スワイプイベント、タップイベント、ダブルタップイベント、長押しイベント、ダブルフィンガータッチイベント等が含まれる。

【0025】

理解されるべきこととして、本実施例において、タッチ操作に応じて、タッチ操作のタッチ位置座標が１つでもよいが複数でもよく、例えば、タップ操作のタッチ位置が１つであり、スワイプ操作のタッチ位置が複数であり、当該複数のタッチ位置がスワイプ操作のスワイプトラックに対応する。

【0026】

操作Ｓ２２０において、ブルートゥースヒューマンインタフェースデバイス（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ，ＨＩＤ）プロトコルに基づき、タッチイベントが端末機器とのブルートゥース接続を介して端末機器に送信され、端末機器が制御される。端末機器では、タッチイベントに応じて操作インタフェースにおけるウィジェットが制御される。

【0027】

本開示の実施例によれば、上記のスクリーンキャスト画像を伝送するための接続を加え、スクリーンキャスト機器は端末機器との間のブルートゥース接続を確立してもよい。例を挙げると、本実施例において、当該ブルートゥース接続の確立に際して、スクリーンキャスト機器は、ブルートゥースヒューマンインタフェースデバイスのコンフィグファイルをロードして、ブルートゥースヒューマンインタフェースデバイスとして上記端末機器とペアリングすることで、ブルートゥース接続を確立する。

【0028】

本開示の実施例によれば、スクリーンキャスト機器は、ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、タッチイベントをパケットにパックしてもよい。そして、パケットがブルートゥース接続を介して端末機器のブルートゥース入力インタフェースに送信される。例を挙げると、アンドロイド（Ａｎｄｒｏｉｄ）システムによる端末機器を例とすると、端末機器のブルートゥース入力インタフェースは、例えば、ＢｌｕｅｔｏｏｔｈＧａｔｔＳｅｒｖｉｃｅ．ｗｒｉｔｅＴｏＰａｒｃｅｌであってもよい。

【0029】

本開示の実施例によれば、端末機器の操作インタフェースには、例えば、ボタン、選択ボックス、スクロールバーなどのようなウィジェットを１つ又は複数含んでもよい。端末機器は、パケットを受信すると、パケットを復号してタッチイベントを取得して、タッチイベントにより操作インタフェースのうちどの又はどちらのウィジェットがトリガーされたことを判断する。そして、トリガーされたウィジェットの対応する操作を実行する。

【0030】

本開示の実施例によれば、ブルートゥースヒューマンインタフェースデバイスプロトコルを介してタッチイベントが送信されると、スクリーンキャスト機器をタッチするだけで端末機器を制御可能であるので、端末機器を制御する時の利便性が高める。

【0031】

係る技術によれば、スクリーンキャスト機器と端末機器とにおいて、対応する相互接続アプリが実装可能であり、スクリーンキャスト機器における相互接続アプリが作成されたタッチイベントは、有線又は無線の方式で端末機器における相互接続アプリに伝送される。端末機器の相互接続アプリがタッチイベントを受信すると、システム（例えばＡｎｄｒｏｉｄシステム）の制限により、当該タッチイベントが当該相互接続アプリのプロセスのみで注入又は消費され、システムレベルまでに注入できないので、相互接続アプリ以外の他のアプリのプロセスで消費されることができない、つまり、プロセスをわたって他のアプリを制御することができない。

【0032】

本開示の実施例によれば、スクリーンキャスト機器は、ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、タッチイベントを端末機器に送信することになり、タッチイベントを取得する当該ルートはシステム規定に合致するので、端末機器はタッチイベントを受信するとタッチイベントをシステムレベルに注入することで、各アプリのプロセスによる消費が可能になるため、プロセスをわたって他のアプリを制御する技術効果を実現できる。

【0033】

また、本開示の実施例による端末の制御方法は、ブルートゥースをオンにするだけでよく、端末機器に開発者権限をオンにさせる、または端末機器のＲＯＯＴ権限を取得する等の権限取得の操作が必要としないため、実現に容易である。

【0034】

図３は、本開示の実施例によるタッチ操作と対応するタッチイベントを作成する方法のフローチャートを模式的に示す。

【0035】

図３に示されるように、タッチ操作と対応するタッチイベントを作成する当該方法３１０は、操作Ｓ３１１～Ｓ３１２を含む。

【0036】

操作Ｓ３１１において、タッチ位置座標に基づき、操作インタフェースと対応する目標座標を特定する。

【0037】

操作Ｓ３１２において、目標座標に基づき、タッチイベントを作成する。

【0038】

本開示の実施例によれば、スクリーンキャスト画像の第一解像率と操作インタフェースの第二解像率を取得可能である。そして、第一解像率と第二解像率に基づき、タッチ位置座標を操作インタフェースにおける目標座標に転換する。さらに、目標座標に基づき、タッチイベントを作成する。ただし、タッチイベントは、例えば、スワイプイベント、タップイベント、ダブルタップイベント、長押しイベント、ダブルフィンガータッチイベント等を含んでもよい。

【0039】

本開示の実施例によれば、タッチ位置座標を操作インタフェースにおける目標座標に転換することで、目標座標に基づきタッチイベントを作成し、端末機器がタッチイベントを受信すると、タッチイベントに基づき操作インタフェースのうちどの位置でタッチ操作が発生されることが特定される。

【0040】

スクリーンキャスト機器と端末機器とのスクリーン解像率が同一ではない可能性があるため、スクリーンキャスト機器に表示するスクリーンキャスト画像の解像率は、端末機器操作インタフェースの解像率と同一ではない可能性がある。例えば、スクリーンキャスト機器と端末機器とのスクリーン解像率が同一ではない場合、スクリーンキャスト画像の縦方向高さは、スクリーンキャスト機器のスクリーンの縦方向高さと同様であるように設置され、スクリーンキャスト画像の幅広さは、スクリーンキャスト画像と対応する操作インタフェースの比例に応じて自己適応に設置される。あるいは、スクリーンキャスト画像の横方向幅は、スクリーンキャスト機器のスクリーンの横方向幅と同様であるように設置され、スクリーンキャスト画像の縦方向高さはスクリーンキャスト画像と対応する操作インタフェースの比例に応じて自己適応に設置される。

【0041】

このように、本開示の実施例によれば、スクリーンキャスト画像の第一解像率と操作インタフェースの第二解像率を取得可能である。そして、第一解像率と第二解像率とに基づき、タッチ位置座標を操作インタフェースにおける目標座標に転換することで、いかなるスクリーンキャスト機器においても端末機器を正確に制御可能である。

【0042】

以下、図４Ａ－図４Ｃを参照する上で、具体的な実施例に基づきタッチ位置座標を操作インタフェースにおける目標座標に転換する方法をさらに説明する。以下に挙げた実施例は、本開示を理解するためだけのものであり、本開示はそれに限定されないことは、当業者であれば理解される。

【0043】

図４Ａは、本開示の実施例による端末機器のスクリーンの模式図を模式的に示す。

【0044】

図４Ａに示されるように、例えば、端末機器のスクリーン４１０の解像率は、１９２０×１２８０ピクセルであり、ただし、スクリーン４１０の縦方向高さが１９２０ピクセルであってＡ＝１９２０として表れ、スクリーン４１０の横方向幅が１２８０ピクセルであってＢ＝１２８０として表れる。

【0045】

図４Ｂは、本開示の実施例によるスクリーンキャスト機器のスクリーンの模式図を模式的に示す。

【0046】

図４Ｂに示されるように、スクリーンキャスト機器のスクリーン４２０の解像率は、１２８０×１９２０ピクセルであってもよく、ただし、スクリーン４２０の縦方向高さが１２８０ピクセルであってＡ１＝１２８０として表れ、スクリーン４２０の横方向幅が１９２０ピクセルであってＢ１＝１９２０として表れる。

【0047】

図４Ｃは、本開示の実施例による端末機器のインタフェースがスクリーンキャスト機器に表示された様子を模式的に表す模式図である。

【0048】

図４Ｃに示されるように、スクリーン４１０と対応するスクリーンキャスト画像４３０がスクリーン４２０に表示された場合、スクリーンキャスト画像４３０は、スクリーン４２０に中央揃えで表示してもよい。スクリーンキャスト画像４３０の縦方向高さがスクリーン４２０の縦方向高さと同様であり、スクリーンキャスト画像４３０の横方向幅は、スクリーンキャスト画像４３０と対応する操作インタフェースの比例に応じて自己適応に設置される。例を挙げると、本実施例において、スクリーンキャスト画像４３０の縦方向高さが１２８０ピクセルであり、横方向幅がＡ１＊Ｂ／Ａ＝１９２０×１２８０÷１２８０＝８５３ピクセルである。つまり、端末機器のスクリーンキャスト機器における表示時の解像率が１２８０＊８５３ピクセルである。

【0049】

ユーザによるスクリーンキャスト機器のスクリーン４２０に対するタッチ位置座標が（６００，２００）と仮定すると、つまり、横方向座標Ｘ＝６００であり、縦方向座標Ｙ＝２００である。端末機器のスクリーンキャスト機器における表示時の解像率により、転換後の座標を算出する。転換後の横方向座標Ｘ’＝ Ｘ－（Ｂ１－Ａ１＊Ｂ／Ａ）／２＝６００－（１９２０－１２８０×１２８０÷１９２０）÷２＝１１３３，転換後の横方向座標Ｙ’＝Ｙ＝２００である。つまり、転換後の座標が（１１３３，２００）である。

【0050】

以下、図５を参照して、具体的な実施例とあわせて上記の端末の制御方法をさらに説明する。以下に挙げた実施例は、本開示を理解するためだけのものであり、本開示はそれに限定されないことは、当業者であれば理解される。

【0051】

例を挙げると、本実施例において、スクリーンキャスト機器は、例えば、カーオーディオ機器であってもよい。端末機器は、例えば、携帯等のモバイル端末機器であってもよい。端末機器は、Ａｎｄｒｏｉｄシステムによるものである。

【0052】

図５は、本開示の実施例による端末の制御方法の模式図を模式的に示す。

【0053】

図５によれば、操作Ｓ５１０Ａにおいて、スクリーンキャスト機器にブルートゥース入力機器のコンフィグファイルがロードされる。

【0054】

操作Ｓ５２０Ａにおいて、スクリーンキャスト機器が端末機器にブルートゥース接続要求を送信する。

【0055】

本開示の実施例によれば、スクリーンキャスト機器は、ブルートゥースをオンすることで、端末機器をサーチしてペアリングすることが可能である。

【0056】

操作Ｓ５１０Ｂにおいて、端末機器がブルートゥース接続要求を受信し，端末機器とのブルートゥース接続を確立する。

【0057】

本開示の実施例によれば、端末機器がペアリングを受け付けることで、端末機器とのブルートゥース接続を確立する。

【0058】

本開示の実施例によれば、スクリーンキャスト機器が端末機器とブルートゥース接続を行ううちに、スクリーンキャスト機器がマスタ機器とされ、端末機器がスレーブ機器とされる。

【0059】

本開示の他の実施例によれば、端末機器によりスクリーンキャスト機器にブルートゥース接続要求を出して、スクリーンキャスト機器がブルートゥース要求を受信することで、スクリーンキャスト機器と端末機器との間のブルートゥース接続を確立する。本開示は、具体的にこれが限定されない。

【0060】

操作Ｓ５２０Ｂにおいて、端末機器は、操作インタフェースの対応するスクリーンキャスト画像をスクリーンキャスト機器に伝送し、操作インタフェースの解像率をスクリーンキャスト機器に送信する。

【0061】

本開示の実施例によれば、端末機器は、現在表示中の操作インタフェースの対応するスクリーンキャスト画像を、ＷＬＡＮ、ＨＤＭＩやＵＳＢ等の方式でスクリーンキャスト機器に送信可能である。

【0062】

なお、端末機器に表示する操作インタフェースの解像率が変化される場合、操作Ｓ５３０Ｂを実行し、変化後の解像率をスクリーンキャスト機器にリアルタイムで伝送してもよい。

【0063】

操作Ｓ５３０Ａにおいて、スクリーンキャスト機器がユーザのタッチ操作を受信し、タッチ操作のタッチ位置座標を取得する。

【0064】

例を挙げると、本実施例において、タッチ操作はスワイプ操作としてもよい。本開示の実施例によれば、スワイプ操作の対応するトラックポイントの位置座標を取得可能である。

【0065】

操作Ｓ５４０Ａにおいて、スクリーンキャスト機器は、スクリーンキャスト機器に表示しているスクリーンキャスト画像の解像率と端末機器操作インタフェース解像率とに基づき、端末機器と対応するタッチ位置座標を算出する。

【0066】

本開示の実施例によれば、スクリーンキャスト画像と操作インタフェースとの解像率に基づき、トラックポイントの位置座標を操作インタフェースにおける座標に転換可能である。

【0067】

操作Ｓ５５０Ａにおいて、スクリーンキャスト機器は、タッチ位置座標に基づきタッチイベントを作成する。

【0068】

本開示の実施例によれば、スクリーンキャスト機器は、タッチ位置座標に基づき、ブルートゥース伝送を支持するタッチイベントを作成してもよい。

【0069】

操作Ｓ５６０Ａにおいて、スクリーンキャスト機器は、タッチイベントをＨＩＤプロトコルに基づき端末機器送信する。

【0070】

本開示の実施例によれば、スクリーンキャスト機器は、ＨＩＤプロトコルに基づきタッチイベントをパケットにパックし、ブルートゥース接続を介して端末機器送信してもよい。

【0071】

操作Ｓ５４０Ｂにおいて、端末機器は、システムレベルでブルートゥースを介して伝送してきたタッチイベントを消費する。

【0072】

スクリーンキャスト機器と端末機器とが互いに独立した機器であるため、スクリーンキャスト機器は、タッチイベントを端末機器に伝達することで端末機器のスワイプ、タップ、長押し等の事件を制御することが必要である。しかし、Ａｎｄｒｏｉｄシステムに基づく端末機器に関して、Ａｎｄｒｏｉｄシステムが不法のイベントのシステムへの注入を認めないので、タッチイベントを直接に伝達することでプロセスをわたるイベントの注入や消費を実現することができない。本開示の実施例によれば、スクリーンキャスト機器は、ＨＩＤプロトコルに基づきタッチイベントを伝達し、当該タッチイベントを伝達するルートはＡｎｄｒｏｉｄシステムの規定に合致するものであり、プロセスをわたるイベントの注入や消費を実現可能である。

【0073】

図６は、本開示の実施例による端末の制御装置のブロック図を模式的に示す。

【0074】

図６に示されるように、端末の制御装置６００は、作成モジュール６１０と送信モジュール６２０とを備える。

【0075】

作成モジュール６１０は、スクリーンキャスト画像に対するタッチ操作に応じて、タッチ操作のタッチ位置座標に基づき、タッチ操作と対応するタッチイベントを作成するために使われてもよく、ただし、スクリーンキャスト画像が端末機器の操作インタフェースと対応する。

【0076】

送信モジュール６２０は、ルートゥースヒューマンインタフェースデバイスプロトコルに基づき、タッチイベントを端末機器との間のブルートゥース接続を介して端末機器に送信して、端末機器がタッチイベント制御に基づき操作インタフェースにおけるウィジェットを制御するために使われてもよい。

【0077】

本開示の実施例によれば、上記の作成モジュールは、例えば、第１特定サブモジュールと作成サブモジュールとを含んでもよい。第１特定サブモジュールは、タッチ位置座標に基づき、操作インタフェースと対応する目標座標を特定するために使われてもよい。作成サブモジュールは、目標座標に基づき、タッチイベントを作成するために使われてもよい。

【0078】

本開示の実施例によれば、上記の作成サブモジュールは、取得サブモジュールと変換サブモジュールとを含んでもよい。取得サブモジュールは、スクリーンキャスト画像の第一解像率と操作インタフェースの第二解像率を取得するために使われてもよい。変換サブモジュールは、第一解像率と第二解像率とに基づき、タッチ位置座標を操作インタフェースにおける目標座標に転換するために使われてもよい。

【0079】

本開示の実施例によれば、上記送信モジュールは、例えば、パッキングサブモジュールと送信サブモジュールとを含んでもよい。パッキングサブモジュールは、ブルートゥースヒューマンインタフェースデバイスプロトコルに基づき、タッチイベントをパケットとしてパックするために使われてもよい。送信サブモジュールは、パケットをブルートゥース接続を介して端末機器のブルートゥース入力インタフェースに送信するために使われてもよい。

【0080】

本開示の実施例によれば、上記装置は、さらに、受信モジュールと展示モジュールを含んでもよい。受信モジュールは、端末機器からの操作インタフェースと対応するスクリーンキャスト画像を受信するために使われてもよい。展示モジュールは、スクリーンキャスト画像を展示するために使われてもよい。

【0081】

本開示の実施例によれば、上記装置は、さらに、ロードモジュールと確立モジュールとを含んでもよい。ロードモジュールは、ブルートゥースヒューマンインタフェースデバイスのコンフィグファイルをロードするために使われてもよい。確立モジュールは、端末機器との間のブルートゥース接続を確立するために使われてもよい。

【0082】

理解されるべきこととして、本開示の技術案において、ユーザの個人情報の取得、格納、適用等について、いずれも法律や政令の規定を遵守しており、公序良俗も違反されない。

【0083】

本開示の実施例によれば、本開示は、さらに電子機器、読み取り可能な記憶媒体、及びコンピュータプログラムを提供している。

【0084】

図７は、本開示の実施例を実施可能な例示的電子機器７００の模式的ブロック図を示している。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。

【0085】

図７に示すように、機器７００は、演算手段７０１を含み、演算手段７０１は、リードオンリーメモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム又は記憶手段７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに基づいて、様々な適切な操作及び処理を実行してもよい。ＲＡＭ７０３には、さらに機器７００の操作に必要な様々なプログラム及びデータを記憶してもよい。演算手段７０１、ＲＯＭ７０２、及びＲＡＭ７０３は、バス７０４を介して相互に接続される。入出力（Ｉ／Ｏ）インタフェース７０５も、バス７０４に接続される。

【0086】

機器７００における複数の部品は、Ｉ／Ｏインタフェース７０５に接続され、例えばキーボード、マウス等の入力手段７０６と、例えば様々な種類のディスプレイ、スピーカ等の出力手段７０７と、例えば磁気ディスク、光ディスク等の記憶手段７０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段７０９とを含む。通信手段７０９は、機器７００がインターネット等のコンピュータネットワーク及び／又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。

【0087】

演算手段７０１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。演算手段７０１の幾つかの例として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。演算手段７０１は、上記で記載された各方法及び処理、端末の制御方法を実行する。例えば、幾つかの実施例において、端末の制御方法は、例えば記憶手段７０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ ７０２及び／又は通信手段７０９を介して機器７００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされて演算手段７０１により実行される場合、上記に記載の端末の制御方法の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、演算手段７０１は、他の任意の適切な方式（例えば、ファームウェアを介する）により端末の制御方法を実行するように構成されてもよい。

【0088】

本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス （ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。

【0089】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

【0090】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0091】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。

【0092】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0093】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。

【0094】

理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。

【0095】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】