(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】アプリケーションプログラムの操作ガイダンス方法、装置、機器及び読み取り可能な記憶媒体
(51)【国際特許分類】
G06F 16/33 20190101AFI20231108BHJP
【FI】
G06F16/33
(21)【出願番号】P 2021086184
(22)【出願日】2021-05-21
【審査請求日】2021-05-21
(31)【優先権主張番号】202010437003.7
(32)【優先日】2020-05-21
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】521208273
【氏名又は名称】阿波▲羅▼智▲聯▼(北京)科技有限公司
【氏名又は名称原語表記】APOLLO INTELLIGENT CONNECTIVITY(BEIJING)TECHNOLOGY CO.,LTD.
【住所又は居所原語表記】101, 1st Floor, Building 1, Yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Beijing 100176, China
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】ズゥオ ションヨン
(72)【発明者】
【氏名】マオ ウェンチャン
(72)【発明者】
【氏名】チェン ジュンモン
【審査官】松尾 真人
(56)【参考文献】
【文献】特開2003-091412(JP,A)
【文献】特開2014-132756(JP,A)
【文献】特開2007-226793(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00-16/958
G01C 21/00-21/36
(57)【特許請求の範囲】
【請求項1】
アプリケーションプログラムの操作ガイダンス装置によって実行される、アプリケーションプログラムの操作ガイダンス方法であって、
第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信し、前記操作ガイダンスデータは、ユーザの現在の操作に基づいて前記第1のアプリケーションプログラムによって得られた次の操作のガイダンスデータであり、前記第1のアプリケーションプログラムは、新しく起動されたアプリケーションプログラム、または新しい機能を追加するアプリケーションプログラムであるステップと、
前記操作ガイダンスデータを前記ユーザに提供するステップと、
前記第1のアプリケーションプログラムから送信された、各前記操作ガイダンスデータに対応する初期ユーザインテント、及び各前記操作ガイダンスデータに対応する次の操作データを受信するステップと、
前記ユーザから入力された音声情報を受信し、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップと、
アプリケーションプログラムのセットから、前記ターゲット操作ガイダンスデータに対応する初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するステップと、
前記ターゲット操作ガイダンスデータに対応する次の操作データを前記第2のアプリケーションプログラムに送信し、前記第2のアプリケーションプログラムが前記次の操作データを操作するようにトリガーするステップと、
前記第1のアプリケーションプログラムが前記ターゲット操作ガイダンスデータに従って次の操作を行うように、前記ターゲット操作ガイダンスデータを前記第1のアプリケーションプログラムに送信するステップと、を含む、
ことを特徴とするアプリケーションプログラムの操作ガイダンス方法。
【請求項2】
前記操作ガイダンスデータの数は、少なくとも1つであり、
前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップの前に、
前記第1のアプリケーションプログラムから送信された各前記操作ガイダンスデータのキーワードを受信するステップをさらに含み、
前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップは、
前記音声情報のキーワード認識を行い、前記音声情報のキーワードを取得するステップと、
各前記操作ガイダンスデータのキーワードと前記音声情報のキーワードとを比較し、比較結果が一致するターゲット操作ガイダンスデータを取得するステップと、を含む、
ことを特徴とする請求項1に記載の方法。
【請求項3】
第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信するステップは、
前記第1のアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すのを監視した場合、前記クロスプロセスアクセスインタフェースから操作ガイダンスデータを読み出し、ここで、前記第1のアプリケーションプログラムは、前記クロスプロセスアクセスインタフェースを呼び出すことにより前記操作ガイダンスデータを前記クロスプロセスアクセスインタフェースに記憶するステップを含み、
前記ターゲット操作ガイダンスデータを前記第1のアプリケーションプログラムに送信するステップは、
前記第1のアプリケーションプログラムが前記クロスプロセスアクセスインタフェースを呼び出すことにより前記ターゲット操作ガイダンスデータを取得するように、前記クロスプロセスアクセスインタフェースを呼び出すことにより前記ターゲット操作ガイダンスデータを前記クロスプロセスアクセスインタフェースに記憶するステップを含む、
ことを特徴とする請求項1に記載の方法。
【請求項4】
アプリケーションプログラムのセットから、前記ターゲット操作ガイダンスデータに対応する初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するステップは、
前記音声情報のインテント認識を行い、明確なユーザインテントを取得するステップと、
前記明確なユーザインテントが、前記ターゲット操作ガイダンスデータに対応する初期ユーザインテントとマッチングする場合、アプリケーションプログラムのセットから、前記初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するステップと、を含む、
ことを特徴とする請求項
1に記載の方法。
【請求項5】
前記操作ガイダンスデータを前記ユーザに提供するステップは、
前記操作ガイダンスデータを表示するステップ、及び/又は、
前記操作ガイダンスデータの音声情報を再生するステップを含む、
ことを特徴とする請求項1に記載の方法。
【請求項6】
前記操作ガイダンスデータを表示するステップは、
前記操作ガイダンスデータをページングで表示するステップを含み、
前記ユーザから入力された音声情報を受信し、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップは、
前記ユーザから入力された少なくとも1ラウンドの音声情報を受信し、各ラウンドの前記音声情報を認識するステップと、
ページ番号情報が認識された場合、前記ページ番号情報に対応する操作ガイダンスデータを表示するステップと、
ページ番号情報が認識されなかった場合、現在のページに表示されている操作ガイダンスデータから、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップと、を含む、
ことを特徴とする請求項
5に記載の方法。
【請求項7】
第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信するステップの前に、
前記第1のアプリケーションプログラムの署名を受信するステップと、
前記署名を検証し、検証合格の結果を取得するステップと、をさらに含み、
前記ターゲット操作ガイダンスデータを前記第1のアプリケーションプログラムに送信するステップは、
前記ターゲット操作ガイダンスデータを暗号化して前記第1のアプリケーションプログラムに送信するステップを含む、
ことを特徴とする請求項1~
6のいずれか一項に記載の方法。
【請求項8】
第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信するように構成される受信モジュールであって、前記操作ガイダンスデータは、ユーザの現在の操作に基づいて前記第1のアプリケーションプログラムによって得られた次の操作のガイダンスデータであり、前記第1のアプリケーションプログラムは、新しく起動されたアプリケーションプログラム、または新しい機能を追加するアプリケーションプログラムである受信モジュールと、
前記操作ガイダンスデータを前記ユーザに提供するように構成される提供モジュールと、
前記第1のアプリケーションプログラムから送信された、各前記操作ガイダンスデータに対応する初期ユーザインテント、及び各前記操作ガイダンスデータに対応する次の操作データを受信するように構成される初期ユーザインテント及び次の操作データ受信モジュールと、
前記ユーザから入力された音声情報を受信し、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するように構成される決定モジュールと、
アプリケーションプログラムのセットから、前記ターゲット操作ガイダンスデータに対応する初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するように構成されるアプリケーションプログラム決定モジュールと、
前記ターゲット操作ガイダンスデータに対応する次の操作データを前記第2のアプリケーションプログラムに送信し、前記第2のアプリケーションプログラムが前記次の操作データを操作するようにトリガーするように構成されるトリガーモジュールと、
前記第1のアプリケーションプログラムが前記ターゲット操作ガイダンスデータに従って次の操作を行うように、前記ターゲット操作ガイダンスデータを前記第1のアプリケーションプログラムに送信するように構成される送信モジュールと、を含む、
ことを特徴とするアプリケーションプログラムの操作ガイダンス装置。
【請求項9】
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信接続されるメモリと、を含み、
前記メモリには前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも1つのプロセッサによって実行される場合、前記少なくとも1つのプロセッサが請求項1~
7のいずれか一項に記載のアプリケーションプログラムの操作ガイダンス方法を実行できる、
ことを特徴とする電子機器。
【請求項10】
コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項1~
7のいずれか一項に記載のアプリケーションプログラムの操作ガイダンス方法を実行させる、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項11】
コンピュータに請求項1~
7のいずれか一項に記載のアプリケーションプログラムの操作ガイダンス方法を実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、コンピュータ技術に関し、特に音声認識技術の分野に関する。
【背景技術】
【0002】
スマート機器とインターネット技術の急速な発展に伴い、ショッピングアプリケーションプログラム、音楽アプリケーションプログラム、ソーシャルアプリケーションプログラムなど、大量のアプリケーションプログラムが現れている。
【0003】
ユーザの様々な可能なニーズを満たすために、アプリケーションプログラムのサポートする機能が増え、ページ操作もますます煩雑になっている。ユーザへの操作ガイダンスを行うために、現在ではアプリケーションプログラムに入った後、新たな機能アイコン、新たな機能アイコンに対する操作説明などが表示されている数ページの操作ガイダンスページをロードすることが一般的である。
【0004】
しかし、実際の使用プロセスでは、操作ガイダンスページのコンテンツが多くて乱雑であり、ユーザがこれを覚える必要があるため、ほとんどのユーザは、操作ガイダンスページをじっくり読む忍耐力がなく、ガイダンスの失敗につながる。如何にして効果的で便利な操作ガイダンスをユーザに提供するかが、早急に解決すべき技術的課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願の実施例は、ユーザに効果的で便利な操作ガイダンスを提供できるアプリケーションプログラムの操作ガイダンス方法、装置、機器及び読み取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【0006】
第1の態様では、本願の実施例は、
第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信するステップであって、前記操作ガイダンスデータは、ユーザの現在の操作に基づいて前記第1のアプリケーションプログラムによって得られた次の操作のガイダンスデータであるステップと、
前記操作ガイダンスデータを前記ユーザに提供するステップと、
前記ユーザから入力された音声情報を受信し、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップと、
前記第1のアプリケーションプログラムが前記ターゲット操作ガイダンスデータに従って次の操作を行うように、前記ターゲット操作ガイダンスデータを前記第1のアプリケーションプログラムに送信するステップと、を含むアプリケーションプログラムの操作ガイダンス方法を提供する。
【0007】
本願の実施例では、第1のアプリケーションプログラムから送信されたユーザの次の操作の操作ガイダンスデータを受信し、ユーザが次の操作を知るように該操作ガイダンスデータをユーザに提供し、ユーザは、次の操作の音声情報を入力した後、音声情報とマッチングするターゲット操作データを決定し、音声入力の方式により、ユーザの操作が便利になり、ユーザと音声サービスアプリケーションプログラムとの間のインタラクションエクスペリエンスが向上する。次に、ターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信し、第1のアプリケーションプログラムは、ターゲット操作ガイダンスデータに従って次の操作を行うことができる。本実施例に係る第1のアプリケーションプログラムには音声認識機能が統合される必要はなく、即ち、第1のアプリケーションプログラムの内部実現ロジックを変更する必要はなく、操作ガイダンスデータを提供するだけで、次の操作を行うようにユーザを能動的にガイダンスすることができ、第1のアプリケーションプログラムがマルチラウンドの操作ガイダンスデータを提供するとき、ステップ順に逐次操作を行うようにユーザを能動的にガイダンスすることができ、効率的で便利なアクティブマルチラウンド操作ガイダンスを実現することができ、ユーザが覚える必要がないとともに、第1のアプリケーションプログラムがユーザの具体的な操作行動を取得しやすくなり、ユーザの行動分析に役立つ。
【0008】
選択可能に、操作ガイダンスデータの数は少なくとも1つであり、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップの前に、
前記第1のアプリケーションプログラムから送信された各前記操作ガイダンスデータのキーワードを受信するステップを含み、
前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップは、
前記音声情報のキーワード認識を行い、前記音声情報のキーワードを取得するステップと、
各前記操作ガイダンスデータのキーワードと前記音声情報のキーワードとを比較し、比較結果がマッチングするターゲット操作ガイダンスデータを取得するステップと、をさらに含む。
【0009】
上記の出願の1つの選択可能な実施形態として、キーワードを比較する方法により、音声情報とマッチングする操作ガイダンスデータを決定して、ターゲット操作ガイダンスデータを正確に取得し、また、キーワードを比較することによって操作ガイダンスデータを決定する方法は、より速く、より効率的である。
【0010】
選択可能に、第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信するステップは、
前記第1のアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すのを監視した場合、前記クロスプロセスアクセスインタフェースから操作ガイダンスデータを読み出し、ここで、前記第1のアプリケーションプログラムは、前記クロスプロセスアクセスインタフェースを呼び出すことにより、前記操作ガイダンスデータを前記クロスプロセスアクセスインタフェースに記憶するステップを含み、
前記ターゲット操作ガイダンスデータを前記第1のアプリケーションプログラムに送信するステップは、
前記第1のアプリケーションプログラムが前記クロスプロセスアクセスインタフェースを呼び出すことにより前記ターゲット操作ガイダンスデータを取得するように、前記クロスプロセスアクセスインタフェースを呼び出すことにより前記ターゲット操作ガイダンスデータを前記クロスプロセスアクセスインタフェースに記憶するステップを含む。
【0011】
上記の出願の1つの選択可能な実施形態として、クロスプロセスアクセスインタフェースを介して第1のアプリケーションプログラムと音声サービスアプリケーションプログラムとの間のデータ伝送を実現し、データ伝送の信頼性、安定性及び高効率を確保する。
【0012】
選択可能に、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップの前に、
前記第1のアプリケーションプログラムから送信された、各前記操作ガイダンスデータに対応する初期ユーザインテント、及び各前記操作ガイダンスデータに対応する次の操作データを受信するステップをさらに含み、
前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップの後に、
アプリケーションプログラムのセットから、前記ターゲット操作ガイダンスデータに対応する初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するステップと、
前記ターゲット操作ガイダンスデータに対応する次の操作データを前記第2のアプリケーションプログラムに送信し、前記第2のアプリケーションプログラムが前記次の操作データを操作するようにトリガーするステップと、をさらに含む。
【0013】
上記の出願の1つの選択可能な実施形態として、第1のアプリケーションプログラムは、操作ガイダンスデータの初期ユーザインテントを提供し、即ち、第1のアプリケーションプログラムが思った、ユーザが次の操作を実行するときの可能なユーザインテントを提供し、第2のアプリケーションプログラムが初期ユーザインテントを満たす場合、次の操作データを第2のアプリケーションプログラムに送信し、第2のアプリケーションプログラムが次の操作データを操作するように自動的にトリガーして、ユーザインテントを実現する。本実施例では、第1のアプリケーションプログラムで操作ガイダンスを行うだけでなく、第2のアプリケーションプログラムを自動的にトリガーしてユーザインテントを実現することもできる。
【0014】
選択可能に、アプリケーションプログラムのセットから、前記ターゲット操作ガイダンスデータに対応する初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するステップは、
前記音声情報のインテント認識を行い、明確なユーザインテントを取得するステップと、
前記明確なユーザインテントが、前記ターゲット操作ガイダンスデータに対応する初期ユーザインテントとマッチングする場合、アプリケーションプログラムのセットから、前記初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するステップと、を含む。
【0015】
上記の出願の1つの選択可能な実施形態として、明確なユーザインテントの精度が高いため、音声情報のインテント認識を行って明確なユーザインテントを再び取得し、音声情報の明確なユーザインテントが、ターゲット操作ガイダンスデータに対応する初期ユーザインテントとマッチングする場合、ユーザが確かに該インテントを持っていることを意味し、これにより、初期ユーザインテン及びと第2のアプリケーションプログラムの決定の精度が向上する。
【0016】
選択可能に、前記操作ガイダンスデータを前記ユーザに提供するステップは、
前記操作ガイダンスデータを表示するステップ、及び/又は
前記操作ガイダンスデータの音声情報を再生するステップを含む。
【0017】
上記の出願の1つの選択可能な実施形態として、表示及び音声再生の少なくとも1つにより操作ガイダンスデータをユーザに提供し、提供方式が多様であり、従来技術の数ページの操作ガイダンスページと比較して、本実施例では、次の操作のガイダンスデータのみを表示又は再生することで、提供コンテンツが簡略化され、ユーザがより受け入れやすくなる。
【0018】
選択可能に、前記操作ガイダンスデータを表示するステップは、
前記操作ガイダンスデータをページングで表示するステップを含み、
前記ユーザから入力された音声情報を受信し、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップは、
前記ユーザから入力された少なくとも1ラウンドの音声情報を受信し、各ラウンドの前記音声情報を認識するステップと、
ページ番号情報が認識された場合、前記ページ番号情報に対応する操作ガイダンスデータを表示するステップと、
ページ番号情報が認識されない場合、現在のページに表示されている操作ガイダンスデータから、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するステップと、を含む。
【0019】
上記の出願の1つの選択可能な実施形態は、操作ガイダンスデータのページング表示をサポートし、これにより、操作ガイダンスデータのデータ量を増やし、ページングによってページの簡潔さを確保することができ、ユーザは音声でページ送りを制御でき、1ラウンドの操作ではマルチステップの音声入力操作を兼ねることができる。
【0020】
選択可能に、第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信するステップの前に、
前記第1のアプリケーションプログラムの署名を受信するステップと、
前記署名を検証し、検証合格の結果を取得するステップと、をさらに含む。
前記ターゲット操作ガイダンスデータを前記第1のアプリケーションプログラムに送信するステップは、
前記ターゲット操作ガイダンスデータを暗号化して前記第1のアプリケーションプログラムに送信するステップを含む。
【0021】
上記の出願の1つの選択可能な実施形態では、第1のアプリケーションプログラムの署名を検証し、ターゲット操作ガイダンスデータを暗号化して送信することにより、データ伝送のセキュリティを確保する。
【0022】
第2の態様では、本願の実施例は、
第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信するように構成され受信モジュールであって、前記操作ガイダンスデータは、ユーザの現在の操作に基づいて前記第1のアプリケーションプログラムによって得られた次の操作のガイダンスデータである受信モジュールと、
前記操作ガイダンスデータを前記ユーザに提供するように構成される提供モジュールと、
前記ユーザから入力された音声情報を受信し、前記音声情報とマッチングするターゲット操作ガイダンスデータを決定するように構成される決定モジュールと、
前記第1のアプリケーションプログラムが前記ターゲット操作ガイダンスデータに従って次の操作を行うように、前記ターゲット操作ガイダンスデータを前記第1のアプリケーションプログラムに送信するように構成される送信モジュールと、を含むアプリケーションプログラムの操作ガイダンス装置をさらに提供する。
【0023】
第3の態様では、本願の実施例は、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信接続されるメモリと、を含む電子機器であって、
前記メモリには前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも1つのプロセッサによって実行される場合、前記少なくとも1つのプロセッサが上記いずれかの実施例に記載のアプリケーションプログラムの操作ガイダンス方法を実行できる電子機器をさらに提供する。
【0024】
第4の態様では、本願の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに上記いずれかの実施例に記載のアプリケーションプログラムの操作ガイダンス方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供する。
【0025】
第5の態様では、本願の実施例は、コンピュータに上記いずれかの実施例に記載のアプリケーションプログラムの操作ガイダンス方法を実行させるコンピュータプログラムをさらに提供する。
【0026】
上記の選択可能な実施形態が奏する他の効果は、特定の実施例と併せて以下に記載される。
【図面の簡単な説明】
【0027】
図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
【
図1】本願の実施例1に係るアプリケーションプログラムの操作ガイダンス方法のフローチャートである。
【
図2】本願の実施例2に係るアプリケーションプログラムの操作ガイダンス方法のフローチャートである。
【
図3】本願の実施例3に係るアプリケーションプログラムの操作ガイダンス方法のフローチャートである。
【
図4】本願の実施例4に係るアプリケーションプログラムの操作ガイダンス方法のフローチャートである。
【
図5】本願の実施例5に係るアプリケーションプログラムの操作ガイダンス装置の構成図である。
【
図6】本願の実施例に係るアプリケーションプログラムの操作ガイダンス方法を実現するための電子機器のブロック図である。
【発明を実施するための形態】
【0028】
以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするためにその中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構成の説明を省略する。
【0029】
[実施例1]
図1は、本願の実施例1に係るアプリケーションプログラムの操作ガイダンス方法のフローチャートである。本願の実施例は、アプリケーションプログラムを逐次操作するようにユーザをガイダンスする場合に適する。該方法は、アプリケーションプログラムの操作ガイダンス装置によって実行され、該装置は、ソフトウェア及び/又はハードウェアで実現され、具体的には、一定のデータコンピューティング機能を備えた電子機器に配置される。選択可能に、電子機器は、スマートフォン又は車載機器側であり、車載機器側には、第1のアプリケーションプログラム及び音声サービスアプリケーションプログラムがインストールされており、第1のアプリケーションプログラムは、音声サービスアプリケーションプログラムの支援下でユーザに操作ガイダンスを行う。
【0030】
図1に示すアプリケーションプログラムの操作ガイダンス方法は、具体的には、電子機器内の音声サービスアプリケーションプログラムによって実行され、前記方法は、以下のステップS110~ステップS140を含む。
【0031】
S110において、第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信し、操作ガイダンスデータは、ユーザの現在の操作に基づいて第1のアプリケーションプログラムによって得られた次の操作のガイダンスデータである。
【0032】
第1のアプリケーションプログラムは、新しく起動されたアプリケーションプログラムや新しい機能を追加するアプリケーションプログラムなど、操作ガイダンス需要を持つアプリケーションプログラムであり、説明と区別の便宜上、操作ガイダンス需要を持つアプリケーションプログラムは、第1のアプリケーションプログラムと言う。
【0033】
ユーザは、第1のアプリケーションプログラムのアイコンをトリガーして第1のアプリケーションプログラムを開くか、又は第1のアプリケーションプログラムの機能アイコンをトリガーして第1のアプリケーションプログラムを制御して対応する機能を実行するなど、第1のアプリケーションプログラムに対して直接操作を行うことができる。また、ユーザは、音声情報を入力して次の操作データを取得し、次の操作データを第1のアプリケーションプログラムに送信して、第1のアプリケーションプログラムに対する間接操作を実現することもできる。ここでのユーザの現在の操作は、直接操作であってもよいし、間接操作であってもよいが、現在の操作はシングルステップ操作である必要がある。
【0034】
第1のアプリケーションプログラムは、内部実現ロジックに応じて、ユーザの現在の操作に従って応答し、現在の操作の次の操作のガイダンスデータを取得する。ここで、次の操作のガイダンスデータは、ユーザが次の操作を行うようにガイダンスするデータであり、次の操作の数及び操作ガイダンスデータの数は、いずれも少なくとも1つであり、次の操作と操作ガイダンスデータとは1対1で対応している。一例として、現在の操作は、飲食注文アイコンをクリックする操作であり、次の操作は、湖南料理アイコンを選択する操作、広東料理アイコンを選択する操作、及び西洋料理アイコンを選択する操作を含み、各々の次の操作のガイダンスデータはそれぞれ、「湖南料理を選択するか否か、広東料理を選択するか否か、及び西洋料理を選択するか否か」というテキストである。次に、第1のアプリケーションプログラムは、操作ガイダンスデータを音声サービスアプリケーションプログラムに送信する。
【0035】
S120において、操作ガイダンスデータをユーザに提供する。
【0036】
音声サービスアプリケーションプログラムは、第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信した後、ユーザが次の操作のガイダンスデータを知るように操作ガイダンスデータをユーザに提供する。
【0037】
音声サービスアプリケーションプログラムは、操作ガイダンスに加えて、通常の音声インタラクション機能も備えており、つまり、ユーザが入力した音声情報を認識し、適切なコンテンツをマッチングして再生し、ユーザとの音声インタラクションを実現する。これに基づいて、操作ガイダンスデータをユーザに提供するとき又は提供する前に、操作ガイダンスデータにラベルを付ける。
【0038】
S130において、ユーザから入力された音声情報を受信し、音声情報とマッチングするターゲット操作ガイダンスデータを決定する。
【0039】
ユーザは、次の操作のガイダンスデータを知った後、その中から、実行する次の操作を決定し、次の操作に対応する音声を能動的に送信する。上記の例に続いて、ユーザは「湖南料理を選択する」という音声情報を入力する。
【0040】
操作ガイダンスデータがラベル付けされている場合、S120の後に、前述した通常操作ではなく、受信した音声情報に対してS130、S140の操作を行う必要があることを意味する。逆に、あるデータがラベル付けされていない場合、その後受信した音声情報に対して通常の操作を行い、つまり、音声情報を認識し、適切なコンテンツをマッチングして再生する。
【0041】
選択可能に、操作ガイダンスデータの数が1つである場合、音声情報が該操作ガイダンスデータとマッチングするか否かを判断し、マッチングする場合、該操作ガイダンスデータをターゲット操作ガイダンスデータとして決定し、マッチングしない場合、該操作ガイダンスデータはターゲット操作ガイダンスデータではない。操作ガイダンスデータの数が2つ以上である場合、2つ以上の操作ガイダンスデータから音声情報とマッチングする操作ガイダンスデータをターゲット操作ガイダンスデータとして決定する。具体的には、音声サービスアプリケーションプログラムは、音声情報を認識し、認識結果を操作ガイダンスデータとマッチングし、マッチングするターゲット操作ガイダンスデータを決定する。
【0042】
S140において、第1のアプリケーションプログラムがターゲット操作ガイダンスデータに従って次の操作を行うように、ターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信する。
【0043】
操作ガイダンスデータは、次の操作データと1対1で対応する。次の操作データには操作命令とパラメータが含まれ、例えば、「湖南料理を選択するか否か」に対応する次の操作データには、選択操作命令と湖南料理パラメータが含まれる。第1のアプリケーションプログラムは、ターゲット操作ガイダンスデータを得た後、ターゲット操作ガイダンスデータに応じて次の操作データを決定し、また操作命令とパラメータに従って次の操作を行い、例えば、湖南料理アイコンを選択する操作を行って湖南料理レストランページに入るなど。
【0044】
選択可能に、第1のアプリケーションプログラムは、音声サービスアプリケーションプログラムに操作ガイダンスデータを送信するとき、操作ガイダンスデータに対応する次の操作データをも送信する。それに対応して、S130の前に、第1のアプリケーションプログラムから送信された操作ガイダンスデータに対応する次の操作データを受信するステップをさらに含む。さらに、S130の後に、ターゲット操作ガイダンスデータに応じて次の操作データを決定するステップをさらに含む。これに基づいて、音声サービスアプリケーションプログラムは、ユーザの次の操作データを知ることができ、ユーザの具体的な操作行動を取得しやすくなり、ユーザの行動分析とに役立つ。
【0045】
本願の実施例では、第1のアプリケーションプログラムから送信されたユーザの次の操作の操作ガイダンスデータを受信し、ユーザが次の操作を知るように該操作ガイダンスデータをユーザに提供し、ユーザは、次の操作の音声情報を入力し、音声情報とマッチングするターゲット操作データを決定する。音声入力の方式により、ユーザの操作が便利になり、ユーザと音声サービスアプリケーションプログラムとの間のインタラクションエクスペリエンスが向上する。次に、ターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信し、第1のアプリケーションプログラムは、ターゲット操作ガイダンスデータに従って次の操作を行うことができる。本実施例に係る第1のアプリケーションプログラムには音声認識機能が統合される必要がなく、即ち、第1のアプリケーションプログラムの内部実現ロジックを変更する必要はなく、操作ガイダンスデータを提供するだけで、次の操作を行うようにユーザを能動的にガイダンスすることができ、第1のアプリケーションプログラムがマルチラウンドの操作ガイダンスデータを提供するとき、ステップ順に逐次操作を行うようにユーザを能動的にガイダンスすることができ、効率的で便利なアクティブマルチラウンド操作ガイダンスを実現することができ、ユーザが覚える必要がないとともに、第1のアプリケーションプログラムがユーザの具体的な操作行動を取得しやすくなり、ユーザの行動分析に役立つ。
【0046】
[実施例2]
図2は、本願の実施例2に係るアプリケーションプログラムの操作ガイダンス方法のフローチャートである。本願の実施例は、上記の各実施例の技術案に基づいて最適化されるものである。
【0047】
選択可能に、操作ガイダンスデータの数は、少なくとも1つであり、「音声情報とマッチングするターゲット操作ガイダンスデータを決定する」ステップの前に、「第1のアプリケーションプログラムから送信された各操作ガイダンスデータのキーワードを受信する」ステップを追加し、それに対応して、「音声情報とマッチングするターゲット操作ガイダンスデータを決定する」操作を「音声情報のキーワード認識を行い、音声情報のキーワードを取得し、各操作ガイダンスデータのキーワードと音声情報のキーワードとを比較し、比較結果がマッチングするターゲット操作ガイダンスデータを取得する」ステップに細分化することにより、マッチングする精度及び効率を向上させることができる。
【0048】
図2に示すアプリケーションプログラムの操作ガイダンス方法は、以下のステップS210~ステップS250を含む。
【0049】
S210において、第1のアプリケーションプログラムから送信された、操作ガイダンスデータ及び各操作ガイダンスデータのキーワードを受信する。
【0050】
第1のアプリケーションプログラムは、操作ガイダンスデータをキーワードとともに送信することができ、このステップに示すように、それぞれ送信することもできる。具体的には、音声情報とマッチングするターゲット操作ガイダンスデータを決定する前に、各操作ガイダンスデータのキーワードを送信する。このようにすることで、音声サービスアプリケーションプログラムは、音声情報とマッチングするターゲット操作ガイダンスデータを決定する前に該キーワードを受信することができる。
【0051】
各操作ガイダンスデータのキーワードは少なくとも1つであり、例えば、「湖南料理を選択するか否か」のキーワードは湖南料理であり、「人民公園の駐車場に行く」のキーワードは、人民公園と駐車場とを含む。
【0052】
S220において、操作ガイダンスデータをユーザに提供する。
【0053】
S230において、ユーザから入力された音声情報を受信し、音声情報のキーワード認識を行い、音声情報のキーワードを取得する。
【0054】
選択可能に、音声情報をテキストに変換し、該テキストに対して、次のいずれか1つの操作を行う。操作1)テキストを正規表現にマッチングし、キーワードの位置を特定してキーワードを認識する。操作2)テキストのプレフィックス及びサフィックスを除去し、キーワードを保持する。
【0055】
音声サービスアプリケーションプログラムは、音声情報をローカルで傍受し、音声情報に対してローカルでキーワード認識を行って音声情報のキーワードを取得するため、サーバでの認識を必要とせず、速度がより速く、効率がより高くなる。当然のことながら、音声情報をサーバに送信し、サーバが提供する方法でキーワードを認識することもできる。
【0056】
S240において、各操作ガイダンスデータのキーワードと音声情報のキーワードとを比較し、比較結果がマッチングするターゲット操作ガイダンスデータを取得する。
【0057】
操作ガイダンスデータのキーワードが2つ以上あり、該操作ガイダンスデータのいずれかのキーワードが音声情報のキーワードとの比較結果がマッチングする場合、該操作ガイダンスデータがターゲット操作ガイダンスデータである。
【0058】
S250において、第1のアプリケーションプログラムがターゲット操作ガイダンスデータに従って次の操作を行うように、ターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信する。
【0059】
本実施例では、キーワード比較の方法により、音声情報とマッチングする操作ガイダンスデータを決定し、ターゲット操作ガイダンスデータを正確に取得する。また、キーワードを比較することによって操作ガイダンスデータを決定する方法は、より速く、より効率的である。
【0060】
[実施例3]
図3は、本願の実施例3に係るアプリケーションプログラムの操作ガイダンス方法のフローチャートである。本願の実施例は上記の各実施例の技術案に基づいて最適化されるものである。
【0061】
選択可能に、「第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信する」ステップを、「第1のアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すのを監視した場合、クロスプロセスアクセスインタフェースから操作ガイダンスデータを読み出し、ここで、第1のアプリケーションプログラムは、クロスプロセスアクセスインタフェースを呼び出すことにより、操作ガイダンスデータをクロスプロセスアクセスインタフェースに記憶する」ステップに細分化し、それに対応して、「ターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信する」ステップを、「第1のアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すことによりターゲット操作ガイダンスデータを取得するように、クロスプロセスアクセスインタフェースを呼び出すことによりターゲット操作ガイダンスデータをクロスプロセスアクセスインタフェースに記憶する」ステップに細分化する。
【0062】
選択可能に、「第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信する」ステップの前に、「第1のアプリケーションプログラムの署名を受信し、署名を検証し、検証合格の結果を取得する」ステップを追加する。
【0063】
選択可能に、「ターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信する」ステップを、「ターゲット操作ガイダンスデータを暗号化して第1のアプリケーションプログラムに送信する」ステップに細分化する。
【0064】
図3に示すアプリケーションプログラムの操作ガイダンス方法は、以下のステップS300~ステップS350を含む。
【0065】
S300において、第1のアプリケーションプログラムの署名を受信する。
【0066】
S310において、署名を検証し、検証合格の結果を取得する。
【0067】
具体的には、第1のアプリケーションプログラムは、自分の秘密キーを使用してデータパケットを暗号化して署名を取得し、署名をデータパケットに添付する。第1のアプリケーションプログラムは、署名とデータパケットとを音声サービスアプリケーションプログラムに送信する。音声サービスアプリケーションプログラムは、公開キーを使用して署名を成功に復号してデータパケットを取得し、データパケット名がホワイトリストに含まれている場合、検証に合格する。
【0068】
検証に合格した後、音声サービスアプリケーションプログラムは、検証を繰り返すことなく、第1のアプリケーションプログラムから送信されたデータを常に受信することができる。
【0069】
S320において、第1のアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すのを監視した場合、クロスプロセスアクセスインタフェースから操作ガイダンスデータを読み出し、ここで、第1のアプリケーションプログラムは、クロスプロセスアクセスインタフェースを呼び出すことにより、操作ガイダンスデータをクロスプロセスアクセスインタフェースに記憶する。
【0070】
本実施例では、第1のアプリケーションプログラムが呼び出すためにクロスプロセスアクセスインタフェースを開発した。クロスプロセスアクセスインタフェースは、アンドロイドインタフェース定義言語(Android Interface definition language,AIDL)を使用して開発される。これにより、第1のアプリケーションプログラムと音声インタラクティブシステムとの間のインタラクションが可能になる。クロスプロセスアクセスインタフェースにデータの記憶方法及び読み出し方法がカプセル化されており、第1のアプリケーションプログラムは、音声サービスアプリケーションプログラムが読み出すように、クロスプロセスアクセスインタフェースを呼び出すことにより操作ガイダンスデータをクロスプロセスアクセスインタフェースに記憶する。
【0071】
一適用シナリオでは、第1のアプリケーションプログラムと音声サービスアプリケーションプログラムの両方がモバイル開発プラットフォーム、つまりモバイル開発プラットフォームが統合されたソフトウェア開発キット(Software Development Kit,SDK)にアクセスする。モバイル開発プラットフォームでクロスプロセスアクセスインタフェースを開発することにより、第1のアプリケーションプログラム及び音声サービスアプリケーションプログラムの呼び出し及び監視は、便利になる。
【0072】
選択可能に、データ伝送のセキュリティを確保するために、第1のアプリケーションプログラムは、操作ガイダンスデータを暗号化した後、クロスプロセスアクセスインタフェースを呼び出して、記憶を行う。それに対応して、音声サービスアプリケーションプログラムは、後続の操作を行う前に、暗号化された操作ガイダンスデータを復号する必要がある。
【0073】
選択可能に、占有帯域幅を減らすために、操作ガイダンスデータのフォーマットをJsonにする。
【0074】
S330において、操作ガイダンスデータをユーザに提供する。
【0075】
S340において、ユーザから入力された音声情報を受信し、音声情報とマッチングするターゲット操作ガイダンスデータを決定する。
【0076】
S350において、第1のアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すことによりターゲット操作ガイダンスデータを取得し、ターゲット操作ガイダンスデータに従って次の操作を行うように、クロスプロセスアクセスインタフェースを呼び出すことによりターゲット操作ガイダンスデータをクロスプロセスアクセスインタフェースに記憶する。
【0077】
具体的には、音声サービスアプリケーションプログラムは、クロスプロセスアクセスインタフェースを呼び出すことにより、ターゲット操作ガイダンスデータをクロスプロセスアクセスインタフェースに記憶する。第1のアプリケーションプログラムは、音声サービスアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すのを監視した場合、同様に、クロスプロセスアクセスインタフェースを呼び出すことにより、ターゲット操作ガイダンスデータを取得する。
【0078】
選択可能に、音声サービスアプリケーションプログラムは、ターゲット操作ガイダンスデータを暗号化してクロスプロセスアクセスインタフェースに記憶し、第1のアプリケーションプログラムは、クロスプロセスアクセスインタフェースを呼び出すことにより、暗号化されたターゲット操作ガイダンスデータを取得し、ターゲット操作データを復号し、復号されたターゲット操作ガイダンスデータに従って次の操作を行う。
【0079】
本実施例では、第1のアプリケーションプログラムの署名を検証し、ターゲット操作ガイダンスデータを暗号化して送信することにより、データ伝送のセキュリティを確保する。クロスプロセスアクセスインタフェースを介して第1のアプリケーションプログラムと音声サービスアプリケーションプログラムとの間のデータ伝送を実現し、データ伝送の信頼性、安定性及び高効率を確保する。なお、本実施例では、クロスプロセスアクセスインタフェースを呼び出すことにより、操作ガイダンスデータを送受信し、また、クロスプロセスアクセスインタフェースを呼び出すことにより、上記及び後続の実施例におけるキーワード、初期ユーザインテント及び次の操作データを送受信し、また、キーワード、初期ユーザインテント及び次の操作データを暗号化して送信することにより、すべてのデータのセキュリティ、信頼性、安定性及び高効率を確保する。
【0080】
[実施例4]
図4は、本願の実施例4に係るアプリケーションプログラムの操作ガイダンス方法のフローチャートであり、本願の実施例は、上記の各実施例の技術案に基づいて最適化されるものである。
【0081】
選択可能に、「音声情報とマッチングするターゲット操作ガイダンスデータを決定する」ステップの前に、「第1のアプリケーションプログラムから送信された、各操作ガイダンスデータに対応する初期ユーザインテント、及び各操作ガイダンスデータに対応する次の操作データを受信する」ステップを追加し、それに対応して、「音声情報とマッチングするターゲット操作ガイダンスデータを決定する」ステップの後、「アプリケーションプログラムのセットから、ターゲット操作ガイダンスデータに対応する初期ユーザインテントを満たす第2のアプリケーションプログラムを決定し、ターゲット操作ガイダンスデータに対応する次の操作データを第2のアプリケーションプログラムに送信し、第2のアプリケーションプログラムが次の操作データを操作するようにトリガーする」ステップを追加する。
【0082】
選択可能に、「操作ガイダンスデータをユーザに提供する」ステップを、「操作ガイダンスデータを表示するステップ、及び/又は、操作ガイダンスデータの音声情報を再生するステップ」に細分化することにより、提供コンテンツが簡略化され、ユーザがより受け入れやすくなる。
【0083】
図4に示すアプリケーションプログラムの操作ガイダンス方法は、以下のステップS410~ステップS460を含む。
【0084】
S410において、第1のアプリケーションプログラムから送信された、操作ガイダンスデータ、各操作ガイダンスデータに対応する初期ユーザインテント、及び各操作ガイダンスデータに対応する次の操作データを受信する。
【0085】
第1のアプリケーションプログラムは、操作ガイダンスデータを初期ユーザインテント及び次の操作データとともに送信することができ、本ステップに示すようにそれぞれ送信することもできる。具体的には、音声情報とマッチングするターゲット操作ガイダンスデータを決定する前に、各操作ガイダンスデータに対応する初期ユーザインテント及び次の操作データを送信することにより、音声サービスアプリケーションプログラムは、音声情報とマッチングするターゲット操作ガイダンスデータを決定する前に初期ユーザインテント及び次の操作データを受信することができる。
【0086】
各操作ガイダンスデータに対応する初期ユーザインテントは、第1のアプリケーションプログラムが操作ガイダンスデータに対してインテント分析を実行して得られたものであり、第1のアプリケーションプログラムが思った、ユーザが操作ガイダンスデータに対応する次の操作を行うときの可能なユーザインテントである。例えば、操作ガイダンスデータが人民公園の駐車場に行くことである場合、その対応する初期ユーザインテントはナビゲーションである。また、例えば、操作ガイダンスデータが歌手Aの歌である場合、そのに対応する初期ユーザインテントは音楽を聴くことである。
【0087】
なお、第1のアプリケーションプログラムが初期ユーザインテントを満たすことができない場合、例えば、ナビゲーション及び音楽再生機能を具備しない場合、初期ユーザインテントを音声サービスアプリケーションプログラムに送信する。第1のアプリケーションプログラムが初期ユーザインテントを満たすことができる場合、第1のアプリケーションプログラムに送信する必要はなく、ターゲット操作ガイダンスデータを受信した後、本アプリケーションプログラムの関連機能により初期ユーザインテントを満たすことができる。これからわかるように、第1のアプリケーションプログラムから送信された初期ユーザインテントを受信した場合、初期ユーザインテントを満たすことができる機能サポートを外部から提供することが必要であることを意味する。
【0088】
S420において、操作ガイダンスデータを表示し、及び/又は、操作ガイダンスデータの音声情報を再生する。
【0089】
選択可能に、スマートフォンや車載機器側の画面などの電子機器に操作ガイダンスデータをリスト形式で表示し、及び/又は操作ガイダンスデータを音声合成して音声情報を取得し、電子機器のプレーヤーで再生する。表示及び音声再生のの少なくとも1つにより操作ガイダンスデータをユーザに提供し、提供方法が多様であり、従来技術の数ページの操作ガイダンスページと比較して、本実施例では、次の操作のガイダンスデータのみを表示又は再生することで、提供コンテンツが簡略化され、ユーザがより受け入れやすくなる。
【0090】
選択可能に、操作ガイダンスデータが多い場合、操作ガイダンスデータをページングで表示し、ページング表示モードは、操作ガイダンスデータのデータ量の増加に役立ち、ページング方式で1ページのデータ量が制限され、ページの簡潔さが確保される。
【0091】
S430において、ユーザから入力された音声情報を受信し、音声情報とマッチングするターゲット操作ガイダンスデータを決定する。
【0092】
選択可能に、操作ガイダンスデータをページングで表示する場合、ユーザから入力された少なくとも1ラウンドの音声情報を受信し、各ラウンドの音声情報を認識し、ページ番号情報が認識された場合、ページ番号情報に対応する操作ガイダンスデータを表示し、ページ番号情報が認識されない場合、現在のページに表示されている操作ガイダンスデータから、音声情報とマッチングするターゲット操作ガイダンスデータを決定する。
【0093】
ここで、ページ番号情報には、「前のページ」、「次のページ」、「Xページ目」が含まれる。ユーザは、少なくとも1ラウンドの音声情報を入力でき、例えば、「次のページ」を3ラウンド連続して入力する。ページ番号情報が認識された場合、ページ番号情報に対応する操作ガイダンスデータを電子機器の画面に表示する。ページ番号情報が認識されない場合、音声情報のキーワード認識を行い、音声情報のキーワードを取得し、現在のページに表示されている操作ガイダンスデータのキーワードと、音声情報のキーワードとを比較し、比較結果がマッチングするターゲット操作ガイダンスデータを取得する。本実施例では、ユーザは、音声でページ送りを制御でき、1ラウンドの操作ではマルチステップの音声入力操作を兼ねることができる。
【0094】
選択可能に、S420以降の設定時間、例えば、ユーザが入力した音声情報が2分間内に受信されない場合、いずれかの操作ガイダンスデータをターゲット操作ガイダンスデータとして使用するか、本回の操作を終了してもよい。
【0095】
S440において、アプリケーションプログラムのセットから、ターゲット操作ガイダンスデータに対応する初期ユーザインテントを満たす第2のアプリケーションプログラムを決定する。
【0096】
電子機器には、第1のアプリケーションプログラム及び音声サービスアプリケーションプログラム以外の複数のアプリケーションプログラムもインストールされて、アプリケーションプログラムのセットを構成する。アプリケーションプログラムセット内のアプリケーションプログラムは、初期ユーザインテントを満たすことができる。
【0097】
選択可能に、初期ユーザインテントと、初期ユーザインテントを満たすことができるアプリケーションプログラムとの対応関係を事前に確立し、例えば、ナビゲーションとマップアプリケーションプログラムとの対応関係を事前に確立し、リスニングミュージックと音楽アプリケーションプログラムとの対応関係を事前に確立する。ターゲット操作ガイダンスデータに対応する初期ユーザインテントを決定した後、対応関係に基づいて、決定された初期ユーザインテントに対応するアプリケーションプログラムを選択し、第1のアプリケーションプログラムと区別するために第2のアプリケーションプログラムと言う。
【0098】
S450において、ターゲット操作ガイダンスデータに対応する次の操作データを第2のアプリケーションプログラムに送信し、第2のアプリケーションプログラムが次の操作データを操作するようにトリガーする。
【0099】
選択可能に、該アプリケーションプログラムは、同様にモバイル開発プラットフォームにもアクセスし、音声サービスアプリケーションプログラムによって制御することができる。具体的には、音声サービスアプリケーションプログラムは、ターゲット操作ガイダンスデータに対応する操作命令及びパラメータを第2のアプリケーションプログラムに送信し、例えば、「人民公園の駐車場に行く」の操作命令はナビゲーションであり、パラメータは現在の位置、及び目的地である人民公園の駐車場である。さらに、音声サービスアプリケーションプログラムは、第2のアプリケーションプログラムが操作命令及びパラメータを操作するようにトリガーし、例えば、第2のアプリケーションプログラムは人民公園の駐車場に自動的にナビゲートする。
【0100】
初期ユーザインテントの精度を優先することを考慮し、選択可能に、音声情報のインテント認識を行い、明確なユーザインテントを取得し、明確なユーザインテントが、ターゲット操作ガイダンスデータに対応する初期ユーザインテントとマッチングする場合、初期ユーザインテントを満たす第2のアプリケーションプログラムを決定する。具体的には、音声情報のテキストをインテント認識モデルに入力し、インテント認識モデルによって出力されたユーザインテントを取得し、初期ユーザインテントの命名と区別するために明確なユーザインテントと言う。明確なユーザインテントの精度が高いため、音声情報のインテント認識を行って明確なユーザインテントを再び取得し、音声情報の明確なユーザインテントが、ターゲット操作ガイダンスデータに対応する初期ユーザインテントとマッチングする場合、ユーザが確かに該インテントを持っていることを意味し、これにより、初期ユーザインテント及び第2のアプリケーションプログラムの決定精度が向上する。
【0101】
S460において、第1のアプリケーションプログラムがターゲット操作ガイダンスデータに従って次の操作を行うようにターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信する。
【0102】
なお、S460と並行してS440~S450を実行してもよく、S460を先に実行してからS440~S450を実行してもよい。
【0103】
本実施例では、第1のアプリケーションプログラムは、操作ガイダンスデータの初期ユーザインテント及び次の操作データを提供し、初期ユーザインテントを満たす第2のアプリケーションプログラムを決定することにより、次の操作データを第2のアプリケーションプログラムに送信し、第2のアプリケーションプログラムが次の操作データを操作するように自動的にトリガーして、ユーザインテントを実現する。本実施例では、第1のアプリケーションプログラムで操作ガイダンスを行うだけでなく、第2のアプリケーションプログラムを自動的にトリガーしてユーザインテントを実現することもできる。
【0104】
[実施例5]
図5は、本願の実施例5に係るアプリケーションプログラムの操作ガイダンス装置の構成図である。本願の実施例は、アプリケーションプログラムを逐次操作するようにユーザをガイダンスする場合に適する。該装置は、ソフトウェア及び/又はハードウェアで実現され、具体的には、一定のデータコンピューティング機能を備えた電子機器に配置される。
【0105】
図5に示すアプリケーションプログラムの操作ガイダンス装置500は、受信モジュール501、提供モジュール502、決定モジュール503及び送信モジュール504を含む。
【0106】
受信モジュール501は、第1のアプリケーションプログラムから送信された操作ガイダンスデータを受信するように構成され、操作ガイダンスデータは、ユーザの現在の操作に基づいて第1のアプリケーションプログラムによって得られた次の操作のガイダンスデータである。
【0107】
提供モジュール502は、操作ガイダンスデータをユーザに提供するように構成される。
【0108】
決定モジュール503は、ユーザから入力された音声情報を受信し、音声情報とマッチングするターゲット操作ガイダンスデータを決定するように構成される。
【0109】
送信モジュール504は、第1のアプリケーションプログラムがターゲット操作ガイダンスデータに従って次の操作を行うように、ターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信するように構成される。
【0110】
本願の実施例では、第1のアプリケーションプログラムから送信されたユーザの次の操作の操作ガイダンスデータを受信し、ユーザが次の操作を知るように、該操作ガイダンスデータをユーザに提供し、ユーザは次の操作の音声情報を入力し、音声情報とマッチングするターゲット操作データを決定し、音声入力の方式により、ユーザの操作が便利になり、ユーザと音声サービスアプリケーションプログラムとの間のインタラクションエクスペリエンスが向上する。次に、ターゲット操作ガイダンスデータを第1のアプリケーションプログラムに送信し、第1のアプリケーションプログラムは、ターゲット操作ガイダンスデータに従って次の操作を行うことができる。本実施例に係る第1のアプリケーションプログラムには、音声認識機能が統合される必要がなく、即ち、第1のアプリケーションプログラムの内部実現ロジックを変更する必要がなく、操作ガイダンスデータを提供するだけで、次の操作を行うにユーザを能動的にガイダンスすることができ、第1のアプリケーションプログラムがマルチラウンド操作ガイダンスデータを提供するとき、ステップ順に逐次操作を行うようにユーザを能動的にガイダンスすることができ、効率的で便利なアクティブマルチラウンド操作ガイダンスを実現することができ、ユーザが覚える必要がないとともに、第1のアプリケーションプログラムがユーザの具体的な操作行動を取得すしやすくなり、ユーザの行動分析に役立つ。
【0111】
さらに、操作ガイダンスデータの数は、少なくとも1つであり、該装置は、第1のアプリケーションプログラムから送信された各操作ガイダンスデータのキーワードを受信するように構成されるキーワード受信モジュールをさらに含む。決定モジュール503は、音声情報とマッチングするターゲット操作ガイダンスデータを決定するとき、具体的には、音声情報のキーワード認識を行い、音声情報のキーワードを取得し、各操作ガイダンスデータのキーワードと音声情報のキーワードとを比較し、比較結果がマッチングするターゲット操作ガイダンスデータを取得するように構成される。
【0112】
さらに、受信モジュール501は、具体的には、第1のアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すのを監視した場合、クロスプロセスアクセスインタフェースから操作ガイダンスデータを読み出すように構成され、ここで、第1のアプリケーションプログラムは、クロスプロセスアクセスインタフェースを呼び出すことにより、操作ガイダンスデータをクロスプロセスアクセスインタフェースに記憶する。送信モジュール504は、具体的には、第1のアプリケーションプログラムがクロスプロセスアクセスインタフェースを呼び出すことによりターゲット操作ガイダンスデータを取得するように、クロスプロセスアクセスインタフェースを呼び出すことによりターゲット操作ガイダンスデータをクロスプロセスアクセスインタフェースに記憶するように構成される。
【0113】
さらに、該装置は、第1のアプリケーションプログラムから送信された、各操作ガイダンスデータに対応する初期ユーザインテント、及び各操作ガイダンスデータに対応する次の操作データを受信するように構成される初期ユーザインテント及び次の操作データ受信モジュールをさらに含む。該装置は、アプリケーションプログラム決定モジュール及びトリガーモジュールをさらに含む。アプリケーションプログラム決定モジュールは、アプリケーションプログラムのセットから、ターゲット操作ガイダンスデータに対応する初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するように構成される。トリガーモジュールは、ターゲット操作ガイダンスデータに対応する次の操作データを第2のアプリケーションプログラムに送信し、第2のアプリケーションプログラムが次の操作データを操作するようにトリガーするように構成される。
【0114】
さらに、アプリケーションプログラム決定モジュールは、具体的には、音声情報のインテント認識を行い、明確なユーザインテントを取得し、明確なユーザインテントが、ターゲット操作ガイダンスデータに対応する初期ユーザインテントとマッチングする場合、アプリケーションプログラムのセットから、初期ユーザインテントを満たす第2のアプリケーションプログラムを決定するように構成される。
【0115】
さらに、提供モジュール502は、具体的には、操作ガイダンスデータを表示し、及び/又は、操作ガイダンスデータの音声情報を再生するように構成される。提供モジュール502は、操作ガイダンスデータを表示するとき、具体的には、操作ガイダンスデータをページングで表示するように構成される。決定モジュール503は、具体的には、ユーザから入力された少なくとも1ラウンドの音声情報を受信し、各ラウンドの音声情報を認識し、ページ番号情報を認識した場合、ページ番号情報に対応する操作ガイダンスデータを表示し、ページ番号情報を認識しなかった場合、現在のページに表示されている操作ガイダンスデータから、音声情報とマッチングするターゲット操作ガイダンスデータを決定するように構成される。
【0116】
さらに、該装置は、第1のアプリケーションプログラムの署名を受信し、署名を検証し、検証合格の結果を取得するように構成される検証モジュールをさらに含む。送信モジュール504は、具体的には、ターゲット操作ガイダンスデータを暗号化して第1のアプリケーションプログラムに送信するように構成される。
【0117】
上記のアプリケーションプログラムの操作ガイダンス装置は、本願のいずれかの実施例に係るアプリケーションプログラムの操作ガイダンス方法を実行することができ、アプリケーションプログラムの操作ガイダンス方法を実行することに対応する機能モジュール及び有益な効果を有する。
【0118】
[実施例6]
本願の実施例によれば、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
【0119】
図6は、本願の実施例に係るアプリケーションプログラムの操作ガイダンス方法を実現する電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイル装置を表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本願の実現を制限することを意図したものではない。
【0120】
図6に示すように、当該電子機器は、1つ又は複数のプロセッサ601と、メモリ602と、高速インタフェース及び低速インタフェースを含む各コンポーネントを接続するためのインタフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力/出力装置(例えば、インタフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び/又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作(例えば、サーバアレイ、1グループのブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。
図6では、1つのプロセッサ601を例とする。
【0121】
メモリ602は、本願に係る非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記少なくとも1つのプロセッサが本願に係るアプリケーションプログラムの操作ガイダンス方法を実行するようにする。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願に係るアプリケーションプログラムの操作ガイダンス方法を実行させるためのコンピュータ命令が記憶されている。
【0122】
メモリ602は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例におけるアプリケーションプログラムの操作ガイダンス方法に対応するプログラム命令/モジュール(例えば、
図5に示す受信モジュール501、提供モジュール502、決定モジュール503及び送信モジュール504)のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ601は、メモリ602に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例におけるアプリケーションプログラムの操作ガイダンス方法を実現する。
【0123】
メモリ602は、プログラムストレージエリアとデータストレージエリアとを含むことができ、ここで、プログラムストレージエリアは、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができ、データストレージエリアは、アプリケーションプログラムの操作ガイダンス方法を実現する電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ602は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ602は、プロセッサ601に対して遠隔に設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介してアプリケーションプログラムの操作ガイダンス方法を実行する電子機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
【0124】
アプリケーションプログラムの操作ガイダンス方法を実行する電子機器は、入力装置603と出力装置604とをさらに含むことができる。プロセッサ601、メモリ602、入力装置603、及び出力装置604は、バス又は他の方式を介して接続することができ、
図6では、バスを介して接続することを例とする。
【0125】
入力装置603は、入力された数字又は文字情報を受信し、アプリケーションプログラムの操作ガイダンス方法を実行する電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置604は、ディスプレイデバイス、補助照明装置(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。
【0126】
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施され、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
【0127】
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)には、プログラマブルプロセッサの機械命令が含まれ、高レベルのプロセス及び/又はオブジェクト指向のプログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピュータプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック機器(PLD))を指し、機械読み取り可能な信号である機械命令を受信するための機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラマブルプロセッサに機械命令及び/又はデータを提供するための任意の信号を指す。
【0128】
ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形態(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
【0129】
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットと、ブロックチェーンネットワークとを含む。
【0130】
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント-サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。
【0131】
上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
【0132】
上記の具体的な実施形態は、本願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び置換を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改良などは、いずれも本願の保護範囲内に含まれるべきである。