特表 2022-503458 音声処理方法、装置、デバイス、プログラム及びコンピュータ記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-12

(54)【発明の名称】音声処理方法、装置、デバイス、プログラム及びコンピュータ記憶媒体

(51)【国際特許分類】

   G10L 15/22 20060101AFI20220104BHJP

   G06F 13/00 20060101ALI20220104BHJP

【ＦＩ】

G10L15/22 400

G10L15/22 300Z

G06F13/00 510A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021501274

(86)(22)【出願日】2020-05-07

(85)【翻訳文提出日】2021-01-22

(86)【国際出願番号】 CN2020088971

(87)【国際公開番号】W WO2021047197

(87)【国際公開日】2021-03-18

(31)【優先権主張番号】201910862424.1

(32)【優先日】2019-09-12

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】フアン、ジジョウ

(72)【発明者】

【氏名】ディン、シチアン

(72)【発明者】

【氏名】ホウ、チャンシュン

【テーマコード（参考）】

5B084

【Ｆターム（参考）】

5B084AA01

5B084AA23

5B084AA30

5B084AB11

5B084AB13

5B084AB36

5B084BB01

5B084CA07

5B084DA15

5B084DB01

5B084DB08

5B084DC03

(57)【要約】

本願は、音声技術分野に関し、音声処理方法、装置、デバイス、プログラム及びコンピュータ記憶媒体を開示した。具体的な実現方案において、第１の音声アシスタントは受信された音声リクエストを識別してテキストリクエストを取得し、上記テキストリクエストを処理できる第２の音声アシスタントの情報を確定し、第２の音声アシスタントを上記テキストリクエストに対する応答を実現するように呼び出す。本願の実現方案によれば、第１の音声アシスタントが幾つかの分野に対して専門外である場合に、上記分野に対して専門である第２の音声アシスタントを呼び出して具体的な応答処理を行うことができるため、ユーザのニーズに対してより正確に応じた。

【特許請求の範囲】

【請求項1】

音声処理方法であって、
第１の音声アシスタントのサーバが、受信された音声リクエストを識別することと、
識別されたテキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信することと、
確認情報を返信した前記他の音声アシスタントのサーバから第２の音声アシスタントの情報を確定することであって、前記確認情報は、前記確認情報を送信した前記他の音声アシスタントのサーバが前記テキストリクエストを処理できることを指示する情報である、ことと、
前記第１の音声アシスタントのクライアントが前記第２の音声アシスタントのクライアントを呼び出して前記テキストリクエストに対する応答を実現するように、前記テキストリクエストと前記第２の音声アシスタントの情報とを前記第１の音声アシスタントのクライアントに送信することと、を含む、音声処理方法。

【請求項2】

前記第２の音声アシスタントのサーバが前記テキストリクエストに対して返信されたトークン情報を受信することと、
前記第１の音声アシスタントのクライアントが前記第２の音声アシスタントのクライアントを呼び出す場合に前記テキストリクエストと前記トークン情報とを伝送するように、前記トークン情報を前記第１の音声アシスタントのクライアントに送信することと、を更に含む、請求項１に記載の音声処理方法。

【請求項3】

前記第１の音声アシスタントのクライアントから送信された、端末デバイスにインストール済みの音声アシスタント情報リストを受信することと、
前記音声アシスタント情報リストに基づいて、前記識別されたテキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信することを実行することと、を更に含む、請求項１または２に記載の音声処理方法。

【請求項4】

前記識別されたテキストリクエストを前記少なくとも一つの他の音声アシスタントのサーバに送信することの前に、
前記第１の音声アシスタントのサーバが前記テキストリクエストを処理できるか否かを判断し、否定の場合に前記識別されたテキストリクエストを前記少なくとも一つの他の音声アシスタントのサーバに送信することを継続して実行し、肯定の場合に、前記テキストリクエストに応答して応答結果を前記第１の音声アシスタントのクライアントに返信することを更に含む、請求項１から３のいずれか一項に記載の音声処理方法。

【請求項5】

前記確認情報を返信した前記他の音声アシスタントのサーバから前記第２の音声アシスタントの情報を確定することは、
前記確認情報を返信した前記他の音声アシスタントのサーバが一つだけあれば、前記サーバに対応する音声アシスタントの情報を前記第２の音声アシスタントの情報として確定し、
前記確認情報を返信した前記他の音声アシスタントのサーバが複数あれば、その中から選択された一つのサーバに対応する音声アシスタントの情報を前記第２の音声アシスタントの情報とすることを含む、請求項１から４のいずれか一項に記載の音声処理方法。

【請求項6】

音声処理方法であって、
第１の音声アシスタントのクライアントが音声リクエストを前記第１の音声アシスタントのサーバに送信し、
前記第１の音声アシスタントのサーバから返信された、前記音声リクエストを識別して得られたテキストリクエスト及び前記テキストリクエストを処理できる第２の音声アシスタントの情報を受信し、
前記第２の音声アシスタントのクライアントを呼び出して前記第２の音声アシスタントのクライアントに前記テキストリクエストに対する応答を実現させることを含む、音声処理方法。

【請求項7】

前記第１の音声アシスタントのクライアントが、前記第１の音声アシスタントのサーバから返信された、前記第２の音声アシスタントのサーバが前記テキストリクエストに対して生成したトークン情報を受信し、
前記第２の音声アシスタントのクライアントを呼び出す場合に前記テキストリクエストと前記トークン情報とを伝送することを更に含む、請求項６に記載の音声処理方法。

【請求項8】

前記第１の音声アシスタントのクライアントが、端末デバイスにインストールされた音声アシスタント情報リストを走査し、
前記音声アシスタント情報リストを前記第１の音声アシスタントのサーバに送信することを更に含む、請求項６または７に記載の音声処理方法。

【請求項9】

音声処理方法であって、
第２の音声アシスタントのクライアントが第１の音声アシスタントのクライアントの呼び出しを受信した後に、前記呼び出しにより伝送されたテキストリクエストを前記第２の音声アシスタントのサーバに送信し、
前記第２の音声アシスタントのサーバから前記テキストリクエストに対して返信された応答結果を受信することを含む、方法。

【請求項10】

前記呼び出しは更にトークン情報を伝送し、
前記第２の音声アシスタントのサーバが前記トークン情報を利用して認証を行うように、前記トークン情報を前記テキストリクエストと共に前記第２の音声アシスタントのサーバに送信する、請求項９に記載の音声処理方法。

【請求項11】

音声処理方法であって、
第２の音声アシスタントのサーバが、第１の音声アシスタントのサーバから送信された、前記第１の音声アシスタントのサーバが音声リクエストを識別して得られたテキストリクエストを受信し、
前記第１の音声アシスタントのサーバに前記第２の音声アシスタントのサーバが前記テキストリクエストを処理できることを指示する確認情報を返信し、
前記第２の音声アシスタントのクライアントから送信されたテキストリクエストを受信し、
前記テキストリクエストに応答し、前記第２の音声アシスタントのクライアントに前記テキストリクエストに対する応答結果を返信することを含む、音声処理方法。

【請求項12】

前記テキストリクエストに対してトークン情報を生成し、前記トークン情報を前記第１の音声アシスタントのサーバに送信することを更に含み、
前記テキストリクエストに対して応答することの前に、前記テキストリクエストと共に受信されたトークン情報と生成されたトークン情報とにより認証処理を行い、認証が成功すれば、前記テキストリクエストに対して応答することを継続して実行することを更に含む、請求項１１に記載の音声処理方法。

【請求項13】

前記テキストリクエストに対して応答することは、
前記テキストリクエストをタスクコマンドに解析し、前記タスクコマンドに基づいて対応するタスク処理を実行すること、或いは、
前記テキストリクエストをタスクコマンドに解析し、前記タスクコマンドと前記タスクコマンドを実行する非音声アシスタントの情報とを前記第２の音声アシスタントのクライアントに返信することにより、前記第２の音声アシスタントのクライアントが前記非音声アシスタントのクライアントを呼び出して前記タスクコマンドを実行するようにすることを含む、請求項１１又は１２に記載の音声処理方法。

【請求項14】

第１の音声アシスタントのサーバに設置される音声処理装置であって、
前記第１の音声アシスタントのクライアントから送信された音声リクエストを受信するクライアントインタラクションユニットと、
前記音声リクエストを識別してテキストリクエストを得る識別ユニットと、
前記テキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信し、確認情報を返信した前記他の音声アシスタントのサーバから第２の音声アシスタントの情報を確定するサーバインタラクションユニットであって、前記確認情報は、前記確認情報を送信した前記他の音声アシスタントのサーバが前記テキストリクエストを処理できることを指示する情報である、サーバインタラクションユニットと、を備え、
前記クライアントインタラクションユニットは、前記第１の音声アシスタントのクライアントが前記第２の音声アシスタントのクライアントを呼び出して前記テキストリクエストに対する応答を実現するように、前記テキストリクエストと第２の音声アシスタントの情報とを前記第１の音声アシスタントのクライアントに送信することに、更に用いられる、音声処理装置。

【請求項15】

前記サーバインタラクションユニットは、前記第２の音声アシスタントのサーバから前記テキストリクエストに対して返信されたトークン情報を受信することに、更に用いられ、
前記クライアントインタラクションユニットは、前記第１の音声アシスタントのクライアントが前記第２の音声アシスタントのクライアントを呼び出す場合に前記テキストリクエストと前記トークン情報とを伝送するように、前記トークン情報を前記第１の音声アシスタントのクライアントに送信する、請求項１４に記載の音声処理装置。

【請求項16】

前記クライアントインタラクションユニットは、前記第１の音声アシスタントのクライアントから送信された、端末デバイスにインストール済みの音声アシスタント情報リストを受信することに、更に用いられ、
前記サーバインタラクションユニットは、前記音声アシスタント情報リストに基づいて、前記識別されたテキストリクエストを少なくとも一つの前記他の音声アシスタントのサーバに送信することを実行することに、更に用いられる、請求項１４に記載の音声処理装置。

【請求項17】

第１の音声アシスタントのクライアントに設置される音声処理装置であって、
音声リクエストを第１の音声アシスタントのサーバに送信し、第１の音声アシスタントのサーバから返信された、前記音声リクエストを識別して得られたテキストリクエスト及び前記テキストリクエストを処理できる第２の音声アシスタントの情報を受信するサーバインタラクションユニットと、
前記第２の音声アシスタントのクライアントを呼び出して、前記第２の音声アシスタントのクライアントに前記テキストリクエストに対する応答を実現させるクライアントインタラクションユニットと、を備える音声処理装置。

【請求項18】

前記サーバインタラクションユニットは、前記第１の音声アシスタントのサーバから返信された、第２の音声アシスタントのサーバが前記テキストリクエストに対して生成したトークン情報を受信することに、更に用いられ、
前記クライアントインタラクションユニットは、前記第２の音声アシスタントのクライアントを呼び出す場合に前記テキストリクエストと前記トークン情報とを伝送する、請求項１７に記載の音声処理装置。

【請求項19】

前記第１の音声アシスタントのクライアントが設置された端末デバイスにインストールされている音声アシスタント情報リストを走査する走査ユニットを更に備え、
前記サーバインタラクションユニットは、前記音声アシスタント情報リストを前記第１の音声アシスタントのサーバに送信することに、更に用いられる、請求項１７または１８に記載の音声処理装置。

【請求項20】

第２の音声アシスタントのクライアントに設置される音声処理装置であって、
第１の音声アシスタントのクライアントの呼び出しを受信するクライアントインタラクションユニットと、
前記呼び出しにより伝送されたテキストリクエストを第２の音声アシスタントのサーバに送信し、前記第２の音声アシスタントのサーバから前記テキストリクエストに対して返信された応答結果を受信するサーバインタラクションユニットと、を備える、音声処理装置。

【請求項21】

前記呼び出しは更にトークン情報を伝送し、
前記サーバインタラクションユニットは、前記第２の音声アシスタントのサーバが前記トークン情報を利用して認証を行うように、前記トークン情報を前記テキストリクエストと共に前記第２の音声アシスタントのサーバに送信する、請求項２０に記載の音声処理装置。

【請求項22】

第２の音声アシスタントのサーバに設置される音声処理装置であって、
第１の音声アシスタントのサーバから送信された、前記第１の音声アシスタントのサーバが音声リクエストを識別して得られたテキストリクエストを受信し、前記第１の音声アシスタントのサーバに前記第２の音声アシスタントのサーバが前記テキストリクエストを処理できることを指示する確認情報を返信するサーバインタラクションユニットと、
第２の音声アシスタントのクライアントから送信されたテキストリクエストを受信するクライアントインタラクションユニットと、
前記テキストリクエストに対して応答する応答処理ユニットと、を備え、
前記クライアントインタラクションユニットは、前記第２の音声アシスタントのクライアントに前記テキストリクエストに対する応答結果を返信することに、更に用いられる、音声処理装置。

【請求項23】

前記テキストリクエストに対してトークン情報を生成する認証ユニットを更に備え、
前記サーバインタラクションユニットは、前記トークン情報を前記第１の音声アシスタントのサーバに送信することに、更に用いられ、
前記クライアントインタラクションユニットは、前記テキストリクエストと共にトークン情報を受信し、
ることの前に、前記クライアントインタラクションユニットが受信したトークン情報及び生成されたトークン情報を利用して認証処理を行い、認証が成功すれば、前記応答処理ユニットを前記テキストリクエストに応答するようにトリガーすることに、更に用いられる、請求項２２に記載の音声処理装置。

【請求項24】

少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されたメモリと、を備え、
前記メモリに前記少なくとも一つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサに請求項１～１３の何れか一項に記載の音声処理方法を実行させる、電子デバイス。

【請求項25】

コンピュータコマンドが記憶されており、前記コンピュータコマンドはコンピュータに請求項１～１３の何れか一項に記載の音声処理方法を実行させる、不揮発的なコンピュータ可読記憶媒体。

【請求項26】

コンピュータに請求項１～１３の何れか一つに記載の音声処理方法を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、出願日が２０１９年０９月１２日、出願番号が２０１９１０８６２４２４．１、発明名称が「音声処理方法、装置、デバイス及びコンピュータ記憶媒体」である中国特許出願の優先権を要求した。
本願は、コンピュータ応用技術分野に関し、特に音声技術における音声処理方法、装置及びコンピュータ記憶媒体に関する。

【背景技術】

【0002】

上記部分は、特許請求の範囲に記載されている本発明の実施形態に対して背景又は文脈を提供するためである。ここでの説明は、上記部分に含まれたからといって従来技術であると考えてはいけない。

【0003】

音声識別技術の飛躍の発展につれて、音声アシスタントが各種のモバイルアプリプロバイダー及びモバイルユーザに注目されている。ユーザは、音声リクエストを入力する方式で音声アシスタントとのインタラクションを行うことができる。音声アシスタントは、音声リクエストを識別した後に、対応する処理タスクを実行してユーザに応答する。

【0004】

ところが、ユーザが音声アシスタントを使用している間に、現在に使用されている音声アシスタントが幾つかの分野における音声リクエストを解析する場合に、専門外でユーザに提供する応答がユーザのニーズに応じられないという技術的な課題に直面する恐れがある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

これに鑑み、本願は、ユーザが音声アシスタントを使用している間にユーザのニーズにより正確に応じる音声処理方法、装置及びコンピュータ記憶媒体を提供する。

【課題を解決するための手段】

【0006】

第１の局面によれば、本願は音声処理方法を提供する。上記方法は、第１の音声アシスタントのサーバは受信された音声リクエストを識別し、識別されたテキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信し、自体がテキストリクエストを処理できることを指示する確認情報を返信した他の音声アシスタントのサーバから第２の音声アシスタントの情報を確定し、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出してテキストリクエストに対する応答を実現するように、テキストリクエストと第２の音声アシスタントの情報を第１の音声アシスタントのクライアントに送信することを含む。

【0007】

本願の好ましい実施形態によれば、上記方法は、更に、第２の音声アシスタントのサーバからテキストリクエストに対して返信されたトークン情報を受信し、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出す場合にテキストリクエストとトークン情報を伝送するように、トークン情報を第１の音声アシスタントのクライアントに送信することを含む。

【0008】

本願の好ましい実施形態によれば、上記方法は、更に、第１の音声アシスタントのクライアントから送信された、端末デバイスにインストール済みの音声アシスタント情報リストを受信し、音声アシスタント情報リストに基づいて、識別されたテキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信することを実行することを含む。

【0009】

本願の好ましい実施形態によれば、識別されたテキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信する前に、更に、第１の音声アシスタントのサーバがテキストリクエストを処理できるか否かを判断し、否定の場合に識別されたテキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信することを継続して実行し、肯定の場合に、テキストリクエストに応答して応答結果を第１の音声アシスタントのクライアントに返信することを含む。

【0010】

本願の好ましい実施形態によれば、確認情報を返信した他の音声アシスタントのサーバから第２の音声アシスタントの情報を確定することは、確認情報を返信した他の音声アシスタントのサーバが一つだけあれば、上記サーバに対応する音声アシスタントの情報を第２の音声アシスタントの情報として確定し、確認情報を返信した他の音声アシスタントのサーバが複数あれば、その中から選択された一つのサーバに対応する音声アシスタントの情報を第２の音声アシスタントの情報とすることを含む。

【0011】

第２の局面によれば、本願は音声処理方法を提供する。上記方法は、第１の音声アシスタントのクライアントは音声リクエストを第１の音声アシスタントのサーバに送信し、第１の音声アシスタントのサーバから返信された、音声リクエストを識別して得られたテキストリクエスト及びテキストリクエストを処理できる第２の音声アシスタントの情報を受信し、第２の音声アシスタントのクライアントを呼び出して第２の音声アシスタントのクライアントにテキストリクエストに対する応答を実現させることを含む。

【0012】

本願の好ましい実施形態によれば、上記方法は、更に、第１の音声アシスタントのクライアントは第１の音声アシスタントのサーバから返信された、第２の音声アシスタントのサーバがテキストリクエストに対して生成したトークン情報を受信し、第２の音声アシスタントのクライアントを呼び出す場合にテキストリクエストとトークン情報を伝送することを含む。

【0013】

本願の好ましい実施形態によれば、上記方法は、更に、第１の音声アシスタントのクライアントは端末デバイスにインストールされた音声アシスタント情報リストを走査し、音声アシスタント情報リストを第１の音声アシスタントのサーバに送信することを含む。

【0014】

第３の局面によれば、本願は音声処理方法を提供する。上記方法は、第２の音声アシスタントのクライアントは第１の音声アシスタントのクライアントの呼び出しを受信した後に、呼び出しにより伝送されたテキストリクエストを第２の音声アシスタントのサーバに送信し、第２の音声アシスタントのサーバからテキストリクエストに対して返信された応答結果を受信することを含む。

【0015】

本願の好ましい実施形態によれば、呼び出しは更にトークン情報を伝送し、第２の音声アシスタントのサーバがトークン情報を利用して認証を行うように、トークン情報をテキストリクエストと共に第２の音声アシスタントのサーバに送信する。

【0016】

第４の局面によれば、本願は音声処理方法を提供する。上記方法は、第２の音声アシスタントのサーバは第１の音声アシスタントのサーバから送信された、第１の音声アシスタントのサーバが音声リクエストを識別して得られたテキストリクエストを受信し、第１の音声アシスタントのサーバに第２の音声アシスタントのサーバがテキストリクエストを処理できることを指示する確認情報を返信し、第２の音声アシスタントのクライアントから送信されたテキストリクエストを受信し、テキストリクエストに応答し、第２の音声アシスタントのクライアントにテキストリクエストに対する応答結果を返信することを含む。

【0017】

本願の好ましい実施形態によれば、上記方法は、更に、テキストリクエストに対してトークン情報を生成し、トークン情報を第１の音声アシスタントのサーバに送信することを含み、テキストリクエストに対して応答する前に、テキストリクエストと共に受信されたトークン情報及び生成されたトークン情報により認証処理を行い、認証が成功すれば、テキストリクエストに対して応答することを継続して実行することを含む。

【0018】

本願の好ましい実施形態によれば、テキストリクエストに対して応答することは、テキストリクエストをタスクコマンドに解析し、タスクコマンドに基づいて対応するタスク処理を実行し、或いは、テキストリクエストをタスクコマンドに解析し、タスクコマンドと上記タスクコマンドを実行する非音声アシスタントの情報を第２の音声アシスタントのクライアントに返信することにより、第２の音声アシスタントのクライアントが非音声アシスタントのクライアントを呼び出してタスクコマンドを実行することを含む。

【0019】

第５の局面によれば、本願は第１の音声アシスタントのサーバに設置される音声処理装置を提供する。上記装置は，第１の音声アシスタントのクライアントから送信された音声リクエストを受信するクライアントインタラクションユニットと、音声リクエストを識別してテキストリクエストを得る識別ユニットと、テキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信し、自体がテキストリクエストを処理できることを指示する確認情報を返信した他の音声アシスタントのサーバから第２の音声アシスタントの情報を確定するサーバインタラクションユニットと、を備え、クライアントインタラクションユニットは、更に、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出してテキストリクエストに対する応答を実現するように、テキストリクエストと第２の音声アシスタントの情報を第１の音声アシスタントのクライアントに送信する。

【0020】

第６の局面によれば、本願は、第１の音声アシスタントのクライアントに設置される音声処理装置を提供する。上記装置は、音声リクエストを第１の音声アシスタントのサーバに送信し、第１の音声アシスタントのサーバから返信された、音声リクエストを識別して得られたテキストリクエスト及びテキストリクエストを処理できる第２の音声アシスタントの情報を受信するサーバインタラクションユニットと、第２の音声アシスタントのクライアントを呼び出し、第２の音声アシスタントのクライアントにテキストリクエストに対する応答を実現させるクライアントインタラクションユニットと、を備える。

【0021】

第７の局面によれば、本願は、第２の音声アシスタントのクライアントに設置される音声処理装置を提供する。上記装置は、第１の音声アシスタントのクライアントの呼び出しを受信するクライアントインタラクションユニットと、呼び出しにより伝送されたテキストリクエストを第２の音声アシスタントのサーバに送信し、第２の音声アシスタントのサーバからテキストリクエストに対して返信された応答結果を受信するサーバインタラクションユニットと、を備える。

【0022】

第８の局面によれば、本願は、第２の音声アシスタントのサーバに設置される音声処理装置を提供する。上記装置は、第１の音声アシスタントのサーバから送信された、第１の音声アシスタントのサーバが音声リクエストを識別して得られたテキストリクエストを受信し、第１の音声アシスタントのサーバに第２の音声アシスタントのサーバがテキストリクエストを処理できることを指示する確認情報を返信するサーバインタラクションユニットと、第２の音声アシスタントのクライアントから送信されたテキストリクエストを受信するクライアントインタラクションユニットと、テキストリクエストに対して応答する応答処理ユニットとを備え、クライアントインタラクションユニットは、更に、第２の音声アシスタントのクライアントにテキストリクエストに対する応答結果を返信する。

【0023】

第９の局面によれば、本願は、少なくとも一つのプロセッサと、少なくとも一つのプロセッサに通信接続されたメモリとを備え、メモリに少なくとも一つのプロセッサにより実行可能なコマンドが記憶されており、コマンドが少なくとも一つのプロセッサにより実行されると、少なくとも一つのプロセッサに方法を実行させる電子デバイスを提供する。

【0024】

第１０の局面によれば、本願は、コンピュータコマンドが記憶されており、コンピュータコマンドがコンピュータに方法を実行させる不揮発的なコンピュータ可読記憶媒体を提供する。

【0025】

第１１の局面によれば、本願は音声処理方法を提供する。上記方法は、第１の音声アシスタントは受信された音声リクエストを識別してテキストリクエストを得、テキストリクエストを処理できる第２の音声アシスタントの情報を確定し、第２の音声アシスタントを呼び出してテキストリクエストに応答し、テキストリクエストに応答することは、テキストリクエストを解析してタスクコマンドを得ることを含む。

【0026】

出願における一つの実施例は、以下の利点を有する。

【0027】

本願において、第１の音声アシスタントは音声リクエストを受信した後に、音声リクエストを識別してテキストリクエストを得ることだけを担う一方、上記テキストリクエストを処理できる第２の音声アシスタントを呼び出して上記テキストリクエストに応答する。これにより、第１の音声アシスタントが幾つかの分野に対して専門外である場合に、上記分野に対して専門である第２の音声アシスタントを呼び出して具体的な応答処理を行うことができるため、ユーザのニーズに対してより正確に応じた。

【0028】

２）第２の音声アシスタントのサーバにより提供されるＴｏｋｅｎによる認証メカニズムによれば、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを誤って呼び出したことによるエラー応答を防止することができ、悪意のある第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出して攻撃することも防止することができるため、信頼性及びセキュリティ性を向上した。

【0029】

３）第２の音声アシスタントのサーバは、Ｔｏｋｅｎを利用して周波数制御処理を行うことができ、不当なクライアントがリクエストを偽造することにより生じた悪意の攻撃を防止することができる。

【0030】

４）第２の音声アシスタントのサーバは、第１の音声アシスタント側のテキストリクエストに対する応答回数の代わりに、Ｔｏｋｅｎと第１の音声アシスタントとの対応関係を記録し統計して第１の音声アシスタント側に対する課金の基礎とすることができる。

【0031】

選択可能な方式における他の効果は、以下で具体的な実施例と合わせて説明する。

【図面の簡単な説明】

【0032】

【図1】本願実施例の音声処理方法又は音声処理装置を適用可能な例示的なシステム構成を示した。

【図2】本願実施例により提供される主な方法のフローチャートである。

【図3】本願実施例により提供される改善された方法のフローチャートである。

【図4a】本願により提供される実例一の画面実例図である。

【図4b】本願により提供される実例一の画面実例図である。

【図5a】本願により提供される実例二の画面実例図である。

【図5b】本願により提供される実例二の画面実例図である。

【図5c】本願により提供される実例二の画面実例図である。

【図5d】本願により提供される実例二の画面実例図である。

【図6】本願実施例により提供される、第１の音声アシスタントのサーバに設置される音声処理装置の模式図である。

【図7】本願実施例により提供される、第１の音声アシスタントのクライアントに設置される音声処理装置の模式図である。

【図8】本願実施例により提供される、第２の音声アシスタントのクライアントに設置される音声処理装置の模式図である。

【図9】本願実施例により提供される、第２の音声アシスタントのサーバに設置される装置の模式図である。

【図10】本願実施例の音声処理方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0033】

以下、図面に基づいて、本出願の例示的な実施例を説明する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

【0034】

図１は、本願実施例の音声処理方法又は音声処理装置を適用可能な例示的なシステム構成を示した。

【0035】

図１に示されたように、上記システム構成は、端末デバイス１００のうちの第１の音声アシスタントのクライアント１０１と第２の音声アシスタントのクライアント１０２、ネットワーク１０３、第１の音声アシスタントのサーバ１０４と第２の音声アシスタントのサーバ１０５を備えて良い。ネットワーク１０３は、端末デバイス１００とサーバ１０４及び１０５との間に通信リンクの媒体を提供する。ネットワーク１０３は、各種の接続タイプ、例えば有線、無線通信リンク又は光ファイバケーブルなどを含んで良い。

【0036】

ユーザは、端末デバイス１００を利用してネットワーク１０３を介してサーバ１０４及び１０５とインタラクションを行って良い。端末デバイス１００には、各種のクライアントがインストールされて良く、図１に示された音声アシスタント型クライアントのほか、例えばウェブブラウザ、通信型アプリなどのクライアントがインストールされても良い。また、説明すべきなのは、本願に示された端末デバイス１００のうちの音声アシスタント型クライアントの数は例示的なものに過ぎず、二つに制限せず、数が二つよりも多い音声アシスタント型クライアントであっても良い。本願に関する音声アシスタント型クライアントは、音声アシスタント型機能だけを有するクライアントであっても良く、音声アシスタント型機能とその他の機能とを統合したクライアント、例えば音声アシスタント機能を有する地図アプリクライアント、音声アシスタント機能を有する検索アプリクライアント、音声アシスタント機能を有するビデオ再生クライアントなどであっても良い。オペレーティングシステムに付属されるクライアントであっても良く、ユーザによりインストールされたクライアントであっても良い。

【0037】

端末デバイス１００は、音声インタラクションをサポートする各種の電子デバイスであっても良く、スクリーン付きデバイスであっても良く、スクリーンなしのデバイスであっても良い。スマートフォン、タブレット、スマートスピーカー、スマートテレビなどを含むが、それらに限定されない。本願により提供される音声処理装置は、端末デバイス１００に設置して運行可能であり、複数のソフトウェア又はソフトウェアモジュール（例えば分散型サービスを提供する）として実現されても良く、単一のソフトウェア又はソフトウェアモジュールとして実現されても良く、ここでは具体的に限定しない。

【0038】

サーバ１０４と１０５は、それぞれ単一のサーバであっても良く、それぞれ複数のサーバからなるサーバグループであっても良い。本願において、サーバ１０４と１０５は、各自のクライアントからの情報を受信、応答するだけではなく、サーバ１０４と１０５の間にも情報のインタラクションがある。

【0039】

理解すべきなのは、図１における端末デバイス、ネットワーク及びサーバの数は例示的なものに過ぎない。実際の必要に応じて、任意の数の端末デバイス、ネットワーク及びサーバを具備しても良い。

【0040】

従来技術において、ユーザが第１の音声アシスタントを使用している間に、第１の音声アシスタントのクライアントがユーザから入力された音声リクエストを第１の音声アシスタントのサーバに送信した後に、第１の音声アシスタントのサーバは音声リクエストに対する音声識別及びコマンド解析を担う。なお、音声識別は、音声リクエストをテキストリクエストに識別する。コマンド解析は、所定の解析ポリシーと合わせてテキストリクエストをタスクコマンドに解析する。そして、タスクコマンドに基づいて対応するタスク処理を実行する。なお、コマンド解析は、一般的に具体的な分野に深く関連するため、関連分野における専門の音声アシスタントしか上記分野におけるテキストリクエストに対してコマンド解析を良く実行することができない。

【0041】

例えば、ユーザが携帯電話システムに付属された音声アシスタントを使用する場合に、ユーザが「五彩城に行ってから清華大学に行く」という音声リクエストを入力したが、携帯電話システムに付属された音声アシスタントが音声リクエストをテキストに識別した後に、それを正しいタスクコマンドに転換し難く、「ルート検索を行い、目的地が清華大学である」というタスクコマンドに解析して通過地点である五彩城を欠落してしまうことになる。携帯電話システムに付属された音声アシスタントが上記タスクコマンドに応答してナビゲーション型又は地図型アプリのクライアントを呼び出しても、ナビゲーション型又は地図型クライアントが上記タスクコマンドを実行することでユーザのニーズに正確に応じることができない。

【0042】

本願の発明者は、検討することにより、一般的に音声アシスタントが「聞こえる」の段階を確実に完成できるが（即ち音声コマンドをテキストコマンドに確実に識別することができる）、「聞き取る」の段階（即ちテキストコマンドをタスクコマンドに解析する）においてより専門的なクライアントが必要であることが分かった。これに鑑み、本願の主旨は、ユーザが第１の音声アシスタントを使用して音声リクエストを入力する場合に、「聞こえる」の段階が依然として第１の音声アシスタントにより実行される一方、「聞き取る」と実行の段階が上記音声リクエストに対応するテキストリクエストを処理できる第２の音声アシスタントにより実行されることにある。以下で実施例と合わせて本願により提供される方法を説明する。

【0043】

図２は、本願実施例により提供される主な方法のフローチャートである。本方法の応用場面は、ユーザに使用される端末デバイスに少なくとも第１の音声アシスタントのクライアントと第２の音声アシスタントのクライアントがインストールされたことである。図２に示されたように、上記方法は以下のステップを含んで良い。

【0044】

２０１において、第１の音声アシスタントのクライアントはユーザから入力された音声リクエストを受信した。

【0045】

上記ステップにおいて、ユーザが第１の音声アシスタントのクライアントを使用する場合に音声リクエストを入力し、或いは、ユーザが音声リクエストを入力した時に使用されたウェイクワードにより第１の音声アシスタントをアクティブすることにより、第１の音声アシスタントのクライアントがユーザから入力された音声リクエストを受信する。

【0046】

例えば、ユーザは第１の音声アシスタントのクライアントを使用する場合に、ある録音ボタンを押下して音声リクエストを入力すると仮定すると、第１の音声アシスタントのクライアントがユーザから入力された音声リクエストを受信する。

【0047】

また、例えば、ユーザは携帯電話を使用している間に、システムに付属された音声アシスタントのクライアントを起動して音声リクエストを入力すると仮定すると、上記システムに付属された音声アシスタントのクライアントが上記音声リクエストを受信する。

【0048】

また、例えば、ユーザはバイドゥ地図を使用している間に、音声リクエストとして「ショウドゥショウドゥ、……」を入力すると仮定すると、ウェイクワードである「ショウドゥショウドゥ」によりバイドゥ地図に付属された音声アシスタントがウェイクアップされ、バイドゥ地図のクライアントがユーザから入力された音声リクエストを受信する。

【0049】

勿論、他の場面にも適用可能であるが、ここでは列挙しない。

【0050】

２０２において、第１の音声アシスタントのクライアントは音声リクエストを第１の音声アシスタントのサーバに送信する。

【0051】

２０３において、第１の音声アシスタントのサーバは上記音声リクエストを識別して対応するテキストリクエストを得る。

【0052】

現在、殆どの音声アシスタントは音声識別を確実に行うことができるため、第１の音声アシスタントのサーバは音声リクエストを受信した後に、音声リクエストの識別を行って対応するテキストリクエストを得る。

【0053】

２０４において、第１の音声アシスタントのサーバは上記テキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信する。

【0054】

好ましくは、上記ステップの前に、第１の音声アシスタントのサーバは、まず自体が上記テキストリクエストを処理できるか否かを確定し、自体が上記テキストリクエストを処理できる場合に、上記テキストリクエストに対して直接に応答し、即ち上記テキストリクエストを解析してタスクコマンドを取得して良い。後続の過程は従来技術と同様である。自体が上記テキストリクエストを処理できなければ、上記ステップを実行し、上記テキストリクエストを他の音声アシスタントのサーバに配布する。

【0055】

なお、上記テキストリクエストを処理できるか否かは、サーバが所属された分野に基づいて判断して良い。例えば、テキストリクエストに対してキーワード又は語義による簡単な分析を行い、上記テキストリクエストが所属された分野を特定し、上記テキストリクエストの所属分野がサーバ自体の所属分野と一致するか否かを判断し、一致であれば、サーバ自体が上記テキストリクエストを処理できるとし、さもなければ、サーバ自体が上記テキストリクエストを処理できないとする。他の分野識別方式を採用しても良い。

【0056】

一つの実現方式として、第１の音声アシスタントのサーバは、パートナーシップを有する他の音声アシスタントの情報を予め配置し、そしてテキストリクエストをそれぞれこれらの音声アシスタントのサーバに送信して良い。

【0057】

他の実現方式として、第１の音声アシスタントのクライアントは端末デバイスにインストール済みの音声アシスタント情報リストを走査して良い。なお、端末デバイスにおける各音声アシスタントのクライアントはインストールパッケージ内に対応する情報で音声アシスタント情報を指示することができ、第１の音声アシスタントのクライアントは端末デバイスにおけるインストールパッケージにより端末デバイスにどんな音声アシスタントのクライアントがインストールされているかを確定して、インストール済みの音声アシスタント情報リストを得ることができる。そして、第１の音声アシスタントのクライアントは、上記音声アシスタント情報リストを第１の音声アシスタントのサーバにアップロードすることができる。アップロードのタイミングは、第１の音声アシスタントのクライアントが起動する時にアップロードしても良く、音声リクエストの送信と同時にアップロードしても良く、音声リクエストを送信する前の他のタイミングでアップロードしても良い。第１の音声アシスタントのサーバは、上記ステップにおいて、第１の音声アシスタントのクライアントからアップロードされた音声アシスタント情報リストに基づいて、テキストリクエストをリストのうちの音声アシスタントのサーバに送信すれば良い。

【0058】

２０５において、他の各音声アシスタントのサーバは、自体が上記テキストリクエストを処理できると確定した後に、第１の音声アシスタントのサーバに確認情報を返信する。

【0059】

上記テキストリクエストを受信した他の各音声アシスタントのサーバは、同様に分野識別による方式で自体が上記テキストリクエストを処理できるかを確定することができる。自体が上記テキストリクエストを処理できると確定した後に、第１の音声アシスタントのサーバに確認情報を返信する。自体が上記テキストリクエストを処理できないと確定した場合に、応答しなくても良く、第１の音声アシスタントのサーバに否認情報を返信しても良い。図２において、「Ｙ／Ｎ」で確認情報又は否認情報を示す。

【0060】

２０６において、第１の音声アシスタントのサーバは、確認情報を返信したサーバから第２の音声アシスタントの情報を確定する。図２において、第２の音声アシスタントのクライアント及びサーバの状況だけが示され、他の音声アシスタントが示されていない。

【0061】

上記ステップは、実際に目標音声アシスタントを確定する過程であり、本実施例に目標音声アシスタントを第２の音声アシスタントと称する。確認情報を返信した他の音声アシスタントのサーバが一つだけあれば、直接に上記サーバに対応する音声アシスタントの情報を第２の音声アシスタントの情報として確定し、例えば第２の音声アシスタントの標識、名称等で示される。

【0062】

確認情報を返信した他の音声アシスタントのサーバが複数あれば、そのうちの一つのサーバに対応する音声アシスタントの情報を第２の音声アシスタントの情報として選択することができる。なお、選択を行う場合に、何れか一つを選択しても良く、所定の優先順位に従って一つを選択しても良い。優先順位の設置ポリシーについては、本願に制限されていない。

【0063】

また、全ての音声アシスタントのサーバから確認情報が返信されていない場合に、第１の音声アシスタントのサーバは自体が上記テキストリクエストに対する応答処理を行うことができる。

【0064】

２０７において、第１の音声アシスタントのサーバは、テキストリクエストと第２の音声アシスタントの情報を第１の音声アシスタントのクライアントに送信する。

【0065】

２０８において、第１の音声アシスタントのクライアントは、第２の音声アシスタントの情報に基づいて第２の音声アシスタントのクライアントを上記テキストリクエストに応答するように呼び出す。

【0066】

ステップ２０４において、第１の音声アシスタントのサーバがパートナーシップに基づいてテキストリクエストを配布すると、選択された第２の音声アシスタントは第１の音声アシスタントのクライアントが位置している端末デバイスにインストールされていない場合がある。このような場合において、第１の音声アシスタントのクライアントによる呼び出しが失敗することになる。この場合に、第１の音声アシスタントのクライアントは、ユーザに上記音声リクエストを処理できないと指示する情報を返信して良い。

【0067】

上記の状況により、のステップ２０４において、好ましくは、第１の音声アシスタントのサーバが第１の音声アシスタントのクライアントからアップロードされた音声アシスタント情報リストによる方式に基づいてテキストリクエストを配布し、第２の音声アシスタントの情報を選択する。これにより、端末デバイスに必ず上記第２の音声アシスタントがインストールされており、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出す場合に、テキストリクエストを第２の音声アシスタントのクライアントに伝送する。なお、二つの音声アシスタントのクライアントの間の呼び出しは、プロセス間通信の方式を採用すれば良く、本願の要点ではないため、ここでは詳しく説明しない。

【0068】

２０９において、第２の音声アシスタントのクライアントはテキストリクエストを第２の音声アシスタントのサーバに送信する。

【0069】

２１０において、第２の音声アシスタントのサーバは上記テキストリクエストに対して応答し、応答結果を第２の音声アシスタントのクライアントに返信する。

【0070】

なお，テキストリクエストに対して応答することは、少なくとも、テキストリクエストを解析してタスクコマンドを得ることを含む。更に、第２の音声アシスタントのサーバは、直接に上記タスクコマンドに基づいて対応するタスク処理を実行し、処理結果を第２の音声アシスタントのクライアントに返信することができる。或いは、上記タスクコマンドを実行する非音声アシスタントのクライアントを確定し、上記非音声アシスタントのクライアント情報をテキストリクエストと共に第２の音声アシスタントのクライアントに返信して第２の音声アシスタントのクライアントに上記非音声アシスタントのクライアントを、上記タスクコマンドを実行するように呼び出しても良い。第２の音声アシスタントのサーバからのテキストリクエストに対する応答は、従来技術における応答方式を採用しても良く、本願は具体的に制限しない。

【0071】

つまり、第２の音声アシスタントのサーバが所属の専門分野の解析ポリシーに基づいてテキストリクエストに対して解析及び後続の処理を行うことにより、「聞き取る」及び実行の段階を完成させる。更に、第２の音声アシスタント側におけるテキストリクエストに対する全ての処理過程は、第１の音声アシスタント側にとって不可視であるため、第１の音声アシスタント側は、第２の音声アシスタント側で処理できることだけを知るが、どのように処理するかを知らないため、二つの音声アシスタントの間の独立性を確保した。

【0072】

また、上記方案のセキュリティ性をより向上するために、Ｔｏｋｅｎ（トークン情報）による認証過程を追加することができる。以下で図３と合わせて詳しく説明する。

【0073】

図３は、本願の実施例により提供される改善された方法のフローチャートである。図３に示されたように、上記方法は以下のステップを含んで良い。

【0074】

ステップ３０１～３０４は、図２におけるステップ２０１～２０４と同じである。

【0075】

３０５において、他の各音声アシスタントのサーバは、自体が上記テキストリクエストを処理できると確定した後に、上記テキストリクエストに対してＴｏｋｅｎを生成し、第１の音声アシスタントのサーバに確認情報及び上記Ｔｏｋｅｎを返信する。

【0076】

上記ステップにおいて、Ｔｏｋｅｎを生成する場合に、サーバにしか知らない鍵及び暗号化方式を採用してランダム情報を暗号化することによりＴｏｋｅｎを得ることができる。上記Ｔｏｋｅｎの有効期限内の唯一性を確保し、且つ他のデバイスにクラッキングされ難くなれば良い。

【0077】

３０６において、第１の音声アシスタントのサーバは、確認情報を返信したサーバから第２の音声アシスタントの情報を確定する。上記ステップは図２におけるステップ２０６と同じであるため、具体的に図２におけるステップ２０６の関連説明を参照する。

【0078】

３０７において、第１の音声アシスタントのサーバは、テキストリクエスト、Ｔｏｋｅｎ及び第２の音声アシスタントの情報を第１の音声アシスタントのクライアントに送信する。

【0079】

３０８において、第１の音声アシスタントのクライアントは、第２の音声アシスタントの情報に基づいて第２の音声アシスタントのクライアントを上記テキストリクエストに応答するように呼び出し、呼び出しを行う場合にテキストリクエストとＴｏｋｅｎを伝送する。

【0080】

上記ステップにおいて、第１の音声アシスタントのクライアントは第２の音声アシスタントのクライアントを呼び出す場合に、伝送されるパラメータにテキストリクエストのほか、Ｔｏｋｅｎも含まれる。

【0081】

３０９において、第２の音声アシスタントのクライアントは、テキストリクエストとＴｏｋｅｎを第２の音声アシスタントのサーバに送信する。

【0082】

３１０において、第２の音声アシスタントのサーバは、Ｔｏｋｅｎを利用してテキストリクエストを認証し、認証が成功すれば、テキストリクエストに応答する。

【0083】

上記ステップにおいて、第２の音声アシスタントのサーバは、受信されたＴｏｋｅｎとテキストリクエストに対して生成されたＴｏｋｅｎとを利用して認証し、両者が一致するか否かを判断することができる。一致であれば、認証が成功し、さもなければ、認証が失敗する。

【0084】

認証が成功すれば、第２の音声アシスタントのサーバがテキストリクエストに対して応答する。

【0085】

認証が失敗すれば、第２の音声アシスタントのサーバがテキストリクエストに対して応答しない、或いは認証失敗又は応答失敗の情報を第２の音声アシスタントのクライアントに返信する。

【0086】

Ｔｏｋｅｎによる認証によれば、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを誤って呼び出すことによるエラー応答を防止でき、悪意のある第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出して攻撃を行うことも防止できる。例えば、悪意のある第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出して攻撃的なテキストリクエストを複数回に送信する場合に、悪意のある第１の音声アシスタントのクライアントがＴｏｋｅｎを知ることができないため、第２の音声アシスタントのサーバが悪意のあるテキストリクエストに応答しない。

【0087】

本願において、Ｔｏｋｅｎによる認証処理のほか、Ｔｏｋｅｎを利用して周波数制御処理及び／又は課金処理のうちの少なくとも一つを行って良い。

【0088】

Ｔｏｋｅｎを利用して周波数制御処理を行う場合に、仮に第２の音声アシスタントのクライアントが第２の音声アシスタントのサーバにテキストリクエストとＴｏｋｅｎを頻繁に送信したが、Ｔｏｋｅｎに対する認証が全て失敗し、即ち設定時間内に第２の音声アシスタントのクライアントが送信した、認証の失敗したリクエストの数が所定の閾値を超えた場合に、上記第２の音声アシスタントのクライアントをブラックリストに登録して良い。第２の音声アシスタントのサーバは、ブラックリストにおけるクライアントから送信されたリクエストに対して一切に応答せずに廃棄する。このような周波数制御方式によれば、悪意のある攻撃行為を防止することができる。

【0089】

Ｔｏｋｅｎにより課金処理を行う場合に、第２の音声アシスタントのサーバは、第１の音声アシスタント側でテキストリクエストに応答する回数の代わりに，Ｔｏｋｅｎと第１の音声アシスタントとの対応関係を記録し統計して第１の音声アシスタント側に対する課金の基礎とする。具体的に、第２の音声アシスタントのサーバは、対応関係に基づいてテキストリクエストに対する応答のうちの第１の音声アシスタントに対応する応答回数を統計し、上記応答回数に基づいて第１の音声アシスタントに対して課金する。

【0090】

３１１において、第２の音声アシスタントのサーバは、応答結果を第２の音声アシスタントのクライアントに返信する。

【0091】

以下に方法を採用する二つの実例を列挙する。

【0092】

実例一：図４ａに示されたように、ユーザは携帯電話オペレーティングシステムに付属された音声アシスタントクライアントを介して音声リクエストとして「五彩城に行ってから清華大学に行く」を入力する。上記音声アシスタントクライアントは上記音声リクエストをサーバに送信する。また、オペレーティングシステムに付属された音声アシスタントクライアントは起動された時に上記携帯電話にインストールされている音声アシスタント情報リストをサーバに送信する。サーバは、上記音声リクエストをテキストリクエストに解析した後に、上記テキストリクエストを音声アシスタント情報リストのうちの各音声アシスタントサーバに送信し、例えば地図アプリのサーバに送信したり、ビデオアプリのサーバに送信したりする。地図アプリのサーバは、自体が上記テキストリクエストを処理できると確定した後に、上記テキストリクエストに対してＴｏｋｅｎを生成し、上記Ｔｏｋｅｎと確認情報を携帯電話システムに付属された音声アシスタントのサーバに返信し、上記サーバにテキストリクエスト、地図アプリの情報及びＴｏｋｅｎを携帯電話システムに付属された音声アシスタントクライアントに返信させる。携帯電話システムに付属された音声アシスタントクライアントは、地図アプリのクライアントを呼び出し、テキストリクエストとＴｏｋｅｎを地図アプリのクライアントに伝送する。地図アプリのクライアントは、上記テキストリクエストとＴｏｋｅｎを地図アプリのサーバに送信し、地図アプリのサーバに上記テキストリクエストに応答させる。具体的に、目的地が清華大学で、五彩城を通過するようにルート検索を行い、ルート計画を行った後に地図アプリのクライアントにルート計画結果を返信する、というタスクコマンドに解析する。地図アプリのクライアントは、ユーザに図４ｂに示されたルート計画結果を表示する。

【0093】

以上からわかるように、ユーザは図４ａに示された携帯電話システムに付属された音声アシスタントクライアントから地図アプリの音声アシスタントクライアントを、ルート計画結果を表示するように呼び出す。上記ルート計画結果は、携帯電話システムに付属された音声アシスタントの応答結果と比べて、明らかにユーザのニーズにより正確に応じる。

【0094】

実例二：図５ａに示されたように、ユーザは地図アプリのクライアントを使用している間に、位置情報を尋ねるメッセージを妻から受信した。ユーザは、図５ｂに示されたように、地図アプリのクライアントの音声アシスタント機能により音声リクエストとして「妻に自分の位置を送信する（ｓｅｎｄｉｎｇ ｍｙ ｌｏｃａｔｉｏｎ ｔｏ ｍｙ ｗｉｆｅ）」を入力する。地図アプリのクライアントは、上記音声リクエスト及び上記携帯電話にインストールされた音声アシスタントの情報リストを地図アプリのサーバに送信し、地図アプリのサーバに上記音声リクエストを識別させ、音声アシスタントの情報リストと共に識別されたテキストリクエストを各音声アシスタントのサーバに配布させる。仮に携帯電話システムに付属された音声アシスタントが確認情報とＴｏｋｅｎを返信するとした場合に、地図アプリのサーバは、テキストリクエスト、携帯電話システムに付属された音声アシスタント情報及びＴｏｋｅｎを地図アプリのクライアントに送信する。地図アプリのクライアントは、図５ｃに示されたように、携帯電話システムに付属された音声アシスタントクライアントを呼び出してテキストリクエストとＴｏｋｅｎを伝送する。携帯電話システムに付属された音声アシスタントクライアントはテキストリクエストとＴｏｋｅｎをサーバに送信し、サーバは上記テキストリクエストを、ウィーチャットクライアントを呼び出し、位置情報を妻に送信するというタスクコマンドに解析する。そして、上記タスクコマンドを携帯電話システムに付属された音声アシスタントクライアントに返信する。図５ｄに示されたように、携帯電話システムに付属された音声アシスタントクライアントは、ウィーチャットクライアントを呼び出してタスクコマンドとして「妻に位置情報を送信する」を伝送した後に、ウィーチャットクライアントに上記タスクコマンドを実行して現在の位置情報を妻に送信させる。

【0095】

以上からわかるように、ユーザは図５ａに示された地図アプリの音声アシスタントクライアントにより「聞こえる」の段階を実現し、目標音声アシスタントを確定した後に、オペレーティングシステムに付属された音声アシスタントクライアントを「聞き取る」及び実行の段階を実現するように呼び出し、そしてオペレーティングシステムに付属された音声アシスタントクライアントにウィーチャットを呼び出してユーザの音声リクエストを最終的に実現させる。それに対して、単純に地図アプリの音声アシスタントクライアントによれば、ユーザのニーズに全く応じることができない。

【0096】

以上で本願により提供された方法を説明した。以下で実施例と合わせて本願により提供される装置を詳しく説明する。

【0097】

図６は、本願の実施例により提供される、第１の音声アシスタントのサーバに設置される音声処理装置の模式図である。上記装置は、第１の音声アシスタントのサーバに設置されるアプリであっても良く、第１の音声アシスタントのサーバに設置されたアプリにおけるプラグイン又はソフトウェア開発パッケージ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ，ＳＤＫ）などの機能ユニットであっても良い。図６に示されたように、上記装置は、識別ユニット０１と、サーバインタラクションユニット０２と、クライアントインタラクションユニット０３とを備える。なお、各部の主な機能は以下のようになる。

【0098】

クライアントインタラクションユニット０３は、第１の音声アシスタントのクライアントから送信された音声リクエストを受信する。

【0099】

識別ユニット０１は、クライアントインタラクションユニット０３が受信した音声リクエストを識別してテキストリクエストを得る。

【0100】

サーバインタラクションユニット０２は、テキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信し、確認情報を返信した他の音声アシスタントのサーバから第２の音声アシスタントの情報を確定し、確認情報は、上記確認情報を送信した他の音声アシスタントのサーバがテキストリクエストを処理できることを指示する。

【0101】

クライアントインタラクションユニット０３は、更に、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出してテキストリクエストに対する応答を実現するように、テキストリクエストと第２の音声アシスタントの情報を第１の音声アシスタントのクライアントに送信する。

【0102】

好ましくは、サーバインタラクションユニット０２は、更に、第２の音声アシスタントのサーバからテキストリクエストに対して返信されたトークン情報を受信して良い。なお、トークン情報は、確認情報と共に返信されて良い。

【0103】

クライアントインタラクションユニット０３は、更に、トークン情報を第１の音声アシスタントのクライアントに送信することにより、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出す時に上記テキストリクエストとトークン情報を伝送する。なお、トークン情報は、確認情報及び第２の音声アシスタントの情報と共に第１の音声アシスタントのクライアントに返信されて良い。

【0104】

一つの好ましい実施形態として、クライアントインタラクションユニット０３は、更に、第１の音声アシスタントのクライアントから送信された、端末デバイスにインストールされている音声アシスタント情報リストを受信して良い。なお、第１の音声アシスタントのクライアントは、起動した時に上記端末デバイスにインストールされている音声アシスタント情報リストを走査して第１の音声アシスタントのサーバに送信して良く、或いは、第１の音声アシスタントのクライアントは、音声アシスタントリストを音声リクエストと共に第１の音声アシスタントのサーバに送信して良い。

【0105】

それに応じて、サーバインタラクションユニット０２は、受信された音声アシスタント情報リストに基づいて、識別されたテキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信する処理を実行する。

【0106】

それ以外は、上記装置は、更に、第１の音声アシスタントのサーバがテキストリクエストを処理できるか否かを判断し、否定の場合に、サーバインタラクションユニット０２をトリガーして識別されたテキストリクエストを少なくとも一つの他の音声アシスタントのサーバに送信し、肯定の場合に、上記テキストリクエストに応答し、応答結果を第１の音声アシスタントのクライアントに返信する応答処理ユニット（未図示）を備えて良い。

【0107】

サーバインタラクションユニット０２は、確認情報を返信した他の音声アシスタントのサーバから第２の音声アシスタントの情報を確定する場合に、確認情報を返信した他の音声アシスタントのサーバが一つだけあれば、上記サーバに対応する音声アシスタントの情報を第２の音声アシスタントの情報として確定し、確認情報を返信した他の音声アシスタントのサーバが複数あれば、その中から選択された一つのサーバに対応する音声アシスタントの情報を第２の音声アシスタントの情報とする。

【0108】

図７は、本願の実施例により提供される、第１の音声アシスタントのクライアントに設置される音声処理装置の模式図である。上記装置は、第１の音声アシスタントのクライアントに設置されたアプリであっても良く、第１の音声アシスタントのクライアントに設置されたアプリにおけるプラグイン又はＳＤＫなどの機能ユニットであっても良い。図７に示されたように、上記装置は、サーバインタラクションユニット１１とクライアントインタラクションユニット１２を備えて良く、更に走査ユニット１３を備えて良い。なお、各部の主な機能は以下のようになる。

【0109】

サーバインタラクションユニット１１は、音声リクエストを第１の音声アシスタントのサーバに送信する。なお、上記音声リクエストはユーザから入力された音声リクエストである。第１の音声アシスタントのサーバから返信された、上記音声リクエストを識別して得られたテキストリクエスト及びテキストリクエストを処理できる第２の音声アシスタントの情報を受信する。

【0110】

クライアントインタラクションユニット１２は、第２の音声アシスタントのクライアントがテキストリクエストに対する応答を実現するように、第２の音声アシスタントのクライアントを呼び出す。

【0111】

好ましくは、サーバインタラクションユニット１１は、更に第１の音声アシスタントのサーバから返信されたトークン情報を受信して良い。トークン情報は、第２の音声アシスタントのサーバがテキストリクエストに対して生成された。上記トークン情報は、テキストリクエスト及び第２の音声アシスタントの情報と共に受信されて良い。

【0112】

それに応じて、クライアントインタラクションユニット１２は、第２の音声アシスタントのクライアントを呼び出す時に、テキストリクエストとトークン情報を伝送する。

【0113】

走査ユニット１３は、第１の音声アシスタントのクライアントが設置された端末デバイスにインストールされている音声アシスタント情報リストを走査する。

【0114】

それに応じて、サーバインタラクションユニット１１は上記音声アシスタント情報リストを第１の音声アシスタントのサーバに送信する。

【0115】

図８は、本願の実施例により提供される、第２の音声アシスタントのクライアントに設置された音声処理装置の模式図である。上記装置は、第２の音声アシスタントのクライアントに設置されたアプリであっても良く、第２の音声アシスタントのクライアントに設置されたアプリにおけるプラグイン又はＳＤＫなどの機能ユニットであっても良い。図８に示されたように、上記装置は、クライアントインタラクションユニット２１とサーバインタラクションユニット２２を備える。なお、各部の主な機能は以下のようになる。

【0116】

クライアントインタラクションユニット２１は、第１の音声アシスタントのクライアントの呼び出しを受信する。

【0117】

サーバインタラクションユニット２２は、呼び出しに伝送されたテキストリクエストを第２の音声アシスタントのサーバに送信し、第２の音声アシスタントのサーバがテキストリクエストに対して返信された応答結果を受信する。

【0118】

好ましくは、呼び出しは、更に、トークン情報を伝送して良く、即ち第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出す場合に、伝送されるパラメータにテキストリクエストとトークン情報が含まれる。

【0119】

それに応じて、サーバインタラクションユニット２２は、第２の音声アシスタントのサーバがトークン情報を利用して認証を行うように、トークン情報をテキストリクエストと共に第２の音声アシスタントのサーバに送信する。

【0120】

図９は、本願の実施例により提供される、第２の音声アシスタントのサーバに設置された装置の模式図である。上記装置は、第２の音声アシスタントのサーバに設置されたアプリであっても良く、第２の音声アシスタントのサーバに設置されたアプリにおけるプラグイン又はＳＤＫなどの機能ユニットであっても良い。図９に示されたように、上記装置は、サーバインタラクションユニット３１と、クライアントインタラクションユニット３２と、応答処理ユニット３３とを備え、更に認証ユニット３４と周波数制御処理ユニット３５を備えても良い。なお、各部の主な機能は以下のようになる。

【0121】

サーバインタラクションユニット３１は、第１の音声アシスタントのサーバから送信された、第１の音声アシスタントのサーバが音声リクエストを識別して得られたテキストリクエストを受信し、第１の音声アシスタントのサーバに第２の音声アシスタントのサーバが上記テキストリクエストを処理できることを指示する確認情報を返信する。

【0122】

クライアントインタラクションユニット３２は、第２の音声アシスタントのクライアントから送信されたテキストリクエストを受信する。

【0123】

応答処理ユニット３３は、テキストリクエストに対して応答する。

【0124】

クライアントインタラクションユニット３２は、更に、第２の音声アシスタントのクライアントにテキストリクエストに対する応答結果を返信する。

【0125】

認証ユニット３４は、テキストリクエストに対してトークン情報を生成する。トークン情報を生成する場合に、第２の音声アシスタントのサーバにしか知らない鍵及び暗号化方式を採用してランダム情報を暗号化してトークン情報を得られる。上記トークン情報の有効期限内の唯一性を確保し、且つ他のデバイスにクラッキングされ難くなれば良い。

【0126】

それに応じて、サーバインタラクションユニット３１はトークン情報を第１の音声アシスタントのサーバに送信する。

【0127】

この場合に、クライアントインタラクションユニット３２は、テキストリクエストと共にトークン情報を受信し、認証ユニット３４は、応答処理ユニット３３がテキストリクエストに応答する前に、クライアントインタラクションユニット３２が受信したトークン情報及び生成されたトークン情報を利用して認証処理を行い、認証が成功すれば、応答処理ユニット３３をテキストリクエストに応答するようにトリガーする。

【0128】

なお、認証ユニット３４は、受信されたトークン情報及び生成されたトークン情報が一致するかを判断して良く、一致すれば、認証が成功とし、さもなければ、認証を失敗とする。認証が失敗の場合に、クライアントインタラクションユニット３２は、テキストリクエストに応答しない、或いは認証失敗又は応答失敗の情報を第２の音声アシスタントのクライアントに返信する。

【0129】

Ｔｏｋｅｎによる認証によれば、第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを誤って呼び出すことを防止でき、悪意のある第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出して攻撃を行うことも防止できる。例えば、悪意のある第１の音声アシスタントのクライアントが第２の音声アシスタントのクライアントを呼び出して攻撃的なテキストリクエストを複数回に送信する場合に、悪意のある第１の音声アシスタントのクライアントがＴｏｋｅｎを知ることができないため、第２の音声アシスタントのサーバが悪意のあるテキストリクエストに応答しない。

【0130】

本願において、Ｔｏｋｅｎによる認証処理のほか、Ｔｏｋｅｎを利用して周波数制御処理及び／又は課金処理のうちの少なくとも一つを行って良い。

【0131】

周波数制御処理ユニット３５は、第２の音声アシスタントのクライアントに対して周波数制御処理を行い、設定時間内に第２の音声アシスタントのクライアントが送信した、認証の失敗したリクエストの数が所定の閾値を超えると、第２の音声アシスタントのクライアントをブラックリストに登録する。クライアントインタラクションユニット３２は、ブラックリストにおけるクライアントからのリクエストに対して直接に廃棄処理を行う。

【0132】

課金ユニット（未図示）は、第１の音声アシスタント側でテキストリクエストに応答する回数の代わりに、Ｔｏｋｅｎと第１の音声アシスタントとの対応関係を記録し統計して第１の音声アシスタント側に対して課金する基礎をとする。具体的に、上記対応関係に基づいてテキストリクエストに対する応答のうち第１の音声アシスタントに対応する応答回数を統計し、上記応答回数に基づいて第１の音声アシスタントに課金して良い。

【0133】

本願の実施例によれば、本願は更に電子デバイス及び可読記憶媒体を提供した。

【0134】

図１０は、本願の実施例の音声処理方法による電子デバイスのブロック図を示した。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、ＰＤＡ、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本出願の実現を限定することが意図されない。

【0135】

図１０に示すように、この電子デバイスは、一つ又は複数のプロセッサ１００１、メモリ１００２、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力／出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図１０において、一つのプロセッサ１００１を例とする。

【0136】

メモリ１００２は、本出願で提供される非一時的コンピュータ可読記憶媒体である。なお、メモリには、少なくとも１つのプロセッサが本願に提供された音声処理方法を実行するように、少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本出願の非一時的コンピュータ可読記憶媒体は、本願に提供された音声処理方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

【0137】

メモリ１００２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本出願の実施例における音声処理方法に対応するプログラムコマンド／ユニットを記憶するために用いられる。プロセッサ１００１は、メモリ１００２に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例における音声処理方法を実現する。

【0138】

メモリ１００２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は音声処理による電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ１００２は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ１００２は、プロセッサ１００１に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

【0139】

音声処理方法の電子デバイスは、更に、入力装置１００３と出力装置１００４とを備えても良い。プロセッサ１００１、メモリ１００２、入力装置１００３及び出力装置１００４は、バス又は他の手段により接続されても良く、図１０においてバスによる接続を例とする。

【0140】

入力装置１００３は、入力された数字又はキャラクタ情報を受信し、音声処理の電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置１００４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。上記表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

【0141】

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、上記記憶システム、上記少なくとも一つの入力装置、及び上記少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラム可能なシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

【0142】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

【0143】

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

【0144】

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、上記グラフィカルユーザインターフェースもしくは上記ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。ステムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

【0145】

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。

【0146】

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本出願に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本出願で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

【0147】

上記の具体的な実施形態は本出願の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本出願の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図5c】

【図5d】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】