特許 7017598 スマートデバイスのデータ処理方法、装置、機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-31

(45)【発行日】2022-02-08

(54)【発明の名称】スマートデバイスのデータ処理方法、装置、機器及び記憶媒体

(51)【国際特許分類】

   H04W 88/04 20090101AFI20220201BHJP

   H04W 84/10 20090101ALI20220201BHJP

   H04M 1/72412 20210101ALI20220201BHJP

【ＦＩ】

H04W88/04

H04W84/10 110

H04M1/72412

【請求項の数】 9

(21)【出願番号】P 2020069790

(22)【出願日】2020-04-08

(65)【公開番号】P2021057878

(43)【公開日】2021-04-08

【審査請求日】2020-04-08

(31)【優先権主張番号】201910935399.5

(32)【優先日】2019-09-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(73)【特許権者】

【識別番号】521235408

【氏名又は名称】シャンハイ シャオドゥ テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】リウ， ヤン

(72)【発明者】

【氏名】シー， シー

(72)【発明者】

【氏名】クァン， ロン

【審査官】永田 義仁

(56)【参考文献】

【文献】米国特許第１０３６７５４０（ＵＳ，Ｂ１）

【文献】特開２０１９－１５９３０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０４０２５１３（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１０３１２２３５（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／１６

Ｇ１０Ｌ１５／００－１７／２６

Ｈ０４Ｂ７／２４－７／２６

Ｈ０４Ｍ１／００

１／２４－１／８２

９９／００

Ｈ０４Ｗ４／００－９９／００

(57)【特許請求の範囲】

【請求項1】

スマートデバイスのデータ処理方法であって、
収集されたユーザ音声情報からキー音声情報を抽出するステップと、
非ワイヤレスフィデリティＷｉＦｉネットワーク環境において、モバイル端末が前記キー音声情報をサーバに伝送し、前記サーバにより前記キー音声情報を処理した後に、フィードバックされた処理結果を受信するように、前記キー音声情報を前記モバイル端末に伝送するステップと、
前記モバイル端末から前記処理結果を取得して表示するステップと、を含み、
前記キー音声情報をモバイル端末に伝送するステップは、
ローカルブルートゥースモジュールの第１のチャンネルを使用して前記ローカルブルートゥースモジュールの第２のチャンネルをオフ状態からオン状態に切り替えるように制御するステップと、
前記キー音声情報を前記第２のチャンネルを介してモバイル端末に伝送するステップと、を含み、
前記第１のチャンネルの消費電力は、前記第２のチャンネルより低く、前記第１のチャンネルは、前記ローカルブルートゥースモジュールが起動された後に常時オン状態になることを特徴とする、スマートデバイスのデータ処理方法。

【請求項2】

収集されたユーザ音声情報からキー音声情報を抽出するステップは、
収集されたユーザ音声情報にウェイクアップワードが存在すると認識された場合、前記収集されたユーザ音声情報からキー音声情報を抽出するステップを含むことを特徴とする、請求項１に記載のスマートデバイスのデータ処理方法。

【請求項3】

収集されたユーザ音声情報からキー音声情報を抽出するステップは、
収集されたユーザ音声情報から前記ウェイクアップワードの後の音声情報をキー音声情報として切り出すステップを含むことを特徴とする、請求項２に記載のスマートデバイスのデータ処理方法。

【請求項4】

収集されたユーザ音声情報からキー音声情報を抽出するステップは、
収集されたユーザ音声情報に対してノイズ低減処理及び／又は音声テキスト変換処理を行って、キー音声情報を取得するステップを含むことを特徴とする、請求項１に記載のスマートデバイスのデータ処理方法。

【請求項5】

収集されたユーザ音声情報からキー音声情報を抽出した後、
ＷｉＦｉネットワーク環境において、サーバにより前記キー音声情報を処理した後に処理結果をフィードバックするように、前記ＷｉＦｉネットワークに基づいて前記キー音声情報を前記サーバに伝送するステップと、
前記ＷｉＦｉネットワークに基づいて前記サーバから前記処理結果を取得して表示するステップと、をさらに含むことを特徴とする、請求項１に記載のスマートデバイスのデータ処理方法。

【請求項6】

スマートデバイスのデータ処理装置であって、
収集されたユーザ音声情報からキー音声情報を抽出するためのキー音声抽出モジュールと、
非ワイヤレスフィデリティＷｉＦｉネットワーク環境において、モバイル端末が前記キー音声情報をサーバに伝送し、前記サーバにより前記キー音声情報を処理した後に、フィードバックされた処理結果を受信するように、前記キー音声情報を前記モバイル端末に伝送するための非ＷｉＦｉ伝送モジュールと、
前記モバイル端末から前記処理結果を取得して表示するための処理結果表示モジュールと、を含み、
前記非ＷｉＦｉ伝送モジュールが、ローカルブルートゥースモジュールの第１のチャンネルを使用して前記ローカルブルートゥースモジュールの第２のチャンネルをオフ状態からオン状態に切り替えるように制御し、前記キー音声情報を前記第２のチャンネルを介してモバイル端末に伝送し、
前記第１のチャンネルの消費電力が前記第２のチャンネルより低く、前記第１のチャンネルが、前記ローカルブルートゥースモジュールが起動された後に常時オン状態になることを特徴とする、スマートデバイスのデータ処理装置。

【請求項7】

キー音声抽出モジュールは、
収集されたユーザ音声情報にウェイクアップワードが存在すると認識された場合、前記収集されたユーザ音声情報からキー音声情報を抽出することを特徴とする、請求項６に記載のスマートデバイスのデータ処理装置。

【請求項8】

電子機器であって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行される場合に、前記少なくとも一つのプロセッサが、請求項１から５のいずれかに記載のスマートデバイスのデータ処理方法を実行することを特徴とする、電子機器。

【請求項9】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１から５のいずれかに記載のスマートデバイスのデータ処理方法を実行させることを特徴とする、非一時的なコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、データ処理技術の分野に関し、具体的には人工知能技術の分野に関し、特に、スマートデバイスのデータ処理方法、装置、機器及び記憶媒体に関する。

【背景技術】

【0002】

インテリジェントな音声対話技術の急速な発展と伴い、ヒューマン-コンピュータ・インタラクションを行うスマートデバイスが既に人々の生活に広く応用されている。現在、既存のスマートデバイスは、通常、ＷｉＦｉネットワークを使用してサーバとインタラクションを行うことで、ユーザにインテリジェントなインタラクティブサービスを提供する。

【0003】

しかし、実際の使用シーンでは、スマートデバイスは、常にＷｉＦｉネットワークのない環境にあることがある。この場合、スマートデバイスはサーバとネットワーク接続を確立することができず、さらに、ユーザに音声などのインテリジェントなインタラクティブサービスを提供することができなくなるため、早急に改善する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本出願の実施例は、スマートデバイスのデータ処理方法、装置、機器及び記憶媒体を提供し、周辺にＷｉＦｉネットワーク環境がない場合、スマートデバイスがモバイル端末のネットワークを介してサーバとのインタラクションを実現し、ユーザにインテリジェントなインタラクティブサービスを提供する。

【課題を解決するための手段】

【0005】

第１の態様では、本出願の実施例は、スマートデバイスのデータ処理方法を開示し、当該方法は、収集されたユーザ音声情報からキー音声情報を抽出するステップと、非ワイヤレスフィデリティＷｉＦｉネットワーク環境において、前記モバイル端末が前記キー音声情報をサーバに伝送し、前記サーバにより前記キー音声情報を処理した後にフィードバックされた処理結果を受信するように、前記キー音声情報をモバイル端末に伝送するステップと、前記モバイル端末から前記処理結果を取得して表示するステップと、を含み、前記キー音声情報をモバイル端末に伝送するステップは、ローカルブルートゥースモジュールの第１のチャンネルを使用して前記ローカルブルートゥースモジュールの第２のチャンネルをオフ状態からオン状態に切り替えるように制御するステップと、前記キー音声情報を前記第２のチャンネルを介してモバイル端末に伝送するステップと、を含み、前記第１のチャンネルの消費電力は、前記第２のチャンネルより低く、前記第１のチャンネルは、前記ローカルブルートゥースモジュールが起動された後に常時オン状態になる。

【0006】

上記の出願中の一実施例では、以下の利点又は有益な効果を有する。収集されたユーザ音声情報に対してキー音声情報の抽出を行った後、スマートデバイスが非ＷｉＦｉネットワーク環境にある場合、モバイル端末とのネットワーク接続を確立し、抽出されたキー音声情報をモバイル端末に伝送し、モバイル端末のネットワークを介してキー音声情報をサーバに伝送して処理を行い、サーバがキー音声情報処理を完了した後、同様にモバイル端末のネットワークを介して処理結果をスマートデバイスにフィードバックして表示される。本実施例では、スマートデバイスがサーバに音声情報を伝送する前に、まず、ローカルに収集されたユーザ音声情報に対してキー音声情報抽出を行い、音声情報伝送量を低減して、スマートデバイスの消費電力を節約するとともに、後続のサーバのデータ処理効率を向上させる。また、スマートデバイスは、周辺にＷｉＦｉネットワーク環境がない場合には、モバイル端末のネットワークを介して、サーバとのインタラクションを実現し、ユーザにインテリジェントなインタラクティブサービスを提供する。当該プロセスは、モバイル端末が伝送対象となるキー音声情報に対して他の処理操作を行う必要がなく、モバイル端末により多くの消費電力を占有する必要がない。

【0007】

選択可能に、収集されたユーザ音声情報からキー音声情報を抽出するステップは、収集されたユーザ音声情報にウェイクアップワードが存在すると認識された場合、前記収集されたユーザ音声情報からキー音声情報を抽出するステップを含む。

【0008】

上記の選択可能な方式では、以下の利点又は有益な効果を有する。本実施例は、ウェイクアップワードを含むユーザ音声情報だけに対してキーワード抽出を行い、スマートデバイスが誤って環境中の非インタラクション音声情報に対してキー音声情報の抽出処理を行うことによって、インテリジェントなインタラクティブサービスが誤って提供される状況の発生を回避し、スマートデバイスの消費電力を大幅に節約する。

【0009】

選択可能に、収集されたユーザ音声情報からキー音声情報を抽出するステップは、収集されたユーザ音声情報から前記ウェイクアップワードの後の音声情報をキー音声情報として切り出すステップを含む。

【0010】

上記の選択可能な方式では、以下の利点又は有益な効果を有する。ユーザ音声情報からキー情報を抽出する場合、ウェイクアップワードの後の音声情報をキー音声情報として、ユーザ音声情報からキー情報を迅速且つ正確に抽出する。

【0011】

選択可能に、収集されたユーザ音声情報からキー音声情報を抽出するステップは、収集されたユーザ音声情報に対してノイズ低減処理及び／又は音声テキスト変換処理を行って、キー音声情報を取得するステップを含む。

【0012】

上記の選択可能な方式では、以下の利点又は有益な効果を有する。収集されたユーザ音声情報に対してノイズ低減処理を行い、取得されたキー音声情報からノイズ干渉を除去することにより、後続のサーバが、より正確にその中からユーザの今回の音声インタラクションの意図の分析が容易になる。ユーザにより正確にインテリジェントなインタラクティブサービスを提供し、収集されたユーザ音声情報に対して音声テキスト変換処理を行い、取得されたキー音声情報がテキスト情報であることで、後続のサーバが音声情報に対してテキスト変換を行う必要がなく、サーバがユーザ音声情報に対して分析処理を行う消費電力を低減する。ノイズ低減処理または音声テキスト変換を問わず、いずれもユーザ音声情報の伝送量を低減し、スマートデバイスの伝送消費電力を低減することができる。

【0013】

前記キー音声情報をモバイル端末に伝送するステップは、ローカルブルートゥースモジュールの第１のチャンネルを使用して前記ローカルブルートゥースモジュールの第２のチャンネルをオフ状態からオン状態に切り替えるように制御するステップと、前記第２のチャンネルを介して前記キー音声情報をチャンネルモバイル端末に伝送するステップと、を含み、前記第１のチャンネルの消費電力は、前記第２のチャンネルより低く、且つ前記第１のチャンネルは、前記ローカルブルートゥースモジュールが起動された後に常時オン状態になる。

【0014】

上記の選択可能な方式では、以下の利点又は有益な効果を有する。ブルートゥースネットワークを採用してキー音声情報をモバイル端末に伝送し、且つブルートゥースモジュールには二つの消費電力が異なる伝送チャンネルを含み、低消費電力の第１のチャンネルは、常時オン状態にあり、キー音声情報を伝送する必要がある場合、第１のチャンネルで高消費電力の第２のチャンネルをオンにするように制御して、第２のチャンネルでキー音声情報をモバイル端末に伝送する。本実施例では、スマートデバイスが、モバイル端末に音声データを伝送する必要がない場合、高消費電力の第２のチャンネルをオフにし、低消費電力の第１のチャンネルのみをオンにして音声データの伝送を行う必要があるか否かを検出することにより、スマートデバイス内のブルートゥースモジュールの消費電力を大幅に低減し、スマートデバイスの消費電力を低減する。

【0015】

選択可能に、収集されたユーザ音声情報からキー音声情報を抽出するステップの後、ＷｉＦｉネットワーク環境において、サーバにより前記キー音声情報を処理した後に処理結果をフィードバックするように、前記ＷｉＦｉネットワークに基づいて前記キー音声情報を前記サーバに伝送するステップと、前記ＷｉＦｉネットワークに基づいて前記サーバから前記処理結果を取得して表示するステップと、をさらに含む。

【0016】

上記の選択可能な方式では、以下の利点又は有益な効果を有する。ＷｉＦｉネットワーク環境にある場合には、スマートデバイスは、直接にＷｉＦｉネットワークに基づいてサーバとインタラクションを行い、ユーザにインテリジェントなインタラクティブサービスを提供する。非ＷｉＦｉネットワーク環境にある場合には、スマートデバイスモバイル端末のネットワークを介してキー音声情報をサーバに伝送してサーバとのインタラクションを実現し、ユーザにインテリジェントなインタラクティブサービスを提供する。本実施例におけるスマートデバイスは、ＷｉＦｉネットワーク環境が存在するか否かに応じて、サーバとインタラクションを行うネットワークを自動的に適応し、ユーザとの間で支障なく音声インタラクションを行うことができる。

【0017】

第２の態様では、本出願の実施例は、スマートデバイスのデータ処理装置をさらに提供する。当該装置は、収集されたユーザ音声情報からキー音声情報を抽出するためのキー音声抽出モジュールと、非ワイヤレスフィデリティＷｉＦｉネットワーク環境において、前記モバイル端末が前記キー音声情報をサーバに伝送し、前記サーバにより前記キー音声情報を処理した後にフィードバックされた処理結果を受信するように、前記キー音声情報をモバイル端末に伝送するための非ＷｉＦｉ伝送モジュールと、前記モバイル端末から前記処理結果を取得して表示するための処理結果表示モジュールと、を含み、前記非ＷｉＦｉ伝送モジュールが、ローカルブルートゥースモジュールの第１のチャンネルを使用して前記ローカルブルートゥースモジュールの第２のチャンネルをオフ状態からオン状態に切り替えるように制御し、前記キー音声情報を前記第２のチャンネルを介してモバイル端末に伝送し、前記第１のチャンネルの消費電力が前記第２のチャンネルより低く、前記第１のチャンネルが、前記ローカルブルートゥースモジュールが起動された後に常時オン状態になる。

【0018】

上記出願の一実施例では、以下の利点又は有益な効果を有する。収集されたユーザ音声情報に対してキー音声情報の抽出を行った後、スマートデバイスが非ＷｉＦｉネットワーク環境にある場合、モバイル端末とのネットワーク接続を確立し、抽出されたキー音声情報をモバイル端末に伝送し、モバイル端末のネットワークを介してキー音声情報をサーバに伝送して処理を行い、サーバがキー音声情報処理を完了した後、同様にモバイル端末のネットワークを介して処理結果をスマートデバイスにフィードバックして表示する。本実施例では、スマートデバイスがサーバに音声情報を伝送する前に、まず、ローカルに収集されたユーザ音声情報に対してキー音声情報抽出を行い、音声情報伝送量を低減し、スマートデバイスの消費電力を節約するとともに、後続のサーバのデータ処理効率を向上させる。また、スマートデバイスは、周辺にＷｉＦｉネットワーク環境がない場合、モバイル端末のネットワークを介して、サーバとのインタラクションを実現し、ユーザにインテリジェントなインタラクティブサービスを提供する。当該プロセスは、モバイル端末が伝送対象となるキー音声情報に対して他の処理操作を行う必要がなく、モバイル端末が多くの消費電力を占有する必要がない。

【0019】

第３の態様では、本出願の実施例は、電子機器をさらに開示し、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信可能に接続されるメモリと、を含み、前記メモリに前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行される場合に、前記少なくとも一つのプロセッサが、本出願の任意の実施例に記載のスマートデバイスのデータ処理方法を実行可能である。

【0020】

第４の態様では、本出願の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに開示し、前記コンピュータ命令は、前記コンピュータに本出願の任意の実施例に記載のスマートデバイスのデータ処理方法を実行させる。

【0021】

上記の出願中の一実施例では、以下の利点又は有益な効果を有する。収集されたユーザ音声情報に対してキー音声情報の抽出を行った後、スマートデバイスが非ＷｉＦｉネットワーク環境にある場合、モバイル端末とのネットワーク接続を確立し、抽出されたキー音声情報をモバイル端末に伝送し、モバイル端末のネットワークを介してキー音声情報をサーバに伝送して処理を行う。サーバがキー音声情報処理を完了した後、同様にモバイル端末のネットワークを介して処理結果をスマートデバイスにフィードバックして表示する。本実施例では、スマートデバイスがサーバに音声情報を伝送する前に、まず、ローカルに収集されたユーザ音声情報に対してキー音声情報抽出を行って、音声情報伝送量を低減し、スマートデバイスの消費電力を節約するとともに、後続のサーバのデータ処理効率を向上させる。また、スマートデバイスは、周辺にＷｉＦｉネットワーク環境がない場合、モバイル端末のネットワークを介して、サーバとのインタラクションを実現し、ユーザにインテリジェントなインタラクティブサービスを提供する。当該プロセスは、モバイル端末が伝送対象となるキー音声情報に対して他の処理操作を行う必要がなく、モバイル端末が多くの消費電力を占有する必要がない。

【0022】

上記の選択可能な方式が有する他の効果は、以下で具体的な実施例を組み合わせて説明する。

【図面の簡単な説明】

【0023】

図面は、本技術案をよりよく理解するために使用されており、本出願の限定を構成するものではない。

【図1】本出願の第１の実施例に係るスマートデバイスのデータ処理方法のフローチャートである。

【図2】本出願の第２の実施例に係る別のスマートデバイスのデータ処理方法のフローチャートである。

【図3A】本出願の第３の実施例に係る別のスマートデバイスのデータ処理方法のフローチャートである。

【図3B】本出願の第３の実施例に係るスマートデバイスのデータ処理プロセスの概略図である。

【図4】本出願の第４の実施例に係るスマートデバイスのデータ処理装置の構造ブロック図である。

【図5】本出願の実施例に係るスマートデバイスのデータ処理方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0024】

以下、図面を組み合わせて本出願の例示的な実施例を説明し、理解を容易にするために、本出願の実施例の様々な詳細を含んでいるが、それらは単なる例示的と見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確かつ簡潔のために、以下の説明では、周知の機能及び構造の説明を省略する。

【0025】

第１の実施例
図１は、本出願の第１の実施例に係るスマートデバイスのデータ処理方法のフローチャートである。本実施例は、スマートデバイスがユーザにインテリジェントなインタラクティブサービスを提供するプロセスにおいて、ユーザの音声情報をデータ処理する場合に適用される。特に、ユーザの音声情報を処理するプロセスにおいて、スマートデバイスがサーバとインタラクションを行う場合に適用される。当該方法は、本出願の実施例に係るスマートデバイスのデータ処理装置又はスマートデバイスによって実行することができ、当該装置は、ソフトウェア及び／又はハードウェア方式を採用して実現することができる。本出願の実施例におけるスマートデバイスは、スマートスピーカ、スマートテレビ、スマートウォッチなどのインテリジェントなインタラクティブサービスを提供することができる任意の電子機器であってよい。図１に示すように、本実施例に係るスマートデバイスのデータ処理方法は、以下のようなステップを含むことができる。
Ｓ１０１において、収集されたユーザ音声情報からキー音声情報を抽出する。

【0026】

ユーザの音声情報は、ユーザがスマートデバイスによりインテリジェントなインタラクティブサービスを提供される必要がある時に、音声の形式で今回のニーズを表現するオーディオデータであってよい。キー音声情報は、ユーザ音声情報から抽出されたユーザの今回のニーズを示すことができるキーワード又はキーセンテンスに対応するオーディオデータであってよい。例えば、スマートデバイスがスマートスピーカであり、ユーザがスマートスピーカから「私と私の祖国」という歌を再生したい場合、ユーザ音声情報は、「スマートスピーカを起動して「私と私の祖国」の曲を再生する」に対応するオーディオデータであってよい。当該ユーザの音声データから抽出されたキー音声情報は、「「私と私の祖国」の曲を再生する」である。

【0027】

選択可能に、本実施例におけるスマートデバイスは、環境中に音響信号が存在するか否かをリアルタイムに監視する音声収集装置（マイクロフォンなどであってよい）として構成され、音響信号が存在する場合には、現在の環境中の音響信号をユーザ音声情報として収集する。当該音声装置は、スマートデバイスによって送信された音声収集命令を受信した後、現在の環境中の音響信号をユーザ音声情報として収集することもできる。当該音声収集命令は、ユーザが電子スマートデバイス上の物理ボタンによってトリガされたものであってよいし、ユーザの音声によってトリガされた（音声による発話スマートデバイスのウェイクアップワードなど）ものであってよい。選択可能に、非ユーザの音声による干渉を防止するため、本実施例は、スマートデバイスのローカルにサービス対象のユーザの声紋情報が記憶され、現在の環境中の音響信号を収集する場合、まず、当該音響信号の声紋情報がローカルに記憶されているサービス対象のユーザの声紋情報と一致するか否かを判断し、一致する場合、現在の環境中の音響信号をユーザ音声情報として収集し、そうでない場合、今回のユーザ音声情報の収集操作を実行しないことができる。

【0028】

選択可能に、スマートデバイスは、ユーザ音声情報を収集した後、収集されたユーザ音声情報に環境ノイズ、空白音声、又は非ニーズ類の語などのいくつかの非重要な情報が存在する可能性がある。この時、直接収集されたユーザ音声情報をサーバに送信して分析を行うと、ユーザ音声情報には重要でない情報が含まれているため、高いデータ伝送量を消費する必要があるだけでなく、サーバによるユーザ音声情報の解析を干渉することになる。したがって、当該問題を解决するために、本実施例は、収集されたユーザ音声情報からキー音声情報を抽出して伝送することができる。具体的なキー音声情報の抽出方法は、数多くあるが、本実施例では限定されない。

【0029】

第１の可能な実施方式では、収集されたユーザ音声情報に対してノイズ低減処理及び／又は音声テキスト変換処理を行って、キー音声情報を取得することができる。

【0030】

具体的には、ユーザ音声情報のノイズ低減処理は、予め設定されたフィルタアルゴリズムを採用して収集されたユーザ音声情報に対してフィルタリング操作を行い、ノイズ信号の干渉をフィルタリングし、ユーザ音声情報の純度を向上させることにより、後続のサーバが、より正確にその中からユーザの今回の音声インタラクションの意図を分析することを容易にする。例えば、ユーザ音声情報をノイズ低減処理することによって、ユーザ音声情報中の環境ノイズ、録音プロセスにおける信号干渉ノイズ及び空白オーディオなどをフィルタリングすることができる。ユーザ音声情報に対する音声テキスト変換処理は、音声認識アルゴリズム又は予めトレーニングされた音声認識モデルを介してユーザ音声情報に対して音声からテキストへの変換を行うことができる。音声認識モデルは、予め大量のサンプルデータで初期ニューラルネットワークモデルをトレーニングした後に取得されたオーディオデータを、テキストデータに変換できるニューラルネットワークモデルであってよい。サンプルデータは、大量のオーディオデータ、及び各オーディオデータに対応するテキストデータであってよい。収集されたユーザ音声情報に対して音声テキスト変換処理を行うことにより、後続のサーバが音声情報に対してテキスト変換を行う必要がなく、サーバがユーザ音声情報に対して分析処理を行う消費電力を低減する。サーバが大量のスマートデバイスに音声情報処理のサービスを提供する必要があるため、サーバ音声テキスト変換の操作を削減し、音声情報を処理するサービスの効率を大幅に向上させることができ、さらに、スマートデバイスがユーザにインテリジェントなインタラクティブサービスを提供する効率を向上させることができる。

【0031】

第２の可能な実施方式は、収集されたユーザ音声情報に標準命令テンプレートにマッチングする語彙又は語句が存在するか否かを認識し、存在する場合、前記マッチングされる語彙又は語句をキー音声情報とする。例えば、歌を選ぶサービスに対応する標準命令テンプレートを「曲を再生する」として設置することができ、ユーザ音声情報「スマートスピーカを起動して「私と私の祖国」の曲を再生する」に標準命令テンプレートにマッチングする語句が存在することが検出された場合、標準命令テンプレートにマッチングする語句「「私と私の祖国」の曲を再生する」をキー音声情報とすることができる。

【0032】

第３の可能な実施方式は、収集されたユーザ音声情報からウェイクアップワードを切り出した後の音声情報をキー音声情報とすることもできる。当該実施可能な方式の具体的な実行方法は、後続の実施例で詳細に説明する。

【0033】

なお、本実施例は、スマートデバイスの音声収集トリガ方式、インテリジェントのインタラクション方式、及びスマートデバイスの現在の環境などによって、上記の少なくとも一つの実施可能な方式を選択して収集されたユーザ音声情報からキー音声情報を抽出する操作を実行することができる。具体的には、音声収集トリガ方式が、環境に音響信号が存在することを検出するために、現在のユーザ音声情報を収集する場合、この時に収集された音声情報にウェイクアップワードが存在する可能性がある場合、第３の可能な実施方式を採用してキー音声情報を抽出することができ、スマートデバイスのインテリジェントにインタラクション方式が、予め設定された標準命令がスマートデバイスとインタラクションする場合、第２の可能な実施方式を採用してキー音声情報を抽出することができる。スマートデバイスの現在の環境が混雑し、干渉が大きい場合、この時に第１の可能な実施方式におけるノイズ低減処理の方式を採用してキー音声情報を抽出することができ、上記の三つの可能な実施方式のうちの少なくとも二つの方式を組み合わせてキー音声情報など抽出することもできる。

【0034】

Ｓ１０２、非ワイヤレスフィデリティＷｉＦｉネットワーク環境において、モバイル端末がキー音声情報をサーバに伝送し、サーバによりキー音声情報を処理した後にフィードバックされた処理結果を受信するように、キー音声情報をモバイル端末に伝送する。

【0035】

本出願のモバイル端末は、非ＷｉＦｉネットワーク環境で、依然としてネットワークモジュール自身を介してサーバと情報インタラクションを行う電子機器であってもよく、例えば、本出願のモバイル端末は、ＳＩＭカードが取り付けられている電子機器であってよい。非ＷｉＦｉネットワーク環境で内部のセルラーモバイルネットワーク（３Ｇ／４Ｇネットワークなど）を介してサーバと情報インタラクションを行うことができる。

【0036】

選択可能に、本実施例では、非ＷｉＦｉネットワーク環境において、スマート端末は、非ＷｉＦｉネットワークを介してモバイル端末とデータ伝送可能なネットワーク接続を確立することができる。選択可能に、既存のモバイル端末とスマート端末にはすべてブルートゥースモジュールが設置されているため、本実施例のスマート端末は、現在の環境に接続可能なＷｉＦｉネットワークがない場合、近くの接続可能なブルートゥース機器からローカル履歴に接続されたモバイル端末を検索して当該モバイル端末とブルートゥースネットワーク接続を確立し、その後、ブルートゥースネットワークに基づいてＳ１０１によって抽出されたキー音声情報をモバイル端末に伝送してもよい。モバイル端末は当該キー音声情報を受信した後、モバイル端末自身のセルラーモバイルネットワークを採用してキー音声情報をスマート端末とインタラクションする対象となるサーバに送信することができる。選択可能に、モバイル端末には、スマート端末とインタラクションする対象となるサーバのアプリケーションプログラムがインストールしてもよく、モバイル端末は、スマートデバイスがブルートゥースネットワークを介して伝送されたキー音声情報を受信した後、サーバのアプリケーションプログラムを介してセルラーモバイルネットワークに基づいて当該キー音声情報をサーバに伝送してもよい。サーバは、キー音声情報を受信した後、受信されたキー音声情報に対して分析処理を行って、ユーザのインタラクションニーズを決定し、ユーザのインタラクションニーズに対して、対応するサービス情報を処理結果として生成し、その後、当該処理結果をモバイル端末（例えば、モバイル端末にインストールされたサーバのアプリケーションプログラム）にフィードバックすることができる。例えば、キー音声情報が『「私と私の祖国」の曲を再生する』である場合、サーバは、当該キーセンテンス情報を分析してユーザのインタラクションニーズを『「私と私の祖国」の曲』と決定し、その後、処理結果として「私と私の祖国」の曲を検索してダウンロードし、ダウンロードされた「私と私の祖国」の曲をモバイル端末にフィードバックすることができる。

【0037】

選択可能に、ブルートゥースモジュールは、通常、複数の情報伝送可能なチャンネルを有し、本実施例は、スマートデバイスがモバイル端末にキー音声情報を送信する必要がある場合に、ローカルブルートゥースモジュールの第１のチャンネルを使用してローカルブルートゥースモジュールの第２のチャンネルをオフ状態からオン状態に切り替えるように制御して、キー音声情報を第２のチャンネルを介してモバイル端末に伝送する。第１のチャンネルの消費電力は、第２のチャンネルより低く、第１のチャンネルは、ローカルブルートゥースモジュールが起動された後に常時オン状態になる。音声情報伝送を行うチャンネルは、通常、高消費電力のチャンネルであり、伝送命令を受信するチャンネルは、低消費電力のチャンネルである。モバイル端末内部のブルートゥースモジュールの消費電力を低減するため、本実施例におけるブルートゥースモジュールの低消費電力チャンネルは、常時オンチャンネルに設置することができ、高消費電力のチャンネルは、動作する時にオンになり、動作していない時にオフ状態になる。スマートデバイスは、モバイル端末にキー音声情報を送信する必要がある場合に、ローカルブルートゥースモジュールの低消費電力の第１のチャンネルに音声情報伝送命令を送信する。第１のチャンネルは、当該音声情報伝送命令を受信した後、音声情報を伝送するための高消費電力の第２のチャンネルをターンオフ状態からオン状態に切り替えるように制御する。この時、スマートデバイスは、キー音声情報を第２のチャンネルを介してモバイル端末に伝送することができる。それに応じて、モバイル端末にも、同様に、ブルートゥースモジュールにおける第１のチャンネルで音声情報が入力されることが検出された場合、第２のチャンネルの状態をオフ状態からオン状態に切り替えた後、スマートデバイスによって伝送されたキー音声情報を第２のチャンネルで受信し、その後、受信されたキー音声情報をサーバのアプリケーションプログラムに伝送し、当該アプリケーションプログラムは、モバイルデバイスの内部のセルラーモバイルネットワークに基づいて、キー音声情報をサーバに伝送する。

【0038】

本実施例は、非ＷｉＦｉネットワーク環境において、スマートデバイスは、上記の説明されたブルートゥースネットワークを介してモバイル端末とネットワーク接続を確立できる以外に、ｍｓｈネットワーク、ＺｉｇＢｅｅネットワークなど、他の非ＷｉＦｉネットワークを使用してネットワーク接続を確立することもでき、本実施例では限定されない。また、モバイル端末は、キー音声情報を受信した後、キー音声情報に対する他の処理操作を必要とせず、モバイル端末のネットワークを介して当該キー音声情報をサーバに伝送するだけでよいため、モバイル端末は過大な消費電力を占有しない。

【0039】

Ｓ１０３、モバイル端末から処理結果を取得して表示する。

【0040】

選択可能に、モバイル端末は、サーバによってフィードバックされた処理結果を受信した後、モバイル端末とスマート端末との間のネットワーク接続を採用することができる。例えば、ブルートゥースネットワークであってもよく、サーバによってフィードバックされた処理結果をスマートデバイスに転送する。具体的な伝送プロセスは、Ｓ１０２で説明されたスマート端末がモバイル端末にキー音声情報を伝送するプロセスと類似しており、ここでは詳細に説明しない。

【0041】

選択可能に、スマート端末は、モバイル端末によって伝送された処理結果を取得した後、スマート端末は当該処理結果を表示する。具体的には、当該処理結果にオーディオデータが含まれる場合、音声再生装置によって当該オーディオデータを再生することができ、当該処理結果に文字又は画像が含まれる場合、ディスプレイスクリーンで当該文字又は画像を表示することができる。例えば、スマートデバイスによって受信された処理結果が「私と私の祖国」の曲である場合、スマートデバイスは、スピーカを介してユーザがリクエストした当該曲を再生することによって、ユーザにインテリジェントなインタラクティブサービスを提供することができる。

【0042】

本出願の実施例に係るスマートデバイスのデータ処理方法は、収集されたユーザ音声情報に対してキー音声情報の抽出を行った後、スマートデバイスが非ＷｉＦｉネットワーク環境にある場合、モバイル端末とのネットワーク接続を確立し、抽出されたキー音声情報をモバイル端末に伝送し、モバイル端末のネットワークを介してキー音声情報をサーバに伝送して処理を行い、サーバがキー音声情報処理を完了した後、同様にモバイル端末のネットワークを介して処理結果をスマートデバイスにフィードバックして表示する。本実施例では、スマートデバイスがサーバに音声情報を伝送する前に、まず、ローカルに収集されたユーザ音声情報に対してキー音声情報抽出を行い、音声情報伝送量を低減することで、スマートデバイスの消費電力を節約するとともに、後続のサーバのデータ処理効率を向上させる。また、スマートデバイスは、周辺にＷｉＦｉネットワーク環境がない場合、モバイル端末のネットワークを介して、サーバとのインタラクションを実現し、ユーザにインテリジェントなインタラクティブサービスを提供する。当該プロセスは、モバイル端末が伝送対象となるキー音声情報に対して他の処理操作を行う必要がなく、モバイル端末は多くの消費電力を占有する必要がない。

【0043】

第２の実施例
図２は、本出願の第２の実施例に係るスマートデバイスのデータ処理方法のフローチャートである。本実施例は、上記の実施例に基づいて、さらに最適化し、具体的には、どのように収集されたユーザ音声情報からキー音声情報を抽出するかを詳細に説明する。具体的には、図２に示すように、本実施例に係るスマートデバイスのデータ処理方法は、以下のようなステップを含むことができる。
Ｓ２０１では、収集されたユーザ音声情報にウェイクアップワードが存在すると認識された場合、収集されたユーザ音声情報からキー音声情報を抽出する。

【0044】

ウェイクアップワードは、スマートデバイスをウェイクアップしてユーザとインテリジェントにインタラクションするための語彙、短文、又は何らかの特殊な音（拍手の音など）であってよい。当該ウェイクアップワードは、ユーザが自分でスマートデバイスに設置して保存するか、スマートデバイスシステムのデフォルトであってよい。例えば、スマートスピーカのウェイクアップワードは、「スマートスピーカ」であってよい。

【0045】

スマートデバイスは、消費電力を低減するために、ユーザにスマートサービスを提供する必要がない場合には、通常、低消費電力のスリープ状態に入る。当該状態では、スマートデバイス内の高消費電力プロセス又はモジュールのいずれもが、実行が停止した状態であり、少数の低消費電力の検出モジュールのみが動作状態にある。例えば、スマートデバイスがスリープ状態にある場合、スマートデバイス内のデータ処理モジュール、音声再生モジュール、画像ディスプレイスクリーンなどの高消費電力モジュールの実行を停止する一方、音声収集モジュールは動作状態を保持する。当該音声収集モジュールは、収集されたユーザ音声情報にウェイクアップワードが存在するか否かを収集して検出し、ウェイクアップワードが存在する場合には、当該ユーザ音声情報は、ユーザが送信したスマートデバイスを起動してユーザにインテリジェントなインタラクティブサービスを提供する必要がある語句であることを示す。この時、スマートデバイスは、ユーザ音声情報からキー音声情報を抽出する。ウェイクアップワードが存在しない場合には、当該ユーザ音声情報は、周囲のユーザがチャットしている音、又は周辺の環境音（テレビの再生される音など）であり、キー音声情報の抽出を行う必要がないことを示す。

【0046】

選択可能に、本実施例では、ユーザ音声情報にウェイクアップワードが含まれているため、収集されたユーザ音声情報からキー音声情報を抽出する場合、収集されたユーザ音声情報からウェイクアップワードを切り出した後の音声情報をキー音声情報とすることができる。具体的には、収集されたユーザ音声情報からウェイクアップワードを認識し、その後、当該ウェイクアップワードが現れた時点を切り出し開始時点として決定し、当該ユーザ音声情報の終了時点を切り出し終了時点とし、ユーザ音声情報から当該切り出し開始時点と切り出し終了時点との間の音声情報をキー音声情報として切り出すことができる。選択可能に、キー音声情報における干渉情報を低減するために、本実施例は、ユーザ音声情報から当該切り出し開始時点と切り出し終了時点との間の音声情報を切り出した後、切り出した後の音声情報に対してノイズ低減処理を行い、最終的なキー音声情報を取得することもできる。サーバがユーザ音声情報に対して分析処理を行う消費電力を低減し、スマートデバイスがユーザにインテリジェントなインタラクティブサービスを提供する効率を向上させるために、本実施例では、選択可能に、ノイズ低減処理後の音声情報に対してテキスト変換操作を行い、取得されたテキスト情報を最終的なキー音声情報とすることもできる。

【0047】

Ｓ２０２では、非ワイヤレスフィデリティＷｉＦｉネットワーク環境において、モバイル端末がキー音声情報をサーバに伝送し、サーバがキー音声情報を処理した後にフィードバックされた処理結果を受信するように、キー音声情報をモバイル端末に伝送する。

【0048】

Ｓ２０３では、モバイル端末から処理結果を取得して表示する。

【0049】

本出願の実施例に係るスマートデバイスのデータ処理方法は、スマートデバイスがユーザ音声情報を収集した後、ウェイクアップワードを含むユーザ音声情報だけに対してキーワード抽出を行い、スマートデバイスが誤って環境中の非インタラクション音声情報に対してキー音声情報の抽出処理を行うことによって、インテリジェントなインタラクティブサービスが誤って提供される状況が発生することを回避するとともに、スマートデバイスの消費電力を大幅に節約する。ユーザ音声情報からキー情報を抽出する場合、ウェイクアップワードの後の音声情報をキー音声情報として、ユーザ音声情報からキー情報を迅速且つ正確に抽出することができる。周辺にＷｉＦｉネットワーク環境がない場合であっても、モバイル端末のネットワークを介して、サーバとのインタラクションを実現することで、スマートデバイスが、ＷｉＦｉネットワークがないシーンでも正常にユーザにインテリジェントなインタラクティブサービスを提供することができる。

【0050】

第３の実施例
図３Ａは、本出願の第３の実施例に係るスマートデバイスのデータ処理方法のフローチャートである。図３Ｂは、本出願の第３の実施例に係るスマートデバイスのデータ処理プロセスの概略図である。本実施例は、上記の実施例に基づいて、さらに最適化し、スマートデバイスが異なるネットワーク環境にある場合、データ処理方法を行う好ましい実施例を提供する。具体的には、図３Ａ～３Ｂに示すように、本実施例に係るスマートデバイスのデータ処理方法は、以下のようなステップを含むことができる。
Ｓ３０１では、収集されたユーザ音声情報からキー音声情報を抽出する。

【0051】

Ｓ３０２では、非ＷｉＦｉネットワーク環境にあるか否かを判断し、そうであれば、Ｓ３０３を実行し、そうでなければ、Ｓ３０５を実行する。

【0052】

選択可能に、図３Ｂに示すように、本実施例におけるスマートデバイスは、二つのネットワーク接続方式がある。一つのネットワーク接続方式は、接続可能なＷｉＦｉネットワーク環境である場合、スマートデバイスは、ＷｉＦｉモードに切り替えることができ、ルーティングデバイスを介して環境内のＷｉＦｉネットワークに接続され、さらに、ＷｉＦｉネットワークを介してサーバとデータインタラクションを行うことができる。もう一つのネットワーク接続方式は、接続できないＷｉＦｉネットワーク環境である場合、スマートデバイスをブルートゥースモードに切り替えることができ、ブルートゥースモジュールを介してモバイル端末とブルートゥースネットワーク接続を確立することができる。ブルートゥースネットワークは、データの伝送操作のみを行うことができる。

【0053】

選択可能に、スマートデバイスが収集されたユーザ音声情報からキー音声情報を抽出した後、当該キー音声情報をサーバに伝送する必要がある場合には、現在の環境が非ＷｉＦｉネットワーク環境であるか否かを確認する必要があり、そうであれば、Ｓ３０３～Ｓ３０４の操作を実行してサーバとのインタラクションプロセスを完了し、そうでなければ、Ｓ３０５～Ｓ３０６の操作を実行してサーバとのインタラクションプロセスを完了する。

【0054】

Ｓ３０３では、非ワイヤレスフィデリティＷｉＦｉネットワーク環境において、モバイル端末がキー音声情報をサーバに伝送し、サーバがキー音声情報を処理した後、フィードバックされた処理結果を受信するように、キー音声情報をモバイル端末に伝送する。

【0055】

例示的には、スマートデバイスが非ＷｉＦｉネットワーク環境にある場合、スマートデバイスはブルートゥースモードに自動的に切り替えられる。対応するネットワーク接続方式は、モバイル端末とブルートゥースネットワーク接続を確立することであり、この時のスマートデバイスは、ブルートゥースネットワークを介してキー音声情報をモバイル端末に伝送する。モバイル端末は、スマートデバイスによって伝送されたキー音声情報を受信した後、そのローカルのセルラーモバイルネットワークを使用してキー音声情報をサーバに転送し、サーバは、モバイル端末によって送信されたキー音声情報を受信した後、当該キー音声情報を分析処理し、処理結果をモバイル端末にフィードバックする。モバイル端末は、セルラーモバイルネットワークを使用してサーバによってフィードバックされた処理結果を受信した後、ブルートゥースネットワークを使用して当該処理結果をスマートデバイスに転送する。

【0056】

Ｓ３０４では、モバイル端末から処理結果を取得する。

【0057】

例示的には、スマートデバイスが、ブルートゥースネットワークを介してモバイル端末によって伝送された処理結果を受信する。

【0058】

Ｓ３０５では、ＷｉＦｉネットワーク環境において、サーバによりキー音声情報を処理した後に処理結果をフィードバックするように、ＷｉＦｉネットワークに基づいてキー音声情報をサーバに伝送する。

【0059】

例示的には、スマートデバイスがＷｉＦｉネットワーク環境にある場合、スマートデバイスはＷｉＦｉモードに自動的に切り替えられる。対応するネットワーク接続方式は、ルーティングデバイスを介してＷｉＦｉネットワークに接続され、スマートデバイスは、ＷｉＦｉネットワークを直接に使用してキー音声情報をサーバに送信することができる。サーバは、スマートデバイスによって送信されたキー音声情報を受信した後、当該キー音声情報を分析処理する。

【0060】

Ｓ３０６では、ＷｉＦｉネットワークに基づいてサーバから処理結果を取得する。

【0061】

例示的には、スマートデバイスがＷｉＦｉネットワーク環境にある場合、スマートデバイスは、直接にＷｉＦｉネットワークを介してサーバとインタラクションを行うことができるため、サーバは、処理結果をスマートデバイスにフィードバックする場合、スマートデバイスは、ＷｉＦｉネットワークを使用してサーバによってフィードバックされた処理結果を受信することもできる。

【0062】

Ｓ３０７では、処理結果を表示する。

【0063】

本出願の実施例に係るスマートデバイスのデータ処理において、スマートデバイスは、収集されたユーザ音声情報からキー音声情報を抽出した後、ＷｉＦｉネットワーク環境にある場合には、直接ＷｉＦｉネットワークに基づいてサービスにキー音声情報を送信し、及びサーバによってフィードバックされたキー音声情報に対する処理結果を受信して、ユーザにインテリジェントなインタラクティブサービスを提供することができる。非ＷｉＦｉネットワーク環境にある場合には、モバイル端末ネットワークの転送によって、キー音声情報をサーバに伝送し、サーバによってフィードバックされた処理結果を取得し、ユーザにインテリジェントなインタラクティブサービスを提供することができる。本実施例におけるスマートデバイスは、ＷｉＦｉネットワーク環境にある否かに応じて、サーバとインタラクションを行うネットワークを自動的に適応し、ユーザとの間で支障なく音声インタラクションを行うことができる。

【0064】

第４の実施例
図４は、本出願の第４の実施例に係るスマートデバイスのデータ処理装置の概略構成図である。当該装置は、本出願の任意の実施例に係るスマートデバイスのデータ処理方法を実行することができ、実行方法に対応する機能モジュール及び有益な効果を有する。選択可能に、当該装置は、ソフトウェア及び／又はハードウェアの方式を採用して実現することができ、スマートデバイスに統合することができる。図４に示すように、当該スマートデバイスのデータ処理装置４００は、収集されたユーザ音声情報からキー音声情報を抽出するためのキー音声抽出モジュール４０１と、非ワイヤレスフィデリティＷｉＦｉネットワーク環境において、前記モバイル端末が前記キー音声情報をサーバに伝送し、前記サーバにより前記キー音声情報を処理した後にフィードバックされた処理結果を受信するように、前記キー音声情報をモバイル端末に伝送するための非ＷｉＦｉ伝送モジュール４０２と、前記モバイル端末から前記処理結果を取得して表示するための処理結果表示モジュール４０３と、を含むことができる。

【0065】

本出願の実施例に係るスマートデバイスのデータ処理装置は、収集されたユーザ音声情報に対してキー音声情報の抽出を行った後、スマートデバイスが非ＷｉＦｉネットワーク環境にある場合、モバイル端末とのネットワーク接続を確立し、抽出されたキー音声情報をモバイル端末に伝送し、モバイル端末のネットワークを介してキー音声情報をサーバに伝送して処理を行い、サーバがキー音声情報処理を完了した後、同様にモバイル端末のネットワークを介して処理結果をスマートデバイスにフィードバックして表示する。本実施例では、スマートデバイスがサーバに音声情報を伝送する前に、まず、ローカルに収集されたユーザ音声情報に対してキー音声情報抽出を行い、音声情報伝送量を低減するので、スマートデバイスの消費電力を節約するとともに、後続のサーバのデータ処理効率を向上させることができる。また、スマートデバイスは、周辺にＷｉＦｉネットワーク環境がない場合、モバイル端末のネットワークを介して、サーバとのインタラクションを実現し、ユーザにインテリジェントなインタラクティブサービスを提供する。当該プロセスは、モバイル端末が伝送対象となるキー音声情報に対して他の処理操作を行う必要がなく、モバイル端末は多くの消費電力を占有する必要がない。

【0066】

さらに、前記キー音声抽出モジュール４０１は、具体的には、収集されたユーザ音声情報にウェイクアップワードが存在すると認識された場合、前記収集されたユーザ音声情報からキー音声情報を抽出する。

【0067】

さらに、前記キー音声抽出モジュール４０１は、収集されたユーザ音声情報からキー音声情報を抽出することを実行する時に、具体的には、収集されたユーザ音声情報から前記ウェイクアップワードの後の音声情報をキー音声情報として切り出す。

【0068】

さらに、前記キー音声抽出モジュール４０１は、具体的には、収集されたユーザ音声情報に対してノイズ低減処理及び／又は音声テキスト変換処理を行って、キー音声情報を取得する。

【0069】

さらに、前記非ＷｉＦｉ伝送モジュール４０２は、具体的には、ローカルブルートゥースモジュールの第１のチャンネルを使用して前記ローカルブルートゥースモジュールの第２のチャンネルをオフ状態からオン状態に切り替えるように制御し、前記キー音声情報を前記第２のチャンネルを介してモバイル端末に伝送する。前記第１のチャンネルの消費電力は、前記第２のチャンネルより低く、前記第１のチャンネルは、前記ローカルブルートゥースモジュールが起動された後に常時オン状態になる。

【0070】

さらに、前記装置は、前記サーバにより前記キー音声情報を処理した後に処理結果をフィードバックするように、前記ＷｉＦｉネットワークに基づいて前記キー音声情報をサーバに伝送するためのＷｉＦｉ伝送モジュールをさらに含み、前記処理結果表示モジュール４０３は、具体的には、前記ＷｉＦｉネットワークに基づいて前記サーバから前記処理結果を取得して表示する。

【0071】

第５の実施例
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

【0072】

図５に示すように、本出願の実施例のスマートデバイスのデータ処理方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

【0073】

図５に示すように、当該電子機器は、一つ又は複数のプロセッサ５０１と、メモリ５０２と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施方式では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図５では、一つのプロセッサ５０１を例とする。

【0074】

メモリ５０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中、前記メモリには、少なくとも一つのプロセッサによって実行される命令を記憶して、前記少なくとも一つのプロセッサが本出願により提供されるスマートデバイスのデータ処理方法を実行することができるようにする。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータが本出願により提供されるスマートデバイスのデータ処理方法を実行するためのコンピュータ命令を記憶する。

【0075】

メモリ５０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例におけるスマートデバイスのデータ処理方法に対応するプログラム命令／モジュール（例えば、図４に示すキー音声抽出モジュール４０１、非ＷｉＦｉ伝送モジュール４０２、及び処理結果表示モジュール４０３）ように、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサ５０１は、メモリ５０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の方法の実施例におけるスマートデバイスのデータ処理方法を実現する。

【0076】

メモリ５０２は、ストレージプログラム領域とストレージデータ領域とを含むことができ、その中、ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータ領域は、スマートデバイスのデータ処理方法を実現するための電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ４０２は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも一つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ５０２は、プロセッサ５０１に対して遠隔に設置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介してスマートデバイスのデータ処理方法を実現するための電子機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定しない。

【0077】

スマートデバイスのデータ処理方法を実現するための電子機器は、入力装置５０３と出力装置５０４とをさらに含むことができる。プロセッサ５０１、メモリ５０２、入力装置５０３、及び出力装置５０４は、バス又は他の方式を介して接続することができ、図５では、バスを介して接続することを例とする。

【0078】

入力装置５０３は、入力された数字又は文字情報を受信することができ、及びスマートデバイスのデータ処理方法を実現するための電子機器のユーザ設置及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示ロッド、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置５０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定しない。いくつかの実施方式では、ディスプレイデバイスは、タッチスクリーンであってよい。

【0079】

本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳIＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。

【0080】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令、高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することを含む。本明細書に使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

【0081】

ユーザとのインタラクションを提供するために、コンピュータ上において、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

【0082】

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

【0083】

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。

【0084】

本出願の実施例の技術案によれば、収集されたユーザ音声情報に対してキー音声情報の抽出を行った後、スマートデバイスが非ＷｉＦｉネットワーク環境にある場合、モバイル端末とのネットワーク接続を確立し、抽出されたキー音声情報をモバイル端末に伝送し、モバイル端末のネットワークを介してキー音声情報をサーバに伝送して処理を行い、サーバがキー音声情報処理を完了した後、同様にモバイル端末のネットワークを介して処理結果をスマートデバイスにフィードバックして表示する。本実施例では、スマートデバイスがサーバに音声情報を伝送する前に、まず、ローカルに収集されたユーザ音声情報に対してキー音声情報抽出を行って、音声情報伝送量を低減し、スマートデバイスの消費電力を節約するとともに、後続のサーバのデータ処理効率を向上させる。また、スマートデバイスは、周辺にＷｉＦｉネットワーク環境がない場合、モバイル端末のネットワークを介して、サーバとのインタラクションを実現し、ユーザにインテリジェントなインタラクティブサービスを提供する。当該プロセスは、モバイル端末が伝送対象となるキー音声情報に対して他の処理操作を行う必要がなく、モバイル端末が多くの消費電力を占有する必要がない。

【0085】

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

【0086】

上記の具体的な実施方式は、本出願に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】