特許 6692983 ロボット及びそのオーディオデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6692983

(24)【登録日】2020年4月17日

(45)【発行日】2020年5月13日

(54)【発明の名称】ロボット及びそのオーディオデータ処理方法

(51)【国際特許分類】

   H04R 3/00 20060101AFI20200427BHJP

   H04R 1/40 20060101ALI20200427BHJP

【ＦＩ】

   H04R3/00 320

   H04R1/40 320A

【請求項の数】10

【全頁数】13

(21)【出願番号】特願2019-208175(P2019-208175)

(22)【出願日】2019年11月18日

【審査請求日】2019年11月18日

(31)【優先権主張番号】201811620508.6

(32)【優先日】2018年12月28日

(33)【優先権主張国】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】515215346

【氏名又は名称】深セン市優必選科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＵＢＴＥＣＨ ＰＯＢＯＴＩＣＳ ＣＯＲＰ ＬＴＤ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】熊 友軍

(72)【発明者】

【氏名】▲しん▼ 芳琳

【審査官】 鈴木 圭一郎

(56)【参考文献】

【文献】 特開２００７−２２１３００（ＪＰ，Ａ）

【文献】 特開２００８−２７８３９９（ＪＰ，Ａ）

【文献】 特開２００７−２４１１５７（ＪＰ，Ａ）

【文献】 特開２０１１−０６９９０１（ＪＰ，Ａ）

【文献】 特開２００７−２９５０８５（ＪＰ，Ａ）

【文献】 特開２０１１−２３７６２１（ＪＰ，Ａ）

【文献】 特表２０１８−５１１９６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ １／００−３／１４

(57)【特許請求の範囲】

【請求項1】

ロボットであって、少なくとも１つの身体部分と収音モジュールと主制御モジュールとを含み、
前記収音モジュールと前記主制御モジュールは互いに電気的に接続され、前記収音モジュールはマイクロホンアレイを含み、前記マイクロホンアレイはＮ個のマイクロホンを含み、Ｎ≧３且つＮは整数であり、
前記Ｎ個のマイクロホンは、前記ロボットの少なくとも１つの身体部分の周りに分布し、前記Ｎ個のマイクロホンの一部は音源からの音が直接到達でき、前記Ｎ個のマイクロホンの他の一部は前記身体部分により前記音源が遮断されて前記音源からの音が直接到達できず、反射された音のみが到達され、
前記主制御モジュールは、前記マイクロホンアレイのＮ個のマイクロホンにより収集された前記音源から伝送されたオーディオデータを取得し、前記オーディオデータに基づいて音源位置決めを行い、前記Ｎ個のマイクロホンのうち前記音源からの音が直接到達できるマイクロホンにより収集されたオーディオデータに基づいて収音及び音声識別を行う、ことを特徴とするロボット。

【請求項2】

前記収音モジュールはＭＩＣ小型基板をさらに含み、
前記ＭＩＣ小型基板は、前記マイクロホンアレイと前記主制御モジュールにそれぞれ電気的に接続され、
前記ＭＩＣ小型基板は、前記マイクロホンアレイにより収集されたＮチャンネルのアナログオーディオデータをデジタルオーディオデータに変換し、かつコード化して、前記デジタルオーディオデータ及びコードを前記主制御モジュールに転送する、ことを特徴とする請求項１に記載のロボット。

【請求項3】

前記ＭＩＣ小型基板は、前記マイクロホンアレイ及び前記主制御モジュールに電気的に接続されたアナログデジタル変換器を含み、前記アナログデジタル変換器は、Ｎチャンネルのオーディオデータに対してアナログデジタル変換を行う、ことを特徴とする請求項２に記載のロボット。

【請求項4】

前記マイクロホンアレイは６個のマイクロホンを含み、前記６個のマイクロホンは前記ロボットの首部に配置され、前記６個のマイクロホンは、前記首部の縦軸線上の任意の点を円心とした円周に分布し、前記円周は前記縦軸線に対して垂直である、ことを特徴とする請求項１に記載のロボット。

【請求項5】

前記主制御モジュールは、ロボットのパワーアンプから参照オーディオデータを取得してＭＩＣ小型基板に入力し、前記ＭＩＣ小型基板はさらに、上記参照オーディオデータをアナログデジタル変換及びコード化した後に前記主制御モジュールに転送するために使用される、ことを特徴とする請求項２に記載のロボット。

【請求項6】

前記主制御モジュールに電気的に接続されたパワーアンプを更に含み、
主制御モジュールは制御されて、前記パワーアンプにより出力されたオーディオデータを取得し、前記パワーアンプにより出力されたオーディオデータに基づいて参照オーディオデータを生成する、ことを特徴とする請求項５に記載のロボット。

【請求項7】

前記主制御モジュールはデータバッファプールを含み、前記データバッファプールは、前記Ｎチャンネルのオーディオデータを記憶するために使用される、ことを特徴とする請求項１に記載のロボット。

【請求項8】

請求項１に記載のロボットに基づいて実現されるオーディオデータ処理方法であって、
収音モジュールのＮ個のマイクロホンによりオーディオデータを収集するステップと、
前記Ｎ個のマイクロホンにより収集されたＮチャンネルのオーディオデータを主制御モジュールに送信するステップと、
前記主制御モジュールは前記Ｎチャンネルのオーディオデータをデータバッファプール内に記憶し、オーディオデータに基づいて音源位置決め及び収音を行うステップとを含む、ことを特徴とするオーディオデータ処理方法。

【請求項9】

前記主制御モジュールは前記Ｎチャンネルのオーディオデータをデータバッファプール内に記憶し、オーディオデータに基づいて音源位置決め及び収音を行うステップは、
２チャンネルの参照オーディオデータ及び前記Ｎチャンネルのオーディオデータを前記データバッファプールに記憶するステップと、
前記データバッファプールから第１グループのオーディオデータを取得し、第１プリセットアルゴリズムにより音源を位置決めするステップと、
前記データバッファプールから第２グループのオーディオデータを取得し、第２プリセットアルゴリズムにより前記第２グループのオーディオデータに対してビームフォーミング及びオーディオノイズ低減処理を行うステップとを含む、ことを特徴とする請求項８に記載のオーディオデータ処理方法。

【請求項10】

前記Ｎチャンネルのオーディオデータは６チャンネルのオーディオデータであり、
第１マイクロホンによって取得されたオーディオデータを第１オーディオデータとして番号付けし、第２マイクロホンによって取得されたオーディオデータを第２オーディオデータとして番号付けし、第３マイクロホンによって取得されたオーディオデータを第３オーディオデータとして番号付けし、第４マイクロホンによって取得されたオーディオデータを第４オーディオデータとして番号付けし、第５マイクロホンによって取得されたオーディオデータを第５オーディオデータとして番号付けし、第６マイクロホンによって取得されたオーディオデータを第６オーディオデータとして番号付けし、第１チャンネルの参照オーディオデータを第７オーディオデータとして番号付けし、第２チャンネルの参照オーディオデータを第８オーディオデータとして番号付けし、
前記第１グループのオーディオデータは、第１オーディオデータ、第２オーディオデータ、第３オーディオデータ、第４オーディオデータ、第５オーディオデータ、第６オーディオデータ、第７オーディオデータ、及び第８オーディオデータを含み、
前記第２グループのオーディオデータは、第１オーディオデータ、第２オーディオデータ、第３オーディオデータ、第６オーディオデータ、第７オーディオデータ、及び第８オーディオデータを含み、
前記第１マイクロホン、前記第２マイクロホン、前記第５マイクロホン及び前記第６マイクロホンは、前記音源からの音が直接到達できるマイクロホンである、ことを特徴とする請求項９に記載のオーディオデータ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はスマートロボット分野に関し、特にスマートロボット及びそのオーディオデータ処理方法に関する。

【背景技術】

【0002】

ロボットの設計において、マイクロホンアレイの位置が正しく配置されていないと音声対話の効果に影響を及ぼす可能性がある。マイクロホンアレイのビームフォーミング（ｂｅａｍ−ｆｏｒｍｉｎｇ）のための最も基本的な要件及び前提条件は、音がマイクロホンアレイ内の各マイクロホンに直接達することである。従って、環状のマイクロホンアレイがロボットの首に配置されると、ロボットの首が首の後ろのマイクロホンを遮るため、音が首によって反射されてロボットの首の後ろのマイクロホンに直接達することができず、そして収音効果に影響を及ぼす。

【0003】

上記課題に対して、現在の市場では、通常、環状マイクロホンをロボットの頭部に配置するか、又は環状マイクロホンアレイ及び直線形マイクロホンアレイを同時に使用して、ロボットの３６０度のウェイクアップ及び３６０度の音源位置決めを実現するために環状マイクロホンアレイをロボットの首部に配置し、収音のためにビームフォーミングのための直線形マイクロホンをロボットの頭部に配置する。

【0004】

環状マイクロホンアレイをロボットの頭部に配置するとロボットの高さが制限されると同時に、良好な収音効果を得るためには環状マイクロホンアレイを水平方向の静止状態にする必要がある。そのため、ロボットの頭部の動きが制限され、環状マイクロホンのロボットの頭部での環状開口もロボットの美感に影響を与える。環状マイクロホンアレイ及び直線形マイクロホンアレイを同時に使用することによって、ロボットの至るところにマイクロホンの開口があり、それはロボットの美観に影響を与える。

【発明の概要】

【発明が解決しようとする課題】

【0005】

これに鑑みて、本発明の実施例は、従来の環状マイクロホンアレイの配置位置によりロボットの高さ及び頭部の動きが制限され外観が悪いという問題を解決するために、ロボット及びそのオーディオデータ処理方法を提供する。

【0006】

本発明の第１態様はロボットを提供する。このロボットは、収音モジュールと主制御モジュールとを含み、
前記収音モジュールと前記主制御モジュールは電気的に接続され、前記収音モジュールはマイクロホンアレイを含み、前記マイクロホンアレイはＮ個のマイクロホンを含み、Ｎ≧３且つＮは整数であり、
前記Ｎ個のマイクロホンは前記ロボットの本体に環状且つ均一に分布し、前記Ｎ個のマイクロホンによりオーディオデータが収集され、Ｎ個のマイクロホンにより収集されたＮチャンネルのオーディオデータが前記主制御モジュールに転送され、それにより、前記主制御モジュールは前記オーディオデータに基づいて音源位置決め及び収音を行う。

【0007】

本発明の第２態様は、上記ロボットに基づくオーディオデータ処理方法を提供する。この方法は、
収音モジュールのＮ個のマイクロホンによりオーディオデータを収集するステップと、
前記Ｎ個のマイクロホンにより収集されたＮチャンネルのオーディオデータを主制御モジュールに送信するステップと、
前記主制御モジュールは前記Ｎチャンネルのオーディオデータをデータバッファプール内に記憶し、オーディオデータに基づいて音源位置決め及び収音を行うステップとを含む。

【0008】

本発明によるロボット及びそのオーディオデータ処理方法は、ロボットの本体に環状且つ均一に分布するＮ個のマイクロホンにより構成されたマイクロホンアレイを配置してオーディオデータを収集し、収集されたＮチャンネルのオーディオデータ及び参照オーディオデータを主制御モジュールに転送し、主制御モジュールによりそのオーディオデータに基づいて音源位置決め及び収音を行うことによって、ロボットの３６０度のウェイクアップ及び音源位置決めをサポートすることができるとともに、指向性ビームフォーミングをサポートし収音を実現することができ、ロボットの高さを制限することも、ロボットの頭部の動きを制限することもなく、環状マイクロホンアレイの配置位置によりロボットの高さ及び頭部の動きが制限され外観が悪いという問題を解決する。

【図面の簡単な説明】

【0009】

本発明の実施例の技術手段を更に詳細に説明するため、下記では実施例又は従来技術の説明に必要な図面を簡単に説明する。当然のことながら、下記の説明における図面は本発明の幾つかの実施例のみであり、当業者にとって、創造的労働を果たさない前提で、これらの図面に基づいて他の図面を得ることができる。

【図1】本発明の実施例１によるロボットのモジュールの構造模式図である。

【図2】本発明の実施例１によるロボットのマイクロホンアレイの分布模式図である。

【図3】本発明の実施例１によるロボットの収音モジュールの構造模式図である。

【図4】本発明の実施例２による実施例１のロボットに基づくオーディオデータ処理方法を実現するフローチャートである。

【発明を実施するための形態】

【0010】

以下の説明では、限定の目的ではなく説明の目的のために、本発明の実施例を完全に理解するように、特定のシステム構造や技術などの具体的な詳細を提供する。しかしながら、本発明がこれらの特定の詳細なしに他の実施例において実施され得ることは当業者に明らかであろう。他の状況では、不必要な詳細により本発明の説明を不明瞭にしないように、周知のシステム、システム、回路、及び方法の詳細な説明を省略する。

【0011】

なお、本発明の明細書及び特許請求の範囲における「含む」という用語及びその任意の変形は、非排他的な包含をカーバすることを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、あるいはシステム、製品又は装置は、挙げられたステップ又はユニットに限定されず、任意選択で、挙げられていないステップ又はユニットを更に含み、又はこれらのプロセス、方法、製品又は装置に固有の他のステップ又はユニットを更に含む。さらに、「第１」、「第２」、及び「第３」などの用語は、異なる対象を区別するために使用され、特定の順序を説明することを意図していない。

【0012】

本発明の実施例は、環状マイクロホンアレイの配置位置によりロボットの高さ及び頭部の動きが制限され外観が悪いという問題を解決するために、ロボット及びそのオーディオデータ処理方法を提供し、ロボットの本体に環状且つ均一に分布するＮ個のマイクロホンにより構成されたマイクロホンアレイを配置してオーディオデータを収集し、収集されたＮチャンネルのオーディオデータ及び参照オーディオデータを主制御モジュールに転送し、主制御モジュールによりそのオーディオデータに基づいて音源位置決め及び収音を行うことによって、ロボットの３６０度のウェイクアップ及び音源位置決めをサポートすることができ、ロボットの高さを制限することも、ロボットの頭部の動きを制限することもなく、環状マイクロホンアレイの配置位置によりロボットの高さ及び頭部の動きが制限され外観が悪いという問題を解決する。

【0013】

下記では、具体的な実施例を用いて、本発明の技術方案を説明する。

【0014】

＜実施例１＞
図１に示すように、本実施例はロボット１を提供する。ロボット１は、収音モジュール１０と主制御モジュール２０とを含む。

【0015】

収音モジュール１０と主制御モジュール２０は互いに電気的に接続され、収音モジュール１０はマイクロホンアレイ１１を含み、マイクロホンアレイ１１はＮ個のマイクロホンを含む。Ｎ≧３であり、且つＮは整数である。

【0016】

Ｎ個のマイクロホンは、ロボット１の任意の身体部分の周りに均一に分布し、主制御モジュール２０は、マイクロホンアレイ１１により収集されたＮチャンネルのオーディオデータを取得し、オーディオデータに基づいて音源位置決め及び収音を行う。該ロボット１は人型ロボットであってもよく、その身体部分は頭部３１、首部３２、胴体３３の少なくとも一部を含む。他の実施例において、該ロボット１の身体部分は腰部、肢体等を含んでもよい。前記Ｎは３以上の整数である。

【0017】

一実施例では、上記収音モジュール１０はＭＩＣ小型基板１２をさらに含む。

【0018】

ＭＩＣ小型基板１２は、マイクロホンアレイ１１と主制御モジュール２０にそれぞれ電気的に接続される。

【0019】

ＭＩＣ小型基板１２は、マイクロホンアレイ１１により収集されたＮチャンネルのオーディオデータをアナログデジタル変換した後に主制御モジュール２０に転送する。具体的には、ＭＩＣ小型基板は、マイクロホンアレイ１１により収集されたＮチャンネルアナログオーディオデータをデジタルオーディオデータに変換し、そのデジタルオーディオデータを主制御モジュール２０に転送する。

【0020】

一実施例では、上記ＭＩＣ小型基板１２は、マイクロホンアレイ１１及び主制御モジュール２０にそれぞれ電気的に接続されたアナログデジタル変換器１２１を含む。アナログデジタル変換器１２１により、Ｎチャンネルのオーディオデータはアナログデジタル変換される。

【0021】

具体的な応用では、ＭＩＣ小型基板１２は、各マイクロホンにより収集されたアナログオーディオデータを対応するデジタルオーディオデータに変換し、デジタルオーディオデータに番号付けし、番号付けされたデジタルオーディオデータを主制御モジュールに送信することができる。

【0022】

具体的な応用では、図３に示すように、上記収音モジュール１０は、マイクロホン線を介してマイクロホンアレイ１１に電気的に接続されたＭＩＣ小型基板１２を含み、ＭＩＣ小型基板はアナログデジタル変換器１２１を含む。ＭＩＣ小型基板は、Ｉ２Ｓバス、Ｉ２Ｃバス、及び電源線を介して主制御モジュール２０に電気的に接続される。ＭＩＣ小型基板１２は、マイクロホンアレイ１１により収集されたＮチャンネルのオーディオデータを、アナログデジタル変換器１２１によりアナログデジタル変換し、変換されたＮチャンネルのオーディオデータを融合し、Ｉ２Ｓインターフェイスを介して融合されたオーディオデータを主制御モジュール２０に転送する。上記ＭＩＣ小型基板はさらに、Ｎチャンネルのオーディオデータを番号付けし、番号付けによってオーディオデータを、そのオーディオデータを収集したマイクロホンに関連付ける。

【0023】

一実施例では、上記第１マイクロホンアレイは６個のマイクロホンを含む。６個のマイクロホンはロボットの首部３２周囲に配置されて首部３２の縦軸線Ｌ上の任意の点を円心とした円周に分布する。円周は、縦軸線に対して垂直である。他の実施例において、前記マイクロホンは均一に分布してもよく、非均一に分布してもよく、前記円周は楕円、または他の形状であってもよい。

【0024】

具体的な応用では、図２に示すように、音源Ｓに対して、マイクロホンアレイ１１は、第１マイクロホンＭＩＣ１、第２マイクロホンＭＩＣ２、第３マイクロホンＭＩＣ３、第４マイクロホンＭＩＣ４、第５マイクロホンＭＩＣ５、及び第６マイクロホンＭＩＣ６を含む。第１マイクロホンＭＩＣ１及び第２マイクロホンＭＩＣ２は、ロボット１の首部３２の縦軸線Ｌに対して垂直な水平線Ｈ上に位置する。第１マイクロホンＭＩＣ１、第２マイクロホンＭＩＣ２、第３マイクロホンＭＩＣ３、第４マイクロホンＭＩＣ４、第５マイクロホンＭＩＣ５、及び第６マイクロホンＭＩＣ６は、等間隔で、各２つのマイクロホンと、縦軸線Ｌ上の任意の点を円心とした円周Ｃの円心Ｐとの間の角度Ａを６０度とし、即ち、３６０度で首部３２の周りに均一に分布する。第１マイクロホンＭＩＣ１、第２マイクロホンＭＩＣ２、第３マイクロホンＭＩＣ３、第４マイクロホンＭＩＣ４、第５マイクロホンＭＩＣ５、及び第６マイクロホンＭＩＣ６は、ロボットの首部を囲む環状マイクロホンアレイを構成する。

【0025】

一実施例では、前記主制御モジュール２０は、ロボット１のパワーアンプ３０から参照オーディオデータを取得してＭＩＣ小型基板２１に入力し、前記ＭＩＣ小型基板２１はさらに、Ｘチャンネルの上記参照オーディオデータをアナログデジタル変換及びコード化した後に前記主制御モジュールに転送するために使用される。前記参照オーディオデータは、前記ロボットが通常に話すまたは歌う際に再生された音声を含むことができる。具体的な応用では、主制御モジュールによりＭＩＣ小型基板１２に参照オーディオデータを入力することは、入力されたＸチャンネルの参照オーディオデータをＭＩＣ小型基板１２によって番号付けし、上記Ｎチャンネルのオーディオデータと融合し、Ｉ２Ｓインターフェイスを介して主制御モジュール２０に送信する。主制御モジュール２０は、このような参照オーディオデータに基づいてエコーを除去し、環境雑音の影響をフィルタリングして、音源位置決めの精度及び音声識別の精度をさらに向上させる。

【0026】

具体的な応用では、上記主制御モジュールは、対応する再生のオーディオが２トラックである場合、２チャンネルの参照オーディオデータ（即ち、Ｘ＝２）を生成する。上記主制御モジュールは、対応する再生のオーディオが１トラックである場合、１チャンネルの参照オーディオデータを生成する。主制御モジュールは、対応する再生のオーディオが４トラックである場合、４チャンネルの参照オーディオデータを生成する。２トラックを例とすると、主制御モジュールは、データ線を介して直接ＭＩＣ小型基板に接続され、次に、主制御モジュールのパワーアンプによって再生される２チャンネルの参照オーディオデータをＭＩＣ小型基板に転送する。

【0027】

一実施例では、上記主制御モジュール２０はデータバッファプールを含み、データバッファプールは、Ｎチャンネルのオーディオデータを記憶するために使用される。一実施例では、上記バッファプールはＮチャンネルのオーディオデータを記憶しているだけでなく、ＭＩＣ小型基板から転送された参照オーディオデータも記憶している。

【0028】

具体的な応用では、主制御モジュール２０は、ＭＩＣ小型基板１２のＩ２Ｓインターフェイスから取得したＮチャンネルのオーディオデータ及びＸチャンネルの参照オーディオデータを上記データバッファプールに記憶する。主制御モジュール２０によってデータバッファプール内のオーディオデータに基づいてデータ多重化が行われ、プリセットアルゴリズムを実行することによって３６０度のウェイクアップが実現され、ビームフォーミングされて収音が実行される。なお、上記プリセットアルゴリズムは、収集されたオーディオデータに基づいて音源位置決めを行う既存の位置決めアルゴリズム、収集されたオーディオデータに基づいてロボットのウェイクアップを行う既存のウェイクアップアルゴリズム、及び収集されたオーディオデータに基づいてビームフォーミング及び収音を行う既存のビームフォーミング収音アルゴリズムを指す。

【0029】

具体的な応用では、環状マイクロホンアレイによって収集された対応する６チャンネルのオーディオデータ及び２チャンネルの参照オーディオデータ（合計８チャンネルのオーディオデータ）に従ってロボットのウェイクアップを行う。即ち、上記８チャンネルのオーディオデータに従って音源位置決めを行い、音源位置決めによって音源の位置と現在の位置との角度差を確定し、その角度差に応じて、方向を変えるようにロボットを制御し、ロボットをウェイクアップする。ロボットをウェイクアップした後、上記環状の６ＭＩＣ内の第１マイクロホンＭＩＣ１、第２マイクロホンＭＩＣ２、第３マイクロホンＭＩＣ３、及び第６マイクロホンＭＩＣ６によって収集されたオーディオデータ及び２チャンネルの参照オーディオデータ（合計６チャンネルのオーディオデータ）に従ってビームフォーミングと収音及び音声識別を行う。即ち、上記６チャンネルのオーディオデータに従ってノイズ低減及びエコーキャンセルを行った後に、音声識別ためのオーディオデータを取得し、音声装置ユニットでオーディオデータを識別することによって、音声データを文字に変換する。

【0030】

一実施例では、上記主制御モジュール２０はアンドロイド開発ボードであってもよい。上記アンドロイド開発ボードのソフトウェア層にはデータバッファプールが設けられ、収音モジュール１０から送信されたＮチャンネルのオーディオデータ及び２チャンネルの参照オーディオデータが番号付けされて上記データバッファプール内に記憶される。ウェイクアップアルゴリズムと認識アルゴリズムを並列実行することによって、必要なオーディオデータがデータバッファプールから並行して取得される。なお、上記ウェイクアップアルゴリズムは、既存の様々な音声ウェイクアップアルゴリズムを使用してもよく、上記認識アルゴリズムは、既存の様々な音声認識アルゴリズムを使用してもよい。マイクロホンにより収集されたオーディオデータを多重化することによって、一部のマイクロホンにより取得されたオーディオデータは、ウェイクアップアルゴリズムの使用のために供給されるとともに、認識アルゴリズムの使用のために供給される。それにより、ロボットの首部に位置するマイクロホンアレイは、３６０度の音源位置決め及び３６０度のウェイクアップを依然として実現することができると同時に、音声識別のためのオーディオデータの収集（ビームフォーミング収音）を確実にして、音声識別に影響を与えない。ロボットの頭部にマイクロホン孔を開設する必要もなく、ロボットの美観に影響を与えない。

【0031】

本実施例によるロボットは、ロボットの本体に環状且つ均一に分布するＮ個のマイクロホンにより構成されたマイクロホンアレイを配置してオーディオデータを収集し、収集されたＮチャンネルのオーディオデータを主制御モジュールに転送し、主制御モジュールによりそのオーディオデータに基づいて音源位置決め及び収音を行うことによって、ロボットの３６０度のウェイクアップ及び音源位置決めをサポートすることができるとともに、指向性ビームフォーミングをサポートし収音を実現することができ、ロボットの高さを制限することも、ロボットの頭部の動きを制限することもなく、環状マイクロホンアレイの配置位置によりロボットの高さ及び頭部の動きが制限され外観が悪いという問題を解決する。

【0032】

＜実施例２＞
図４に示すように、本実施例は、実施例１によるロボットに基づく音声処理方法を提供する。この方法は、具体的に、ステップＳ１０１〜ステップＳ１０３を含む。

【0033】

ステップＳ１０１では、収音モジュールのＮ個のマイクロホンによりオーディオデータを収集する。

【0034】

具体的な応用では、ロボット本体に配置されたＮ個のマイクロホンにより、オーディオデータを収集する。上記Ｎ個のマイクロホンは、ロボットの本体の縦軸線上の任意の点を円心とした円周に分布する。円周は縦軸線に対して垂直である。Ｎ≧３であり、且つＮは整数である。

【0035】

一実施例では、上記Ｎ個のマイクロホンは６個のマイクロホンである。６個のマイクロホンはロボットの首部に配置される。６個のマイクロホンは、ロボットの本体の縦軸線上の任意の点を円心とした円周に分布する。円周は縦軸線に対して垂直である。６個のマイクロホンは環状の６ＭＩＣアレイを形成する。

【0036】

ステップＳ１０２では、前記Ｎ個のマイクロホンにより収集されたＮチャンネルのオーディオデータを主制御モジュールに送信する。

【0037】

具体的な応用では、Ｎ個のマイクロホンにより収集されたＮチャンネルのオーディオデータを主制御モジュールに送信し、主制御モジュールにより上記オーディオデータに基づいて音源位置決め及び収音を実現する。

【0038】

具体的な応用では、マイクロホンアレイのＮ個のマイクロホンに電気的に接続されたＭＩＣ小型基板によって、Ｎチャンネルのオーディオデータをアナログデジタル変換した後、アナログデジタル変換されたオーディオデータに対してデータ融合を行い、融合されたオーディオデータを主制御モジュールに転送する。

【0039】

具体的な応用では、ＭＩＣ小型基板は、データ融合を行うとき、参照オーディオ信号を導入することによって、参照オーディオ信号と上記Ｎチャンネルのオーディオデータとに対してデータ融合を行い、融合されたデジタルオーディオデータを主制御モジュールに転送する。

【0040】

具体的な応用では、上記ＭＩＣ小型基板はさらに、各チャンネルのオーディオデータに対応する番号を付け、上記Ｎチャンネルのオーディオデータ及び２チャンネルの参照オーディオデータに対してそれぞれ番号を付ける。

【0041】

ステップＳ１０３では、前記主制御モジュールは前記Ｎチャンネルのオーディオデータをデータバッファプール内に記憶し、オーディオデータに基づいて音源位置決め及び収音を行う。

【0042】

具体的な応用では、主制御モジュールは、データバッファプール内に記憶されているオーディオデータに応じて、対応するアルゴリズムを実行して、音源位置決め及び収音を行って、ウェイクアップ及び音声識別を実現する。具体的には、主制御モジュールは、実行するアルゴリズムに従って、上記データバッファプールから対応するコードのオーディオデータを取得し、対応するアルゴリズムを実行する。

【0043】

具体的な応用では、主制御モジュールは、データバッファプールからＮチャンネルのオーディオデータ及び２チャンネルの参照オーディオデータを取得し、Ｎチャンネルのオーディオデータ及び２チャンネルの参照オーディオデータに従ってウェイクアップアルゴリズムを実行することによって、ロボットの３６０度のウェイクアップを実現する。主制御モジュールは、データバッファプールから並行して第１マイクロホンＭＩＣ１によって取得されたオーディオデータ、第２マイクロホンＭＩＣ２によって取得されたオーディオデータ、第３マイクロホンＭＩＣ３によって取得されたオーディオデータ、第６マイクロホンＭＩＣ６によって取得されたオーディオデータ及び２チャンネルの参照オーディオデータを取得しており、第１マイクロホンＭＩＣ１によって取得されたオーディオデータ、第２マイクロホンＭＩＣ２によって取得されたオーディオデータ、第３マイクロホンＭＩＣ３によって取得されたオーディオデータ、第６マイクロホンＭＩＣ６によって取得されたオーディオデータ及び２チャンネルの参照オーディオデータに基づいて、認識アルゴリズムを実行して、ユーザーの話に対して音声識別を行う。

【0044】

一実施例では、上記ステップＳ１０３は具体的に以下のステップＳ１０３１〜ステップＳ１０３３を含む。

【0045】

ステップＳ１０３１では、２チャンネルの参照オーディオデータ及び前記Ｎチャンネルのオーディオデータを前記データバッファプールに格納する。

【0046】

ステップＳ１０３２では、前記データバッファプールから第１グループのオーディオデータを取得し、第１プリセットアルゴリズムにより音源位置を決める。

【0047】

ステップＳ１０３３では、前記データバッファプールから第２グループのオーディオデータを取得し、第２プリセットアルゴリズムにより前記第２グループのオーディオデータに対してビームフォーミング及びオーディオノイズ低減処理を行う。

【0048】

一実施例では、上記Ｎチャンネルのオーディオデータは、６チャンネルのオーディオデータを含む。

【0049】

具体的な応用では、各マイクロホンにより収集されたオーディオデータに対応する番号が付けられる。即ち、第１マイクロホンによって取得されたオーディオデータは第１オーディオデータとして番号付けされ、第２マイクロホンによって取得されたオーディオデータは第２オーディオデータとして番号付けされ、第３マイクロホンによって取得されたオーディオデータは第３オーディオデータとして番号付けされ、第４マイクロホンによって取得されたオーディオデータは第４オーディオデータとして番号付けされ、第５マイクロホンによって取得されたオーディオデータは第５オーディオデータとして番号付けされ、第６マイクロホンによって取得されたオーディオデータは第６オーディオデータとして番号付けされ、第１チャンネルの参照オーディオデータは第７オーディオデータとして番号付けされ、第２チャンネルの参照オーディオデータは第８オーディオデータとして番号付けされる。上記第１グループのオーディオデータは、第１オーディオデータ、第２オーディオデータ、第３オーディオデータ、第４オーディオデータ、第５オーディオデータ、第６オーディオデータ、第７オーディオデータ、及び第８オーディオデータを含む。上記第２グループのオーディオデータは、第１オーディオデータ、第２オーディオデータ、第３オーディオデータ、第６オーディオデータ、第７オーディオデータ、及び第８オーディオデータを含む。

【0050】

具体的な応用では、環状の６ＭＩＣによって収集された対応するオーディオデータ及び２チャンネルの参照オーディオデータ（合計８チャンネルのオーディオデータ）に従ってエコーキャンセル、３６０度の音源位置決め、及びロボットのウェイクアップを行う。即ち、第１オーディオデータ、第２オーディオデータ、第３オーディオデータ、第４オーディオデータ、第５オーディオデータ、第６オーディオデータ、第７オーディオデータ、及び第８オーディオデータに従って、エコーキャンセル、音源位置決めを行い、音源位置決めによって音源の位置と現在の位置との角度差を確定し、その角度差に応じて、方向を変えるようにロボットを制御し、ロボットをウェイクアップする。ロボットをウェイクアップした後、第１マイクロホンＭＩＣ１によって収集されたオーディオデータ、第２マイクロホンＭＩＣ２によって収集されたオーディオデータ、第３マイクロホンＭＩＣ３によって収集されたオーディオデータ、第６マイクロホンＭＩＣ６によって収集されたオーディオデータ、及び２チャンネルの参照オーディオデータ（合計６チャンネルのオーディオデータ）に従って、エコーキャンセル、ノイズ低減、ビームフォーミングと収音、及び音声識別を行う。即ち、第１オーディオデータ、第２オーディオデータ、第３オーディオデータ、第６オーディオデータ、第７オーディオデータ、及び第８オーディオデータに従って、ノイズ低減及びエコーキャンセルを行った後に、音声識別ためのオーディオデータを取得し、音声装置ユニットでそのオーディオデータを識別することによって、音声データを文字に変換して、音声識別を実現する。

【0051】

なお、ユーザーがロボットの正面に立つと、ユーザーの声が直接到達できるＭＩＣはＭＩＣアレイを構成し、ビームフォーミングのために使用することができる。本実施例では環状の６ＭＩＣが使用されるので、ユーザーがロボットの正面に立つと、声が直接到達できる環状のＭＩＣアレイの幾つかのＭＩＣにより構成される半円形ＭＩＣアレイのマイクロホンは音収集時に遮蔽されることはない。そのため、半円形ＭＩＣアレイ（第１マイクロホンＭＩＣ１、第２マイクロホンＭＩＣ２、第３マイクロホンＭＩＣ３、及び第６マイクロホンＭＩＣ６からなる半円形ＭＩＣアレイ）によって収集されたオーディオデータを使用してビームフォーミングを行うと、より良い収音を実現することができる。また、上記は本実施例の一つの実施形態に過ぎず、ユーザーがロボットの正面に立つとき、ユーザーの声が直接到達できる（遮断されない）マイクロホンのすべてを使用してビームフォーミングを実現することができ、これは本明細書に制限されない。

【0052】

なお、上記第１プリセットアルゴリズムは、音源位置決め及びロボットのウェイクアップを実現することができる既存のウェイクアップアルゴリズムであり、上記第２プリセットアルゴリズムは、音声識別を実現することができる既存のアルゴリズムである。

【0053】

実施例１のロボットに基づいて実現される本実施例のオーディオデータ処理方法は同様に、ロボットの本体に環状且つ均一に分布するＮ個のマイクロホンにより構成されたマイクロホンアレイを配置してオーディオデータを収集し、収集されたＮチャンネルのオーディオデータを主制御モジュールに転送し、主制御モジュールによりそのオーディオデータに基づいて音源位置決め及び収音を行うことによって、ロボットの３６０度のウェイクアップ及び音源位置決めをサポートすることができるとともに、指向性ビームフォーミングをサポートし収音を実現することができ、ロボットの高さを制限することも、ロボットの頭部の動きを制限することもなく、従来の環状マイクロホンアレイの配置位置によりロボットの高さ及び頭部の動きが制限され外観が悪いという問題を解決する。

【0054】

以上の実施例は、単に本発明の技術手段を説明するためのものであり、それを制限するものではない。上記した実施例を参照して本発明について詳述したが、当業者であれば、上記した各実施例に記載の技術手段を修正し、又はその一部の技術特徴を均等物で置き換えることができる。これらの修正又は置き換えは、対応する技術手段の本質を本発明の各実施例の技術手段の精神及び範囲から逸脱させず、いずれも本発明の保護範囲内に含まれる。

【要約】      （修正有）

【課題】ロボット及びそのオーディオデータ処理方法を提供する。
【解決手段】ロボットは、少なくとも１つの身体部分と収音モジュールと主制御モジュールとを含む。収音モジュールと主制御モジュールは互いに電気的に接続され、収音モジュールはマイクロホンアレイ１１を含む。Ｎ個のマイクロホンは、ロボットの身体部分の周りに均一に分布する。主制御モジュールは、マイクロホンアレイにより収集されたＮチャンネルのオーディオデータを取得し、オーディオデータに基づいて音源位置決め及び収音を行う。音源位置決め及び収音を行うことによって、ロボットの３６０度のウェイクアップ及び音源位置決めをサポートすることができるとともに、指向性ビームフォーミングをサポートし収音を実現することができる。
【選択図】図２

【図1】

【図2】

【図3】

【図4】