特許 7014853 オーディオ信号処理方法、装置、端末及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-24

(45)【発行日】2022-02-01

(54)【発明の名称】オーディオ信号処理方法、装置、端末及び記憶媒体

(51)【国際特許分類】

   G10L 21/0272 20130101AFI20220125BHJP

   G10L 21/0308 20130101ALI20220125BHJP

   H04R 3/00 20060101ALI20220125BHJP

【ＦＩ】

G10L21/0272 100B

G10L21/0308 Z

H04R3/00 320

【請求項の数】 16

(21)【出願番号】P 2020084953

(22)【出願日】2020-05-14

(65)【公開番号】P2021096453

(43)【公開日】2021-06-24

【審査請求日】2020-05-14

(31)【優先権主張番号】201911302532.X

(32)【優先日】2019-12-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】319003367

【氏名又は名称】北京小米智能科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】ＮＯ．００３， ｆｌｏｏｒ ３， ｂｕｉｌｄｉｎｇ ６， ｙａｒｄ ３３， ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107489

【弁理士】

【氏名又は名称】大塩 竹志

(72)【発明者】

【氏名】ホウ， ハイニン

【審査官】米倉 秀明

(56)【参考文献】

【文献】特表２０１９－５１４０５６（ＪＰ，Ａ）

【文献】特開２０１１－２１５３１７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／００１７２０６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２１／０２７２

Ｇ１０Ｌ ２１／０３０８

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

オーディオ信号処理方法であって、
少なくとも２つのマイクロホンによって、少なくとも２つの音源の各自から送信されたオーディオ信号を取得し、時間領域における前記少なくとも２つのマイクロホンの各自の複数フレームの生雑音混在信号を取得することと、
時間領域における各フレームに対して、前記少なくとも２つのマイクロホンの各自の前記生雑音混在信号に基づいて、前記少なくとも２つの音源の各自の周波数領域推定信号を取得することと、
前記少なくとも２つの音源のうちの各音源に対して、周波数領域において前記周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、ここで、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含むことと、
各周波数領域サブバンド内において、前記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、前記重み係数に基づいて、各周波数点の分離行列を更新することと、
更新後の前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得することとを含む、前記方法。

【請求項2】

各周波数領域サブバンド内において、前記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、前記重み係数に基づいて、各周波数点の分離行列を更新することは、
各音源に対して、ｎ番目の前記周波数領域推定コンポネントの前記重み係数、前記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得て、ここで、１番目の候補行列が既知の単位行列であり、ここで、前記ｘが２以上の正整数であり、前記ｎがＮ未満の正整数であり、前記Ｎが前記周波数領域サブバンドの数であることと、
前記ｘ番目の候補行列が反復終了条件を満たす場合、前記ｘ番目の候補行列に基づいて、ｎ番目の前記周波数領域推定コンポネントにおける各周波数点の更新後の分離行列を得ることとを含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記方法は、
ｎ番目の前記周波数領域推定コンポネントに含まれる各周波数点に対応する前記周波数点データの平方和に基づいて、前記ｎ番目の前記周波数領域推定コンポネントの重み係数を得ることを更に含むことを特徴とする
請求項２に記載の方法。

【請求項4】

更新後の前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得することは、
１番目の前記更新後の分離行列からＮ番目の前記更新後の分離行列に基づいて、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号を分離し、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号における、異なる前記音源のオーディオ信号を取得し、ここで、前記ｍがＭ未満の正整数であり、前記Ｍが前記生雑音混在信号のフレーム数であることと、
各前記周波数点データに対応するｍフレーム目の前記生雑音混在信号におけるｙ番目の前記音源のオーディオ信号を組み合わせて、ｙ番目の前記音源の前記ｍフレーム目のオーディオ信号を得て、ここで、前記ｙがＹ以下の正整数であり、前記Ｙが音源の数であることとを含むことを特徴とする
請求項２に記載の方法。

【請求項5】

前記方法は、
時系列順に従って、ｙ番目の前記音源の１フレーム目のオーディオ信号からＭフレーム目までのオーディオ信号を組み合わせ、前記生雑音混在信号に含まれるｙ番目の前記音源のＭフレームのオーディオ信号を得ることを更に含むことを特徴とする
請求項４に記載の方法。

【請求項6】

前記反復勾配を行う時、前記周波数領域推定信号の所在する周波数領域サブバンドの周波数の降順に従って順に行うことを特徴とする
請求項２に記載の方法。

【請求項7】

いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっていることを特徴とする
請求項１から６のうちいずれか一項に記載の方法。

【請求項8】

オーディオ信号処理装置であって、
少なくとも２つのマイクロホンによって、少なくとも２つの音源の各自から送信されたオーディオ信号を取得し、時間領域における前記少なくとも２つのマイクロホンの各自の複数フレームの生雑音混在信号を取得するように構成される取得モジュールと、
時間領域における各フレームに対して、前記少なくとも２つのマイクロホンの各自の前記生雑音混在信号に基づいて、前記少なくとも２つの音源の各自の周波数領域推定信号を取得するように構成される変換モジュールと、
前記少なくとも２つの音源のうちの各音源に対して、周波数領域において前記周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、ここで、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含むように構成される分割モジュールと、
各周波数領域サブバンド内において、前記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、前記重み係数に基づいて、各周波数点の分離行列を更新するように構成される第１処理モジュールと、
更新後の前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得するように構成される第２処理モジュールとを備える、前記装置。

【請求項9】

前記第１処理モジュールは、各音源に対して、ｎ番目の前記周波数領域推定コンポネントの前記重み係数、前記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得て、ここで、１番目の候補行列が既知の単位行列であり、ここで、前記ｘが２以上の正整数であり、前記ｎがＮ未満の正整数であり、前記Ｎが前記周波数領域サブバンドの数であり、
前記ｘ番目の候補行列が反復終了条件を満たす場合、前記ｘ番目の候補行列に基づいて、ｎ番目の前記周波数領域推定コンポネントにおける各周波数点の更新後の分離行列を得るように構成されることを特徴とする
請求項８に記載の装置。

【請求項10】

前記第１処理モジュールは更に、ｎ番目の前記周波数領域推定コンポネントに含まれる各周波数点に対応する前記周波数点データの平方和に基づいて、前記ｎ番目の前記周波数領域推定コンポネントの重み係数を得るように構成されることを特徴とする
請求項９に記載の装置。

【請求項11】

前記第２処理モジュールは、１番目の前記更新後の分離行列からＮ番目の前記更新後の分離行列に基づいて、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号を分離し、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号における、異なる前記音源のオーディオ信号を取得し、ここで、前記ｍがＭ未満の正整数であり、前記Ｍが前記生雑音混在信号のフレーム数であり、
各前記周波数点データに対応するｍフレーム目の前記生雑音混在信号におけるｙ番目の前記音源のオーディオ信号を組み合わせて、ｙ番目の前記音源の前記ｍフレーム目のオーディオ信号を得て、ここで、前記ｙがＹ以下の正整数であり、前記Ｙが音源の数であるように構成されることを特徴とする
請求項９に記載の装置。

【請求項12】

前記第２処理モジュールは更に、時系列順に従って、ｙ番目の前記音源の１フレーム目のオーディオ信号からＭフレーム目までのオーディオ信号を組み合わせ、前記生雑音混在信号に含まれるｙ番目の前記音源のＭフレームのオーディオ信号を得るように構成されることを特徴とする
請求項１１に記載の装置。

【請求項13】

前記第１処理モジュールは、前記反復勾配を行う時、前記周波数領域推定信号の所在する周波数領域サブバンドの周波数の降順に従って順に行うことを特徴とする
請求項９に記載の装置。

【請求項14】

いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっていることを特徴とする
請求項８から１３のうちいずれか一項に記載の装置。

【請求項15】

端末であって、
プロセッサと、
プロセッサ実行可能命令を記憶するためのメモリとを備え、
前記プロセッサは、前記実行可能命令を実行する時、請求項１－７のうちいずれか一項に記載のオーディオ信号処理方法を実現させる、前記端末。

【請求項16】

コンピュータ可読記憶媒体であって、実行可能なプログラムが記憶されており、前記実行可能なプログラムがプロセッサにより実行される時、請求項１－７のうちいずれか一項に記載のオーディオ信号処理方法を実現させる、前記コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０１９年１２月１７日に中国特許局に提出された出願番号がＣＮ２０１９１１３０２５３２．Ｘである中国特許出願に基づく優先権を主張するものであり、該中国特許出願の全内容を参照として本出願に援用する。

【0002】

本出願は、通信技術分野に関し、特に、オーディオ信号処理方法、装置、端末及び記憶媒体に関する。

【背景技術】

【0003】

関連技術において、スマート製品機器は、一般的には、マイクロホンアレイを用いて収音を行い、マイクロホンのビームフォーミング技術を適用して音声信号処理品質を向上させることで、実環境における音声認識率を向上させる。しかしながら、複数のマイクロホンにおけるビームフォーミング技術において、マイクロホン位置の誤差に敏感であるため、性能に大きな影響を与え、また、マイクロホンの数の増加も製本コストの向上を引き起こしてしまう。

【0004】

従って、現在、２つのみのマイクロホンが配置されているスマート製品機器はますます多くなっている。２つのマイクロホンは、一般的には、複数のマイクロホンにおけるビームフォーミング技術とは全く異なっているブラインド信号源分離技術を利用して音声を強化する。ブラインド信号源分離により分離した信号の音声品質を如何に高くするかは、現在、早急に解決する必要がある課題である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本出願は、オーディオ信号処理方法、装置、端末及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

本出願の実施例の第１態様によれば、オーディオ信号処理方法を提供し、該方法は、
少なくとも２つのマイクロホンによって、少なくとも２つの音源の各自から送信されたオーディオ信号を取得し、時間領域における前記少なくとも２つのマイクロホンの各自の複数フレームの生雑音混在信号を取得することと、
時間領域における各フレームに対して、前記少なくとも２つのマイクロホンの各自の前記生雑音混在信号に基づいて、前記少なくとも２つの音源の各自の周波数領域推定信号を取得することと、
前記少なくとも２つの音源のうちの各音源に対して、周波数領域において前記周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、ここで、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含むことと、
各周波数領域サブバンド内において、前記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、前記重み係数に基づいて、各周波数点の分離行列を更新することと、
更新後の前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得することとを含む。

【0007】

上記技術的解決手段において、各周波数領域サブバンド内において、前記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、前記重み係数に基づいて、各周波数点の分離行列を更新することは、
各音源に対して、ｎ番目の前記周波数領域推定コンポネントの前記重み係数、前記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得て、ここで、１番目の候補行列が既知の単位行列であり、ここで、前記ｘが２以上の正整数であり、前記ｎがＮ未満の正整数であり、前記Ｎが前記周波数領域サブバンドの数であることと、
前記ｘ番目の候補行列が反復終了条件を満たす場合、前記ｘ番目の候補行列に基づいて、ｎ番目の前記周波数領域推定コンポネントにおける各周波数点の更新後の分離行列を得ることとを含む。

【0008】

上記技術的解決手段において、前記方法は、
ｎ番目の前記周波数領域推定コンポネントに含まれる各周波数点に対応する前記周波数点データの平方和に基づいて、前記ｎ番目の前記周波数領域推定コンポネントの重み係数を得ることを更に含む。

【0009】

上記技術的解決手段において、更新後の前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得することは、
１番目の前記更新後の分離行列からＮ番目の前記更新後の分離行列に基づいて、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号を分離し、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号における、異なる前記音源のオーディオ信号を取得し、ここで、前記ｍがＭ未満の正整数であり、前記Ｍが前記生雑音混在信号のフレーム数であることと、
各前記周波数点データに対応するｍフレーム目の前記生雑音混在信号におけるｙ番目の前記音源のオーディオ信号を組み合わせて、ｙ番目の前記音源の前記ｍフレーム目のオーディオ信号を得て、ここで、前記ｙがＹ以下の正整数であり、前記Ｙが音源の数であることとを含む。

【0010】

上記技術的解決手段において、前記方法は、
時系列順に従って、ｙ番目の前記音源の１フレーム目のオーディオ信号からＭフレーム目までのオーディオ信号を組み合わせ、前記生雑音混在信号に含まれるｙ番目の前記音源のＭフレームのオーディオ信号を得ることを更に含む。

【0011】

上記技術的解決手段において、前記反復勾配を行う時、前記周波数領域推定信号の所在する周波数領域サブバンドの周波数の降順に従って順に行う。

【0012】

上記技術的解決手段において、いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっている。

【0013】

本出願の実施例の第２態様によれば、オーディオ信号処理装置を提供し、該装置は、
少なくとも２つのマイクロホンによって、少なくとも２つの音源の各自から送信されたオーディオ信号を取得し、時間領域における前記少なくとも２つのマイクロホンの各自の複数フレームの生雑音混在信号を取得するように構成される取得モジュールと、
時間領域における各フレームに対して、前記少なくとも２つのマイクロホンの各自の前記生雑音混在信号に基づいて、前記少なくとも２つの音源の各自の周波数領域推定信号を取得するように構成される変換モジュールと、
前記少なくとも２つの音源のうちの各音源に対して、周波数領域において前記周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、ここで、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含むように構成される分割モジュールと、
各周波数領域サブバンド内において、前記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、前記重み係数に基づいて、各周波数点の分離行列を更新するように構成される第１処理モジュールと、
更新後の前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得するように構成される第２処理モジュールとを備える。

【0014】

上記技術的解決手段において、前記第１処理モジュールは、各音源に対して、ｎ番目の前記周波数領域推定コンポネントの前記重み係数、前記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得て、ここで、１番目の候補行列が既知の単位行列であり、ここで、前記ｘが２以上の正整数であり、前記ｎがＮ未満の正整数であり、前記Ｎが前記周波数領域サブバンドの数であり、
前記ｘ番目の候補行列が反復終了条件を満たす場合、前記ｘ番目の候補行列に基づいて、ｎ番目の前記周波数領域推定コンポネントにおける各周波数点の更新後の分離行列を得るように構成される。

【0015】

上記技術的解決手段において、前記第１処理モジュールは更に、ｎ番目の前記周波数領域推定コンポネントに含まれる各周波数点に対応する前記周波数点データの平方和に基づいて、前記ｎ番目の前記周波数領域推定コンポネントの重み係数を得るように構成される。

【0016】

上記技術的解決手段において、前記第２処理モジュールは、１番目の前記更新後の分離行列からＮ番目の前記更新後の分離行列に基づいて、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号を分離し、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号における、異なる前記音源のオーディオ信号を取得し、ここで、前記ｍがＭ未満の正整数であり、前記Ｍが前記生雑音混在信号のフレーム数であり、
各前記周波数点データに対応するｍフレーム目の前記生雑音混在信号におけるｙ番目の前記音源のオーディオ信号を組み合わせて、ｙ番目の前記音源の前記ｍフレーム目のオーディオ信号を得て、ここで、前記ｙがＹ以下の正整数であり、前記Ｙが音源の数であるように構成される。

【0017】

上記技術的解決手段において、前記第２処理モジュールは更に、時系列順に従って、ｙ番目の前記音源の１フレーム目のオーディオ信号からＭフレーム目までのオーディオ信号を組み合わせ、前記生雑音混在信号に含まれるｙ番目の前記音源のＭフレームのオーディオ信号を得るように構成される。

【0018】

上記技術的解決手段において、前記第１処理モジュールは、前記反復勾配を行う時、前記周波数領域推定信号の所在する周波数領域サブバンドの周波数の降順に従って順に行う。

【0019】

上記技術的解決手段において、いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっている。

【0020】

本出願の実施例の第３態様によれば、端末を提供し、該端末は、
プロセッサと、
プロセッサ実行可能命令を記憶するためのメモリとを備え、
前記プロセッサは、前記実行可能命令を実行する時、本出願のいずれか１つの実施例に記載のオーディオ信号処理方法を実現させるように構成される。

【0021】

本出願の実施例の第４態様によれば、コンピュータ可読記憶媒体を提供し、前記可読記憶媒体には実行可能なプログラムが記憶されており、前記実行可能なプログラムがプロセッサにより実行される時、本出願のいずれか１つの実施例に記載のオーディオ信号処理方法を実現させる。
例えば、本願は以下の項目を提供する。
（項目１）
オーディオ信号処理方法であって、
少なくとも２つのマイクロホンによって、少なくとも２つの音源の各自から送信されたオーディオ信号を取得し、時間領域における上記少なくとも２つのマイクロホンの各自の複数フレームの生雑音混在信号を取得することと、
時間領域における各フレームに対して、上記少なくとも２つのマイクロホンの各自の上記生雑音混在信号に基づいて、上記少なくとも２つの音源の各自の周波数領域推定信号を取得することと、
上記少なくとも２つの音源のうちの各音源に対して、周波数領域において上記周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、ここで、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含むことと、
各周波数領域サブバンド内において、上記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、上記重み係数に基づいて、各周波数点の分離行列を更新することと、
更新後の上記分離行列及び上記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得することとを含む、上記方法。
（項目２）
各周波数領域サブバンド内において、上記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、上記重み係数に基づいて、各周波数点の分離行列を更新することは、
各音源に対して、ｎ番目の上記周波数領域推定コンポネントの上記重み係数、上記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得て、ここで、１番目の候補行列が既知の単位行列であり、ここで、上記ｘが２以上の正整数であり、上記ｎがＮ未満の正整数であり、上記Ｎが上記周波数領域サブバンドの数であることと、
上記ｘ番目の候補行列が反復終了条件を満たす場合、上記ｘ番目の候補行列に基づいて、ｎ番目の上記周波数領域推定コンポネントにおける各周波数点の更新後の分離行列を得ることとを含むことを特徴とする
上記項目に記載の方法。
（項目３）
上記方法は、
ｎ番目の上記周波数領域推定コンポネントに含まれる各周波数点に対応する上記周波数点データの平方和に基づいて、上記ｎ番目の上記周波数領域推定コンポネントの重み係数を得ることを更に含むことを特徴とする
上記項目のいずれか一項に記載の方法。
（項目４）
更新後の上記分離行列及び上記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得することは、
１番目の上記更新後の分離行列からＮ番目の上記更新後の分離行列に基づいて、１つの上記周波数点データに対応するｍフレーム目の上記生雑音混在信号を分離し、１つの上記周波数点データに対応するｍフレーム目の上記生雑音混在信号における、異なる上記音源のオーディオ信号を取得し、ここで、上記ｍがＭ未満の正整数であり、上記Ｍが上記生雑音混在信号のフレーム数であることと、
各上記周波数点データに対応するｍフレーム目の上記生雑音混在信号におけるｙ番目の上記音源のオーディオ信号を組み合わせて、ｙ番目の上記音源の上記ｍフレーム目のオーディオ信号を得て、ここで、上記ｙがＹ以下の正整数であり、上記Ｙが音源の数であることとを含むことを特徴とする
上記項目のいずれか一項に記載の方法。
（項目５）
上記方法は、
時系列順に従って、ｙ番目の上記音源の１フレーム目のオーディオ信号からＭフレーム目までのオーディオ信号を組み合わせ、上記生雑音混在信号に含まれるｙ番目の上記音源のＭフレームのオーディオ信号を得ることを更に含むことを特徴とする
上記項目のいずれか一項に記載の方法。
（項目６）
上記反復勾配を行う時、上記周波数領域推定信号の所在する周波数領域サブバンドの周波数の降順に従って順に行うことを特徴とする
上記項目のいずれか一項に記載の方法。
（項目７）
いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっていることを特徴とする
上記項目のいずれか一項に記載の方法。
（項目８）
オーディオ信号処理装置であって、
少なくとも２つのマイクロホンによって、少なくとも２つの音源の各自から送信されたオーディオ信号を取得し、時間領域における上記少なくとも２つのマイクロホンの各自の複数フレームの生雑音混在信号を取得するように構成される取得モジュールと、
時間領域における各フレームに対して、上記少なくとも２つのマイクロホンの各自の上記生雑音混在信号に基づいて、上記少なくとも２つの音源の各自の周波数領域推定信号を取得するように構成される変換モジュールと、
上記少なくとも２つの音源のうちの各音源に対して、周波数領域において上記周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、ここで、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含むように構成される分割モジュールと、
各周波数領域サブバンド内において、上記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、上記重み係数に基づいて、各周波数点の分離行列を更新するように構成される第１処理モジュールと、
更新後の上記分離行列及び上記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得するように構成される第２処理モジュールとを備える、上記装置。
（項目９）
上記第１処理モジュールは、各音源に対して、ｎ番目の上記周波数領域推定コンポネントの上記重み係数、上記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得て、ここで、１番目の候補行列が既知の単位行列であり、ここで、上記ｘが２以上の正整数であり、上記ｎがＮ未満の正整数であり、上記Ｎが上記周波数領域サブバンドの数であり、
上記ｘ番目の候補行列が反復終了条件を満たす場合、上記ｘ番目の候補行列に基づいて、ｎ番目の上記周波数領域推定コンポネントにおける各周波数点の更新後の分離行列を得るように構成されることを特徴とする
上記項目に記載の装置。
（項目１０）
上記第１処理モジュールは更に、ｎ番目の上記周波数領域推定コンポネントに含まれる各周波数点に対応する上記周波数点データの平方和に基づいて、上記ｎ番目の上記周波数領域推定コンポネントの重み係数を得るように構成されることを特徴とする
上記項目のいずれか一項に記載の装置。
（項目１１）
上記第２処理モジュールは、１番目の上記更新後の分離行列からＮ番目の上記更新後の分離行列に基づいて、１つの上記周波数点データに対応するｍフレーム目の上記生雑音混在信号を分離し、１つの上記周波数点データに対応するｍフレーム目の上記生雑音混在信号における、異なる上記音源のオーディオ信号を取得し、ここで、上記ｍがＭ未満の正整数であり、上記Ｍが上記生雑音混在信号のフレーム数であり、
各上記周波数点データに対応するｍフレーム目の上記生雑音混在信号におけるｙ番目の上記音源のオーディオ信号を組み合わせて、ｙ番目の上記音源の上記ｍフレーム目のオーディオ信号を得て、ここで、上記ｙがＹ以下の正整数であり、上記Ｙが音源の数であるように構成されることを特徴とする
上記項目のいずれか一項に記載の装置。
（項目１２）
上記第２処理モジュールは更に、時系列順に従って、ｙ番目の上記音源の１フレーム目のオーディオ信号からＭフレーム目までのオーディオ信号を組み合わせ、上記生雑音混在信号に含まれるｙ番目の上記音源のＭフレームのオーディオ信号を得るように構成されることを特徴とする
上記項目のいずれか一項に記載の装置。
（項目１３）
上記第１処理モジュールは、上記反復勾配を行う時、上記周波数領域推定信号の所在する周波数領域サブバンドの周波数の降順に従って順に行うことを特徴とする
上記項目のいずれか一項に記載の装置。
（項目１４）
いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっていることを特徴とする
上記項目のいずれか一項に記載の装置。
（項目１５）
端末であって、
プロセッサと、
プロセッサ実行可能命令を記憶するためのメモリとを備え、
上記プロセッサは、上記実行可能命令を実行する時、上記項目のいずれか一項に記載のオーディオ信号処理方法を実現させる、上記端末。
（項目１６）
コンピュータ可読記憶媒体であって、実行可能なプログラムが記憶されており、上記実行可能なプログラムがプロセッサにより実行される時、上記項目のいずれか一項に記載のオーディオ信号処理方法を実現させる、上記コンピュータ可読記憶媒体。
（摘要）
本発明は、少なくとも２つのマイクによって少なくとも２つの音源の各自からのオーディオ信号を取得し、時間領域における少なくとも２つのマイクの各自の複数フレームの生雑音混在信号を取得し、時間領域における各フレームに対して少なくとも２つのマイクの各自の生雑音混在信号に基づいて少なくとも２つの音源の各自の周波数領域推定信号を取得し、少なくとも２つの音源のうちの各音源に対して周波数領域において周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含み、各周波数領域サブバンド内において周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、重み係数に基づいて各周波数点の分離行列を更新し、更新後の分離行列及び生雑音混在信号に基づいて少なくとも２つの音源の各自からのオーディオ信号を取得する。

【発明の効果】

【0022】

本出願の実施例が提供する技術的解決手段は、以下の有益な効果を有する。

【0023】

本出願の実施例において、少なくとも２つのマイクロホンの時間領域における複数フレームの生雑音混在信号を取得し、時間領域における各フレームにおいて、前記少なくとも２つのマイクロホンの各自の前記生雑音混在信号に基づいて、前記少なくとも２つの音源の各自の周波数領域推定信号に変換し、前記少なくとも２つの音源のうちの各音源に対して、前記周波数領域推定信号を異なる周波数領域サブバンドにおける少なくとも２つの周波数領域推定コンポネントに分割することで、前記周波数領域推定コンポネントの重み係数及び周波数領域推定信号に基づいて、更新後の分離行列を得る。このように、本出願の実施例において取得された更新後の分離行列は、異なる周波数領域サブバンドの周波数領域推定コンポネントの重み係数に基づいて決定されたものである。従来技術における、バンド全体の全ての周波数領域推定信号が同様な依存性を有する前提で得られた分離行列に比べて、より高い分離性能を有する。従って、本出願の実施例で取得された分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源からのオーディオ信号を取得することで、分離性能を向上させ、損傷されやすい前記周波数領域推定信号の音声信号を回復させ、音声分離の品質を向上させることができる。

【0024】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本出願を限定するものではないことが理解されるべきである。

【図面の簡単な説明】

【0025】

【図1】一例示的な実施例によるオーディオ信号処理方法を示すフローチャートである。

【図2】一例示的な実施例によるオーディオ信号処理方法の適用シナリオを示すブロック図である。

【図3】一例示的な実施例によるオーディオ信号処理方法を示すフローチャートである。

【図4】一例示的な実施例によるオーディオ信号処理装置を示す概略図である。

【図5】一例示的な実施例による端末を示すブロック図である。

【発明を実施するための形態】

【0026】

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に合う実施例を示し、かつ、明細書とともに本発明の原理を解釈することに用いられる。

【0027】

ここで、例示的な実施例を詳細に説明し、その例を図面に示している。以下の記述は図面に係る場合、別途にて示さない限り、異なる図面における同じ数字は、同じまたは類似する要素を表す。下記例示的な実施例にで記述する実施形態は、本発明の実施例と一致する全ての実施形態を示すものではない。逆に、それらは、添付の特許要求の範囲に詳述したような本発明のいくつかの方面と一致する装置および方法の例だけである。

【0028】

図１は、一例示的な実施例によるオーディオ信号処理方法を示すフローチャートである。図１に示すように、前記方法は、下記ステップを含む。

【0029】

ステップＳ１１において、少なくとも２つのマイクロホンによって、少なくとも２つの音源の各自から送信されたオーディオ信号を取得し、時間領域における前記少なくとも２つのマイクロホンの各自の複数フレームの生雑音混在信号を取得する。

【0030】

ステップＳ１２において、時間領域における各フレームに対して、前記少なくとも２つのマイクロホンの各自の前記生雑音混在信号に基づいて、前記少なくとも２つの音源の各自の周波数領域推定信号を取得する。

【0031】

ステップＳ１３において、前記少なくとも２つの音源のうちの各音源に対して、周波数領域において前記周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、ここで、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含む。

【0032】

ステップＳ１４において、各周波数領域サブバンド内において、前記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、前記重み係数に基づいて、各周波数点の分離行列を更新する。

【0033】

ステップＳ１５において、更新後の前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得する
本出願の実施例に記載の方法は、端末に適用される。ここで、前記端末は、２つ又は２つ以上のマイクロホンを集積した電子機器である。例えば、前記端末は、車載端末、コンピュータ又はサーバ等であってもよい。一実施例において、前記端末は、２つ又は２つ以上のマイクロホンを集積した所定の機器に接続される電子機器であってもよい。前記電子機器は、前記接続に基づいて、前記所定の機器により採取されたオーディオ信号を受信し、前記接続に基づいて、処理されたオーディオ信号を前記所定の機器に送信する。例えば、前記所定の機器は、スピーカー等である。

【0034】

実際の適用において、前記端末は、少なくとも２つのマイクロホンを含む。前記少なくとも２つのマイクロホンは、少なくとも２つの音源の各自から送信されたオーディオ信号を同時に検出し、前記少なくとも２つのマイクロホンの各自の生雑音混在信号を取得する。ここで、本実施例における前記少なくとも２つのマイクロホンは、前記２つの音源からのオーディオ信号を同時に検出することが理解されるべきである。

【0035】

本発明の実施例における前記オーディオ信号処理方法は、所定の期間内のオーディオフレームの生雑音混在信号を取得してから、該所定の期間内のオーディオフレームのオーディオ信号の分離を開始する。

【0036】

本出願の実施例において、前記マイクロホンは、２つ又は２つ以上であり、前記音源は、２つ又は２つ以上である。

【0037】

本出願の実施例において、前記生雑音混在信号は、少なくとも２つの音源からの音声の混合信号を含む。例えば、前記マイクロホンは２つであり、それぞれマイクロホン１及びマイクロホン２である。前記音源は２つであり、それぞれ音源１及び音源２である。従って、前記マイクロホン１の生雑音混在信号は、音源１及び音源２のオーディオ信号を含む。前記マイクロホン２の生雑音混在信号は同様に、音源１及び音源２のオーディオ信号を含む。

【0038】

例えば、前記マイクロホンは３つであり、それぞれマイクロホン１、マイクロホン２及びマイクロホン３である。前記音源は３つであり、それぞれ音源１、音源２及び音源３である。従って、前記マイクロホン１の生雑音混在信号は、音源１、音源２及び音源３のオーディオ信号を含む。前記マイクロホン２及びマイクロホン３の生雑音混在信号は同様に、音源１、音源２及び音源３のオーディオ信号を含む。

【0039】

１つの音源からの音声の、１つの対応するマイクロホンにおける信号がオーディオ信号であれば、他の音源の、前記マイクロホンにおける信号は、雑音信号である。本出願の実施例は、少なくとも２つのマイクロホンにおいて、少なくとも２つの音源からの音声を回復させる必要がある。

【0040】

一般的には、音源の数はマイクロホンの数と同じであることが理解されるべきである。幾つかの実施例において、マイクロホンの数が前記音源の数より少ない場合、前記音源の数を次元削減し、前記マイクロホンの数に等しい次元に下げてもよい。

【0041】

本出願の実施例において、前記周波数領域推定信号を少なくとも２つの周波数領域サブバンド内に位置する少なくとも２つの周波数領域推定コンポネントに分割することができる。ここで、いずれか２つの前記周波数領域サブバンドの周波数領域推定コンポネントに含まれる周波数点データの数は、同じでも異なっていてもよい。

【0042】

ここで、前記複数フレームの生雑音混在信号とは、複数のオーディオフレームの生雑音混在信号を指す。一実施例において、１つのオーディオフレームは、所定の時間長さのオーディオセグメントであってもよい。

【0043】

例えば、前記周波数領域推定信号は計１００個であり、前記周波数領域推定信号を３つの周波数領域サブバンドの周波数領域推定コンポネントに分割する。ここで、１番目の周波数領域サブバンド、２番目の周波数領域サブバンド及び３番目の周波数領域サブバンドの周波数領域推定コンポネントの各々に含まれる周波数点データは、２５、３５及び４０個である。また、例えば、前記周波数領域推定信号は計１００個であり、前記周波数領域推定信号を４つの周波数領域サブバンドの周波数領域推定コンポネントに分割する。ここで、４つの周波数領域サブバンドの周波数領域推定コンポネントの各々に含まれる周波数点データはいずれも２５個である。

【0044】

本出願の実施例において、少なくとも２つのマイクロホンの時間領域における複数フレームの生雑音混在信号を取得し、時間領域における各フレームにおいて、前記少なくとも２つのマイクロホンの各自の前記生雑音混在信号に基づいて、前記少なくとも２つの音源の各自の周波数領域推定信号に変換し、前記少なくとも２つの音源のうちの各音源に対して、前記周波数領域推定信号を異なる周波数領域サブバンドにおける少なくとも２つの周波数領域推定コンポネントに分割することで、前記周波数領域推定コンポネントの重み係数及び周波数領域推定信号に基づいて、更新後の分離行列を得る。このように、本出願の実施例において取得された更新後の分離行列は、異なる周波数領域サブバンドの周波数領域推定コンポネントの重み係数に基づいて決定されたものである。従来技術における、バンド全体の全ての周波数領域推定信号が同様な依存性を有する前提で得られた分離行列に比べて、より高い分離性能を有する。従って、本出願の実施例で取得された分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源からのオーディオ信号を取得することで、分離性能を向上させ、損傷されやすい前記周波数領域推定信号の音声信号を回復させ、音声分離の品質を向上させることができる。

【0045】

本出願の実施例が提供するオーディオ信号処理方法は、従来技術において複数のマイクロホンにおけるビームフォーミング技術で音源信号の分離を実現させるという形態に比べて、これらのマイクロホンの位置を考慮する必要がなく、精度がより高い音源からのオーディオ信号の分離を実現させることができる。

【0046】

また、前記オーディオ信号処理方法を２つのマイクロホンを有する端末装置に適用する場合、従来技術において少なくとも３つ以上の複数のマイクロホンにおけるビームフォーミング技術によって音声品質を向上させるという形態に比べて、マイクロホンの数を大幅に低減させ、端末のハードウェアコストを低下させる。

【0047】

幾つかの実施例において、前記ステップＳ１４は、
各音源に対して、ｎ番目の前記周波数領域推定コンポネントの前記重み係数、前記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得て、ここで、１番目の候補行列が既知の単位行列であり、ここで、前記ｘが２以上の正整数であり、前記ｎがＮ未満の正整数であり、前記Ｎが前記周波数領域サブバンドの数であることと、
前記ｘ番目の候補行列が反復終了条件を満たす場合、前記ｘ番目の候補行列に基づいて、ｎ番目の前記周波数領域推定コンポネントにおける各周波数点の更新後の分離行列を得ることとを含む。

【0048】

本出願の実施例において、自然勾配法アルゴリズムを用いて前記候補行列を反復勾配することができ、ここで、候補行列が、一回の勾配度に、必要とされる分離行列に近づきつつある。

【0049】

ここで、反復終了条件を満たすことは、ｘ番目の候補行列とｘ－１番目の候補行列が収束要件を満たすことである。一実施例において、前記ｘ番目の候補行列とｘ－１番目の候補行列が収束要件を満たすことは、前記ｘ番目の候補行列とｘ－１番目の候補行列の積が所定の数値範囲内にあることである。例えば、前記所定の数値範囲は、（０．９，１．１）である。

【0050】

一実施例において、ｎ番目の前記周波数領域推定コンポネントの重み係数、前記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得るための具体的な公式は、

【0051】

【数1】

【0052】

であり得、ただし、

【0053】

【数2】

【0054】

は、ｘ番目の候補行列を表し、前記

【0055】

【数3】

【0056】

は、ｘ－１番目の候補行列を表し、前記

【0057】

【数4】

【0058】

は、更新ステップ長を表し、前記

【0059】

【数5】

【0060】

は［０．００５，０．１］の間の実数であり、前記Ｍは、マイクロホンにより採取されたオーディオフレームのフレーム数を表し、前記

【0061】

【数6】

【0062】

は、ｎ番目の周波数領域推定コンポネントの重み係数を表し、前記ｋは、バンドの周波数点を表し、前記

【0063】

【数7】

【0064】

は、周波数点ｋに位置する周波数領域推定信号を表し、前記

【0065】

【数8】

【0066】

は、前記

【0067】

【数9】

【0068】

の共役転置を表す。

【0069】

一実際の適用シナリオにおいて、上記公式において、反復終了条件は、

【0070】

【数10】

【0071】

であり得、ただし、前記

【0072】

【数11】

【0073】

は、０以上であって（１／１０^５）未満である。一実施例において、前記

【0074】

【数12】

【0075】

は０．００００００１である。

【0076】

従って、本出願の実施例において、各周波数領域サブバンドの周波数領域推定コンポネントの重み係数、及び各フレームの周波数領域推定信号等に基づいて、各周波数領域推定コンポネントに対応する周波数点を継続的に更新することができ、周波数領域推定コンポネントにおける各周波数点で更新して得られた分離行列に、より高い分離性能を持たせ、分離したオーディオ信号の精度を更に向上させることができる。

【0077】

幾つかの実施例において、前記反復勾配を行う時、前記周波数領域推定信号の所在する周波数領域サブバンドの周波数の降順に従って順に行う。

【0078】

従って、本出願の実施例において、周波数領域サブバンドに対応する周波数で前記周波数領域推定信号の分離行列を順に取得することで、どこかの周波数点に対応する分離行列の取得漏れの発生を大幅に低減させ、各音源の各周波数点におけるオーディオ信号の損失を低減させ、取得した音源のオーディオ信号の品質を向上させることができる。

【0079】

また、反復勾配を行う時、前記周波数点データの所在する周波数領域サブバンドの周波数の降順に従って順に行うと、計算を更に簡略化することもできる。例えば、第１周波数領域サブバンドの周波数が第２周波数領域サブバンドの周波数より高く、且つ第１周波数領域サブバンドと第２周波数領域サブバンドとは、一部の周波数が重なっており、第１周波数領域サブバンドにおける前記周波数領域推定信号の分離行列を取得してから、第２周波数領域サブバンドにおける前記第１周波数領域サブバンドの周波数と重なっている部分に対応する周波数点の分離行列を計算する必要がなく、従って計算量が低減する。

【0080】

本出願の実施例において、実際の計算の信頼性を実現させるために、周波数領域サブバンドの周波数の降順に従って順に行うことが考えられることは、理解されるべきである。勿論、他の実施例において、周波数領域サブバンドの周波数の昇順に従って順に行うことを考慮してもよく、ここで、これに対し制限しない。

【0081】

一実施例において、少なくとも２つのマイクロホンの時間領域における複数フレームの生雑音混在信号を取得することは、
少なくとも２つのマイクロホンの時間領域における各フレームの生雑音混在信号を取得することを含む。

【0082】

幾つかの実施例において、前記生雑音混在信号を周波数領域推定信号に変換することは、前記時間領域における生雑音混在信号を周波数領域における生雑音混在信号に変換することと、前記周波数領域における生雑音混在信号を周波数領域推定信号に変換することとを含む。

【0083】

ここで、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）に基づいて、時間領域信号を周波数領域信号に変換することができる。又は、短時間フーリエ変換（ｓｈｏｒｔ－ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ：ＳＴＦＴ）に基づいて、時間領域信号を周波数領域信号に変換することができる。又は、他のフーリエ変換に基づいて、時間領域信号を周波数領域信号に変換することもできる。

【0084】

例えば、

【0085】

【数13】

【0086】

番目のマイクロホンの

【0087】

【数14】

【0088】

フレーム目の時間領域信号が

【0089】

【数15】

【0090】

であり、

【0091】

【数16】

【0092】

フレーム目の時間領域信号を周波数領域信号に変換し、

【0093】

【数17】

【0094】

フレーム目の生雑音混在信号を

【0095】

【数18】

【0096】

と特定し、ただし、前記

【0097】

【数19】

【0098】

は周波数点を表し、前記

【0099】

【数20】

【0100】

であり、前記

【0101】

【数21】

【0102】

は、ｋフレーム目の時間領域信号の離散時点の数を表し、前記

【0103】

【数22】

【0104】

である。従って、本実施例は、前記時間領域から周波数領域への変化によって、周波数領域における各フレームの生雑音混在信号を得ることができる。勿論、他のフーリエ変換公式に基づいて、各フレームの生雑音混在信号を取得することもでき、ここで、これに対し制限しない。

【0105】

一実施例において、前記周波数領域における生雑音混在信号を周波数領域推定信号に変換することは、既知の単位行列に基づいて、前記周波数領域における生雑音混在信号を周波数領域推定信号に変換することを含む。

【0106】

別の実施例において、前記周波数領域における生雑音混在信号を周波数領域推定信号に変換することは、候補行列に基づいて、前記周波数領域における生雑音混在信号を周波数領域推定信号に変換することを含む。ここで、前記候補行列は、上記実施例における第１から第ｘ－１次の候補行列であってもよい。

【0107】

例えば、取得されたｍフレーム目の周波数点ｋの周波数点データは、

【0108】

【数23】

【0109】

であり、ただし、前記

【0110】

【数24】

【0111】

は、ｍフレーム目の周波数領域における生雑音混在信号を表し、前記分離行列は、

【0112】

【数25】

【0113】

であり、上記実施例における第１から第ｘ－１次の候補行列であってもよい。例えば、前記

【0114】

【数26】

【0115】

は既知の単位行列又は、第ｘ－１回の反復によって得られた候補行列である。

【0116】

本出願の実施例において、時間領域における生雑音混在信号を周波数領域における生雑音混在信号に変換し、更新前の分離行列又は単位行列に基づいて、予め推定された周波数領域推定信号を取得することができる。それによって、後続の前記周波数領域推定信号及び分離行列に基づいた各音源のオーディオ信号の分離のために根拠を提供する。

【0117】

幾つかの実施例において、前記方法は、
ｎ番目の前記周波数領域推定コンポネントに含まれる各周波数点に対応する前記周波数点データの平方和に基づいて、前記ｎ番目の前記周波数領域推定コンポネントの重み係数を得ることを更に含む。

【0118】

一実施例において、ｎ番目の前記周波数領域推定コンポネントに含まれる各周波数点に対応する前記周波数点データの平方和に基づいて、前記ｎ番目の前記周波数領域推定コンポネントの重み係数を得ることは、
ｎ番目の所述周波数領域推定コンポネントに含まれる前記周波数点データの平方和に基づいて、第１数値を決定することと、
前記第１数値の平方根に基づいて、前記ｎ番目の前記周波数領域推定コンポネントの重み係数を決定することとを含む。

【0119】

一実施例において、前記第１数値の平方根に基づいて、前記ｎ番目の周波数領域推定コンポネントの重み係数を決定することは、
前記第１数値の平方根の逆数に基づいて、前記ｎ番目の周波数領域推定コンポネントの重み係数を決定することを含む。

【0120】

本出願の実施例において、各周波数領域サブバンドの周波数領域推定コンポネントに含まれる各周波数点に対応する周波数領域推定信号に基づいて、前記各周波数領域サブバンドの重み係数を決定することができる。それによって、前記重み係数は、従来技術に比べて、バンド全体の全ての周波数点の事前確率密度を考慮する必要がなく、該周波数領域サブバンドに対応する周波数点の事前確率密度のみを考慮する必要がある。従って、計算を簡略化することができる。一方で、バンド全体における遠く離れている周波数点を考慮する必要がないため、該重み係数に基づいて決定された分離行列について、該周波数領域サブバンド内における遠く離れている周波数点の事前確率密度を考慮する必要がない。つまり、バンドにおける遠く離れている周波数点の依存性を考慮する必要がないため、決定された分離行列の分離性能をより好適にする。この後、該分離行列に基づいて品質がより高いオーディオ信号を得ることに寄与する。

【0121】

幾つかの実施例において、前記いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっている。

【0122】

例えば、前記周波数領域推定信号は計１００個であり、周波数点ｋ_１、ｋ_２、ｋ_３、…、ｋ_ｌ、ｋ_１００に対応する周波数点データを含む。ここで、前記ｌは２を超えて１００以下の正整数である。ここで、バンドは、４つの周波数領域サブバンドに分割される。ここで、４つの周波数領域サブバンドは順に以下のとおりである。１番目の周波数領域サブバンド、２番目の周波数領域サブバンド、３番目の周波数領域サブバンド、及び４番目の周波数領域サブバンドの周波数領域推定コンポネントはそれぞれ第ｋ_１から第ｋ_３０に対応する周波数点データ、第ｋ_２５から第ｋ_５５に対応する周波数点データ、第ｋ_５０から第ｋ_８０に対応する周波数点データ、及び第ｋ_７５から第ｋ_１００に対応する周波数点データを含む。

【0123】

従って、１番目の周波数領域サブバンドと２番目の周波数領域サブバンドとは、周波数領域において第ｋ_２５から第ｋ_３０という６つの重なっている周波数点を有する。従って、１番目の周波数領域サブバンドと２番目の周波数領域サブバンドとは、同じ第ｋ_２５から第ｋ_３０に対応する周波数点データを有する。２番目の周波数領域サブバンドと３番目の周波数領域サブバンドとは、周波数領域において第ｋ_５０から第ｋ_５５という６つの重なっている周波数点を有する。従って、２番目の周波数領域サブバンドと３番目の周波数領域サブバンドとは、同じ第ｋ_５０から第ｋ_５５に対応する周波数点データを有する。３番目の周波数領域サブバンドと４番目の周波数領域サブバンドとは、周波数領域において第ｋ_７５から第ｋ_８０という６つの重なっている周波数点を有する。従って、３番目の周波数領域サブバンドと４番目の周波数領域サブバンドとは、同じ第ｋ_７５から第ｋ_８０に対応する周波数点データを有する。

【0124】

本出願の実施例において、前記いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっているため、バンドにおいて近接している周波数点の依存性がより高いという原理に基づいて、隣接する周波数領域サブバンドにおける各周波数点データの依存性を強化することができ、また、各周波数領域サブバンドの周波数領域推定コンポネントの重み係数計算において、幾つかの周波数点の使用漏れに起因した不正確な計算の発生を低減させ、重み係数の正確度を更に向上させることができる。

【0125】

また、本出願の実施例において、１つの周波数領域サブバンドにおける各周波数点データの分離行列を取得しようとする場合、該周波数領域サブバンドの周波数点が該周波数領域サブバンドの隣接する周波数領域サブバンドの周波数点と重なっている場合、該重なっている周波数点に対応する周波数点データの分離行列を、該周波数領域サブバンドの隣接する周波数領域サブバンドに基づいて直接的に取得することができ、予め取得する必要がない。

【0126】

別の実施例において、前記いずれか２つの隣接する周波数領域サブバンドは、周波数領域において、重なっている周波数が存在しない。従って、本出願の実施例において、各周波数領域サブバンドの前記周波数点データの数の合計は、バンド全体の周波数点に対応する周波数点データの数の合計に等しい。従って、各周波数領域サブバンドの周波数点データの重み係数計算において、幾つかの周波数点の使用漏れに起因した不正確な計算の発生を低減させ、重み係数の正確度を更に向上させることができる。また、隣接する周波数領域サブバンドの重み係数の計算において、重なっていない周波数点データを使用しているため、前記重み係数の計算プロセスを更に簡略化することができる。

【0127】

幾つかの実施例において、前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源のオーディオ信号を取得することは、
１番目の前記分離行列からＮ番目の前記分離行列に基づいて、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号を分離し、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号における、異なる前記音源のオーディオ信号を取得し、ここで、前記ｍがＭ未満の正整数であり、前記Ｍが前記生雑音混在信号のフレーム数であることと、
各前記周波数点データに対応するｍフレーム目の前記生雑音混在信号におけるｙ番目の前記音源のオーディオ信号を組み合わせて、ｙ番目の前記音源の前記ｍフレーム目のオーディオ信号を得て、ここで、前記ｙがＹ以下の正整数であり、前記Ｙが音源の数であることとを含む。

【0128】

例えば、前記マイクロホンは２つであり、それぞれマイクロホン１及びマイクロホン２である。前記音源は２つであり、それぞれ音源１及び音源２である。前記マイクロホン１及びマイクロホン２はいずれ３フレームの生雑音混在信号を収集した。１フレーム目において、１番目の周波数点データからＮ番目の周波数点データについて、それぞれ対応する分離行列を算出する。例えば、１番目の周波数点データの分離行列が１番目の分離行列であり、２番目の周波数点データの分離行列が２番目の分離行列である。このように類推すると、Ｎ番目の周波数点データの分離行列がＮ番目の分離行列である。更に１番目の周波数点データに対応する雑音信号と１番目の分離行列に基づいて、１番目の周波数点データに対応するオーディオ信号を取得し、２番目の周波数点データに対応する雑音信号と２番目の分離行列に基づいて、２番目の周波数点データのオーディオ信号を取得する。このように類推すると、Ｎ番目の周波数点データに対応する雑音信号とＮ番目の分離行列に基づいて、Ｎ番目の周波数点データのオーディオ信号を取得する。更に前記１番目の周波数点データのオーディオ信号、２番目の周波数点データのオーディオ信号及び３番目の周波数点データのオーディオ信号を組み合わせ、マイクロホン１及びマイクロホン２の１フレーム目におけるオーディオ信号を得る。

【0129】

他のフレームのオーディオ信号の取得について、上記例と同様な方法を用いることもできることが理解されるべきである。ここで詳細な説明を省略する。

【0130】

本出願の実施例において、各フレームの各周波数点データに対応する雑音信号及び分離行列について、該フレームにおける各前記周波数点データのオーディオ信号を取得し、更に該フレームにおける各前記周波数点データのオーディオ信号を組み合わせ、該フレームのオーディオ信号を取得することができる。従って、本出願の実施例において、前記周波数点データのオーディオ信号を取得した後、前記オーディオ信号を時間領域変換し、時間領域における各音源のオーディオ信号を取得することもできる。

【0131】

例えば、逆高速フーリエ変換（Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＩＦＦＴ）に基づいて、周波数領域信号を時間領域変換することができる。又は、逆短時間フーリエ変換（Ｉｎｖｅｒｓｅ ｓｈｏｒｔ－ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ：ＩＳＴＦＴ）に基づいて、周波数領域信号を時間領域信号に変換することができる。又は、他の逆フーリエ変換に基づいて、周波数領域信号を時間領域信号に変換することもできる。

【0132】

幾つかの実施例において、前記方法は、時系列順に従って、ｙ番目の前記音源の１フレーム目のオーディオ信号からＭフレーム目までのオーディオ信号を組み合わせ、前記生雑音混在信号に含まれるｙ番目の前記音源のＭフレームのオーディオ信号を得ることを更に含む。

【0133】

例えば、前記マイクロホンは２つであり、それぞれマイクロホン１及びマイクロホン２である。前記音源は２つであり、それぞれ音源１及び音源２である。前記マイクロホン１及び２はいずれも３フレームの生雑音混在信号を採取した。ここで、３フレームは、時系列順に従って、１フレーム目、２フレーム目及び３フレーム目である。計算により、それぞれ音源１の１フレーム目、２フレーム目、３フレーム目のオーディオ信号を取得すると、前記音源１のオーディオ信号は、時系列順に従って音源１の１フレーム目、２フレーム目及び３フレーム目の音源信号を組み合わせたである。計算により、それぞれ音源２の１フレーム目、２フレーム目、３フレーム目のオーディオ信号を取得すると、前記音源２のオーディオ信号は、時系列順に従って音源１の１フレーム目、２フレーム目及び３フレーム目の音源信号を組み合わせたである。

【0134】

本出願の実施例において、各音源の各オーディオフレームのオーディオ信号を組み合わせることで、完全な各音源のオーディオ信号を得ることができる。

【0135】

本出願の上記実施例を理解しやすくするために、下記例を参照しながら説明する。図２に示すように、オーディオ信号処理方法の適用シナリオを開示する。ここで、前記端末は、スピーカーＡを備え、前記スピーカーＡには、２つのマイクロホンが含まれ、それぞれマイクロホン１及びマイクロホン２である。前記音源は２つであり、それぞれ音源１及び音源２である。前記音源１及び前記音源２からの信号はいずれもマイクロホン１及びマイクロホン２により採取される。各マイクロホンにおいて、２つの音源信号は、エリアシングされている。

【0136】

図３は、一例示的な実施例によるオーディオ信号処理方法を示すフローチャートである。ここで、前記オーディオ信号処理方法において、図２に示すように、音源は、音源１及び音源２を含み、マイクロホンは、マイクロホン１及びマイクロホン２を含む。前記オーディオ信号処理方法に基づいて、前記マイクロホン１及びマイクロホン２の信号から、音源１及び音源２の音声を回復する。図３に示すように、前記方法は、下記ステップを含む。

【0137】

システムフレーム長がＮｆｆｔであれば、周波数点Ｋ＝Ｎｆｆｔ／２＋１である。

【0138】

ステップＳ３０１において、

【0139】

【数27】

【0140】

を初期化する。

【0141】

具体的には、各周波数領域推定信号の分離行列を初期化する。

【0142】

【数28】

【0143】

であり、ただし、前記

【0144】

【数29】

【0145】

は、単位行列を表し、前記

【0146】

【数30】

【0147】

は周波数領域推定信号を表し、前記

【0148】

【数31】

【0149】

である。

【0150】

ステップＳ３０２において、

【0151】

【数32】

【0152】

番目のマイクロホンの

【0153】

【数33】

【0154】

フレーム目の生雑音混在信号を取得する。

【0155】

具体的には、

【0156】

【数34】

【0157】

に対してＮｆｆｔ個ポイントの窓関数を掛け、対応する周波数領域信号

【0158】

【数35】

【0159】

を得る。ただし、前記

【0160】

【数36】

【0161】

は、フーリエ変換で選択されたポイント数を表し、ただし、前記ＳＴＦＴは、短時間フーリエ変換であり、前記

【0162】

【数37】

【0163】

は、

【0164】

【数38】

【0165】

番目のマイクロホンの

【0166】

【数39】

【0167】

フレーム目の時間領域信号を表し、ここで、前記時間領域信号は生雑音混在信号である。

【0168】

ここで、前記

【0169】

【数40】

【0170】

である場合、マイクロホン１を表し、前記

【0171】

【数41】

【0172】

である場合、マイクロホン２を表す。

【0173】

従って、前記

【0174】

【数42】

【0175】

の観測信号は、

【0176】

【数43】

【0177】

であり、ただし、前記

【0178】

【数44】

【0179】

はそれぞれ音源１及び音源２の周波数領域における生雑音混在信号を表し、ただし、

【0180】

【数45】

【0181】

は、転置行列を表す。

【0182】

ステップＳ３０３において、各周波数領域サブバンドに分割し、２つの音源の事前周波数領域推定を得る。

【0183】

具体的には、２つの音源信号の事前周波数領域推定値を

【0184】

【数46】

【0185】

とし、ただし、

【0186】

【数47】

【0187】

はそれぞれ音源１及び音源２の周波数領域推定信号

【0188】

【数48】

【0189】

における推定値を表す。

【0190】

分離行列

【0191】

【数49】

【0192】

によって観測行列

【0193】

【数50】

【0194】

を分離し、

【0195】

【数51】

【0196】

を得て、ただし、

【0197】

【数52】

【0198】

は、前回の反復によって得られた分離行列（即ち候補行列）である。

【0199】

よって、

【0200】

【数53】

【0201】

番目の音源の

【0202】

【数54】

【0203】

フレーム目における事前周波数領域推定値は、

【0204】

【数55】

【0205】

である。

【0206】

具体的には、バンド全体をＮ個の周波数領域サブバンドに分割する。

【0207】

ｎ番目の周波数領域サブバンドの周波数領域推定信号

【0208】

【数56】

【0209】

を得て、ただし、前記

【0210】

【数57】

【0211】

であり、ただし、前記

【0212】

【数58】

【0213】

はそれぞれｎ番目の周波数領域サブバンドの最初の周波数点及び最後の周波数点を表す。ただし、

【0214】

【数59】

【0215】

であり、前記

【0216】

【数60】

【0217】

である。ここで、隣接する周波数領域サブバンドの間で、一部の周波数が重なっていることを確保している。前記

【0218】

【数61】

【0219】

は、ｎ番目の周波数領域サブバンドの周波数点の数を表す。

【0220】

ステップＳ３０４において、各周波数領域サブバンドの重み係数を取得する。

【0221】

具体的には、前記ｎ番目の周波数領域サブバンドの重み係数

【0222】

【数62】

【0223】

である。

【0224】

マイクロホン１及びマイクロホン２のｎ番目の周波数領域サブバンドの重み係数を得、即ち、

【0225】

【数63】

【0226】

である。

【0227】

ステップＳ３０５において、

【0228】

【数64】

【0229】

を更新する。

【0230】

各周波数領域サブバンドの重み係数、１フレーム目からｍフレーム目の周波数点ｋの周波数領域推定信号に基づいて、周波数点ｋの分離行列を得、即ち、

【0231】

【数65】

【0232】

である。ただし、前記

【0233】

【数66】

【0234】

は、前回反復を行った時の候補行列であり、前記

【0235】

【数67】

【0236】

は、現在の反復により取得された候補行列であり、ただし、前記

【0237】

【数68】

【0238】

は更新ステップ長を表す。

【0239】

一実施例において、前記

【0240】

【数69】

【0241】

は［０．００５，０．１］である。

【0242】

ここで、

【0243】

【数70】

【0244】

である場合、取得された前記

【0245】

【数71】

【0246】

が収束要件を満たしていることを表す。前記

【0247】

【数72】

【0248】

が収束要件を満たしていると判定すれば、

【0249】

【数73】

【0250】

を更新し、周波数点ｋの分離行列を

【0251】

【数74】

【0252】

にする。

【0253】

一実施例において、前記

【0254】

【数75】

【0255】

は、（１／１０^６）以下の値である。

【0256】

ここで、上記周波数領域サブバンドの重み係数が周波数領域サブバンドｎの重み係数であれば、前記周波数点ｋは、前記周波数領域サブバンドｎ内に位置する。

【0257】

一実施例において、前記反復勾配を行う時、周波数の降順に従って順に行う。従って、各周波数領域サブバンドの各周波数の分離行列の更新を確保する。

【0258】

以下、各周波数領域推定信号の分離行列を順に取得する仮コードを例示的に提供する。

【0259】

ｃｏｎｖｅｒｇｅｄ［ｍ］［ｋ］がｎ番目の周波数領域サブバンドのｋ番目の周波数点の収束状態を表し、

【0260】

【数76】

【0261】

である。ｃｏｎｖｅｒｇｅｄ［ｍ］［ｋ］＝１というのは、現在の周波数点が収束されていることを表し、そうでなければ、収束されていないことを表す。

【0262】

【数77】

【0263】

上記例において、前記

【0264】

【数78】

【0265】

の収束を判断するための閾値である。前記

【0266】

【数79】

【0267】

は、（１／１０^６）である。

【0268】

ステップＳ３０６において、各マイクロホンにおける各音源のオーディオ信号を取得する。

【0269】

具体的には、更新後の分離行列

【0270】

【数80】

【0271】

に基づいて、

【0272】

【数81】

【0273】

を取得する。ただし、前記

【0274】

【数82】

【0275】

であり、前記

【0276】

【数83】

【0277】

であり、前記

【0278】

【数84】

【0279】

であり、前記

【0280】

【数85】

【0281】

である。

【0282】

ステップ３０７において、周波数領域におけるオーディオ信号を時間領域信号に変換する。

【0283】

周波数領域におけるオーディオ信号を時間領域信号に変換し、時間領域におけるオーディオ信号を得る。

【0284】

【数86】

【0285】

に対して、ＩＳＴＦＴ及び重畳加算をそれぞれ行い、推定した時間領域の第３オーディオ信号

【0286】

【数87】

【0287】

を得る。

【0288】

本出願の実施例において取得された分離行列は、異なる周波数領域サブバンドの周波数領域推定コンポネントの重み係数に基づいて決定されたものである。従来技術における、バンド全体の全ての周波数領域推定信号が同様な依存性を有する前提で得られた分離行列に比べて、より高い分離性能を有する。従って、本出願の実施例で取得された分離行列及び前記生雑音混在信号に基づいて、２つの音源からのオーディオ信号を取得することで、分離性能を向上させ、損傷されやすい前記周波数領域推定信号の音声信号を回復させ、音声分離の品質を向上させることができる。

【0289】

また、周波数領域サブバンドに対応する周波数で前記周波数領域推定信号の分離行列を順に取得することによって、幾つかの周波数点に対応する分離行列の取得漏れの発生を大幅に低減させ、各音源の各周波数点におけるオーディオ信号の損失を低減させ、取得した音源のオーディオ信号の品質を向上させることができる。また、２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっているため、バンドにおいて近接している周波数点の依存性がより高いという原理に基づいて、隣接する周波数領域サブバンドにおける各周波数推定信号の依存性を強化することで、より正確な重み係数を得ることができる。

【0290】

本出願の実施例が提供するオーディオ信号処理方法は、従来技術において複数のマイクロホンにおけるビームフォーミング技術で音源信号の分離を実現させるという形態に比べて、これらのマイクロホンの位置を考慮する必要がなく、精度がより高い音源からのオーディオ信号の分離を実現させることができる。また、前記オーディオ信号処理方法を２つのマイクロホンを有する端末装置に適用する場合、従来技術において少なくとも３つ以上の複数のマイクロホンにおけるビームフォーミング技術によって音声品質を向上させるという形態に比べて、マイクロホンの数を大幅に低減させ、端末のハードウェアコストを低下させる。

【0291】

図４は、一例示的な実施例によるオーディオ信号処理装置を示すブロック図である。図４に示すように、該装置は、取得モジュール４１と、変換モジュール４２と、分割モジュール４３と、第１処理モジュール４４と、第２処理モジュールとを備え、
前記取得モジュール４１は、少なくとも２つのマイクロホンによって、少なくとも２つの音源の各自から送信されたオーディオ信号を取得し、時間領域における前記少なくとも２つのマイクロホンの各自の複数フレームの生雑音混在信号を取得するように構成され、
前記変換モジュール４２は、時間領域における各フレームに対して、前記少なくとも２つのマイクロホンの各自の前記生雑音混在信号に基づいて、前記少なくとも２つの音源の各自の周波数領域推定信号を取得するように構成され、
前記分割モジュール４３は、前記少なくとも２つの音源のうちの各音源に対して、周波数領域において前記周波数領域推定信号を複数の周波数領域推定コンポネントに分割し、ここで、各々の周波数領域推定コンポネントが、１つの周波数領域サブバンドに対応し、複数の周波数点データを含むように構成され、
前記第１処理モジュール４４は、各周波数領域サブバンド内において、前記周波数領域サブバンドに含まれる各周波数点の重み係数を決定し、前記重み係数に基づいて、各周波数点の分離行列を更新するように構成され、
前記第２処理モジュール４５は、更新後の前記分離行列及び前記生雑音混在信号に基づいて、少なくとも２つの音源の各自から送信されたオーディオ信号を取得するように構成される。

【0292】

幾つかの実施例において、前記第１処理モジュール４４は、各音源に対して、ｎ番目の前記周波数領域推定コンポネントの前記重み係数、前記周波数領域推定信号及びｘ－１番目の候補行列を反復勾配し、ｘ番目の候補行列を得て、ここで、１番目の候補行列が既知の単位行列であり、ここで、前記ｘが２以上の正整数であり、前記ｎがＮ未満の正整数であり、前記Ｎが前記周波数領域サブバンドの数であり、
前記ｘ番目の候補行列が反復終了条件を満たす場合、前記ｘ番目の候補行列に基づいて、ｎ番目の前記周波数領域推定コンポネントにおける各周波数点の更新後の分離行列を得るように構成される。

【0293】

幾つかの実施例において、前記第１処理モジュール４４は更に、ｎ番目の前記周波数領域推定コンポネントに含まれる各周波数点に対応する前記周波数点データの平方和に基づいて、前記ｎ番目の前記周波数領域推定コンポネントの重み係数を得るように構成される。

【0294】

幾つかの実施例において、前記第２処理モジュール４５は、１番目の前記更新後の分離行列からＮ番目の前記更新後の分離行列に基づいて、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号を分離し、１つの前記周波数点データに対応するｍフレーム目の前記生雑音混在信号における、異なる前記音源のオーディオ信号を取得し、ここで、前記ｍがＭ未満の正整数であり、前記Ｍが前記生雑音混在信号のフレーム数であり、
各前記周波数点データに対応するｍフレーム目の前記生雑音混在信号におけるｙ番目の前記音源のオーディオ信号を組み合わせて、ｙ番目の前記音源の前記ｍフレーム目のオーディオ信号を得て、ここで、前記ｙがＹ以下の正整数であり、前記Ｙが音源の数であるように構成される。

【0295】

幾つかの実施例において、前記第２処理モジュール４５は更に、時系列順に従って、ｙ番目の前記音源の１フレーム目のオーディオ信号からＭフレーム目までのオーディオ信号を組み合わせ、前記生雑音混在信号に含まれるｙ番目の前記音源のＭフレームのオーディオ信号を得るように構成される。

【0296】

幾つかの実施例において、前記第１処理モジュール４４は、前記反復勾配を行う時、前記周波数領域推定信号の所在する周波数領域サブバンドの周波数の降順に従って順に行う。

【0297】

幾つかの実施例において、いずれか２つの隣接する周波数領域サブバンドは、周波数領域において一部の周波数が重なっている。

【0298】

上記実施例における装置について、各モジュールにより実行される操作の具体的な形態は、該方法の実施例において詳しく説明されたため、ここで詳しい説明を省略する。

【0299】

本出願の実施例は、端末を更に提供し、該端末は、
プロセッサと
プロセッサ実行可能命令を記憶するためのメモリとを備え、
前記プロセッサは、前記実行可能命令を実行する時、本出願のいずれか１つの実施例に記載のオーディオ信号処理方法を実現させるように構成される。

【0300】

前記メモリは、様々なタイプの記憶媒体を含んでもよく、該記憶媒体は、非一時的コンピュータ可読記憶媒体であり、通信機器の電源が切断された後、その上方を記憶し続けることができる。

【0301】

前記プロセッサは、バス等を介してメモリに接続されてもよく、メモリに記憶されている実行可能なプログラムを読み取るように構成され、例えば、図１から図３に示した方法のうちの少なくとも１つを実現させる。

【0302】

本発明の実施例は、コンピュータ可読記憶媒体を更に適用し、前記可読記憶媒体には実行可能なプログラムが記憶されており、前記実行可能なプログラムがプロセッサにより実行される時、本出願のいずれか１つの実施例に記載のオーディオ信号処理方法を実現させる。例えば、図１から図３に示した方法のうちの少なくとも１つを実現させる。

【0303】

上記実施例における装置について、各モジュールにより実行される操作の具体的な形態は、該方法の実施例において詳しく説明されたため、ここで詳しい説明を省略する。

【0304】

図５は、一例示的な実施例による端末８００を示すブロック図である。例えば、端末８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタント等であってもよい。

【0305】

図５に示すように、端末８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサユニット８１４及び通信ユニット８１６のうちの１つ又は複数を備えてもよい。

【0306】

処理ユニット８０２は一般的には、端末８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、命令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理ユニット８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０２はマルチメディアモジュールを備えることで、マルチメディアユニット８０８と処理ユニット８０２とのインタラクションに寄与する。

【0307】

メモリ８０４は、各種のデータを記憶することで端末８００における操作をサポートするように構成される。これらのデータの例として、端末８００上で操作される如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクもしくは光ディスクを含む。

【0308】

電源ユニット８０６は端末８００の様々なユニットに電力を提供する。電源ユニット８０６は、電源管理システム、１つ又は複数の電源、及び端末８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

【0309】

マルチメディアユニット８０８は、前記端末８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。前記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、前記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアユニット８０８は、フロントカメラ及び／又はリアカメラを備える。端末８００が、撮影モード又は映像モードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

【0310】

オーディオユニット８１０は、オーディオ信号の出力及び／又は入力を行うように構成される。例えば、オーディオユニット８１０は、１つのマイクロホン（ＭＩＣ）を含む。端末８００が呼び出しモード、記録モード及び音声認識モードのような操作モードであれば、マイクロホンは、外部のオーディオ信号を受信するように構成される。前記受信されたオーディオ信号は、更にメモリ８０４に記憶されてもよいし、通信ユニット８１６を経由して送信されてもよい。幾つかの実施例において、オーディオユニット８１０は、オーディオ信号を出力するためのスピーカーを更に含む。

【0311】

Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含んでもよいが、これらに限定されない。

【0312】

センサユニット８１４は、１つ又は複数のセンサを備え、端末８００のために様々な状態の評価を行うように構成される。例えば、センサユニット８１４は、端末８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、ユニットが端末８００のディスプレイ及びキーパッドである。センサユニット８１４は端末８００又は端末８００における１つのユニットの位置の変化、ユーザと端末８００との接触の有無、端末８００の方位又は加速／減速及び端末８００の温度の変動を検出することもできる。センサユニット８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサユニット８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサユニット８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

【0313】

通信ユニット８１６は、端末８００と他の機器との有線又は無線方式の通信に寄与するように構成される。端末８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送に関連する情報を受信する。一例示的な実施例において、通信ユニット８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現される。

【0314】

例示的な実施例において、端末８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

【0315】

例示的な実施例において、命令を含むメモリ８０４のような、命令を含む非一時的コンピュータ可読記憶媒体を更に提供する。上記命令を端末８００のプロセッサ８２０により実行することで上記方法を完了することができる。例えば、前記非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フレキシブルディスク、光データ保存装置等であってもよい。

【0316】

当業者は明細書を検討し、ここで開示した発明を実践した後、本発明のその他の実施方案を容易に思いつくことができる。本出願は、本発明の実施例のいかなる変形、用途、又は適応的な変化を含むことを目的としており、いかなる変形、用途、又は適応的な変化は、本発明の一般的な原理に基づいて、且つ本発明の実施例において公開されていない本技術分野においての公知常識又は慣用技術手段を含む。明細書及び実施例は、例示的なものを開示しており、本発明の保護範囲と主旨は、特許請求の範囲に記述される。

【0317】

本発明は、上記で説明した、また図面において示した精確な構造に限定されず、その範囲を逸脱しない前提のもとで種々の変更及び修正を行うことができることを理解すべきである。本発明の実施例の範囲は付された特許請求の範囲によってのみ限定される。

【図1】

【図2】

【図3】

【図4】

【図5】