特許 7332745 音声処理方法及び音声処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-15

(45)【発行日】2023-08-23

(54)【発明の名称】音声処理方法及び音声処理装置

(51)【国際特許分類】

   H04S 1/00 20060101AFI20230816BHJP

【ＦＩ】

H04S1/00 500

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2022063937

(22)【出願日】2022-04-07

(65)【公開番号】P2022161881

(43)【公開日】2022-10-21

【審査請求日】2022-07-07

(31)【優先権主張番号】110113007

(32)【優先日】2021-04-10

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】522140965

【氏名又は名称】英霸聲學科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＸＲＯＵＮＤ ＩＮＣ．

【住所又は居所原語表記】Ｒｍ． ４， １０Ｆ．， Ｎｏ． ７３８， Ｚｈｏｎｇｚｈｅｎｇ Ｒｄ．， Ｚｈｏｎｇｈｅ Ｄｉｓｔ．， Ｎｅｗ Ｔａｉｐｅｉ Ｃｉｔｙ， Ｔａｉｗａｎ，

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100221372

【弁理士】

【氏名又は名称】岡崎 信治

(72)【発明者】

【氏名】李鵬

(72)【発明者】

【氏名】楊立▲はお▼

【審査官】大石 剛

(56)【参考文献】

【文献】特開２０２１－０４８５８３（ＪＰ，Ａ）

【文献】特開２００８－１９３３８２（ＪＰ，Ａ）

【文献】特開２００３－１３４５９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ １／００

(57)【特許請求の範囲】

【請求項1】

左チャンネル音声を中央の左チャンネル音声及び側方の左チャンネル音声に分離するステップと、
右チャンネル音声を中央の右チャンネル音声及び側方の右チャンネル音声に分離するステップと、
該中央の左チャンネル音声及び該中央の右チャンネル音声に対して中央の頭部伝達関数処理を行って、該中央の左チャンネル音声及び該中央の右チャンネル音声を、使用者に対する第１の音源位置及び第２の音源位置としてシミュレーションするステップと、
該側方の左チャンネル音声及び該側方の右チャンネル音声に対して側方の頭部伝達関数処理を行って、該側方の左チャンネル音声及び該側方の右チャンネル音声を、該使用者に対する第３の音源位置及び第４の音源位置としてシミュレーションするステップと、
該中央の頭部伝達関数及び該側方の頭部伝達関数によって処理された音声に対して、該使用者の聴覚特性に基づいて周波数補償を行って、２チャンネル音声になるように合成するステップと、
を含む、音声処理方法。

【請求項2】

該使用者の聴覚特性に基づいて周波数補償を行うステップは、
異なる周波数を有する複数の音声を該使用者に再生するステップと、
異なる周波数を有する複数の音声に応じて複数の周波数応答値を生成して該使用者の聴覚特性を取得するステップと、
複数の周波数応答値を少なくとも１つの所定値と比較して少なくとも１つの周波数応答差分値を生成するステップと、
該少なくとも１つの周波数応答差分値に基づいて、異なる周波数を有する複数の音声を補償するステップと、
を含む、請求項１に記載の音声処理方法。

【請求項3】

異なる周波数を有する複数の音声を補償するステップは、異なる周波数を有する複数の音声に対応する周波数応答値を該所定値になるように補償することである、請求項２に記載の音声処理方法。

【請求項4】

該中央の頭部伝達関数及び該側方の頭部伝達関数による音声の処理は、フィルタリング及び畳み込み演算により行われる、請求項１に記載の音声処理方法。

【請求項5】

該フィルタリング及び畳み込み演算後の音声にさらに所定のパラメータを乗算する、請求項４に記載の音声処理方法。

【請求項6】

左チャンネル音声及び右チャンネル音声を受信し、該左チャンネル音声を中央の左チャンネル音声及び側方の左チャンネル音声に分離し、該右チャンネル音声を中央の右チャンネル音声及び側方の右チャンネル音声に分離するチャンネル分離ユニットと、
該中央の左チャンネル音声及び該中央の右チャンネル音声を受信し、中央の頭部伝達関数処理を行って、該中央の左チャンネル音声及び該中央の右チャンネル音声を、使用者に対する第１の音源位置及び第２の音源位置としてシミュレーションし、該側方の左チャンネル音声及び該側方の右チャンネル音声を受信し、側方の頭部伝達関数処理を行って、該側方の左チャンネル音声及び該側方の右チャンネル音声を、該使用者に対する第３の音源位置及び第４の音源位置としてシミュレーションする音声演算ユニットと、
該中央の頭部伝達関数及び該側方の頭部伝達関数によって処理された音声を受信し、該使用者の聴覚特性に基づいて周波数補償を行って、２チャンネル音声になるように合成する音声合成ユニットと、
を含む、音声処理装置。

【請求項7】

該音声演算ユニットは、該中央の左チャンネル音声、該中央の右チャンネル音声、該側方の左チャンネル音声及び該側方の右チャンネル音声にフィルタリング処理を行うフィルターを有する、請求項６に記載の音声処理装置。

【請求項8】

該音声演算ユニットは、フィルタリング後の中央の左チャンネル音声及び中央の右チャンネル音声と該中央の頭部伝達関数に対して畳み込み演算を行う、請求項７に記載の音声処理装置。

【請求項9】

該音声演算ユニットは、フィルタリング後の側方の左チャンネル音声及び側方の右チャンネル音声と該側方の頭部伝達関数に対して畳み込み演算を行う、請求項７に記載の音声処理装置。

【請求項10】

異なる周波数を有する複数の音声を該使用者に再生し、該音声演算ユニットにより異なる周波数を有する複数の音声に応じて複数の周波数応答値を生成して該使用者の聴覚特性を取得する音声再生ユニットと、
複数の周波数応答値を少なくとも１つの所定値と比較して少なくとも１つの周波数応答差分値を生成し、該音声演算ユニットにより該少なくとも１つの周波数応答差分値に基づいて、異なる周波数を有する複数の音声を補償する比較ユニットと、
をさらに含む、請求項７に記載の音声処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声処理の技術に関し、特に２チャンネル音声をマルチチャンネル音声としてシミュレーションする音声処理方法及び音声処理装置に関する。

【背景技術】

【0002】

現在、マルチメディア情報が日に日に発達しており、映画、ドラマ又はゲームなどは、人々の生活と密接な関係を持つものになる。このため、人々は、通勤時に音楽を聞いたり、映画又はドラマを見たりするためにイヤホンを着用する場合が多く、よりリアルな臨場感のあるサウンド体験を得るためにイヤホンを着用して３Ｄゲームをする場合もある。しかしながら、一般に、従来の２チャンネルイヤホンでは、使用者が２チャンネルのリスニング体験のみを得るため、映画又はドラマを見るときに、使用者が音に包まれるサラウンド感を体感することができず、或いは、ゲームをするときに、複数の方向からの音を識別することができない。これに加えて、使用者ごとに聴覚パフォーマンスが異なり、異なる使用者によって異なる音の周波数に対する反応も異なる。したがって、２チャンネルの音源をマルチチャンネルに処理し、かつ異なる使用者の聴覚特性に応じて出力音の周波数を調整できるイヤホンがあれば、使用者により優れたリスニング体験を与えることができる。

【発明の概要】

【0003】

本発明は、２チャンネルの音源をマルチチャンネルに処理し、かつ使用者に応じて異なる周波数の音声を補償することができる音声処理方法を提供する。

【0004】

本発明はまた、上記音声処理方法を実行できる音声処理装置を提供する。

【0005】

本発明に係る音声処理方法は、左チャンネル音声を中央の左チャンネル音声及び側方の左チャンネル音声に分離するステップと、右チャンネル音声を中央の右チャンネル音声及び側方の右チャンネル音声に分離するステップと、中央の左チャンネル音声及び中央の右チャンネル音声に対して中央の頭部伝達関数処理を行って、中央の左チャンネル音声及び中央の右チャンネル音声を、使用者に対する第１の音源位置及び第２の音源位置としてシミュレーションするステップと、側方の左チャンネル音声及び側方の右チャンネル音声に対して側方の頭部伝達関数処理を行って、側方の左チャンネル音声及び側方の右チャンネル音声を、使用者に対する第３の音源位置及び第４の音源位置としてシミュレーションするステップと、中央の頭部伝達関数及び側方の頭部伝達関数によって処理された音声に対して、使用者の聴覚特性に基づいて周波数補償を行って、２チャンネル音声になるように合成するステップとを含む。

【0006】

本発明に係る音声処理装置は、チャンネル分離ユニット、音声演算ユニット及び音声合成ユニットを含む。チャンネル分離ユニットは、左チャンネル音声及び右チャンネル音声を受信し、左チャンネル音声を中央の左チャンネル音声及び側方の左チャンネル音声に分離し、右チャンネル音声を中央の右チャンネル音声及び側方の右チャンネル音声に分離する。音声演算ユニットは、中央の左チャンネル音声及び中央の右チャンネル音声に対して中央の頭部伝達関数処理を行って、中央の左チャンネル音声及び中央の右チャンネル音声を、使用者に対する第１の音源位置及び第２の音源位置としてシミュレーションし、かつ、側方の左チャンネル音声及び側方の右チャンネル音声に対して側方の頭部伝達関数処理を行って、側方の左チャンネル音声及び側方の右チャンネル音声を、使用者に対する第３の音源位置及び第４の音源位置としてシミュレーションする。音声合成ユニットは、中央の頭部伝達関数及び側方の頭部伝達関数によって処理された音声に対して、使用者の聴覚特性に基づいて周波数補償を行って、２チャンネル音声になるように合成する。

【0007】

いくつかの実施例では、音声処理方法は、異なる周波数を有する複数の音声を使用者に再生するステップと、これらの異なる周波数の音声に応じて複数の周波数応答値を生成して使用者の聴覚特性を取得するステップと、これらの周波数応答値を所定値と比較して少なくとも１つの周波数応答差分値を生成するステップと、これらの周波数応答差分値に基づいて、異なる周波数の音声を補償するステップとを含む。

【0008】

いくつかの実施例では、音声処理装置は、音声再生ユニット及び比較ユニットをさらに含む。音声再生ユニットは、異なる周波数を有する複数の音声を使用者に再生し、前述の音声演算ユニットにより異なる周波数を有するこれらの音声に応じて複数の周波数応答値を生成して使用者の聴覚特性を取得する。比較ユニットは、これらの周波数応答値を少なくとも１つの所定値と比較して少なくとも１つの周波数応答差分値を生成し、前述の音声演算ユニットによりこれらの周波数応答差分値に基づいて、異なる周波数を有する音声を補償する。

【0009】

以上より、本発明に係る音声処理方法及び音声処理装置は、左右チャンネルの音声を４つの異なる音源方向の音声に処理し、かつ、使用者の聴覚パフォーマンスに基づいて、異なる周波数の音声を補償することにより、２チャンネル音声でもサラウンドサウンドのリスニング体験を得ることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施例に係る音声処理方法を示すフローチャートである。

【0011】

【図2】本発明の一実施例に係る音声処理装置を示すブロック図である。

【0012】

【図3】本発明の一実施例に係る音源の分布を示す概略図である。

【発明を実施するための形態】

【0013】

以下、本発明の特徴、目的及び機能をさらに説明する。しかしながら、以下の説明は、本発明の実施例に過ぎず、本発明の範囲を限定するものではなく、すなわち、本発明の特許請求の範囲で行われた均等変化及び修飾は、いずれも本発明の主旨を逸脱せず、本発明の精神及び範囲から逸脱しないため、本発明の更なる実施態様とみなされるべきである。

【0014】

図１は、本発明の一実施例に係る音声処理方法を示すフローチャートである。図１に示すように、本発明の音声処理方法は、ステップ１０１～１０５を含む。ステップ１０１では、左チャンネル音声を中央の左チャンネル音声及び側方の左チャンネル音声に分離する。ステップ１０２では、右チャンネル音声を中央の右チャンネル音声及び側方の右チャンネル音声に分離する。ステップ１０３では、中央の左チャンネル音声及び中央の右チャンネル音声に対して中央の頭部伝達関数処理を行って、中央の左チャンネル音声及び中央の右チャンネル音声を、使用者に対する第１の音源位置及び第２の音源位置としてシミュレーションする。ステップ１０４では、側方の左チャンネル音声及び側方の右チャンネル音声に対して側方の頭部伝達関数処理を行って、側方の左チャンネル音声及び側方の右チャンネル音声を、使用者に対する第３の音源位置及び第４の音源位置としてシミュレーションする。ステップ１０５では、中央の頭部伝達関数及び側方の頭部伝達関数によって処理された音声に対して、使用者の聴覚特性に基づいて周波数補償を行って、２チャンネル音声になるように合成する。

【0015】

図２は、本発明の一実施例に係る音声処理装置を示すブロック図である。図３は、本発明の一実施例に係る音源の分布を示す概略図である。以下、図２のブロックにより、本発明の音声処理装置がどのように図１の音声処理方法を実行するかを説明する。図１、図２及び図３を参照する。図２に示すように、音声処理装置２００は、ステレオ音声分離ユニット２０１、イコライザー２０２、チャンネル分離ユニット２０３、音声演算ユニット２０４及び音声合成ユニット２０５を含む。ステレオ音声分離ユニット２０１は、ステレオ音声ＳＡを受信し、左チャンネル音声Ｌ及び右チャンネル音声Ｒに分離する。該実施例では、ステレオ音声ＳＡは例えば、左チャンネル音声Ｌ及び右チャンネル音声Ｒを含むが、本発明はこれに限定されず、より多くのチャンネルを含んでもよい。イコライザー２０２は、左チャンネル音声Ｌ及び右チャンネル音声Ｒを受信し、イコライザー２０２によって処理された左チャンネル音声Ｌ及び右チャンネル音声Ｒの低音効果が高まることができるため、低音効果が高い左チャンネル音声号Ｌ＿Ｅｑ及び右チャンネル音声Ｒ＿Ｅｑを生成する。チャンネル分離ユニット２０３は、左チャンネル音声Ｌ＿Ｅｑ及び右チャンネル音声Ｒ＿Ｅｑを受信し、左チャンネル音声Ｌ＿Ｅｑを中央の左チャンネル音声Ｃｅｎｔ＿Ｌ及び側方の左チャンネル音声Ｓｉｄｅ＿Ｌに分離し、右チャンネル音声Ｒ＿Ｅｑを中央の右チャンネル音声Ｃｅｎｔ＿Ｒ及び側方の右チャンネル音声Ｓｉｄｅ＿Ｒに分離する。

【0016】

具体的には、中央の左チャンネル音声Ｃｅｎｔ＿Ｌ及び中央の右チャンネル音声Ｃｅｎｔ＿Ｒは、使用者にとって真正面からの左右音源に相当し、側方の左チャンネル音声Ｓｉｄｅ＿Ｌ及び側方の右チャンネル音声Ｓｉｄｅ＿Ｒは、側方からの左右音源に相当する。特に、上記左チャンネル音源及び右チャンネル音源は、それぞれ使用者の左耳及び右耳で聞いた音声である。音声演算ユニット２０４は、上述した、中央の左チャンネル音声Ｃｅｎｔ＿Ｌ、中央の右チャンネル音声Ｃｅｎｔ＿Ｒ、側方の左チャンネル音声Ｓｉｄｅ＿Ｌ、側方の右チャンネル音声Ｓｉｄｅ＿Ｒを受信し、それらに対して中央の頭部伝達関数処理及び側方の頭部伝達関数処理をそれぞれ行う。頭部伝達関数（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎｓ、ＨＲＴＦ）は、音像定位アルゴリズムであり、その定位及び演算のプロセスは当業者に知られているため、ここでは説明を省略する。頭部伝達関数の演算により、中央の左チャンネル音声Ｃｅｎｔ＿Ｌ、中央の右チャンネル音声Ｃｅｎｔ＿Ｒ、側方の左チャンネル音声Ｓｉｄｅ＿Ｌ及び側方の右チャンネル音声Ｓｉｄｅ＿Ｒは、図３に示すように、使用者３００に対する音源位置３０１～３０４として仮想される。音声合成ユニット２０５は、前述の頭部伝達関数によって処理された音声Ｃｅｎｔ＿ＬＨ、Ｃｅｎｔ＿ＲＨ、Ｓｉｄｅ＿ＬＨ及びＳｉｄｅ＿ＲＨを受信し、使用者の聴覚特性に基づいて、受信した音声に周波数補償を行って２チャンネル音声になるように合成する。このように、２チャンネルイヤホンを使用しても、使用者は、マルチチャンネルのサラウンドサウンドを聞くことができる。

【0017】

さらに、音声処理装置２００は、例えば２チャンネルイヤホンであると、ステレオ音声分離ユニット２０１、イコライザー２０２、チャンネル分離ユニット２０３、音声演算ユニット２０４及び音声合成ユニット２０５がイヤホン内部の独立した又は統合した素子、回路又はチップである。音声処理装置２００は、音声再生ユニット及び比較ユニット（未図示）をさらに含み、音声再生ユニットは、異なる周波数を有する複数の音声を使用者に再生し、使用者が聞いた後に異なる周波数を有するこれらの音声に応じてフィードバックを与えることにより、使用者の聴覚の個性を表すことができる複数の周波数応答値を生成する。そして、比較ユニットは、これらの周波数応答値を所定値と比較して少なくとも１つの周波数応答差分値を生成し、これらの周波数応答差分値は、使用者が特定の周波数の音を認識する能力が低い可能性があることを表すため、音声演算ユニット２０４により周波数応答差分値に基づいて、対応する音声を補償することができる。このように、使用者は聞くときにサラウンドサウンドの体験を得るだけでなく、認識能力が低い周波数の音声に対する聴覚補償を得ることができ、リスニング体験をさらに向上させる。特に、補償方法は様々であり、本実施例では、例えば、所定値になるように補償することであるが、本発明はこれに限定されず、当業者であれば、設計又は使用者の聴覚特性に応じて他の値になるように補償してもよい。

【0018】

より具体的には、音声演算ユニット２０４は、受信した、中央の左チャンネル音声Ｃｅｎｔ＿Ｌ、中央の右チャンネル音声Ｃｅｎｔ＿Ｒ、側方の左チャンネル音声Ｓｉｄｅ＿Ｌ及び側方の右チャンネル音声Ｓｉｄｅ＿Ｒに対してフィルタリング処理を行い、本実施例では、例えば、ハイパスフィルタリング処理を行うことにより、人間の耳の聴覚感度の低い周波数範囲を除去し、人間の耳の聴覚感度の高い周波数範囲を保持するが、本発明はこれに限定されず、当業者であれば、設計又は使用者の特性に応じて異なる周波数範囲のフィルタリング処理を行うことができる。音声演算ユニット２０４は、フィルタリング処理後の音声と所定の頭部伝達関数に対して畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）演算を行う。畳み込み演算は当業者に知られているため、ここでは説明を省略する。畳み込み演算により、音声を使用者に対する様々な方向に仮想することにより、サラウンドサウンドのリスニング体験を得ることができる。特に、音声演算ユニット２０４はまた、畳み込み演算後の音声に所定のパラメータを乗算することができ、この所定のパラメータは任意の値であってもよく、必要に応じて音声の強度を向上させることができる。

【0019】

また、音声合成ユニット２０５はまた、頭部伝達関数によって処理されていない中央の左チャンネル音声Ｃｅｎｔ＿Ｌ及び中央の右チャンネル音声Ｃｅｎｔ＿Ｒを受信し、受信した、頭部伝達関数によって処理されていない音声を頭部伝達関数によって処理された音声と合成し、つまり、人間の耳の聴覚感度の低い周波数範囲を聴覚感度の高い周波数範囲と合成することができる。このように、合成後の音声は、より広い周波数範囲をカバーできるため、最終に出力される音声の豊かさを向上させる。

【0020】

以上より、本発明に係る音声処理方法及び音声処理装置は、音声分離及び頭部伝達関数の演算により、元の左右チャンネルの音声をマルチチャンネルの音声としてシミュレーションし、処理された音声の使用者に対する方向をさらに調整し、使用者の聴覚特性に基づいて対応する音声周波数をさらに補償することができるため、使用者にサラウンドサウンド及び聴覚補償後の最適化を体験させることができる。

【符号の説明】

【0021】

１０１～１０５：ステップ
２００：音声処理装置
２０１：ステレオ音声分離ユニット
２０２：イコライザー
２０３：チャンネル分離ユニット
２０４：音声演算ユニット
２０５：音声合成ユニット
３００：使用者
３０１～３０４：音源位置
ＳＡ：ステレオ音声
Ｌ：左チャンネル音声
Ｒ：右チャンネル音声
Ｌ＿Ｅｑ：低音効果が高い左チャンネル音声
Ｒ＿Ｅｑ：低音効果が高い右チャンネル音声
Ｃｅｎｔ＿Ｌ：中央の左チャンネル音声
Ｃｅｎｔ＿Ｒ：中央の右チャンネル音声
Ｓｉｄｅ＿Ｌ：側方の左チャンネル音声
Ｓｉｄｅ＿Ｒ：側方の右チャンネル音声
Ｃｅｎｔ＿ＬＨ：頭部伝達関数によって処理された中央の左チャンネル音声
Ｃｅｎｔ＿ＲＨ：頭部伝達関数によって処理された中央の右チャンネル音声
Ｓｉｄｅ＿ＬＨ：頭部伝達関数によって処理された側方の左チャンネル音声
Ｓｉｄｅ＿ＲＨ：頭部伝達関数によって処理された側方の右チャンネル音声

【図1】

【図2】

【図3】