(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-26
(45)【発行日】2024-04-03
(54)【発明の名称】音声処理装置、音声出力装置、テレビジョン受像機、音声処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
H04S 3/00 20060101AFI20240327BHJP
H04S 7/00 20060101ALI20240327BHJP
【FI】
H04S3/00 800
H04S7/00 300
(21)【出願番号】P 2020022749
(22)【出願日】2020-02-13
【審査請求日】2022-09-21
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】小橋川 誠司
【審査官】冨澤 直樹
(56)【参考文献】
【文献】特開2018-121309(JP,A)
【文献】特開2009-017187(JP,A)
【文献】特開2007-201818(JP,A)
【文献】特開2012-222538(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 1/00-7/00
(57)【特許請求の範囲】
【請求項1】
画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理装置において、
出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成部を備え、
前記音声データ生成部は、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスし、
前記画面に表示された映像が、前記画面上の一部に縮小表示された縮小映像を含み、
前記音声データ生成部は、前記画面の中心と前記縮小映像の中心との間にずれが存在するときに、前記画面の中心と前記縮小映像の中心との間のずれに応じて、前記縮小映像に対応する音声の出力位置が前記縮小映像の前記画面上の表示位置に対応するように、前記縮小映像に対応する複数の入力チャンネルの音声データをダウンミックス
し、
前記画面の中心と前記縮小映像の中心との間のずれが横方向に沿ったずれであり、
前記複数のスピーカ群が、前記第1のサウンドバーの横方向にこの順番に配列された第1スピーカ、第2スピーカ、及び第3スピーカを含み、
前記画面の中心と前記縮小映像の中心との間に前記ずれが存在しないときに、前記第1スピーカが第1出力を出力し、前記第2スピーカが第2出力を出力し、前記第3スピーカが第3出力を出力し、
前記画面の中心と前記縮小映像の中心との間に前記ずれが存在するときに、前記音声データ生成部は、前記第1スピーカが前記第1出力と前記第2出力とに基づいて出力し、前記第2スピーカが前記第2出力と前記第3出力とに基づいて出力するように、前記複数の入力チャンネルの音声データをダウンミックスすることを特徴とする音声処理装置。
【請求項2】
前記音声データ生成部は、前記画面に表示された映像を視聴する視聴者の位置に対応する視点と前記画面の中心とを結ぶ直線と、前記視点と前記映像の中心とを結ぶ直線とがなす角度θに基づいて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスする請求項1に記載の音声処理装置。
【請求項3】
前記音声データ生成部は、
前記複数の入力チャンネルの上層の音声データを、前記複数の出力チャンネルの上層の音声データにダウンミックスし、
前記複数の入力チャンネルの中層の音声データを、前記複数の出力チャンネルの中層の音声データにダウンミックスし、
前記複数の入力チャンネルの下層の音声データを、前記複数の出力チャンネルの中層の音声データに併合する請求項1に記載の音声処理装置。
【請求項4】
前記音声データ生成部は、
22.2chの音声データを14.2chの音声データにダウンミックスする場合に、
前記複数の入力チャンネルの上層9chの音声データを、前記複数の出力チャンネルの上層7chの音声データにダウンミックスし、
前記複数の入力チャンネルの中層10chの音声データを、前記複数の出力チャンネルの中層7chの音声データにダウンミックスし、
前記複数の入力チャンネルの下層3chの音声データを、前記複数の出力チャンネルの中層7chの音声データに併合する請求項3に記載の音声処理装置。
【請求項5】
請求項1から4の何れか1項に記載の音声処理装置と、
出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバーと、
出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバーと、
を備えていることを特徴とする音声出力装置。
【請求項6】
請求項5に記載の音声出力装置を備えていることを特徴とするテレビジョン受像機。
【請求項7】
画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理方法であって、
出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成ステップを包含し、
前記音声データ生成ステップは、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスし、
前記画面に表示された映像が、前記画面上の一部に縮小表示された縮小映像を含み、
前記音声データ生成ステップは、前記画面の中心と前記縮小映像の中心との間にずれが存在するときに、前記画面の中心と前記縮小映像の中心との間のずれに応じて、前記縮小映像に対応する音声の出力位置が前記縮小映像の前記画面上の表示位置に対応するように、前記縮小映像に対応する複数の入力チャンネルの音声データをダウンミックスし、
前記画面の中心と前記縮小映像の中心との間のずれが横方向に沿ったずれであり、
前記複数のスピーカ群が、前記第1のサウンドバーの横方向にこの順番に配列された第1スピーカ、第2スピーカ、及び第3スピーカを含み、
前記画面の中心と前記縮小映像の中心との間に前記ずれが存在しないときに、前記第1スピーカが第1出力を出力し、前記第2スピーカが第2出力を出力し、前記第3スピーカが第3出力を出力し、
前記画面の中心と前記縮小映像の中心との間に前記ずれが存在するときに、前記音声データ生成ステップは、前記第1スピーカが前記第1出力と前記第2出力とに基づいて出力し、前記第2スピーカが前記第2出力と前記第3出力とに基づいて出力するように、前記複数の入力チャンネルの音声データをダウンミックスすることを特徴とする音声処理方法。
【請求項8】
請求項1から4の何れか1項に記載の音声処理装置としてコンピュータを機能させるためのプログラムであって、前記音声データ生成部としてコンピュータを機能させるためのプログラム。
【請求項9】
請求項8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声処理装置、音声出力装置、テレビジョン受像機、音声処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【0002】
実用放送が新4K8K衛星放送という名称で開始された高度BS放送においては、映像の高解像度化だけでなく、音声に関しても22.2ch(以下、chは「チャンネル」を示す)という高度な立体音響信号を送信している。これらの放送にて送られてくる22.2ch及び他chの音声信号を再現させるためには、22個のSP(以下、SPは「スピーカ」を示す)及び2個の低域SPを所定の位置に設置し、SPを駆動するために24chのアンプが必要である。
【0003】
上記の立体音響信号を、サウンドバー設置位置、テレビ画面サイズに基づく上下スピーカの位置に合わせて拡がり感を最適化して再生するために、22.2chの音声データを、サラウンドチャンネル係数を任意に設定して14.2ch等の音声データにダウンミックスする手法が提示されている(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2018-121309号公報(2018年8月2日公開)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述のような従来技術は、サラウンドチャンネル係数などをサウンドバー設置位置やテレビ画面サイズに基づいて設定している為、例えば2画面表示やPinP(Picture in Picture)等のように映像がテレビ画面サイズよりも小さく縮小表示される結果、映像の中心と画面の中心とがずれる場合に、映像に対応する音声の出力位置と、画面の中心に対してずれて表示された映像の表示位置との間に視聴者が違和感を覚えるという問題がある。
【0006】
本発明の一態様は、画面上に映像が表示される領域及び態様と、その映像に対応する音声の出力位置とを調和させることができる音声処理装置、音声出力装置、テレビジョン受像機、音声処理方法、プログラム、及びコンピュータ読み取り可能な記録媒体を実現することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係る音声処理装置は、画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理装置において、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成部を備え、前記音声データ生成部は、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスし、前記画面に表示された映像が、前記画面上の一部に縮小表示された縮小映像を含み、前記音声データ生成部は、前記画面の中心と前記縮小映像の中心との間にずれが存在するときに、前記画面の中心と前記縮小映像の中心との間のずれに応じて、前記縮小映像に対応する音声の出力位置が前記縮小映像の前記画面上の表示位置に対応するように、前記縮小映像に対応する複数の入力チャンネルの音声データをダウンミックスすることを特徴とする。
【0008】
上記の課題を解決するために、本発明の一態様に係る音声出力装置は、本発明の一態様に係る音声処理装置と、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバーと、を備えていることを特徴とする。
【0009】
上記の課題を解決するために、本発明の一態様に係るテレビジョン受像機は、本発明の一態様に係る音声出力装置を備えていることを特徴とする。
【0010】
上記の課題を解決するために、本発明の一態様に係る音声処理方法は、画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理方法であって、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成ステップを包含し、前記音声データ生成ステップは、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスし、前記画面に表示された映像が、前記画面上の一部に縮小表示された縮小映像を含み、前記音声データ生成ステップは、前記画面の中心と前記縮小映像の中心との間にずれが存在するときに、前記画面の中心と前記縮小映像の中心との間のずれに応じて、前記縮小映像に対応する音声の出力位置が前記縮小映像の前記画面上の表示位置に対応するように、前記縮小映像に対応する複数の入力チャンネルの音声データをダウンミックスすることを特徴とする。
【0011】
上記の課題を解決するために、本発明の一態様に係るプログラムは、本発明の一態様に係る音声処理装置としてコンピュータを機能させるためのプログラムであって、上記音声データ生成部としてコンピュータを機能させる。
【0012】
上記の課題を解決するために、本発明の一態様に係るコンピュータ読み取り可能な記録媒体は、本発明の一態様に係るプログラムを記録している。
【発明の効果】
【0013】
本発明の一態様によれば、画面上に映像が表示される領域及び態様と、その映像に対応する音声の出力位置とを調和させることができる。
【図面の簡単な説明】
【0014】
【
図1】実施形態1に係るテレビジョン受像機のブロック図である。
【
図2】上記テレビジョン受像機に設けられた音声出力装置のブロック図である。
【
図3】上記テレビジョン受像機の外観を示す正面図である。
【
図4】上記テレビジョン受像機に設けられた音声処理装置が取得する22.2chの音声データのスピーカ位置を示す図である。
【
図5】上記音声処理装置が生成する14.2chの音声データのスピーカ位置を示す図である。
【
図6】上記音声処理装置が実行するダウンミックスの計算式を示す図である。
【
図7】上記テレビジョン受像機に設けられた映像処理装置が左右反転表示をするときに比較例に係る音声処理装置が実行するダウンミックスを説明するための斜視図である。
【
図8】上記テレビジョン受像機に設けられた映像処理装置が左右反転表示をするときに上記音声処理装置が実行するダウンミックスを説明するための斜視図である。
【
図9】上記音声処理装置が取得する22.2chの音声データを接続スピーカの数に応じてダウンミックスする態様を示す図である。
【
図10】実施形態2に係るテレビジョン受像機のブロック図である。
【
図11】上記テレビジョン受像機に設けられた音声出力装置のブロック図である。
【
図12】上記テレビジョン受像機の画面上に縮小表示された映像を示す図である。
【
図13】上記画面上に映像が縮小表示されたときに上記音声処理装置が実行するダウンミックスを説明するための斜視図である。
【
図14】上記画面上に映像が縮小表示されたときに上記音声処理装置が実行するダウンミックスとスピーカとの関係を示す図である。
【
図15】通常表示の場合の画面とスピーカとの間の関係を示す図である。
【
図16】2画面表示の場合の画面とスピーカとの間の関係を示す図である。
【
図17】2画面表示の場合の角度θの求め方を説明するための図である。
【
図18】映像の主要部分の位置と映像の左右(上下)方向の中心との角度差を説明するための図である。
【発明を実施するための形態】
【0015】
〔実施形態1〕
(テレビジョン受像機2の構成)
以下、本発明の実施形態1について、詳細に説明する。
図1は実施形態1に係るテレビジョン受像機2のブロック図である。
図2はテレビジョン受像機2に設けられた音声出力装置1のブロック図である。
図3はテレビジョン受像機2の外観を示す正面図である。
【0016】
テレビジョン受像機2は、放送波を受信するチューナ5と、チューナ5により受信された放送波に含まれる符号化されたデータを復号化し、映像情報、音声情報、及び付帯情報を生成するデコード回路6と、デコード回路6により生成された映像情報に基づく映像の画質を調整し、スケーリングを行う映像処理装置7と、映像処理装置7により調整、スケーリングされた映像15を表示するテレビ表示部10と、デコード回路6により生成された音声情報に基づく音声を出力するための音声出力装置1と、を備える。テレビ表示部10は、例えばテレビジョン受像機2が液晶テレビであれば、液晶パネル、バックライト、及び表示用ドライバを含む。
【0017】
音声出力装置1は、デコード回路6により生成された音声情報のレベル、周波数特性等を調整し、ダウンミックスを行う音声処理装置11と、出力チャンネル毎の音声データを出力する複数のスピーカ16が横方向に配列されてなるサウンドバー12(第1のサウンドバー)及びサウンドバー13(第2のサウンドバー)とを有する。
【0018】
テレビジョン受像機2には、映像処理装置7及び音声処理装置11の動作を制御するメインマイコン8が設けられる。
【0019】
スピーカ16は、音声を出力し、22.2chの音声データであれば24chのスピーカ16から音声が出力され、5.1chの音声データであれば6chのスピーカ16から音声が出力される。
【0020】
サウンドバー12・13のそれぞれは、音声処理装置11により調整、ダウンミックスされた音声情報を増幅するAVアンプ9と、AVアンプ9により増幅された音声情報に基づいて音声を出力する複数のスピーカ16とを含む。
【0021】
テレビジョン受像機2の前面には、サウンドバー12、13及び画面14が配置されている。サウンドバー12は、画面14の上側に配置されている。サウンドバー13は、画面14の下側に配置されている。
【0022】
音声処理装置11は、画面14に表示される映像15に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する。そして、音声処理装置11は、サウンドバー12・13とを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、画面14に表示される映像15に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成部111を含む。
【0023】
この音声データ生成部111は、画面14の領域と映像15が表示される領域及び態様との間の関係に応じて、映像に対応する複数の入力チャンネルの音声データをダウンミックスする。
【0024】
(音声処理装置11の処理)
音声処理装置11は、22.2chの音声データを取得し、ダウンミックスすることによって、14.2chの音声データを生成する。
【0025】
以下の説明では、音声データの各チャンネルと当該チャンネルが想定するスピーカ位置とを同じ記号を用いて説明する。このスピーカ位置はスピーカ16の位置に相当する。
【0026】
図4は、本実施形態に係る音声処理装置11が取得する22.2chの音声データが想定するスピーカ位置を示す図である。
図4に示すように、22.2chの音声データは、前に配置された11個のSP(TpFL、TpFC、TpFR、FL、FLC、FC、FRC、FR、BtFL、BtFC、BtFR)、中間に配置された5個のSP(TpSiL、TpC、TpSiR、SiL、SiR)、後ろに配置された6個のSP(TpBL、TpBC、TpBR、BL、BC、BR)から出力されることが想定されている。また、22.2chの音声データの各チャンネルは、上層である9ch(TpFL、TpFC、TpFR、TpSiL、TpC、TpSiR、TpBL、TpBC、TpBR)、中層である10ch(FL、FLC、FC、FRC、FR、SiL、SiR、BL、BC、BR)、下層である5ch(BtFL、BtFC、BtFR、LFE1、LFE2)に分類される。
【0027】
なお、ウーハ0.2chの音声データには、下層の2ch(LFE1、LFE2)が対応する。
【0028】
図5は、本実施形態に係る音声処理装置11が生成する14.2chの音声データのスピーカ位置を示す図である。
図5に示すように、14.2chの音声データは、前に配置された6個のSP(FL_Tp、FC_Tp、FR_Tp、FL_Bt、FC_Bt、FR_Bt)、中間に配置された4個の仮想SP(SL_Tp、SR_Tp、SL_Bt、SR_Bt)、後ろに配置された4個の仮想SP(SBL_Tp、SBR_Tp、SBL_Bt、SBR_Bt)を出力位置として出力される。
図5において、仮想SPは破線の輪郭により示される。
【0029】
音声出力装置1は、7.1chを有する2個のサウンドバー12・13を上下に配置し、対となる2個のウーハを下層に配置することにより、14.2chの音声データを出力可能である。ここで、2個のサウンドバー12・13のうちより上層に配置されたサウンドバー12をSoundBar_Tpと表し、より下層に配置されたサウンドバー13をSoundBar_Btと表す。
【0030】
サウンドバー12(SoundBar_Tp)は、
図5に示すように、SBL_Tp、SL_Tp、FL_Tp、FC_Tp、FR_Tp、SR_Tp、SBR_Tpの7個のチャンネルのそれぞれに対応した音声を再生するスピーカ群を有している。
図5は、各々のチャンネルに対応したスピーカを個別に有する例を示す。ここで、
図5において破線で示した各チャンネル(SL_Tp、SR_Tp、SBL_Tp、SBR_Tp(計4つ))は、仮想SP(SL_Tp、SR_Tp、SBL_Tp、SBR_Tp)を出力位置とするものであり、サウンドバー12(SoundBar_Tp)の対応する仮想スピーカを再生するためのスピーカ群を有する。
【0031】
同様に、サウンドバー13(SoundBar_Bt)は、
図5に示すように、SBL_Bt、SL_Bt、FL_Bt、FC_Bt、FR_Bt、SR_Bt、SBR_Btの7個のチャンネルのそれぞれに対応した音声を再生するスピーカ群を有している。
図5は、各々のチャンネルに対応したスピーカを個別に有する例を示す。ここで、
図5において破線で示した各チャンネル(SL_Bt、SR_Bt、SBL_Bt、SBR_Bt(計4つ))は、上述の仮想SP(SL_Bt、SR_Bt、SBL_Bt、SBR_Bt)に対応するものであり、サウンドバー13(SoundBar_Bt)の対応する仮想スピーカを再生するためのスピーカ群を有する。
【0032】
音声出力装置1は、上記のように構成されるスピーカ16を駆動するAVアンプ9を備える。
【0033】
(通常表示時のダウンミックス処理手順)
まず、映像15が画面14の全体に通常表示されるときのダウンミックスの処理手順を説明する。
【0034】
音声処理装置11において、音声データ生成部111は、複数の入力チャンネルの上層の音声データを、複数の出力チャンネルの上層の音声データにダウンミックスし、複数の入力チャンネルの中層の音声データを、複数の出力チャンネルの中層の音声データにダウンミックスし、複数の入力チャンネルの下層の音声データを、複数の出力チャンネルの中層の音声データに併合する。
【0035】
22.2chの音声データを14.2chの音声データにダウンミックスする場合に、音声データ生成部111は、22.2chの上層9chの音声データを14.2chの上層7chの音声データ(SBL_Tp、SL_Tp、FL_Tp、FC_Tp、FR_Tp、SR_Tp、SBR_Tp)にダウンミックスする。音声データ生成部111は、22.2chの中層10chの音声データを14.2chの中層7chの音声データ(SBL_Bt、SL_Bt、FL_Bt、FC_Bt、FR_Bt、SR_Bt、SBR_Bt)にダウンミックスする。音声データ生成部111は、22.2chの下層3chの音声データを14.2chの中層7chの音声データに併合する。
【0036】
図6は、本実施形態に係るダウンミックスの計算式を示す図である。
【0037】
音声データ生成部111は、中層の分配係数を調整することにより、音声の厚み感を表現する。a、k、v1、v2、w1、w2は、一般的な係数である。
【0038】
係数aは、ダウンミックス処理時にデータがオーバーフローしないようにするために設定される係数であり、0から1の間の値が任意に設定される。係数kは、サラウンドチャンネルゲイン係数であり、放送により送られてくる係数である。v1、v2は垂直方向係数(上下分配)であり、0から1の値がそれぞれ任意に設定される。また、上記垂直方向係数の関係は、v1+v2=1となる。w1、w2は、水平方向係数であり、0から1の値がそれぞれ任意に設定される。また、上記水平方向係数の関係は、w1+w2=1となる。これらの係数は、上下SPの位置(サウンドバー設置位置、テレビ画面サイズ)に合わせて、拡がり感を最適化するために任意に設定可能とする。
【0039】
式1~7は、14.2chの中層の音声データの計算式である。式1に示すように、音声データ生成部111は、FL、FLC、及び、BtFLを用いて、FL_Btを生成する。式2に示すように、音声データ生成部111は、FR、FRC、及び、BtFRを用いて、FR_Btを生成する。式3に示すように、音声データ生成部111は、FC、FRC、FLC、及び、BtFCを用いて、FC_Btを生成する。式4に示すように、音声データ生成部111は、SiLを用いて、SL_Btを生成する。式5に示すように、音声データ生成部111は、SiRを用いて、SR_Btを生成する。式6に示すように、音声データ生成部111は、BL、及び、BCを用いて、SBL_Btを生成する。式7に示すように、音声データ生成部111は、BR、及び、BCを用いて、SBR_Btを生成する。
【0040】
式8に示すように、音声データ生成部111は、22.2chのLFE1を用いて、14.2chのLFE1を生成する。
【0041】
式9~15は、14.2chの上層の音声データの計算式である。式9に示すように、音声データ生成部111は、FL、FLC、及び、TpFLを用いて、FL_Tpを生成する。式10に示すように、音声データ生成部111は、FR、FRC、及び、TpFRを用いて、FR_Tpを生成する。式11に示すように、音声データ生成部111は、FC、FRC、FLC、TpFC、及び、TpCを用いて、FC_Tpを生成する。式12に示すように、音声データ生成部111は、TpSiLを用いて、SL_TPを生成する。式13に示すように、音声データ生成部111は、TpSiRを用いて、SR_Tpを生成する。式14に示すように、音声データ生成部111は、TpBL、TpBC、及び、TpCを用いて、SBL_Tpを生成する。式15に示すように、音声データ生成部111は、TpBR、TpBC、及び、TpCを用いて、SBR_Tpを生成する。
【0042】
式16に示すように、音声データ生成部111は、22.2chのLFE2を用いて、14.2chのLFE2を生成する。
【0043】
(左右反転表示時のダウンミックス処理手順)
図7はテレビジョン受像機2に設けられた映像処理装置7が左右反転表示をするときに比較例に係る音声処理装置が実行するダウンミックスを説明するための斜視図である。
図8は映像処理装置7が左右反転表示をするときに音声処理装置11が実行するダウンミックスを説明するための斜視図である。
図9は音声処理装置11が取得する22.2chの音声データを接続スピーカ16の数に応じてダウンミックスする態様を示す図である。
【0044】
映像処理装置7が映像15を左右反転した映像15Rを画面14に表示するとき、比較例に係る音声データ生成部は、サウンドバー13に対応する14.2chのスピーカFL_Btの出力を、22.2chのスピーカFL・FLC・BtFLの出力を
図6の式1に従って合成することによりダウンミックスする。そして、音声データ生成部は、サウンドバー12に対応する14.2chのスピーカFL_Tpの出力を、22.2chのスピーカFL・FLC・TpFLの出力を
図6の式9に従って合成することによりダウンミックスする。このため、視聴者17は、左右反転表示された映像15Rの右方から聴こえてくるべき音声が、逆に映像15Rの左方に配置されたスピーカFL_Bt・FL_Tpから聴こえてくるので、違和感を感じるおそれがある。
【0045】
そこで、実施形態1に係る音声データ生成部111は、映像処理装置7が映像15を左右反転した映像15Rを画面14に表示するときに、例えば、下記の式17に示すように、サウンドバー13に対応する14.2chのスピーカFL_Btの出力を、22.2chのスピーカFR・FRC・BtFRの出力を合成することによりダウンミックスする。
【0046】
FL_Bt=a{v1(FR+w1FRC)+k(BtFR)} …(式17)
そして、音声データ生成部111は、下記の式18に示すように、サウンドバー12に対応する14.2chのスピーカFL_Tpの出力を、22.2chのスピーカFR・FRC・TpFRの出力を合成することによりダウンミックスする。
【0047】
FL_Tp=a{v2(FR+w1FRC)+k(TpFR)} …(式18)
このため、視聴者17は、左右反転表示された映像15Rの左方から聴こえてくるべき音声が、映像15Rの左方に配置されたスピーカFL_Bt・FL_Tpから聴こえてくるので、違和感が消滅する。
【0048】
音声データ生成部111は、放送波に含まれる22.2chの音声データを、音声処理装置11に接続されているスピーカ16の数に応じてダウンミックスする。
図9は、22.2chの音声データを6chの音声データにダウンミックスする例を示している。
【0049】
(実施形態1の効果)
以上のように実施形態1によれば、音声データ生成部111は、画面14の領域と映像15Rが表示される領域及び態様との間の関係に応じて、複数の入力チャンネルの左方の音声データを、複数の出力チャンネルの右方の音声データにダウンミックスし、複数の入力チャンネルの右方の音声データを、複数の出力チャンネルの左方の音声データにダウンミックスするように、映像15Rに対応する複数の入力チャンネルの音声データをダウンミックスする。
【0050】
このため、左右反転表示された映像15Rと、その映像15Rに対応する音声の出力位置とを調和させることができる。
【0051】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0052】
図10は実施形態2に係るテレビジョン受像機2Aのブロック図である。
図11はテレビジョン受像機2Aに設けられた音声出力装置1Aのブロック図である。
図12はテレビジョン受像機2Aの画面14上に縮小表示された映像15Sを示す図である。
図13は画面14上に映像15Sが縮小表示されたときに音声処理装置11Aが実行するダウンミックスを説明するための斜視図である。
図14は画面14上に映像15Sが縮小表示されたときに音声処理装置11が実行するダウンミックスとスピーカとの関係を示す図である。
【0053】
テレビジョン受像機2Aは音声出力装置1Aを備え、音声出力装置1Aは音声処理装置11Aを有する。音声処理装置11Aは音声データ生成部111Aを含む。
【0054】
映像処理装置7は、複数のタイトル表示T1・T2・T3と、選択されたタイトル表示T1・T2・T3のうちの一つに対応するコンテンツの内容を示す縮小表示された映像15Sとを画面14に表示する。例えば、複数のタイトル表示T1・T2・T3は画面14の右側に表示され、映像15Sは画面14の左側に表示される。従って、画面14の中心と画面14に縮小表示された映像15Sの中心との間にずれが存在する。
【0055】
音声データ生成部111Aは、画面14の中心と画面14に表示された映像15Sの中心との間にずれが存在するときに、画面14の中心と映像15Sの中心との間のずれに応じて、映像15Sに対応する複数の入力チャンネルの音声データをダウンミックスする。
【0056】
そして、音声データ生成部111Aは、画面14に表示された映像15Sを視聴する視聴者17の位置に対応する視点と画面14の中心とを結ぶ直線L1と、上記視点と映像15Sの中心とを結ぶ直線L2とがなす角度θに基づいて、映像15Sに対応する複数の入力チャンネルの音声データをダウンミックスする。
【0057】
画面14の中心と映像15Sの中心との間のずれが横方向に沿ったずれである場合、音声データ生成部111Aは、サウンドバー12・13の横方向に配列された複数のスピーカ16の出力を横方向にずらすように、複数の入力チャンネルの音声データをダウンミックスする。
【0058】
音声データ生成部111Aは、画面14の中心と映像15Sの中心との間のずれが、
図12及び
図14に示すように、横方向に沿った角度θに対応するずれである場合に、画面14に対応する22.2chのスピーカFRCの出力、スピーカFCの出力、及びスピーカFLCの出力を以下のように補正する。即ち、音声データ生成部111Aは、22.2chのスピーカFRCの出力をスピーカFRCの出力とスピーカFRの出力と角度θとに基づいて補正し、スピーカFCの出力をスピーカFCの出力とスピーカFRCの出力と角度θとに基づいて補正し、及び、スピーカFLCの出力をスピーカFLCの出力とスピーカFCの出力と角度θとに基づいて補正する。その後、音声データ生成部111Aは、
図4~
図6を参照して前述した手順に従って、22.2chの音声データを14.2chの音声データにダウンミックスする。
【0059】
図15は通常表示の場合の画面14とスピーカとの間の関係を示す図である。
図16は2画面表示の場合の画面14とスピーカとの間の関係を示す図である。
【0060】
音声出力する映像の領域と、この映像が表示される画面14の領域との間の位置関係は、映像の領域の重心と画面14の領域の重心との間の角度差と、映像の領域の左右方向(又は上下方向)の中点と、画面14の左右方向(又は上下方向)の中点との間の角度差と、映像の主要部分の位置と映像の左右方向(又は上下方向)の中心との間の角度差とを含む。
【0061】
画面14の全体に映像15が表示される通常表示の場合、画面14に表示された映像15を視聴する視聴者17の位置に対応する視点と画面14の中心とを結ぶ直線L1と、上記視点と映像15の中心とを結ぶ直線L2とがなす角度θは
図15に示すように零度である。
【0062】
画面14の左右に2画面が表示される2画面表示の場合、例えば
図16に示すように画面14の左方に映像15Sが縮小表示される。このため、画面14に表示された映像15Sを視聴する視聴者17の位置に対応する視点と画面14の中心とを結ぶ直線L1と、上記視点と映像15Sの中心とを結ぶ直線L2とがなす角度θは
図16に示すように零度とならず、映像15Sの中心が角度θだけ左方にずれる。
【0063】
2画面表示になった場合、左方の映像15Sに注目すると、視聴者17から見た場合、左方の映像15Sの中央位置は、
図16に示すように画面14の全体の中央位置よりも角度θだけ左に回転している。
【0064】
例えば、スピーカFC・FLC付近に注目すると、映像15Sが角度θだけ左に回転しているので、スピーカFC・FLCが映像15Sに対応して本来あるべき位置は、スピーカFC・FLCが角度θだけ左に回転したスピーカFC’・FLC’の位置である。
【0065】
そこで、音声データ生成部111Aはこの回転量を表す角度θに応じて各スピーカのダウンミックスを行う。
【0066】
調整後のスピーカFCの補正式は、
補正FC=FC(θ/θFC)+FRC((θFRC-θ)/θFRC)、
である。
【0067】
同様に他のスピーカのダウンミックス値も求める。この補正、ダウンミックスを行うことで、映像15Sの中心と音のセンタとを合わせる。例えば、スピーカFRC・FLC・FRの補正式は、
補正FRC=FRC(θ/θFRC)+FR((θFR-θ)/θFR)、
補正FLC=FLC(θ/θFLC)+FC((θFC-θ)/θFC)、
補正FR=FR(θ/θFR)+SIR((θSIR-θ)/θSIR)、
である。
【0068】
図17は2画面表示の場合の角度θの求め方を説明するための図である。
図18は映像の主要部分の位置と映像の左右(上下)方向の中心との角度差を説明するための図である。
【0069】
画面14に付帯情報付動画を表す映像15Tの中に縮小表示された動画部分を表す映像15Sを視聴する視聴者17の位置に対応する視点と画面14の中心とを結ぶ直線L1と、上記視点と映像15の中心とを結ぶ直線L2とがなす角度θは、映像15Tの幅をWとし、映像15Tの高さをHとし、画面14と視聴者17との間の距離をLとすると、
tan(θ)=(W/4)/L、
なる関係が成立する。これにより角度θを求めることができる。距離Lは、HDの場合、H×3である。距離Lはメニューで設定して角度θを算出してもよい。
【0070】
(実施形態2の効果)
以上のように実施形態2によれば、音声データ生成部111Aは、画面14の中心と画面14に表示された映像15Sの中心との間にずれが存在するときに、画面14の中心と映像15Sの中心との間のずれに応じて、映像15Sに対応する複数の入力チャンネルの音声データをダウンミックスする。このため、画面14の中心と画面14に表示された映像15Sの中心との間にずれが存在して映像15Sが表示される態様と、その映像15Sに対応する音声の出力位置とを調和させることができる。
【0071】
〔ソフトウェアによる実現例〕
音声処理装置11・11Aの制御ブロック(音声データ生成部111・111A)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
【0072】
後者の場合、音声処理装置11・11Aは、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0073】
〔まとめ〕
本発明の態様1に係る音声処理装置11・11Aは、画面14に表示される映像15・15R・15Sに対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理装置11において、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバー(サウンドバー12)と、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバー(サウンドバー13)とを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面14に表示される映像15・15R・15Sに対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成部111・111Aを備え、前記音声データ生成部111・111Aは、前記画面14の領域と前記映像15・15R・15Sが表示される領域及び態様との間の関係に応じて、前記映像15・15R・15Sに対応する複数の入力チャンネルの音声データをダウンミックスする。
【0074】
上記の構成によれば、映像に対応する複数の入力チャンネルの音声データが、画面の領域と映像が表示される領域及び態様との間の関係に応じてダウンミックスされる。このため、音声が、画面上に映像が表示される領域及び態様に応じて出力される。この結果、画面上に映像が表示される領域及び態様と、その映像に対応する音声の出力位置とを調和させることができる。
【0075】
本発明の態様2に係る音声処理装置11は、上記態様1において、前記音声データ生成部111は、前記映像15Rが前記画面14に左右反転表示されるときに、上記複数の入力チャンネルの左方の音声データを、上記複数の出力チャンネルの右方の音声データにダウンミックスし、上記複数の入力チャンネルの右方の音声データを、上記複数の出力チャンネルの左方の音声データにダウンミックスすることが好ましい。
【0076】
上記の構成によれば、画面上に映像が左右反転表示される態様と、その映像に対応する音声の出力位置とを調和させることができる。
【0077】
本発明の態様3に係る音声処理装置11Aは、上記態様1において、前記音声データ生成部111Aは、前記画面の中心と前記画面に表示された映像の中心との間にずれが存在するときに、前記画面14の中心と前記映像15Sの中心との間のずれに応じて、前記映像15Sに対応する複数の入力チャンネルの音声データをダウンミックスすることが好ましい。
【0078】
上記の構成によれば、画面の中心と画面に表示された映像の中心との間にずれが存在して映像が表示される態様と、その映像に対応する音声の出力位置とを調和させることができる。
【0079】
本発明の態様4に係る音声処理装置11Aは、上記態様3において、前記音声データ生成部111Aは、前記画面14に表示された映像15Sを視聴する視聴者17の位置に対応する視点と前記画面14の中心とを結ぶ直線L1と、前記視点と前記映像15Sの中心とを結ぶ直線L2とがなす角度θに基づいて、前記映像15Sに対応する複数の入力チャンネルの音声データをダウンミックスすることが好ましい。
【0080】
上記の構成によれば、視聴者の位置に対応する視点と画面の中心とを結ぶ直線と、視点と映像の中心とを結ぶ直線とがなす角度θで映像が表示される態様と、その映像に対応する音声の出力位置とを調和させることができる。
【0081】
本発明の態様5に係る音声処理装置11Aは、上記態様3において、前記画面14に表示された映像15Sが、前記画面14上に縮小表示された映像15Sを含むことが好ましい。
【0082】
上記の構成によれば、画面の領域と映像が縮小表示された領域との間の関係に応じて、映像に対応する複数の入力チャンネルの音声データをダウンミックスすることができる。
【0083】
本発明の態様6に係る音声処理装置11Aは、上記態様3において、前記画面14の中心と前記映像15Sの中心との間のずれが横方向に沿ったずれであり、前記音声データ生成部111Aは、前記第1のサウンドバー(サウンドバー12)の横方向に配列された複数のスピーカ群の出力を横方向にずらすように、前記複数の入力チャンネルの音声データをダウンミックスすることが好ましい。
【0084】
上記の構成によれば、映像の画面に対する横方向のずれに応じて、映像に対応する複数の入力チャンネルの音声データをダウンミックスすることができる。
【0085】
本発明の態様7に係る音声処理装置11・11Aは、上記態様1において、上記音声データ生成部111・111Aは、上記複数の入力チャンネルの上層の音声データを、上記複数の出力チャンネルの上層の音声データにダウンミックスし、上記複数の入力チャンネルの中層の音声データを、上記複数の出力チャンネルの中層の音声データにダウンミックスし、上記複数の入力チャンネルの下層の音声データを、上記複数の出力チャンネルの中層の音声データに併合することが好ましい。
【0086】
上記の構成によれば、複数の入力チャンネルの上層の音声データを、複数の出力チャンネルの上層の音声データにダウンミックスし、複数の入力チャンネルの中層及び下層の音声データを、複数の出力チャンネルの中層の音声データにダウンミックス及び併合するので、複数の入力チャンネルの3層(上中下)の音声データを、2個のサウンドバー(上中)で容易に再現することができる。
【0087】
本発明の態様8に係る音声処理装置11・11Aは、上記態様7において、上記音声データ生成部111・111Aは、22.2chの音声データを14.2chの音声データにダウンミックスする場合に、上記複数の入力チャンネルの上層9chの音声データを、上記複数の出力チャンネルの上層7chの音声データにダウンミックスし、上記複数の入力チャンネルの中層10chの音声データを、上記複数の出力チャンネルの中層7chの音声データにダウンミックスし、上記複数の入力チャンネルの下層3chの音声データを、上記複数の出力チャンネルの中層7chの音声データに併合することが好ましい。
【0088】
上記の構成によれば、22.2chの音声データを14.2chの音声データにダウンミックスする場合に、3層(上中下)の音声データを、2個のサウンドバー(上中)で容易に再現することができる。
【0089】
本発明の態様9に係る音声出力装置1・1Aは、本発明の態様1から8の何れか1項に記載の音声処理装置11・11Aと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバー(サウンドバー12)と、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバー(サウンドバー13)と、を備えている。
【0090】
上記の構成によれば、2個のサウンドバーを用いることにより、多チャンネルの音声をダウンミックスして出力することができる。
【0091】
本発明の態様10に係るテレビジョン受像機2・2Aは、本発明の態様9に記載の音声出力装置1・1Aを備えている。
【0092】
本発明の態様11に係る音声処理方法は、画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって、複数の出力チャンネルの音声データを生成する音声処理方法であって、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第1のサウンドバーと、出力チャンネル毎の音声データを出力する複数のスピーカ群が横方向に配列されてなる第2のサウンドバーとを含む複数の出力チャンネル用スピーカのそれぞれに対する音声データを、前記画面に表示される映像に対応する複数の入力チャンネルの音声データをダウンミックスすることによって生成する音声データ生成ステップを包含し、前記音声データ生成ステップは、前記画面の領域と前記映像が表示される領域及び態様との間の関係に応じて、前記映像に対応する複数の入力チャンネルの音声データをダウンミックスする。
【0093】
本発明の各態様に係る音声処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記音声処理装置が備える各部(ソフトウェア要素)として動作させることにより上記音声処理装置をコンピュータにて実現させる音声処理装置のプログラム、及び、それを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0094】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0095】
1 音声出力装置
2 テレビジョン受像機
11 音声処理装置
12 サウンドバー(第1のサウンドバー)
13 サウンドバー(第2のサウンドバー)
111 音声データ生成部