【文献】
ETSI TS 126 401 V6.2.0 (2005-03) Universal Mobile Telecommunications System (UMTS);General audio codec audio processing functions;Enhanced aacPlus general audio codec;General description(3GPP TS 26.401 version 6.2.0 Release 6),2005年 3月
(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
従来、低域オーディオ信号と帯域拡張情報とが入力され、入力された帯域拡張情報に含まれるサイド情報を参照しながら予測して高域を再構成するスペクトルバンド複製(Spectral Band Replication、以下ではSBRと呼ぶ)技術を用いて、高域拡張オーディオ信号を生成するオーディオ再生装置が知られている。このサイド情報の情報量はごく少なくて良いため、低いビットレートでの符号化オーディオ信号の音質を向上することができる。
【0003】
SBRの処理方法には、高音質版SBR(High−Quality SBR、以下ではHQ−SBRと呼ぶ)と低演算量版SBR(Low−Power SBR、以下ではLP−SBRと呼ぶ)との2種類が規定されている。
【0004】
HQ−SBRは、サブバンド分析、高域生成、サブバンド合成に渡る全体の処理を複素数演算で行う。このため、高音質化処理に適しているが、演算量が多いという特徴がある。
【0005】
LP−SBRは、HQ−SBRの複素数演算に代えて実数演算を用いており、また、その実数演算を用いることにより生じる折り返し歪みの発生を抑制するように改善されたものである。このため、演算量を大幅に削減し、かつ、低ビットレートではHQ−SBRと同等の音質を実現することができるという特徴がある。LP−SBRは、HQ−SBRの約半分の処理量で処理できることが知られている(非特許文献1参照)。
【0006】
SBRは、AAC(Advanced Audio Coding)と組み合わせて使用されることが知られており、その構成はHE−AAC(High−Efficiency AAC)プロファイルと呼ばれる。AACと組み合わせた場合、AAC+LP−SBRは、AAC+HQ−SBRの約70%の処理量で処理できることが知られている(非特許文献1参照)。
【0007】
また、モノラルオーディオ信号とステレオ化情報とが入力され、モノラルオーディオ信号をステレオ化情報に基づいてステレオ化処理することで、ステレオオーディオ信号を生成する再生装置が知られている。このステレオ化処理はパラメトリック・ステレオ(Parametric Stereo、以下ではPSと呼ぶ)処理として知られ、上記SBR処理と組み合わせて使用される。PS処理は、複素QMF(Quadrature Mirror Filter)をSBR処理と共通に用いて、ステレオ化を実現する(非特許文献2参照)。
【0008】
PSは、AACとSBRとの組み合わせで使用されることが知られており、その構成はHE−AACv2プロファイルと呼ばれ、PS処理を行うには複素QMFを用いるHQ−SBRと組み合わせて使用することが必須となる(非特許文献2及び非特許文献3参照)。なお、PSデータがない場合は、HQ−SBR又はLP−SBRのどちらと組み合わせて処理してもよい。
【0009】
なお、HE−AACプロファイル及びHE−AACv2プロファイルにはレベルという概念が存在しており、レベルが高くなるほど、復号可能な信号の種類が多くなっていく特徴がある。種類とは、入力符号化オーディオ信号の最大サンプリング周波数、若しくは、最大チャンネル数、又は、出力復号オーディオ信号の最大サンプリング周波数などである(非特許文献3参照)。
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、上記従来の符号化オーディオ信号復号手段において、HE−AACv2プロファイルに対応し、かつ、高レベルに対応するには演算量の多いHQ−SBRを用いることになり、例えば、入力符号化オーディオ信号がマルチチャンネルの場合、著しく演算量(処理量)が増加してしまうという課題を有している。さらに、この課題を、上記従来技術を用いて解決しようとすると、復号により得られたオーディオ信号に異音が発生するという課題を有している。具体的には、以下の通りである。
【0012】
非特許文献3によれば、上述したように、HE−AACv2プロファイルに対応する場合で、PSデータがある場合は、HQ−SBRと組み合わせて処理することが必須とされているが、PSデータがない場合は、HQ−SBR又はLP−SBRのどちらと組み合わせて処理してもよいことになっている。
【0013】
例えば、上記のような演算量の増加の課題を回避する方法として、非特許文献3の記載内容を考慮し、復号ストリームの状態によってSBR処理を切り替える方法が考えられる。具体的には、HQ−SBRを用いることが必須となる場合、すなわち、PSデータがある場合は、HQ−SBRを用いる。そして、それ以外の場合、すなわち、PSデータがない場合は、演算量の増加を抑えるためにLP−SBRを用いる。
【0014】
この場合、正常なPSデータが付加されているストリームの途中でPSデータが欠損していた場合、HQ−SBRからLP−SBRへの処理の切替が生じる。あるいは、PSデータは付加されているが、SBRヘッダが未取得のためSBR処理とステレオ化処理とが実行できない状態からSBRヘッダが取得された場合、LP−SBRからHQ−SBRへの処理の切替が生じる。
【0015】
前述の通り、HQ−SBRでのQMFフィルタ処理は複素数演算を行い、LP−SBRでのQMFフィルタ処理は実数演算を行っている。このため、両者の遅延情報の形式は異なるので、両者のQMFフィルタ遅延情報を共用することは困難である。これにより、SBRの切替が生じた時点でQMFフィルタ遅延情報の不連続を引き起こし、異音が発生する。
【0016】
図7(a)は、時刻t0、t2でSBR処理が切り替わった場合の1チャンネル分の出力オーディオ信号を表している。t0からt1、t2からt3はSBR処理の切り替わりによって遅延情報が使用できなくなるため異音が発生することを表している(なお、正常なオーディオ信号は
図7(b)に示す)。このように、SBRの切替を行うことで演算量の増加を防ごうとすると、SBRの切替時に異音が発生する。
【0017】
そこで、本発明は、上記課題を解決するものであり、入力符号化オーディオ信号がマルチチャンネルの場合にも著しく演算量を増加させること無く、かつ、異音の発生を回避することができるオーディオ再生装置及びオーディオ再生方法を提供することを目的とする。
【課題を解決するための手段】
【0018】
上記課題を解決するために、本発明のオーディオ再生装置は、符号化されたオーディオ信号である基本コーデックを含むストリームを再生するオーディオ再生装置であって、前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報とに分離するストリーム分離部と、前記ストリーム分離部によって分離された基本コーデックを解析することで、基本コーデックの性質を示す解析情報を生成する基本コーデック情報解析部と、前記基本コーデック情報解析部によって生成された解析情報に従って前記基本コーデックを復号することで、基本コーデック復号信号を生成する基本コーデック復号部と、前記基本コーデック復号部によって生成された基本コーデック復号信号の周波数帯域を、前記帯域拡張情報を用いて拡張する処理を、前記解析情報に基づいて、実数演算のQMF処理及び複素数演算のQMF処理のいずれか一方を用いて実行する帯域拡張処理部とを備える。
【0019】
また、本発明のオーディオ再生装置は、符号化されたオーディオ信号である基本コーデックを含むストリームを再生するオーディオ再生装置であって、前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報とに分離するストリーム分離部と、前記ストリーム分離部によって分離された基本コーデックを解析することで、基本コーデックの性質を示す解析情報を生成する基本コーデック情報解析部と、前記基本コーデック情報解析部によって生成された解析情報に従って前記基本コーデックを復号することで、基本コーデック復号信号を生成する基本コーデック復号部と、前記基本コーデック復号部によって生成された基本コーデック復号信号の周波数帯域を、前記帯域拡張情報を用いて拡張する第1処理を実行する第1帯域拡張処理部と、前記基本コーデック復号部によって生成された基本コーデック復号信号の周波数帯域を、前記帯域拡張情報を用いて前記第1処理より高い精度で拡張する第2処理を実行する第2帯域拡張処理部と、前記解析情報に基づいて、前記第1帯域拡張処理部と前記第2帯域拡張処理部とを切り替える切替部とを備え、前記第1処理は、実数演算のQMF処理を用いる処理であり、前記第2処理は、複素数演算のQMFを用いる処理であってもよい。
【0020】
これにより、処理量の異なる2つの処理の切り替えを、基本コーデックの性質を示す解析情報に基づいて実行することで、より適した処理を選択することができる。よって、例えば、入力符号化オーディオ信号がマルチチャンネルの場合にも著しく演算量(処理量)を増加させることがない。また、解析情報に基づいて処理を切り替えるので、基本コーデックの性質が一定である間は、処理が切り替わることはないので、処理の切り替わり時に生じる恐れのある異音の発生を防ぐことができる。
【0021】
また、前記ストリーム分離部は、前記ストリームをフレーム単位で、前記基本コーデックと、当該基本コーデックの帯域を拡張するために用いられる帯域拡張情報と、当該基本コーデックをステレオ化するために用いられるステレオ拡張情報とに分離し、前記オーディオ再生装置は、さらに、前記第2帯域拡張処理部によって周波数帯域が拡張された基本コーデック復号信号を、前記ステレオ拡張情報を用いてステレオ化するステレオ拡張処理部を備えてもよい。
【0022】
これにより、基本コーデックがモノラルオーディオ信号である場合に、正しくステレオ化することができる。
【0023】
また、前記基本コーデック情報解析部は、前記ストリーム分離部によって分離された基本コーデックを解析することで、当該基本コーデックのチャンネル数を示すチャンネル情報と、当該基本コーデックのサンプリング周波数を示すサンプリング周波数情報との少なくとも1つを含む解析情報を生成し、前記切替部は、前記チャンネル情報が示すチャンネル数が予め定められた第1閾値より大きいか否かと、前記サンプリング周波数情報が示すサンプリング周波数が予め定められた第2閾値より大きいか否かとの少なくとも一方を判定し、少なくとも一方が大きいと判定した場合、第1帯域拡張処理部を選択してもよい。
【0024】
これにより、基本コーデックのチャンネル数が多い場合、すなわち、基本コーデックがマルチチャンネルである場合は、精度が低い代わりに処理量の少ない第1処理を選択するので、1チャンネルの信号と比較して、処理量を著しく増加してしまうことを防ぐことができる。あるいは、基本コーデックのサンプリング周波数が大きい場合も、精度が低い代わりに処理量の少ない第1処理を選択するので、同様に、サンプリング周波数が小さい基本コーデックを処理する場合と比較して、処理量を著しく増加してしまうことを防ぐことができる。
【0025】
また、前記オーディオ再生装置は、さらに、第1フレームのステレオ拡張情報を保持するバッファを備え、前記ステレオ拡張処理部は、前記第1フレームより後のフレームであり、かつ、前記ステレオ拡張情報が欠損している第2フレームの基本コーデック復号信号を、前記バッファに保持されたステレオ拡張情報を用いてステレオ化してもよい。
【0026】
これにより、ステレオ化に用いたステレオ拡張情報をバッファに保持し、ステレオ拡張情報が得られない場合に、バッファに保持されたステレオ拡張情報を利用するので、ストリーム中にステレオ拡張データが欠損したフレームを含む場合であっても、当該フレームを正しくステレオ化することができる。
【0027】
また、前記第2帯域拡張処理部は、前記基本コーデック復号信号から前記帯域拡張情報を用いて高周波成分信号を生成し、前記ステレオ拡張処理部は、前記ステレオ拡張情報を用いて、前記基本コーデック復号信号と、前記第2帯域拡張処理部によって生成された高周波成分信号とをそれぞれステレオ化することで、第1チャンネルの基本コーデック復号信号と高周波成分信号と、第2チャンネルの基本コーデック復号信号と高周波成分信号とを生成し、前記第2帯域拡張処理部は、さらに、生成した高周波成分信号と前記基本コーデック復号信号とを合成する帯域合成フィルタを備え、前記ステレオ拡張情報が欠損している場合、前記第1チャンネルの帯域合成フィルタに保持される遅延情報を、前記第2チャンネルの帯域合成フィルタに保持される遅延情報として用いて第2チャンネルの帯域合成を行ってもよい。
【0028】
これにより、1チャンネル分の遅延情報しか得られていない場合でも、得られている遅延情報を他のチャンネルの遅延情報として利用するので、2つのチャンネルの信号を正しく帯域合成することができる。
【0029】
また、前記基本コーデックは、AAC方式に基づいて符号化されたオーディオ信号であり、前記帯域拡張情報は、SBR方式に基づいて生成されたSBR情報であり、前記ステレオ拡張情報は、PS方式に基づいて生成されたPS情報であり、前記第1帯域拡張処理部は、LP−SBR方式に基づいて、前記基本コーデック復号信号の周波数帯域を拡張し、前記第2帯域拡張処理部は、HQ−SBR方式に基づいて、前記基本コーデック復号信号の周波数帯域を拡張してもよい。
【0030】
なお、本発明は、オーディオ再生装置として実現できるだけではなく、当該オーディオ再生装置を構成する処理部をステップとするオーディオ再生方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なCD−ROM(Compact Disc−Read Only Memory)などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
【0031】
また、上記の各オーディオ再生装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されていてもよい。なお、システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM及びRAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。
【発明の効果】
【0032】
本発明によれば、入力符号化オーディオ信号がマルチチャンネルの場合にも著しく演算量を増加させること無く、かつ、異音の発生を回避することができる。
【発明を実施するための形態】
【0034】
以下、本発明のオーディオ再生装置などの実施の形態について図面を参照して説明する。
【0035】
(実施の形態1)
本実施の形態のオーディオ再生装置は、モノラルオーディオ信号をステレオ化するためのステレオ拡張情報の有効・無効に関わらず、基本コーデックの解析結果に基づいて互いに異なる特徴を有する2つの帯域拡張処理を切り替える。2つの帯域拡張処理は、処理量が多いが精度が高い処理、すなわち、音質が優れた出力オーディオ信号を出力する処理と、処理量は少ないが精度が低い処理とである。
【0036】
図1は、本実施の形態のオーディオ再生装置100の構成を示すブロック図である。同図のオーディオ再生装置100は、ストリーム分離部101と、基本コーデック解析部102と、基本コーデック復号部103と、帯域拡張データ解析部104と、ステレオ拡張データ解析部105と、第1帯域拡張処理部106と、第2帯域拡張処理部107と、ステレオ拡張処理部108と、切替部109とを備える。
【0037】
ストリーム分離部101は、入力されたストリームを、基本コーデックと帯域拡張データとステレオ拡張データとに分離する。なお、ストリームにステレオ拡張データが含まれない場合は、ストリーム分離部101は、入力されたストリームを基本コーデックと帯域拡張データとに分離する。そして、ストリーム分離部101は、分離した基本コーデックを基本コーデック解析部102に伝送し、帯域拡張データを帯域拡張データ解析部104に伝送し、ステレオ拡張データをステレオ拡張データ解析部105に伝送する。
【0038】
ここで、オーディオ再生装置100に入力されるストリームは、例えば、HE−AACv2プロファイルの構成を有するストリームである。また、基本コーデックは、符号化されたオーディオ信号であり、例えば、AAC方式に基づいて符号化されたオーディオ信号である。帯域拡張データは、基本コーデックの帯域を拡張するために用いられるデータであり、例えば、SBRデータである。ステレオ拡張データは、モノラルオーディオ信号をステレオ化するために用いられるデータであり、例えば、PSデータである。
【0039】
基本コーデック解析部102は、ストリーム分離部101から伝送された基本コーデックを解析することで基本コーデック解析情報を生成する。なお、基本コーデック解析情報は、基本コーデックのチャンネル数(CH)を示すチャンネル情報と、基本コーデックのサンプリング周波数(FS)を示すサンプリング周波数情報となどを含む。基本コーデック解析部102は、生成した基本コーデック解析情報を基本コーデック復号部103に伝送する。また、基本コーデック解析情報のうち、チャンネル情報とサンプリング周波数情報とを切替部109にも伝送する。
【0040】
基本コーデック復号部103は、基本コーデック解析部102から伝送された基本コーデック解析情報を使用して基本コーデックを復号し、基本コーデック復号信号を生成する。そして、基本コーデック復号部103は、生成した基本コーデック復号信号を切替部109に伝送する。
【0041】
帯域拡張データ解析部104は、ストリーム分離部101から伝送された帯域拡張データを解析することで帯域拡張情報を生成し、生成した帯域拡張情報を切替部109に伝送する。帯域拡張情報は、例えば、SBR技術を用いて基本コーデック復号信号の高域を再構成するための予測に用いられるサイド情報などを含む。
【0042】
ステレオ拡張データ解析部105は、ストリーム分離部101から伝送されたステレオ拡張データを解析することでステレオ拡張情報を生成し、生成したステレオ拡張情報をステレオ拡張処理部108に伝送する。ステレオ拡張情報は、例えば、PS技術を用いて、モノラルオーディオ信号をステレオ化するためのステレオ拡張処理(ステレオ化処理とも記載)に用いられる情報である。
【0043】
第1帯域拡張処理部106は、切替部109から伝送された帯域拡張情報を使用し、基本コーデック復号信号の周波数帯域を拡張することで、出力オーディオ信号を出力する。具体的には、帯域拡張情報を用いて高周波成分を予測して生成し、生成した高周波成分信号と基本コーデック復号信号とを帯域合成することで、出力オーディオ信号を出力する。
【0044】
このとき、第1帯域拡張処理部106は、第2帯域拡張処理部107よりも処理量が少ないという利点がある。しかしながら、第1帯域拡張処理部106が出力する出力オーディオ信号の音質は、第2帯域拡張処理部107が出力する出力オーディオ信号の音質よりも劣っている。第1帯域拡張処理部106は、例えば、LP−SBR方式に基づいて帯域拡張処理を行う。
【0045】
第2帯域拡張処理部107は、切替部109から伝送された帯域拡張情報を使用し、基本コーデック復号信号の周波数帯域を拡張することで、出力オーディオ信号を出力する。具体的には、帯域拡張情報を用いて高周波成分を予測して生成し、生成した高周波成分信号と基本コーデック復号信号とを帯域合成することで、出力オーディオ信号を出力する。
【0046】
このとき、第2帯域拡張処理部107が出力する出力オーディオ信号の音質は、第1帯域拡張処理部106が出力する出力オーディオ信号の音質よりも優れているという利点がある。しかしながら、第2帯域拡張処理部107は、第1帯域拡張処理部106よりも処理量が多くなる。第2帯域拡張処理部107は、例えば、HQ−SBR方式に基づいて帯域拡張処理を行う。
【0047】
なお、通常、オーディオ信号を符号化する(すなわち、基本コーデックを生成する)際に、符号量を削減するために高周波成分が除去される。このため、基本コーデック復号信号は、主に低周波成分を含むオーディオ信号である。第1帯域拡張処理部106及び第2帯域拡張処理部107が行う帯域拡張処理は、帯域拡張情報を用いて除去された高周波成分を予測し生成する処理である。
【0048】
具体的には、第1帯域拡張処理部106及び第2帯域拡張処理部107はそれぞれ、帯域合成フィルタを備え、基本コーデック復号部103によって生成された基本コーデック復号信号と、当該基本コーデック復号信号を元にして帯域拡張情報を用いて復元した高周波成分信号とを帯域合成することで、原音に近い出力オーディオ信号を復元する。
【0049】
ステレオ拡張処理部108は、ステレオ拡張データ解析部105から伝送されたステレオ拡張情報を使用して、第2帯域拡張処理部107によって周波数帯域が拡張されたモノラルオーディオ信号にステレオ化処理を行う。具体的には、ステレオ拡張情報を用いて、モノラルオーディオ信号である基本コーデック復号信号と、第2帯域拡張処理部107によって生成された高周波成分信号とをそれぞれステレオ化することで、Lchの基本コーデック復号信号と高周波成分信号と、Rchの基本コーデック復号信号と高周波成分信号とを生成する。ステレオ拡張処理部108は、例えば、PS方式に基づいてステレオ化処理を行う。このとき、ステレオ拡張処理部108は、必ず第2帯域拡張処理部107と組み合わされて使用されなければならない。すなわち、ステレオ拡張処理部108は、複素QMFを第2帯域拡張処理部107と共有する。
【0050】
第2帯域拡張処理部107は、ステレオ拡張されたLchとRchとの信号をそれぞれ、帯域合成する。この第2帯域拡張処理部107の帯域合成処理における遅延情報は、入力されたストリームにステレオ拡張データが欠損している場合は、Lchの遅延情報をRchの遅延情報にコピーする。そして、ステレオ拡張データが得られた際に、以前のフレームでコピーしたLchの遅延情報をRchの遅延情報として用いて、Rchの帯域合成処理を行う。なお、Lchの遅延情報は、帯域合成処理において帯域合成フィルタ内にフレームをまたいで保持される情報である。
【0051】
切替部109は、基本コーデック解析部102から伝送されるチャンネル数CHとサンプリング周波数FSとによって、端子A、又は、端子Bのどちらに接続するかを判定する。ここでの判定手順の具体例については、
図3を用いて後述する。切替部109は、基本コーデック復号部103から伝送される基本コーデック復号信号と、帯域拡張データ解析部104から伝送される帯域拡張情報とを、判定結果に従って第1帯域拡張処理部106又は第2帯域拡張処理部107に伝送する。
【0052】
以上の構成に示すように、本実施の形態のオーディオ再生装置100は、基本コーデックの解析結果に基づいて、互いに異なる特徴を有する2つの帯域拡張処理のいずれかを選択する切替部109を備える。2つの帯域拡張処理は、処理量は少ないが音質が劣っている第1処理と、処理量は多いが音質は優れている第2処理とである。
【0053】
続いて、本実施の形態のオーディオ再生装置100の動作について説明する。
【0054】
図2は、本実施の形態のオーディオ再生装置100の動作を示すフローチャートである。なお、以下の動作は、フレーム単位で行われるものとする。
【0055】
まず、ストリーム分離部101が、入力されたストリームを、基本コーデックと帯域拡張データとステレオ拡張データとに分離する(S101)。基本コーデックは基本コーデック解析部102に、帯域拡張データは帯域拡張データ解析部104に、ステレオ拡張データはステレオ拡張データ解析部105にそれぞれ伝送される。
【0056】
次に、分離した各データを解析する(S102)。具体的には、基本コーデック解析部102は、基本コーデックを解析することで基本コーデック解析情報を生成する。帯域拡張データ解析部104は、帯域拡張データを解析することで帯域拡張情報を生成する。ステレオ拡張データ解析部105は、ステレオ拡張データを解析することでステレオ拡張情報を生成する。なお、ステレオ拡張データが欠損している場合などステレオ拡張情報を生成できない場合は、ステレオ拡張データ解析部105は、ステレオ拡張情報がないことを示す情報をステレオ拡張処理部108に伝送する。
【0057】
次に、基本コーデック復号部103は、基本コーデック解析情報に従って基本コーデックを復号する(S103)。復号により生成された基本コーデック復号信号は、切替部109に伝送される。
【0058】
切替部109は、基本コーデック解析情報に基づいて、基本コーデック復号信号の伝送経路の接続先を判定し、判定結果に基づいて端子Aと端子Bとの切替を行う(S104)。例えば、基本コーデック解析情報に含まれるチャンネル情報を参照し、基本コーデックのチャンネル数CHが所定の閾値より大きい場合、切替部109は、端子Aを選択する。あるいは、基本コーデック解析情報に含まれるサンプリング周波数情報を参照し、基本コーデックのサンプリング周波数FSが所定の閾値以上の場合、切替部109は、端子Aを選択する。そして、これら以外の場合、切替部109は、端子Bを選択する。
【0059】
端子Aが選択された場合(S105で“A”)、基本コーデック復号信号と帯域拡張情報とは第1帯域拡張処理部106に伝送される。第1帯域拡張処理部106は、基本コーデック復号信号の周波数帯域を拡張することで、出力オーディオ信号を生成する(S106)。なお、第1帯域拡張処理部106による処理は、処理量が少ないが、生成されるオーディオ信号の音質は劣ることを特徴とするようなLP−SBR方式などに基づいて実行される。
【0060】
端子Bが選択された場合(S105で“B”)、基本コーデック復号信号と帯域拡張情報とは第2帯域拡張処理部107に伝送される。第2帯域拡張処理部107は、基本コーデック復号信号の周波数帯域を拡張することで、出力オーディオ信号を生成する(S107)。なお、第2帯域拡張処理部107による処理は、処理量は多いが、生成されるオーディオ信号の音質が優れていることを特徴とするようなHQ−SBR方式などに基づいて実行される。
【0061】
このとき、ステレオ拡張情報がある場合、ステレオ拡張処理部108は、第2帯域拡張処理部107によって周波数帯域が拡張された基本コーデック復号信号(モノラルオーディオ信号)にステレオ化処理を行う。
【0062】
最後に、第1帯域拡張処理部106又は第2帯域拡張処理部107によって生成された出力オーディオ信号を出力する(S108)。
【0063】
以上のようにして、基本コーデック復号信号の高周波成分を予測して復元し、より原音に近い出力オーディオ信号を生成することができる。このとき、基本コーデックの性質を示す基本コーデック解析情報に基づいて処理を選択する。これにより、例えば、マルチチャンネル、又は、サンプリング周波数が大きい場合などの処理量が増大する場合に、処理量の少ない第1帯域拡張処理部106を選択することで、処理量の増大を防ぐことができる。
【0064】
続いて、接続先の判定処理(S104)の具体例について説明する。
【0065】
図3は、本実施の形態の切替部109の動作の具体例を示すフローチャートである。
【0066】
まず、入力された基本コーデックのチャンネル数CHとサンプリング周波数FSとが、所定の条件を満たすか否かを判定する(S201)。ここでは、CHが1であり、かつ、FSが24kHz以下であるか否かを判定する。
【0067】
チャンネル数CHが2以上であるか、又は、サンプリング周波数FSが24kHzより大きい場合(S201でNo)、伝送経路を端子Aに接続し、入力されている帯域拡張情報と基本コーデック復号信号とを第1帯域拡張処理部106へ伝送する(S202)。また、チャンネル数CHが1であり、かつ、サンプリング周波数FSが24kHz以下である場合(S201でYes)、伝送経路を端子Bに接続し、入力されている帯域拡張情報と基本コーデック復号信号とを第2帯域拡張処理部107へ伝送する(S203)。
【0068】
以下では、具体的なストリームの例を挙げながら、本実施の形態のオーディオ再生装置100の動作について説明する。
【0069】
図4は、ステレオ拡張データが付加された入力ストリームの一例を示す図である。
【0070】
例えば、オーディオ再生装置100に、
図4に示すようなストリームが入力された場合、基本コーデック解析部102は、基本コーデックを解析し、チャンネル数CH(=1)とサンプリング周波数情報FS(=24kHz)とを切替部109へ伝送する。切替部109は、
図3に示す条件を満たすので(S201でYes)、伝送経路を端子Bへ接続し、基本コーデック復号信号と帯域拡張情報とを第2帯域拡張処理部107へ伝送する(S203)。第2帯域拡張処理部107は、切替部109から伝送された基本コーデック復号信号を、帯域拡張情報を使用して帯域拡張処理する。このとき、併せてステレオ拡張処理部108がステレオ拡張情報を使用してステレオ拡張処理を行い、ステレオ拡張されたオーディオ信号を出力する。
【0071】
なお、
図4に示すように、ステレオ拡張データが付加されている場合は、チャンネル数CHは1である。ステレオ拡張データは、モノラルオーディオ信号をステレオ化するための情報であり、CH=1は、基本コーデック復号信号がモノラルオーディオ信号であることを示す。
【0072】
また、
図5は、ステレオ拡張データが付加されていない入力ストリームの一例を示す図である。オーディオ再生装置100に、
図5に示すようなストリームが入力された場合、基本コーデック解析部102は、基本コーデックを解析し、チャンネル数CH(=5.1)とサンプリング周波数情報FS(=24kHz)とを切替部109へ伝送する。切替部109は、
図3に示す条件を満たさないので(S201でNo)、伝送経路を端子Aへ接続し、基本コーデック復号信号と帯域拡張情報とを第1帯域拡張処理部106へ伝送する(S202)。第1帯域拡張処理部106は、切替部109から伝送された基本コーデック復号信号を、帯域拡張情報を使用して帯域拡張処理を行い、オーディオ信号を出力する。
【0073】
次に、ステレオ拡張データが途中のフレームで欠損し、以降のフレームでまた現れるようなストリームをオーディオ再生装置100に入力した場合について説明する。
【0074】
図6は、ステレオ拡張データが欠損しているフレームを含む入力ストリームの一例を示す図である。同図に示すように、フレーム201と203とは、ステレオ拡張データが含まれているのに対して、フレーム202のステレオ拡張データは欠損している。これに対して、フレーム201、202、203に含まれる基本コーデックを解析することで生成される基本コーデック解析情報は変化しない。すなわち、全フレーム201、202、203の基本コーデックのチャンネル数CHは1であり、サンプリング周波数は24kHzである。
【0075】
このため、切替部109は、フレームごとに
図3に示す条件を満たすと判定し(S201でYes)、伝送経路を端子Bへ接続する(S203)。第2帯域拡張処理部107は、各フレームの帯域拡張処理を行う。
【0076】
ここで、
図7は、出力オーディオ信号の波形の一例を示す図である。
図7(a)には、フレーム202でPSデータが欠損したために、従来では、時刻t0で、処理がHQ−SBR方式からLP−SBR方式に切り替わり、時刻t2で、処理がLP−SBR方式からHQ−SBR方式に切り替わった場合の出力オーディオ信号の波形を示す。従来では、このように処理が切り替わるために、時刻t0からt1の間と、時刻t2からt3の間とで、遅延情報が利用できなくなるために、異音が発生している。
【0077】
これに対して、上述したように、本実施の形態のオーディオ再生装置100では、ストリーム内のステレオ拡張データの有無とは無関係に、第1帯域拡張処理部106と第2帯域拡張処理部107のいずれの処理部で処理を行うかを決定する。つまり、各フレーム間で基本コーデックの解析情報が同じであれば、常に同じ処理部で各フレームの基本コーデック復号信号を帯域拡張する。したがって、遅延データの不連続は生じないため、
図7(b)で示すとおり、異音の発生を防ぐことができる。
【0078】
以上のように、本実施の形態のオーディオ再生装置100では、ステレオ拡張データを含むストリーム(すなわち、CH=1のストリーム)に対する帯域拡張処理を第2帯域拡張処理部107が行うため、問題なくステレオ拡張処理を行うことが可能である。また、ステレオ拡張データを含まないマルチチャンネルのストリームに対する帯域拡張処理を第1帯域拡張処理部106が行うことで、処理量(演算量)を削減することが可能となる。
【0079】
これにより、例えば、マルチチャンネルのオーディオ信号を再生する際の演算量の増加を抑えつつ、HE−AACv2プロファイルの構成を持つストリームを適切に復号したオーディオ信号を再生することができる。このとき、PSデータが入力されない場合から、PSデータが入力された場合でも、異音発生の無いオーディオ信号を再生することができる。
【0080】
(実施の形態2)
本実施の形態のオーディオ再生装置は、ステレオ拡張情報を保持するバッファを備え、例えば、放送受信などの影響でステレオ拡張データの欠損があった場合に、バッファに保持されたステレオ拡張情報を用いてステレオ化を実行する。
【0081】
図8は、本実施の形態のオーディオ再生装置300の構成を示すブロック図である。同図のオーディオ再生装置300は、
図1のオーディオ再生装置100と比べて、ステレオ拡張処理部108の代わりにステレオ拡張処理部308を備え、さらに、新たにバッファ310を備える点が異なる。以下では、異なる点を中心に説明し、同じ点は説明を省略する。
【0082】
ステレオ拡張処理部308は、ステレオ拡張処理部108の処理に加え、さらに、ステレオ化処理に用いたステレオ拡張情報をバッファ310に格納する。具体的には、ステレオ拡張処理部308は、第2帯域拡張処理部107によって周波数帯域が拡張された基本コーデック復号信号を、ステレオ拡張データ解析部105から伝送されるステレオ拡張情報を用いてステレオ化する。このとき用いたステレオ拡張情報をバッファ310に格納する。例えば、新たなステレオ拡張情報が得られるごとに、ステレオ拡張処理部308は、バッファ310に格納したステレオ拡張情報を最新のものに更新する。
【0083】
さらに、ステレオ拡張処理部308は、フレームのステレオ拡張情報が欠損している場合のようにステレオ拡張情報がない場合は、バッファ310からステレオ拡張情報を読み出し、読み出したステレオ拡張情報を用いて当該フレームの基本コーデック復号信号(モノラルオーディオ信号)をステレオ化する。
【0084】
バッファ310は、ステレオ拡張データ解析部105から伝送されたステレオ拡張情報を格納する。バッファ310は、最新のステレオ拡張情報を保持するだけでなく、複数のステレオ拡張情報を保持していてもよい。複数のステレオ拡張情報が保持されている場合は、ステレオ拡張処理部308は、例えば、基本コーデック拡張情報などを参照することで、処理対象の基本コーデック復号信号に類似する基本コーデック復号信号のステレオ化処理に用いたステレオ拡張情報を利用する。
【0085】
以上の構成に示すように、本実施の形態のオーディオ再生装置300は、ステレオ拡張情報を保持するバッファ310を備え、ステレオ拡張情報がない場合に、バッファ310に保持されたステレオ拡張情報を用いて基本コーデック復号信号をステレオ化する。
【0086】
続いて、本実施の形態のオーディオ再生装置300の動作のうち、ステレオ拡張処理部308の動作について説明する。なお、オーディオ再生装置300は、
図2及び
図3に示すフローチャートに沿って入力されるストリームを復号する。本実施の形態のステレオ拡張処理部308は、第2帯域拡張処理部107が帯域拡張を行うとき(S107)に実行される。
【0087】
図9は、本実施の形態のステレオ拡張処理部308の動作を示すフローチャートである。
【0088】
まず、ステレオ拡張処理部308は、ストリームにステレオ拡張データが付加されているか否か、すなわち、ステレオ拡張情報がステレオ拡張データ解析部105から伝送されているか否かを判定する(S301)。ステレオ拡張情報が伝送されている場合(S301でYes)、当該ステレオ拡張情報を用いてステレオ拡張処理を行う(S302)。さらに、ステレオ拡張処理部308は、このとき使用したステレオ拡張情報を保存する(S303)。
【0089】
ステレオ拡張情報が伝送されていない場合(S301でNo)、以前のフレームを復号する際にステレオ拡張処理を行っているか否かを判定する(S304)。ステレオ拡張処理を行っている場合(S304でYes)、以前のフレームを復号する際に保存されているステレオ拡張情報を使用してステレオ拡張処理を行う(S305)。ステレオ拡張処理を行っていない場合(S304でNo)、何もせずに終了する。
【0090】
以上のように、本実施の形態のステレオ拡張処理部308は、以前のフレームを復号する際に用いたステレオ拡張情報をバッファ310に保存し、以降のフレームでステレオ拡張データの欠損があった場合、バッファ310に保存されたステレオ拡張情報を用いて基本コーデック復号信号をステレオ化する。
【0091】
以下では、
図6に示すストリームが入力された場合の本実施の形態のオーディオ再生装置300の動作について説明する。
【0092】
本実施の形態によれば、
図6に示すように途中でステレオ拡張データが欠損するようなストリームが入力された場合、全てのフレーム201〜203はCH=1かつFS≦24kHzであるので、切替部109は伝送経路を端子Bに接続し、基本コーデック復号信号と帯域拡張情報とは第2帯域拡張処理部107に伝送される。これにより、全てのフレーム201〜203に対する帯域拡張処理は、第2帯域拡張処理部107によって行われるため遅延情報の連続性は保たれる。
【0093】
ここで、
図10は、ステレオ化された出力オーディオ信号の波形の一例を示す図である。従来は、ステレオ拡張データが欠損しているフレームの区間(t4とt5の間の期間)は、ステレオ拡張処理が行われず、
図10(a)に示すようにRchが出力されないため、聞き手は違和感を感じる。この違和感を解消し、
図10(b)に示すように、Rchを正しく出力するため、ステレオ拡張処理部308は、以下のように動作する。
【0094】
フレーム201にはステレオ拡張データが存在するので(S301でYes)、ステレオ拡張処理部308は、ステレオ拡張処理を行い(S302)、このとき用いたステレオ拡張情報を保存する(S303)。
【0095】
次に、ステレオ拡張データが欠損したフレーム202が入力される。ステレオ拡張処理部308は、フレーム202にはステレオ拡張データが欠損しており(S301でNo)、さらに、フレーム201の復号時にステレオ拡張処理を行っているため(S304でYes)、フレーム201のステレオ拡張情報を使用して、フレーム202のステレオ拡張処理を行う。
【0096】
続いて、次のステレオ拡張データが存在するフレーム203が入力される。フレーム203にはステレオ拡張データが存在するので(S301でYes)、フレーム203から抽出したステレオ拡張情報を使用して、フレーム203のステレオ拡張処理を行う(S302)。
【0097】
以上のように、本実施の形態のオーディオ再生装置300では、
図10(b)に示すように、出力音の連続性を保つことができ、かつ、ステレオ拡張データが欠損したフレームでもステレオ拡張することが可能となる。
【0098】
これにより、例えば、マルチチャンネル再生の際の演算量の増加を抑えつつ、HE−AACv2プロファイルの構成を持つストリームを適切に復号したオーディオ信号を再生することができる。このとき、PSデータが入力されない場合から、PSデータが入力された場合でも、異音発生の無いオーディオ信号を再生することができる。あるいは、PSデータが入力された場合から、PSデータが欠損することによって入力されない場合でも以前に用いたPSデータを用いて、ステレオオーディオ信号として再生することができる。
【0099】
なお、
図11は、本発明のオーディオ再生装置を搭載するオーディオ再生機器の一例を示す外観図である。同図には、記録メディア401と、オーディオ再生機器402と、イヤホン403とを示す。
【0100】
記録メディア401は、圧縮オーディオストリームを記録できる記録メディアである。
図11では、SDカードのような機器から取り出せるメディアとして記載しているが、光ディスクや、機器に内蔵されたHDD等で実現してもよい。
【0101】
オーディオ再生機器402は、圧縮オーディオ再生機器であり、機器内部の構成要素は実施の形態1及び2に記載したオーディオ再生装置100及び300のうち、少なくとも1つを含むように構成される。
【0102】
イヤホン403は、オーディオ再生機器402から出力される出力オーディオ信号を外部に出力するスピーカー装置である。
図11では、ユーザの耳に取り付けるイヤホンを図示しているが、ユーザの頭に取り付けるヘッドフォンでもよく、又は、卓上式のスピーカー装置でもよい。
【0103】
このようにオーディオ再生機器402を構成することで、ステレオ拡張データが途中で欠損するストリームについても異音を発声させずに出力オーディオ信号を得ることができる。
【0104】
以上、本発明のオーディオ再生装置及びオーディオ再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【0105】
例えば、切替部109は、判定条件をチャンネル数が1でありかつサンプリング周波数が24kHz以下としているが、これに限らず、例えば、チャンネル数が2以下の場合のみ第2帯域拡張処理部107を使用する(端子Bに接続する)としてもよい。この場合、基本コーデックのチャンネル数が1又は2のストリームが入力されれば、音質が良いが処理量の多い第2帯域拡張処理部107を使用して帯域拡張を行う。
【0106】
これに対して、3チャンネル以上のストリームが入力された場合には、全体の処理量削減のために音質の劣化はあるが、処理量の少ない第1帯域拡張処理部106を使用して帯域拡張を行うことが可能となる。このように、プロセッサ能力、及び、メモリリソースが許す限りマルチチャンネルに対しても高音質な出力を得られる構成にすることが可能である。
【0107】
なお、本発明は、上述したように、オーディオ再生装置及びオーディオ再生方法として実現できるだけではなく、本実施の形態のオーディオ再生方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なCD−ROMなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【0108】
また、本発明は、オーディオ再生装置を構成する構成要素の一部又は全部を、1個のシステムLSIから構成してもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM及びRAMなどを含んで構成されるコンピュータシステムである。