ホーム > 特許ランキング > 日本電信電話株式会社
特許7396459音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体
(51)【国際特許分類】
G10L 19/008 20130101AFI20231205BHJP
G10L 19/00 20130101ALI20231205BHJP
【ＦＩ】
G10L19/008 100
G10L19/00 400Z
【請求項の数】
10
(21)【出願番号】P 2022505754
(86)(22)【出願日】2020-11-04
(86)【国際出願番号】 JP2020041216
(87)【国際公開番号】W WO2021181746
(87)【国際公開日】2021-09-16
【審査請求日】2022-09-01
(31)【優先権主張番号】PCT/JP2020/010080
(32)【優先日】2020-03-09
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】PCT/JP2020/010081
(32)【優先日】2020-03-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】杉浦 亮介
(72)【発明者】
【氏名】守谷 健弘
(72)【発明者】
【氏名】鎌本 優
【審査官】山下 剛史
(56)【参考文献】
【文献】国際公開第２０１０／１４０３５０（ＷＯ，Ａ１）
【文献】特表２０１８－５３３０５６（ＪＰ，Ａ）
【文献】特表２０１１－５２２４７２（ＪＰ，Ａ）
【文献】特表２０１９－５３６１１２（ＪＰ，Ａ）
【文献】特表２０１０－５２５４０３（ＪＰ，Ａ）
【文献】国際公開第２０１０／０９７７４８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １９／００－２５／９３
(57)【特許請求の範囲】
【請求項1】
左チャネル入力音信号と右チャネル入力音信号を混合した信号であるダウンミックス信号を得る音信号ダウンミックス方法であって、前記左チャネル入力音信号と前記右チャネル入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、前記左チャネル入力音信号と前記右チャネル入力音信号の相関係数である左右相関係数と、を得る左右関係情報取得ステップと、
前記先行チャネル情報と前記左右相関係数とに基づき、前記左チャネル入力音信号と前記右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、前記左右相関係数が大きいほど大きく含まれるように、前記左チャネル入力音信号と前記右チャネル入力音信号を重み付け平均して前記ダウンミックス信号を得るダウンミックスステップと、
を含むことを特徴とする音信号ダウンミックス方法。
【請求項2】
請求項１に記載の音信号ダウンミックス方法であって、サンプル番号をtとし、前記左チャネル入力音信号をxL(t)とし、前記右チャネル入力音信号をxR(t)とし、前記ダウンミックス信号をxM(t)とし、前記左右相関係数をγとして、
前記ダウンミックスステップは、
前記先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1+γ)/2)×xL(t)+((1-γ)/2)×xR(t)により前記ダウンミックス信号を得て、
前記先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1-γ)/2)×xL(t)+((1+γ)/2)×xR(t)により前記ダウンミックス信号を得て、
前記先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、xM(t)=(xL(t)+xR(t))/2により前記ダウンミックス信号を得る
ことを特徴とする音信号ダウンミックス方法。
【請求項3】
請求項１または２に記載の音信号ダウンミックス方法を音信号ダウンミックスステップとして含み、前記ダウンミックスステップが得た前記ダウンミックス信号を符号化してモノラル符号を得るモノラル符号化ステップと、
前記左チャネル入力音信号と前記右チャネル入力音信号を符号化してステレオ符号を得るステレオ符号化ステップと、
を更に含む
ことを特徴とする音信号符号化方法。
【請求項4】
左チャネル入力音信号と右チャネル入力音信号を混合した信号であるダウンミックス信号を得る音信号ダウンミックス装置であって、前記左チャネル入力音信号と前記右チャネル入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、前記左チャネル入力音信号と前記右チャネル入力音信号の相関係数である左右相関係数と、を得る左右関係情報取得部と、
前記先行チャネル情報と前記左右相関係数とに基づき、前記左チャネル入力音信号と前記右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、前記左右相関係数が大きいほど大きく含まれるように、前記左チャネル入力音信号と前記右チャネル入力音信号を重み付け平均して前記ダウンミックス信号を得るダウンミックス部と、
を含むことを特徴とする音信号ダウンミックス装置。
【請求項5】
請求項４に記載の音信号ダウンミックス装置であって、サンプル番号をtとし、前記左チャネル入力音信号をxL(t)とし、前記右チャネル入力音信号をxR(t)とし、前記ダウンミックス信号をxM(t)とし、前記左右相関係数をγとして、
前記ダウンミックス部は、
前記先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1+γ)/2)×xL(t)+((1-γ)/2)×xR(t)により前記ダウンミックス信号を得て、
前記先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1-γ)/2)×xL(t)+((1+γ)/2)×xR(t)により前記ダウンミックス信号を得て、
前記先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、xM(t)=(xL(t)+xR(t))/2により前記ダウンミックス信号を得る
ことを特徴とする音信号ダウンミックス装置。
【請求項6】
請求項４または５に記載の音信号ダウンミックス装置を音信号ダウンミックス部として含み、前記ダウンミックス部が得た前記ダウンミックス信号を符号化してモノラル符号を得るモノラル符号化部と、
前記左チャネル入力音信号と前記右チャネル入力音信号を符号化してステレオ符号を得るステレオ符号化部と、
を更に含む
ことを特徴とする音信号符号化装置。
【請求項7】
請求項１又は２に記載の音信号ダウンミックス方法の各ステップの処理をコンピュータに実行させるためのプログラム。【請求項8】
請求項３に記載の音信号符号化方法の各ステップの処理をコンピュータに実行させるためのプログラム。【請求項9】
請求項１又は２に記載の音信号ダウンミックス方法の各ステップの処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。【請求項10】
請求項３に記載の音信号符号化方法の各ステップの処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音信号をモノラルで符号化したり、モノラル符号化とステレオ符号化を併用して音信号を符号化したり、音信号をモノラルで信号処理したり、ステレオの音信号にモノラルの音信号を用いた信号処理をしたりするために、２チャネルの音信号からモノラルの音信号を得る技術に関する。
【背景技術】
【0002】
２チャネルの音信号からモノラルの音信号を得て、２チャネルの音信号とモノラルの音信号をエンベデッド符号化／復号する技術として、特許文献１の技術がある。特許文献１には、入力された左チャネルの音信号と入力された右チャネルの音信号を対応するサンプルごとに平均することでモノラル信号を得て、モノラル信号を符号化（モノラル符号化）してモノラル符号を得て、モノラル符号を復号（モノラル復号）してモノラル局部復号信号を得て、左チャネルと右チャネルのそれぞれについて、入力された音信号と、モノラル局部復号信号から得た予測信号と、の差分（予測残差信号）を符号化する技術が開示されている。特許文献１の技術では、それぞれのチャネルについて、モノラル局部復号信号に遅延を与えて振幅比を与えた信号を予測信号として、入力された音信号と予測信号の誤差が最小となる遅延と振幅比を有する予測信号を選択するか、または、入力された音信号とモノラル局部復号信号との間の相互相関を最大にする遅延差と振幅比を有する予測信号を用いて、入力された音信号から予測信号を減算して予測残差信号を得て、予測残差信号を符号化／復号の対象とすることで、各チャネルの復号音信号の音質劣化を抑えている。
【先行技術文献】
【特許文献】
【0003】
【文献】WO2006-070751号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の技術では、予測信号を得る際にモノラル局部復号信号に与える遅延と振幅比を最適化することで、各チャネルの符号化効率を高めることができる。しかし、特許文献１の技術では、モノラル局部復号信号は左チャネルの音信号と右チャネルの音信号を平均して得たモノラル信号を符号化・復号して得たものである。すなわち、特許文献１の技術には、２チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得る工夫がされていないという課題がある。
本発明では、２チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得る技術を提供することを目的とする。
本発明では、２チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得る技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様は、左チャネル入力音信号と右チャネル入力音信号を混合した信号であるダウンミックス信号を得る音信号ダウンミックス方法であって、左チャネル入力音信号と右チャネル入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、左チャネル入力音信号と右チャネル入力音信号の相関係数である左右相関係数と、を得る左右関係情報取得ステップと、先行チャネル情報と左右相関係数とに基づき、左チャネル入力音信号と右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数が大きいほど大きく含まれるように、左チャネル入力音信号と右チャネル入力音信号を重み付け平均してダウンミックス信号を得るダウンミックスステップと、を有することを特徴とする。
【0006】
本発明の一態様は、前記の音信号ダウンミックス方法であって、サンプル番号をtとし、左チャネル入力音信号をxL(t)とし、右チャネル入力音信号をxR(t)とし、ダウンミックス信号をxM(t)とし、左右相関係数をγとして、ダウンミックスステップは、先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1+γ)/2)×xL(t)+((1-γ)/2)×xR(t)によりダウンミックス信号を得て、先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1-γ)/2)×xL(t)+((1+γ)/2)×xR(t)によりダウンミックス信号を得て、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、xM(t)=(xL(t)+xR(t))/2によりダウンミックス信号を得ることを特徴とする。
【0007】
本発明の一態様は、前記の音信号ダウンミックス方法を音信号ダウンミックスステップとして有し、ダウンミックスステップが得たダウンミックス信号を符号化してモノラル符号を得るモノラル符号化ステップと、左チャネル入力音信号と右チャネル入力音信号を符号化してステレオ符号を得るステレオ符号化ステップと、を更に有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、２チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得ることができる。
【図面の簡単な説明】
【0009】
【図1】第１参考形態と第２実施形態の符号化装置の例を示すブロック図である。
【図2】第１参考形態の符号化装置の処理の例を示す流れ図である。
【図3】第１参考形態の復号装置の例を示すブロック図である。
【図4】第１参考形態の復号装置の処理の例を示す流れ図である。
【図5】第１参考形態の左チャネル減算利得推定部と右チャネル減算利得推定部の処理の例を示す流れ図である。
【図6】第１参考形態の左チャネル減算利得推定部と右チャネル減算利得推定部の処理の例を示す流れ図である。
【図7】第１参考形態の左チャネル減算利得復号部と右チャネル減算利得復号部の処理の例を示す流れ図である。
【図8】第１参考形態の左チャネル減算利得推定部と右チャネル減算利得推定部の処理の例を示す流れ図である。
【図9】第１参考形態の左チャネル減算利得推定部と右チャネル減算利得推定部の処理の例を示す流れ図である。
【図10】第２参考形態と第１実施形態の符号化装置の例を示すブロック図である。
【図11】第２参考形態の符号化装置の処理の例を示す流れ図である。
【図12】第２参考形態の復号装置の例を示すブロック図である。
【図13】第２参考形態の復号装置の処理の例を示す流れ図である。
【図14】第１実施形態の符号化装置の処理の例を示す流れ図である。
【図15】第２実施形態の符号化装置の処理の例を示す流れ図である。
【図16】第３実施形態の符号化装置の例を示すブロック図である。
【図17】第３実施形態の符号化装置の処理の例を示す流れ図である。
【図18】第４実施形態の音信号符号化装置の例を示すブロック図である。
【図19】第４実施形態の音信号符号化装置の処理の例を示す流れ図である。
【図20】第４実施形態の音信号処理装置の例を示すブロック図である。
【図21】第４実施形態の音信号処理装置の処理の例を示す流れ図である。
【図22】第４実施形態の音信号ダウンミックス装置の例を示すブロック図である。
【図23】第４実施形態の音信号ダウンミックス装置の処理の例を示す流れ図である。
【図24】本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。
【発明を実施するための形態】
【0010】
まず、明細書における表記方法について説明する。ある文字xに対する^xのような上付き添え字の”^”は、本来”x”の真上に記載されるべきである。しかし、明細書の記載表記の制約上、^xと記載することもある。
＜第１参考形態＞
発明の実施形態を説明する前に、第１参考形態と第２参考形態として、第２実施形態の発明と第１実施形態の発明を実施するための元となる形態の符号化装置と復号装置について説明する。なお、明細書及び特許請求の範囲において、符号化装置のことを音信号符号化装置、符号化方法のことを音信号符号化方法、復号装置のことを音信号復号装置、復号方法のことを音信号復号方法と呼ぶこともある。
＜第１参考形態＞
発明の実施形態を説明する前に、第１参考形態と第２参考形態として、第２実施形態の発明と第１実施形態の発明を実施するための元となる形態の符号化装置と復号装置について説明する。なお、明細書及び特許請求の範囲において、符号化装置のことを音信号符号化装置、符号化方法のことを音信号符号化方法、復号装置のことを音信号復号装置、復号方法のことを音信号復号方法と呼ぶこともある。
【0011】
≪符号化装置１００≫
第１参考形態の符号化装置１００は、図１に示す通り、ダウンミックス部１１０と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０を含む。符号化装置１００は、例えば20msの所定の時間長のフレーム単位で、入力された２チャネルステレオの時間領域の音信号を符号化して、後述するモノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳとを得て出力する。符号化装置に入力される２チャネルステレオの時間領域の音信号は、例えば、音声や音楽などの音を２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であり、左チャネルの入力音信号と右チャネルの入力音信号から成る。符号化装置が出力する符号、すなわち、モノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳ、は復号装置へ入力される。符号化装置１００は、各フレームについて、図２に例示するステップＳ１１０からステップＳ１７０の処理を行う。
第１参考形態の符号化装置１００は、図１に示す通り、ダウンミックス部１１０と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０を含む。符号化装置１００は、例えば20msの所定の時間長のフレーム単位で、入力された２チャネルステレオの時間領域の音信号を符号化して、後述するモノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳとを得て出力する。符号化装置に入力される２チャネルステレオの時間領域の音信号は、例えば、音声や音楽などの音を２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であり、左チャネルの入力音信号と右チャネルの入力音信号から成る。符号化装置が出力する符号、すなわち、モノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳ、は復号装置へ入力される。符号化装置１００は、各フレームについて、図２に例示するステップＳ１１０からステップＳ１７０の処理を行う。
【0012】
［ダウンミックス部１１０］
ダウンミックス部１１０には、符号化装置１００に入力された左チャネルの入力音信号と、符号化装置１００に入力された右チャネルの入力音信号と、が入力される。ダウンミックス部１１０は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号を混合した信号であるダウンミックス信号を得て出力する（ステップＳ１１０）。
ダウンミックス部１１０には、符号化装置１００に入力された左チャネルの入力音信号と、符号化装置１００に入力された右チャネルの入力音信号と、が入力される。ダウンミックス部１１０は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号を混合した信号であるダウンミックス信号を得て出力する（ステップＳ１１０）。
【0013】
例えば、フレーム当たりのサンプル数をTとすると、ダウンミックス部１１０には、符号化装置１００にフレーム単位で入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と右チャネルの入力音信号xR(1), xR(2), ..., xR(T)が入力される。ここで、Tは正の整数であり、例えば、フレーム長が20msであり、サンプリング周波数が32kHzであれば、Tは640である。ダウンミックス部１１０は、入力された左チャネルの入力音信号と右チャネルの入力音信号の対応するサンプルごとのサンプル値の平均値による系列をダウンミックス信号xM(1), xM(2), ..., xM(T)として得て出力する。すなわち、各サンプル番号をtとすると、xM(t)=(xL(t)+xR(t))/2である。
【0014】
［左チャネル減算利得推定部１２０］
左チャネル減算利得推定部１２０には、符号化装置１００に入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、が入力される。左チャネル減算利得推定部１２０は、入力された左チャネルの入力音信号とダウンミックス信号から、左チャネル減算利得αと、左チャネル減算利得αを表す符号である左チャネル減算利得符号Ｃαと、を得て出力する（ステップＳ１２０）。左チャネル減算利得推定部１２０は、左チャネル減算利得αと左チャネル減算利得符号Ｃαを、特許文献１で振幅比gを求めている方法やその振幅比gを符号化する方法に例示されるような周知の方法、または、新たに発案した量子化誤差を最小化する原理に基づく方法で求める。量子化誤差を最小化する原理とこの原理に基づく方法については後述する。
左チャネル減算利得推定部１２０には、符号化装置１００に入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、が入力される。左チャネル減算利得推定部１２０は、入力された左チャネルの入力音信号とダウンミックス信号から、左チャネル減算利得αと、左チャネル減算利得αを表す符号である左チャネル減算利得符号Ｃαと、を得て出力する（ステップＳ１２０）。左チャネル減算利得推定部１２０は、左チャネル減算利得αと左チャネル減算利得符号Ｃαを、特許文献１で振幅比gを求めている方法やその振幅比gを符号化する方法に例示されるような周知の方法、または、新たに発案した量子化誤差を最小化する原理に基づく方法で求める。量子化誤差を最小化する原理とこの原理に基づく方法については後述する。
【0015】
［左チャネル信号減算部１３０］
左チャネル信号減算部１３０には、符号化装置１００に入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、左チャネル減算利得推定部１２０が出力した左チャネル減算利得αと、が入力される。左チャネル信号減算部１３０は、対応するサンプルtごとに、ダウンミックス信号のサンプル値xM(t)と左チャネル減算利得αとを乗算した値α×xM(t)を左チャネルの入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号yL(1), yL(2), ..., yL(T)として得て出力する（ステップＳ１３０）。すなわち、yL(t)=xL(t)-α×xM(t)である。符号化装置１００においては、局部復号信号を得るための遅延や演算処理量を要さないようにするために、左チャネル信号減算部１３０では、モノラル符号化の局部復号信号である量子化済みのダウンミックス信号ではなく、ダウンミックス部１１０が得た量子化されていないダウンミックス信号xM(t)を用いるとよい。ただし、左チャネル減算利得推定部１２０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で左チャネル減算利得αを得る場合には、符号化装置１００のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、左チャネル信号減算部１３０では、ダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、特許文献１などの従来の符号化装置と同様に、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を用いて左チャネル差分信号を得てもよい。
左チャネル信号減算部１３０には、符号化装置１００に入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、左チャネル減算利得推定部１２０が出力した左チャネル減算利得αと、が入力される。左チャネル信号減算部１３０は、対応するサンプルtごとに、ダウンミックス信号のサンプル値xM(t)と左チャネル減算利得αとを乗算した値α×xM(t)を左チャネルの入力音信号のサンプル値xL(t)から減算した値xL(t)-α×xM(t)による系列を左チャネル差分信号yL(1), yL(2), ..., yL(T)として得て出力する（ステップＳ１３０）。すなわち、yL(t)=xL(t)-α×xM(t)である。符号化装置１００においては、局部復号信号を得るための遅延や演算処理量を要さないようにするために、左チャネル信号減算部１３０では、モノラル符号化の局部復号信号である量子化済みのダウンミックス信号ではなく、ダウンミックス部１１０が得た量子化されていないダウンミックス信号xM(t)を用いるとよい。ただし、左チャネル減算利得推定部１２０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で左チャネル減算利得αを得る場合には、符号化装置１００のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、左チャネル信号減算部１３０では、ダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、特許文献１などの従来の符号化装置と同様に、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を用いて左チャネル差分信号を得てもよい。
【0016】
［右チャネル減算利得推定部１４０］
右チャネル減算利得推定部１４０には、符号化装置１００に入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)と、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、が入力される。右チャネル減算利得推定部１４０は、入力された右チャネルの入力音信号とダウンミックス信号から、右チャネル減算利得βと、右チャネル減算利得βを表す符号である右チャネル減算利得符号Ｃβと、を得て出力する（ステップＳ１４０）。右チャネル減算利得推定部１４０は、右チャネル減算利得βと右チャネル減算利得符号Ｃβを、特許文献１で振幅比gを求めている方法やその振幅比gを符号化する方法に例示されるような周知の方法、または、新たに発案した量子化誤差を最小化する原理に基づく方法で求める。量子化誤差を最小化する原理とこの原理に基づく方法については後述する。
右チャネル減算利得推定部１４０には、符号化装置１００に入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)と、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、が入力される。右チャネル減算利得推定部１４０は、入力された右チャネルの入力音信号とダウンミックス信号から、右チャネル減算利得βと、右チャネル減算利得βを表す符号である右チャネル減算利得符号Ｃβと、を得て出力する（ステップＳ１４０）。右チャネル減算利得推定部１４０は、右チャネル減算利得βと右チャネル減算利得符号Ｃβを、特許文献１で振幅比gを求めている方法やその振幅比gを符号化する方法に例示されるような周知の方法、または、新たに発案した量子化誤差を最小化する原理に基づく方法で求める。量子化誤差を最小化する原理とこの原理に基づく方法については後述する。
【0017】
［右チャネル信号減算部１５０］
右チャネル信号減算部１５０には、符号化装置１００に入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)と、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、右チャネル減算利得推定部１４０が出力した右チャネル減算利得βと、が入力される。右チャネル信号減算部１５０は、対応するサンプルtごとに、ダウンミックス信号のサンプル値xM(t)と右チャネル減算利得βとを乗算した値β×xM(t)を右チャネルの入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号yR(1), yR(2), ..., yR(T)として得て出力する（ステップＳ１５０）。すなわち、yR(t)=xR(t)-β×xM(t)である。右チャネル信号減算部１５０では、左チャネル信号減算部１３０と同様に、符号化装置１００において局部復号信号を得るための遅延や演算処理量を要さないようにするために、モノラル符号化の局部復号信号である量子化済みのダウンミックス信号ではなく、ダウンミックス部１１０が得た量子化されていないダウンミックス信号xM(t)を用いるとよい。ただし、右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で右チャネル減算利得βを得る場合には、符号化装置１００のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、左チャネル信号減算部１３０と同様に、右チャネル信号減算部１５０では、ダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、特許文献１などの従来の符号化装置と同様に、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を用いて右チャネル差分信号を得てもよい。
右チャネル信号減算部１５０には、符号化装置１００に入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)と、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、右チャネル減算利得推定部１４０が出力した右チャネル減算利得βと、が入力される。右チャネル信号減算部１５０は、対応するサンプルtごとに、ダウンミックス信号のサンプル値xM(t)と右チャネル減算利得βとを乗算した値β×xM(t)を右チャネルの入力音信号のサンプル値xR(t)から減算した値xR(t)-β×xM(t)による系列を右チャネル差分信号yR(1), yR(2), ..., yR(T)として得て出力する（ステップＳ１５０）。すなわち、yR(t)=xR(t)-β×xM(t)である。右チャネル信号減算部１５０では、左チャネル信号減算部１３０と同様に、符号化装置１００において局部復号信号を得るための遅延や演算処理量を要さないようにするために、モノラル符号化の局部復号信号である量子化済みのダウンミックス信号ではなく、ダウンミックス部１１０が得た量子化されていないダウンミックス信号xM(t)を用いるとよい。ただし、右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で右チャネル減算利得βを得る場合には、符号化装置１００のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、左チャネル信号減算部１３０と同様に、右チャネル信号減算部１５０では、ダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、特許文献１などの従来の符号化装置と同様に、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を用いて右チャネル差分信号を得てもよい。
【0018】
［モノラル符号化部１６０］
モノラル符号化部１６０には、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)が入力される。モノラル符号化部１６０は、入力されたダウンミックス信号を所定の符号化方式でbMビットで符号化してモノラル符号ＣＭを得て出力する（ステップＳ１６０）。すなわち、入力されたTサンプルのダウンミックス信号xM(1), xM(2), ..., xM(T)からbMビットのモノラル符号ＣＭを得て出力する。符号化方式としては、どのようなものを用いてもよく、例えば3GPP EVS規格のような符号化方式を用いればよい。
モノラル符号化部１６０には、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)が入力される。モノラル符号化部１６０は、入力されたダウンミックス信号を所定の符号化方式でbMビットで符号化してモノラル符号ＣＭを得て出力する（ステップＳ１６０）。すなわち、入力されたTサンプルのダウンミックス信号xM(1), xM(2), ..., xM(T)からbMビットのモノラル符号ＣＭを得て出力する。符号化方式としては、どのようなものを用いてもよく、例えば3GPP EVS規格のような符号化方式を用いればよい。
【0019】
［ステレオ符号化部１７０］
ステレオ符号化部１７０には、左チャネル信号減算部１３０が出力した左チャネル差分信号yL(1), yL(2), ..., yL(T)と、右チャネル信号減算部１５０が出力した右チャネル差分信号yR(1), yR(2), ..., yR(T)と、が入力される。ステレオ符号化部１７０は、入力された左チャネル差分信号と右チャネル差分信号を所定の符号化方式で合計bsビットで符号化してステレオ符号ＣＳを得て出力する（ステップＳ１７０）。すなわち、入力されたTサンプルの左チャネル差分信号yL(1), yL(2), ..., yL(T)と、入力されたTサンプルの右チャネル差分信号yR(1), yR(2), ..., yR(T)と、から合計bSビットのステレオ符号ＣＳを得て出力する。符号化方式としては、どのようなものを用いてもよく、例えばMPEG-4 AAC規格のステレオ復号方式に対応するステレオ符号化方式を用いてもよいし、入力された左チャネル差分信号と右チャネル差分信号それぞれを独立して符号化するものを用いてもよく、符号化により得られた符号全てを合わせたものをステレオ符号ＣＳとすればよい。
ステレオ符号化部１７０には、左チャネル信号減算部１３０が出力した左チャネル差分信号yL(1), yL(2), ..., yL(T)と、右チャネル信号減算部１５０が出力した右チャネル差分信号yR(1), yR(2), ..., yR(T)と、が入力される。ステレオ符号化部１７０は、入力された左チャネル差分信号と右チャネル差分信号を所定の符号化方式で合計bsビットで符号化してステレオ符号ＣＳを得て出力する（ステップＳ１７０）。すなわち、入力されたTサンプルの左チャネル差分信号yL(1), yL(2), ..., yL(T)と、入力されたTサンプルの右チャネル差分信号yR(1), yR(2), ..., yR(T)と、から合計bSビットのステレオ符号ＣＳを得て出力する。符号化方式としては、どのようなものを用いてもよく、例えばMPEG-4 AAC規格のステレオ復号方式に対応するステレオ符号化方式を用いてもよいし、入力された左チャネル差分信号と右チャネル差分信号それぞれを独立して符号化するものを用いてもよく、符号化により得られた符号全てを合わせたものをステレオ符号ＣＳとすればよい。
【0020】
入力された左チャネル差分信号と右チャネル差分信号それぞれを独立して符号化する場合には、ステレオ符号化部１７０は、左チャネル差分信号をbLビットで符号化し、右チャネル差分信号をbRビットで符号化する。すなわち、ステレオ符号化部１７０は、入力されたTサンプルの左チャネル差分信号yL(1), yL(2), ..., yL(T)からbLビットの左チャネル差分符号ＣＬを得て、入力されたTサンプルの右チャネル差分信号yR(1), yR(2), ..., yR(T)からbRビットの右チャネル差分符号ＣＲを得て、左チャネル差分符号ＣＬと右チャネル差分符号ＣＲを合わせたものをステレオ符号ＣＳとして出力する。ここで、bLビットとbRビットの合計がbSビットである。
【0021】
入力された左チャネル差分信号と右チャネル差分信号を１つの符号化方式の中で合わせて符号化する場合には、ステレオ符号化部１７０は、左チャネル差分信号と右チャネル差分信号を合計bSビットで符号化する。すなわち、ステレオ符号化部１７０は、入力されたTサンプルの左チャネル差分信号yL(1), yL(2), ..., yL(T)と、入力されたTサンプルの右チャネル差分信号yR(1), yR(2), ..., yR(T)と、からbSビットのステレオ符号ＣＳを得て出力する。
【0022】
≪復号装置２００≫
第１参考形態の復号装置２００は、図３に示す通り、モノラル復号部２１０とステレオ復号部２２０と左チャネル減算利得復号部２３０と左チャネル信号加算部２４０と右チャネル減算利得復号部２５０と右チャネル信号加算部２６０とを含む。復号装置２００は、対応する符号化装置１００と同じ時間長のフレーム単位で、入力されたモノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳを復号して、フレーム単位の２チャネルステレオの時間領域の復号音信号（後述する左チャネル復号音信号と右チャネル復号音信号）を得て出力する。復号装置２００は、図３に破線で示すように、モノラルの時間領域の復号音信号（後述するモノラル復号音信号）も出力してもよい。復号装置２００が出力した復号音信号は、例えば、ＤＡ変換され、スピーカで再生されることで、受聴可能とされる。復号装置２００は、各フレームについて、図４に例示するステップＳ２１０からステップＳ２６０の処理を行う。
第１参考形態の復号装置２００は、図３に示す通り、モノラル復号部２１０とステレオ復号部２２０と左チャネル減算利得復号部２３０と左チャネル信号加算部２４０と右チャネル減算利得復号部２５０と右チャネル信号加算部２６０とを含む。復号装置２００は、対応する符号化装置１００と同じ時間長のフレーム単位で、入力されたモノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳを復号して、フレーム単位の２チャネルステレオの時間領域の復号音信号（後述する左チャネル復号音信号と右チャネル復号音信号）を得て出力する。復号装置２００は、図３に破線で示すように、モノラルの時間領域の復号音信号（後述するモノラル復号音信号）も出力してもよい。復号装置２００が出力した復号音信号は、例えば、ＤＡ変換され、スピーカで再生されることで、受聴可能とされる。復号装置２００は、各フレームについて、図４に例示するステップＳ２１０からステップＳ２６０の処理を行う。
【0023】
［モノラル復号部２１０］
モノラル復号部２１０には、復号装置２００に入力されたモノラル符号ＣＭが入力される。モノラル復号部２１０は、入力されたモノラル符号ＣＭを所定の復号方式で復号してモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)を得て出力する（ステップＳ２１０）。所定の復号方式としては、対応する符号化装置１００のモノラル符号化部１６０で用いた符号化方式に対応する復号方式を用いる。モノラル符号ＣＭのビット数はbMである。
モノラル復号部２１０には、復号装置２００に入力されたモノラル符号ＣＭが入力される。モノラル復号部２１０は、入力されたモノラル符号ＣＭを所定の復号方式で復号してモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)を得て出力する（ステップＳ２１０）。所定の復号方式としては、対応する符号化装置１００のモノラル符号化部１６０で用いた符号化方式に対応する復号方式を用いる。モノラル符号ＣＭのビット数はbMである。
【0024】
［ステレオ復号部２２０］
ステレオ復号部２２０には、復号装置２００に入力されたステレオ符号ＣＳが入力される。ステレオ復号部２２０は、入力されたステレオ符号ＣＳを所定の復号方式で復号して、左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)と、右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)と、を得て出力する（ステップＳ２２０）。所定の復号方式としては、対応する符号化装置１００のステレオ符号化部１７０で用いた符号化方式に対応する復号方式を用いる。ステレオ符号ＣＳの合計ビット数はbSである。
ステレオ復号部２２０には、復号装置２００に入力されたステレオ符号ＣＳが入力される。ステレオ復号部２２０は、入力されたステレオ符号ＣＳを所定の復号方式で復号して、左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)と、右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)と、を得て出力する（ステップＳ２２０）。所定の復号方式としては、対応する符号化装置１００のステレオ符号化部１７０で用いた符号化方式に対応する復号方式を用いる。ステレオ符号ＣＳの合計ビット数はbSである。
【0025】
［左チャネル減算利得復号部２３０］
左チャネル減算利得復号部２３０には、復号装置２００に入力された左チャネル減算利得符号Ｃαが入力される。左チャネル減算利得復号部２３０は、左チャネル減算利得符号Ｃαを復号して左チャネル減算利得αを得て出力する（ステップＳ２３０）。左チャネル減算利得復号部２３０は、対応する符号化装置１００の左チャネル減算利得推定部１２０で用いた方法に対応する復号方法で左チャネル減算利得符号Ｃαを復号して、左チャネル減算利得αを得る。対応する符号化装置１００の左チャネル減算利得推定部１２０が量子化誤差を最小化する原理に基づく方法で左チャネル減算利得αと左チャネル減算利得符号Ｃαを得た場合の、左チャネル減算利得復号部２３０が左チャネル減算利得符号Ｃαを復号して左チャネル減算利得αを得る方法については後述する。
左チャネル減算利得復号部２３０には、復号装置２００に入力された左チャネル減算利得符号Ｃαが入力される。左チャネル減算利得復号部２３０は、左チャネル減算利得符号Ｃαを復号して左チャネル減算利得αを得て出力する（ステップＳ２３０）。左チャネル減算利得復号部２３０は、対応する符号化装置１００の左チャネル減算利得推定部１２０で用いた方法に対応する復号方法で左チャネル減算利得符号Ｃαを復号して、左チャネル減算利得αを得る。対応する符号化装置１００の左チャネル減算利得推定部１２０が量子化誤差を最小化する原理に基づく方法で左チャネル減算利得αと左チャネル減算利得符号Ｃαを得た場合の、左チャネル減算利得復号部２３０が左チャネル減算利得符号Ｃαを復号して左チャネル減算利得αを得る方法については後述する。
【0026】
［左チャネル信号加算部２４０］
左チャネル信号加算部２４０には、モノラル復号部２１０が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、ステレオ復号部２２０が出力した左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)と、左チャネル減算利得復号部２３０が出力した左チャネル減算利得αと、が入力される。左チャネル信号加算部２４０は、対応するサンプルtごとに、左チャネル復号差分信号のサンプル値^yL(t)と、モノラル復号音信号のサンプル値^xM(t)と左チャネル減算利得αとを乗算した値α×^xM(t)と、を加算した値^yL(t)+α×^xM(t)による系列を左チャネル復号音信号^xL(1), ^xL(2), ..., ^xL(T)として得て出力する（ステップＳ２４０）。すなわち、^xL(t)=^yL(t)+α×^xM(t)である。
左チャネル信号加算部２４０には、モノラル復号部２１０が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、ステレオ復号部２２０が出力した左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)と、左チャネル減算利得復号部２３０が出力した左チャネル減算利得αと、が入力される。左チャネル信号加算部２４０は、対応するサンプルtごとに、左チャネル復号差分信号のサンプル値^yL(t)と、モノラル復号音信号のサンプル値^xM(t)と左チャネル減算利得αとを乗算した値α×^xM(t)と、を加算した値^yL(t)+α×^xM(t)による系列を左チャネル復号音信号^xL(1), ^xL(2), ..., ^xL(T)として得て出力する（ステップＳ２４０）。すなわち、^xL(t)=^yL(t)+α×^xM(t)である。
【0027】
［右チャネル減算利得復号部２５０］
右チャネル減算利得復号部２５０には、復号装置２００に入力された右チャネル減算利得符号Ｃβが入力される。右チャネル減算利得復号部２５０は、右チャネル減算利得符号Ｃβを復号して右チャネル減算利得βを得て出力する（ステップＳ２５０）。右チャネル減算利得復号部２５０は、対応する符号化装置１００の右チャネル減算利得推定部１４０で用いた方法に対応する復号方法で右チャネル減算利得符号Ｃβを復号して、右チャネル減算利得βを得る。対応する符号化装置１００の右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法で右チャネル減算利得βと右チャネル減算利得符号Ｃβを得た場合の、右チャネル減算利得復号部２５０が右チャネル減算利得符号Ｃβを復号して右チャネル減算利得βを得る方法については後述する。
右チャネル減算利得復号部２５０には、復号装置２００に入力された右チャネル減算利得符号Ｃβが入力される。右チャネル減算利得復号部２５０は、右チャネル減算利得符号Ｃβを復号して右チャネル減算利得βを得て出力する（ステップＳ２５０）。右チャネル減算利得復号部２５０は、対応する符号化装置１００の右チャネル減算利得推定部１４０で用いた方法に対応する復号方法で右チャネル減算利得符号Ｃβを復号して、右チャネル減算利得βを得る。対応する符号化装置１００の右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法で右チャネル減算利得βと右チャネル減算利得符号Ｃβを得た場合の、右チャネル減算利得復号部２５０が右チャネル減算利得符号Ｃβを復号して右チャネル減算利得βを得る方法については後述する。
【0028】
［右チャネル信号加算部２６０］
右チャネル信号加算部２６０には、モノラル復号部２１０が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、ステレオ復号部２２０が出力した右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)と、右チャネル減算利得復号部２５０が出力した右チャネル減算利得βと、が入力される。右チャネル信号加算部２６０は、対応するサンプルtごとに、右チャネル復号差分信号のサンプル値^yR(t)と、モノラル復号音信号のサンプル値^xM(t)と右チャネル減算利得βとを乗算した値β×^xM(t)と、を加算した値^yR(t)+β×^xM(t)による系列を右チャネル復号音信号^xR(1), ^xR(2), ..., ^xR(T)として得て出力する（ステップＳ２６０）。すなわち、^xR(t)=^yR(t)+β×^xM(t)である。
右チャネル信号加算部２６０には、モノラル復号部２１０が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、ステレオ復号部２２０が出力した右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)と、右チャネル減算利得復号部２５０が出力した右チャネル減算利得βと、が入力される。右チャネル信号加算部２６０は、対応するサンプルtごとに、右チャネル復号差分信号のサンプル値^yR(t)と、モノラル復号音信号のサンプル値^xM(t)と右チャネル減算利得βとを乗算した値β×^xM(t)と、を加算した値^yR(t)+β×^xM(t)による系列を右チャネル復号音信号^xR(1), ^xR(2), ..., ^xR(T)として得て出力する（ステップＳ２６０）。すなわち、^xR(t)=^yR(t)+β×^xM(t)である。
【0029】
〔量子化誤差を最小化する原理〕
以下、量子化誤差を最小化する原理について説明する。ステレオ符号化部１７０において入力された左チャネル差分信号と右チャネル差分信号を１つの符号化方式の中で合わせて符号化する場合には、左チャネル差分信号の符号化に用いるビット数bLと右チャネル差分信号の符号化に用いるビット数bRは陽に定まっていないこともあり得るが、以下では、左チャネル差分信号の符号化に用いるビット数がbLであり、右チャネル差分信号の符号化に用いるビット数がbRであるとして説明する。また、以下では主に左チャネルについて説明するが、右チャネルについても同様である。
以下、量子化誤差を最小化する原理について説明する。ステレオ符号化部１７０において入力された左チャネル差分信号と右チャネル差分信号を１つの符号化方式の中で合わせて符号化する場合には、左チャネル差分信号の符号化に用いるビット数bLと右チャネル差分信号の符号化に用いるビット数bRは陽に定まっていないこともあり得るが、以下では、左チャネル差分信号の符号化に用いるビット数がbLであり、右チャネル差分信号の符号化に用いるビット数がbRであるとして説明する。また、以下では主に左チャネルについて説明するが、右チャネルについても同様である。
【0030】
上述した符号化装置１００は、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)の各サンプル値から、ダウンミックス信号xM(1), xM(2), ..., xM(T)の各サンプル値に左チャネル減算利得αを乗算して得た値を減算して得た値からなる左チャネル差分信号yL(1), yL(2), ..., yL(T)をbLビットで符号化して、ダウンミックス信号xM(1), xM(2), ..., xM(T)をbMビットで符号化する。また、上述した復号装置２００は、bLビットの符号から左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)（以下では、「量子化済み左チャネル差分信号」ともいう）を復号し、bMビットの符号からモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)（以下では、「量子化済みダウンミックス信号」ともいう）を復号した後、復号により得た量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)の各サンプル値に左チャネル減算利得αを乗算して得た値を復号により得た量子化済み左チャネル差分信号^yL(1), ^yL(2), ..., ^yL(T)の各サンプル値に加算することで左チャネルの復号音信号である左チャネル復号音信号^xL(1), ^xL(2), ..., ^xL(T)を得る。符号化装置１００及び復号装置２００は、上記の処理で得られる左チャネルの復号音信号が有する量子化誤差のエネルギーが小さくなるように設計されるべきである。
【0031】
入力信号を符号化・復号して得られる復号信号が有する量子化誤差（以下、便宜的に「符号化により生じる量子化誤差」という）のエネルギーは、多くの場合、入力信号のエネルギーにおおよそ比例し、符号化に用いるサンプルごとのビット数の値に対して指数的に小さくなる傾向にある。したがって、左チャネル差分信号の符号化により生じる量子化誤差のサンプルあたりの平均エネルギーは正の数σL
2を用いて下記の式（１－０－１）のように推定でき、ダウンミックス信号の符号化により生じる量子化誤差のサンプルあたりの平均エネルギーは正の数σM
2を用いて下記の式（１－０－２）のように推定できる。
【数1】
【数2】
【0032】
ここで仮に、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせるほど各サンプル値が近い値となっているとする。例えば、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と右チャネルの入力信号xR(1), xR(2), ..., xR(T)が、背景雑音や反響が多くない環境下で、２個のマイクロホンから等距離にある音源が発した音を収音して得たものであるケースなどが、この条件に相当する。この条件の下では左チャネル差分信号yL(1), yL(2), ..., yL(T)の各サンプル値は、ダウンミックス信号xM(1), xM(2), ..., xM(T)の各サンプル値に(1-α)を乗算して得た値と等価となる。したがって、左チャネル差分信号のエネルギーはダウンミックス信号のエネルギーの(1-α)2倍で表せることから、上記のσL
2は上記のσM
2を用いて(1-α)2×σM
2と置き換えることができるため、左チャネル差分信号の符号化により生じる量子化誤差のサンプルあたりの平均エネルギーは下記の式（１－１）のように推定できる。
また、復号装置において量子化済み左チャネル差分信号に加算する信号が有する量子化誤差のサンプルあたりの平均エネルギー、すなわち、復号により得た量子化済みダウンミックス信号の各サンプル値と左チャネル減算利得αとを乗算して得た値の系列が有する量子化誤差のサンプルあたりの平均エネルギーは、下記の式（１－２）のように推定できる。
【数3】
また、復号装置において量子化済み左チャネル差分信号に加算する信号が有する量子化誤差のサンプルあたりの平均エネルギー、すなわち、復号により得た量子化済みダウンミックス信号の各サンプル値と左チャネル減算利得αとを乗算して得た値の系列が有する量子化誤差のサンプルあたりの平均エネルギーは、下記の式（１－２）のように推定できる。
【数4】
【0033】
左チャネル差分信号の符号化により生じる量子化誤差と、復号により得た量子化済みダウンミックス信号の各サンプル値に左チャネル減算利得αで乗算して得た値の系列が有する量子化誤差と、が互いに相関を持たないと仮定すると、左チャネルの復号音信号が有する量子化誤差のサンプルあたりの平均エネルギーは、式（１－１）と式（１－２）の和で推定される。左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する左チャネル減算利得αは、下記の式（１－３）のように求められる。
【数5】
【0034】
つまり、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせるほど各サンプル値が近い値となっている条件において左チャネルの復号音信号が有する量子化誤差を最小化するためには、左チャネル減算利得推定部１２０は左チャネル減算利得αを式（１－３）で求めればよい。式（１－３）で得られる左チャネル減算利得αは、0より大きく1未満の値であり、２つの符号化に用いるビット数であるbLとbMが等しいときには0.5であり、左チャネル差分信号を符号化するためのビット数bLがダウンミックス信号を符号化するためのビット数bMよりも多いほど0.5より0に近い値であり、ダウンミックス信号を符号化するためのビット数bMが左チャネル差分信号を符号化するためのビット数bLよりも多いほど0.5より1に近い値である。
【0035】
右チャネルについても同様であり、右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせるほど各サンプル値が近い値となっている条件において右チャネルの復号音信号が有する量子化誤差を最小化するためには、右チャネル減算利得推定部１４０は右チャネル減算利得βを下記の式（１－３－２）で求めればよい。
式（１－３－２）で得られる右チャネル減算利得βは、0より大きく1未満の値であり、２つの符号化に用いるビット数であるbRとbMが等しいときには0.5であり、右チャネル差分信号を符号化するためのビット数bRがダウンミックス信号を符号化するためのビット数bMよりも多いほど0.5より0に近い値であり、ダウンミックス信号を符号化するためのビット数bMが右チャネル差分信号を符号化するためのビット数bRよりも多いほど0.5より1に近い値である。
【数6】
式（１－３－２）で得られる右チャネル減算利得βは、0より大きく1未満の値であり、２つの符号化に用いるビット数であるbRとbMが等しいときには0.5であり、右チャネル差分信号を符号化するためのビット数bRがダウンミックス信号を符号化するためのビット数bMよりも多いほど0.5より0に近い値であり、ダウンミックス信号を符号化するためのビット数bMが右チャネル差分信号を符号化するためのビット数bRよりも多いほど0.5より1に近い値である。
【0036】
次に、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせない場合も含む、左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理について説明する。
【0037】
左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)の正規化された内積値rLは、下記の式（１－４）で表される。
式（１－４）によって得られる正規化された内積値rLは、実数値であって、ダウンミックス信号xM(1), xM(2), ..., xM(T)の各サンプル値に実数値rL'を乗算してサンプル値の系列rL'×xM(1), rL'×xM(2), ..., rL'×xM(T)を得たときに、得られたサンプル値の系列と左チャネルの入力音信号の各サンプル値との差分により得られる系列xL(1)-rL'×xM(1), xL(2)-rL'×xM(2), ..., xL(T)-rL'×xM(T)のエネルギーが最小となる実数値rL'と同じ値である。
【数7】
式（１－４）によって得られる正規化された内積値rLは、実数値であって、ダウンミックス信号xM(1), xM(2), ..., xM(T)の各サンプル値に実数値rL'を乗算してサンプル値の系列rL'×xM(1), rL'×xM(2), ..., rL'×xM(T)を得たときに、得られたサンプル値の系列と左チャネルの入力音信号の各サンプル値との差分により得られる系列xL(1)-rL'×xM(1), xL(2)-rL'×xM(2), ..., xL(T)-rL'×xM(T)のエネルギーが最小となる実数値rL'と同じ値である。
【0038】
左チャネルの入力音信号xL(1), xL(2), ..., xL(T)は、各サンプル番号tについて、xL(t)=rL×xM(t)+(xL(t)- rL×xM(t))と分解できる。ここで、xL(t)- rL×xM(t)の各値によって構成される系列を直交信号xL’(1), xL’(2), ..., xL’(T)とすると、当該分解によれば、左チャネル差分信号の各サンプル値yL(t)=xL(t)-αxM(t)は、ダウンミックス信号xM(1), xM(2), ..., xM(T)の各サンプル値xM(t)に、正規化された内積値rL及び左チャネル減算利得αを用いた(rL-α)を乗算して得た値(rL-α)×xM(t)と、直交信号の各サンプル値xL’(t)との和(rL-α)×xM(t)+xL’(t)と等価となる。直交信号xL’(1), xL’(2), ..., xL’(T)はダウンミックス信号xM(1), xM(2), ..., xM(T)に対して直交性、つまり内積が0となる性質を示すため、左チャネル差分信号のエネルギーはダウンミックス信号のエネルギーを(rL-α)2倍したものと、直交信号のエネルギーとの和で表される。したがって、左チャネル差分信号をbLビットで符号化することにより生じる量子化誤差のサンプルあたりの平均エネルギーは正の数σ2を用いて下記の式（１－５）のように推定できる。
【数8】
【0039】
左チャネル差分信号の符号化により生じる量子化誤差と、復号により得られた量子化済みダウンミックス信号の各サンプル値に左チャネル減算利得αを乗算して得た値の系列が有する量子化誤差と、が互いに相関を持たないと仮定すると、左チャネルの復号音信号が有する量子化誤差のサンプルあたりの平均エネルギーは、式（１－５）と式（１－２）の和で推定される。左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する左チャネル減算利得αは、下記の式（１－６）のように求められる。
【数9】
【0040】
つまり、左チャネルの復号音信号が有する量子化誤差を最小化するためには、左チャネル減算利得推定部１２０は左チャネル減算利得αを式（１－６）で求めればよい。すなわち、この量子化誤差のエネルギーを最小化する原理を考慮すると、左チャネル減算利得αには、正規化された内積値rLと、符号化に用いるビット数であるbLとbMによって決まる値である補正係数と、を乗算したものを使用するべきである。当該補正係数は、0より大きく1未満の値であり、左チャネル差分信号を符号化するためのビット数bLとダウンミックス信号を符号化するためのビット数bMが同じであるときには0.5であり、左チャネル差分信号を符号化するためのビット数bLがダウンミックス信号を符号化するためのビット数bMよりも多いほど0.5より0に近く、左チャネル差分信号を符号化するためのビット数bLがダウンミックス信号を符号化するためのビット数bMよりも少ないほど0.5より1に近い値である。
【0041】
右チャネルについても同様であり、右チャネルの復号音信号が有する量子化誤差を最小化するためには、右チャネル減算利得推定部１４０は右チャネル減算利得βを下記の式（１－６－２）で求めればよい。
ここで、rRは、右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)の正規化された内積値であり、下記の式（１－４－２）で表される。
すなわち、この量子化誤差のエネルギーを最小化する原理を考慮すると、右チャネル減算利得βには、正規化された内積値rRと、符号化に用いるビット数であるbRとbMによって決まる値である補正係数と、を乗算したものを使用するべきである。当該補正係数は、0より大きく1未満の値であり、右チャネル差分信号を符号化するためのビット数bRがダウンミックス信号を符号化するためのビット数bMよりも多いほど0.5よりも0に近く、右チャネル差分信号を符号化するためのビット数がダウンミックス信号を符号化するためのビット数よりも少ないほど0.5よりも1に近い値である。
【数10】
ここで、rRは、右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)の正規化された内積値であり、下記の式（１－４－２）で表される。
【数11】
すなわち、この量子化誤差のエネルギーを最小化する原理を考慮すると、右チャネル減算利得βには、正規化された内積値rRと、符号化に用いるビット数であるbRとbMによって決まる値である補正係数と、を乗算したものを使用するべきである。当該補正係数は、0より大きく1未満の値であり、右チャネル差分信号を符号化するためのビット数bRがダウンミックス信号を符号化するためのビット数bMよりも多いほど0.5よりも0に近く、右チャネル差分信号を符号化するためのビット数がダウンミックス信号を符号化するためのビット数よりも少ないほど0.5よりも1に近い値である。
【0042】
〔量子化誤差を最小化する原理に基づく減算利得の推定と復号〕
上述した量子化誤差を最小化する原理に基づく減算利得の推定と復号の具体例を説明する。各例では、符号化装置１００において減算利得の推定を行う左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０、復号装置２００において減算利得の復号を行う左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０、について説明する。
上述した量子化誤差を最小化する原理に基づく減算利得の推定と復号の具体例を説明する。各例では、符号化装置１００において減算利得の推定を行う左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０、復号装置２００において減算利得の復号を行う左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０、について説明する。
【0043】
〔〔例１〕〕
例１は、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせない場合も含む、左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理と、右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせない場合も含む、右チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理と、に基づくものである。
例１は、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせない場合も含む、左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理と、右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)が同一の系列とみなせない場合も含む、右チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理と、に基づくものである。
【0044】
〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０には、左チャネル減算利得の候補αcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図５に示す以下のステップＳ１２０－１１からステップＳ１２０－１４を行う。
左チャネル減算利得推定部１２０には、左チャネル減算利得の候補αcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図５に示す以下のステップＳ１２０－１１からステップＳ１２０－１４を行う。
【0045】
左チャネル減算利得推定部１２０は、まず、入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)から、式（１－４）によりダウンミックス信号の左チャネルの入力音信号に対する正規化された内積値rLを得る（ステップＳ１２０－１１）。また、左チャネル減算利得推定部１２０は、ステレオ符号化部１７０において左チャネル差分信号yL(1), yL(2), ..., yL(T)の符号化に用いるビット数bLと、モノラル符号化部１６０においてダウンミックス信号xM(1), xM(2), ..., xM(T)の符号化に用いるビット数bMと、フレーム当たりのサンプル数Tと、を用いて下記の式（１－７）により左チャネル補正係数cLを得る（ステップＳ１２０－１２）。
左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１１で得た正規化された内積値rLとステップＳ１２０－１２で得た左チャネル補正係数cLとを乗算した値を得る（ステップＳ１２０－１３）。左チャネル減算利得推定部１２０は、次に、記憶されている左チャネル減算利得の候補αcand(1), ..., αcand(A)のうちのステップＳ１２０－１３で得た乗算値cL×rLに最も近い候補（乗算値cL×rLの量子化値）を左チャネル減算利得αとして得て、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの左チャネル減算利得αに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１４）。
【数12】
左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１１で得た正規化された内積値rLとステップＳ１２０－１２で得た左チャネル補正係数cLとを乗算した値を得る（ステップＳ１２０－１３）。左チャネル減算利得推定部１２０は、次に、記憶されている左チャネル減算利得の候補αcand(1), ..., αcand(A)のうちのステップＳ１２０－１３で得た乗算値cL×rLに最も近い候補（乗算値cL×rLの量子化値）を左チャネル減算利得αとして得て、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの左チャネル減算利得αに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１４）。
【0046】
なお、ステレオ符号化部１７０において左チャネル差分信号yL(1), yL(2), ..., yL(T)の符号化に用いるビット数bLが陽に定まっていない場合には、ステレオ符号化部１７０が出力するステレオ符号ＣＳのビット数bsの２分の１（すなわち、bs/2）をビット数bLとして用いればよい。また、左チャネル補正係数cLは、式（１－７）そのもので得られる値ではなく、0より大きく1未満の値であり、左チャネル差分信号yL(1), yL(2), ..., yL(T)の符号化に用いるビット数bLとダウンミックス信号xM(1), xM(2), ..., xM(T)の符号化に用いるビット数bMが同じであるときには0.5であり、ビット数bLがビット数bMよりも多いほど0.5より0に近く、ビット数bLがビット数bMよりも少ないほど0.5より1に近い値としてもよい。これらは、後述する各例でも同様である。
【0047】
〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０には、右チャネル減算利得の候補βcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図５に示す以下のステップＳ１４０－１１からステップＳ１４０－１４を行う。
右チャネル減算利得推定部１４０には、右チャネル減算利得の候補βcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図５に示す以下のステップＳ１４０－１１からステップＳ１４０－１４を行う。
【0048】
右チャネル減算利得推定部１４０は、まず、入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)から、式（１－４－２）によりダウンミックス信号の右チャネルの入力音信号に対する正規化された内積値rRを得る（ステップＳ１４０－１１）。また、右チャネル減算利得推定部１４０は、ステレオ符号化部１７０において右チャネル差分信号yR(1), yR(2), ..., yR(T)の符号化に用いるビット数bRと、モノラル符号化部１６０においてダウンミックス信号xM(1), xM(2), ..., xM(T)の符号化に用いるビット数bMと、フレーム当たりのサンプル数Tと、を用いて下記の式（１－７－２）により右チャネル補正係数cRを得る（ステップＳ１４０－１２）。
右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１１で得た正規化された内積値rRとステップＳ１４０－１２で得た右チャネル補正係数cRとを乗算した値を得る（ステップＳ１４０－１３）。右チャネル減算利得推定部１４０は、次に、記憶されている右チャネル減算利得の候補βcand(1), ..., βcand(B)のうちのステップＳ１４０－１３で得た乗算値cR×rRに最も近い候補（乗算値cR×rRの量子化値）を右チャネル減算利得βとして得て、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの右チャネル減算利得βに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１４）。
【数13】
右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１１で得た正規化された内積値rRとステップＳ１４０－１２で得た右チャネル補正係数cRとを乗算した値を得る（ステップＳ１４０－１３）。右チャネル減算利得推定部１４０は、次に、記憶されている右チャネル減算利得の候補βcand(1), ..., βcand(B)のうちのステップＳ１４０－１３で得た乗算値cR×rRに最も近い候補（乗算値cR×rRの量子化値）を右チャネル減算利得βとして得て、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの右チャネル減算利得βに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１４）。
【0049】
なお、ステレオ符号化部１７０において右チャネル差分信号yR(1), yR(2), ..., yR(T)の符号化に用いるビット数bRが陽に定まっていない場合には、ステレオ符号化部１７０が出力するステレオ符号ＣＳのビット数bsの２分の１（すなわち、bs/2）をビット数bRとして用いればよい。また、右チャネル補正係数cRは、式（１－７－２）そのもので得られる値ではなく、0より大きく1未満の値であり、右チャネル差分信号yR(1), yR(2), ..., yR(T)の符号化に用いるビット数bRとダウンミックス信号xM(1), xM(2), ..., xM(T)の符号化に用いるビット数bMが同じであるときには0.5であり、ビット数bRがビット数bMよりも多いほど0.5より0に近く、ビット数bRがビット数bMよりも少ないほど0.5より1に近い値としてもよい。これらは、後述する各例でも同様である。
【0050】
〔〔〔左チャネル減算利得復号部２３０〕〕〕
左チャネル減算利得復号部２３０には、対応する符号化装置１００の左チャネル減算利得推定部１２０に記憶されているものと同じ、左チャネル減算利得の候補αcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得復号部２３０は、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの入力された左チャネル減算利得符号Ｃαに対応する左チャネル減算利得の候補を左チャネル減算利得αとして得る（ステップＳ２３０－１１）。
左チャネル減算利得復号部２３０には、対応する符号化装置１００の左チャネル減算利得推定部１２０に記憶されているものと同じ、左チャネル減算利得の候補αcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得復号部２３０は、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの入力された左チャネル減算利得符号Ｃαに対応する左チャネル減算利得の候補を左チャネル減算利得αとして得る（ステップＳ２３０－１１）。
【0051】
〔〔〔右チャネル減算利得復号部２５０〕〕〕
右チャネル減算利得復号部２５０には、対応する符号化装置１００の右チャネル減算利得推定部１４０に記憶されているものと同じ、右チャネル減算利得の候補βcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得復号部２５０は、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの入力された右チャネル減算利得符号Ｃβに対応する右チャネル減算利得の候補を右チャネル減算利得βとして得る（ステップＳ２５０－１１）。
右チャネル減算利得復号部２５０には、対応する符号化装置１００の右チャネル減算利得推定部１４０に記憶されているものと同じ、右チャネル減算利得の候補βcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得復号部２５０は、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの入力された右チャネル減算利得符号Ｃβに対応する右チャネル減算利得の候補を右チャネル減算利得βとして得る（ステップＳ２５０－１１）。
【0052】
なお、左チャネルと右チャネルでは同じ減算利得の候補や符号を用いればよく、上述したAとBを同じ値として、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０に記憶されている左チャネル減算利得の候補αcand(a)と当該候補に対応する符号Ｃαcand(a)との組と、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０に記憶されている右チャネル減算利得の候補βcand(b)と当該候補に対応する符号Ｃβcand(b)との組と、を同じにしてもよい。
【0053】
〔〔例１の変形例〕〕
符号化装置１００で左チャネル差分信号の符号化に用いるビット数bLは復号装置２００で左チャネル差分信号の復号に用いるビット数であり、符号化装置１００でダウンミックス信号の符号化に用いるビット数bMの値は復号装置２００でダウンミックス信号の復号に用いるビット数であるので、補正係数cLは符号化装置１００でも復号装置２００でも同じ値を計算することができる。したがって、正規化された内積値rLを符号化と復号の対象として、符号化装置１００と復号装置２００で正規化された内積値の量子化値^rLに補正係数cLを乗算して左チャネル減算利得αを得てもよい。右チャネルについても同様である。この形態を例１の変形例として説明する。
符号化装置１００で左チャネル差分信号の符号化に用いるビット数bLは復号装置２００で左チャネル差分信号の復号に用いるビット数であり、符号化装置１００でダウンミックス信号の符号化に用いるビット数bMの値は復号装置２００でダウンミックス信号の復号に用いるビット数であるので、補正係数cLは符号化装置１００でも復号装置２００でも同じ値を計算することができる。したがって、正規化された内積値rLを符号化と復号の対象として、符号化装置１００と復号装置２００で正規化された内積値の量子化値^rLに補正係数cLを乗算して左チャネル減算利得αを得てもよい。右チャネルについても同様である。この形態を例１の変形例として説明する。
【0054】
〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０には、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図６に示す通り、例１でも説明したステップＳ１２０－１１とステップＳ１２０－１２と、下記のステップＳ１２０－１５とステップＳ１２０－１６と、を行う。
左チャネル減算利得推定部１２０には、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図６に示す通り、例１でも説明したステップＳ１２０－１１とステップＳ１２０－１２と、下記のステップＳ１２０－１５とステップＳ１２０－１６と、を行う。
【0055】
左チャネル減算利得推定部１２０は、まず、例１の左チャネル減算利得推定部１２０のステップＳ１２０－１１と同様に、入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)から、式（１－４）によりダウンミックス信号の左チャネルの入力音信号に対する正規化された内積値rLを得る（ステップＳ１２０－１１）。左チャネル減算利得推定部１２０は、次に、記憶されている左チャネルの正規化された内積値の候補rLcand(1), ..., rLcand(A)のうちのステップＳ１２０－１１で得た正規化された内積値rLに最も近い候補（正規化された内積値rLの量子化値）^rLを得て、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの当該最も近い候補^rLに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１５）。また、左チャネル減算利得推定部１２０は、例１の左チャネル減算利得推定部１２０のステップＳ１２０－１２と同様に、ステレオ符号化部１７０において左チャネル差分信号yL(1), yL(2), ..., yL(T)の符号化に用いるビット数bLと、モノラル符号化部１６０においてダウンミックス信号xM(1), xM(2), ..., xM(T)の符号化に用いるビット数bMと、フレーム当たりのサンプル数Tと、を用いて式（１－７）により左チャネル補正係数cLを得る（ステップＳ１２０－１２）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１５で得た正規化された内積値の量子化値^rLとステップＳ１２０－１２で得た左チャネル補正係数cLとを乗算した値を左チャネル減算利得αとして得る（ステップＳ１２０－１６）。
【0056】
〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０には、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図６に示す通り、例１でも説明したステップＳ１４０－１１とステップＳ１４０－１２と、下記のステップＳ１４０－１５とステップＳ１４０－１６と、を行う。
右チャネル減算利得推定部１４０には、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図６に示す通り、例１でも説明したステップＳ１４０－１１とステップＳ１４０－１２と、下記のステップＳ１４０－１５とステップＳ１４０－１６と、を行う。
【0057】
右チャネル減算利得推定部１４０は、まず、例１の右チャネル減算利得推定部１４０のステップＳ１４０－１１と同様に、入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)とダウンミックス信号xM(1), xM(2), ..., xM(T)から、式（１－４－２）によりダウンミックス信号の右チャネルの入力音信号に対する正規化された内積値rRを得る（ステップＳ１４０－１１）。右チャネル減算利得推定部１４０は、次に、記憶されている右チャネルの正規化された内積値の候補rRcand(1), ..., rRcand(B)のうちのステップＳ１４０－１１で得た正規化された内積値rRに最も近い候補（正規化された内積値rRの量子化値）^rRを得て、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの当該最も近い候補^rRに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１５）。また、右チャネル減算利得推定部１４０は、例１の右チャネル減算利得推定部１４０のステップＳ１４０－１２と同様に、ステレオ符号化部１７０において右チャネル差分信号yR(1), yR(2), ..., yR(T)の符号化に用いるビット数bRと、モノラル符号化部１６０においてダウンミックス信号xM(1), xM(2), ..., xM(T)の符号化に用いるビット数bMと、フレーム当たりのサンプル数Tと、を用いて式（１－７－２）により右チャネル補正係数cRを得る（ステップＳ１４０－１２）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１５で得た正規化された内積値の量子化値^rRとステップＳ１４０－１２で得た右チャネル補正係数cRとを乗算した値を右チャネル減算利得βとして得る（ステップＳ１４０－１６）。
【0058】
〔〔〔左チャネル減算利得復号部２３０〕〕〕
左チャネル減算利得復号部２３０には、対応する符号化装置１００の左チャネル減算利得推定部１２０に記憶されているものと同じ、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得復号部２３０は、図７に示す以下のステップＳ２３０－１２からステップＳ２３０－１４を行う。
左チャネル減算利得復号部２３０には、対応する符号化装置１００の左チャネル減算利得推定部１２０に記憶されているものと同じ、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得復号部２３０は、図７に示す以下のステップＳ２３０－１２からステップＳ２３０－１４を行う。
【0059】
左チャネル減算利得復号部２３０は、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの入力された左チャネル減算利得符号Ｃαに対応する左チャネルの正規化された内積値の候補を左チャネルの正規化された内積値の復号値^rLとして得る（ステップＳ２３０－１２）。また、左チャネル減算利得復号部２３０は、ステレオ復号部２２０において左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)の復号に用いるビット数bLと、モノラル復号部２１０においてモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)の復号に用いるビット数bMと、フレーム当たりのサンプル数Tと、を用いて式（１－７）により左チャネル補正係数cLを得る（ステップＳ２３０－１３）。左チャネル減算利得復号部２３０は、次に、ステップＳ２３０－１２で得た正規化された内積値の復号値^rLとステップＳ２３０－１３で得た左チャネル補正係数cLとを乗算した値を左チャネル減算利得αとして得る（ステップＳ２３０－１４）。
【0060】
なお、ステレオ符号ＣＳが左チャネル差分符号ＣＬと右チャネル差分符号ＣＲを合わせたものである場合には、ステレオ復号部２２０において左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)の復号に用いるビット数bLとは左チャネル差分符号ＣＬのビット数である。ステレオ復号部２２０において左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)の復号に用いるビット数bLが陽に定まっていない場合には、ステレオ復号部２２０に入力されるステレオ符号ＣＳのビット数bsの２分の１（すなわち、bs/2）をビット数bLとして用いればよい。モノラル復号部２１０においてモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)の復号に用いるビット数bMとは、モノラル符号ＣＭのビット数である。左チャネル補正係数cLは、式（１－７）そのもので得られる値ではなく、0より大きく1未満の値であり、左チャネル復号差分信号^yL(1), ^yL(2), ..., ^yL(T)の復号に用いるビット数bLとモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)の復号に用いるビット数bMが同じであるときには0.5であり、ビット数bLがビット数bMよりも多いほど0.5より0に近く、ビット数bLがビット数bMよりも少ないほど0.5より1に近い値としてもよい。
【0061】
〔〔〔右チャネル減算利得復号部２５０〕〕〕
右チャネル減算利得復号部２５０には、対応する符号化装置１００の右チャネル減算利得推定部１４０に記憶されているものと同じ、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得復号部２５０は、図７に示す以下のステップＳ２５０－１２からステップＳ２５０－１４を行う。
右チャネル減算利得復号部２５０には、対応する符号化装置１００の右チャネル減算利得推定部１４０に記憶されているものと同じ、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得復号部２５０は、図７に示す以下のステップＳ２５０－１２からステップＳ２５０－１４を行う。
【0062】
右チャネル減算利得復号部２５０は、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの入力された右チャネル減算利得符号Ｃβに対応する右チャネルの正規化された内積値の候補を右チャネルの正規化された内積値の復号値^rRとして得る（ステップＳ２５０－１２）。また、右チャネル減算利得復号部２５０は、ステレオ復号部２２０において右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)の復号に用いるビット数bRと、モノラル復号部２１０においてモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)の復号に用いるビット数bMと、フレーム当たりのサンプル数Tと、を用いて式（１－７－２）により右チャネル補正係数cRを得る（ステップＳ２５０－１３）。右チャネル減算利得復号部２５０は、次に、ステップＳ２５０－１２で得た正規化された内積値の復号値^rRとステップＳ２５０－１３で得た右チャネル補正係数cRとを乗算した値を右チャネル減算利得βとして得る（ステップＳ２５０－１４）。
【0063】
なお、ステレオ符号ＣＳが左チャネル差分符号ＣＬと右チャネル差分符号ＣＲを合わせたものである場合には、ステレオ復号部２２０において右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)の復号に用いるビット数bRとは右チャネル差分符号ＣＲのビット数である。ステレオ復号部２２０において右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)の復号に用いるビット数bRが陽に定まっていない場合には、ステレオ復号部２２０に入力されるステレオ符号ＣＳのビット数bsの２分の１（すなわち、bs/2）をビット数bRとして用いればよい。モノラル復号部２１０においてモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)の復号に用いるビット数bMとは、モノラル符号ＣＭのビット数である。右チャネル補正係数cRは、式（１－７－２）そのもので得られる値ではなく、0より大きく1未満の値であり、右チャネル復号差分信号^yR(1), ^yR(2), ..., ^yR(T)の復号に用いるビット数bRとモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)の復号に用いるビット数bMが同じであるときには0.5であり、ビット数bRがビット数bMよりも多いほど0.5より0に近く、ビット数bRがビット数bMよりも少ないほど0.5より1に近い値としてもよい。
【0064】
なお、左チャネルと右チャネルでは同じ正規化された内積値の候補や符号を用いればよく、上述したAとBを同じ値として、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０に記憶されている左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Ｃαcand(a)との組と、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０に記憶されている右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Ｃβcand(b)との組と、を同じにしてもよい。
【0065】
なお、符号Ｃαは、実質的には左チャネル減算利得αに対応する符号であること、符号化装置１００と復号装置２００の説明中で文言を整合させる目的、などから左チャネル減算利得符号と呼んでいるが、正規化された内積値を表すものであることからすると左チャネル内積符号などと呼んでもよいものである。符号Ｃβについても同様であり、右チャネル内積符号などと呼んでもよい。
【0066】
〔〔例２〕〕
正規化された内積値として過去のフレームの入力の値も考慮した値を用いる例を例２として説明する。例２は、フレーム内での最適性、すなわち、左チャネルの復号音信号が有する量子化誤差のエネルギーの最小化と右チャネルの復号音信号が有する量子化誤差のエネルギーの最小化は厳密には保証されないが、左チャネル減算利得αのフレーム間の急激な変動と右チャネル減算利得βのフレーム間の急激な変動を少なくして、当該変動に由来して復号音信号に生じるノイズを低減するものである。すなわち、例２は、復号音信号が有する量子化誤差のエネルギーを小さくすることに加えて復号音信号の聴覚品質も考慮したものである。
正規化された内積値として過去のフレームの入力の値も考慮した値を用いる例を例２として説明する。例２は、フレーム内での最適性、すなわち、左チャネルの復号音信号が有する量子化誤差のエネルギーの最小化と右チャネルの復号音信号が有する量子化誤差のエネルギーの最小化は厳密には保証されないが、左チャネル減算利得αのフレーム間の急激な変動と右チャネル減算利得βのフレーム間の急激な変動を少なくして、当該変動に由来して復号音信号に生じるノイズを低減するものである。すなわち、例２は、復号音信号が有する量子化誤差のエネルギーを小さくすることに加えて復号音信号の聴覚品質も考慮したものである。
【0067】
例２は、符号化側、すなわち、左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０は例１と異なるが、復号側、すなわち、左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０は例１と同じである。以下、例２が例１と異なる点を中心に説明する。
【0068】
〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０は、図８に示す通り、下記のステップＳ１２０－１１１からステップＳ１２０－１１３と、例１で説明したステップＳ１２０－１２からステップＳ１２０－１４と、を行う。
左チャネル減算利得推定部１２０は、図８に示す通り、下記のステップＳ１２０－１１１からステップＳ１２０－１１３と、例１で説明したステップＳ１２０－１２からステップＳ１２０－１４と、を行う。
【0069】
左チャネル減算利得推定部１２０は、まず、入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と、入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)と、前のフレームで用いた内積値EL(-1)と、を用いて、下記の式（１－８）により、現在のフレームで用いる内積値EL(0)を得る（ステップＳ１２０－１１１）。
ここで、εLは、０より大きく１未満の予め定めた値であり、左チャネル減算利得推定部１２０に予め記憶されている。なお、左チャネル減算利得推定部１２０は、得た内積値EL(0)を、「前のフレームで用いた内積値EL(-1)」として次のフレームで用いるために、左チャネル減算利得推定部１２０内に記憶する。
【数14】
ここで、εLは、０より大きく１未満の予め定めた値であり、左チャネル減算利得推定部１２０に予め記憶されている。なお、左チャネル減算利得推定部１２０は、得た内積値EL(0)を、「前のフレームで用いた内積値EL(-1)」として次のフレームで用いるために、左チャネル減算利得推定部１２０内に記憶する。
【0070】
左チャネル減算利得推定部１２０は、また、入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)と、前のフレームで用いたダウンミックス信号のエネルギーEM(-1)と、を用いて、下記の式（１－９）により、現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を得る（ステップＳ１２０－１１２）。
ここで、εMは、０より大きく１未満で予め定めた値であり、左チャネル減算利得推定部１２０に予め記憶されている。なお、左チャネル減算利得推定部１２０は、得たダウンミックス信号のエネルギーEM(0)を、「前のフレームで用いたダウンミックス信号のエネルギーEM(-1)」として次のフレームで用いるために、左チャネル減算利得推定部１２０内に記憶する。
【数15】
ここで、εMは、０より大きく１未満で予め定めた値であり、左チャネル減算利得推定部１２０に予め記憶されている。なお、左チャネル減算利得推定部１２０は、得たダウンミックス信号のエネルギーEM(0)を、「前のフレームで用いたダウンミックス信号のエネルギーEM(-1)」として次のフレームで用いるために、左チャネル減算利得推定部１２０内に記憶する。
【0071】
左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１１１で得た現在のフレームで用いる内積値EL(0)と、ステップＳ１２０－１１２で得た現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を用いて、正規化された内積値rLを下記の式（１－１０）で得る（ステップＳ１２０－１１３）。
【数16】
【0072】
左チャネル減算利得推定部１２０は、また、ステップＳ１２０－１２を行い、次に、ステップＳ１２０－１１で得た正規化された内積値rLに代えて上述したステップＳ１２０－１１３で得た正規化された内積値rLを用いてステップＳ１２０－１３を行い、さらに、ステップＳ１２０－１４を行う。
【0073】
なお、上記のεL及びεMは、１に近いほど正規化された内積値rLには過去のフレームの左チャネルの入力音信号とダウンミックス信号の影響が含まれやすくなり、正規化された内積値rLや、正規化された内積値rLにより得られる左チャネル減算利得αのフレーム間の変動は小さくなる。
【0074】
〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０は、図８に示す通り、以下のステップＳ１４０－１１１からステップＳ１４０－１１３と、例１で説明したステップＳ１４０－１２からステップＳ１４０－１４と、を行う。
右チャネル減算利得推定部１４０は、図８に示す通り、以下のステップＳ１４０－１１１からステップＳ１４０－１１３と、例１で説明したステップＳ１４０－１２からステップＳ１４０－１４と、を行う。
【0075】
右チャネル減算利得推定部１４０は、まず、入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)と、入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)と、前のフレームで用いた内積値ER(-1)と、を用いて、下記の式（１－８－２）により、現在のフレームで用いる内積値ER(0)を得る（ステップＳ１４０－１１１）。
ここで、εRは、０より大きく１未満の予め定めた値であり、右チャネル減算利得推定部１４０に予め記憶されている。なお、右チャネル減算利得推定部１４０は、得た内積値ER(0)を、「前のフレームで用いた内積値ER(-1)」として次のフレームで用いるために、右チャネル減算利得推定部１４０内に記憶する。
【数17】
ここで、εRは、０より大きく１未満の予め定めた値であり、右チャネル減算利得推定部１４０に予め記憶されている。なお、右チャネル減算利得推定部１４０は、得た内積値ER(0)を、「前のフレームで用いた内積値ER(-1)」として次のフレームで用いるために、右チャネル減算利得推定部１４０内に記憶する。
【0076】
右チャネル減算利得推定部１４０は、また、入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)と、前のフレームで用いたダウンミックス信号のエネルギーEM(-1)と、を用いて、式（１－９）により、現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を得る（ステップＳ１４０－１１２）。右チャネル減算利得推定部１４０は、得たダウンミックス信号のエネルギーEM(0)を、「前のフレームで用いたダウンミックス信号のエネルギーEM(-1)」として次のフレームで用いるために、右チャネル減算利得推定部１４０内に記憶する。なお、左チャネル減算利得推定部１２０でも式（１－９）により現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を得るので、左チャネル減算利得推定部１２０が行うステップＳ１２０－１１２と右チャネル減算利得推定部１４０が行うステップＳ１４０－１１２は何れか一方のみを行うようにしてもよい。
【0077】
右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１１１で得た現在のフレームで用いる内積値ER(0)と、ステップＳ１４０－１１２で得た現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を用いて、正規化された内積値rRを下記の式（１－１０－２）で得る（ステップＳ１４０－１１３）。
【数18】
【0078】
右チャネル減算利得推定部１４０は、また、ステップＳ１４０－１２を行い、次に、ステップＳ１４０－１１で得た正規化された内積値rRに代えて上述したステップＳ１４０－１１３で得た正規化された内積値rRを用いてステップＳ１４０－１３を行い、さらに、ステップＳ１４０－１４を行う。
【0079】
なお、上記のεR及びεMは、１に近いほど正規化された内積値rRには過去のフレームの右チャネルの入力音信号とダウンミックス信号の影響が含まれやすくなり、正規化された内積値rRや、正規化された内積値rRにより得られる右チャネル減算利得βのフレーム間の変動は小さくなる。
【0080】
〔〔例２の変形例〕〕
例２についても、例１に対する例１の変形例と同様の変形ができる。この形態を例２の変形例として説明する。例２の変形例は、符号化側、すなわち、左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０は例１の変形例と異なるが、復号側、すなわち、左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０は例１の変形例と同じである。例２の変形例の例１の変形例と異なる点は例２と同様であるので、以下では、例２の変形例について、例１の変形例と例２を適宜参照して説明する。
例２についても、例１に対する例１の変形例と同様の変形ができる。この形態を例２の変形例として説明する。例２の変形例は、符号化側、すなわち、左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０は例１の変形例と異なるが、復号側、すなわち、左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０は例１の変形例と同じである。例２の変形例の例１の変形例と異なる点は例２と同様であるので、以下では、例２の変形例について、例１の変形例と例２を適宜参照して説明する。
【0081】
〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０には、例１の変形例の左チャネル減算利得推定部１２０と同様に、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図９に示す通り、例２と同じステップＳ１２０－１１１からステップＳ１２０－１１３と、例１の変形例と同じステップＳ１２０－１２とステップＳ１２０－１５とステップＳ１２０－１６と、を行う。具体的には以下の通りである。
左チャネル減算利得推定部１２０には、例１の変形例の左チャネル減算利得推定部１２０と同様に、左チャネルの正規化された内積値の候補rLcand(a)と当該候補に対応する符号Ｃαcand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図９に示す通り、例２と同じステップＳ１２０－１１１からステップＳ１２０－１１３と、例１の変形例と同じステップＳ１２０－１２とステップＳ１２０－１５とステップＳ１２０－１６と、を行う。具体的には以下の通りである。
【0082】
左チャネル減算利得推定部１２０は、まず、入力された左チャネルの入力音信号xL(1), xL(2), ..., xL(T)と、入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)と、前のフレームで用いた内積値EL(-1)と、を用いて、式（１－８）により、現在のフレームで用いる内積値EL(0)を得る（ステップＳ１２０－１１１）。左チャネル減算利得推定部１２０は、また、入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)と、前のフレームで用いたダウンミックス信号のエネルギーEM(-1)と、を用いて、式（１－９）により、現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を得る（ステップＳ１２０－１１２）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１１１で得た現在のフレームで用いる内積値EL(0)と、ステップＳ１２０－１１２で得た現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を用いて、式（１－１０）により、正規化された内積値rLを得る（ステップＳ１２０－１１３）。左チャネル減算利得推定部１２０は、次に、記憶されている左チャネルの正規化された内積値の候補rLcand(1), ..., rLcand(A)のうちのステップＳ１２０－１１３で得た正規化された内積値rLに最も近い候補（正規化された内積値rLの量子化値）^rLを得て、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの当該最も近い候補^rLに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１５）。また、左チャネル減算利得推定部１２０は、ステレオ符号化部１７０において左チャネル差分信号yL(1), yL(2), ..., yL(T)の符号化に用いるビット数bLと、モノラル符号化部１６０においてダウンミックス信号xM(1), xM(2), ..., xM(T)の符号化に用いるビット数bMと、フレーム当たりのサンプル数Tと、を用いて、式（１－７）により、左チャネル補正係数cLを得る（ステップＳ１２０－１２）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１５で得た正規化された内積値の量子化値^rLとステップＳ１２０－１２で得た左チャネル補正係数cLとを乗算した値を左チャネル減算利得αとして得る（ステップＳ１２０－１６）。
【0083】
〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０には、例１の変形例の右チャネル減算利得推定部１４０と同様に、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図９に示す通り、例２と同じステップＳ１４０－１１１からステップＳ１４０－１１３と、例１の変形例と同じステップＳ１４０－１２とステップＳ１４０－１５とステップＳ１４０－１６と、を行う。具体的には以下の通りである。
右チャネル減算利得推定部１４０には、例１の変形例の右チャネル減算利得推定部１４０と同様に、右チャネルの正規化された内積値の候補rRcand(b)と当該候補に対応する符号Ｃβcand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図９に示す通り、例２と同じステップＳ１４０－１１１からステップＳ１４０－１１３と、例１の変形例と同じステップＳ１４０－１２とステップＳ１４０－１５とステップＳ１４０－１６と、を行う。具体的には以下の通りである。
【0084】
右チャネル減算利得推定部１４０は、まず、入力された右チャネルの入力音信号xR(1), xR(2), ..., xR(T)と、入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)と、前のフレームで用いた内積値ER(-1)と、を用いて、式（１－８－２）により、現在のフレームで用いる内積値ER(0)を得る（ステップＳ１４０－１１１）。右チャネル減算利得推定部１４０は、また、入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)と、前のフレームで用いたダウンミックス信号のエネルギーEM(-1)と、を用いて、式（１－９）により、現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を得る（ステップＳ１４０－１１２）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１１１で得た現在のフレームで用いる内積値ER(0)と、ステップＳ１４０－１１２で得た現在のフレームで用いるダウンミックス信号のエネルギーEM(0)を用いて、式（１－１０－２）により、正規化された内積値rRを得る（ステップＳ１４０－１１３）。右チャネル減算利得推定部１４０は、次に、記憶されている右チャネルの正規化された内積値の候補rRcand(1), ..., rRcand(B)のうちのステップＳ１４０－１１３で得た正規化された内積値rRに最も近い候補（正規化された内積値rRの量子化値）^rRを得て、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの当該最も近い候補^rRに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１５）。また、右チャネル減算利得推定部１４０は、ステレオ符号化部１７０において右チャネル差分信号yR(1), yR(2), ..., yR(T)の符号化に用いるビット数bRと、モノラル符号化部１６０においてダウンミックス信号xM(1), xM(2), ..., xM(T)の符号化に用いるビット数bMと、フレーム当たりのサンプル数Tと、を用いて、式（１－７－２）により右チャネル補正係数cRを得る（ステップＳ１４０－１２）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１５で得た正規化された内積値の量子化値^rRとステップＳ１４０－１２で得た右チャネル補正係数cRとを乗算した値を右チャネル減算利得βとして得る（ステップＳ１４０－１６）。
【0085】
〔〔例３〕〕
例えば、左チャネルの入力音信号に含まれている音声や音楽などの音と、右チャネルの入力音信号に含まれている音声や音楽などの音と、が異なる場合には、ダウンミックス信号には左チャネルの入力音信号の成分も右チャネルの入力音信号の成分も含まれ得るため、左チャネル減算利得αとして大きな値を用いるほど、左チャネル復号音信号の中に本来聴こえるはずのない右チャネルの入力音信号に由来する音が含まれているように聞こえてしまい、右チャネル減算利得βとして大きな値を用いるほど、右チャネル復号音信号の中に本来聴こえるはずのない左チャネルの入力音信号に由来する音が含まれているように聞こえてしまうという課題がある。そこで、復号音信号が有する量子化誤差のエネルギーの最小化は厳密には保証されないものの、聴覚品質を考慮して、左チャネル減算利得αと右チャネル減算利得βを例１により求まる値より小さい値としてもよい。また同様に、左チャネル減算利得αと右チャネル減算利得βを例２により求まる値より小さい値としてもよい。
例えば、左チャネルの入力音信号に含まれている音声や音楽などの音と、右チャネルの入力音信号に含まれている音声や音楽などの音と、が異なる場合には、ダウンミックス信号には左チャネルの入力音信号の成分も右チャネルの入力音信号の成分も含まれ得るため、左チャネル減算利得αとして大きな値を用いるほど、左チャネル復号音信号の中に本来聴こえるはずのない右チャネルの入力音信号に由来する音が含まれているように聞こえてしまい、右チャネル減算利得βとして大きな値を用いるほど、右チャネル復号音信号の中に本来聴こえるはずのない左チャネルの入力音信号に由来する音が含まれているように聞こえてしまうという課題がある。そこで、復号音信号が有する量子化誤差のエネルギーの最小化は厳密には保証されないものの、聴覚品質を考慮して、左チャネル減算利得αと右チャネル減算利得βを例１により求まる値より小さい値としてもよい。また同様に、左チャネル減算利得αと右チャネル減算利得βを例２により求まる値より小さい値としてもよい。
【0086】
具体的には、左チャネルについては、例１および例２において、正規化された内積値rLと左チャネル補正係数cLの乗算値cL×rLの量子化値を左チャネル減算利得αとしていたのを、例３では、正規化された内積値rLと左チャネル補正係数cLと０より大きく１より小さい予め定めた値であるλLの乗算値λL×cL×rLの量子化値を左チャネル減算利得αとする。従って、例１や例２と同様に乗算値cL×rLを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として左チャネル減算利得符号Ｃαが乗算値cL×rLの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が乗算値cL×rLの量子化値とλLを乗算して左チャネル減算利得αを得るようにしてもよい。または、正規化された内積値rLと左チャネル補正係数cLと予め定めた値λLの乗算値λL×cL×rLを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として、左チャネル減算利得符号Ｃαが乗算値λL×cL×rLの量子化値を表すようにしてもよい。
【0087】
同様に、右チャネルについては、例１および例２において、正規化された内積値rRと右チャネル補正係数cRの乗算値cR×rRの量子化値を右チャネル減算利得βとしていたのを、例３では、正規化された内積値rRと右チャネル補正係数cRと０より大きく１より小さい予め定めた値であるλRの乗算値λR×cR×rRの量子化値を右チャネル減算利得βとする。従って、例１や例２と同様に乗算値cR×rRを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として右チャネル減算利得符号Ｃβが乗算値cR×rRの量子化値を表すようにして、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０が乗算値cR×rRの量子化値とλRとを乗算して右チャネル減算利得βを得るようにしてもよい。または、正規化された内積値rRと左チャネル補正係数cRと予め定めた値λRの乗算値λR×cR×rRを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として、右チャネル減算利得符号Ｃβが乗算値λR×cR×rRの量子化値を表すようにしてもよい。なお、λRはλLと同じ値とするとよい。
【0088】
〔〔例３の変形例〕〕
上述したように補正係数cLは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、例１の変形例や例２の変形例と同様に正規化された内積値rLを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として左チャネル減算利得符号Ｃαが正規化された内積値rLの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が正規化された内積値rLの量子化値と左チャネル補正係数cLと０より大きく１より小さい予め定めた値であるλLを乗算して左チャネル減算利得αを得るようにしてもよい。または、正規化された内積値rLと０より大きく１より小さい予め定めた値であるλLの乗算値λL×rLを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として、左チャネル減算利得符号Ｃαが乗算値λL×rLの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が乗算値λL×rLの量子化値と左チャネル補正係数cLを乗算して左チャネル減算利得αを得るようにしてもよい。
上述したように補正係数cLは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、例１の変形例や例２の変形例と同様に正規化された内積値rLを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として左チャネル減算利得符号Ｃαが正規化された内積値rLの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が正規化された内積値rLの量子化値と左チャネル補正係数cLと０より大きく１より小さい予め定めた値であるλLを乗算して左チャネル減算利得αを得るようにしてもよい。または、正規化された内積値rLと０より大きく１より小さい予め定めた値であるλLの乗算値λL×rLを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として、左チャネル減算利得符号Ｃαが乗算値λL×rLの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が乗算値λL×rLの量子化値と左チャネル補正係数cLを乗算して左チャネル減算利得αを得るようにしてもよい。
【0089】
右チャネルについても同様であり、補正係数cRは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、例１の変形例や例２の変形例と同様に正規化された内積値rRを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として右チャネル減算利得符号Ｃβが正規化された内積値rRの量子化値を表すようにして、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０が正規化された内積値rRの量子化値と右チャネル補正係数cRと０より大きく１より小さい予め定めた値であるλRを乗算して右チャネル減算利得βを得るようにしてもよい。または、正規化された内積値rRと０より大きく１より小さい予め定めた値であるλRの乗算値λR×rRを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として、右チャネル減算利得符号Ｃβが乗算値λR×rRの量子化値を表すようにして、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０が乗算値λR×rRの量子化値と右チャネル補正係数cRを乗算して右チャネル減算利得βを得るようにしてもよい。
【0090】
〔〔例４〕〕
例３の冒頭で説明した聴覚品質の課題が生じるのは左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいときであって、この課題は左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいときにはあまり生じない。そこで、例４では、例３の予め定めた値に代えて、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γを用いることで、左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいほど、復号音信号が有する量子化誤差のエネルギーを小さくすることを優先し、左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいほど、聴覚品質の劣化を抑えることを優先する。
例３の冒頭で説明した聴覚品質の課題が生じるのは左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいときであって、この課題は左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいときにはあまり生じない。そこで、例４では、例３の予め定めた値に代えて、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γを用いることで、左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいほど、復号音信号が有する量子化誤差のエネルギーを小さくすることを優先し、左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいほど、聴覚品質の劣化を抑えることを優先する。
【0091】
例４は、符号化側は例１および例２と異なるが、復号側、すなわち、左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０は例１および例２と同じである。以下、例４が例１および例２と異なる点について説明する。
【0092】
〔〔〔左右関係情報推定部１８０〕〕〕
例４の符号化装置１００は、図１に破線で示すように左右関係情報推定部１８０も含む。左右関係情報推定部１８０には、符号化装置１００に入力された左チャネルの入力音信号と、符号化装置１００に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８０は、入力された左チャネルの入力音信号と右チャネルの入力音信号から左右相関係数γを得て出力する（ステップＳ１８０）。
例４の符号化装置１００は、図１に破線で示すように左右関係情報推定部１８０も含む。左右関係情報推定部１８０には、符号化装置１００に入力された左チャネルの入力音信号と、符号化装置１００に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８０は、入力された左チャネルの入力音信号と右チャネルの入力音信号から左右相関係数γを得て出力する（ステップＳ１８０）。
【0093】
左右相関係数γは、左チャネルの入力音信号と右チャネルの入力音信号の相関係数であり、左チャネルの入力音信号のサンプル列xL(1), xL(2), ..., xL(T)と右チャネルの入力音信号のサンプル列xＲ(1), xR(2), ..., xR(T)の相関係数γ0であってもよいし、時間差を考慮した相関係数、例えば、左チャネルの入力音信号のサンプル列と、τサンプルだけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関係数γτであってもよい。
【0094】
このτは、ある空間に配置した左チャネル用のマイクロホンで収音した音をＡＤ変換して得られた音信号が左チャネルの入力音信号であり、当該空間に配置した右チャネル用のマイクロホンで収音した音をＡＤ変換して得られた音信号が右チャネルの入力音信号である、と仮定したときの、当該空間で主に音を発している音源から左チャネル用のマイクロホンへの到達時間と、当該音源から右チャネル用のマイクロホンへの到達時間と、の差（いわゆる到来時間差）に相当する情報であり、以降では左右時間差と呼ぶ。左右時間差τは、周知の何れの方法で求めてもよく、第２参考形態の左右関係情報推定部１８１で説明する方法などで求めればよい。すなわち、上述した相関係数γτは、音源から左チャネル用のマイクロホンに到達して収音された音信号と、当該音源から右チャネル用のマイクロホンに到達して収音された音信号と、の相関係数に相当する情報である。
【0095】
〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０は、ステップＳ１２０－１３に代えて、ステップＳ１２０－１１またはステップＳ１２０－１１３で得た正規化された内積値rLと、ステップＳ１２０－１２で得た左チャネル補正係数cLと、ステップＳ１８０で得た左右相関係数γと、を乗算した値を得る（ステップＳ１２０－１３”）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１４に代えて、記憶されている左チャネル減算利得の候補αcand(1), ..., αcand(A)のうちのステップＳ１２０－１３”で得た乗算値γ×cL×rLに最も近い候補（乗算値γ×cL×rLの量子化値）を左チャネル減算利得αとして得て、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの左チャネル減算利得αに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１４”）。
左チャネル減算利得推定部１２０は、ステップＳ１２０－１３に代えて、ステップＳ１２０－１１またはステップＳ１２０－１１３で得た正規化された内積値rLと、ステップＳ１２０－１２で得た左チャネル補正係数cLと、ステップＳ１８０で得た左右相関係数γと、を乗算した値を得る（ステップＳ１２０－１３”）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１４に代えて、記憶されている左チャネル減算利得の候補αcand(1), ..., αcand(A)のうちのステップＳ１２０－１３”で得た乗算値γ×cL×rLに最も近い候補（乗算値γ×cL×rLの量子化値）を左チャネル減算利得αとして得て、記憶されている符号Ｃαcand(1), ..., Ｃαcand(A)のうちの左チャネル減算利得αに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１４”）。
【0096】
〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０は、ステップＳ１４０－１３に代えて、ステップＳ１４０－１１またはステップＳ１４０－１１３で得た正規化された内積値rRと、ステップＳ１４０－１２で得た右チャネル補正係数cRと、ステップＳ１８０で得た左右相関係数γと、を乗算した値を得る（ステップＳ１４０－１３”）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１４に代えて、記憶されている右チャネル減算利得の候補βcand(1), ..., βcand(B)のうちのステップＳ１４０－１３”で得た乗算値γ×cR×rRに最も近い候補（乗算値γ×cR×rRの量子化値）を右チャネル減算利得βとして得て、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの右チャネル減算利得βに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１４”）。
右チャネル減算利得推定部１４０は、ステップＳ１４０－１３に代えて、ステップＳ１４０－１１またはステップＳ１４０－１１３で得た正規化された内積値rRと、ステップＳ１４０－１２で得た右チャネル補正係数cRと、ステップＳ１８０で得た左右相関係数γと、を乗算した値を得る（ステップＳ１４０－１３”）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１４に代えて、記憶されている右チャネル減算利得の候補βcand(1), ..., βcand(B)のうちのステップＳ１４０－１３”で得た乗算値γ×cR×rRに最も近い候補（乗算値γ×cR×rRの量子化値）を右チャネル減算利得βとして得て、記憶されている符号Ｃβcand(1), ..., Ｃβcand(B)のうちの右チャネル減算利得βに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１４”）。
【0097】
〔〔例４の変形例〕〕
上述したように補正係数cLは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、正規化された内積値rLと左右相関係数γの乗算値γ×rLを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として、左チャネル減算利得符号Ｃαが乗算値γ×rLの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が乗算値γ×rLの量子化値と左チャネル補正係数cLを乗算して左チャネル減算利得αを得るようにしてもよい。
上述したように補正係数cLは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、正規化された内積値rLと左右相関係数γの乗算値γ×rLを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として、左チャネル減算利得符号Ｃαが乗算値γ×rLの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が乗算値γ×rLの量子化値と左チャネル補正係数cLを乗算して左チャネル減算利得αを得るようにしてもよい。
【0098】
右チャネルについても同様であり、補正係数cRは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、正規化された内積値rRと左右相関係数γの乗算値γ×rRを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として、右チャネル減算利得符号Ｃβが乗算値γ×rRの量子化値を表すようにして、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０が乗算値γ×rRの量子化値と右チャネル補正係数cRを乗算して右チャネル減算利得βを得るようにしてもよい。
【0099】
＜第２参考形態＞
第２参考形態の符号化装置と復号装置について説明する。
第２参考形態の符号化装置と復号装置について説明する。
【0100】
≪符号化装置１０１≫
第２参考形態の符号化装置１０１は、図１０に示す通り、ダウンミックス部１１０と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８１と時間シフト部１９１を含む。第２参考形態の符号化装置１０１が第１参考形態の符号化装置１００と異なるのは、左右関係情報推定部１８１と時間シフト部１９１を含むことと、ダウンミックス部１１０が出力した信号に代えて時間シフト部１９１が出力した信号を左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０が用いることと、上述した各符号に加えて後述する左右時間差符号Ｃτも出力すること、である。第２参考形態の符号化装置１０１のその他の構成及び動作は第１参考形態の符号化装置１００と同じである。第２参考形態の符号化装置１０１は、各フレームについて、図１１に例示するステップＳ１１０からステップＳ１９１の処理を行う。以下、第２参考形態の符号化装置１０１が第１参考形態の符号化装置１００と異なる点について説明する。
第２参考形態の符号化装置１０１は、図１０に示す通り、ダウンミックス部１１０と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８１と時間シフト部１９１を含む。第２参考形態の符号化装置１０１が第１参考形態の符号化装置１００と異なるのは、左右関係情報推定部１８１と時間シフト部１９１を含むことと、ダウンミックス部１１０が出力した信号に代えて時間シフト部１９１が出力した信号を左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０が用いることと、上述した各符号に加えて後述する左右時間差符号Ｃτも出力すること、である。第２参考形態の符号化装置１０１のその他の構成及び動作は第１参考形態の符号化装置１００と同じである。第２参考形態の符号化装置１０１は、各フレームについて、図１１に例示するステップＳ１１０からステップＳ１９１の処理を行う。以下、第２参考形態の符号化装置１０１が第１参考形態の符号化装置１００と異なる点について説明する。
【0101】
［左右関係情報推定部１８１］
左右関係情報推定部１８１には、符号化装置１０１に入力された左チャネルの入力音信号と、符号化装置１０１に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８１は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右時間差τと、左右時間差τを表す符号である左右時間差符号Ｃτと、を得て出力する（ステップＳ１８１）。
左右関係情報推定部１８１には、符号化装置１０１に入力された左チャネルの入力音信号と、符号化装置１０１に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８１は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右時間差τと、左右時間差τを表す符号である左右時間差符号Ｃτと、を得て出力する（ステップＳ１８１）。
【0102】
左右時間差τは、ある空間に配置した左チャネル用のマイクロホンで収音した音をＡＤ変換して得られた音信号が左チャネルの入力音信号であり、当該空間に配置した右チャネル用のマイクロホンで収音した音をＡＤ変換して得られた音信号が右チャネルの入力音信号である、と仮定したときの、当該空間で主に音を発している音源から左チャネル用のマイクロホンへの到達時間と、当該音源から右チャネル用のマイクロホンへの到達時間と、の差（いわゆる到来時間差）に相当する情報である。なお、到来時間差だけではなく、どちらのマイクロホンに早く到達しているかの情報も左右時間差τに含めるために、左右時間差τは、何れか一方の入力音信号を基準として正の値も負の値も取り得るものとする。すなわち、左右時間差τは、同じ音信号が左チャネルの入力音信号と右チャネルの入力音信号のどちらにどれくらい先に含まれているかを表す情報である。以下では、同じ音信号が右チャネルの入力音信号よりも左チャネルの入力音信号に先に含まれている場合には、左チャネルが先行しているともいい、同じ音信号が左チャネルの入力音信号よりも右チャネルの入力音信号に先に含まれている場合には、右チャネルが先行しているともいう。
【0103】
左右時間差τは周知の何れの方法で求めてもよい。例えば、左右関係情報推定部１８１は、予め定めたτmaxからτminまで（例えば、τmaxは正の数、τminは負の数）の各候補サンプル数τcandについて、左チャネルの入力音信号のサンプル列と、候補サンプル数τcand分だけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関の大きさを表す値（以下、相関値という）γcandを計算して、相関値γcandが最大となる候補サンプル数τcandを左右時間差τとして得る。すなわち、この例では、左チャネルが先行している場合には左右時間差τは正の値であり、右チャネルが先行している場合には左右時間差τは負の値であり、左右時間差τの絶対値が、先行しているチャネルがもう一方のチャネルに対してどれくらい先行しているかを表す値（先行しているサンプル数）である。例えば、フレーム内のサンプルのみを用いて相関値γcandを計算する場合には、τcandが正の値の場合には、右チャネルの入力音信号の部分サンプル列xR(1+τcand), xR(2+τcand), ..., xR(T)と、候補サンプル数τcand分だけ当該部分サンプル列より前にずれた位置にある左チャネルの入力音信号の部分サンプル列xL(1), xL(2), ..., xL(T-τcand)と、の相関係数の絶対値を相関値γcandとして計算し、τcandが負の値の場合には、左チャネルの入力音信号の部分サンプル列xL(1-τcand), xL(2-τcand), ..., xL(T)と、候補サンプル数-τcand分だけ当該部分サンプル列より前にずれた位置にある右チャネルの入力音信号の部分サンプル列xR(1), xR(2), ..., xR(T+τcand)と、の相関係数の絶対値を相関値γcandとして計算すればよい。もちろん、相関値γcandを計算するために現在のフレームの入力音信号のサンプル列に連続する過去の入力音信号の１個以上のサンプルも用いてもよく、この場合には過去のフレームの入力音信号のサンプル列を予め定めたフレーム数分だけ左右関係情報推定部１８１内の図示しない記憶部に記憶しておくようにすればよい。
【0104】
また例えば、相関係数の絶対値に代えて、以下のように信号の位相の情報を用いて相関値γcandを計算してもよい。この例においては、左右関係情報推定部１８１は、まず左チャネルの入力音信号xL(1), xL(2), ..., xL(T)及び右チャネルの入力音信号xR(1), xR(2), ..., xR(T)のそれぞれを、下記の式（３－１）及び式（３－２）のようにフーリエ変換することにより、0からT-1の各周波数kにおける周波数スペクトルXL(k)及びXR(k)を得る。
左右関係情報推定部１８１は、得られた周波数スペクトルXL(k)及びXR(k)を用いて、下記の式（３－３）により、各周波数kにおける位相差のスペクトルφ(k)を得る。
得られた位相差のスペクトルを逆フーリエ変換することにより、下記の式（３－４）のようにτmaxからτminまでの各候補サンプル数τcandについて位相差信号ψ(τcand)を得る。
得られた位相差信号ψ(τcand)の絶対値は、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)及び右チャネルの入力音信号xR(1), xR(2), ..., xR(T)の時間差の尤もらしさに対応したある種の相関を表すものであるので、各候補サンプル数τcandに対するこの位相差信号ψ(τcand)の絶対値を相関値γcandとして用いる。左右関係情報推定部１８１は、この位相差信号ψ(τcand)の絶対値である相関値γcandが最大となる候補サンプル数τcandを左右時間差τとして得る。なお、相関値γcandとして位相差信号ψ(τcand)の絶対値をそのまま用いることに代えて、例えば各τcandについて位相差信号ψ(τcand)の絶対値に対するτcand前後にある複数個の候補サンプル数それぞれについて得られた位相差信号の絶対値の平均との相対差のような、正規化された値を用いてもよい。つまり、各τcandについて、予め定めた正の数τrangeを用いて、下記の式（３－５）により平均値を得て、得られた平均値ψc(τcand)と位相差信号ψ(τcand)を用いて下記の式（３－６）により得られる正規化された相関値をγcandとして用いてもよい。
なお、式（３－６）により得られる正規化された相関値は、０以上１以下の値であり、τcandが左右時間差として尤もらしいほど１に近く、τcandが左右時間差として尤もらしくないほど０に近い性質を示す値である。
【数19】
【数20】
左右関係情報推定部１８１は、得られた周波数スペクトルXL(k)及びXR(k)を用いて、下記の式（３－３）により、各周波数kにおける位相差のスペクトルφ(k)を得る。
【数21】
得られた位相差のスペクトルを逆フーリエ変換することにより、下記の式（３－４）のようにτmaxからτminまでの各候補サンプル数τcandについて位相差信号ψ(τcand)を得る。
【数22】
得られた位相差信号ψ(τcand)の絶対値は、左チャネルの入力音信号xL(1), xL(2), ..., xL(T)及び右チャネルの入力音信号xR(1), xR(2), ..., xR(T)の時間差の尤もらしさに対応したある種の相関を表すものであるので、各候補サンプル数τcandに対するこの位相差信号ψ(τcand)の絶対値を相関値γcandとして用いる。左右関係情報推定部１８１は、この位相差信号ψ(τcand)の絶対値である相関値γcandが最大となる候補サンプル数τcandを左右時間差τとして得る。なお、相関値γcandとして位相差信号ψ(τcand)の絶対値をそのまま用いることに代えて、例えば各τcandについて位相差信号ψ(τcand)の絶対値に対するτcand前後にある複数個の候補サンプル数それぞれについて得られた位相差信号の絶対値の平均との相対差のような、正規化された値を用いてもよい。つまり、各τcandについて、予め定めた正の数τrangeを用いて、下記の式（３－５）により平均値を得て、得られた平均値ψc(τcand)と位相差信号ψ(τcand)を用いて下記の式（３－６）により得られる正規化された相関値をγcandとして用いてもよい。
【数23】
【数24】
なお、式（３－６）により得られる正規化された相関値は、０以上１以下の値であり、τcandが左右時間差として尤もらしいほど１に近く、τcandが左右時間差として尤もらしくないほど０に近い性質を示す値である。
【0105】
また、左右関係情報推定部１８１は、左右時間差τを所定の符号化方式で符号化して、左右時間差τを一意に特定可能な符号である左右時間差符号Ｃτを得るようにすればよい。所定の符号化方式としては、スカラ量子化などの周知の符号化方式を用いればよい。なお、予め定めた各候補サンプル数は、τmaxからτminまでの各整数値であってもよいし、τmaxからτminまでの間にある分数値や小数値を含んでいてもよいし、τmaxからτminまでの間にある何れかの整数値を含まないでもよい。また、τmax＝-τminであってもよいし、そうでなくてもよい。また、何れかのチャネルが必ず先行しているような特殊な入力音信号を対象とする場合には、τmaxもτminも正の数としたり、τmaxもτminも負の数としたりしてもよい。
【0106】
なお、符号化装置１０１が第１参考形態で説明した例４または例４の変形例の量子化誤差を最小化する原理に基づく減算利得の推定を行う場合には、左右関係情報推定部１８１は、さらに、左チャネルの入力音信号のサンプル列と、左右時間差τ分だけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関値、すなわち、τmaxからτminまでの各候補サンプル数τcandについて計算した相関値γcandのうちの最大値、を左右相関係数γとして出力する（ステップＳ１８０）。
【0107】
［時間シフト部１９１］
時間シフト部１９１には、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、左右関係情報推定部１８１が出力した左右時間差τと、が入力される。時間シフト部１９１は、左右時間差τが正の値である場合（すなわち、左右時間差τが左チャネルが先行していることを表す場合）には、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま左チャネル減算利得推定部１２０と左チャネル信号減算部１３０に出力し（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０で用いることを決定し）、ダウンミックス信号を|τ|サンプル（左右時間差τの絶対値分のサンプル数、左右時間差τが表す大きさ分のサンプル数）遅らせた信号xM(1-|τ|), xM(2-|τ|), ..., xM(T-|τ|)である遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力し（すなわち、右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定し）、左右時間差τが負の値である場合（すなわち、左右時間差τが右チャネルが先行していることを表す場合）には、ダウンミックス信号を|τ|サンプル遅らせた信号xM(1-|τ|), xM(2-|τ|), ..., xM(T-|τ|)である遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を左チャネル減算利得推定部１２０と左チャネル信号減算部１３０に出力し（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０で用いることを決定し）、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力し（すなわち、右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定し）、左右時間差τが０である場合（すなわち、左右時間差τが何れのチャネルも先行していないことを表す場合）には、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力する（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定する）（ステップＳ１９１）。すなわち、左チャネルと右チャネルのうちの上述した到達時間が短いほうのチャネルについては、入力されたダウンミックス信号をそのまま当該チャネルの減算利得推定部と当該チャネルの信号減算部に出力し、左チャネルと右チャネルのうちの上述した到達時間が長いほうのチャネルについては、入力されたダウンミックス信号を左右時間差τの絶対値|τ|だけ遅らせた信号を当該チャネルの減算利得推定部と当該チャネルの信号減算部に出力する。なお、時間シフト部１９１では遅延ダウンミックス信号を得るために過去のフレームのダウンミックス信号を用いることから、時間シフト部１９１内の図示しない記憶部には、過去のフレームで入力されたダウンミックス信号を予め定めたフレーム数分だけ記憶しておく。また、左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で左チャネル減算利得αと右チャネル減算利得βを得る場合には、符号化装置１０１のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、時間シフト部１９１では、ダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を用いて上述した処理を行ってもよい。この場合には、時間シフト部１９１は、ダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を出力し、遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)に代えて遅延量子化済みダウンミックス信号^xM'(1), ^xM'(2), ..., ^xM'(T)を出力する。
時間シフト部１９１には、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)と、左右関係情報推定部１８１が出力した左右時間差τと、が入力される。時間シフト部１９１は、左右時間差τが正の値である場合（すなわち、左右時間差τが左チャネルが先行していることを表す場合）には、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま左チャネル減算利得推定部１２０と左チャネル信号減算部１３０に出力し（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０で用いることを決定し）、ダウンミックス信号を|τ|サンプル（左右時間差τの絶対値分のサンプル数、左右時間差τが表す大きさ分のサンプル数）遅らせた信号xM(1-|τ|), xM(2-|τ|), ..., xM(T-|τ|)である遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力し（すなわち、右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定し）、左右時間差τが負の値である場合（すなわち、左右時間差τが右チャネルが先行していることを表す場合）には、ダウンミックス信号を|τ|サンプル遅らせた信号xM(1-|τ|), xM(2-|τ|), ..., xM(T-|τ|)である遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を左チャネル減算利得推定部１２０と左チャネル信号減算部１３０に出力し（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０で用いることを決定し）、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力し（すなわち、右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定し）、左右時間差τが０である場合（すなわち、左右時間差τが何れのチャネルも先行していないことを表す場合）には、ダウンミックス信号xM(1), xM(2), ..., xM(T)をそのまま左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力する（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定する）（ステップＳ１９１）。すなわち、左チャネルと右チャネルのうちの上述した到達時間が短いほうのチャネルについては、入力されたダウンミックス信号をそのまま当該チャネルの減算利得推定部と当該チャネルの信号減算部に出力し、左チャネルと右チャネルのうちの上述した到達時間が長いほうのチャネルについては、入力されたダウンミックス信号を左右時間差τの絶対値|τ|だけ遅らせた信号を当該チャネルの減算利得推定部と当該チャネルの信号減算部に出力する。なお、時間シフト部１９１では遅延ダウンミックス信号を得るために過去のフレームのダウンミックス信号を用いることから、時間シフト部１９１内の図示しない記憶部には、過去のフレームで入力されたダウンミックス信号を予め定めたフレーム数分だけ記憶しておく。また、左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で左チャネル減算利得αと右チャネル減算利得βを得る場合には、符号化装置１０１のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、時間シフト部１９１では、ダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を用いて上述した処理を行ってもよい。この場合には、時間シフト部１９１は、ダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を出力し、遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)に代えて遅延量子化済みダウンミックス信号^xM'(1), ^xM'(2), ..., ^xM'(T)を出力する。
【0108】
［左チャネル減算利得推定部１２０、左チャネル信号減算部１３０、右チャネル減算利得推定部１４０、右チャネル信号減算部１５０］
左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、第１参考形態で説明したのと同じ動作を、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、時間シフト部１９１から入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)または遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を用いて行う（ステップＳ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０）。すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、時間シフト部１９１で決定されたダウンミックス信号xM(1), xM(2), ..., xM(T)または遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を用いて、第１参考形態で説明したのと同じ動作を行う。なお、時間シフト部１９１がダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を出力し、遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)に代えて遅延量子化済みダウンミックス信号^xM'(1), ^xM'(2), ..., ^xM'(T)を出力した場合には、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、時間シフト部１９１から入力された量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)または遅延量子化済みダウンミックス信号^xM'(1), ^xM'(2), ..., ^xM'(T)を用いて上述した処理を行う。
左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、第１参考形態で説明したのと同じ動作を、ダウンミックス部１１０が出力したダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて、時間シフト部１９１から入力されたダウンミックス信号xM(1), xM(2), ..., xM(T)または遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を用いて行う（ステップＳ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０）。すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、時間シフト部１９１で決定されたダウンミックス信号xM(1), xM(2), ..., xM(T)または遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)を用いて、第１参考形態で説明したのと同じ動作を行う。なお、時間シフト部１９１がダウンミックス信号xM(1), xM(2), ..., xM(T)に代えて量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)を出力し、遅延ダウンミックス信号xM'(1), xM'(2), ..., xM'(T)に代えて遅延量子化済みダウンミックス信号^xM'(1), ^xM'(2), ..., ^xM'(T)を出力した場合には、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、時間シフト部１９１から入力された量子化済みダウンミックス信号^xM(1), ^xM(2), ..., ^xM(T)または遅延量子化済みダウンミックス信号^xM'(1), ^xM'(2), ..., ^xM'(T)を用いて上述した処理を行う。
【0109】
≪復号装置２０１≫
第２参考形態の復号装置２０１は、図１２に示す通り、モノラル復号部２１０とステレオ復号部２２０と左チャネル減算利得復号部２３０と左チャネル信号加算部２４０と右チャネル減算利得復号部２５０と右チャネル信号加算部２６０と左右時間差復号部２７１と時間シフト部２８１を含む。第２参考形態の復号装置２０１が第１参考形態の復号装置２００と異なるのは、上述した各符号に加えて後述する左右時間差符号Ｃτも入力されることと、左右時間差復号部２７１と時間シフト部２８１を含むことと、モノラル復号部２１０が出力した信号に代えて時間シフト部２８１が出力した信号を左チャネル信号加算部２４０と右チャネル信号加算部２６０が用いること、である。第２参考形態の復号装置２０１のその他の構成及び動作は第１参考形態の復号装置２００と同じである。第２参考形態の復号装置２０１は、各フレームについて、図１３に例示するステップＳ２１０からステップＳ２８１の処理を行う。以下、第２参考形態の復号装置２０１が第１参考形態の復号装置２００と異なる点について説明する。
第２参考形態の復号装置２０１は、図１２に示す通り、モノラル復号部２１０とステレオ復号部２２０と左チャネル減算利得復号部２３０と左チャネル信号加算部２４０と右チャネル減算利得復号部２５０と右チャネル信号加算部２６０と左右時間差復号部２７１と時間シフト部２８１を含む。第２参考形態の復号装置２０１が第１参考形態の復号装置２００と異なるのは、上述した各符号に加えて後述する左右時間差符号Ｃτも入力されることと、左右時間差復号部２７１と時間シフト部２８１を含むことと、モノラル復号部２１０が出力した信号に代えて時間シフト部２８１が出力した信号を左チャネル信号加算部２４０と右チャネル信号加算部２６０が用いること、である。第２参考形態の復号装置２０１のその他の構成及び動作は第１参考形態の復号装置２００と同じである。第２参考形態の復号装置２０１は、各フレームについて、図１３に例示するステップＳ２１０からステップＳ２８１の処理を行う。以下、第２参考形態の復号装置２０１が第１参考形態の復号装置２００と異なる点について説明する。
【0110】
［左右時間差復号部２７１］
左右時間差復号部２７１には、復号装置２０１に入力された左右時間差符号Ｃτが入力される。左右時間差復号部２７１は、左右時間差符号Ｃτを所定の復号方式で復号して左右時間差τを得て出力する（ステップＳ２７１）。所定の復号方式としては、対応する符号化装置１０１の左右関係情報推定部１８１で用いた符号化方式に対応する復号方式を用いる。左右時間差復号部２７１が得る左右時間差τは、対応する符号化装置１０１の左右関係情報推定部１８１が得た左右時間差τと同じ値であり、τmaxからτminまでの範囲内の何れかの値である。
左右時間差復号部２７１には、復号装置２０１に入力された左右時間差符号Ｃτが入力される。左右時間差復号部２７１は、左右時間差符号Ｃτを所定の復号方式で復号して左右時間差τを得て出力する（ステップＳ２７１）。所定の復号方式としては、対応する符号化装置１０１の左右関係情報推定部１８１で用いた符号化方式に対応する復号方式を用いる。左右時間差復号部２７１が得る左右時間差τは、対応する符号化装置１０１の左右関係情報推定部１８１が得た左右時間差τと同じ値であり、τmaxからτminまでの範囲内の何れかの値である。
【0111】
［時間シフト部２８１］
時間シフト部２８１には、モノラル復号部２１０が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、左右時間差復号部２７１が出力した左右時間差τと、が入力される。時間シフト部２８１は、左右時間差τが正の値である場合（すなわち、左右時間差τが左チャネルが先行していることを表す場合）には、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま左チャネル信号加算部２４０に出力し（すなわち、左チャネル信号加算部２４０で用いることを決定し）、モノラル復号音信号を|τ|サンプル遅らせた信号^xM(1-|τ|), ^xM(2-|τ|), ..., ^xM(T-|τ|)である遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を右チャネル信号加算部２６０に出力し（すなわち、右チャネル信号加算部２６０で用いることを決定し）、左右時間差τが負の値である場合（すなわち、左右時間差τが右チャネルが先行していることを表す場合）には、モノラル復号音信号を|τ|サンプル遅らせた信号^xM(1-|τ|), ^xM(2-|τ|), ..., ^xM(T-|τ|)である遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を左チャネル信号加算部２４０に出力し（すなわち、左チャネル信号加算部２４０で用いることを決定し）、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま右チャネル信号加算部２６０に出力し（すなわち、右チャネル信号加算部２６０で用いることを決定し）、左右時間差τが０である場合（すなわち、左右時間差τが何れのチャネルも先行していないことを表す場合）には、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま左チャネル信号加算部２４０と右チャネル信号加算部２６０に出力する（すなわち、左チャネル信号加算部２４０と右チャネル信号加算部２６０で用いることを決定する）（ステップＳ２８１）。なお、時間シフト部２８１では遅延モノラル復号音信号を得るために過去のフレームのモノラル復号音信号を用いることから、時間シフト部２８１内の図示しない記憶部には、過去のフレームで入力されたモノラル復号音信号を予め定めたフレーム数分だけ記憶しておく。
時間シフト部２８１には、モノラル復号部２１０が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)と、左右時間差復号部２７１が出力した左右時間差τと、が入力される。時間シフト部２８１は、左右時間差τが正の値である場合（すなわち、左右時間差τが左チャネルが先行していることを表す場合）には、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま左チャネル信号加算部２４０に出力し（すなわち、左チャネル信号加算部２４０で用いることを決定し）、モノラル復号音信号を|τ|サンプル遅らせた信号^xM(1-|τ|), ^xM(2-|τ|), ..., ^xM(T-|τ|)である遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を右チャネル信号加算部２６０に出力し（すなわち、右チャネル信号加算部２６０で用いることを決定し）、左右時間差τが負の値である場合（すなわち、左右時間差τが右チャネルが先行していることを表す場合）には、モノラル復号音信号を|τ|サンプル遅らせた信号^xM(1-|τ|), ^xM(2-|τ|), ..., ^xM(T-|τ|)である遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を左チャネル信号加算部２４０に出力し（すなわち、左チャネル信号加算部２４０で用いることを決定し）、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま右チャネル信号加算部２６０に出力し（すなわち、右チャネル信号加算部２６０で用いることを決定し）、左右時間差τが０である場合（すなわち、左右時間差τが何れのチャネルも先行していないことを表す場合）には、モノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)をそのまま左チャネル信号加算部２４０と右チャネル信号加算部２６０に出力する（すなわち、左チャネル信号加算部２４０と右チャネル信号加算部２６０で用いることを決定する）（ステップＳ２８１）。なお、時間シフト部２８１では遅延モノラル復号音信号を得るために過去のフレームのモノラル復号音信号を用いることから、時間シフト部２８１内の図示しない記憶部には、過去のフレームで入力されたモノラル復号音信号を予め定めたフレーム数分だけ記憶しておく。
【0112】
［左チャネル信号加算部２４０、右チャネル信号加算部２６０］
左チャネル信号加算部２４０と右チャネル信号加算部２６０は、第１参考形態で説明したのと同じ動作を、モノラル復号部２１０が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)に代えて、時間シフト部２８１から入力されたモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)または遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を用いて行う（ステップＳ２４０、Ｓ２６０）。すなわち、左チャネル信号加算部２４０と右チャネル信号加算部２６０は、時間シフト部２８１で決定されたモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)または遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を用いて、第１参考形態で説明したのと同じ動作を行う。
左チャネル信号加算部２４０と右チャネル信号加算部２６０は、第１参考形態で説明したのと同じ動作を、モノラル復号部２１０が出力したモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)に代えて、時間シフト部２８１から入力されたモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)または遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を用いて行う（ステップＳ２４０、Ｓ２６０）。すなわち、左チャネル信号加算部２４０と右チャネル信号加算部２６０は、時間シフト部２８１で決定されたモノラル復号音信号^xM(1), ^xM(2), ..., ^xM(T)または遅延モノラル復号音信号^xM'(1), ^xM'(2), ..., ^xM'(T)を用いて、第１参考形態で説明したのと同じ動作を行う。
【0113】
＜第１実施形態＞
第２参考形態の符号化装置１０１に対して、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を生成する変形をしたのが、第１実施形態である。以下、第１実施形態の符号化装置について説明する。なお、第１実施形態の符号化装置が得た符号は、第２参考形態の復号装置２０１で復号することができるので、復号装置の説明は省略する。
第２参考形態の符号化装置１０１に対して、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を生成する変形をしたのが、第１実施形態である。以下、第１実施形態の符号化装置について説明する。なお、第１実施形態の符号化装置が得た符号は、第２参考形態の復号装置２０１で復号することができるので、復号装置の説明は省略する。
【0114】
≪符号化装置１０２≫
第１実施形態の符号化装置１０２は、図１０に示す通り、ダウンミックス部１１２と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８２と時間シフト部１９１を含む。第１実施形態の符号化装置１０２が第２参考形態の符号化装置１０１と異なるのは、左右関係情報推定部１８１に代えて左右関係情報推定部１８２を含み、ダウンミックス部１１０に代えてダウンミックス部１１２を含み、図１０に破線で示す通り、左右関係情報推定部１８２が左右相関係数γと先行チャネル情報を得て出力し、出力した左右相関係数γと先行チャネル情報がダウンミックス部１１２に入力されて用いられることである。第１実施形態の符号化装置１０２のその他の構成及び動作は第２参考形態の符号化装置１０１と同じである。第１実施形態の符号化装置１０２は、各フレームについて、図１４に例示するステップＳ１１２からステップＳ１９１の処理を行う。以下、第１実施形態の符号化装置１０２が第２参考形態の符号化装置１０１と異なる点について説明する。
第１実施形態の符号化装置１０２は、図１０に示す通り、ダウンミックス部１１２と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８２と時間シフト部１９１を含む。第１実施形態の符号化装置１０２が第２参考形態の符号化装置１０１と異なるのは、左右関係情報推定部１８１に代えて左右関係情報推定部１８２を含み、ダウンミックス部１１０に代えてダウンミックス部１１２を含み、図１０に破線で示す通り、左右関係情報推定部１８２が左右相関係数γと先行チャネル情報を得て出力し、出力した左右相関係数γと先行チャネル情報がダウンミックス部１１２に入力されて用いられることである。第１実施形態の符号化装置１０２のその他の構成及び動作は第２参考形態の符号化装置１０１と同じである。第１実施形態の符号化装置１０２は、各フレームについて、図１４に例示するステップＳ１１２からステップＳ１９１の処理を行う。以下、第１実施形態の符号化装置１０２が第２参考形態の符号化装置１０１と異なる点について説明する。
【0115】
［左右関係情報推定部１８２］
左右関係情報推定部１８２には、符号化装置１０２に入力された左チャネルの入力音信号と、符号化装置１０２に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８２は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右時間差τと、左右時間差τを表す符号である左右時間差符号Ｃτと、左右相関係数γと、先行チャネル情報と、を得て出力する（ステップＳ１８２）。左右関係情報推定部１８２が左右時間差τと左右時間差符号Ｃτを得る処理は、第２参考形態の左右関係情報推定部１８１と同様である。
左右関係情報推定部１８２には、符号化装置１０２に入力された左チャネルの入力音信号と、符号化装置１０２に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８２は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右時間差τと、左右時間差τを表す符号である左右時間差符号Ｃτと、左右相関係数γと、先行チャネル情報と、を得て出力する（ステップＳ１８２）。左右関係情報推定部１８２が左右時間差τと左右時間差符号Ｃτを得る処理は、第２参考形態の左右関係情報推定部１８１と同様である。
【0116】
左右相関係数γは、第２参考形態の左右関係情報推定部１８１の説明箇所で上述した仮定における、音源から左チャネル用のマイクロホンに到達して収音された音信号と、当該音源から右チャネル用のマイクロホンに到達して収音された音信号と、の相関係数に相当する情報である。先行チャネル情報は、音源が発した音がどちらのマイクロホンに早く到達しているかに相当する情報であり、同じ音信号が左チャネルの入力音信号と右チャネルの入力音信号のどちらに先に含まれているかを表す情報であり、左チャネルと右チャネルのどちらのチャネルが先行しているかを表す情報である。
【0117】
第２参考形態の左右関係情報推定部１８１の説明箇所で上述した例であれば、左右関係情報推定部１８２は、左チャネルの入力音信号のサンプル列と、左右時間差τ分だけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関値、すなわち、τmaxからτminまでの各候補サンプル数τcandについて計算した相関値γcandのうちの最大値、を左右相関係数γとして得て出力する。また、左右関係情報推定部１８２は、左右時間差τが正の値である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力し、左右時間差τが負の値である場合には、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力する。左右関係情報推定部１８２は、左右時間差τが０である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいし、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいが、何れのチャネルも先行していないことを表す情報を先行チャネル情報として得て出力するとよい。
【0118】
［ダウンミックス部１１２］
ダウンミックス部１１２には、符号化装置１０２に入力された左チャネルの入力音信号と、符号化装置１０２に入力された右チャネルの入力音信号と、左右関係情報推定部１８２が出力した左右相関係数γと、左右関係情報推定部１８２が出力した先行チャネル情報と、が入力される。ダウンミックス部１１２は、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。
ダウンミックス部１１２には、符号化装置１０２に入力された左チャネルの入力音信号と、符号化装置１０２に入力された右チャネルの入力音信号と、左右関係情報推定部１８２が出力した左右相関係数γと、左右関係情報推定部１８２が出力した先行チャネル情報と、が入力される。ダウンミックス部１１２は、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。
【0119】
例えば、第２参考形態の左右関係情報推定部１８１の説明箇所で上述した例のように相関値に相関係数の絶対値や正規化された値を用いているならば、得られる左右相関係数γは0以上1以下の値であるため、ダウンミックス部１１２は、対応する各サンプル番号tに対して、左右相関係数γで定まる重みを用いて左チャネルの入力音信号xL(t)と右チャネルの入力音信号xR(t)を重み付け加算したものをダウンミックス信号xM(t)とすればよい。具体的には、ダウンミックス部１１２は、先行チャネル情報が左チャネルが先行していることを表す情報である場合、すなわち、左チャネルが先行している場合には、xM(t)= ((1+γ)/2)×xL(t)＋((1-γ)/2)×xR(t)、先行チャネル情報が右チャネルが先行していることを表す情報である場合、すなわち、右チャネルが先行している場合には、xM(t)= ((1-γ)/2)×xL(t)＋((1+γ)/2)×xR(t)、としてダウンミックス信号xM(t)を得ればよい。ダウンミックス部１１２がこのようにダウンミックス信号を得ることで、当該ダウンミックス信号は、左右相関係数γが小さいほど、つまり左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいほど、左チャネルの入力音信号と右チャネルの入力音信号の平均により得られる信号に近く、左右相関係数γが大きいほど、つまり左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいほど、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号に近い。
【0120】
なお、ダウンミックス部１１２は、何れのチャネルも先行していない場合には、左チャネルの入力音信号と右チャネルの入力音信号が同じ重みでダウンミックス信号に含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を平均してダウンミックス信号を得て出力するのがよい。そこで、ダウンミックス部１１２は、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、左チャネルの入力音信号xL(t)と右チャネルの入力音信号xR(t)を平均したxM(t)=(xL(t)+xR(t))/2をダウンミックス信号xM(t)とする。
【0121】
＜第２実施形態＞
第１参考形態の符号化装置１００に対しても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を生成する変形をしてもよく、この形態を第２実施形態として説明する。なお、第２実施形態の符号化装置が得た符号は、第１参考形態の復号装置２００で復号することができるので、復号装置の説明は省略する。
第１参考形態の符号化装置１００に対しても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を生成する変形をしてもよく、この形態を第２実施形態として説明する。なお、第２実施形態の符号化装置が得た符号は、第１参考形態の復号装置２００で復号することができるので、復号装置の説明は省略する。
【0122】
≪符号化装置１０３≫
第２実施形態の符号化装置１０３は、図１に示す通り、ダウンミックス部１１２と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８３を含む。第２実施形態の符号化装置１０３が第１参考形態の符号化装置１００と異なるのは、ダウンミックス部１１０に代えてダウンミックス部１１２を含み、図１に破線で示す通り、左右関係情報推定部１８３を含み、左右関係情報推定部１８３が左右相関係数γと先行チャネル情報を得て出力し、出力した左右相関係数γと先行チャネル情報がダウンミックス部１１２に入力されて用いられることである。第２実施形態の符号化装置１０３のその他の構成及び動作は第１参考形態の符号化装置１００と同じである。また、第２実施形態の符号化装置１０３のダウンミックス部１１２の動作は、第１実施形態の符号化装置１０２のダウンミックス部１１２の動作と同じである。第２実施形態の符号化装置１０３は、各フレームについて、図１５に例示するステップＳ１１２からステップＳ１８３の処理を行う。以下、第２実施形態の符号化装置１０３が第１参考形態の符号化装置１００とも第１実施形態の符号化装置１０２とも異なる点について説明する。
第２実施形態の符号化装置１０３は、図１に示す通り、ダウンミックス部１１２と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８３を含む。第２実施形態の符号化装置１０３が第１参考形態の符号化装置１００と異なるのは、ダウンミックス部１１０に代えてダウンミックス部１１２を含み、図１に破線で示す通り、左右関係情報推定部１８３を含み、左右関係情報推定部１８３が左右相関係数γと先行チャネル情報を得て出力し、出力した左右相関係数γと先行チャネル情報がダウンミックス部１１２に入力されて用いられることである。第２実施形態の符号化装置１０３のその他の構成及び動作は第１参考形態の符号化装置１００と同じである。また、第２実施形態の符号化装置１０３のダウンミックス部１１２の動作は、第１実施形態の符号化装置１０２のダウンミックス部１１２の動作と同じである。第２実施形態の符号化装置１０３は、各フレームについて、図１５に例示するステップＳ１１２からステップＳ１８３の処理を行う。以下、第２実施形態の符号化装置１０３が第１参考形態の符号化装置１００とも第１実施形態の符号化装置１０２とも異なる点について説明する。
【0123】
［左右関係情報推定部１８３］
左右関係情報推定部１８３には、符号化装置１０３に入力された左チャネルの入力音信号と、符号化装置１０３に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８３は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右相関係数γと、先行チャネル情報と、を得て出力する（ステップＳ１８３）。
左右関係情報推定部１８３には、符号化装置１０３に入力された左チャネルの入力音信号と、符号化装置１０３に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８３は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右相関係数γと、先行チャネル情報と、を得て出力する（ステップＳ１８３）。
【0124】
左右関係情報推定部１８３が得て出力する左右相関係数γと先行チャネル情報は、第１実施形態で説明したものと同じである。すなわち、左右関係情報推定部１８３は、左右時間差τと左右時間差符号Ｃτを得ずに出力しないでよいこと以外は左右関係情報推定部１８２と同じでよい。
【0125】
例えば、左右関係情報推定部１８３は、τmaxからτminまでの各候補サンプル数τcandについて、左チャネルの入力音信号のサンプル列と、各候補サンプル数τcand分だけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関値γcandのうちの最大値を左右相関係数γとして得て出力し、相関値が最大値のときのτcandが正の値である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力し、相関値が最大値のときのτcandが負の値である場合には、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力する。左右関係情報推定部１８３は、相関値が最大値のときのτcandが０である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいし、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいが、何れのチャネルも先行していないことを表す情報を先行チャネル情報として得て出力するとよい。
【0126】
＜第３実施形態＞
各チャネルの差分信号ではなく各チャネルの入力音信号をステレオ符号化する符号化装置に対しても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよく、この形態を第３実施形態として説明する。
各チャネルの差分信号ではなく各チャネルの入力音信号をステレオ符号化する符号化装置に対しても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよく、この形態を第３実施形態として説明する。
【0127】
≪符号化装置１０４≫
第３実施形態の符号化装置１０４は、図１６に示す通り、左右関係情報推定部１８３とダウンミックス部１１２とモノラル符号化部１６０とステレオ符号化部１７４を含む。第３実施形態の符号化装置１０４は、各フレームについて、図１７に例示するステップＳ１８３とステップＳ１１２とステップＳ１６０とステップＳ１７４の処理を行う。以下、第３実施形態の符号化装置１０４について、第２実施形態の説明を適宜参照して説明する。
第３実施形態の符号化装置１０４は、図１６に示す通り、左右関係情報推定部１８３とダウンミックス部１１２とモノラル符号化部１６０とステレオ符号化部１７４を含む。第３実施形態の符号化装置１０４は、各フレームについて、図１７に例示するステップＳ１８３とステップＳ１１２とステップＳ１６０とステップＳ１７４の処理を行う。以下、第３実施形態の符号化装置１０４について、第２実施形態の説明を適宜参照して説明する。
【0128】
［左右関係情報推定部１８３］
左右関係情報推定部１８３は、第２実施形態の左右関係情報推定部１８３と同じである。左右関係情報推定部１８３には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８３は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８３）。
左右関係情報推定部１８３は、第２実施形態の左右関係情報推定部１８３と同じである。左右関係情報推定部１８３には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８３は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８３）。
【0129】
［ダウンミックス部１１２］
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じである。ダウンミックス部１１２には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、左右関係情報推定部１８３が出力した左右相関係数γと、左右関係情報推定部１８３が出力した先行チャネル情報と、が入力される。ダウンミックス部１１２は、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じである。ダウンミックス部１１２には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、左右関係情報推定部１８３が出力した左右相関係数γと、左右関係情報推定部１８３が出力した先行チャネル情報と、が入力される。ダウンミックス部１１２は、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。
【0130】
例えば、サンプル番号をtとし、左チャネルの入力音信号をxL(t)とし、右チャネルの入力音信号をxR(t)とし、ダウンミックス信号をxM(t)とすると、ダウンミックス部１１２は、先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1+γ)/2)×xL(t)+((1-γ)/2)×xR(t)によりダウンミックス信号を得て、先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1-γ)/2)×xL(t)+((1+γ)/2)×xR(t)によりダウンミックス信号を得て、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、xM(t)=(xL(t)+xR(t))/2によりダウンミックス信号を得る。
【0131】
［モノラル符号化部１６０］
モノラル符号化部１６０は、第２実施形態のモノラル符号化部１６０と同じである。モノラル符号化部１６０には、ダウンミックス部１１２が出力したダウンミックス信号が入力される。モノラル符号化部１６０は、入力されたダウンミックス信号を符号化してモノラル符号ＣＭを得て出力する（ステップＳ１６０）。モノラル符号化部１６０は、どのような符号化方式を用いてもよく、例えば3GPP EVS規格のような符号化方式を用いればよい。符号化方式は、後述するステレオ符号化部１７４と独立して符号化処理を行う符号化方式、すなわち、ステレオ符号化部１７４で得られるステレオ符号ＣＳ’やステレオ符号化部１７４が行う符号化処理において得られる情報を用いずに符号化処理を行う符号化方式であってもよいし、ステレオ符号化部１７４で得られるステレオ符号ＣＳ’やステレオ符号化部１７４が行う符号化処理において得られる情報を用いて符号化処理を行う符号化方式であってもよい。
モノラル符号化部１６０は、第２実施形態のモノラル符号化部１６０と同じである。モノラル符号化部１６０には、ダウンミックス部１１２が出力したダウンミックス信号が入力される。モノラル符号化部１６０は、入力されたダウンミックス信号を符号化してモノラル符号ＣＭを得て出力する（ステップＳ１６０）。モノラル符号化部１６０は、どのような符号化方式を用いてもよく、例えば3GPP EVS規格のような符号化方式を用いればよい。符号化方式は、後述するステレオ符号化部１７４と独立して符号化処理を行う符号化方式、すなわち、ステレオ符号化部１７４で得られるステレオ符号ＣＳ’やステレオ符号化部１７４が行う符号化処理において得られる情報を用いずに符号化処理を行う符号化方式であってもよいし、ステレオ符号化部１７４で得られるステレオ符号ＣＳ’やステレオ符号化部１７４が行う符号化処理において得られる情報を用いて符号化処理を行う符号化方式であってもよい。
【0132】
［ステレオ符号化部１７４］
ステレオ符号化部１７４には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、が入力される。ステレオ符号化部１７４は、入力された左チャネルの入力音信号と右チャネルの入力音信号を符号化してステレオ符号ＣＳ’を得て出力する（ステップＳ１７４）。ステレオ符号化部１７４は、どのような符号化方式を用いてもよく、例えばMPEG-4 AAC規格のステレオ復号方式に対応するステレオ符号化方式を用いてもよいし、入力された左チャネルの入力音信号と右チャネルの入力音信号それぞれを独立して符号化する符号化方式を用いてもよく、符号化により得られた符号全てを合わせたものをステレオ符号ＣＳ’とすればよい。符号化方式は、モノラル符号化部１６０と独立して符号化処理を行う符号化方式、すなわち、モノラル符号化部１６０で得られるモノラル符号ＣＭやモノラル符号化部１６０が行う符号化処理において得られる情報を用いずに符号化処理を行う符号化方式であってもよいし、モノラル符号化部１６０で得られるモノラル符号ＣＭやモノラル符号化部１６０が行う符号化処理において得られる情報を用いて符号化処理を行う符号化方式であってもよい。
ステレオ符号化部１７４には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、が入力される。ステレオ符号化部１７４は、入力された左チャネルの入力音信号と右チャネルの入力音信号を符号化してステレオ符号ＣＳ’を得て出力する（ステップＳ１７４）。ステレオ符号化部１７４は、どのような符号化方式を用いてもよく、例えばMPEG-4 AAC規格のステレオ復号方式に対応するステレオ符号化方式を用いてもよいし、入力された左チャネルの入力音信号と右チャネルの入力音信号それぞれを独立して符号化する符号化方式を用いてもよく、符号化により得られた符号全てを合わせたものをステレオ符号ＣＳ’とすればよい。符号化方式は、モノラル符号化部１６０と独立して符号化処理を行う符号化方式、すなわち、モノラル符号化部１６０で得られるモノラル符号ＣＭやモノラル符号化部１６０が行う符号化処理において得られる情報を用いずに符号化処理を行う符号化方式であってもよいし、モノラル符号化部１６０で得られるモノラル符号ＣＭやモノラル符号化部１６０が行う符号化処理において得られる情報を用いて符号化処理を行う符号化方式であってもよい。
【0133】
＜第４実施形態＞
以上の実施形態での説明からも分かる通り、符号化装置が、左チャネルの入力音信号と右チャネルの入力音信号から得たダウンミックス信号を少なくとも符号化して符号を得るのであれば、それがどのような符号化装置であっても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。また、符号化装置に限らず、信号処理装置が、左チャネルの入力音信号と右チャネルの入力音信号から得たダウンミックス信号を少なくとも信号処理して信号処理結果を得るのであれば、それがどのような信号処理装置であっても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。さらに、これらの符号化装置や信号処理装置の前段で用いるダウンミックス装置として、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。これらの形態を第４実施形態として説明する。
以上の実施形態での説明からも分かる通り、符号化装置が、左チャネルの入力音信号と右チャネルの入力音信号から得たダウンミックス信号を少なくとも符号化して符号を得るのであれば、それがどのような符号化装置であっても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。また、符号化装置に限らず、信号処理装置が、左チャネルの入力音信号と右チャネルの入力音信号から得たダウンミックス信号を少なくとも信号処理して信号処理結果を得るのであれば、それがどのような信号処理装置であっても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。さらに、これらの符号化装置や信号処理装置の前段で用いるダウンミックス装置として、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。これらの形態を第４実施形態として説明する。
【0134】
≪音信号符号化装置１０５≫
第４実施形態の音信号符号化装置１０５は、図１８に示す通り、左右関係情報推定部１８３とダウンミックス部１１２と符号化部１９５を含む。第４実施形態の音信号符号化装置１０５は、各フレームについて、図１９に例示するステップＳ１８３とステップＳ１１２とステップＳ１９５の処理を行う。以下、第４実施形態の音信号符号化装置１０５について、第２実施形態の説明を適宜参照して説明する。
第４実施形態の音信号符号化装置１０５は、図１８に示す通り、左右関係情報推定部１８３とダウンミックス部１１２と符号化部１９５を含む。第４実施形態の音信号符号化装置１０５は、各フレームについて、図１９に例示するステップＳ１８３とステップＳ１１２とステップＳ１９５の処理を行う。以下、第４実施形態の音信号符号化装置１０５について、第２実施形態の説明を適宜参照して説明する。
【0135】
［左右関係情報推定部１８３］
左右関係情報推定部１８３は、第２実施形態の左右関係情報推定部１８３と同じであり、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８３）。
左右関係情報推定部１８３は、第２実施形態の左右関係情報推定部１８３と同じであり、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８３）。
【0136】
［ダウンミックス部１１２］
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じであり、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じであり、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。
【0137】
［符号化部１９５］
符号化部１９５には、ダウンミックス部１１２が出力したダウンミックス信号が少なくとも入力される。符号化部１９５は、入力されたダウンミックス信号を少なくとも符号化して音信号符号を得て出力する（ステップＳ１９５）。符号化部１９５は、左チャネルの入力音信号と右チャネルの入力音信号も符号化してもよく、この符号化で得た符号も音信号符号に含めて出力してもよい。この場合には、図１８に破線で示すように、符号化部１９５には左チャネルの入力音信号と右チャネルの入力音信号も入力される。
符号化部１９５には、ダウンミックス部１１２が出力したダウンミックス信号が少なくとも入力される。符号化部１９５は、入力されたダウンミックス信号を少なくとも符号化して音信号符号を得て出力する（ステップＳ１９５）。符号化部１９５は、左チャネルの入力音信号と右チャネルの入力音信号も符号化してもよく、この符号化で得た符号も音信号符号に含めて出力してもよい。この場合には、図１８に破線で示すように、符号化部１９５には左チャネルの入力音信号と右チャネルの入力音信号も入力される。
【0138】
≪音信号処理装置３０５≫
第４実施形態の音信号処理装置３０５は、図２０に示す通り、左右関係情報推定部１８３とダウンミックス部１１２と信号処理部３１５を含む。第４実施形態の音信号処理装置３０５は、各フレームについて、図２１に例示するステップＳ１８３とステップＳ１１２とステップＳ３１５の処理を行う。以下、第４実施形態の音信号処理装置３０５について、第４実施形態の音信号符号化装置１０５と異なる点を説明する。
第４実施形態の音信号処理装置３０５は、図２０に示す通り、左右関係情報推定部１８３とダウンミックス部１１２と信号処理部３１５を含む。第４実施形態の音信号処理装置３０５は、各フレームについて、図２１に例示するステップＳ１８３とステップＳ１１２とステップＳ３１５の処理を行う。以下、第４実施形態の音信号処理装置３０５について、第４実施形態の音信号符号化装置１０５と異なる点を説明する。
【0139】
［信号処理部３１５］
信号処理部３１５には、ダウンミックス部１１２が出力したダウンミックス信号が少なくとも入力される。信号処理部３１５は、入力されたダウンミックス信号を少なくとも信号処理して信号処理結果を得て出力する（ステップＳ３１５）。信号処理部３１５は、左チャネルの入力音信号と右チャネルの入力音信号も信号処理して信号処理結果を得てもよく、この場合には、図２０に破線で示すように、信号処理部３１５には左チャネルの入力音信号と右チャネルの入力音信号も入力される。信号処理部３１５は、例えば、各チャネルの入力音信号に対してダウンミックス信号を用いた信号処理を行って各チャネルの出力音信号を信号処理結果として得てもよいし、第３実施形態のステレオ符号化部１７４で得た符号ＣＳ’をステレオ符号化部１７４に対応する復号部を備える復号装置で復号して得た左チャネルの復号音信号と右チャネルの復号音信号に対してこの信号処理を行ってもよい。すなわち、音信号処理装置３０５に入力される左チャネルの入力音信号と右チャネルの入力音信号が２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であるのは必須ではなく、音信号処理装置３０５に入力される左チャネルの入力音信号と右チャネルの入力音信号は、符号を復号して得た左チャネルの復号音信号と右チャネルの復号音信号であってもよいし、ステレオの２チャネルの音信号であればどのようにして得られた音信号であってもよい。
信号処理部３１５には、ダウンミックス部１１２が出力したダウンミックス信号が少なくとも入力される。信号処理部３１５は、入力されたダウンミックス信号を少なくとも信号処理して信号処理結果を得て出力する（ステップＳ３１５）。信号処理部３１５は、左チャネルの入力音信号と右チャネルの入力音信号も信号処理して信号処理結果を得てもよく、この場合には、図２０に破線で示すように、信号処理部３１５には左チャネルの入力音信号と右チャネルの入力音信号も入力される。信号処理部３１５は、例えば、各チャネルの入力音信号に対してダウンミックス信号を用いた信号処理を行って各チャネルの出力音信号を信号処理結果として得てもよいし、第３実施形態のステレオ符号化部１７４で得た符号ＣＳ’をステレオ符号化部１７４に対応する復号部を備える復号装置で復号して得た左チャネルの復号音信号と右チャネルの復号音信号に対してこの信号処理を行ってもよい。すなわち、音信号処理装置３０５に入力される左チャネルの入力音信号と右チャネルの入力音信号が２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であるのは必須ではなく、音信号処理装置３０５に入力される左チャネルの入力音信号と右チャネルの入力音信号は、符号を復号して得た左チャネルの復号音信号と右チャネルの復号音信号であってもよいし、ステレオの２チャネルの音信号であればどのようにして得られた音信号であってもよい。
【0140】
音信号処理装置３０５に入力される左チャネルの入力音信号と右チャネルの入力音信号が別装置で符号を復号して得た左チャネルの復号音信号と右チャネルの復号音信号である場合などには、左右関係情報推定部１８３が得るのと同じ左右相関係数γと先行チャネル情報の何れか一方または両方が別装置で得られている場合がある。左右相関係数γと先行チャネル情報の何れか一方または両方が別装置で得られている場合は、図２０に一点鎖線で示す通り、音信号処理装置３０５には、別装置で得た左右相関係数γと先行チャネル情報の何れか一方または両方が入力されるようにすればよい。この場合には、左右関係情報推定部１８３は、音信号処理装置３０５に入力されなかった左右相関係数γまたは先行チャネル情報を得るようにすればよく、左右相関係数γと先行チャネル情報の両方が音信号処理装置３０５に入力される場合には、音信号処理装置３０５は、左右関係情報推定部１８３を備えずステップＳ１８３を行わないでよい。すなわち、音信号処理装置３０５は、図２０に二点鎖線で示す通り、左右関係情報取得部１８５を備えて、左右関係情報取得部１８５が、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力するようにすればよい（ステップＳ１８５）。なお、上述した各装置の左右関係情報推定部１８３とステップＳ１８３も、左右関係情報取得部１８５とステップＳ１８５の範疇であるといえる。
【0141】
≪音信号ダウンミックス装置４０５≫
第４実施形態の音信号ダウンミックス装置４０５は、図２２に示す通り、左右関係情報取得部１８５とダウンミックス部１１２を含む。音信号ダウンミックス装置４０５は、各フレームについて、図２３に例示するステップＳ１８５とステップＳ１１２の処理を行う。以下、音信号ダウンミックス装置４０５について、第２実施形態の説明を適宜参照して説明する。なお、音信号処理装置３０５と同様に、音信号ダウンミックス装置４０５に入力される左チャネルの入力音信号と右チャネルの入力音信号は、２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であってもよいし、符号を復号して得た左チャネルの復号音信号と右チャネルの復号音信号であってもよいし、ステレオの２チャネルの音信号であればどのようにして得られた音信号であってもよい。
第４実施形態の音信号ダウンミックス装置４０５は、図２２に示す通り、左右関係情報取得部１８５とダウンミックス部１１２を含む。音信号ダウンミックス装置４０５は、各フレームについて、図２３に例示するステップＳ１８５とステップＳ１１２の処理を行う。以下、音信号ダウンミックス装置４０５について、第２実施形態の説明を適宜参照して説明する。なお、音信号処理装置３０５と同様に、音信号ダウンミックス装置４０５に入力される左チャネルの入力音信号と右チャネルの入力音信号は、２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であってもよいし、符号を復号して得た左チャネルの復号音信号と右チャネルの復号音信号であってもよいし、ステレオの２チャネルの音信号であればどのようにして得られた音信号であってもよい。
【0142】
［左右関係情報取得部１８５］
左右関係情報取得部１８５は、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８５）。
左右関係情報取得部１８５は、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８５）。
【0143】
左右相関係数γと先行チャネル情報の両方が別装置で得られている場合には、図２２に一点鎖線で示すように、左右関係情報取得部１８５は別装置から音信号ダウンミックス装置４０５に入力された左右相関係数γと先行チャネル情報を得てダウンミックス部１１２に対して出力する。
【0144】
左右相関係数γと先行チャネル情報の両方が別装置で得られていない場合には、図２２に破線で示すように、左右関係情報取得部１８５は左右関係情報推定部１８３を備える。左右関係情報推定部１８３は、左右相関係数γと先行チャネル情報を、第２実施形態の左右関係情報推定部１８３と同様に左チャネルの入力音信号と右チャネルの入力音信号から得て、ダウンミックス部１１２に対して出力する。
【0145】
左右相関係数γと先行チャネル情報の何れか一方が別装置で得られていない場合には、図２２に破線で示すように、左右関係情報取得部１８５は、左右関係情報推定部１８３を備える。左右関係情報取得部１８５の左右関係情報推定部１８３は、別装置で得られていない左右相関係数γまたは別装置で得られていない先行チャネル情報を、第２実施形態の左右関係情報推定部１８３と同様に左チャネルの入力音信号と右チャネルの入力音信号から得て、ダウンミックス部１１２に対して出力する。別装置で得られている左右相関係数γまたは別装置で得られている先行チャネル情報については、左右関係情報取得部１８５は、図２２に一点鎖線で示すように、別装置から音信号ダウンミックス装置４０５に入力された左右相関係数γまたは先行チャネル情報をダウンミックス部１１２に対して出力する。
【0146】
［ダウンミックス部１１２］
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じであり、左右関係情報取得部１８５が取得した先行チャネル情報と左右相関係数と基づいて、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じであり、左右関係情報取得部１８５が取得した先行チャネル情報と左右相関係数と基づいて、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。
【0147】
例えば、サンプル番号をtとし、左チャネルの入力音信号をxL(t)とし、右チャネルの入力音信号をxR(t)とし、ダウンミックス信号をxM(t)とすると、ダウンミックス部１１２は、先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1+γ)/2)×xL(t)+((1-γ)/2)×xR(t)によりダウンミックス信号を得て、先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、xM(t)=((1-γ)/2)×xL(t)+((1+γ)/2)×xR(t)によりダウンミックス信号を得て、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、xM(t)=(xL(t)+xR(t))/2によりダウンミックス信号を得る。
【0148】
＜プログラム及び記録媒体＞
上述した各符号化装置と各復号装置と音信号符号化装置と音信号処理装置と音信号ダウンミックス装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図２４に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
上述した各符号化装置と各復号装置と音信号符号化装置と音信号処理装置と音信号ダウンミックス装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図２４に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【0149】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。
【0150】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0151】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【0152】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【0153】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】