特許 7316384 符号化装置、復号装置、符号化方法及び復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-19

(45)【発行日】2023-07-27

(54)【発明の名称】符号化装置、復号装置、符号化方法及び復号方法

(51)【国際特許分類】

   G10L 19/008 20130101AFI20230720BHJP

   G10L 19/00 20130101ALI20230720BHJP

   H03M 7/30 20060101ALI20230720BHJP

【ＦＩ】

G10L19/008 100

G10L19/00 330Z

G10L19/00 312B

G10L19/00 312E

H03M7/30 Z

G10L19/00 330B

【請求項の数】 16

(21)【出願番号】P 2021569763

(86)(22)【出願日】2020-12-02

(86)【国際出願番号】 JP2020044887

(87)【国際公開番号】W WO2021140791

(87)【国際公開日】2021-07-15

【審査請求日】2022-06-09

(31)【優先権主張番号】P 2020001961

(32)【優先日】2020-01-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】原田 旭

(72)【発明者】

【氏名】江原 宏幸

(72)【発明者】

【氏名】櫻井 利昭

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１８－０２２１５９（ＪＰ，Ａ）

【文献】特開２０１２－２４９０４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １９／００８

Ｇ１０Ｌ １９／００

Ｈ０３Ｍ ７／３０

(57)【特許請求の範囲】

【請求項1】

音信号の符号化データを復号する復号装置における、前記音信号の信号形式の変換能力に関する情報に基づいて、前記音信号の信号形式の変換を制御する制御回路と、
前記変換の制御に従って、前記音信号を符号化する符号化回路と、
を具備する符号化装置。

【請求項2】

前記制御回路は、前記変換能力に関する情報が第１の信号形式への変換をサポートしないことを示す場合に、前記符号化装置に入力された第２の信号形式の前記音信号を前記第１の信号形式に変換する、
請求項１に記載の符号化装置。

【請求項3】

前記第１の信号形式は、前記音信号を構成する左チャネル信号及び右チャネル信号によって表される形式であり、
前記第２の信号形式は、前記左チャネル信号と前記右チャネル信号との和を示す和信号、及び、前記左チャネル信号と前記右チャネル信号との差を示す差信号によって表される形式である、
請求項２に記載の符号化装置。

【請求項4】

前記制御回路は、前記符号化装置に前記第１の信号形式の前記音信号が入力された場合、前記変換を適用しない、
請求項２に記載の符号化装置。

【請求項5】

前記制御回路は、前記第２の信号形式から前記第１の信号形式への変換において、前記和信号と前記差信号とに対する重み付けを行う、
請求項３に記載の符号化装置。

【請求項6】

前記符号化装置と前記復号装置との通信に関するセッションネゴシエーションにおいて、前記変換能力に関する情報を受信する受信回路を備えた、
請求項１に記載の符号化装置。

【請求項7】

前記制御回路及び前記符号化回路の双方がコーデックに含まれる、又は、前記制御回路及び前記符号化回路のうち前記符号化回路がコーデックに含まれる、
請求項１に記載の符号化装置。

【請求項8】

音信号の符号化データを復号する復号装置であって、
前記復号装置における前記音信号の信号形式の変換能力に関する情報に基づいて符号化装置において符号化された前記符号化データを復号する復号回路と、
前記信号形式の変換を制御する制御回路と、
を具備する復号装置。

【請求項9】

前記制御回路は、前記変換能力に関する情報が第１の信号形式への変換をサポートすることを示す場合に、前記復号装置に入力された第２の信号形式の前記音信号に対する前記符号化データを前記第１の信号形式に変換する、
請求項８に記載の復号装置。

【請求項10】

前記第１の信号形式は、前記音信号を構成する左チャネル信号及び右チャネル信号によって表される形式であり、
前記第２の信号形式は、前記左チャネル信号と前記右チャネル信号との和を示す和信号、及び、前記左チャネル信号と前記右チャネル信号との差を示す差信号によって表される形式である、
請求項９に記載の復号装置。

【請求項11】

前記制御回路は、前記第２の信号形式から前記第１の信号形式への変換において、前記和信号と前記差信号とに対する重み付けを行う、
請求項１０に記載の復号装置。

【請求項12】

前記制御回路は、前記復号回路において得られた復号データの出力先デバイスの種別に関する情報に基づいて、前記重み付けを制御する、
請求項１１に記載の復号装置。

【請求項13】

前記制御回路は、前記復号回路において得られた復号データを構成する左チャネル信号と右チャネル信号との比率を調整する、
請求項１１に記載の復号装置。

【請求項14】

前記復号回路及び前記制御回路の双方がコーデックに含まれる、又は、前記復号回路及び前記制御回路のうち前記復号回路がコーデックに含まれる、
請求項８に記載の復号装置。

【請求項15】

符号化装置は、
音信号の符号化データを復号する復号装置における、前記音信号の信号形式の変換能力に関する情報に基づいて、前記音信号の信号形式の変換を制御し、
前記変換の制御に従って、前記音信号を符号化する、
符号化方法。

【請求項16】

音信号の符号化データを復号する復号装置は、
前記復号装置における前記音信号の信号形式の変換能力に関する情報に基づいて符号化装置において符号化された前記符号化データを復号し、
前記信号形式の変換を制御する、
復号方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、符号化装置、復号装置、符号化方法及び復号方法に関する。

【背景技術】

【0002】

マイクロホン（以下、マイクと呼ぶ）からの入力を符号化する技術の一つに、例えば、Middle/Side（M/S）ステレオ符号化がある（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１４－５１６４２５号公報

【文献】特表２０１９－５０２９６６号公報

【文献】国際公開第２０１９／２２９３００号

【文献】国際公開第２００１／０７６１７２号

【発明の概要】

【0004】

しかしながら、マイクの種別（別言すると、音信号の信号形式）に応じた符号化及び復号の方法について十分に検討されていない。

【0005】

本開示の非限定的な実施例は、音信号の信号形式に応じた符号化及び復号が可能な符号化装置、復号装置、符号化方法及び復号方法の提供に資する。

【0006】

本開示の一実施例に係る符号化装置は、音信号の符号化データを復号する復号装置における、前記音信号の信号形式の変換能力に関する情報に基づいて、前記音信号の信号形式の変換を制御する制御回路と、前記変換の制御に従って、前記音信号を符号化する符号化回路と、を具備する。

【0007】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【0008】

本開示の一実施例によれば、音信号の信号形式に応じた符号化（又は復号）が可能である。

【0009】

本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る伝送システムの構成例を示すブロック図

【図2】実施の形態１に係るセッションネゴシエーションの一例を示すシーケンス図

【図3】実施の形態１に係る通信端末のソフトウェア及びハードウェアの構成例を示す図

【図4】実施の形態１に係る変換制御部の構成例を示すブロック図

【図5】実施の形態１に係る通信端末のソフトウェア及びハードウェアの構成例を示す図

【図6】実施の形態１に係る変換制御部の構成例を示すブロック図

【図7】実施の形態２に係る通信端末の構成例を示すブロック図

【図8】実施の形態２に係る通信端末の構成例を示すブロック図

【図9】実施の形態２に係るコーデック及び変換制御部の動作例を示す図

【図10】実施の形態２に係るコーデック及び変換制御部の動作例を示す図

【図11】実施の形態２に係るコーデック及び変換制御部の動作例を示す図

【図12】実施の形態３に係る変換制御部の構成例を示すブロック図

【図13】実施の形態３に係る音像定位の設定例を示す図

【図14】実施の形態４に係る通信端末の構成例を示すブロック図

【図15】実施の形態４に係る通信端末の構成例を示すブロック図

【図16】実施の形態５に係る通信端末のソフトウェア及びハードウェアの構成例を示す図

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態について図面を参照して詳細に説明する。

【0012】

符号化方法の１つに、例えば、ステレオマイクによって取得された入力信号（例えば、音声信号又は音響信号（又は音声音響信号とも呼ぶ））をM/Sステレオ符号化する方法が提案されている（例えば、特許文献１及び特許文献２を参照）。M/Sステレオ符号化により、例えば、信号の圧縮性能を向上できる。

【0013】

ステレオマイクには、例えば、M信号（和信号）及びS信号（差信号）を取得するMid-Side（M-S）マイク、及び、A-Bマイク又はX-Yマイクといった、ステレオ信号を構成するLチャネル信号及びRチャネル信号を取得するマイクがある。以下では、例えば、M信号及びS信号によって表されるステレオ信号の信号形式を「M/S形式」と呼び、Lチャネル信号及びRチャネル信号によって表されるステレオ信号の信号形式を「L/R形式」と呼ぶ。

【0014】

ここで、例えば、M-Sマイクによって取得されたM/S形式の信号に対するステレオ符号化の方法について検討する。

【0015】

例えば、通信端末においてM/S形式の信号が符号化され、通信相手である対向機（換言すると、受信機）においてM信号及びS信号がヘッドホン又はスピーカのLチャネル及びRチャネルで再生されると、ユーザに違和感を与え得る。また、例えば、既存のコーデック（例えば、Enhanced Voice Services：EVS)は、L/R形式の信号のコーデックへの入力が想定されているため、M/S形式の信号の入力によってコーデックの符号化性能が低減する可能性がある。

【0016】

本開示の非限定的な一実施例では、マイクロホンの一例であるM-Sマイクによって取得されたM/S形式の信号を適切に符号化する方法について説明する。

【0017】

［伝送システムの概要］
図１は、本実施の形態に係る音声音響信号の伝送システムの構成例を示す。

【0018】

図１に示す伝送システムは、例えば、少なくとも、通信端末１、及び、通信端末２を備える。

【0019】

通信端末１は、例えば、音声信号又は音響信号といった入力信号を符号化する。符号化データは通信端末２に送信あるいは入力される。例えば、符号化データは、通信網を介して通信端末２にて受信されてよく、また、記録媒体に記録された符号化データが通信端末２に入力されてもよい。「通信網」は、有線又は無線の「伝送路」に読み替えられてもよい。また、例えば、通信端末１は、Moving Picture Experts Group（MPEG）、3rd Generation Partnership Project（3GPP）又はInternational Telecommunication Union Telecommunication Standardization Sector（ITU-T）といった規格に規定されている種々の音声音響コーデック（例えば、図１に示すコーデック１２２）を備えてよい。

【0020】

通信端末２は、例えば、伝送路又は記録媒体を介して、通信端末１から受信した符号化データを復号して出力信号（例えば、電気信号）を出力する。通信端末２は、例えば、電気信号を、スピーカ又はヘッドホンを介して音波として出力してよい。また、通信端末２は、例えば、前述した音声音響コーデックに対応する受信処理部２１を備えてもよい。

【0021】

なお、以下では、一例として、通信端末１が、音声音響信号の符号化データを送信する送信側の装置（例えば、送信機とも呼ぶ）であり、通信端末２が、音声音響信号の符号化データを受信する受信側の装置（例えば、受信機とも呼ぶ）である場合を想定する。そのため、図１では、通信端末１における送信側の処理に関する機能部を備え、通信端末２において受信側の処理に関する機能部を備える例を示す。なお、通信端末１及び通信端末２は、図１に示す構成例に限定されず、送信側及び受信側の双方の機能部を有してもよい。別言すると、通信端末１と通信端末２との間の通信は、一方向（unidirectional）でもよいし双方向（bidirectional）でもよい。

【0022】

［通信端末１の構成例］
図１に示す通信端末１は、例えば、マイク１１、送信処理部１２（符号化装置に相当）、及び、表示デバイス１３を備える。

【0023】

マイク１１は、例えば、音声又は音響といった音（sound）の入力デバイスであり、取得（換言すると、収音又は録音）した音声音響信号を送信処理部１２へ出力する。

【0024】

なお、マイク１１は、図１に示すように、通信端末１に備えられる場合に限定されない。通信端末１は、マイクを備えず、例えば、外部のマイク（図示せず）が接続（例えば、有線接続又は無線接続）されてもよい。または、通信端末１は、例えば、内部に備えるマイク１１と、外部のマイクとを切り替えてもよい。

【0025】

マイク１１は、例えば、ステレオマイクでもよい。ステレオマイクは、例えば、全指向性マイク、単一指向性マイク、又は、双指向性マイクを用いて構成されてよい。例えば、全指向性マイクを平行に２本組み合わせたマイクを「A-Bマイク」と呼ぶ。また、例えば、単一指向性マイクの収音部が重なるように開き角度を持たせて２本組み合わせたマイクを「X-Yマイク」と呼ぶ。また、例えば、単一指向性マイクと双指向性マイクとを１本ずつ組み合わせたマイクを「M-Sマイク」と呼ぶ。また、例えば、２本の単一指向性マイクの距離を17cmとし、角度を110度にしたマイクを「Office de Radiodiffusion Television Francalse（ORTF）マイク」と呼び、２本の単一指向性マイクの距離を30cmとし、角度を90度にしたマイクを「Nederlandse Omroep Stichting（NOS）マイク」と呼ぶ。

【0026】

例えば、M-Sマイクから出力される音声音響信号は「M/S形式」の信号である。また、A-Bマイク、X-Yマイク、ORTFマイク及びNOSマイクから出力される音声音響信号は、例えば、「L/R形式」の信号である。

【0027】

送信処理部１２は、例えば、マイク１１から入力される音声音響信号を符号化し、符号化データを通信端末２へ送信する。送信処理部１２は、例えば、コーデックネゴシエーション部１２１、及び、コーデック１２２を備える。

【0028】

コーデックネゴシエーション部１２１は、例えば、通信端末１の対向機である通信端末２との間の通信のためのセッションに関するネゴシエーション（又は、折衝）を行う。コーデックネゴシエーション部１２１は、例えば、通信において使用可能なコーデックに関するネゴシエーションを行ってよい。また、コーデックネゴシエーション部１２１は、例えば、通信端末２のコーデックにおけるステレオ信号に対する信号形式（換言すると、フォーマット）の変換能力（例えば、出力変換能力、又は、出力変換機能とも呼ぶ）に関するネゴシエーションを行ってよい。換言すると、コーデックネゴシエーション部１２１（例えば、受信回路に相当）は、通信端末１と通信端末２との間のセッションネゴシエーションにおいて、通信端末２の出力変換能力に関する情報を受信してよい。コーデックネゴシエーション部１２１は、例えば、ネゴシエーションの結果（例えば、コーデックの種類又は出力変換能力に関する情報）をコーデック１２２へ出力する。

【0029】

出力変換能力に関する情報（例えば、「出力変換能力情報」と呼ぶ）は、例えば、通信端末２において、ステレオ信号の信号形式をM/S形式からL/R形式へ変換可能であるか、変換不可能であるかを示す情報でもよい。なお、「変換可能」であるか「変換不可能」であるかは、変換が「サポートされる」か「サポートされない」かを意味してもよい。換言すると、出力変換能力情報は、例えば、通信端末２において、M/S形式の信号からL/R形式の信号へ変換する機能部（後述する変換制御部２１２２）を有するか否かを示す情報でもよい。例えば、出力変換能力情報は、セッションネゴシエーションにおいて通信端末２から通信端末１へ通知されてよい。

【0030】

コーデック１２２は、例えば、マイク１１から入力される音声音響信号を符号化して、符号化データを出力する。コーデック１２２は、例えば、変換制御部１２２１（例えば、制御回路に相当）及び符号化部１２２２（例えば、符号化回路に相当）を含む。

【0031】

変換制御部１２２１は、マイク１１から入力されるステレオ信号の信号形式（換言すると、符号化部１２２２における符号化対象の信号形式）の変換を制御する。例えば、変換制御部１２２１は、コーデックネゴシエーション部１２１から入力されるコーデックの種類又は出力変換能力に関する情報、及び、マイク１１の種別を示す情報（以下、「マイク種別情報」と呼ぶ）の少なくとも一つに基づいて、符号化部１２２２に入力される信号の信号形式（例えば、M/S形式又はL/R形式）を決定してよい。

【0032】

変換制御部１２２１は、例えば、マイク１１から入力される信号又は変換後の信号を符号化部１２２２へ出力する。また、変換制御部１２２１は、例えば、決定した信号形式を示す情報（以下、「信号形式情報」と呼ぶ）を生成し、符号化部１２２２へ出力してよい。

【0033】

符号化部１２２２は、変換制御部１２２１から入力される信号を符号化（例えば、ステレオ符号化）し、符号化データを出力する。また、符号化部１２２２は、変換制御部１２２１から入力される信号形式情報を符号化し、出力してよい。

【0034】

なお、コーデック１２２の動作例については後述する。

【0035】

表示デバイス１３は、例えば、通信端末１のユーザの操作を受け付ける画像を表示してよい。また、表示デバイス１３は、例えば、ユーザの操作内容を示す情報を、通信端末１の他の機能部（例えば、送信処理部１２）へ出力してよい。表示デバイス１３は、例えば、液晶ディスプレイといったデバイスである。

【0036】

［通信端末２の構成例］
図１に示す通信端末２は、例えば、受信処理部２１（例えば、復号装置に相当）、スピーカ２２、及び、表示デバイス２３を備える。

【0037】

受信処理部２１は、例えば、通信端末１から送信された符号化データ（又は、送信ビットストリームとも呼ぶ）を受信し、符号化データを復号して得られる復号音声音響信号をスピーカ２２へ出力する。受信処理部２１は、例えば、コーデックネゴシエーション部２１１、及び、コーデック２１２を備える。

【0038】

コーデックネゴシエーション部２１１は、例えば、通信端末２の対向機である通信端末１との間の通信のためのセッションに関するネゴシエーションを行う。コーデックネゴシエーション部２１１は、例えば、通信において使用可能なコーデックに関するネゴシエーション、又は、通信端末２のコーデックにおける出力変換能力に関するネゴシエーションを行ってよい。コーデックネゴシエーション部２１１におけるネゴシエーションの結果（例えば、コーデックの種類に関する情報又は出力変換能力情報）は、例えば、通信端末１へ通知されてよい。

【0039】

コーデック２１２は、例えば、符号化データを復号して、復号データ（例えば、復号音声音響信号とも呼ぶ）をスピーカ２２へ出力する。コーデック２１２は、例えば、復号部２１２１（例えば、復号回路に相当）及び変換制御部２１２２（例えば、制御回路に相当）を含む。

【0040】

復号部２１２１は、例えば、通信端末１において符号化された符号化データを復号して、復号データを変換制御部２１２２へ出力する。また、復号部２１２１は、例えば、通信端末１から送信される信号形式情報を復号し、変換制御部２１２２へ出力する。

【0041】

変換制御部２１２２は、復号部２１２１から入力される復号データ（例えば、ステレオ信号の復号データ）の信号形式の変換を制御する。例えば、変換制御部２１２２は、信号形式情報に示される信号形式（例えば、M/S形式又はL/R形式）に基づいて、復号データの信号形式を決定してよい。

【0042】

なお、コーデック２１２の動作例については後述する。

【0043】

スピーカ２２は、例えば、音の出力デバイスであり、コーデック２１２から入力される復号データを音（例えば、音声又は音響）に変換して出力する。

【0044】

なお、スピーカ２２は、図１に示すように、通信端末２に備えられる場合に限定されない。通信端末２は、スピーカを備えず、例えば、スピーカ又はヘッドホンといった外部の出力デバイス（図示せず）が接続（例えば、有線接続又は無線接続）されてもよい。または、通信端末２は、例えば、内部に備えるスピーカ２２と、外部の出力デバイスとを切り替えてもよい。

【0045】

表示デバイス２３は、例えば、通信端末２のユーザの操作を受け付ける画像を表示してよい。また、表示デバイス２３は、例えば、ユーザの操作内容を示す情報を、通信端末２の他の機能部（例えば、受信処理部２１）へ出力してよい。表示デバイス２３は、例えば、液晶ディスプレイといった表示デバイスである。

【0046】

［ネゴシエーションの一例］
次に、通信端末１（例えば、コーデックネゴシエーション部１２１）と通信端末２（例えば、コーデックネゴシエーション部２１１）との間のネゴシエーションの一例について説明する。

【0047】

図２は、通信端末１と通信端末２との間のネゴシエーションの動作例を示すシーケンス図である。

【0048】

図２において、通信端末１及び通信端末２は、通信の呼び出し、及び、呼び出しに対する応答を行う（Ｓ１０１）。

【0049】

通信端末１は、例えば、通信端末２に対して、使用可能なコーデックの問い合わせを行う（Ｓ１０２）。通信端末２は、使用可能なコーデックの問い合わせに対して応答する（Ｓ１０３）。使用可能なコーデックの応答には、例えば、通信端末２において使用可能なコーデックの種別に関する情報が含まれてよい。通信端末１は、通信端末２からの使用可能なコーデックの応答に基づいて、通信端末１と通信端末２との間の通信において使用するコーデックを確定（換言すると、決定）する（Ｓ１０４）。

【0050】

通信端末１は、例えば、通信端末２に対して、出力変換能力の問い合わせを行う（Ｓ１０５）。通信端末２は、出力変換能力の問い合わせに対して応答する（Ｓ１０６）。出力変換能力の問い合わせの応答には、例えば、通信端末２の出力変換能力情報が含まれてよい。通信端末１は、通信端末２からの出力変換能力情報に基づいて、符号化部１２２２の符号対象である信号の信号形式（又は、入力形式とも呼ぶ）を決定する（Ｓ１０７）。

【0051】

通信端末１及び通信端末２は、例えば、通信端末１と通信端末２との間の通信網におけるリソース割当を行う（Ｓ１０８）。

【0052】

通信端末２は、ユーザ呼び出しを行い（Ｓ１０９）、例えば、ユーザが応答すると、通信端末１へ応答ＯＫメッセージを送信し（Ｓ１１０）、通信端末１と通信端末２との間で通話が開始される（Ｓ１１１）。

【0053】

なお、出力変換能力に関する処理（例えば、Ｓ１０５及びＳ１０６の処理）は、使用可能なコーデックに関する処理（例えば、Ｓ１０２及びＳ１０３の処理）内で行われてもよい。または、出力変換能力に関する処理において、通信端末１からの問い合わせ（例えば、Ｓ１０５の処理）を行わずに、ネゴシエーションの間に、通信端末２が通信端末１へ出力変換能力情報を通知してもよい。

【0054】

また、図２に示す出力変換能力に関する処理（Ｓ１０５及びＳ１０６の処理）では、通信端末１が通信端末２に対して出力変換能力の問い合わせを行う場合について説明したが、これに限定されない。通信端末２から通信端末１への符号化データの通信が想定される場合には、例えば、通信端末２が通信端末１に対して出力変換能力の問い合わせを行ってもよい（Ｓ１０５の処理に相当）。この場合、通信端末１は、通信端末２からの出力変換能力の問い合わせに対して応答してもよい（Ｓ１０６の処理に相当）。この処理は、例えば、通信端末２から通信端末１への符号化データの通信（例えば、双方向通信）を想定し、通信端末１において符号化データを復号して出力するために、通信端末２における符号化の際に信号形式の変換要否について有用となる。

【0055】

［通信端末１の動作例］
次に、通信端末１（送信側）の動作例について説明する。

【0056】

図３は、通信端末１のソフトウェア及びハードウェアの構成例を示す図である。

【0057】

通信端末１のソフトウェアには、例えば、ユーザインターフェースアプリケーション、音声通信アプリケーション、通信ドライバソフト、コーデックネゴシエーション部１２１、サウンドドライバソフト、及び、コーデック１２２が含まれてよい。

【0058】

また、通信端末１のハードウェアには、例えば、radio frequency（RF）ブロック、Ethernet（登録商標）ブロック、Analog-to-Digital（AD）コンバータ、マイク１１、Digital-to-Analog（DA）コンバータ、スピーカ、及び、ヘッドホンが含まれてよい。なお、図３に示すハードウェアの少なくとも一つは、通信端末１が備えない外部装置でもよく、通信端末１と接続されてもよい。

【0059】

ユーザインターフェースアプリケーションは、例えば、表示デバイス１３を介して、ユーザの操作を受け付け、ユーザの操作に対応する入力情報を音声通信アプリケーションへ出力する。

【0060】

音声通信アプリケーションは、例えば、ユーザインターフェースアプリケーション、コーデックネゴシエーション部１２１、又は、サウンドドライバソフトから入力される情報に基づいて、コーデック１２２に対する音声通信に関する処理を制御する。

【0061】

サウンドドライバソフトは、例えば、音の入出力に関するハードウェア（例えば、マイク１１、ADコンバータ、DAコンバータ、ヘッドホン及びスピーカ）を制御する。

【0062】

通信ドライバソフトは、例えば、通信に関するハードウェア（例えば、RFブロック又はEthernetブロック）を制御する。

【0063】

ここで、通信端末１においてマイク種別情報（例えば、M/S形式又はL/R形式）をコーデック１２２へ入力する方法の例として、方法１－１、方法１－２及び方法１－３について説明する。なお、マイク種別情報のコーデック１２２への入力方法は、これらの方法に限定されず、他の方法でもよい。

【0064】

方法１－１では、例えば、音声通信アプリケーションは、サウンドドライバソフトからマイク種別情報を取得し、取得したマイク種別情報をコーデック１２２へ出力する。

【0065】

方法１－２では、例えば、コーデック１２２は、サウンドドライバソフトからマイク種別情報を取得する。

【0066】

方法１－３では、例えば、ユーザインターフェースアプリケーションは、ユーザが選択したマイク種別を示すマイク種別情報を、音声通信アプリケーションを介してコーデック１２２へ出力する。方法１－３の場合、例えば、表示デバイス１３は、M-Sマイク及びA-Bマイクといったマイク種別の選択画面を表示し、ユーザが選択したマイク種別に対応するマイク種別情報を生成してよい。

【0067】

また、例えば、通信途中に、通信端末１においてマイクの交換（又は、差し替え）が行われた場合、又は、ユーザがマイク種別情報を意図的に切り替えた場合、方法１－１、方法１－２又は方法１－３の何れかによって、更新後のマイク種別情報がコーデック１２２へ入力されてよい。

【0068】

次に、通信端末１において出力変換能力情報をコーデック１２２へ入力する方法の例について説明する。

【0069】

例えば、コーデックネゴシエーション部１２１によるネゴシエーションにおいて、通信ドライバソフトは、通信端末１の対向機である通信端末２から送信される出力変換能力情報を取得（換言すると、受信）し、コーデックネゴシエーション部１２１及び音声通信アプリケーションを介して、コーデック１２２へ出力する。なお、出力変換能力情報のコーデック１２２への入力方法は、この方法に限定されず、他の方法でもよい。

【0070】

［変換制御部１２２１の動作例］
次に、通信端末１のコーデック１２２における変換制御部１２２１の動作例について説明する。

【0071】

図４は、変換制御部１２２１の構成例を示すブロック図である。図４に示す変換制御部１２２１は、例えば、判定部１２２５及び変換部１２２６を備える。

【0072】

判定部１２２５は、例えば、マイク種別情報、及び、出力変換能力に基づいて、入力信号（例えば、音声音響信号）の信号形式を変換するか否かを判定する。

【0073】

例えば、マイク種別情報が「M/S形式」を示し、かつ、出力変換能力情報が「M/S形式からL/R形式への変換可能」を示す場合、判定部１２２５は、入力信号の信号形式（M/S形式）を変換しないと判定する。この場合、判定部１２２５は、M/S形式の信号を符号化部１２２２へ出力する。

【0074】

また、例えば、マイク種別情報が「M/S形式」を示し、かつ、出力変換能力情報が「M/S形式からL/R形式への変換不可能」を示す場合、判定部１２２５は、入力信号の信号形式（M/S形式）をL/R形式へ変換すると判定する。この場合、判定部１２２５は、M/S形式の入力信号を変換部１２２６へ出力する。

【0075】

また、例えば、マイク種別情報が「L/R形式」を示す場合、判定部１２２５は、出力変換能力情報に依らず、入力信号の信号形式（L/R形式）を変換せずに符号化部１２２２へ出力する。

【0076】

判定部１２２５は、入力信号の信号形式の判定結果（例えば、決定した信号形式）を示す信号形式情報を符号化部１２２２へ出力する。

【0077】

なお、判定部１２２５における信号形式変換の判定方法は、マイク種別情報に基づく方法に限定されず、他の方法でもよい。例えば、判定部１２２５は、入力信号を構成する２チャネル（例えば、M信号とS信号のペア、又は、Lチャネル信号とRチャネル信号とのペア）の相関関係に基づいて、マイク種別を判別し、信号形式を変換するか否かを判定してもよい。２チャネルの相関関係は、例えば、２チャネル間のゲイン差、時間差、位相差、又は、周波数領域に変換した際のスペクトル構造の差といった２チャネル間の関係を示す情報の少なくとも１つに基づいて決定されてよい。

【0078】

また、例えば、通信端末１において使用されるマイク１１がM-Sマイクの場合（換言すると、L/R形式に対応するマイクが使用されない場合）、判定部１２２５は、出力変換能力情報に基づいて、信号形式の変換を制御してもよい。

【0079】

変換部１２２６は、例えば、判定部１２２５から入力されるM/S形式の入力信号を、L/R形式の入力信号に変換し、変換後のL/R形式の信号を符号化部１２２２へ出力する。

【0080】

換言すると、変換制御部１２２１は、出力変換能力情報がL/R形式への変換をサポートしないことを示す場合に、送信処理部１２に入力されたM/S形式の音信号をL/R形式に変換する。一方、変換制御部１２２１は、出力変換能力情報がL/R形式への変換をサポートすることを示す場合に、送信処理部１２に入力されたM/S形式の音信号に対して上記変換を適用しない。また、変換制御部１２２１は、送信処理部１２にL/R形式の音信号が入力された場合、上記変換を適用しない。

【0081】

また、変換部１２２６は、M/S形式からL/R形式への変換の際に、M信号とS信号とに対する重み付けを行ってもよい。M信号及びS信号に対する重み付けにより、音の広がり感を調整できる。

【0082】

変換部１２２６は、例えば、以下の式（１）に従って、M信号（M）及びS信号（S）を、Lチャネル信号（L）及びRチャネル信号（R）へ変換してよい。
L = αM＋βS
R = αM－βS
…（１）

【0083】

ここで、α及びβは0≦α≦1、0≦β≦1、かつ、α+β=1の重み係数を示す。例えば、音の広がりが最小（又は、0%と表す）の場合にはα=1かつβ=0に設定され、音の広がりが最大（又は、100%と表す）の場合にはα=0かつβ=1に設定されてよい。換言すると、αの値が大きいほど（βの値が小さいほど）、M信号が強調され、音の広がり感が低下する。また、αの値が小さいほど（βの値が大きいほど）、S信号が強調され、音の広がり感が増加する。

【0084】

M/S形式からL/R形式への変換時の重み係数（例えば、α及びβ）の設定方法の例として、方法２－１、方法２－２及び方法２－３について説明する。なお、重み係数（例えば、α及びβ）の設定方法は、これらの方法に限定されず、他の方法でもよい。

【0085】

方法２－１では、例えば、ユーザインターフェースアプリケーションは、ユーザが選択（換言すると、設定）した重み係数α及びβ（又は、重み係数に関連付けられたパラメータ）を、音声通信アプリケーションを介してコーデック１２２へ出力してよい。方法２－１の場合、例えば、表示デバイス１３は、音の広がりに関するパラメータ（例えば、0%～100%）の選択画面（又は入力画面）を表示し、ユーザが選択したパラメータに対応する重み係数を示す情報（例えば、図３又は図４に示す「M/S→L/R変換時の重み」）を生成してよい。また、表示デバイス１３は、例えば、10%、20%、…、100%といった重み係数α及びβの複数の候補値を予め設定し、候補値の何れかをユーザに選択させてもよい。

【0086】

方法２－２では、例えば、音声通信アプリケーションは、重み係数α及びβを設定し、設定した重み係数α及びβを示す情報をコーデック１２２へ出力してよい。

【0087】

方法２－３では、例えば、コーデック１２２は重み係数α及びβを設定してよい。

【0088】

以上、重み係数α及びβの設定方法の例について説明した。

【0089】

通信端末１は、M/S形式又はL/R形式の信号の送信に加え、変換制御部１２２１において生成された信号形式情報を、通信端末２へ送信してよい。

【0090】

信号形式情報の送信方法の例として、方法３－１～方法３－４について説明する。なお、信号形式情報の送信方法は、これらの方法に限定されず、他の方法でもよい。

【0091】

方法３－１では、例えば、符号化部１２２２において音声音響信号を符号化する際に、信号形式情報も符号化され、送信ビットストリームに含めて送信されてよい。

【0092】

方法３－２では、例えば、コーデックネゴシエーション部１２１は、セッションのネゴシエーションを確立する際に信号形式情報を通信端末２へ送信してよい。

【0093】

方法３－３では、例えば、信号形式情報は、符号化部１２２２において符号化される送信ビットストリームに含まれず、別の信号（例えば、セッション制御メッセージ又は通信プロトコルのヘッダ）においてフレーム毎に送信されてよい。

【0094】

方法３－４では、例えば、信号形式情報は、符号化部１２２２において符号化される送信ビットストリームに含まれず、別の信号（例えば、セッション制御メッセージ又は通信プロトコルのヘッダ）において、初回送信時、及び、マイクの切り替わったタイミングで送信されてよい。

【0095】

以上、信号形式情報の送信方法の例について説明した。

【0096】

なお、変換制御部１２２１へ入力される２チャネルの信号、又は、変換制御部１２２１における変換後の２チャネルの信号において、一方のチャネルのゲインと他方のチャネルのゲインとの差が極めて大きい場合（例えば、ゲイン差が閾値以上の場合）、コーデック１２２は、２チャネルのうち、ゲインの大きいチャネルをモノラルコーデックに基づいて符号化し、ゲインの小さいチャネルを符号化しなくてもよい。換言すると、２チャネルのうち、ゲインの大きいチャネルの符号化データが通信端末２へ送信されてよい。

【0097】

または、M/S形式からL/R形式への変換後の２チャネル（例えば、Lチャネル及びRチャネル）において、一方のチャネルのゲインと他方のチャネルのゲインとの差が極めて大きい場合（例えば、ゲイン差が閾値以上の場合）、コーデック１２２は、２チャネルのうち、ゲインの大きいチャネルをモノラルコーデックに基づいて符号化し、ゲインの小さいチャネルを符号化しなくてもよい。換言すると、２チャネルのうち、ゲインの大きいチャネルの符号化データが通信端末２へ送信されてよい。

【0098】

［通信端末２の動作例］
次に、通信端末２（受信側）の動作例について説明する。

【0099】

図５は、通信端末２のソフトウェア及びハードウェアの構成例を示す図である。

【0100】

通信端末２のソフトウェアには、例えば、ユーザインターフェースアプリケーション、音声通信アプリケーション、通信ドライバソフト、コーデックネゴシエーション部２１１、サウンドドライバソフト、及び、コーデック２１２が含まれてよい。

【0101】

また、通信端末２のハードウェアには、例えば、RFブロック、Ethernetブロック、ADコンバータ、マイク、DAコンバータ、スピーカ２２、及び、ヘッドホンが含まれてよい。なお、図５に示すハードウェアの少なくとも一つは、通信端末２が備えない外部装置でもよく、通信端末２と接続されてもよい。

【0102】

ユーザインターフェースアプリケーションは、例えば、表示デバイス２３を介して、ユーザの操作を受け付け、ユーザの操作に対応する入力情報を音声通信アプリケーションへ出力する。

【0103】

音声通信アプリケーションは、例えば、ユーザインターフェースアプリケーション、又は、コーデックネゴシエーション部２１１から入力される情報に基づいて、コーデック２１２に対する音声通信に関する処理を制御する。

【0104】

サウンドドライバソフトは、例えば、音の入出力に関するハードウェア（例えば、マイク、ADコンバータ、DAコンバータ、ヘッドホン及びスピーカ２２）を制御する。

【0105】

通信ドライバソフトは、例えば、通信に関するハードウェア（例えば、RFブロック又はEthernetブロック）を制御する。例えば、通信ドライバソフトは、コーデックネゴシエーション部２１１によるネゴシエーション処理において、通信端末２の出力変換能力を示す出力変換能力情報を通信端末１へ送信してよい。

【0106】

［変換制御部２１２２の動作例］
次に、通信端末２のコーデック２１２における変換制御部２１２２の動作例について説明する。

【0107】

図６は、変換制御部２１２２の構成例を示すブロック図である。図６に示す変換制御部２１２２は、例えば、判定部２１２５及び変換部２１２６を備える。

【0108】

判定部２１２５は、例えば、信号形式情報に示される信号形式（例えば、M/S形式又はL/R形式）に基づいて、復号データの信号形式を変換するか否かを判定する。

【0109】

例えば、信号形式情報が「M/S形式」を示す場合、判定部２１２５は、復号データの信号形式（M/S形式）をL/R形式へ変換すると判定する。この場合、判定部２１２５は、M/S形式の復号データを変換部２１２６へ出力する。

【0110】

また、例えば、信号形式情報が「L/R形式」を示す場合、判定部２１２５は、復号データの信号形式（L/R形式）を変換しないと判定する。この場合、判定部２１２５は、L/R形式の復号データを例えばスピーカ２２へ出力する。

【0111】

変換部２１２６は、例えば、判定部２１２５から入力されるM/S形式の信号を、L/R形式の信号に変換し、変換後のL/R形式の信号をスピーカ２２へ出力する。

【0112】

換言すると、変換制御部２１２２は、出力変換能力情報がL/R形式への変換をサポートすることを示す場合に、受信処理部２１に入力されたM/S形式の音信号に対する符号化データをL/R形式に変換する。

【0113】

また、変換部２１２６は、M/S形式からL/R形式への変換の際に、M信号とS信号とに対する重み付けを行ってもよい。M信号及びS信号に対する重み付けにより、音の広がり感を調整できる。変換部２１２６は、例えば、式（１）に従って、M信号（M）及びS信号（S）を、Lチャネル信号（L）及びRチャネル信号（R）へ変換してよい。

【0114】

なお、通信端末２における重み付けに関するパラメータ（例えば、式（１）のα及びβ）は、通信端末１と同様にして、通信端末２が設定してもよく、通信端末１から通信端末２へ通知されてもよい。

【0115】

以上、通信端末２の動作例について説明した。

【0116】

なお、例えば、M/S形式からL/R形式への変換が不可能な通信端末２は、図１に示す変換制御部２１２２を含まないことが想定される。このような通信端末２は、例えば、通信端末１とのネゴシエーションにおいて、信号形式の変換が不可を示す出力変換能力情報を通信端末１へ通知する。この場合、上述したように、通信端末１は、L/R形式の信号を符号化して得られる符号化データを送信するので、通信端末２は、L/R形式の符号化データを復号し、音声音響信号を出力する。

【0117】

以上のように、本実施の形態では、通信端末１（例えば、符号化装置）は、音声音響信号の符号化データを復号する通信端末２（例えば、復号装置）における、出力変換能力情報に基づいて、音声音響信号の信号形式の変換を制御し、信号形式の変換の制御に従って、音声音響信号を符号化する。また、通信端末２は、通信端末２における音声音響信号の信号形式の変換能力に関する情報に基づいて通信端末１において符号化された符号化データを復号し、信号形式の変換を制御する。

【0118】

本実施の形態によれば、通信端末１及び２は、音声音響信号の信号形式に応じた符号化又は復号が可能になる。

【0119】

例えば、M/S形式からL/R形式へ変換可能な通信端末２に対しては、通信端末１は、M-Sマイクによって取得されたM/S形式の信号をそのままコーデックで符号化する。この場合でも、通信端末２は、受信処理部２１においてM/S形式の信号をL/R形式の信号へ変換して、ステレオ信号を出力できる。

【0120】

また、例えば、M/S形式からL/R形式への変換が不可能な通信端末２に対しては、通信端末１は、M-Sマイクによって取得されたM/S形式の信号をL/R形式の信号へ変換して、コーデックで符号化する。この変換により、通信端末２は、受信処理部２１において信号形式の変換を行うことなく、L/R形式のステレオ信号を出力できる。

【0121】

このように、本実施の形態によれば、通信端末１における信号形式の変換制御により、通信端末２では、例えば、M信号及びS信号がヘッドホン又はスピーカのLチャネル及びRチャネルで再生され、ユーザに違和感を与えることを抑制できる。換言すると、M-Sマイクによって取得されたM/S形式の信号が通信端末２においてL/R形式へ変換されずに出力されることを抑制できる。

【0122】

また、例えば、EVSといったL/R形式の信号のコーデックへの入力が想定されている場合にも、通信端末１において信号形式を変換することにより、M/S形式の信号によるコーデックの符号化性能の低減を抑制できる。換言すると、通信端末１は、例えば、EVSといった既存のコーデックにおいて想定される信号形式に基づいて入力信号を符号化できる。

【0123】

以上より、本実施の形態によれば、ステレオマイクに応じてステレオ符号化を適切に行うことができる。例えば、本実施の形態では、M-Sマイクによって取得されたM/S形式の信号に対して適切にステレオ符号化できる。

【0124】

（実施の形態２）
実施の形態１では、例えば、図１に示すように、受信側の通信端末において、コーデックの内部に信号形式の変換制御に関する機能（例えば、変換制御部２１２２）を有する場合について説明した。これに対して、本実施の形態では、受信側の通信端末において、コーデックの外部に信号形式の変換制御に関する機能を有する場合について説明する。

【0125】

なお、本実施の形態に係る通信端末１の構成は、例えば、実施の形態１と同様でよい。

【0126】

図７は、本実施の形態に係る通信端末２ａの構成の一例を示すブロック図である。

【0127】

図７に示す通信端末２ａの受信処理部２１ａは、コーデック２１２ａの外部に変換制御部３１を備える。コーデック２１２ａは、信号形式の変換制御を行う機能を有さない。換言すると、通信端末２ａにおいて、復号部２１２１及び変換制御部３１のうち復号部２１２１がコーデック２１２ａに含まれてよい。

【0128】

変換制御部３１は、例えば、音声通信アプリケーション及びサウンドドライバソフトの少なくとも一方に含まれてよい。なお、変換制御部３１の変換制御に関する動作は、例えば、実施の形態１の変換制御部２１２２と同様である。

【0129】

図８は、本実施の形態に係る通信端末２ｂの構成の他の例を示すブロック図である。

【0130】

図８に示す通信端末２ｂの受信処理部２１ｂは、コーデック２１２ｂの内部に変換制御部２１２２ｂを備え、かつ、コーデック２１２ｂの外部に変換制御部４１を備える。変換制御部４１は、例えば、音声通信アプリケーション及びサウンドドライバソフトの少なくとも一方に含まれてよい。なお、変換制御部２１２２ｂ及び変換制御部４１の変換制御に関する動作は、例えば、実施の形態１の変換制御部２１２２と同様である。

【0131】

通信端末２ｂは、例えば、変換制御部２１２２ｂ及び変換制御部４１の何れか一方において、信号形式判定及び変換といった変換制御を行ってよい。例えば、通信端末２ｂは、変換制御部２１２２ｂ及び変換制御部４１の何れにおいて変換制御を行うかを示す「内部変換フラグ」に基づいてよい。内部変換フラグの値は、例えば、コーデック２１２ｂの内部において変換制御を行うことを示す値（例えば、値：内部有効）、又は、コーデック２１２の外部において変換制御を行うことを示す値（例えば、値：内部無効）でよい。

【0132】

図９は、図７に示すコーデック２１２ａ及び変換制御部３１の動作例を示す図である。

【0133】

図９に示すように、変換制御部３１は、コーデック２１２ａの外部に設けられ、コーデック２１２ａは変換制御に関する機能を有さないので、内部変換フラグの値は「内部無効」に設定される。なお、図９では、内部変換フラグは、例えば、内部無効に設定され、内部有効には設定されないので、内部変換フラグを用いなくてもよい。

【0134】

変換制御部３１は、例えば、コーデック２１２ａから入力される信号形式情報に示される信号形式に基づいて、コーデック２１２ａから入力される復号データの信号形式を変換するか否かを判定する。

【0135】

例えば、信号形式情報に示される信号形式がM/S形式の場合、変換制御部３１は、変換部２１２６において復号データの信号形式をM/S形式からL/R形式へ変換し、L/R形式の信号を出力する。また、変換制御部３１は、例えば、信号形式変換の際に、式（１）に従って、M信号及びS信号に対して重み付けを行ってよい。一方、例えば、信号形式情報に示される信号形式がL/R形式の場合、変換制御部３１は、信号形式を変換せずに、L/R形式の信号を出力する。

【0136】

図１０及び図１１は、図８に示すコーデック２１２ｂ及び変換制御部４１の動作例を示す図である。

【0137】

図１０及び図１１に示すように、変換制御部２１２２ｂは、コーデック２１２ｂの内部に設けられ、変換制御部４１は、コーデック２１２ｂの外部に設けられる。内部変換フラグの値は、例えば、「内部有効（図１０）」又は「内部無効（図１１）」の何れかに設定されてよい。なお、変換制御部２１２２ｂ及び変換制御部４１の何れにおいて変換制御を行うか（換言すると、内部変換フラグの設定）については、例えば、システム設計又はユーザ選択によって任意に設定されてよい。

【0138】

例えば、図１０に示すように、内部変換フラグが「内部有効」を示す場合、変換制御部２１２２ｂは、例えば、復号部２１２１から入力される信号形式情報に示される信号形式に基づいて、復号部２１２１から入力される復号データの信号形式を変換するか否かを判定する。また、変換制御部２１２２ｂは、信号形式を変換すると判定した場合には復号データの信号形式を変換する。そして、変換制御部２１２２ｂは、信号形式情報、及び、L/R形式の信号を変換制御部４１へ出力する。

【0139】

図１０において、変換制御部４１は、例えば、コーデック２１２ｂ（変換制御部２１２２ｂ）から入力されるL/R形式の信号をそのまま出力する。換言すると、変換制御部４１は、信号形式の変換を行わない。

【0140】

一方、例えば、図１１に示すように、内部変換フラグが「内部無効」を示す場合、変換制御部２１２２ｂは、例えば、復号部２１２１から入力される信号形式情報及び復号データを変換制御部４１へ出力する。換言すると、変換制御部２１２２ｂは、信号形式の変換を行わない。

【0141】

図１１において、変換制御部４１は、例えば、コーデック２１２ｂ（変換制御部２１２２ｂ）から入力される信号形式情報に示される信号形式に基づいて、コーデック２１２ｂから入力される復号データの信号形式を変換するか否かを判定する。また、変換制御部４１は、信号形式を変換すると判定した場合には復号データの信号形式を変換する。そして、変換制御部４１は、L/R形式の信号を出力する。

【0142】

次に、内部変換フラグの設定方法の例として、方法４－１、方法４－２及び方法４－３について説明する。なお、内部変換フラグの設定方法は、これらの方法に限定されず、他の方法でもよい。

【0143】

方法４－１では、例えば、ユーザインターフェースアプリケーションは、ユーザが選択（又は、設定）した内部変換フラグを、音声通信アプリケーションを介して、変換制御部２１２２ａ、２１２２ｂ（例えば、コーデック２１２ａ、２１２ｂ）、及び、変換制御部３１、４１（例えば、音声通信アプリケーション又はサウンドドライバソフト）へ出力する。

【0144】

方法４－２では、例えば、音声通信アプリケーションは、変換制御部２１２２ａ，２１２２ｂ（換言すると、コーデック２１２ａ、２１２ｂの内部）、及び、変換制御部３１、４１（換言すると、コーデック２１２ａ、２１２ｂの外部）の何れにおいて変換制御に関する処理（例えば、信号形式判定及び変換）を行うかを決定する。

【0145】

方法４－３では、コーデック２１２ａ、２１２ｂは、変換制御部２１２２ａ，２１２２ｂ（換言すると、コーデック２１２ａ、２１２ｂの内部）、及び、変換制御部３１、４１（換言すると、コーデック２１２ａ、２１２ｂの外部）の何れにおいて変換制御に関する処理（例えば、信号形式判定及び変換）を行うかを決定する。

【0146】

このように、受信側の通信端末において、復号部及び変換制御部の双方はコーデックに含まれてよく、又は、復号部及び変換制御部のうち復号部はコーデックに含まれてよい。この構成により、受信側の通信端末において、コーデックの内部及び外部の何れか一方において信号形式の変換制御を行う場合でも、実施の形態１と同様、ステレオマイクに応じてステレオ符号化を適切に行うことができる。

【0147】

（実施の形態３）
本実施の形態に係る通信端末１の構成は、例えば、実施の形態１と同様である。また、本実施の形態に係る通信端末２の構成は、例えば、変換制御部の構成が実施の形態１又は実施の形態２と異なる。

【0148】

図１２は、本実施の形態に係る変換制御部２１２２ｃの構成例を示すブロック図である。

【0149】

図１２に示す変換制御部２１２２ｃは、実施の形態１又は実施の形態２の変換制御部２１２２、２１２２ａ、２１２２ｂ、３１又は４１と同様の構成に加え、変換部２１２７及びL/R比設定部２１２８を備える。例えば、変換制御部２１２２ｃは、コーデック２１２の内部に含まれてもよく、外部に含まれてもよい。

【0150】

例えば、図１２に示す変換制御部２１２２ｃにおいて、判定部２１２５が復号データの信号形式をM/S形式と判定した場合、変換部２１２６は、MS形式の信号をL/R形式の信号に変換する。そして、変換部２１２６は、変換後のL/R形式の信号をL/R比設定部２１２８へ出力する。

【0151】

一方、判定部２１２５が復号データの信号形式をL/R形式と判定した場合、変換部２１２７は、L/R形式の信号をM/S形式の信号に変換する。また、変換部２１２７は、M/S形式の信号をL/R形式の信号に変換する。そして、変換部２１２７は、変換後のL/R形式の信号をL/R比設定部２１２８へ出力する。

【0152】

なお、変換部２１２６及び変換部２１２７におけるM/S形式からL/R形式への変換の際、例えば、M信号の比率は、S信号に対してより高く設定されてよい。換言すると、例えば、式（１）に示す重み係数α＞βに設定されてよい。この設定により、M信号が強調され、L/R形式の信号における音の広がりを狭めることができるので、後述するLチャネルとRチャネルとの比率（L/R比）の設定による音像定位（換言すると、音が鳴っている方向）を調整しやすくなる。

【0153】

L/R比設定部２１２８は、例えば、変換部２１２６又は変換部２１２７から入力されるL/R形式の信号におけるL/R比を設定（又は、調整）する。換言すると、L/R比設定部２１２８は、Lチャネル及びRチャネルに対して重み付けを行ってもよい。

【0154】

例えば、L/R比設定部２１２８は、L/R形式の信号の送信元である通信端末１を識別する情報（例えば、識別ID）、L/R形式の信号の送信元である通信端末１の個数（例えば、識別IDの個数）、及び、L/R比の少なくとも一つに基づいて、Lチャネル及びRチャネルに対して重み付けを行ってよい。

【0155】

L/R比の設定により、通信端末２は、例えば、送信元の通信端末１の音像定位（換言すると、通信端末２に対する位置）を任意又は等間隔に設定できる。また、上述したように、変換部２１２６及び変換部２１２７において、L/R形式への変換の際に、S信号成分に対してM信号成分の比率を増加し、音の広がりを狭めている。これにより、通信端末２は、L/R比の設定により、各通信端末１の仮想的な位置の方向から音が鳴っているように再生しやすくなる。

【0156】

一例として、本実施の形態に係る伝送システムが多地点会議システムに適用される場合について説明する。

【0157】

図１３は、多地点会議システムにおける各通信端末１（又は、ユーザ）の音像定位（換言すると、仮想的な位置）の一例を示す図である。図１３は、例えば、３人のユーザそれぞれに対応する通信端末１－１、通信端末１－２及び通信端末１－３が、通信端末２へ音声音響信号の符号化データを送信する例を示す。図１３では、通信端末１－１の識別ID=1に設定され、通信端末１－２の識別ID=2に設定され、通信端末１－３の識別ID=3に設定される。

【0158】

通信端末２は、例えば、各通信端末１の識別ID、及び、識別IDの個数に基づいて、各識別IDに関連付けられた復号データに対応するL/R形式の信号のL/R比を設定し、音の定位感を調整する。

【0159】

例えば、図１３では、通信端末２は、識別ID=1の通信端末１－１に対するL/R比をL:R=9:1に設定し、識別ID=1の通信端末１－２に対するL/R比をL:R=1:1に設定し、識別ID=3の通信端末１－３に対するL/R比をL:R=1:9に設定する。換言すると、図１３において、通信端末２は、通信端末１－１の音像定位を０度付近の方向（換言すると、通信端末２の左方向）に設定し、通信端末１－２の音像定位を９０度付近の方向（換言すると、通信端末２の正面方向）に設定し、通信端末１－３の音像定位を１８０度付近の方向（換言すると、通信端末２の右方向）に設定する。

【0160】

図１３に示すL/R比の設定により、例えば、通信端末２は、通信端末１－１からの音（例えば、音声）が０度付近の位置から鳴っているように出力し、通信端末１－２に対応する音が９０度付近の位置から鳴っているように出力し、通信端末１－３に対応する音が１８０度付近の位置から鳴っているように出力する。

【0161】

なお、図１３に示すL/R比は一例であり、これらに限定されない。また、音像定位の範囲は、０度～１８０度の範囲に限定されず、例えば、異なる方向を含む範囲、より広い範囲、又は、より狭い範囲といった他の範囲でもよい。

【0162】

次に、L/R比の設定方法の例として、方法５－１、方法５－２及び方法５－３について説明する。なお、L/R比の設定方法は、これらの方法に限定されず、他の方法でもよい。

【0163】

方法５－１では、例えば、ユーザインターフェースアプリケーションは、ユーザが選択（又は、設定）したL/R比を、音声通信アプリケーションを介して、L/R比設定部２１２８（例えば、コーデック２１２、音声通信アプリケーション又はサウンドドライバソフト）へ出力してよい。

【0164】

方法５－２では、例えば、音声通信アプリケーションは、例えば、通信端末２と通信する通信端末１の識別IDの個数を、配置される通信端末１の個数に設定し、設定された通信端末１の個数に基づいて、各通信端末１に対するL/R比を算出（又は設定）してよい。

【0165】

方法５－３では、コーデック２１２は、例えば、通信端末２と通信する通信端末１の識別IDの個数を、配置される通信端末１の個数に設定し、設定された通信端末１の個数に基づいて、各通信端末１に対するL/R比を算出（又は設定）してよい。

【0166】

例えば、方法５－２及び方法５－３において、識別IDの個数が３個の場合、通信端末２は、図１３に示すように、３個の通信端末１が０度～１８０度の範囲において等間隔に配置されるようにL/R比を設定してよい。なお、各通信端末１が仮想的に配置される位置は、図１３に示すように或る範囲において等間隔に配置される位置に限定されない。例えば、通信端末２は、０度～１８０度の範囲の任意の位置に通信端末１の配置を設定してもよい。また、通信端末２は、複数の通信端末１の配置を、重複する位置に設定してもよい。

【0167】

以上、L/R比の設定方法について説明した。

【0168】

また、識別IDは、例えば、Internet Protocol（IP）アドレス、Medium Access Control（MAC）アドレス、又は、ユーザIDといった通信相手又は話者を特定可能な情報でよい。識別IDは、例えば、復号データに関連付けられてよい。また、識別IDは、例えば、通信端末１から通信端末２へ送信されてよい。識別IDの送信方法の例として、方法６－１及び方法６－２について説明する。なお、識別IDの送信方法は、これらの方法に限定されず、他の方法でもよい。

【0169】

方法６－１では、例えば、通信端末１は、符号化部１２２２において符号化データを符号化する際に識別IDも含めて符号化し、識別IDを含む送信ビットストリームを送信してよい。

【0170】

方法６－２では、例えば、通信端末１は、符号化部１２２２において符号化データを符号化し、通信ドライバソフトが送信ビットストリームを通信端末２へ送信する際に、通信プロトコルのヘッダに識別IDを付加して送信してよい。

【0171】

また、通信端末２は、例えば、セッションネゴシエーション時に、これから通信を行う通信端末１の識別IDの個数をカウントし、識別IDの個数を取得してよい。また、例えば、通信（例えば、通話）の途中に通信セッションを確立するユーザが存在する場合、又は、通信の途中に通信セッションを終了するユーザが存在する場合、通信端末２は、通信ドライバソフトを介して、識別IDの個数を更新（例えば、増加又は減少）してよい。

【0172】

以上のように、本実施の形態では、通信端末２は、通信端末１における符号化対象の信号形式に基づいて、復号データの変換制御を行い、かつ、L/R形式の信号におけるL/R比を調整する。L/R比の調整により、通信端末２は、通信端末１の音像定位を適切な位置に調整できる。

【0173】

また、例えば、通信端末１における符号化対象の信号形式がM/S形式の場合、通信端末２は、M/S形式からL/R形式への変換の際にM信号を強調する重み付けを行う。この重み付けにより、L/R比設定前のL/R形式の信号では、音の広がりが狭まるので、L/R比の設定による通信端末１の音像定位の調整精度を向上できる。

【0174】

なお、図１２では、一例として、変換部２１２６及び変換部２１２７において、M/S形式からL/R形式への変換において、S信号に対して、M信号成分の比率をより高く設定（例えば、重み係数α＞βに設定）する場合について説明した。しかし、この設定に限定されず、重み付けを行わなくてもよい。この場合でも、L/R比設定部２１２８によって、Lチャネル信号とRチャネル信号との比率を変えて、各通信端末の音像定位を設定できる。

【0175】

また、例えば、M/S形式からL/R形式への変換不可能である通信端末２は、通信端末１から送信されるL/R形式の信号に対して、L/R比を設定してもよい。

【0176】

なお、本実施の形態では、多地点会議システムを一例として説明したが、これに限定されず、例えば、多地点録音システムでもよい。多地点録音システムの一例として、音楽スタジオ録音システムが想定され得る。音楽スタジオ録音システムにおいて、通信端末２（受信側の通信端末）は、例えば、各地点（換言すると、各通信端末１）から送信される音声音響信号（例えば、楽器音又はボーカル音）に対して、本実施の形態と同様、音像定位(位置)を任意に設定することにより、仮想的なスタジオ環境を再現できる。

【0177】

また、本実施の形態では、一例として、通信端末２が、識別IDに基づいて、セッションネゴシエーションされた全ての地点の通信端末１を配置（例えば、音像定位を設定）する場合について説明したが、これに限定されない。例えば、通信端末２は、セッションネゴシエーションされた複数の地点の通信端末１のうち、一部の地点の通信端末１から送信された音を配置（例えば、音像定位を設定）してもよい。

【0178】

例えば、通信端末１に対応する地点の数が多いほど（例えば、10地点）、全ての地点の通信端末１が等間隔又は任意に配置されても、音像位置が近くなるため、10地点の音像位置をユーザが意図通りに正確に知覚できない可能性が高くなる。そこで、例えば、通信端末２は、配置位置の代表点（例えば、通信端末２の左側、右側、及び正面の3か所）を設定して音像位置を配置し、複数（例えば、10地点）の通信端末１のうち、実際に音を発している地点の通信端末１から送信される音を代表点から出力してもよい。

【0179】

また、この場合、通信端末２は、例えば、音を発する地点が変更されると、代表点が配置される地点も変更してもよい。例えば、A地点の通信端末１のユーザが話をしていて（音声を発していて）、A地点の音像位置が通信端末２の左側に配置されている際に、A地点のユーザが話し終えて、B地点の通信端末１のユーザが話をし始めた場合、通信端末２は、通信端末２の左側に配置された音像位置からの出力を、A地点からB地点の音に置き換えてもよい。

【0180】

また、本実施の形態では、一例として、識別ID毎に異なる位置に音像を定位させる場合について説明したが、これに限定されない。例えば、通信端末２は、或る識別IDの音像定位位置と隣接する別の識別IDの音像定位位置との間に、無音エリアを設けてもよい。無音エリアの設定により、ユーザは隣接する音像をより明確に区別できる。

【0181】

（実施の形態４）
実施の形態１～実施の形態３それぞれでは、例えば、図１に示すように、送信側の通信端末において、コーデックの内部に信号形式の変換制御に関する機能（例えば、変換制御部１２２１）を有する場合について説明した。これに対して、本実施の形態では、送信側の通信端末において、コーデックの外部に信号形式の変換制御に関する機能を有する場合について説明する。

【0182】

なお、本実施の形態に係る受信側の通信端末の構成は、例えば、実施の形態１～３の何れかの構成と同様でよい。

【0183】

図１４は、本実施の形態に係る通信端末１ａの構成の一例を示すブロック図である。

【0184】

図１４に示す通信端末１ａの送信処理部１２ａは、コーデック１２２ａの外部に変換制御部５１を備える。コーデック１２２ａは、信号形式の変換制御を行う機能を有さない。換言すると、通信端末１ａにおいて、変換制御部５１及び符号化部１２２２のうち、符号化部１２２２がコーデック１２２ａに含まれてよい。

【0185】

変換制御部５１は、例えば、音声通信アプリケーション及びサウンドドライバソフトの少なくとも一方に含まれてよい。なお、変換制御部５１の動作は、例えば、実施の形態１の変換制御部１２２１と同様である。

【0186】

図１５は、本実施の形態に係る通信端末１ｂの構成の他の例を示すブロック図である。

【0187】

図１５に示す通信端末１ｂの送信処理部１２ｂは、コーデック１２２ｂの内部に変換制御部１２２１ｂを備え、かつ、コーデック１２２ｂの外部に変換制御部６１を備える。変換制御部６１は、例えば、音声通信アプリケーション及びサウンドドライバソフトの少なくとも一方に含まれてよい。なお、変換制御部１２２１ｂ及び変換制御部６１の変換制御に関する動作は、例えば、実施の形態１の変換制御部１２２１と同様である。

【0188】

通信端末１ｂは、例えば、変換制御部１２２１ｂ及び変換制御部６１の何れか一方において、信号形式判定及び変換といった変換制御を行ってよい。例えば、通信端末１ｂは、変換制御部１２２１ｂ及び変換制御部６１の何れにおいて変換制御を行うかを示す「内部変換フラグ」に基づいてよい。内部変換フラグの値は、例えば、コーデック１２２ｂの内部において変換制御を行うことを示す値（例えば、値：内部有効）、又は、コーデック１２２ｂの外部において変換制御を行うことを示す値（例えば、値：内部無効）でよい。

【0189】

例えば、通信端末２において既存のコーデック（例えば、EVS）が設定され、かつ、通信端末２においてコーデック２１２の外部に変換制御機能を有さず、通信端末１において既存のコーデック（例えば、EVS）が設定される場合、内部変換フラグの値が「内部無効」に設定され、変換制御部６１によって、M/S形式の信号がL/R形式の信号に変換されてよい。

【0190】

なお、変換制御部１２２１ｂ及び変換制御部６１の何れにおいて変換制御を行うか（換言すると、内部変換フラグの設定）については、例えば、システム設計又はユーザ選択によって任意に設定されてよい。

【0191】

以上より、本実施の形態によれば、送信側の通信端末において、コーデックの内部及び外部の何れか一方において信号形式の変換制御を行う場合でも、実施の形態１と同様、ステレオマイクに応じてステレオ符号化を適切に行うことができる。

【0192】

（実施の形態５）
本実施の形態では、受信側の通信端末において、出力デバイス（又は、出力先デバイスと呼ぶ）の種別に関する情報に基づいて、M/S形式からL/R形式への変換時における重み付けを制御する方法について説明する。

【0193】

図１６は、本実施の形態に係る通信端末２ｄのソフトウェア及びハードウェアの構成例を示す図である。

【0194】

なお、受信側の通信端末２ｄの構成は、例えば、通信端末２（図１）、通信端末２ａ（図７）又は通信端末２ｂ（図８）と同様でよい。また、例えば、送信側の通信端末の構成は、例えば、通信端末１（図１）、通信端末１ａ（図１４）又は通信端末１ｂ（図１５）と同様でよい。

【0195】

図１６では、一例として、通信端末２ｄにおける出力デバイスは、スピーカ２２及びヘッドホン２４の何れかである。なお、スピーカ２２及びヘッドホン２４の少なくとも一方は、通信端末２ｄに内蔵される装置でもよく、通信端末２ｄに接続される外部装置でもよい。

【0196】

例えば、通信端末２ｄ（例えば、サウンドドライバソフト）は、出力デバイスの切り替えを検出し、切替後の出力デバイス（例えば、スピーカ２２及びヘッドホン２４の何れか）を示す出力デバイス情報に基づいて、M/S形式からL/R形式への変換時における重み付け（例えば、重み付けα及びβ）を決定する。なお、通信端末２ｄにおける信号形式の変換は、例えば、実施の形態１と同様、式（１）に従って行われてよい。

【0197】

例えば、通信端末２ｄは、出力デバイスにヘッドホン２４が設定された場合の重み係数α及びβをa1及びb1に設定し、出力デバイスにスピーカ２２が設定された場合の重み係数α及びβをa2及びb2に設定する。例えば、通信端末２ｄは、出力デバイスがヘッドホン２４からスピーカ２２に切り替わる場合、重み係数α及びβをa1及びb1からa2及びb2に更新する。同様に、例えば、通信端末２ｄは、出力デバイスがスピーカ２２からヘッドホン２４に切り替わる場合、重み係数αをa2及びb2からa1及びb1に更新する。

【0198】

例えば、重み係数α及びβは、a1＜b1、かつ、a2＞b2に設定されてよい。この場合、ヘッドホン２４の場合には音の広がりを強くし、スピーカの場合には音の広がりを小さくできる。なお、重み係数α及びβの値は、例えば、システム設計又はユーザ選択（換言すると、ユーザのニーズ）によって任意に設定されてよい。

【0199】

次に、出力デバイス情報のコーデック２１２への入力方法の例として、方法７－１、方法７－２及び方法７－３について説明する。なお、出力デバイス情報の入力方法は、これらの方法に限定されず、他の方法でもよい。

【0200】

方法７－１では、例えば、音声通信アプリケーションは、サウンドドライバソフトから出力デバイス情報（換言すると、出力デバイスの切り替えに関する情報）を取得し、コーデック２１２へ出力してよい。

【0201】

方法７－２では、例えば、コーデック２１２は、サウンドドライバソフトから出力デバイス情報を取得してよい。

【0202】

方法７－３では、例えば、ユーザインターフェースアプリケーションは、ユーザが選択した出力デバイスを示す出力デバイス情報を、音声通信アプリケーションを介して、コーデック２１２へ出力してよい。例えば、方法７－３では、通信端末２の表示デバイス２３（例えば、液晶ディスプレイ）は、ヘッドホン２４の使用、及び、スピーカ２２の使用を選択可能な選択画面を表示してよい。ユーザインターフェースアプリケーションは、ユーザが選択した出力デバイスを示す出力デバイス情報を設定してよい。

【0203】

このように、本実施の形態では、通信端末２ｄは、出力デバイスの種別に応じて、L/R形式の信号における音の広がり感を調整できる。

【0204】

以上、本開示の実施の形態について説明した。

【0205】

［他の実施の形態］
（１）マイクの種別（又はタイプ）を示す情報（以下、「マイク種別情報」）は、シグナリングされ得る（例えば，特許文献３を参照）。また、マイクの種別は、送信側の通信端末（例えば、送信機又は送信端末とも呼ぶ）又は受信側の通信端末（例えば、受信機又は受信端末とも呼ぶ）の特徴パラメータとしてセッションネゴシエーション時に使用され得る（例えば、特許文献４を参照）。

【0206】

例えば、上述した実施の形態では、通信端末１（送信側の通信端末）から通信端末２（受信側の通信端末）へ信号形式情報を送信する場合について説明したが、これに限定されない。例えば、通信端末１は、マイク種別情報を通信端末２へ送信（換言すると、シグナリング又は特徴パラメータとして送信）し、通信端末２は、通信端末１と同様にして、マイク種別情報及び出力変換能力に基づいて、符号化データ（又は復号データ）の信号形式を判定してもよい。

【0207】

（２）M/S形式からL/R形式への変換際の変換式は、式（１）に限定されない。例えば、式（２）及び式（３）に示すように、M信号（M）及びS信号（S）の一方の重み係数（例えば、δ）を固定値に設定し、他方の重み係数（例えば、β及びγ）をLチャネル信号（L）及びRチャネル信号（R）それぞれにおいて可変に設定してもよい。
L＝βM＋δS
R＝γM－δS
…（２）
L＝δM＋βS
R＝δM－γS
…（３）

【0208】

なお、式（２）及び式（３）において、β及びγは任意の値でよく、δは定数である。

【0209】

または、式（４）に示すように、Lチャネル信号（L）及びRチャネル信号（R）それぞれにおいて、M信号（M）及びS信号（S）の重み係数を可変に設定してもよい。
L＝βM＋εS
R＝γM－ζS
…（４）

【0210】

なお、式（４）において、β，γ，ε及びζは任意の値である。

【0211】

（３）上述した実施の形態では、M-Sマイクによって取得されたM/S形式の入力信号に対して信号形式（換言すると、フォーマット）を変換する場合について説明したが、信号形式の変換対象は、M/S形式の信号に限定されない。

【0212】

例えば、２チャネルの信号の各々を２つのスピーカ（ヘッドホンを含む）からそのまま（換言すると変換せずに）出力するには適さないフォーマットの信号に対して、上述した実施の形態と同様にフォーマットの変換処理が行われてよい。

【0213】

ここで、２つのスピーカからそのまま出力するには適さないフォーマットの信号例として、以下の信号があり得る。

【0214】

例えば、M-Sマイクのように、２チャネルの一方がM信号（例えば、２チャネルの和信号からなるモノラル成分）であり、他方がS信号（例えば、２チャネルの差信号からなる残響成分）である信号があり得る。このような信号を構成する２チャネルをステレオ（換言すると、Lチャネル及びRチャネル）としてユーザが同時に聴くと、一方のチャネルに対応するスピーカからはモノラルの音が聴こえ、他方のチャネルに対応するスピーカからは残響成分のノイジーな音として知覚されるので、ユーザにとって非常に耳障りに聴こえるケースがあり得る。

【0215】

このように、２つのスピーカからそのまま出力するには適さないフォーマットの信号には、ユーザがステレオとして聴くと一方のチャネルがノイズとして知覚されるような信号が含まれる。

【0216】

また、サポートする帯域が同じステレオマイクにおいて、２チャネルの一方が周波数の高域成分を多く有し、他方が周波数の低域成分を多く有するような、２チャネル間において周波数帯域のエネルギー差が大きい場合（例えば、エネルギー差が閾値以上の場合）があり得る。これらの２チャネルをステレオとしてユーザが同時に聴くと、一方のチャネルに対応するスピーカからは高域特有の音（例えば、キーンとした音）が聴こえ、他方のチャネルに対応するスピーカからは低域特有の音が知覚されるので、ユーザにとって非常に耳障りに聴こえるケースがあり得る。

【0217】

このように、２つのスピーカからそのまま出力するには適さないフォーマットの信号には、ステレオとして聴くと出力される周波数のアンバランス感がユーザに違和感を与えるような信号が含まれる。

【0218】

また、例えば、一方のチャネルがSWB（SuperWideBand，0～32kHz）帯域の特性を有し、他方のチャネルがNB（NarrowBand，0～8kHz）帯域の特性を有するような、２チャネル間においてサポートする帯域幅が異なるマイクを組み合わせたステレオマイクがあり得る。このようなステレオマイクによって取得される信号では、例えば、２チャネルの一方が周波数の高域成分を多く有し、他方が周波数の低域成分を多く有するケースと同様となる。

【0219】

なお、帯域幅については、SWB及びNBに限らず、例えば、FB（FullBand，0～48kHz）又はWB（WideBand，0～32kHz）といった他の帯域幅でもよい。また、SWB、NB、FB又はWBといった帯域幅については一例であり、任意の帯域幅で区切った帯域（例えば、0～4kHz、12～24kHz、又は、32～48kHzといった帯域幅）でもよい。

【0220】

また、上記の「サポートする帯域幅」とは、例えば、「強調する帯域幅」といった異なる観点の帯域幅に置き換えてもよい。

【0221】

以上、他の実施の形態について説明した。

【0222】

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。また、上述した各実施の形態における各構成要素を任意に組み合わせてもよい。

【0223】

また、上述した実施の形態における「・・・部」という表記は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。

【0224】

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

【0225】

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

【0226】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0227】

本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置は無線送受信機（トランシーバー）と処理／制御回路を含んでもよい。無線送受信機は受信部と送信部、またはそれらを機能として、含んでもよい。無線送受信機（送信部、受信部）は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）モジュールと１または複数のアンテナを含んでもよい。ＲＦモジュールは、増幅器、ＲＦ変調器／復調器、またはそれらに類するものを含んでもよい。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。

【0228】

通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。

【0229】

通信には、セルラーシステム、無線ＬＡＮ（Local Area Network）システム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。

【0230】

また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサー等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサーが含まれる。

【0231】

また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。

【0232】

本開示の一実施例に係る符号化装置は、音信号の符号化データを復号する復号装置における、前記音信号の信号形式の変換能力に関する情報に基づいて、前記音信号の信号形式の変換を制御する制御回路と、前記変換の制御に従って、前記音信号を符号化する符号化回路と、を具備する。

【0233】

本開示の一実施例において、前記制御回路は、前記変換能力に関する情報が第１の信号形式への変換をサポートしないことを示す場合に、前記符号化装置に入力された第２の信号形式の前記音信号を前記第１の信号形式に変換する。

【0234】

本開示の一実施例において、前記第１の信号形式は、前記音信号を構成する左チャネル信号及び右チャネル信号によって表される形式であり、前記第２の信号形式は、前記左チャネル信号と前記右チャネル信号との和を示す和信号、及び、前記左チャネル信号と前記右チャネル信号との差を示す差信号によって表される形式である。

【0235】

本開示の一実施例において、前記制御回路は、前記符号化装置に前記第１の信号形式の前記音信号が入力された場合、前記変換を適用しない。

【0236】

本開示の一実施例において、前記制御回路は、前記第２の信号形式から前記第１の信号形式への変換において、前記和信号と前記差信号とに対する重み付けを行う。

【0237】

本開示の一実施例において、前記符号化装置と前記復号装置との通信に関するセッションネゴシエーションにおいて、前記変換能力に関する情報を受信する受信回路を備えた。

【0238】

本開示の一実施例において、前記制御回路及び前記符号化回路の双方がコーデックに含まれる、又は、前記制御回路及び前記符号化回路のうち前記符号化回路がコーデックに含まれる。

【0239】

本開示の一実施例に係る復号装置は、音信号の符号化データを復号する復号装置であって、前記復号装置における前記音信号の信号形式の変換能力に関する情報に基づいて符号化装置において符号化された前記符号化データを復号する復号回路と、前記信号形式の変換を制御する制御回路と、を具備する。

【0240】

本開示の一実施例において、前記制御回路は、前記変換能力に関する情報が第１の信号形式への変換をサポートすることを示す場合に、前記復号装置に入力された第２の信号形式の前記音信号に対する前記符号化データを前記第１の信号形式に変換する。

【0241】

本開示の一実施例において、前記第１の信号形式は、前記音信号を構成する左チャネル信号及び右チャネル信号によって表される形式であり、前記第２の信号形式は、前記左チャネル信号と前記右チャネル信号との和を示す和信号、及び、前記左チャネル信号と前記右チャネル信号との差を示す差信号によって表される形式である。

【0242】

本開示の一実施例において、前記制御回路は、前記第２の信号形式から前記第１の信号形式への変換において、前記和信号と前記差信号とに対する重み付けを行う。

【0243】

本開示の一実施例において、前記制御回路は、前記復号回路において得られた復号データの出力先デバイスの種別に関する情報に基づいて、前記重み付けを制御する。

【0244】

本開示の一実施例において、前記制御回路は、前記復号回路において得られた復号データを構成する左チャネル信号と右チャネル信号との比率を調整する。

【0245】

本開示の一実施例において、前記復号回路及び前記制御回路の双方がコーデックに含まれる、又は、前記復号回路及び前記制御回路のうち前記復号回路がコーデックに含まれる。

【0246】

本開示の一実施例に係る符号化方法において、符号化装置は、音信号の符号化データを復号する復号装置における、前記音信号の信号形式の変換能力に関する情報に基づいて、前記音信号の信号形式の変換を制御し、前記変換の制御に従って、前記音信号を符号化する。

【0247】

本開示の一実施例に係る復号方法において、音信号の符号化データを復号する復号装置は、前記復号装置における前記音信号の信号形式の変換能力に関する情報に基づいて符号化装置において符号化された前記符号化データを復号し、前記信号形式の変換を制御する。

【0248】

２０２０年１月９日出願の特願２０２０－００１９６１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

【産業上の利用可能性】

【0249】

本開示の一実施例は、音声音響信号の伝送システム等に有用である。

【符号の説明】

【0250】

１，１ａ，１ｂ，２，２ａ，２ｂ 通信端末
１１ マイク
１２，１２ａ，１２ｂ 送信処理部
１３，２３ 表示デバイス
２１，２１ａ，２１ｂ 受信処理部
２２ スピーカ
１２１，２１１ コーデックネゴシエーション部
１２２，１２２ａ，１２２ｂ，２１２，２１２ａ，２１２ｂ コーデック
１２２１，１２２１ｂ，２１２２，２１２２ｂ，３１，４１，５１，６１ 変換制御部
１２２２ 符号化部
１２２５，２１２５ 判定部
１２２６，２１２６，２１２７ 変換部
２１２１ 復号部
２１２８ L/R比設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】