知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022188830
(43)【公開日】2022-12-22
(54)【発明の名称】オブジェクトベース音響用座標変換装置及びプログラム
(51)【国際特許分類】
H04N 21/439 20110101AFI20221215BHJP
H04N 21/442 20110101ALI20221215BHJP
H04S 7/00 20060101ALI20221215BHJP
【ＦＩ】
H04N21/439
H04N21/442
H04S7/00 300
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021097055
(22)【出願日】2021-06-10
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】大出 訓史
【テーマコード（参考）】
5C164
5D162
【Ｆターム（参考）】
5C164PA41
5C164UA31S
5C164UB08P
5C164UB41P
5C164YA11
5C164YA21
5D162AA15
5D162BA13
5D162CA06
5D162CC06
5D162CC12
5D162CD08
5D162DA52
5D162EG02
(57)【要約】
【課題】視聴時の映像表示に合うように、番組制作時の音声オブジェクトの位置を補正する。
【解決手段】オブジェクトベース音響用座標変換装置１の映像位置変換部１０は、制作時の音声が想定する映像有効表示範囲Ａのうち視聴時に表示される映像有効表示範囲Ｂ及びその中心が、視聴時の音声が想定する映像有効表示範囲Ｃ及びその中心と一致するように、変換前座標及び変換後座標の組からなる座標変換テーブル１１を生成する。音声信号位置変換部１２は、座標変換テーブル１１を用いて、音声信号の座標である変換前座標に対応する変換後座標を特定し、変換後座標を変換後の音声信号の座標とする。音声信号処理部１３は、変換前の音声信号の座標及び変換後の音声信号の座標を用いて、音声信号のレンダリングを行うことで、入力音声信号を出力音声信号に変換し、出力音声信号を提示する。
【選択図】図１
【解決手段】オブジェクトベース音響用座標変換装置１の映像位置変換部１０は、制作時の音声が想定する映像有効表示範囲Ａのうち視聴時に表示される映像有効表示範囲Ｂ及びその中心が、視聴時の音声が想定する映像有効表示範囲Ｃ及びその中心と一致するように、変換前座標及び変換後座標の組からなる座標変換テーブル１１を生成する。音声信号位置変換部１２は、座標変換テーブル１１を用いて、音声信号の座標である変換前座標に対応する変換後座標を特定し、変換後座標を変換後の音声信号の座標とする。音声信号処理部１３は、変換前の音声信号の座標及び変換後の音声信号の座標を用いて、音声信号のレンダリングを行うことで、入力音声信号を出力音声信号に変換し、出力音声信号を提示する。
【選択図】図１
【特許請求の範囲】
【請求項1】
オブジェクトベース音響に用いる音声信号の座標を変換するオブジェクトベース音響用座標変換装置において、
番組制作時の音声が想定する映像の範囲を映像有効表示範囲Ａとし、前記映像有効表示範囲Ａのうち視聴時の表示装置に表示される映像の範囲を映像有効表示範囲Ｂとし、視聴時の音声が想定する前記表示装置に表示される映像の範囲を映像有効表示範囲Ｃとして、
前記映像有効表示範囲Ａに含まれる前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、前記映像有効表示範囲Ｃ及び当該映像有効表示範囲Ｃの中心に一致するように、番組制作時の音声信号の座標を視聴時の音声信号の座標に変換する変換規則を生成する映像位置変換部と、
前記映像位置変換部により生成された前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する音声信号位置変換部と、
前記番組制作時の音声信号を入力音声信号とし、前記視聴時の音声信号を出力音声信号として、前記入力音声信号を、前記音声信号位置変換部により変換された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する音声信号処理部と、
を備えたことを特徴とするオブジェクトベース音響用座標変換装置。
番組制作時の音声が想定する映像の範囲を映像有効表示範囲Ａとし、前記映像有効表示範囲Ａのうち視聴時の表示装置に表示される映像の範囲を映像有効表示範囲Ｂとし、視聴時の音声が想定する前記表示装置に表示される映像の範囲を映像有効表示範囲Ｃとして、
前記映像有効表示範囲Ａに含まれる前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、前記映像有効表示範囲Ｃ及び当該映像有効表示範囲Ｃの中心に一致するように、番組制作時の音声信号の座標を視聴時の音声信号の座標に変換する変換規則を生成する映像位置変換部と、
前記映像位置変換部により生成された前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する音声信号位置変換部と、
前記番組制作時の音声信号を入力音声信号とし、前記視聴時の音声信号を出力音声信号として、前記入力音声信号を、前記音声信号位置変換部により変換された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する音声信号処理部と、
を備えたことを特徴とするオブジェクトベース音響用座標変換装置。
【請求項2】
請求項１に記載のオブジェクトベース音響用座標変換装置において、
前記映像を平面映像とし、
前記音声信号位置変換部は、
前記映像有効表示範囲Ｂの両端における前記番組制作時の音声信号の座標と、前記映像有効表示範囲Ｃの両端における前記視聴時の音声信号の座標とが対応するように固定して、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とするオブジェクトベース音響用座標変換装置。
前記映像を平面映像とし、
前記音声信号位置変換部は、
前記映像有効表示範囲Ｂの両端における前記番組制作時の音声信号の座標と、前記映像有効表示範囲Ｃの両端における前記視聴時の音声信号の座標とが対応するように固定して、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とするオブジェクトベース音響用座標変換装置。
【請求項3】
請求項１に記載のオブジェクトベース音響用座標変換装置において、
前記映像を３６０度映像とし、前記表示装置にて前記３６０度映像を視聴するユーザが、前記表示装置を回転させた後、ズーム操作を行った場合に、
前記音声信号位置変換部は、
前記映像有効表示範囲Ｂの中心と、前記映像有効表示範囲Ｃにおける０度の位置を示す中心とが対応するように回転させた後、前記ズーム操作に応じた前記映像有効表示範囲Ｃの見開き角に対応するように、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とするオブジェクトベース音響用座標変換装置。
前記映像を３６０度映像とし、前記表示装置にて前記３６０度映像を視聴するユーザが、前記表示装置を回転させた後、ズーム操作を行った場合に、
前記音声信号位置変換部は、
前記映像有効表示範囲Ｂの中心と、前記映像有効表示範囲Ｃにおける０度の位置を示す中心とが対応するように回転させた後、前記ズーム操作に応じた前記映像有効表示範囲Ｃの見開き角に対応するように、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とするオブジェクトベース音響用座標変換装置。
【請求項4】
請求項１に記載のオブジェクトベース音響用座標変換装置において、
前記音声信号位置変換部は、
前記映像有効表示範囲Ｃの示す見開き角ｘが予め設定された見開き角θを下回る場合、前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、予め設定された座標に一致するように、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とするオブジェクトベース音響用座標変換装置。
前記音声信号位置変換部は、
前記映像有効表示範囲Ｃの示す見開き角ｘが予め設定された見開き角θを下回る場合、前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、予め設定された座標に一致するように、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とするオブジェクトベース音響用座標変換装置。
【請求項5】
請求項１に記載のオブジェクトベース音響用座標変換装置において、
前記番組制作時の音声信号に対し、前記映像と連動するか否かを示す連動／非連動の識別子が付与されている場合に、
前記音声信号位置変換部は、
前記番組制作時の音声信号に付与された前記識別子が前記連動を示している場合、前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換し、
前記番組制作時の音声信号に付与された前記識別子が前記非連動を示している場合、前記番組制作時の音声信号の座標を変換しないで、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標とするか、または、前記番組制作時の音声信号の座標を、予め設定された固定の座標に変換し、当該固定の座標を前記視聴時の音声信号の座標とする、ことを特徴とするオブジェクトベース音響用座標変換装置。
前記番組制作時の音声信号に対し、前記映像と連動するか否かを示す連動／非連動の識別子が付与されている場合に、
前記音声信号位置変換部は、
前記番組制作時の音声信号に付与された前記識別子が前記連動を示している場合、前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換し、
前記番組制作時の音声信号に付与された前記識別子が前記非連動を示している場合、前記番組制作時の音声信号の座標を変換しないで、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標とするか、または、前記番組制作時の音声信号の座標を、予め設定された固定の座標に変換し、当該固定の座標を前記視聴時の音声信号の座標とする、ことを特徴とするオブジェクトベース音響用座標変換装置。
【請求項6】
請求項１に記載のオブジェクトベース音響用座標変換装置において、
前記音声信号位置変換部は、
前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する変換処理を行う際に、前記映像有効表示範囲Ｃが予め設定された時間内で変化している場合、
予め設定された時間が経過した後に、前記変換規則に従って前記変換処理を行い、前記視聴時の音声信号の座標を出力するか、または、
前記変換処理により求めた所定数の前記視聴時の音声信号の座標を平均化し、平均化した視聴時の音声信号の座標を出力し、
前記音声信号処理部は、
前記入力音声信号を、前記音声信号位置変換部により出力された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する、ことを特徴とするオブジェクトベース音響用座標変換装置。
前記音声信号位置変換部は、
前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する変換処理を行う際に、前記映像有効表示範囲Ｃが予め設定された時間内で変化している場合、
予め設定された時間が経過した後に、前記変換規則に従って前記変換処理を行い、前記視聴時の音声信号の座標を出力するか、または、
前記変換処理により求めた所定数の前記視聴時の音声信号の座標を平均化し、平均化した視聴時の音声信号の座標を出力し、
前記音声信号処理部は、
前記入力音声信号を、前記音声信号位置変換部により出力された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する、ことを特徴とするオブジェクトベース音響用座標変換装置。
【請求項7】
オブジェクトベース音響に用いる音声信号の座標を変換するオブジェクトベース音響用座標変換装置を構成するコンピュータを、
番組制作時の音声が想定する映像の範囲を映像有効表示範囲Ａとし、前記映像有効表示範囲Ａのうち視聴時の表示装置に表示される映像の範囲を映像有効表示範囲Ｂとし、視聴時の音声が想定する前記表示装置に表示される映像の範囲を映像有効表示範囲Ｃとして、
前記映像有効表示範囲Ａに含まれる前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、前記映像有効表示範囲Ｃ及び当該映像有効表示範囲Ｃの中心に一致するように、番組制作時の音声信号の座標を視聴時の音声信号の座標に変換する変換規則を生成する映像位置変換部、
前記映像位置変換部により生成された前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する音声信号位置変換部、及び、
前記番組制作時の音声信号を入力音声信号とし、前記視聴時の音声信号を出力音声信号として、前記入力音声信号を、前記音声信号位置変換部により変換された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する音声信号処理部として機能させるためのプログラム。
番組制作時の音声が想定する映像の範囲を映像有効表示範囲Ａとし、前記映像有効表示範囲Ａのうち視聴時の表示装置に表示される映像の範囲を映像有効表示範囲Ｂとし、視聴時の音声が想定する前記表示装置に表示される映像の範囲を映像有効表示範囲Ｃとして、
前記映像有効表示範囲Ａに含まれる前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、前記映像有効表示範囲Ｃ及び当該映像有効表示範囲Ｃの中心に一致するように、番組制作時の音声信号の座標を視聴時の音声信号の座標に変換する変換規則を生成する映像位置変換部、
前記映像位置変換部により生成された前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する音声信号位置変換部、及び、
前記番組制作時の音声信号を入力音声信号とし、前記視聴時の音声信号を出力音声信号として、前記入力音声信号を、前記音声信号位置変換部により変換された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する音声信号処理部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声オブジェクトの位置情報に基づいて、再生するスピーカに割り当てる音声信号の信号レベルを規定するオブジェクトベース音響に用いるオブジェクトベース音響用座標変換装置及びプログラムに関する。
【背景技術】
【0002】
従来、音声オブジェクトの位置情報に基づいて、再生するスピーカに割り当てる音声信号の信号レベルを規定するオブジェクトベース音響の導入が進んでいる（例えば、非特許文献１，２を参照）。
【0003】
一般に、番組制作では映像に合わせて音も制作されるが、映像が番組制作時とは異なる大きさの表示装置へ提示されたり、３６０度映像またはＶＲ（virtual reality：仮想現実）のように、ユーザにより視点を変えて映像が提示されたりすることがある。
【0004】
また、映像が携帯端末へ提示される場合には、ユーザ操作により、携帯端末である表示装置が回転して縦横比が変わったり、映像の一部が切り出されたりすることもある。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Recommendation ITU-R BS.2076-2(10/2019)，“Audio Definition Model”
【非特許文献2】Recommendation ITU-R BS.2127-0(06/2019)，“Audio Definition Model renderer for advanced sound systems”
【発明の概要】
【発明が解決しようとする課題】
【0006】
このように、映像が番組制作時とは異なる大きさの表示装置へ提示されたり、視点や縦横比が変わって提示されたりする等、番組制作時とは異なる大きさ、視点または構図の映像が表示されるのに、番組制作時と同じ位置へ音を提示した場合には、音声エンジニアの意図とは異なる音が提示されてしまうことがある。
【0007】
すなわち、番組制作時とは異なる表示装置へ映像が提示されたり、異なる提示条件で映像が表示されたりした場合には、音声エンジニアの意図とは異なる位置に音声オブジェクトが定位することがある。つまり、番組制作時の映像表示に対する音声オブジェクトの定位位置と、視聴時の映像表示に対する音声オブジェクトの定位位置とが合致しないことがあり得る。
【0008】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、視聴時の映像表示に合うように、番組制作時の音声オブジェクトの位置を補正可能なオブジェクトベース音響用座標変換装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
前記課題を解決するために、請求項１のオブジェクトベース音響用座標変換装置は、オブジェクトベース音響に用いる音声信号の座標を変換するオブジェクトベース音響用座標変換装置において、番組制作時の音声が想定する映像の範囲を映像有効表示範囲Ａとし、前記映像有効表示範囲Ａのうち視聴時の表示装置に表示される映像の範囲を映像有効表示範囲Ｂとし、視聴時の音声が想定する前記表示装置に表示される映像の範囲を映像有効表示範囲Ｃとして、前記映像有効表示範囲Ａに含まれる前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、前記映像有効表示範囲Ｃ及び当該映像有効表示範囲Ｃの中心に一致するように、番組制作時の音声信号の座標を視聴時の音声信号の座標に変換する変換規則を生成する映像位置変換部と、前記映像位置変換部により生成された前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する音声信号位置変換部と、前記番組制作時の音声信号を入力音声信号とし、前記視聴時の音声信号を出力音声信号として、前記入力音声信号を、前記音声信号位置変換部により変換された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する音声信号処理部と、を備えたことを特徴とする。
【0010】
また、請求項２のオブジェクトベース音響用座標変換装置は、請求項１に記載のオブジェクトベース音響用座標変換装置において、前記映像を平面映像とし、前記音声信号位置変換部が、前記映像有効表示範囲Ｂの両端における前記番組制作時の音声信号の座標と、前記映像有効表示範囲Ｃの両端における前記視聴時の音声信号の座標とが対応するように固定して、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とする。
【0011】
また、請求項３のオブジェクトベース音響用座標変換装置は、請求項１に記載のオブジェクトベース音響用座標変換装置において、前記映像を３６０度映像とし、前記表示装置にて前記３６０度映像を視聴するユーザが、前記表示装置を回転させた後、ズーム操作を行った場合に、前記音声信号位置変換部が、前記映像有効表示範囲Ｂの中心と、前記映像有効表示範囲Ｃにおける０度の位置を示す中心とが対応するように回転させた後、前記ズーム操作に応じた前記映像有効表示範囲Ｃの見開き角に対応するように、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とする。
【0012】
また、請求項４のオブジェクトベース音響用座標変換装置は、請求項１に記載のオブジェクトベース音響用座標変換装置において、前記音声信号位置変換部が、前記映像有効表示範囲Ｃの示す見開き角ｘが予め設定された見開き角θを下回る場合、前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、予め設定された座標に一致するように、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する、ことを特徴とする。
【0013】
また、請求項５のオブジェクトベース音響用座標変換装置は、請求項１に記載のオブジェクトベース音響用座標変換装置において、前記番組制作時の音声信号に対し、前記映像と連動するか否かを示す連動／非連動の識別子が付与されている場合に、前記音声信号位置変換部が、前記番組制作時の音声信号に付与された前記識別子が前記連動を示している場合、前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換し、前記番組制作時の音声信号に付与された前記識別子が前記非連動を示している場合、前記番組制作時の音声信号の座標を変換しないで、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標とするか、または、前記番組制作時の音声信号の座標を、予め設定された固定の座標に変換し、当該固定の座標を前記視聴時の音声信号の座標とする、ことを特徴とする。
【0014】
また、請求項６のオブジェクトベース音響用座標変換装置は、請求項１に記載のオブジェクトベース音響用座標変換装置において、前記音声信号位置変換部が、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する変換処理を行う際に、前記映像有効表示範囲Ｃが予め設定された時間内で変化している場合、予め設定された時間が経過した後に、前記変換規則に従って前記変換処理を行い、前記視聴時の音声信号の座標を出力するか、または、前記変換処理により求めた所定数の前記視聴時の音声信号の座標を平均化し、平均化した視聴時の音声信号の座標を出力し、前記音声信号処理部が、前記入力音声信号を、前記音声信号位置変換部により出力された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する、ことを特徴とする。
【0015】
さらに、請求項７のプログラムは、オブジェクトベース音響に用いる音声信号の座標を変換するオブジェクトベース音響用座標変換装置を構成するコンピュータを、番組制作時の音声が想定する映像の範囲を映像有効表示範囲Ａとし、前記映像有効表示範囲Ａのうち視聴時の表示装置に表示される映像の範囲を映像有効表示範囲Ｂとし、視聴時の音声が想定する前記表示装置に表示される映像の範囲を映像有効表示範囲Ｃとして、前記映像有効表示範囲Ａに含まれる前記映像有効表示範囲Ｂ及び当該映像有効表示範囲Ｂの中心が、前記映像有効表示範囲Ｃ及び当該映像有効表示範囲Ｃの中心に一致するように、番組制作時の音声信号の座標を視聴時の音声信号の座標に変換する変換規則を生成する映像位置変換部、前記映像位置変換部により生成された前記変換規則に従い、前記番組制作時の音声信号の座標を前記視聴時の音声信号の座標に変換する音声信号位置変換部、及び、前記番組制作時の音声信号を入力音声信号とし、前記視聴時の音声信号を出力音声信号として、前記入力音声信号を、前記音声信号位置変換部により変換された前記視聴時の音声信号の座標にレンダリングし、前記出力音声信号を生成する音声信号処理部として機能させることを特徴とする。
【発明の効果】
【0016】
以上のように、本発明によれば、視聴時の映像表示に合うように、番組制作時の音声オブジェクトの位置を補正することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態によるオブジェクトベース音響用座標変換装置の構成例を示すブロック図である。
【図2】制作時の音声が想定する映像有効表示範囲Ａ、及び視聴時に表示される映像有効表示範囲Ｂを説明する図である。
【図3】映像位置の変換例を説明する図である。
【図4】音声信号位置の変換例を説明する図である。
【図5】座標変換テーブルの例を説明する図である。
【図6】回転時の音声信号位置の変換例を説明する図である。
【図7】回転及びズーム時の音声信号位置の変換例を説明する図である。
【図8】ズーム前後の視聴時の見開き角等を説明する図である。
【図9】３０度回転時の座標変換テーブルの例を説明する図である。
【図10】３０度回転及び見開き角ｘ１＝４０度をｘ２＝６０度にズームした時の座標変換テーブルの例を説明する図である。
【図11】本発明の他の実施形態によるオブジェクトベース音響用座標変換装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0018】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、番組制作時の音声が想定する映像有効表示範囲Ａのうち視聴時に表示される映像有効表示範囲Ｂ及びその中心が、視聴時の音声が想定する映像有効表示範囲Ｃ及びその中心と一致するように、番組制作時の映像に対する音声オブジェクトの座標を変換し、音声オブジェクトをレンダリングすることを特徴とする。
【0019】
これにより、視聴時の映像表示に合うように、番組制作時の音声オブジェクトの位置を補正することができる。
【0020】
〔オブジェクトベース音響用座標変換装置〕
まず、本発明の実施形態によるオブジェクトベース音響用座標変換装置について説明する。図１は、本発明の実施形態によるオブジェクトベース音響用座標変換装置の構成例を示すブロック図である。
まず、本発明の実施形態によるオブジェクトベース音響用座標変換装置について説明する。図１は、本発明の実施形態によるオブジェクトベース音響用座標変換装置の構成例を示すブロック図である。
【0021】
このオブジェクトベース音響用座標変換装置１は、映像位置変換部１０、座標変換テーブル１１、音声信号位置変換部１２及び音声信号処理部１３を備えている。
【0022】
オブジェクトベース音響用座標変換装置１は、音響メタデータ（音声信号の座標及び番組制作時（以下、「制作時」という。）の映像情報（制作時の音声が想定する映像有効表示範囲Ａ））、映像信号の補助情報（視聴時に表示される映像有効表示範囲Ｂ）、画面サイズ（視聴時の音声が想定する映像有効表示範囲Ｃ）、スピーカ位置情報及び入力音声信号を入力する。
【0023】
オブジェクトベース音響用座標変換装置１は、制作時の音声が想定する映像有効表示範囲Ａ、視聴時に表示される映像有効表示範囲Ｂ、視聴時の音声が想定する映像有効表示範囲Ｃ、スピーカ位置情報に基づいて、音声信号の座標を変換する。そして、オブジェクトベース音響用座標変換装置１は、変換後の音声信号の座標に基づいて、入力音声信号を出力音声信号に変換し、出力音声信号を出力する。
【0024】
制作時の音声が想定する映像有効表示範囲Ａは、制作時において、音声を基準として映像が表示される範囲であり、制作時に付与された情報として、例えば放送局から送信される。
【0025】
制作時において、例えば８Ｋ映像全体（１６：９）の中心に視点があり、視聴者が１５０インチで画面を見ている想定の場合、制作時の音声が想定する映像有効表示範囲Ａは、左右及び上下の画面の角度等である。
【0026】
また、通常の制作では、実際に見ている画面サイズに関わることなく、ステレオの場合は±３０度、２２．２ｃｈ音響の場合は±４５度または±６０度が画面の両サイドと一致するように、制作時の音声が想定する映像有効表示範囲Ａが設定される。
【0027】
また、ユーザがＨＭＤ（ヘッドマウントディスプレイ）を装着してＶＲコンテンツの映像を視聴する場合、すなわち３６０度映像の場合、正面の０度を規定し、映像における角度と音声における角度とが一致するように、制作時の音声が想定する映像有効表示範囲Ａが設定される。
【0028】
視聴時に表示される映像有効表示範囲Ｂは、例えばユーザがオブジェクトベース音響用座標変換装置１である携帯端末（表示装置）に表示される映像を視聴する場合、制作時の音声が想定する映像有効表示範囲Ａのうち、視聴時の携帯端末に表示される映像の範囲である。視聴時に表示される映像有効表示範囲Ｂは、映像信号の補助情報として付与され、例えば放送局から送信され、または携帯端末のユーザにより設定される。視聴時に表示される映像有効表示範囲Ｂが複数ある場合は、オブジェクトベース音響用座標変換装置１により、複数のうちの１つが選択される。
【0029】
尚、ユーザがＨＭＤを装着して３６０度映像を視聴する場合、オブジェクトベース音響用座標変換装置１は、ＨＭＤから視点情報を受信し、視点情報に応じた表示範囲を、視聴時に表示される映像有効表示範囲Ｂとして設定するようにしてもよい。
【0030】
視聴時の音声が想定する映像有効表示範囲Ｃは、例えばオブジェクトベース音響用座標変換装置１である携帯端末を用いた視聴時において、音声を基準として携帯端末に映像が表示される範囲であり、例えば携帯端末の仕様に応じた固定の範囲が予め設定され、またはユーザにより設定される。
【0031】
音声信号の座標及び入力音声信号は、制作時に付与される信号として、例えば放送局から送信される。音声オブジェクトが複数の音声信号により構成される場合、複数の音声信号のそれぞれについての座標がオブジェクトベース音響用座標変換装置１に入力される。
【0032】
スピーカ位置情報は、例えばオブジェクトベース音響用座標変換装置１が携帯端末である場合、携帯端末の仕様に応じた固定の情報が予め設定される。スピーカ位置情報は、例えば携帯端末の画面の左右両端の位置を示す情報、または、画面の左右両端から所定距離若しくは所定角度だけ離れた位置を示す情報等である。
【0033】
映像位置変換部１０は、制作時の音声が想定する映像有効表示範囲Ａ及び視聴時に表示される映像有効表示範囲Ｂを入力すると共に、視聴時の音声が想定する映像有効表示範囲Ｃ及びスピーカ位置情報を入力する。
【0034】
映像位置変換部１０は、これらのデータを用いて、制作時の音声が想定する映像有効表示範囲Ａのうち視聴時に表示される映像有効表示範囲Ｂ及びその中心が、視聴時の音声が想定する映像有効表示範囲Ｃ及びその中心と一致するように、視聴時に表示される映像有効表示範囲Ｂの映像位置等を、視聴時の音声が想定する映像有効表示範囲Ｃの映像位置等に変換し、音声信号の座標を変換するための座標変換テーブル１１を生成する。
【0035】
座標変換テーブル１１は、制作時の音声信号の座標を視聴時の音声信号の座標に変換するための、変換前座標から変換後座標への変換規則が定義されたテーブルである。座標変換テーブル１１の具体例については後述する。
【0036】
音声信号位置変換部１２は、音声信号の座標を入力し、座標変換テーブル１１を用いて、入力した音声信号の座標である変換前座標に対応する変換後座標を特定し、変換後座標を変換後の音声信号の座標として音声信号処理部１３に出力する。つまり、音声信号位置変換部１２は、座標変換テーブル１１を用いて、制作時の音声信号の座標を視聴時の音声信号の座標に変換し、視聴時の音声信号の座標である変換後の音声信号の座標を音声信号処理部１３に出力する。
【0037】
音声信号処理部１３は、入力音声信号（制作時の音声信号）を入力すると共に、音声信号位置変換部１２から変換後の音声信号の座標を入力する。そして、音声信号処理部１３は、変換前の音声信号の座標に位置する入力音声信号を、変換後の音声信号の座標にレンダリングし、出力音声信号（視聴時の音声信号）を生成して出力する。このような音声信号のレンダリングにより、入力音声信号が出力音声信号に変換され、当該出力音声信号がユーザへ提示される。
【0038】
例えば、オブジェクトベース音響用座標変換装置１に入力されるスピーカ位置情報を（－３０度，３０度）（θ0＝３０度）とし、音声信号の座標を１５度（θ＝１５度）とする。オブジェクトベース音響用座標変換装置１により、スピーカ位置情報（－３０度，３０度）が示す±３０度の位置に設置されたスピーカにてステレオ再生する場合を想定する。また、出力音声信号のゲインとして、左のスピーカに入力される出力音声信号のゲインをＧL、右のスピーカに入力される出力音声信号のゲインをＧRとする。
【0039】
この場合の出力音声信号であるゲインＧL，ＧRは、以下の式にて表される。
［数１］
（ＧL－ＧR）／（ＧL＋ＧR）＝sinθ／sinθ0 ・・・（１）
［数１］
（ＧL－ＧR）／（ＧL＋ＧR）＝sinθ／sinθ0 ・・・（１）
【0040】
ここで、音声信号が２０度の位置から再生されるとすると、変換後の音声信号の座標がθ＝２０度となり、前記式（１）から、出力音声信号であるゲインＧL，ＧRが算出される。
【0041】
図２は、制作時の音声が想定する映像有効表示範囲Ａ、及び視聴時に表示される映像有効表示範囲Ｂを説明する図である。（ａ）は、映像（平面映像）の全てを表示する場合を説明する図である。（ｂ）は、３６０度映像のうち、中心０度及び見開き角６０度の映像を表示する場合を説明する図である。（ｃ）は、映像（平面映像）の一部を表示する場合を説明する図である。（ｄ）は、３６０度映像のうち、中心β度及び見開き角６０度の映像を表示する場合を説明する図である。
【0042】
図２（ａ）及び（ｃ）に示すとおり、１６：９の画素７６８０×４３２０からなる平面映像は、例えば画面の両サイドが左右スピーカの位置（±３０度）に一致するように制作される。
【0043】
図２（ａ）において、画面左下の座標を（０，０）とすると、制作時の音声が想定する映像有効表示範囲Ａの座標は（０，０～７６８０，４３２０）であり、その中心位置の座標は（３８４０，２１６０）である。これに対応する音声信号の水平位置の角度は（－３０度～３０度）、中心位置は０度である。すなわち、制作時の音声が想定する映像有効表示範囲Ａは、角度で表すと（－３０度～３０度）となり、視聴時に表示される映像有効表示範囲Ｂも（－３０度～３０度）となる。
【0044】
図２（ａ）に示すように、平面映像の一部が切り出されることなく、想定される携帯端末の画面に映像が表示される。
【0045】
図２（ｂ）を参照して、３６０度映像の場合、例えば視聴時に表示される映像有効表示範囲Ｂとして、３６０度映像の中心を０度とし、見開き角を６０度とした範囲（中心０度、見開き角６０度）が設定される。この場合の制作時の音声が想定する映像有効表示範囲Ａは、（中心０度、見開き角３６０度）である。
【0046】
図２（ｃ）を参照して、携帯端末に平面映像の一部を切り出して表示する場合、携帯端末には、制作時とは異なる映像が表示される。この場合の表示範囲としては、図２（ｃ）に示す視聴時に表示される映像有効表示範囲Ｂが設定される。
【0047】
図２（ｄ）を参照して、０度以外に視点がある３６０度映像の場合、携帯端末には、制作時とは異なる映像が表示される。この場合の視聴時に表示される映像有効表示範囲Ｂとしては、例えば３６０度映像の中心をβ度とし、見開き角を６０度とした範囲（中心β度、見開き角６０度）が設定される。
【0048】
＜平面映像の場合＞
次に、図２（ｃ）に示した平面映像を対象とした場合の映像位置変換部１０の処理例、及び座標変換テーブル１１のデータ構成例について説明する。図３は、映像位置の変換例を説明する図であり、図４は、音声信号位置の変換例を説明する図であり、図５は、座標変換テーブル１１の例を説明する図である。
次に、図２（ｃ）に示した平面映像を対象とした場合の映像位置変換部１０の処理例、及び座標変換テーブル１１のデータ構成例について説明する。図３は、映像位置の変換例を説明する図であり、図４は、音声信号位置の変換例を説明する図であり、図５は、座標変換テーブル１１の例を説明する図である。
【0049】
図３～図５は、図２（ｃ）に示した平面映像を対象とし、映像位置変換部１０により座標変換テーブル１１が生成される場合に、音声が想定する映像有効表示範囲を固定としたときの例を示している。つまり、視聴時に表示される映像有効表示範囲Ｂの両端における制作時の音声信号の座標と、視聴時の音声が想定する映像有効表示範囲Ｃの両端における視聴時の音声信号の座標とが対応するように、固定にしたときの例である。
【0050】
図３（ａ）及び図４（ａ）は、制作時の音声が想定する映像有効表示範囲Ａ、及び視聴時に表示される映像有効表示範囲Ｂを示している。図３（ｂ）及び図４（ｂ）は、携帯端末が想定するスピーカ位置情報、及び視聴時の音声が想定する映像有効表示範囲Ｃを示している。図３（ａ）及び（ｂ）において、太陽のマークは、音声信号が変換される座標位置の例を示している。また、図４（ａ）及び（ｂ）において、点線の矢印は、音声信号が変換される座標位置の例を示している。後述する図６～図８についても同様である。
【0051】
ここで、制作時の音声が想定する映像有効表示範囲Ａ等における角度（Ｌ１，α１，γ１等）は、図４（ａ）及び（ｂ）を参照して、視聴者１００を中心とした１周の３６０度の範囲において、視聴者１００から映像を見たときのそれぞれの位置を示している。
【0052】
図３（ａ）及び図４（ａ）を参照して、制作時の音声が想定する映像有効表示範囲Ａは、Ｌ１＝－３０度～Ｒ１＝３０度であり、視聴時に表示される映像有効表示範囲Ｂは、α１＝－２５度～β１＝－５度である。視聴時に表示される映像有効表示範囲Ｂの中心は、γ１＝－１５度である。
【0053】
図３（ｂ）及び図４（ｂ）を参照して、携帯端末において、スピーカ位置情報は、Ｌ２＝－３０度～Ｒ２＝３０度であり、視聴時の音声が想定する映像有効表示範囲Ｃは、α２＝－２０度～β２＝２０度である。視聴時の音声が想定する映像有効表示範囲Ｃの中心は、γ２＝０度である。
【0054】
この場合、映像位置変換部１０は、制作時の音声が想定する映像有効表示範囲Ａ（Ｌ１＝－３０度～Ｒ１＝３０度）、視聴時に表示される映像有効表示範囲Ｂ（α１＝－２５度～β１＝－５度）、視聴時の音声が想定する映像有効表示範囲Ｃ（α２＝－２０度～β２＝２０度）及びスピーカ位置情報（Ｌ２＝－３０度～Ｒ２＝３０度）を用いて、視聴時に表示される映像有効表示範囲Ｂ及びその中心（γ１＝－１５度）が、視聴時の音声が想定する映像有効表示範囲Ｃ及びその中心（γ２＝０度）と一致するように、映像位置を変換し、座標変換テーブル１１を生成する。
【0055】
すなわち、映像位置変換部１０は、Ｌ１からα１までの範囲がＬ２からα２の範囲に、α１からγ１を介してβ１までの範囲（視聴時に表示される映像有効表示範囲Ｂ）がα２からγ２を介してβ２までの範囲（視聴時の音声が想定する映像有効表示範囲Ｃ）に、β１からＲ１まで範囲がβ２からＲ２の範囲にそれぞれ対応するように、映像位置を変換し、座標変換テーブル１１を生成する。
【0056】
これにより、例えば制作時のγ１＝－１５度の座標（変換前座標）が視聴時のγ２＝０度の座標（変換後座標）に変換され、制作時のα１＝－２５度及びβ１＝－５度の座標（変換前座標）が視聴時の携帯端末の画面の両端であるα２＝－２０度及びβ２＝２０度の座標（変換後座標）に変換されるように、図５に示す座標変換テーブル１１が生成される。つまり、視聴時に表示される映像有効表示範囲Ｂの両端における制作時の音声信号の座標と、視聴時の音声が想定する映像有効表示範囲Ｃの両端における視聴時の音声信号の座標とが対応するように固定することで、座標変換テーブル１１が生成される。
【0057】
図５を参照して、この座標変換テーブル１１は、変換前座標（度）、及びこれに対応する変換後座標（度）から構成される。具体的には、座標変換テーブル１１は、（Ｌ１（－３０度），Ｌ２（－３０度）），・・・，（α１（－２５度），α２（－２０度）），・・・，（γ１（－１５度），γ２（０度）），・・・，（β１（－５度），β２（２０度）），・・・，（Ｒ１（３０度），Ｒ２（３０度））の対応データからなる。
【0058】
ここで、変換前座標における視聴時に表示される映像有効表示範囲Ｂ（α１＝－２５度～β１＝－５度）と、変換後座標における視聴時の音声が想定する映像有効表示範囲Ｃ（α２＝－２０度～β２＝２０度）とは、等角度の関係にある。また、変換前座標におけるＬ１～α１の範囲及び変換後座標におけるＬ２～α２の範囲、並びに、変換前座標におけるβ１～Ｒ１の範囲及び変換後座標におけるβ２～Ｒ２の範囲も等角度の関係にある。
【0059】
つまり、座標変換テーブル１１を用いた音声信号位置変換部１２は、視聴時に表示される映像有効表示範囲Ｂの両端における座標と、視聴時の音声が想定する映像有効表示範囲Ｃの両端における座標とが対応するように固定して、これらの範囲内で等角度の関係になるように、音声信号の座標を変換することとなる。
【0060】
等角度の関係にある（等角度になるように変換する）とは、第１の範囲内の３つの座標（第１ａ角度、第１ｂ角度及び第１ｃ角度）が第２の範囲内の３つの座標（第２ａ角度、第２ｂ角度及び第２ｃ角度）に変換される場合、第１ａ角度及び第１ｂ角度の差と第１ｂ角度及び第１ｃ角度の差が同じであるとき、第２ａ角度及び第２ｂ角度の差と第２ｂ角度及び第２ｃ角度の差が同じであることをいう。
【0061】
【0062】
これに対し、例えば制作時の音声が想定する映像有効表示範囲Ａ及びスピーカ位置情報の示す範囲を－１から１までの値（距離）に正規化し、視聴時に表示される映像有効表示範囲Ｂ及び視聴時の音声が想定する映像有効表示範囲Ｃを、－１から１までの間の値（距離）で表すようにしてもよい。
【0063】
この場合、座標変換テーブル１１は、画面上で等距離の関係の変換前座標及び変換後座標から構成され、座標変換テーブル１１を用いた音声信号位置変換部１２は、等距離の関係になるように、音声信号の座標を変換することとなる。
【0064】
等距離の関係にある（等距離になるように変換する）とは、第１の範囲内の３つの位置を表す値（第１ａ値、第１ｂ値及び第１ｃ値）が第２の範囲内の３つの位置を表す値（第２ａ値、第２ｂ値及び第２ｃ値）に変換される場合、第１ａ値及び第１ｂ値の差（距離）と第１ｂ値及び第１ｃ値の差（距離）が同じ場合、第２ａ値及び第２ｂ値の差（距離）と第２ｂ値及び第２ｃ値の差（距離）が同じであることをいう。
【0065】
また、座標変換テーブル１１は、間隔が連続的になるように非線形の関係の変換前座標及び変換後座標から構成されるようにしてもよい。この場合、座標変換テーブル１１を用いた音声信号位置変換部１２は、非線形の関係になるように、音声信号の座標を変換することとなる。
【0066】
ここで、第１の範囲内の４つの角度（第１ａ角度、第１ｂ角度、第１ｃ角度及び第１ｄ角度）が第２の範囲内の４つの角度（第２ａ角度、第２ｂ角度、第２ｃ角度及び第２ｄ角度）に変換される場合を想定する。
【0067】
この場合、非線形の関係にある（非線形になるように変換する）とは、第１ａ角度及び第１ｂ角度の差、第１ｂ角度及び第１ｃ角度の差、並びに第１ｃ角度及び第１ｄ角度の差が同じ場合、例えば第２ａ角度及び第２ｂ角度の差、第２ｂ角度及び第２ｃ角度、並びに第２ｃ角度及び第２ｄ角度の差が徐々に小さくなる、または大きくなることをいう。
【0068】
＜３６０度映像の場合＞
次に、図２（ｄ）に示した３６０度映像を対象とした場合の映像位置変換部１０の処理例、及び座標変換テーブル１１のデータ構成例について説明する。図６は、回転時の音声信号位置の変換例を説明する図であり、図７は、回転及びズーム時の音声信号位置の変換例を説明する図である。
次に、図２（ｄ）に示した３６０度映像を対象とした場合の映像位置変換部１０の処理例、及び座標変換テーブル１１のデータ構成例について説明する。図６は、回転時の音声信号位置の変換例を説明する図であり、図７は、回転及びズーム時の音声信号位置の変換例を説明する図である。
【0069】
図６及び図７、並びに後述する図８～図１０は、図２（ｄ）に示した３６０度映像を対象とし、映像位置変換部１０により座標変換テーブル１１が生成される場合に、音声が想定する映像有効表示範囲を固定しないときの例を示している。
【0070】
図６（ａ）及び図７（ａ）は、制作時の音声が想定する映像有効表示範囲Ａ、及び視聴時に表示される映像有効表示範囲Ｂを示している。図６（ｂ）は、視聴時の音声が想定する映像有効表示範囲Ｃ１を示している。図７（ｂ）は、ズーム前の視聴時の音声が想定する映像有効表示範囲Ｃ１を示しており、図７（ｃ）は、ズーム後の視聴時の音声が想定する映像有効表示範囲Ｃ２を示している。
【0071】
ここで、制作時の音声が想定する映像有効表示範囲Ａ等における角度（α１，β１等）は、図４（ａ）及び（ｂ）にて説明した角度と同様である。視聴時に表示される映像有効表示範囲Ｂ及び視聴時の音声が想定する映像有効表示範囲Ｃ１，Ｃ２において、見開き角ｘ１（及び、後述するズーム後の見開き角ｘ２）は、例えばＨＭＤ等の表示装置の仕様、またはユーザによる調整値により設定される。後述するズーム後の見開き角ｘ２は、例えば携帯端末の画面を触って、映像を広げる操作により設定される。
【0072】
図６（ａ）を参照して、制作時の音声が想定する映像有効表示範囲Ａは、α１～δ１であり、視聴時に表示される映像有効表示範囲Ｂは、中心β１＝－３０度及び見開き角ｘ１＝６０度（－６０度～０度）である。この場合の見開き角ｘ１は、－６０度から０度までの間を示している。
【0073】
図６（ａ）の状態において、３６０度映像を視聴するユーザが向きを変えることで、携帯端末を回転させた場合を想定すると、図６（ｂ）の状態となる。図６（ｂ）を参照して、携帯端末において、視聴時の音声が想定する映像有効表示範囲Ｃ１は、中心β２＝０度及び見開き角ｘ１＝６０度（－３０度～３０度）である。この場合の見開き角ｘ１は、－３０度から３０度までの間を示している。
【0074】
これにより、ユーザは、携帯端末に表示された図６（ａ）の中心β１＝－３０度及び見開き角ｘ１＝６０度（－６０度～０度）の映像（図６（ａ）に示した黒塗の太線の箇所）に対し、携帯端末を３０度回転させると、図６（ｂ）の中心β２＝０度及び見開き角ｘ１＝６０度（－３０度～３０度）の映像（図６（ｂ）に示した黒塗りの太線の箇所）を視聴することとなる。
【0075】
この場合、映像位置変換部１０は、制作時の音声が想定する映像有効表示範囲Ａ（α１～δ１）、視聴時に表示される映像有効表示範囲Ｂ（中心β１＝－３０度及び見開き角ｘ１＝６０度（－６０度～０度））、視聴時の音声が想定する映像有効表示範囲Ｃ１（中心β２＝０度及び見開き角ｘ１＝６０度（－３０度～３０度））及びスピーカ位置情報（３６０度映像の場合は３６０度）を用いて、視聴時に表示される映像有効表示範囲Ｂ及びその中心（β１＝－３０度）が、視聴時の音声が想定する映像有効表示範囲Ｃ１及びその中心（β２＝０度）と一致するように、映像位置を変換し、座標変換テーブル１１を生成する。
【0076】
すなわち、映像位置変換部１０は、３６０度の範囲において、右回りの－６０度から０度の範囲（視聴時に表示される映像有効表示範囲Ｂ）が右回りの－３０度から３０度の範囲（視聴時の音声が想定する映像有効表示範囲Ｃ１）に、それ以外の右回りの０度から－６０度の範囲が右回りの３０度から－３０度の範囲にそれぞれ対応するように、映像位置を変換し、座標変換テーブル１１を生成する。
【0077】
これにより、例えば制作時の－６０度、β１＝３０度及び０度の座標（変換前座標）が視聴時の－３０度、β２＝０度及び３０度の座標（変換後座標）にそれぞれ変換され、制作時のα１，γ１，δ１，ζ１，η１の座標が視聴時のα２，γ２，δ２，ζ２，η２の座標にそれぞれ変換されるように、後述する図９に示す座標変換テーブル１１が生成される。
【0078】
図７（ａ）及び（ｂ）の場合も、図７（ａ）及び（ｂ）に対応した座標変換テーブル１１が生成される。尚、図７（ａ）及び（ｂ）において、視聴時に表示される映像有効表示範囲Ｂは、中心β１＝－１５度及び見開き角ｘ１＝２０度（－２５度～－５度）である。また、視聴時の音声が想定する映像有効表示範囲Ｃ１は、中心β２＝０度及び見開き角ｘ１＝２０度（－１０度～１０度）である。
【0079】
【0080】
これにより、例えば制作時の－２５度、β１＝－１５度及び－５度の座標（変換前座標）が視聴時の－１０度、β２＝０度及び１０度の座標（変換後座標）にそれぞれ変換され、制作時のα１，γ１，δ１，ζ１，η１の座標が視聴時のα２，γ２，δ２，ζ２，η２の座標にそれぞれ変換されるように、座標変換テーブル１１が生成される。
【0081】
次に、ユーザによるズーム操作に従い、図７（ｂ）の状態から図７（ｃ）の状態へ移行する場合について説明する。図７（ｂ）を参照して、携帯端末に表示されている映像は、視聴時の音声が想定する映像有効表示範囲Ｃ１（中心β２＝０度及び見開き角ｘ１＝２０度（－１０度～１０度））の映像である。
【0082】
図７（ｂ）の状態でユーザが有効範囲を広げてズーム操作を行った場合を想定すると、図７（ｃ）の状態となる。具体的には、見開き角ｘ１＝２０度を見開き角ｘ２＝６０度に広げたとする。図７（ｃ）を参照して、携帯端末において、視聴時の音声が想定する映像有効表示範囲Ｃ２は、中心β３＝０度及び見開き角ｘ２＝６０度（－３０度～３０度）となり、この範囲の映像が携帯端末に表示される。
【0083】
これにより、ユーザは、携帯端末に表示された図７（ｂ）の中心β２＝０度及び見開き角ｘ１＝２０度（－１０度～１０度）の映像（図７（ｂ）に示した黒塗の太線の箇所）に対し、ズーム操作を行うと、図７（ｃ）の中心β３＝０度及び見開き角ｘ２＝６０度（－３０度～３０度）の映像（図７（ｃ）に示した黒塗りの太線の箇所）を視聴することとなる。
【0084】
この場合、映像位置変換部１０は、制作時の音声が想定する映像有効表示範囲Ａ（α１～δ１）、視聴時に表示される映像有効表示範囲Ｂ（中心β１＝－１５度及び見開き角ｘ１＝２０度（－２５度～－５度））、視聴時の音声が想定する映像有効表示範囲Ｃ２（中心β３＝０度及び見開き角ｘ２＝６０度（－３０度～３０度））及びスピーカ位置情報（３６０度映像の場合は３６０度）を用いて、視聴時に表示される映像有効表示範囲Ｂ及びその中心（β１＝－１５度）が、ズーム後の視聴時の音声が想定する映像有効表示範囲Ｃ２及びその中心（β３＝０度）と一致するように、映像位置を変換し、座標変換テーブル１１を生成する。
【0085】
すなわち、映像位置変換部１０は、３６０度の範囲において、右回りの－２５度から－５度の範囲（視聴時に表示される映像有効表示範囲Ｂ）が右回りの－３０度から３０度の範囲（視聴時の音声が想定する映像有効表示範囲Ｃ２）に、それ以外の右回りの－５度から－２５度の範囲が右回りの３０度から－３０度の範囲にそれぞれ対応するように、映像位置を変換し、座標変換テーブル１１を生成する。
【0086】
これにより、例えば制作時の－２５度、β１＝－１５度及び－５度の座標（変換前座標）がズーム後の視聴時の－３０度、β３＝０度及び３０度の座標（変換後座標）にそれぞれ変換され、制作時のα１，γ１，δ１，ζ１，η１の座標が視聴時のα３，γ３及び図示しないδ３，ζ３，η３の座標にそれぞれ変換されるように、座標変換テーブル１１が生成される。
【0087】
次に、座標変換テーブル１１のデータ構成例について説明する。図８は、ズーム前後の視聴時の見開き角等を説明する図であり、図９は、３０度回転時の座標変換テーブル１１の例を説明する図であり、図１０は、３０度回転及び見開き角ｘ１＝４０度をｘ２＝６０度にズームした時の座標変換テーブル１１の例を説明する図である。
【0088】
まず、図８を参照して、ユーザが向きを変えることで携帯端末が３０度回転し、図８（ｂ）の状態になった場合を想定する。図８（ｂ）を参照して、携帯端末において、視聴時の音声が想定する映像有効表示範囲Ｃ１は、中心０度及び見開き角ｘ１＝４０度（－２０度～２０度）である。
【0089】
この場合、映像位置変換部１０により、図９に示す座標変換テーブル１１が生成される。図９を参照して、この座標変換テーブル１１は、変換前座標（度）、及び、これに対応して当該変換前座標から３０度を加算した結果を示す変換後座標（度）から構成される。
【0090】
具体的に、座標変換テーブル１１には、視聴時の音声が想定する映像有効表示範囲Ｃ１である（－５０度，－２０度），・・・，（－３０度，０度），・・・，（－１０度，２０度）の見開き角ｘ１＝４０度に渡る範囲において、１０度間隔の変換前座標に対応して、１０度間隔の変換後座標が等角度に設定されている。また、座標変換テーブル１１には、視聴時の音声が想定する映像有効表示範囲Ｃ１以外の３２０度に渡る範囲において、１０度間隔の変換前座標に対応して、１０度間隔の変換後座標が等角度に設定されている。
【0091】
つまり、座標変換テーブル１１を用いた音声信号位置変換部１２は、これらの範囲内で等角度の関係になるように、音声信号の座標を変換することとなる。
【0092】
次に、図８を参照して、図８（ｂ）の状態でユーザが有効範囲を広げてズーム操作を行い、図８（ｃ）の状態になった場合を想定する。具体的には、見開き角ｘ１＝４０度を見開き角ｘ２＝６０度に広げたとする。図８（ｃ）を参照して、携帯端末において、視聴時の音声が想定する映像有効表示範囲Ｃ２は、中心０度及び見開き角ｘ２＝６０度（－３０度～３０度）である。
【0093】
【0094】
ここで、座標変換テーブル１１は、まず、携帯端末が３０度回転して図８（ｂ）の状態になり、その後、ズーム操作により図８（ｃ）の状態になった時点において生成されたテーブルである。つまり、変換前座標（度）は、携帯端末が３０度回転する前の初期状態における座標である。
【0095】
具体的には、映像位置変換部１０は、視聴時に表示される映像有効表示範囲Ｂの中心と、視聴時の音声が想定する映像有効表示範囲Ｃ２の中心（０度）とが対応するように回転させた後、ズーム操作に応じた、視聴時の音声が想定する映像有効表示範囲Ｃ２の見開き角ｘ２に対応するように、座標変換テーブル１１を生成する、
【0096】
図１０に示すように、座標変換テーブル１１には、視聴時の音声が想定する映像有効表示範囲Ｃ２である（－５０度，－３０．０度），・・・，（－３０度，０．０度），・・・，（－１０度，３０．０度）の見開き角ｘ２＝６０度に渡る範囲において、１０度間隔の変換前座標に対応して、１５度間隔の変換後座標が等角度に設定されている。
【0097】
また、座標変換テーブル１１には、視聴時の音声が想定する映像有効表示範囲Ｃ２以外の３００度の範囲において、１０度間隔の変換前座標に対応して、９．４度間隔の変換後座標が等角度に設定されている。ここで、９．４度は、図８（ｃ）に示した視聴時の音声が想定する映像有効表示範囲Ｃ２以外の３００度を、図８（ｂ）に示した視聴時の音声が想定する映像有効表示範囲Ｃ１以外の３２０度で除算した結果の角度に相当する。
【0098】
つまり、座標変換テーブル１１を用いた音声信号位置変換部１２は、映像有効表示範囲Ｂの中心と、映像有効表示範囲Ｃ２における０度の位置を示す中心とが対応するように回転させた後、ズーム操作に応じた視聴時の音声が想定する映像有効表示範囲Ｃの見開き角ｘ２に対応し、視聴時の音声が想定する映像有効表示範囲Ｃ２の範囲内で等角度の関係となり、かつそれ以外の範囲内で等角度の関係となるように、音声信号の座標を変換することとなる。
【0099】
尚、ユーザによるズーム操作が行われる毎に、図１０に示したような座標変換テーブル１１が生成される。
【0100】
また、図６～図１０に示したとおり、３６０度映像の場合、制作時の音声が想定する映像有効表示範囲Ａ、視聴時に表示される映像有効表示範囲Ｂ、視聴時の音声が想定する映像有効表示範囲Ｃ、座標変換テーブル１１等は、角度で表すようにしたが、平面映像の場合と同様に、距離で表すようにしてもよい。
【0101】
また、座標変換テーブル１１は、平面映像の場合と同様に、画面上で等距離の関係の変換前座標及び変換後座標から構成されるようにしてもよいし、間隔が連続的になるように非線形の関係の変換前座標及び変換後座標から構成されるようにしてもよい。
【0102】
ここで、図１０に示した座標変換テーブル１１は、変換後座標が、視聴時の音声が想定する映像有効表示範囲Ｃ２内において１５度間隔に設定され、それ以外において９．４度間隔に設定されている。非線形の関係の座標変換テーブル１１は、視聴時の音声が想定する映像有効表示範囲Ｃ２内において、例えば１４度、１１度、９度、８度と徐々に間隔を狭め、間隔が突然切替わらないように設定されている場合をいう。
【0103】
以上のように、本発明の実施形態によるオブジェクトベース音響用座標変換装置１によれば、映像位置変換部１０は、制作時の音声が想定する映像有効表示範囲Ａのうち視聴時に表示される映像有効表示範囲Ｂ及びその中心が、視聴時の音声が想定する映像有効表示範囲Ｃ及びその中心と一致するように、変換前座標及び変換後座標の組からなる座標変換テーブル１１を生成する。
【0104】
音声信号位置変換部１２は、座標変換テーブル１１を用いて、音声信号の座標である変換前座標に対応する変換後座標を特定し、変換後座標を変換後の音声信号の座標とする。音声信号処理部１３は、変換前の音声信号の座標及び変換後の音声信号の座標を用いて、音声信号のレンダリングを行うことで、入力音声信号を出力音声信号に変換し、出力音声信号を提示する。
【0105】
これにより、映像位置と音声位置とが関連付けられ、制作時の音声位置が視聴時の音声位置に変換される。つまり、制作時の音声信号の座標が、視聴時の映像表示に合うように、視聴時の音声信号の座標に変換される。したがって、視聴時の映像表示に合うように、制作時の音声オブジェクトの位置を補正することができる。
【0106】
〔オブジェクトベース音響用座標変換装置の他の例〕
次に、本発明の他の実施形態によるオブジェクトベース音響用座標変換装置について説明する。図１１は、本発明の他の実施形態によるオブジェクトベース音響用座標変換装置の構成例を示すブロック図である。
次に、本発明の他の実施形態によるオブジェクトベース音響用座標変換装置について説明する。図１１は、本発明の他の実施形態によるオブジェクトベース音響用座標変換装置の構成例を示すブロック図である。
【0107】
このオブジェクトベース音響用座標変換装置２は、音声信号位置変換部１４及び音声信号処理部１３を備えている。
【0108】
図１に示したオブジェクトベース音響用座標変換装置１と図１１に示すオブジェクトベース音響用座標変換装置２とを比較すると、両オブジェクトベース音響用座標変換装置１，２は、音声信号処理部１３を備えている点で共通する。
【0109】
一方、オブジェクトベース音響用座標変換装置２は、音声信号位置変換部１４を備えている点で、映像位置変換部１０、座標変換テーブル１１及び音声信号位置変換部１２を備えたオブジェクトベース音響用座標変換装置１と相違する。
【0110】
オブジェクトベース音響用座標変換装置２は、図１に示したオブジェクトベース音響用座標変換装置１と同様に、音響メタデータ（音声信号の座標及び制作時の映像情報（制作時の音声が想定する映像有効表示範囲Ａ））、映像信号の補助情報（視聴時に表示される映像有効表示範囲Ｂ）、画面サイズ（視聴時の音声が想定する映像有効表示範囲Ｃ）、スピーカ位置情報及び入力音声信号を入力する。
【0111】
オブジェクトベース音響用座標変換装置２は、制作時の音声が想定する映像有効表示範囲Ａ、視聴時に表示される映像有効表示範囲Ｂ、視聴時の音声が想定する映像有効表示範囲Ｃ、及びスピーカ位置情報に基づいて、音声信号の座標を変換し、入力音声信号を出力音声信号に変換し、出力音声信号を出力する。
【0112】
音声信号位置変換部１４は、制作時の音声が想定する映像有効表示範囲Ａ及び視聴時に表示される映像有効表示範囲Ｂを入力すると共に、視聴時の音声が想定する映像有効表示範囲Ｃ及びスピーカ位置情報を入力する。また、音声信号位置変換部１４は、音声信号の座標を入力する。
【0113】
音声信号位置変換部１４は、これらのデータを用いて、制作時の音声が想定する映像有効表示範囲Ａのうち視聴時に表示される映像有効表示範囲Ｂ及びその中心が、視聴時の音声が想定する映像有効表示範囲Ｃ及びその中心と一致するように、入力した音声信号の座標を変換する。そして、音声信号位置変換部１４は、変換後の音声信号の座標を音声信号処理部１３に出力する。
【0114】
音声信号処理部１３は、図１に示した音声信号処理部１３と同様であるため、ここでは説明を省略する。
【0115】
以上のように、本発明の他の実施形態によるオブジェクトベース音響用座標変換装置２によれば、座標変換テーブル１１を生成することなく、視聴時の映像表示に合うように、制作時の音声オブジェクトの位置を補正することができる。
【0116】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0117】
（見開き角ｘの下限値）
例えば前記実施形態では、視聴時の映像の表示サイズ（携帯端末の画面の表示サイズ）に関わることなく、音声信号の座標を変換する例を示したが、表示サイズが予め設定された下限値の見開き角θ（例えば２０度）を下回る場合は、音声信号の座標を、予め設定された座標に変換するようにしてもよい。
例えば前記実施形態では、視聴時の映像の表示サイズ（携帯端末の画面の表示サイズ）に関わることなく、音声信号の座標を変換する例を示したが、表示サイズが予め設定された下限値の見開き角θ（例えば２０度）を下回る場合は、音声信号の座標を、予め設定された座標に変換するようにしてもよい。
【0118】
具体的には、オブジェクトベース音響用座標変換装置１の映像位置変換部１０は、視聴時の音声が想定する映像有効表示範囲Ｃの示す見開き角ｘが予め設定された見開き角θ（例えば２０度）を下回るか否かを判定する。
【0119】
映像位置変換部１０は、見開き角ｘが見開き角θを下回らないと判定した場合、前述の処理と同様に、視聴時に表示される映像有効表示範囲Ｂ及びその中心が、視聴時の音声が想定する映像有効表示範囲Ｃ及びその中心に一致するように、座標変換テーブル１１を生成する。
【0120】
一方、映像位置変換部１０は、見開き角ｘが見開き角θを下回ると判定した場合、視聴時に表示される映像有効表示範囲Ｂ及びその中心が、予め設定された座標（例えば視聴時の音声が想定する映像有効表示範囲Ｃの中心）に一致するように、座標変換テーブル１１を生成する。これにより、視聴時に表示される映像有効表示範囲Ｂ内の音声信号の座標が、予め設定された座標に変換される。
【0121】
例えば図３を参照して、α２＝－８度、γ２＝０度及びβ２＝８度である場合には、映像位置変換部１０は、視聴時の音声が想定する映像有効表示範囲Ｃの示す見開き角ｘが１６度であり、見開き角θ＝２０度を下回るとして、変換前座標のα１＝－２５度からβ１＝－５度までの角度に対応して、予め設定された角度（例えば０度）となるように、座標変換テーブル１１を生成する。
【0122】
つまり、音声信号位置変換部１２は、視聴時の音声が想定する映像有効表示範囲Ｃの示す見開き角ｘが予め設定された見開き角θを下回る場合、視聴時に表示される映像有効表示範囲Ｂ及びその中心が、予め設定された座標に一致するように、変換前座標を変換後座標に変換する。
【0123】
これにより、視聴時の音声が想定する映像有効表示範囲Ｃの示す見開き角ｘが下限値を下回る場合に、すなわち携帯端末の表示サイズが小さい場合に、これに対応する範囲（視聴時に表示される映像有効表示範囲Ｂ）の全ての音声信号を、予め設定された座標に変換することができるため、処理を軽減することができる。
【0124】
ここで、オブジェクトベース音響用座標変換装置１において、３６０度映像を対象とした回転時、並びに回転時及びズーム時についても同様であり、図１１に示したオブジェクトベース音響用座標変換装置２においても同様である。
【0125】
（音声信号に連動／非連動の識別子を付与）
また、前記実施形態では、全ての音声信号の座標を変換する例を示したが、全ての音声信号（制作時の音声信号、入力音声信号）のそれぞれに対し、映像表示と連動するか否かを示す連動／非連動の識別子を付与するようにしてもよい。この場合、オブジェクトベース音響用座標変換装置１，２は、非連動の識別子が付与された音声信号（例えばナレーション、警告音）に対し、制作時の音声が想定する映像有効表示範囲Ａ等とは関係なく、常に同じ座標の出力音声信号を生成して出力する。
また、前記実施形態では、全ての音声信号の座標を変換する例を示したが、全ての音声信号（制作時の音声信号、入力音声信号）のそれぞれに対し、映像表示と連動するか否かを示す連動／非連動の識別子を付与するようにしてもよい。この場合、オブジェクトベース音響用座標変換装置１，２は、非連動の識別子が付与された音声信号（例えばナレーション、警告音）に対し、制作時の音声が想定する映像有効表示範囲Ａ等とは関係なく、常に同じ座標の出力音声信号を生成して出力する。
【0126】
具体的には、オブジェクトベース音響用座標変換装置１の音声信号位置変換部１２は、音響メタデータに含まれる音声信号に対する連動／非連動の識別子を入力し、識別子が連動を示しているか、または非連動を示しているかを判定する。
【0127】
音声信号位置変換部１２は、識別子が連動を示していると判定した場合、当該音声信号に対し、座標変換テーブル１１を用いた変換処理を行い、変換後の音声信号の座標を音声信号処理部１３に出力する。
【0128】
一方、音声信号位置変換部１２は、識別子が非連動を示していると判定した場合、当該音声信号に対して変換処理を行わず、音声信号の座標を、そのまま変換後の音声信号の座標として音声信号処理部１３に出力するか、または、音声信号の座標を、予め設定された固定の座標に変換し、当該座標を変換後の音声信号の座標として音声信号処理部１３に出力する。
【0129】
これにより、非連動の識別子が付与されたナレーション、警告音等の音声信号については、視聴時において、常に同じ位置から再生させることができる。図１１に示したオブジェクトベース音響用座標変換装置２の音声信号位置変換部１４においても同様である。
【0130】
（音声信号の座標変化の抑制）
また、前記実施形態では、常時、視聴時の音声が想定する映像有効表示範囲Ｃに合わせて、音声信号の座標を変換する変換処理の例を示した。これに対し、ユーザが、例えば短時間に携帯端末の画面を（左右方向へ）回転させることで、視聴時の音声が想定する映像有効表示範囲Ｃを変更した場合に、オブジェクトベース音響用座標変換装置１は、音声信号の座標を変換しない、または、時間をかけてゆっくりと変換するようにしてもよい。
また、前記実施形態では、常時、視聴時の音声が想定する映像有効表示範囲Ｃに合わせて、音声信号の座標を変換する変換処理の例を示した。これに対し、ユーザが、例えば短時間に携帯端末の画面を（左右方向へ）回転させることで、視聴時の音声が想定する映像有効表示範囲Ｃを変更した場合に、オブジェクトベース音響用座標変換装置１は、音声信号の座標を変換しない、または、時間をかけてゆっくりと変換するようにしてもよい。
【0131】
具体的には、オブジェクトベース音響用座標変換装置１の音声信号位置変換部１２は、当該オブジェクトベース音響用座標変換装置１の入力する視聴時の音声が想定する映像有効表示範囲Ｃが、予め設定された時間内で変化しているか否かを判定する。
【0132】
音声信号位置変換部１２は、視聴時の音声が想定する映像有効表示範囲Ｃが当該時間内で変化していると判定した場合、予め設定された時間の間、前述の変換処理を行わないように当該変換処理を停止し、予め設定された時間が経過した後に、前述の変換処理を行う。
【0133】
または、音声信号位置変換部１２は、視聴時の音声が想定する映像有効表示範囲Ｃが当該時間内で変化していると判定した場合、時間をかけてゆっくりと、音声信号の変換処理を行う。例えば、視聴時の音声が想定する映像有効表示範囲Ｃが１秒間に１回変化したとすると、音声信号の変換処理は、５秒間に１回の割合で、過去３０秒間の平均値（変換後座標の平均値）を算出して出力する等、スムージングをかけるようにする。
【0134】
具体例で示すと、音声信号位置変換部１２による前述の変換処理により得られた変換後座標が０→３０→６０→２０→５０→３０・・・とする。音声信号位置変換部１２は、所定数（例えば過去３回分）の変換後座標を平均化し、平均化した０→１０→３０→３７→４３→３３・・・の変換後座標を、変換後の音声信号の座標として音声信号処理部１３に出力する。
【0135】
これにより、視聴時の音声が想定する映像有効表示範囲Ｃが短時間内に変更された場合には、音声信号の座標変換処理は、これに追従しないこととなるため、携帯端末の画面が回転したときに、音声信号の座標が急激に変動することがない。例えばユーザが、頭部を固定して携帯端末に表示された映像を視聴している状態で、画面を回転させた場合に、音声信号の座標が急激に変動しないため、ユーザの受ける違和感を軽減することができる。図１１に示したオブジェクトベース音響用座標変換装置２の音声信号位置変換部１４においても同様である。
【0136】
尚、本発明の実施形態によるオブジェクトベース音響用座標変換装置１，２のハードウェア構成としては、通常のコンピュータを使用することができる。オブジェクトベース音響用座標変換装置１，２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0137】
オブジェクトベース音響用座標変換装置１に備えた映像位置変換部１０、座標変換テーブル１１、音声信号位置変換部１２及び音声信号処理部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0138】
また、オブジェクトベース音響用座標変換装置２に備えた音声信号位置変換部１４及び音声信号処理部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【0139】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0140】
１，２ オブジェクトベース音響用座標変換装置
１０ 映像位置変換部
１１ 座標変換テーブル
１２，１４ 音声信号位置変換部
１３ 音声信号処理部
１００ 視聴者
Ａ 制作時の音声が想定する映像有効表示範囲
Ｂ 視聴時に表示される映像有効表示範囲
Ｃ，Ｃ１，Ｃ２ 視聴時の音声が想定する映像有効表示範囲
ｘ，ｘ１，ｘ２ 見開き角
１０ 映像位置変換部
１１ 座標変換テーブル
１２，１４ 音声信号位置変換部
１３ 音声信号処理部
１００ 視聴者
Ａ 制作時の音声が想定する映像有効表示範囲
Ｂ 視聴時に表示される映像有効表示範囲
Ｃ，Ｃ１，Ｃ２ 視聴時の音声が想定する映像有効表示範囲
ｘ，ｘ１，ｘ２ 見開き角
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】