(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】送信装置、送信方法、受信装置および受信方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240925BHJP
G10L 19/00 20130101ALI20240925BHJP
G10L 19/008 20130101ALI20240925BHJP
H04R 1/00 20060101ALI20240925BHJP
H04R 3/00 20060101ALI20240925BHJP
H04R 3/12 20060101ALI20240925BHJP
【FI】
G06F3/01 560
G06F3/01 510
G10L19/00 330B
G10L19/008 100
H04R1/00 310G
H04R3/00 310
H04R3/12 A
(21)【出願番号】P 2021567220
(86)(22)【出願日】2020-12-10
(86)【国際出願番号】 JP2020046175
(87)【国際公開番号】W WO2021131767
(87)【国際公開日】2021-07-01
【審査請求日】2023-10-16
(31)【優先権主張番号】P 2019235306
(32)【優先日】2019-12-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】鳥羽 一彰
(72)【発明者】
【氏名】市村 元
(72)【発明者】
【氏名】山野 郁男
(72)【発明者】
【氏名】伊藤 鎮
【審査官】渡辺 慶人
(56)【参考文献】
【文献】特開2018-064264(JP,A)
【文献】特開2018-060313(JP,A)
【文献】特開2014-182816(JP,A)
【文献】特開2015-231098(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
3/048- 3/04895
G10L 13/00 - 13/10
19/00 - 99/00
H04R 1/00
1/02
1/04 - 1/06
1/08
1/12 - 1/14
1/42 - 1/44
1/46
H04S 1/00 - 7/00
(57)【特許請求の範囲】
【請求項1】
所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を生成する伝送信号生成部と、
所定伝送路を介して上記伝送信号を受信側に送信する送信部を備え
、
上記伝送信号は、複数フレームからなるブロック毎の伝送信号であり、
上記送信部は、上記ブロック毎の伝送信号を順次上記所定伝送路を介して上記受信側に送信し、
上記伝送信号生成部は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて上記メタデータを付加する
送信装置。
【請求項2】
上記伝送信号生成部は、上記メタデータを動的に変更して、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を動的に変化させる
請求項1に記載の送信装置。
【請求項3】
上記伝送信号生成部は、上記メタデータを第1の状態から第2の状態に変更する際に、上記所定チャネル数の触覚提示信号に対してフェードアウト・フェードインの処理をする
請求項2に記載の送信装置。
【請求項4】
上記伝送信号生成部は、上記メタデータを第1の状態から第2の状態に変更する際に、上記所定チャネル数の触覚提示信号に対してミュート信号を挿入する
請求項2に記載の送信装置。
【請求項5】
上記伝送信号生成部は、上記メタデータを、上記オーディオ信号に係るコンテンツのシーンに同期して動的に変更する
請求項2に記載の送信装置。
【請求項6】
上記メタデータは、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置として、ゼロ、一つまたは複数の触覚提示位置を指定する
請求項1に記載の送信装置。
【請求項7】
上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記送信部は、上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚提示信号を、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する
請求項
1に記載の送信装置。
【請求項8】
上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
請求項1に記載の送信装置。
【請求項9】
伝送信号生成部が、所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を生成する手順と、
送信部が、所定伝送路を介して上記伝送信号を受信側に送信する手順を有
し、
上記伝送信号は、複数フレームからなるブロック毎の伝送信号であり、
上記送信する手順では、上記ブロック毎の伝送信号を順次上記所定伝送路を介して上記受信側に送信し、
上記伝送信号を生成する手順では、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて上記メタデータを付加する
送信方法。
【請求項10】
所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を、送信側から所定伝送路を介して受信する受信部
を備え、
上記伝送信号は、複数フレームからなるブロック毎の伝送信号であり、
上記受信部は、上記ブロック毎の伝送信号を上記送信側から順次上記所定伝送路を介して受信し、
上記メタデータは、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されており、
上記伝送信号から上記所定チャネルのオーディオ信号を取り出して出力すると共に、上記伝送信号から上記所定チャネルの触覚提示信号を取り出し、該所定チャネルの触覚提示信号のそれぞれを、上記メタデータに基づいて、対象とする触覚提示位置の触覚提示信号として出力する処理部を
さらに備える
受信装置。
【請求項11】
上記処理部は、上記メタデータが第1の状態から第2の状態に変更される際に、上記所定チャネル数の触覚提示信号に対してフェードアウト・フェードインの処理をする
請求項
10に記載の受信装置。
【請求項12】
上記処理部は、上記メタデータが第1の状態から第2の状態に変更される際に、上記所定チャネル数の触覚提示信号に対してミュート信号を挿入する
請求項
10に記載の受信装置。
【請求項13】
上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号は、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置されている
請求項
10に記載の受信装置。
【請求項14】
上記メタデータは、上記オーディオ信号に係るコンテンツのシーンに同期して動的に変更されている
請求項
10に記載の受信装置。
【請求項15】
上記メタデータは、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置として、ゼロ、一つまたは複数の触覚提示位置を指定する
請求項
10に記載の受信装置。
【請求項16】
上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
請求項
10に記載の受信装置。
【請求項17】
受信部が、所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を、送信側から所定伝送路を介して受信する手順
を有し、
上記伝送信号は、複数フレームからなるブロック毎の伝送信号であり、
上記受信する手順では、上記ブロック毎の伝送信号を上記送信側から順次上記所定伝送路を介して受信し、
上記メタデータは、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されており、
処理部が、上記伝送信号から上記所定チャネルのオーディオ信号を取り出して出力すると共に、上記伝送信号から上記所定チャネルの触覚提示信号を取り出し、該所定チャネルの触覚提示信号のそれぞれを、上記メタデータに基づいて、対象とする触覚提示位置の触覚提示信号として出力する手順を
さらに有する
受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、オーディオ信号と共に触覚提示信号を取り扱う送信装置、送信方法、受信装置および受信方法に関する。
【背景技術】
【0002】
5.1チャネル、7.1チャネルなどのマルチチャンネルオーディオアプリケーションにおいては、それぞれのチャンネル利用法を識別するために名前が付けられ運用されている。例えば、ライトチャンネル、レフトチャンネル、センターチャネル、LFE(Low Frequency Effect)チャンネル等である。これらはその名前が示す位置に配置されたラウドスピーカに届けられ、音として再生されることが期待されている。
【0003】
近年、マルチメディアアプリケーションが提案され、その中には、従来のオーディオビデオと同期して利用される触覚提示アプリケーション等がある。例えば、特許文献1には、触覚振動信号(触覚信号)を送信し、受信側では、その触覚振動信号に基づいて振動部を振動させる技術についての記載がある。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
最も普及しているマルチチャンネルオーディオ伝送システムは、5.1チャンネル(合計6チャンネル)である。このマルチチャンネルオーディオ伝送システムを用いて、ステレオオーディオ信号と共に、その空きチャンネルに触覚提示信号を入れて伝送する方法では、単に4位置における触覚提示がなされるものとなり、十分な触覚演出は不可能である。
【0006】
本技術の目的は、伝送できる触覚提示信号のチャネル数より多くの位置における触覚提示を可能とすることにある。
【課題を解決するための手段】
【0007】
本技術の概念は、
所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を生成する伝送信号生成部と、
所定伝送路を介して上記伝送信号を受信側に送信する送信部を備える
送信装置にある。
【0008】
本技術において、伝送信号生成部により、伝送信号が生成される。この伝送信号には、所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号が含まれ、また所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加される。例えば、メタデータは、所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置として、ゼロ、一つまたは複数の触覚提示位置を指定する、ようにされてもよい。
【0009】
送信部により、この伝送信号が所定伝送路を介して受信側に送信される。例えば、所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである、ようにされてもよい。
【0010】
例えば、伝送信号は、複数フレームからなるブロック毎の伝送信号であり、送信部は、ブロック毎の伝送信号を順次所定伝送路を介して受信側に送信し、伝送信号生成部は、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いてメタデータを付加する、ようにされてもよい。この場合、例えば、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、送信部は、所定チャネル数のオーディオ信号および所定チャネル数の触覚提示信号を、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する、ようにされてもよい。
【0011】
このように本技術においては、所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含む伝送信号に所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータを付加して送信するものである。そのため、受信側では、メタデータに基づいて、所定チャネル数の触覚提示信号を、対象とする触覚提示位置の触覚提示信号として出力することができ、伝送できる触覚提示信号のチャネル数より多くの位置における触覚提示が可能となる。
【0012】
なお、本技術において、例えば、伝送信号生成部は、メタデータを動的に変更して、所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を動的に変化させる、ようにされてもよい。これにより、受信側では、所定チャネル数の触覚提示信号が対象とする触覚提示位置をメタデータに基づいて動的に変化させることが可能となる。
【0013】
この場合、例えば、伝送信号生成部は、メタデータを第1の状態から第2の状態に変更する際に、所定チャネル数の触覚提示信号に対してフェードアウト・フェードインの処理をするか、所定チャネル数の触覚提示信号に対してミュート信号を挿入する、ようにされてもよい。これにより、所定チャネル数の触覚提示信号が非連続に変化することによるユーザの違和感を緩和することが可能となる。
【0014】
また、この場合、例えば、伝送信号生成部は、メタデータを、オーディオ信号に係るコンテンツのシーンに同期して動的に変更する、ようにされてもよい。これにより、シーンに合った触覚提示位置を効果的に駆動でき、ユーザへの適切な触覚提示が可能となる。
【0015】
また、本技術の他の概念は、
所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を、送信側から所定伝送路を介して受信する受信部と、
上記伝送信号から上記所定チャネルのオーディオ信号を取り出して出力すると共に、上記伝送信号から上記所定チャネルの触覚提示信号を取り出し、該所定チャネルの触覚提示信号のそれぞれを、上記メタデータに基づいて、対象とする触覚提示位置の触覚提示信号として出力する処理部を備える
受信装置にある。
【0016】
本技術において、受信部により、送信側から所定伝送路を介して伝送信号が受信される。この伝送信号には、所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号が含まれ、また所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加されている。例えば、所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである、ようにされてもよい。
【0017】
また、例えば、伝送信号は、複数フレームからなるブロック毎の伝送信号であり、受信部は、ブロック毎の伝送信号を送信側から順次所定伝送路を介して受信し、メタデータは、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されている、ようにされてもよい。この場合、例えば、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、所定チャネル数のオーディオ信号および所定チャネル数の触覚提示信号は、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置されている、ようにされてもよい。
【0018】
処理部により、伝送信号から所定チャネルのオーディオ信号を取り出されて出力される。また、この処理部により、伝送信号から所定チャネルの触覚提示信号が取り出され、この所定チャネルの触覚提示信号のそれぞれが、メタデータに基づいて、対象とする触覚提示位置の触覚提示信号として出力される。
【0019】
このように本技術においては、伝送信号から取り出される所定チャネルの触覚提示信号のそれぞれを、メタデータに基づいて、対象とする触覚提示位置の触覚提示信号として出力するものである。そのため、触覚提示信号のチャネル数より多くの位置における触覚提示が可能となる。
【図面の簡単な説明】
【0020】
【
図1】実施の形態としてのAVシステムの構成例を示すブロック図である。
【
図4】オーディオアンプにおけるSPDIF受信回路、オーディオDAコンバータ、セレクタおよびドライバの部分の構成例を示すブロック図である。
【
図5】セレクタが備える触覚提示信号の振り分け機能を説明するための図である。
【
図7】SPDIF受信回路、セレクタおよびドライバの経路の一部を無線化する場合の構成例を示すブロック図である。
【
図8】オーディオビジュアルコンテンツ再生の一例を説明するための図である。
【
図9】シーン1,2における、4チャネルの触覚提示信号が対象とする触覚提示位置の例を示す図である。
【
図10】シーン切り替えの際に行われる触覚提示信号へのフェードアウト・フェードイン処理やミュート信号挿入処理を説明するための図である。
【
図11】オーディオアンプにおけるSPDIF受信回路、オーディオDAコンバータ、セレクタおよびドライバの部分の他の構成例を示すブロック図である。
【
図12】テレビ受信機のHDMI受信部とオーディオアンプのHDMI送信部の構成例を示すブロック図である。
【
図13】テレビ受信機の高速バスインタフェースの構成例を示す図である。
【
図14】オーディオアンプの高速バスインタフェースの構成例を示す図である。
【
図15】IEC 60958規格におけるフレーム構成を示す図である。
【
図16】IEC 60958規格におけるサブフレーム構成を示す図である。
【
図17】2チャネルステレオオーディオ信号と4チャネルの触覚提示信号を同時に伝送する場合のマルチチャネル伝送フォーマットのフレーム構成の一例を示す図である。
【
図18】IEC 60958規格におけるチャネルステータスのフォーマットを概略的に示す図である。
【
図19】「Haptic channel mapping type」の8ビットフィールドで示される、4チャネルの触覚提示信号が対象とする触覚提示位置を指定するマッピングタイプを説明するための図である。
【
図20】各タイプに予め定義されている4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を説明するための図である。
【
図21】IEC 60958規格におけるチャネルステータスのフォーマットを概略的に示す図である。
【
図22】「Haptic channel 0 allocation」~「Haptic channel 3 allocation」の各8ビットフィールドで示される触覚提示位置を説明するための図である。
【
図23】「Haptic channel 0 allocation」~「Haptic channel 3 allocation」の各8ビットフィールドで示される触覚提示位置を説明するための図である。
【
図24】IEC 60958規格におけるチャネルステータスのフォーマットを概略的に示す図である。
【
図25】ポジション番号と振動位置の対応関係の一例を示す図である。
【
図26】オーディオビジュアルコンテンツ再生の他の一例を説明するための図である。
【
図27】オーディオビジュアルコンテンツ再生のさらに他の一例を説明するための図である。
【
図28】オーディオビジュアルコンテンツ再生のさらに他の一例を説明するための図である。
【
図29】4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータをそれぞれの触覚提示信号に付加する例を説明するための図である。
【
図30】触覚提示位置指定フラグの各パートと触覚提示位置との対応関係の一例を示す図である。
【
図31】触覚提示位置指定フラグの各パートの状態(フラグ構成)の一例を示す図である。
【
図32】触覚提示位置指定フラグの各パートの状態(フラグ構成)の他の一例を示す図である。
【
図33】コンテンツに応じて4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置が切り替わる例を説明するための図である。
【
図34】オーディオアンプ側が実際に備える触覚提示位置に合わせて処理された触覚提示信号およびメタデータをテレビ受信機側からオーディオアンプ側に送信する例を説明するためのブロック図である。
【
図35】テレビ受信機側における処理の一例を説明するための図である。
【発明を実施するための形態】
【0021】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0022】
<1.実施の形態>
[AVシステムの構成例]
図1は、実施の形態としてのAV(Audio/Visual)システム10の構成例を示している。このAVシステム10は、テレビ受信機100とオーディオアンプ200を有している。テレビ受信機100には、テレビ放送の受信アンテナ121と、BD(Blu-ray Disc)プレーヤ122と、インターネット123が接続されている。また、オーディオアンプ200には、2チャネルあるいはマルチチャネルのスピーカシステム250と、1チャネルまたは複数チャネルの触覚提示システム260が接続されている。なお、「Blu-ray」は登録商標である。
【0023】
テレビ受信機100およびオーディオアンプ200はHDMI(High-Definition Multimedia Interface)ケーブル300を介して接続されている。なお、「HDMI」は登録商標である。テレビ受信機100には、HDMI受信部(HDMI RX)102と、通信部を構成する高速バスインタフェース103とが接続されたHDMI端子101が設けられている。オーディオアンプ200には、HDMI送信部(HDMI TX)202と、通信部を構成する高速バスインタフェース203とが接続されたHDMI端子201が設けられている。HDMIケーブル300の一端はテレビ受信機100のHDMI端子101に接続され、その他端はオーディオアンプ200のHDMI端子201に接続されている。
【0024】
テレビ受信機100は、HDMI受信部102と、高速バスインタフェース103と、SPDIF(Sony Philips Digital InterFace)送信回路104を有している。また、テレビ受信機100は、システムコントローラ105と、デジタル放送受信回路107と、コンテンツ再生回路108と、表示部109と、イーサネットインタフェース110を有している。なお、「イーサネット」および「Ethernet」は登録商標である。また、図示の例では、説明の簡単化のために、画像系の各部については適宜省略されている。
【0025】
システムコントローラ105は、テレビ受信機100の各部の動作を制御する。デジタル放送受信回路107は、受信アンテナ121から入力されたテレビ放送信号を処理して、放送コンテンツに係るビデオ信号、マルチチャネルオーディオ信号(リニアPCM信号)および所定チャネル数の触覚提示信号と、この所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータを出力する。
【0026】
イーサネットインタフェース110はインターネット123を介して外部サーバと通信を行って、ネットコンテンツに係るビデオ信号、マルチチャネルオーディオ信号(リニアPCM信号)および所定チャネル数の触覚提示信号と、この所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータを出力する。BDプレーヤ122は、再生動作により、再生コンテンツに係るビデオ信号、マルチチャネルオーディオ信号(リニアPCM信号)および所定チャネル数の触覚提示信号と、この所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータを出力する。
【0027】
各チャネルの触覚提示信号が対象とする触覚提示位置(触覚提示部位)は、例えば、予め定義された触覚提示位置範囲に限定される。
図2は触覚提示位置範囲の一例を示している。この例では、触覚提示位置範囲として、フルサイズ(32デバイス)版、パート1サイズ(24デバイス)版、パート2サイズ(16デバイス)版、パート3サイズ(8デバイス)版を示している。
図3は、各触覚提示位置を概略的に示している。
【0028】
ここで、フルサイズ版には、(0)頭前「Head front」、(1)頭後「Head back」、(2)頭左「Head left」、(3)頭右「Head right」、(4)肩左「Shoulder left」、(5)肩右「Shoulder right」、(6)手左「Hand left」、(7)手右「Hand right」、(8)手首左「Wrist left」、(9)手首右「Wrist right」、(10)胸上左「Chest upper-left」、(11)胸上右「Chest upper-right」、(12)胸下左「Chest lower-left」、(13)胸下右「Chest lower-right」、(14)腹左「Stomach left」、(15)腹右「Stomach right」、(16)背中上左「Back upper-left」、(17)背中上右「Back upper-right」、(18)背中下左「Back lower-left」、(19)背中下右「Back lower-right」、(20)膝左「Knee left」、(21)膝右「Knee right」、(22)足左「Foot left」、(23)足右「Foot right」、(24)~(31)その他、の32触覚提示位置が含まれる。
【0029】
また、パート1サイズ版には、(0)頭前「Head front」、(1)頭後「Head back」、(2)頭左「Head left」、(3)頭右「Head right」、(4)肩左「Shoulder left」、(5)肩右「Shoulder right」、(6)手左「Hand left」、(7)手右「Hand right」、(8)手首左「Wrist left」、(9)手首右「Wrist right」、(10)胸上左「Chest upper-left」、(11)胸上右「Chest upper-right」、(12)胸下左「Chest lower-left」、(13)胸下右「Chest lower-right」、(14)腹左「Stomach left」、(15)腹右「Stomach right」、(16)背中上左「Back upper-left」、(17)背中上右「Back upper-right」、(18)背中下左「Back lower-left」、(19)背中下右「Back lower-right」、(20)膝左「Knee left」、(21)膝右「Knee right」、(22)足左「Foot left」、(23)足右「Foot right」、の24触覚提示位置が含まれる。
【0030】
また、パート2サイズ版には、(6)手左「Hand left」、(7)手右「Hand right」、(8)手首左「Wrist left」、(9)手首右「Wrist right」、(10)胸上左「Chest upper-left」、(11)胸上右「Chest upper-right」、(12)胸下左「Chest lower-left」、(13)胸下右「Chest lower-right」、(14)腹左「Stomach left」、(15)腹右「Stomach right」、(16)背中上左「Back upper-left」、(17)背中上右「Back upper-right」、(18)背中下左「Back lower-left」、(19)背中下右「Back lower-right」、(22)足左「Foot left」、(23)足右「Foot right」、の16触覚提示位置が含まれる。
【0031】
また、パート3サイズ版には、(10)胸上左「Chest upper-left」、(11)胸上右「Chest upper-right」、(12)胸下左「Chest lower-left」、(13)胸下右「Chest lower-right」、(14)腹左「Stomach left」、(15)腹右「Stomach right」、(16)背中上左「Back upper-left」、(17)背中上右「Back upper-right」、の8触覚提示位置が含まれる。
【0032】
所定数チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置は、コンテンツに応じて変更され、あるいはコンテンツのシーンに同期して動的に変更される。メタデータは、所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するものであるが、1つのチャネルの触覚提示信号が対象とする触覚提示位置としては、ゼロ、一つまたは複数の触覚提示位置が考えられる。
【0033】
コンテンツ再生回路108は、デジタル放送受信回路107、イーサネットインタフェース110あるいはBDプレーヤ122で得られたビデオ信号、マルチチャネルオーディオ信号および所定チャネル数の触覚提示信号、さらにはメタデータを選択的に取り出す。そして、コンテンツ再生回路108は、ビデオ信号を表示部109に送る。表示部109は、このビデオ信号による画像を表示する。
【0034】
また、コンテンツ再生回路108は、マルチチャネルオーディオ信号および所定チャネル数の触覚提示信号を、SPDIF送信回路104に送る。SPDIF送信回路104は、IEC 60958規格のデジタルオーディオ伝送信号(以下、適宜、「SPDIF信号」という)を送信するための回路である。このSPDIF送信回路104はIEC 60958規格に準拠した送信回路である。なお、SPDIF信号の詳細は後述する。
【0035】
SPDIF送信回路104は、マルチチャネルオーディオ信号および所定数の触覚提示信号を、メタデータ(触覚提示位置情報)を付加した状態で、オーディオアンプ200に、同時に送信する。この場合、SPDIF信号として、複数フレーム、ここでは192フレームからなるブロック毎の伝送信号が順次送信される。そして、この伝送信号に、マルチチャネルオーディオ信号および所定数の触覚提示信号が含まれ、さらには上述のメタデータ(触覚提示位置情報)が付加される。例えば、メタデータは、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加される。
【0036】
なお、触覚提示信号は、周波数帯域はDC-1kHzといわれている。リニアPCMを伝送できるデジタルオーディオインタフェースであれば触覚提示信号も伝送できる。この場合、例えば力覚触覚を提示する場合は、DC領域に関してはプラスで“押す”、マイナスで“引く”あるいは“引っ張る”というような表現が可能である。
【0037】
ここで、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成されている。マルチチャネルオーディオ信号および所定チャネル数の触覚提示信号は、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置されている。
【0038】
HDMI受信部102は、HDMIに準拠した通信により、HDMIケーブル300を介してHDMI端子101に供給されるビデオやオーディオのデータを受信する。高速バスインタフェース103は、HDMIケーブル300を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。なお、HDMI受信部102と高速バスインタフェース103の詳細は後述する。
【0039】
オーディオアンプ200は、HDMI送信部202と、高速バスインタフェース203と、SPDIF受信回路204を有している。また、オーディオアンプ200は、システムコントローラ205と、オーディオDAコンバータ206と、セレクタ207と、ドライバ208と、イーサネットインタフェース210を有している。
【0040】
システムコントローラ205は、オーディオアンプ200の各部の動作を制御する。HDMI送信部202は、HDMIに準拠した通信により、ビデオやオーディオのデータを、HDMI端子201からHDMIケーブル300に送出する。高速バスインタフェース203は、HDMIケーブル300を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。なお、HDMI送信部202と高速バスインタフェース203の詳細は後述する。
【0041】
SPDIF受信回路204は、SDPIF信号(IEC 60958規格のデジタルオーディオ信号)としての伝送信号を受信し、それに含まれるマルチチャネルオーディオ信号および所定チャネル数の触覚提示信号、さらにはメタデータを取得する。
【0042】
オーディオDAコンバータ206は、SPDIF受信回路204で取り出されたマルチチャネルオーディオ信号をチャネル毎にDA変換して増幅し、それぞれのチャネルに対応したスピーカを持つスピーカシステム250に送る。これにより、スピーカシステム250で、マルチチャネルオーディオ信号による音声再生が行われる。
【0043】
また、セレクタ207は、SPDIF受信回路204で取り出された所定チャネル数の触覚提示信号を、同様にSPDIF受信回路204で取り出されたメタデータに基づいて、それぞれが対象とする触覚提示位置の触覚提示信号として振り分けて出力する。ドライバ208は、セレクタ207で振り分けられた所定チャネル数の触覚提示信号をDA変換して増幅し、それぞれの触覚提示位置の触覚提示デバイスを持つ触覚提示システム260に送る。
【0044】
これにより、触覚提示システム260で、所定チャネル数の触覚提示信号により、それぞれが対象とする触覚提示位置における触覚提示再生が行われる。この場合、上述したように、所定チャネル数の触覚提示信号がマルチチャネルオーディオ信号と同時に送られてくるものであることから、この触覚提示再生は音声再生と正しく同期したものとなり、またテレビ受信機100の表示部109における映像表示とも同期したものとなる。
【0045】
以下、この実施の形態では、マルチチャネルオーディオ信号は2チャネルステレオオーディオ信号であり、所定チャネル数の触覚提示信号は4チャネルの触覚提示信号であるとして説明する。なお、本技術は、これに限定されるものでないことは勿論である。
【0046】
図4は、オーディオアンプ200におけるSPDIF受信回路204、オーディオDAコンバータ206、セレクタ207およびドライバ208の部分の構成例を示している。SPDIF受信回路204で取り出された2チャネルステレオオーディオ信号(チャネル0,1の信号)は、オーディオDAコンバータ206に供給される。そして、このオーディオDAコンバータ206では、2チャネルステレオオーディオ信号(左音声信号、右音声信号)がDA変換されて増幅され、スピーカシステム250としてのヘッドフォン251に供給される。これにより、ヘッドフォン251で、2チャネルステレオオーディオ信号による音声再生が行われる。
【0047】
また、SPDIF受信回路204で取り出された、4チャネルの触覚提示信号(チャネル2~5の信号)と、この4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータは、セレクタ207に供給される。セレクタ207では、4チャネルの触覚提示信号が、メタデータに基づいて、それぞれが対象とする触覚提示位置(6箇所の触覚提示位置に含まれる)の触覚提示信号として振り分けられて出力される。
【0048】
セレクタ207で振り分けられた4チャネルの触覚提示信号は、ドライバ208でDA変換されて増幅された後、触覚提示システム260としての、触覚提示デバイスを持つ触覚提示ベスト261および触覚提示ソファ262の対応する触覚提示デバイスに供給される。これにより、4チャネルの触覚提示信号により、それぞれが対象とする触覚提示位置での振動再生が行われる。
【0049】
なお、触覚提示ベスト261および触覚提示ソファ262において、「丸印」は触覚提示位置(触覚提示デバイスの配置位置)を示しており、合わせて6箇所の触覚提示位置が存在している。図示の例において、6箇所の触覚提示位置は、ソファ左、ソファ右、胸左、胸右、腹左、腹右である。
【0050】
図5は、セレクタ207が備える触覚振動信号の振り分け機能を示している。セレクタ207は、
図5(a)に示すように、メタデータに基づいて、あるチャネル(チャネルx)の触覚提示信号を、所定の触覚提示位置の触覚提示信号として出力することが可能に構成される。また、セレクタ207は、
図5(b)に示すように、メタデータに基づいて、ある触覚提示位置の触覚提示信号として、複数のチャネルの触覚提示信号を出力することが可能に構成される。
【0051】
図6は、セレクタ207の構成例を示している。セレクタ207は、入力端子として、4チャネルの触覚提示信号を入力するための4つの入力系In1~In4を有する。また、セレクタ207は、6つの出力系Out1~Out6を有している。そして、各出力系は、メタデータに基づいて、4入力系In1~In4に入力される4チャネルの触覚提示信号のうち、ゼロ個、1個または複数個を選択的に入力する入力部と、入力された各触覚提示信号を合算して出力する合算部を備えている。この構成により、セレクタ207は、上述の
図5(a),(b)に示した振り分け機能を奏する。
【0052】
図7は、SPDIF受信回路204、セレクタ207およびドライバ208の経路の一部を無線化する場合の構成例を示している。ここで、「Tx」は無線の送信機を示し、「Rx」は無線の受信機を示している。
図7(a)では、セレクタ207の6個の出力とドライバ208の6個の入力との間の6経路が全て無線化されている。
図7(b)では、セレクタ207の6個の出力とドライバ208の6個の入力との間の一部の経路、図示の例では4経路のみが無線化されている。
【0053】
図7(c)では、SPDIF受信回路204の4個の出力とドライバ208の6個の入力との間が無線化されている。この場合、SPDIF受信回路204の4個の出力に係る送信機がセレクタ207の機能を備え、メタデータに基づいて、ドライバ208の6個の入力に係る受信機に選択的に触覚提示信号を送信する。
【0054】
図8は、オーディオビジュアルコンテンツ再生の一例を示している。
図8(a)は、時系列的に連続するシーン1(殴り合っているシーン)およびシーン2(ダウンしたシーン)を概略的に示している。
図8(b)は、連続的な2チャネルステレオオーディオ信号と、シーンに同期して動的に変化する4チャネルの触覚提示信号を示している。
【0055】
シーン1に対応する4チャネルの触覚提示信号はタイプ1(Type 1)で示される。このタイプ1では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、
図9に示すように、胸左、胸右、腹左、腹右の振動位置を対象とする。なお、
図9において、丸数字の0,1,2および3は、それぞれ、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルを示している。
【0056】
そのため、シーン1では、メタデータに基づいて、セレクタ207では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、それぞれ胸左、胸右、腹左、腹右の振動位置の触覚提示信号として出力される。これにより、シーン1では、
図8(c)に示すように、胸左、胸右、腹左、腹右の触覚提示位置(白の「丸印」参照)で、殴られた感覚を演出するための触覚提示再生が行われる。
【0057】
一方、シーン2に対応する4チャネルの触覚提示信号はタイプ2(Type 2)で示される。このタイプ2では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、
図9に示すように、胸左、胸右、ソファ左、ソファ右の触覚提示位置を対象とする。
【0058】
そのため、シーン2では、メタデータに基づいて、セレクタ207では、4チャネルの触覚提示信号は、それぞれ胸左、胸右、ソファ左、ソファ右の触覚提示位置の触覚提示信号として出力される。これにより、シーン2では、
図8(c)に示すように、胸左、胸右、ソファ左、ソファ右の触覚提示位置(白の「丸印」参照)で、前から後ろへ触覚を移動させることで、衝撃後に後ろに倒れていくダウン触覚を演出するための触覚提示再生が行われる。
【0059】
なお、
図8(b)に示すように、2チャネルステレオオーディオ信号は切れ目なく連続して再生されており、触覚提示信号だけが非連続に切り替わる。シーン1とシーン2の間で触覚提示信号が非連続となるため、
図10(a)に示すように、その切り替えに際に、触覚提示信号に対してフェードアウト・フェードイン処理をするか、あるいは
図10(b)に示すように、その切り替えの際に、触覚提示信号に対してミュート信号挿入処理をすることが望ましい。これにより、触覚提示信号が非連続に変化することによるユーザの違和感を緩和することが可能となる。
【0060】
なお、フェードアウト・フェードイン処理やミュート信号挿入処理は、テレビ受信機100側で予め行われてもよく、オーディオアンプ200のセレクタ207やドライバ208で行われてもよく、あるいは触覚提示ベスト261や触覚提示ソファ262で行われてもよい。
【0061】
図11は、オーディオアンプ200におけるSPDIF受信回路204、オーディオDAコンバータ206、セレクタ207およびドライバ208の部分の他の構成例を示している。この
図11において、
図4と対応する部分には同一符号を付して示している。この他の構成例においては、
図4の構成例に対して、セレクタ207とドライバ208の接続順序が逆とされている点が異なっており、その他については同様である。
【0062】
「HDMI送信部/受信部の構成例」
図12は、
図1のAVシステム10における、テレビ受信機100のHDMI受信部102とオーディオアンプ200のHDMI送信部202の構成例を示している。
【0063】
HDMI送信部202は、ある垂直同期信号から次の垂直同期信号までの区間(以下、適宜、「ビデオフィールド」という)から、水平ブランキング期間および垂直ブランキング期間を除いた区間である有効画像区間(以下、適宜、「アクティブビデオ区間」という)において、ベースバンド(非圧縮)の一画面分の画像データの差動信号を、複数のチャネルで、HDMI受信部102に一方向に送信する。また、HDMI送信部202は、水平ブランキング期間および垂直ブランキング期間において、画像データに付随する音声データおよび制御パケット(Control Packet)、さらにその他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部102に一方向に送信する。
【0064】
HDMI送信部202は、ソース信号処理部71およびHDMIトランスミッタ72を有する。ソース信号処理部71には、ベースバンドの非圧縮の画像(Video)および音声(Audio)のデータが供給される。ソース信号処理部71は、供給される画像および音声のデータに必要な処理を施し、HDMIトランスミッタ72に供給する。また、ソース信号処理部71は、HDMIトランスミッタ72との間で、必要に応じて、制御用の情報やステータスを知らせる情報(Control/Status)等をやりとりする。
【0065】
HDMIトランスミッタ72は、ソース信号処理部71から供給される画像データを、対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部102に、一方向に送信する。
【0066】
さらに、HDMIトランスミッタ72、ソース信号処理部71から供給される、非圧縮の画像データに付随する音声データや制御パケットその他の補助データ(auxiliary data)と、垂直同期信号(VSYNC)、水平同期信号(HSYNC)等の制御データ(control data)とを、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部102に、一方向に送信する。
【0067】
また、HDMIトランスミッタ72は、3つのTMDSチャネル#0,#1,#2で送信する画像データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル300を介して接続されているHDMI受信部102に送信する。
【0068】
HDMI受信部102は、アクティブビデオ区間において、複数チャネルで、HDMI送信部202から一方向に送信されてくる、画像データに対応する差動信号を受信すると共に、水平ブランキング期間および垂直ブランキング期間において、複数のチャネルで、HDMI送信部202から送信されてくる、補助データや制御データに対応する差動信号を受信する。
【0069】
HDMI受信部102は、HDMIレシーバ81およびシンク信号処理部82を有する。HDMIレシーバ81は、TMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI送信部202から一方向に送信されてくる、画像データに対応する差動信号と、補助データや制御データに対応する差動信号を、同じくHDMI送信部202からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。さらに、HDMIレシーバ81は、差動信号を、対応する画像データ、補助データ、制御データに変換し、必要に応じて、シンク信号処理部82に供給する。
【0070】
シンク信号処理部82は、HDMIレシーバ81から供給されるデータに必要な処理を施して出力する。その他、シンク信号処理部82は、HDMIレシーバ81との間で、必要に応じて、制御用の情報やステータスを知らせる情報(Control/Status)等をやりとりする。
【0071】
HDMIの伝送チャネルには、HDMI送信部202からHDMI受信部102に対して、画像データ、補助データ、および制御データを、ピクセルクロックに同期して、一方向にシリアル伝送するための3つのTMDSチャネル#0,#1,#2と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルとの他に、DDC(Display Data Channel)83、さらには、CECライン84と呼ばれる伝送チャネルがある。
【0072】
DDC83は、HDMIケーブル300に含まれる図示しない2本のライン(信号線)からなり、ソース機器が、HDMIケーブル300を介して接続されたシンク機器から、E-EDID(Enhanced-Extended Display Identification)を読み出すために使用される。すなわち、シンク機器は、EDIDROM85を有している。ソース機器は、HDMIケーブル300を介して接続されているシンク機器から、EDIDROM85が記憶しているE-EDIDを、DDC83を介して読み出し、当該E-EDIDに基づき、シンク機器の設定、性能を認識する。
【0073】
CECライン84は、HDMIケーブル300に含まれる図示しない1本のラインからなり、ソース機器とシンク機器との間で、制御用のデータの双方向通信を行うために用いられる。
【0074】
また、HDMIケーブル300には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル300には、ソース機器からシンク機器に電源を供給するために用いられるライン87が含まれている。さらに、HDMIケーブル300には、リザーブライン88が含まれている。
【0075】
「高速バスインタフェースの構成例」
図13は、
図1のAVシステム10におけるテレビ受信機100の高速バスインタフェース103の構成例を示している。イーサネットインタフェース110は、HDMIケーブル300を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF送信回路104は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を送信する。
【0076】
テレビ受信機100は、LAN信号送信回路441、終端抵抗442、AC結合容量443,444、LAN信号受信回路445、減算回路446、加算回路449,450および増幅器451を有している。これらは、これらは高速バスインタフェース103を構成している。また、テレビ受信機100は、プラグ接続伝達回路128を構成する、チョークコイル461、抵抗462および抵抗463を有している。
【0077】
HDMI端子101の14ピン端子521と19ピン端子522との間には、AC結合容量443、終端抵抗442およびAC結合容量444の直列回路が接続される。また、電源線(+5.0V)と接地線との間には、抵抗462および抵抗463の直列回路が接続される。そして、この抵抗462と抵抗463の互いの接続点は、チョークコイル461を介して、19ピン端子522とAC結合容量444との接続点Q4に接続される。
【0078】
AC結合容量443と終端抵抗442の互いの接続点P3は、加算回路449の出力側に接続されると共に、LAN信号受信回路445の正入力側に接続される。また、AC結合容量444と終端抵抗442の互いの接続点P4は、加算回路450の出力側に接続されると共に、LAN信号受信回路445の負入力側に接続される。
【0079】
加算回路449の一方の入力側はLAN信号送信回路441の正出力側に接続され、この加算回路449の他方の入力側にはSPDIF送信回路104から出力されるSPDIF信号が増幅器451を介して供給される。また、加算回路450の一方の入力側はLAN信号送信回路441の負出力側に接続され、この加算回路450の他方の入力側にはSPDIF送信回路104から出力されるSPDIF信号が増幅器451を介して供給される。
【0080】
LAN信号送信回路441の入力側には、イーサネットインタフェース110から送信信号(送信データ)SG417が供給される。また、減算回路446の正側端子には、LAN信号受信回路445の出力信号SG418が供給され、この減算回路446の負側端子には、送信信号SG417が供給される。この減算回路446では、LAN信号受信回路445の出力信号SG418から送信信号SG417が減算され、受信信号(受信データ)SG419が得られる。この受信信号SG419は、リザーブラインおよびHPDラインを介してLAN信号(イーサネット信号)が差動信号として送信されてくる場合には、当該LAN信号となる。この受信信号SG419は、イーサネットインタフェース110に供給される。
【0081】
図14は、
図1のAVシステム10におけるオーディオアンプ200の高速バスインタフェース203の構成例を示している。イーサネットインタフェース210は、HDMIケーブル300を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF受信回路204は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を受信する。
【0082】
オーディオアンプ200は、LAN信号送信回路411、終端抵抗412、AC結合容量413,414、LAN信号受信回路415、減算回路416、加算回路419および増幅器420を有している。これらは、高速バスインタフェース203を構成している。また、オーディオアンプ200は、プラグ接続検出回路221を構成する、プルダウン抵抗431、抵抗432、容量433および比較器434を有している。ここで、抵抗432および容量433は、ローパスフィルタを構成している。
【0083】
HDMI端子201の14ピン端子511と19ピン端子512との間には、AC結合容量413、終端抵抗412およびAC結合容量414の直列回路が接続される。AC結合容量413と終端抵抗412の互いの接続点P1は、LAN信号送信回路411の正出力側に接続されると共に、LAN信号受信回路415の正入力側に接続される。
【0084】
AC結合容量414と終端抵抗412の互いの接続点P2は、LAN信号送信回路411の負出力側に接続されると共に、LAN信号受信回路415の負入力側に接続される。LAN信号送信回路411の入力側には、イーサネットインタフェース210から送信信号(送信データ)SG411が供給される。
【0085】
減算回路416の正側端子には、LAN信号受信回路415の出力信号SG412が供給され、この減算回路416の負側端子には、送信信号(送信データ)SG411が供給される。この減算回路416では、LAN信号受信回路415の出力信号SG412から送信信号SG411が減算され、受信信号SG413が得られる。この受信信号SG413は、リザーブラインおよびHPDラインを介して、LAN信号(イーサネット信号)が差動信号として送信されてくる場合には、当該LAN信号となる。この受信信号SG413は、イーサネットインタフェース210に供給される。
【0086】
AC結合容量414と19ピン端子512との接続点Q2は、プルダウン抵抗431を介して接地線に接続されると共に、抵抗432および容量433の直列回路を介して接地線に接続される。そして、抵抗432および容量433の互いの接続点に得られるローパスフィルタの出力信号は比較器434の一方の入力端子に供給される。この比較器434では、ローパスフィルタの出力信号が他方の入力端子に供給される基準電圧Vref2(+1.4V)と比較される。この比較器434の出力信号SG415は、オーディオアンプ200の図示しない制御部(CPU)に供給される。
【0087】
また、AC結合容量413と終端抵抗412の互いの接続点P1は、加算回路419の一方の入力端子に接続される。また、AC結合容量414と終端抵抗412の互いの接続点P2は、加算回路419の他方の入力端子に接続される。この加算回路419の出力信号は、増幅器420を介してSPDIF受信回路204に供給される。この加算回路419の出力信号は、リザーブラインおよびHPDラインを介して、SPDIF信号が同相信号として送信されてくる場合には、当該SPDIF信号となる。
【0088】
「SPDIF信号の詳細」
最初に、IEC 60958規格の概要について説明する。
図15は、IEC 60958規格におけるフレーム構成を示している。各フレームは2つのサブフレームから構成される。2チャネルステレオ音声の場合、1つ目のサブフレームに左チャネル信号が含まれ、2つ目のサブフレームに右チャネル信号が含まれる。
【0089】
サブフレームの先頭には後述するようにプリアンブルが設けられ、左チャネル信号にはプリアンブルとして「M」が、右チャネル信号にはプリアンブルとして「W」が付与される。ただし、192フレーム毎に先頭のプリアンブルにはブロックの開始を表す「B」が付与される。すなわち、1ブロックは192フレームにより構成される。ブロックは、後述するチャネルステータスを構成する単位である。
【0090】
図16は、IEC 60958規格におけるサブフレーム構成を示している。サブフレームは、第0乃至第31の計32のタイムスロットから構成される。第0乃至第3タイムスロットは、プリアンブル(Sync preamble)を示す。このプリアンブルは、上述のように左右チャネルの区別やブロックの開始位置を表すために、「M」、「W」または「B」の何れかを示す。
【0091】
第4乃至第27タイムスロットはメインデータフィールドであり、24ビットコードレンジが採用される場合には全体がオーディオデータを表す。また、20ビットコードレンジが採用される場合には第8乃至第27タイムスロットがオーディオデータ(Audio sample word)を表す。後者の場合、第4乃至第7タイムスロットは追加情報(Auxiliary sample bits)として利用することができる。図示の例は、後者の場合を示している。
【0092】
第28タイムスロットは、メインデータフィールドの有効フラグ(Validity flag)である。第29タイムスロットは、ユーザデータ(User data)の1ビット分を表す。各フレームにまたがってこの第29タイムスロットを累積することによって一連のユーザデータを構成することができる。このユーザデータのメッセージは8ビットの情報ユニット(IU:Information Unit)を単位として構成され、1つのメッセージには3乃至129個の情報ユニットが含まれる。
【0093】
情報ユニット間には0乃至8ビットの「0」が存在し得る。情報ユニットの先頭は開始ビット「1」により識別される。メッセージ内の最初の7個の情報ユニットは予約されており、8個目以降の情報ユニットにユーザは任意の情報を設定することができる。メッセージ間は8ビット以上の「0」により分割される。
【0094】
第30タイムスロットは、チャネルステータス(Channel status)の1ビット分を表す。各フレームにまたがってブロック毎に第30タイムスロットを累積することによって一連のチャネルステータスを構成することができる。なお、ブロックの先頭位置は、上述のように、「B」のプリアンブル(第0乃至第3タイムスロット)により示される。
【0095】
第31タイムスロットは、パリティビット(Parity bit)である。第4乃至第31タイムスロットに含まれる「0」および「1」の数が偶数になるように、このパリティビットが付与される。
【0096】
この実施の形態においては、IEC 60958規格を基礎とするマルチチャネル伝送フォーマットを利用して、上述の2チャネルステレオオーディオ信号および4チャネルの触覚提示信号を、その4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータを付加した状態で、同時に伝送する。
【0097】
図17は、2チャネルステレオオーディオ信号と4チャネルの触覚提示信号を同時に伝送する場合のマルチチャネル伝送フォーマットのフレーム構成の一例を示している。
【0098】
IEC 60958規格では、192フレームで1つのブロックが構成されるが、この192フレームは所定数のサブフレームからなるマルチチャネルグループ(Multichannel group)の繰り返しからなる。それぞれのサブフレーム部分はマルチチャネルオーダ(Multichannel Order)を構成している。マルチチャネルグループに含めるサブフレームの数を幾つにするかは、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて示すことができる。
【0099】
また、マルチチャネルグループ内に、それぞれマルチチャネルオーディオ信号を伝送するための1つまたは複数のマルチチャネルサブグループ(Multichannel subgroup)が形成される。マルチチャネルサブグループは、1つまたは複数のマルチチャネルオーダからなる。このマルチチャネルサブグループを構成するそれぞれのマルチチャネルオーダにマルチチャネルオーディオ信号の各チャネルの信号が順次配置される。マルチチャネルグループ内に如何なるマルチチャネルサブグループが形成されるかは、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて示すことができ、また、所定数のフレームのユーザデータビットを用いても示すことができる。
【0100】
図示の例においては、1つのマルチチャネルグループが6サブフレーム、つまりマルチチャネルオーダ1~6で構成されている。また、マルチチャネルグループ内に、マルチチャネルサブグループ1の1つのマルチチャネルサブグループが形成されている。そして、この例においては、その1つのマルチチャネルサブグループによって、2チャネルステレオオーディオ信号と4チャネルの触覚提示信号が同時に伝送される。
【0101】
マルチチャネルサブグループ1を構成するマルチチャネルオーダ1~6に、フロントレフト(FL)のオーディオ信号、フロントライト(FR)のオーディオ信号、第0チャネル(Haptic_0)の触覚提示信号、第1チャネル(Haptic_1)の触覚提示信号、第2チャネル(Haptic_2)の触覚提示信号および第3チャネル(Haptic_3)の触覚提示信号が、この順に配置されている。
【0102】
上述したように、4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータは、例えば、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加される。チャネルステータスの所定ビット領域を用いるメタデータの付加方法として、例えば、以下の第1~第3の方法が考えられる。
【0103】
「第1の方法」
第1の方法は、4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置をマッピングタイプで指定する方法である。
【0104】
図18は、IEC 60958規格におけるチャネルステータスのフォーマットを概略的に示している。チャネルステータスは、サブフレームにおける第30タイムスロットをブロック毎に累積したものである(
図16参照)。この図では、チャネルステータスの内容が縦方向に1バイトずつ配置され、横方向には各バイトにおけるビット構成が示されている。なお、ここでは、民生用(Consumer use)のフォーマットを想定して説明する。
【0105】
第0ビット(bit 0)のaは“0”とされ、このチャンネルステータスが民生用であることを示す。また、第1ビット(bit 1)のbは“0”とされ、リニアPCMのサンプルであることを示す。また、第6および7ビット(bit 6-7)は、チャネルステータスのモードを示す。
【0106】
また、第44ビット乃至第47ビット(bit 44-47)は、「Multichannel Count」の4ビットフィールドを構成しており、マルチチャネルグループに含めるサブフレームの数が示される。ここでは、マルチチャネルグループに含めるサブフレームの数が「6」であることが示される。
【0107】
また、第53ビット乃至第60ビットは、「Multichannel configuration value」の8ビットフィールドを構成しており、マルチチャネルサブグループの構成が示される。ここでは、2チャネルステレオオーディオ信号および4チャネルの触覚提示信号からなる6チャネルの信号構成であることが示される。
【0108】
また、第xバイトの第xxビット乃至第xx+7ビットは、「Haptic channel mapping type」の8ビットフィールドを構成しており、4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を指定するマッピングタイプが示される。例えば、
図19に示すように、「00000001」はタイプ1(Type-1)を示し、「00000010」はタイプ2(Type-2)を示し、「00000011」はタイプ3(Type-3)を示し、「00000100」はタイプ4(Type-4)を示している。
【0109】
この場合、各タイプには、4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置が予め定義されている。例えば、
図20に示すように、タイプ1(Type-1)の場合、第0,1,2,3のチャネルの触覚提示信号は、それぞれ、胸左(Chest left)、胸右(Chest right)、腹左(Stomach left)、腹右(Stomach right)を対象とし、タイプ2(Type-2)の場合、第0,1,2,3のチャネルの触覚提示信号は、それぞれ、胸左、胸右、ソファ左(Sofa left)、ソファ右(Sofa right)を対象とし、タイプ3(Type-3)の場合、第0,1,2,3のチャネルの触覚提示信号は、それぞれ、腹左、腹右、ソファ左、ソファ右を対象とし、タイプ4(Type-4)の場合、第0,1,2,3のチャネルの触覚提示信号は、それぞれ、胸左、腹左、ソファ左を対象とし、第3チャネルはN.A.(not available)であることを示す。
【0110】
「第2の方法」
第2の方法は、4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を、チャネルアロケーションの該当するビットにフラグを立てることで指定する方法である。
【0111】
図21は、IEC 60958規格におけるチャネルステータスのフォーマットを概略的に示している。この
図21において、
図18と対応する部分については、適宜、その説明を省略する。
【0112】
第44ビット乃至第47ビット(bit 44-47)は、「Multichannel Count」の4ビットフィールドを構成しており、マルチチャネルグループに含めるサブフレームの数が示される。ここでは、マルチチャネルグループに含めるサブフレームの数が「6」であることが示される。
【0113】
また、第53ビット乃至第60ビットは、「Multichannel configuration value」の8ビットフィールドを構成しており、マルチチャネルサブグループの構成が示される。ここでは、2チャネルステレオオーディオ信号および4チャネルの触覚提示信号からなる6チャネルの信号構成であることが示される。
【0114】
また、第xバイトの第xxビット乃至第xx+7ビットは、「Haptic channel 0 allocation」の8ビットフィールドを構成しており、第0チャネルの触覚提示信号のチャネルアロケーションが示される。例えば、
図22、
図23に示すように、第xxビット、第xx+1ビット、第xx+2ビット、第xx+3ビット、第xx+4ビット、第xx+5ビットは、それぞれ、胸左(Chest left)、胸右(Chest right)、腹左(Stomach left)、腹右(Stomach right)、ソファ左(Sofa left)、ソファ右(Sofa right)の振動位置に対応し、該当するビットにフラグを立てる、つまり“1”をセットすることで、第0チャネルの触覚提示信号が対象とする触覚提示位置が指定される。
【0115】
また、第x+1バイトの第xx+8ビット乃至第xx+15ビットは、「Haptic channel 1 allocation」の8ビットフィールドを構成しており、第1チャネルの触覚提示信号のチャネルアロケーションが示される。例えば、
図22、
図23に示すように、第xx+8ビット、第xx+9ビット、第xx+10ビット、第xx+11ビット、第xx+12ビット、第xx+13ビットは、それぞれ、胸左(Chest left)、胸右(Chest right)、腹左(Stomach left)、腹右(Stomach right)、ソファ左(Sofa left)、ソファ右(Sofa right)の触覚提示位置に対応し、該当するビットにフラグを立てる、つまり“1”をセットすることで、第1チャネルの触覚提示信号が対象とする触覚提示位置が指定される。
【0116】
また、第x+2バイトの第xx+16ビット乃至第xx+23ビットは、「Haptic channel 2 allocation」の8ビットフィールドを構成しており、第2チャネルの触覚提示信号のチャネルアロケーションが示される。例えば、
図22、
図23に示すように、第xx+16ビット、第xx+17ビット、第xx+18ビット、第xx+19ビット、第xx+20ビット、第xx+21ビットは、それぞれ、胸左(Chest left)、胸右(Chest right)、腹左(Stomach left)、腹右(Stomach right)、ソファ左(Sofa left)、ソファ右(Sofa right)の振動位置に対応し、該当するビットにフラグを立てる、つまり“1”をセットすることで、第2チャネルの触覚提示信号が対象とする触覚提示位置が指定される。
【0117】
また、第x+3バイトの第xx+24ビット乃至第xx+31ビットは、「Haptic channel 3 allocation」の8ビットフィールドを構成しており、第3チャネルの触覚提示信号のチャネルアロケーションが示される。例えば、
図22、
図23に示すように、第xx+24ビット、第xx+25ビット、第xx+26ビット、第xx+27ビット、第xx+28ビット、第xx+29ビットは、それぞれ、胸左(Chest left)、胸右(Chest right)、腹左(Stomach left)、腹右(Stomach right)、ソファ左(Sofa left)、ソファ右(Sofa right)の振動位置に対応し、該当するビットにフラグを立てる、つまり“1”をセットすることで、第3チャネルの触覚提示信号が対象とする触覚提示位置が指定される。
【0118】
「第3の方法」
第3の方法は、4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を、その触覚提示位置に予め定義されている番号で指定する方法である。
【0119】
図24は、IEC 60958規格におけるチャネルステータスのフォーマットを概略的に示している。この
図24において、
図18と対応する部分については、適宜、その説明を省略する。
【0120】
第44ビット乃至第47ビット(bit 44-47)は、「Multichannel Count」の4ビットフィールドを構成しており、マルチチャネルグループに含めるサブフレームの数が示される。ここでは、マルチチャネルグループに含めるサブフレームの数が「6」であることが示される。
【0121】
また、第53ビット乃至第60ビットは、「Multichannel configuration value」の8ビットフィールドを構成しており、マルチチャネルサブグループの構成が示される。ここでは、2チャネルステレオオーディオ信号および4チャネルの触覚提示信号からなる6チャネルの信号構成であることが示される。
【0122】
また、第xバイトの第xxビット乃至xx+3ビットは、「Haptic channel 0 position number_1」の4ビットフィールドを構成しており、第0チャネルの触覚提示信号が対象とする第1番目の触覚提示位置のポジション番号が示され、第xバイトの第xx+4ビット乃至xx+7ビットは、「Haptic channel 0 position number_2」の4ビットフィールドを構成しており、第0チャネルの触覚提示信号が対象とする第2番目の触覚提示位置のポジション番号が示される。
【0123】
図25は、ポジション番号と触覚提示位置の対応関係の一例を示している。例えば、ポジション番号「0000」は胸左(Chest left)を示し、ポジション番号「0001」は胸右(Chest right)を示し、ポジション番号「0010」は腹左(Stomach left)を示し、ポジション番号「0011」は腹右(Stomach right)を示し、ポジション番号「0100」はソファ左(Sofa left)を示し、ポジション番号「0101」はソファ右(Sofa right)を示す。なお、対象の触覚提示位置がない場合には、例えば「1111」とされる。
【0124】
また、第x+1バイトの第xx+8ビット乃至xx+11ビットは、「Haptic channel 1 position number_1」の4ビットフィールドを構成しており、第1チャネルの触覚提示信号が対象とする第1番目の触覚提示位置のポジション番号が示され、第x+1バイトの第xx+12ビット乃至xx+15ビットは、「Haptic channel 1 position number_2」の4ビットフィールドを構成しており、第1チャネルの触覚提示信号が対象とする第2番目の触覚提示位置のポジション番号が示される。
【0125】
また、第x+2バイトの第xx+16ビット乃至xx+19ビットは、「Haptic channel 2 position number_1」の4ビットフィールドを構成しており、第2チャネルの触覚提示信号が対象とする第1番目の触覚提示位置のポジション番号が示され、第x+2バイトの第xx+20ビット乃至xx+23ビットは、「Haptic channel 2 position number_2」の4ビットフィールドを構成しており、第2チャネルの触覚提示信号が対象とする第2番目の触覚提示位置のポジション番号が示される。
【0126】
また、第x+3バイトの第xx+24ビット乃至xx+27ビットは、「Haptic channel 3 position number_1」の4ビットフィールドを構成しており、第3チャネルの触覚提示信号が対象とする第1番目の触覚提示位置のポジション番号が示され、第x+3バイトの第xx+28ビット乃至xx+31ビットは、「Haptic channel 3 position number_2」の4ビットフィールドを構成しており、第3チャネルの触覚提示信号が対象とする第2番目の触覚提示位置のポジション番号が示される。
【0127】
上述したように、
図1に示すAVシステム10においては、所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含む伝送信号に所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータを付加して、テレビ受信機100からオーディオアンプ200に送信するものである。そのため、受信側では、メタデータに基づいて、所定チャネル数の触覚提示信号を、対象とする触覚提示位置の触覚提示信号として出力することができ、伝送できる触覚提示信号のチャネル数より多くの位置における触覚提示が可能となる。
【0128】
また、
図1に示すAVシステム10においては、伝送信号に付加されるメタデータを、例えばコンテンツ内のシーンに同期して動的に変更して、所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を動的に変化させることができる。これにより、受信側では、所定チャネル数の触覚提示信号が対象とする触覚提示位置をメタデータに基づいて動的に変化させることが可能となり、効果的な触覚提示をすることができる。
【0129】
<2.変形例>
なお、上述実施の形態においては、オーディオビジュアルコンテンツ再生の一例として、触覚提示位置(触覚提示デバイス)が胸左、胸右、腹左、腹右、ソファ左、ソファ右の6箇所存在する場合について説明した(
図8、
図9参照)。
【0130】
図26は、オーディオビジュアルコンテンツ再生の他の一例を示している。この例は、触覚提示位置(触覚提示デバイス)が、頭前「Head front」、頭後「Head back」、頭左「Head left」、頭右「Head right」、肩左「Shoulder left」、肩右「Shoulder right」、手左「Hand left」、手右「Hand right」、手首左「Wrist left」、手首右「Wrist right」、胸上左「Chest upper-left」、胸上右「Chest upper-right」、胸下左「Chest lower-left」、胸下右「Chest lower-right」、腹左「Stomach left」、腹右「Stomach right」、背中上左「Back upper-left」、背中上右「Back upper-right」、背中下左「Back lower-left」、背中下右「Back lower-right」、膝左「Knee left」、膝右「Knee right」、足左「Foot left」および足右「Foot right」の24箇所存在する場合の例である。なお、
図26において、丸数字の0,1,2および3は、それぞれ、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルを示している。
【0131】
シーン1(Scene-1)では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、それぞれ、膝左、膝右、足左、足右の触覚提示位置を対象とする。また、シーン2(Scene-2)では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、それぞれ、膝左、膝右、腹左、腹右の触覚提示位置を対象とする。また、シーン3(Scene-3)では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、それぞれ、胸下左、胸下右、腹左、腹右の触覚提示位置を対象とする。
【0132】
また、シーン4(Scene-4)では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、それぞれ、胸下左、胸下右、胸上左、胸上右の触覚提示位置を対象とする。また、シーン5(Scene-5)では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、それぞれ、肩左、肩右、胸下左、胸下右の触覚提示位置を対象とする。また、シーン6(Scene-6)では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、それぞれ、肩左、肩右、頭左、頭右の触覚提示位置を対象とする。また、シーン7(Scene-7)では、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号は、それぞれ、頭前、頭後、頭左、頭右の触覚提示位置を対象とする。
【0133】
この場合、シーン1からシーン7へと状態が変化していくことで、足から頭へシーン毎に4チャネルの触覚提示信号が対象とする触覚提示位置が移動していき、触覚の提示が足から頭へと順次上がっていく感覚が細かく表現できる。
【0134】
図27は、オーディオビジュアルコンテンツ再生のさらに他の一例を示している。この例は、
図26の例と同様に、触覚提示位置(触覚提示デバイス)が24箇所存在する場合の例である。なお、
図27において、丸数字の0,1,2および3は、それぞれ、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルを示している。
【0135】
シーン1(Scene-1)では、第0チャネルの触覚提示信号は頭前、頭後、頭左、頭右の触覚提示位置を対象とし、第1チャネルの触覚提示信号は肩左、肩右、手左、手右、手首左および手首右の触覚提示位置を対象とし、第2チャネルの触覚提示信号は胸上左、胸上右、胸下左、胸下右、腹左、腹右、背中上左、背中上右、背中下左および背中下右の触覚提示位置を対象とし、第3チャネルの触覚提示信号は膝左、膝右、足左および足右の触覚提示位置を対象とする。これにより、シーン1では、全ての触覚提示位置が第0チャネルから第3チャネルまでの触覚提示信号のいずれかの対象となり、例えば、全身に衝撃を与えるような触覚提示を行うことができる。
【0136】
また、シーン2(Scene-2)では、第0チャネルの触覚提示信号は胸上左および胸上右の触覚提示位置を対象とし、第1チャネルの触覚提示信号は胸下左および胸下右の触覚提示位置を対象とし、第2チャネルの触覚提示信号は腹左および腹右の触覚提示位置を対象とし、第3チャネルの触覚提示信号は膝左および膝右の触覚提示位置を対象とする。これにより、シーン2では、胸上、胸下、腹および膝へそれぞれ異なる触覚を与えることによって、例えば、全身を上から下へ、あるいは下から上へ移動するような触覚提示を行うことができる。
【0137】
また、シーン3(Scene-3)では、第0チャネルの触覚提示信号は頭左、肩左、手左、手首左、胸上左、胸下左、腹左、背中上左、背中下左、膝左および足左の触覚提示位置を対象とし、第1チャネルの触覚提示信号は頭右、肩右、手右、手首右、胸上右、胸下右、腹右、背中上右、背中下右、膝右および足右の触覚提示位置を対象とする。これにより、左と右に異なる触覚提示信号を適用させることで、全身を左から右へ、あるいは右から左へ移動するような触覚提示を行うことができる。
【0138】
また、シーン4(Scene-4)では、第0チャネルの触覚提示信号は胸上左、胸上右、胸下左、胸下右、腹左および腹右の触覚提示位置を対象とし、第1チャネルの触覚提示信号は胸上左および胸上右の触覚提示位置を対象とし、第2チャネルの触覚提示信号は膝左および膝右の触覚提示位置を対象とし、第3チャネルの触覚提示信号は足左および足右の触覚提示位置を対象とする。これにより、胸上左および胸上右は第0チャネルの触覚提示信号および第1チャネルの触覚提示信号の対象であることから、上半身には複雑な衝撃を与え、膝、足には別の衝撃を与えるように触覚提示を行うことができる。
【0139】
図28は、オーディオビジュアルコンテンツ再生のさらに他の一例を示している。この例は、触覚提示位置(触覚提示デバイス)が、頭前「Head front」、頭後「Head back」、頭左「Head left」、頭右「Head right」、肩左「Shoulder left」、肩右「Shoulder right」、手左「Hand left」、手右「Hand right」、手首左「Wrist left」、手首右「Wrist right」、胸上左「Chest upper-left」、胸上右「Chest upper-right」、胸下左「Chest lower-left」、胸下右「Chest lower-right」、腹左「Stomach left」、腹右「Stomach right」、背中上左「Back upper-left」、背中上右「Back upper-right」、背中下左「Back lower-left」、背中下右「Back lower-right」、膝左「Knee left」、膝右「Knee right」、足左「Foot left」、足右「Foot right」の24箇所の他、ソファ・バックレスト左「Sofa backrest left」、ソファ・バックレスト右「Sofa backrest right」、ソファ・シート・フロント左「Sofa seat front left」、ソファ・シート・フロント右「Sofa seat front right」、ソファ・シート・バック左「Sofa seat back left」、ソファ・シート・バック右「Sofa seat back right」、フロア・フロント左「Floor front left」、フロア・フロント右「Floor front right」、フロア・バック左「Floor back left」、フロア・バック右「Floor back right」、テーブル左「Table left」、テーブル右「Table right」、テーブル遠方左「Table far left」、テーブル遠方右「Table far right」、コントローラ左「Controller left」、コントローラ右「controller right」、クッションA「Cushion A」およびクッションB「Cushion B」の18箇所存在する場合の例である。なお、
図28において、丸数字の0,1,2および3は、それぞれ、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルを示している。
【0140】
シーン1(Scene-1)では、第0チャネルの触覚提示信号はフロア・フロント左およびフロア・フロント右の触覚提示位置を対象とし、第1チャネルの触覚提示信号はフロア・バック左およびフロア・バック右の触覚提示位置を対象とし、第2チャネルの触覚提示信号は足左および足右の触覚提示位置を対象とし、第3チャネルの触覚提示信号はソファ・シート・フロント左、ソファ・シート・フロント右、ソファ・シート・バック左およびソファ・シート・バック右の触覚提示位置を対象とする。この場合、例えば、足元や下からを重視した、地響きの触覚提示を行うことができる。
【0141】
また、シーン2(Scene-2)では、第0チャネルの触覚提示信号はコントローラ左の触覚提示位置を対象とし、第1チャネルの触覚提示信号はコントローラ右の触覚提示位置を対象とし、第2チャネルの触覚提示信号は胸上左、胸下左および腹左の触覚提示位置を対象とし、第2チャネルの触覚提示信号は胸上右、胸下右および腹右の触覚提示位置を対象とする。この場合、例えば、アイテムを把持したアクションシーンに対応した触覚提示を行うことができる。
【0142】
また、シーン3(Scene-3)では、第0チャネルの触覚提示信号はテーブル左およびテーブル遠方左の触覚提示位置を対象とし、第1チャネルの触覚提示信号はテーブル右およびテーブル遠方右の触覚提示位置を対象とし、第2チャネルの触覚提示信号はソファ・バックレスト左の触覚提示位置を対象とし、第3チャネルの触覚提示信号はソファ・バックレスト右の触覚提示位置を対象とする。この場合、例えば、テーブルに手を置くことで、ホラーの演出を行うことができる。
【0143】
また、シーン4(Scene-4)では、第0チャネルの触覚提示信号はソファ・バックレスト左およびソファ・シート・バック左の触覚提示位置を対象とし、第1チャネルの触覚提示信号はソファ・バックレスト右およびソファ・シート・バック右の触覚提示位置を対象とし、第2チャネルの触覚提示信号はソファ・シート・フロント左の触覚提示位置を対象とし、第3チャネルの触覚提示信号はソファ・シート・フロント右の触覚提示位置を対象とする。この場合、例えば、シートからの振動を受ける、ライド型シーンに対応した触覚提示を行うことができる。
【0144】
また、シーン5(Scene-5)では、第0チャネルの触覚提示信号はクッションAの触覚提示位置を対象とし、第1チャネルの触覚提示信号はクッションBの触覚提示位置を対象とする。この場合、例えば、クッションを自由に振動させて、リラックスシーンに対応した触覚提示を行うことができる。
【0145】
また、シーン6(Scene-6)では、第0チャネルの触覚提示信号はソファ・バックレスト左、ソファ・シート・フロント左およびソファ・シート・バック左の触覚提示位置を対象とし、第1チャネルの触覚提示信号はソファ・バックレスト右、ソファ・シート・フロント右およびソファ・シート・バック右の触覚提示位置を対象とし、第2チャネルの触覚提示信号は胸上左、胸下左および腹左の触覚提示位置を対象とし、第3チャネルの触覚提示信号は胸上右、胸下右および腹右の触覚提示位置を対象とする。この場合、例えば、低音を身体で体感できるような音楽視聴に対応した触覚提示を行うことができる。
【0146】
また、上述実施の形態においては、第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータをブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加する例を示した。例えば、第1の方法では、4チャネルの触覚提示信号が対象とする触覚提示位置がマッピングタイプで指定される(
図18~
図20参照)。この場合、組み合わせの多さから、タイプ数が過大となる可能性がある。
【0147】
第0チャネル、第1チャネル、第2チャネルおよび第3チャネルの4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータをブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加するのではなく、
図29に示すように、4チャネルの触覚提示信号のそれぞれに付加することも考えられる。
【0148】
この場合、各チャネルの触覚提示信号に、触覚提示位置指定フラグが付与される。それぞれのチャネルの触覚提示位置指定フラグは、指定可能な触覚提示位置の数分のパートから構成される。図示の例は、指定可能な触覚提示位置の数が24箇所ある場合であって、パート1(Part 0)からパート23(Part 23)までがある。
図30は、パートと触覚提示位置との対応関係の一例を示している。この場合、それぞれのチャネルにおいて該当するパートに“1”を立てることで、そのチャネルの触覚提示信号が対象とする1つまたは複数の触覚提示位置を指定できる。
【0149】
図31は、上述の
図27の例のシーン1における各パートの状態(フラグ構成)を示している。また、
図32は、上述の
図27の例のシーン4における各パートの状態(フラグ構成)を示している。
【0150】
また、上述実施の形態においては、1つのコンテンツの中でシーンに同期して4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置を切り替える例を示した。しかし、1つのコンテンツではシーンに依らず4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置が固定で、コンテンツに応じて4チャネルの触覚提示信号のそれぞれが対象とする触覚提示位置が切り替わる例も考えられる。
【0151】
例えば、
図33(a1)に示すようなボクシング試合のコンテンツでは、上半身前面への触覚提示の表現力を重視して、
図33(a2)に示すように、第0チャネル、第1チャネル、第2チャネル、第3チャネルの触覚提示信号が対象とする触覚提示位置を、それぞれ、胸右、胸左、腹右、腹左とする。これにより、右胸に衝撃を提示した後に左腹に衝撃を提示する、など、上半身前面内で細かい触覚表現が可能になる。
【0152】
また、
図33(b1)に示すようなアクション系の映画コンテンツでは、上半身の前後面への触覚提示の表現力を重視して、
図33(a2)に示すように、第0チャネルの触覚提示信号が対象とする触覚提示位置を胸右、胸左とし、第1チャネルの触覚提示信号が対象とする触覚提示位置を腹右、腹左とし、第2チャネルの触覚提示信号が対象とする触覚提示位置を背中上右、背中上左とし、第3チャネルの触覚提示信号が対象とする触覚提示位置を背中下右、背中下左とする。これにより、感触が上半身の上下に移動していく感覚や、前後に抜けていくような感触を表現することができる。
【0153】
上記例の場合、コンテンツの第2チャネルおよび第3チャネルの触覚提示信号が対象とする触覚提示位置は背中上と背中下で別れている。しかし、端末側(オーディオアンプ200側)では触覚提示位置が上下に分かれていない場合も想定される。その場合は、端末側の触覚提示位置情報をソース側(テレビ受信機100)側に送り、ソース側で第2チャネルおよび第3チャネルの触覚提示信号にダウンミックス処理を施し、その処理後の触覚提示信号を端末側に送ることも考えられる。この場合、ダウンミックス処理された触覚提示信号により、背中の左右の触覚提示位置で触覚提示再生が行われる。なお、この場合、ダウンミックス処理を端末側で行うことも考えられる。
【0154】
また、上述実施の形態では、メタデータで指定される各チャネルの触覚提示信号が対象とする触覚提示位置がオーディオアンプ200側(端末側)に備わっているものとして説明した。しかし、オーディオアンプ200側に、テレビ受信機100側(ソース側)が想定する触覚提示位置が備わっていない場合も考えられる。
【0155】
その場合には、
図34に示すように、オーディオアンプ200側からテレビ受信機100側に、何等かの手段、例えばHDMIの通信ライン等を用いて、触覚提示位置情報(触覚提示デバイス情報)を通知し、テレビ受信機100側ではその触覚提示位置情報に基づき、オーディオアンプ200側が実際に備える触覚提示位置に合わせて処理された触覚提示信号およびメタデータを送信するようにしてもよい。
【0156】
この処理は、テレビ受信機100において、例えば、システムコントローラ105の制御のもと、SPDIF送信回路104で行なわれる。この処理には、複数のチャネルの触覚提示信号を足し合わせて近い場所の触覚提示位置を対象とする処理(ダウンミックス処理)や、適当な触覚提示位置がないチャネルの触覚提示信号を破棄する処理や、さらには該当する触覚提示位置がないチャネルの触覚提示信号を近い位置の1つまたは複数の触覚提示位置に振り分ける処理等が含まれる。
【0157】
図35は、処理の一例を示している。コンテンツの触覚提示箇所(触覚提示位置))としてベスト(Vest)とソファ(Sofa)があるものとする。端末側(オーディオアンプ200側)からの触覚提示位置情報では触覚提示位置としてベストとソファがある場合、SPDIF送信回路104は、ベストやソファを触覚提示位置とする所定チャネルの触覚提示信号をそのまま出力する。一方、端末側(オーディオアンプ200側)からの触覚提示位置情報では触覚提示位置としてベストはあるがソファがない場合、SPDIF送信回路104は、ベストを触覚提示位置とする所定チャネルの触覚提示信号はそのまま出力するが、ソファを触覚提示位置とする所定チャネルの触覚提示信号に関しては触覚提示位置をベストに変更する処理をして出力する。
【0158】
また、上述実施の形態においては、マルチチャネルオーディオ信号は2チャネルステレオオーディオ信号であり、所定チャネル数の触覚提示信号は4チャネルの触覚提示信号である例を説明したが、本技術の適用はこの組み合わせに限定されない。
【0159】
また上述実施の形態においては、触覚提示信号として主に振動等の表現を用いるものを想定した例を説明したが、本技術の適用はそれに限定されるものではなく、熱感や圧感などが表現される場合もある。
【0160】
また、上述実施の形態においては、IEC 60958伝送路としてHDMI ARCを利用する例を示したが、IEC 60958伝送路として、同軸ケーブルや光ケーブルを利用する例も考えられる。また、IEC 60958伝送路として、HDMI伝送路を利用する例も考えられる。この場合、SPDIF信号(IEC 60958信号)はオーディオサンプルパケット(audio sample packet)にマッピングされ、ビデオ伝送と同じ順方向に伝送される。同様に、IEC 60958伝送路として、IEC 61883-6伝送路、MHL伝送路、ディスプレイポート伝送路(DP伝送路)などを利用する例も考えられる。これらの場合も、SPDIF信号(IEC 60958信号)はオーディオサンプルパケット(audio sample packet)にマッピングされ、ビデオ伝送と同じ順方向に伝送される。
【0161】
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0162】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0163】
また、技術は、以下のような構成もとることができる。
(1)所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を生成する伝送信号生成部と、
所定伝送路を介して上記伝送信号を受信側に送信する送信部を備える
送信装置。
(2)上記伝送信号生成部は、上記メタデータを動的に変更して、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を動的に変化させる
前記(1)に記載の送信装置。
(3)上記伝送信号生成部は、上記メタデータを第1の状態から第2の状態に変更する際に、上記所定チャネル数の触覚提示信号に対してフェードアウト・フェードインの処理をする
前記(1)または(2)に記載の送信装置。
(4)上記伝送信号生成部は、上記メタデータを第1の状態から第2の状態に変更する際に、上記所定チャネル数の触覚提示信号に対してミュート信号を挿入する
前記(1)または(2)に記載の送信装置。
(5)上記伝送信号生成部は、上記メタデータを、上記オーディオ信号に係るコンテンツのシーンに同期して動的に変更する
前記(2)から(4)のいずれかに記載の送信装置。
(6)上記メタデータは、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置として、ゼロ、一つまたは複数の触覚提示位置を指定する
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記伝送信号は、複数フレームからなるブロック毎の伝送信号であり、
上記送信部は、上記ブロック毎の伝送信号を順次上記所定伝送路を介して上記受信側に送信し、
上記伝送信号生成部は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて上記メタデータを付加する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記送信部は、上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚提示信号を、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する
前記(7)に記載の送信装置。
(9)上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
前記(1)から(8)のいずれかに記載の送信装置。
(10)所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を生成する手順と、
所定伝送路を介して上記伝送信号を受信側に送信する手順を有する
送信方法。
(11)所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を、送信側から所定伝送路を介して受信する受信部と、
上記伝送信号から上記所定チャネルのオーディオ信号を取り出して出力すると共に、上記伝送信号から上記所定チャネルの触覚提示信号を取り出し、該所定チャネルの触覚提示信号のそれぞれを、上記メタデータに基づいて、対象とする触覚提示位置の触覚提示信号として出力する処理部を備える
受信装置。
(12)上記処理部は、上記メタデータが第1の状態から第2の状態に変更される際に、上記所定チャネル数の触覚提示信号に対してフェードアウト・フェードインの処理をする
前記(11)に記載の受信装置。
(13)上記処理部は、上記メタデータが第1の状態から第2の状態に変更される際に、上記所定チャネル数の触覚提示信号に対してミュート信号を挿入する
前記(11)に記載の受信装置。
(14)上記伝送信号は、複数フレームからなるブロック毎の伝送信号であり、
上記受信部は、上記ブロック毎の伝送信号を上記送信側から順次上記所定伝送路を介して受信し、
上記メタデータは、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されている
前記(11)から(13)のいずれかに記載の受信装置。
(15)上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚提示信号は、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置されている
前記(14)に記載の受信装置。
(16)上記メタデータは、上記オーディオ信号に係るコンテンツのシーンに同期して動的に変更されている
前記(11)から(15)のいずれかに記載の受信装置。
(17)上記メタデータは、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置として、ゼロ、一つまたは複数の触覚提示位置を指定する
前記(11)から(16)のいずれかに記載の受信装置。
(18)上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
前記(11)から(17)のいずれかに記載の受信装置。
(19)所定チャネル数のオーディオ信号と所定チャネル数の触覚提示信号を含み、上記所定チャネル数の触覚提示信号のそれぞれが対象とする触覚提示位置を指定するメタデータが付加された伝送信号を、送信側から所定伝送路を介して受信する手順と、
上記伝送信号から上記所定チャネルのオーディオ信号を取り出して出力すると共に、上記伝送信号から上記所定チャネルの触覚提示信号を取り出し、該所定チャネルの触覚提示信号のそれぞれを、上記メタデータに基づいて、対象とする触覚提示位置の触覚提示信号として出力する手順を有する
受信方法。
【符号の説明】
【0164】
10・・・・AVシステム
100・・・テレビ受信機
101・・・HDMI端子
102・・・HDMI受信部
103・・・高速バスインタフェース
104・・・SPDIF送信回路
105・・・システムコントローラ
107・・・デジタル放送受信回路
108・・・コンテンツ再生回路
109・・・表示部
110・・・イーサネットインタフェース
111・・・触覚提示信号生成部
121・・・受信アンテナ
122・・・BDプレーヤ
123・・・インターネット
200・・・オーディオアンプ
201・・・HDMI端子
202・・・HDMI送信部
203・・・高速バスインタフェース
204・・・SPDIF受信回路
205・・・システムコントローラ
206・・・オーディDAコンバータ
207・・・セレクタ
208・・・ドライバ
210・・・イーサネットインタフェース
250・・・スピーカシステム
251・・・ヘッドフォン
260・・・触覚提示システム
261・・・触覚提示ベスト
262・・・触覚提示ソファ
300・・・HDMIケーブル