(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-08
(54)【発明の名称】単一の同軸ケーブルでアナログビデオ伝送しながら音声を送受信する方法と装置
(51)【国際特許分類】
H04N 7/08 20060101AFI20240801BHJP
【FI】
H04N7/08 101
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023578984
(86)(22)【出願日】2022-07-12
(85)【翻訳文提出日】2024-02-02
(86)【国際出願番号】 US2022036810
(87)【国際公開番号】W WO2023287780
(87)【国際公開日】2023-01-19
(32)【優先日】2021-07-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517271706
【氏名又は名称】テックポイント インク
【氏名又は名称原語表記】Techpoint,Inc.
【住所又は居所原語表記】2550 N. First Street,Suite 550 San Jose CA 95131 USA
(74)【代理人】
【識別番号】100126572
【氏名又は名称】村越 智史
(72)【発明者】
【氏名】クオ, フェン
【テーマコード(参考)】
5C063
【Fターム(参考)】
5C063AB03
5C063AC01
5C063AC05
5C063CA09
5C063DA05
(57)【要約】
本明細書の開示には、単一のケーブルを用いてアナログビデオデータ上でデジタル音声を伝送する方法に関する記述が含まれる。この方法は、ビデオ送信機によって、デジタルビデオ信号と、デジタルまたはアナログ音声信号の一方を受信する工程と、前記音声信号がアナログ音声信号である場合、音声用アナログ/デジタル変換器(ADC)によって、前記音声信号をサンプリングする工程と、前記サンプリングされたアナログ音声信号に対応するデジタル音声データを、先入れ先出し(FIFO)バッファに格納する工程と、前記先入れ先出しバッファ内のデータが利用可能であることを検出したことに応答して、アービタによって、前記デジタル化された音声サンプルを読み取る工程と、デジタル開始コードを有するシリアル化された音声ビットをフォーマットする工程と、前記シリアル化された音声ビットと前記デジタル開始コードとを前記デジタルビデオ信号のブランキング期間に挿入することによって、結合されたデジタル音声/ビデオ信号を生成する工程と、デジタル/アナログ変換器(DAC)を用いて、前記結合されたデジタル音声/ビデオ信号をアナログに変換することによって、ネイティブ形式の音声データを含む結合されたアナログ音声/ビデオストリームを生成する工程と、前記結合されたアナログ音声/ビデオストリームを、一方向に前記受信機に伝送する工程とを備える。別の実施形態では、アナログ信号は反対方向に送信される。
【特許請求の範囲】
【請求項1】
単一のケーブルを用いてアナログビデオデータ上で音声を受信機に伝送する方法であって、
送信機でデジタルビデオ信号と音声信号とを受信する工程であって、当該音声信号はアナログ音声信号またはデジタル音声信号のいずれかである、工程と、
前記音声信号が前記アナログ音声信号である場合、音声用アナログ/デジタル変換器(ADC)によって、前記音声信号をサンプリングする工程と、
前記サンプリングされたアナログ音声信号または前記デジタル音声信号に対応するデジタル音声データを、先入れ先出し(FIFO)バッファに格納する工程と、
前記先入れ先出しバッファ内のデータが利用可能であることを検出したことに応答して、アービタによって、前記デジタル音声データを読み取る工程と、
前記デジタル音声データから、デジタル開始コードを有するシリアル化された音声ビットをフォーマットする工程と、
前記デジタル開始コードを有する前記シリアル化された音声ビットを前記デジタルビデオ信号のブランキング期間に挿入することによって、結合されたデジタル音声/ビデオ信号を生成する工程と、
デジタル/アナログ変換器(DAC)を用いて、前記結合されたデジタル音声/ビデオ信号をアナログに変換することによって、ネイティブ形式の音声データを含む結合されたアナログ音声/ビデオストリームを生成する工程と、
前記結合されたアナログ音声/ビデオストリームを、前記単一のケーブルで一方向に前記受信機に伝送する工程と
を備える方法。
【請求項2】
前記受信機により、前記結合されたアナログ音声/ビデオ信号を受信する工程と、
前記受信機に含まれる別のアナログ/デジタル変換器により、前記結合されたアナログ音声/ビデオ信号を、結合されたデジタル音声/ビデオ信号に変換する工程と、
前記結合されたデジタル音声/ビデオ信号から音声データストリームを抽出する工程と
をさらに備える、請求項1に記載の方法。
【請求項3】
前記音声データストリームを別の先入れ先出しバッファに格納する工程と、
前記送信機側の音声サンプル周波数と実質的に同じレートで前記別の先入れ先出しバッファから音声データサンプルを取得し、周期的に前記音声データサンプルを連続的な音声ストリームに再構成する工程と、
前記連続的な音声ストリームを出力する工程と
をさらに備える、請求項2に記載の方法。
【請求項4】
前記取得および再構成する工程は、前記受信機と前記送信機との間の周波数差に基づいて前記音声データサンプルに内挿を行う、請求項3に記載の方法。
【請求項5】
双方向音声伝送の方法をさらに含み、前記サンプリングされた音声信号は第1の周波数でサンプリングされ、前記送信機は反対方向の音声信号受信機を含み、前記受信機は反対方向の音声信号送信機を含み、
前記受信機に含まれる前記反対方向の音声信号送信機で、第2のアナログ音声信号および第2のデジタル音声信号のいずれかである第2の音声信号を受信する工程と、
前記反対方向の音声送信機のアービタと前記受信機のビデオデコーダとによって、前記結合されたアナログ音声/ビデオストリームの1つまたは複数の垂直ブランキングラインと、前記1つまたは複数の垂直ブランキングライン内の音声データのない1つまたは複数のタイムスロットとを決定する工程と、
前記第2の音声信号が前記第2のアナログ音声信号である場合、前記反対方向の音声信号送信機内に配置された別のアナログ/デジタル変換器(ADC)によって、前記第2のアナログ音声信号を第2の周波数でサンプリングする工程と、
前記反対方向の信号送信機内に配置された別の先入れ先出し(FIFO)バッファに、前記第2のデジタル音声信号と前記サンプリングされた第2のアナログ音声信号のいずれかに対応する第2のデジタル化された音声サンプルを格納する工程と、
開始パターンと、1つまたは複数の第2のシリアル化された音声データと、終了パターンとを、前記結合されたアナログ音声/ビデオストリームの垂直ブランキング区間に挿入する工程と、
前記受信機内に配置された前記反対方向の信号送信機によって、前記送信機内に配置された前記反対方向の信号受信機に、前記開始パターンおよび/または前記終了パターンと前記第2のシリアル化された音声ビットとに対応する音声ストリームを、前記音声受信機を含む前記送信機に送信する工程であって、前記音声ストリームの送信は、前記単一のケーブルで、前記一方向とは反対の別の方向で行われる、工程と
を備える、請求項1に記載の方法。
【請求項6】
前記送信機内に配置された前記反対方向の信号受信機により、前記音声ストリームを受信する工程と、
前記1つまたは複数の垂直ブランキングラインと前記1つまたは複数のタイムスロットとに基づいて、前記第2のシリアル化された音声データを抽出して第2の抽出された音声サンプルとする工程と、
前記反対方向の信号受信機内に配置されたさらに別の先入れ先出し(FIFO)バッファに、前記第2の抽出された音声サンプルを格納する工程と、
前記反対方向の信号送信機のサンプリング周波数と実質的に同じである出力サンプル周波数を選択する工程と、
前記音声サンプルを取得し、前記出力サンプル周波数に基づいて再構成された音声ストリームを出力する工程と
をさらに備える、請求項5に記載の方法。
【請求項7】
前記取得および出力する工程は、前記受信機と前記送信機との間の周波数差に基づいて前記音声サンプルに内挿を行う、請求項6に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、概してデジタルビデオ伝送に関し、特に単一の同軸ケーブルでアナログビデオ伝送しながら音声を送受信する方法および装置に関する。
【背景技術】
【0002】
アナログの音声データとビデオデータの両方を遠距離に送る必要がある場合、コストと複雑さの点で、2本のケーブルより1本のケーブルの方が優れているのは明らかである。アナログの音声信号とビデオ信号の両方を1本の同軸ケーブルで伝送する際のコストと複雑さを軽減するために、様々な方法や装置が提案されている。単一のケーブルでアナログの音声データとビデオデータの間の干渉を避けるには、必要な分離を実現するための2つの方法がある。音声データとビデオデータを周波数多重化し、それぞれのデータ信号を別々の重複しない周波数帯域で送信することが知られている。音声信号とビデオ信号を時間領域でインターリーブすることにより、音声データとビデオデータが互いに干渉することなく、異なる時間に信号内に存在することが知られている。ビデオブランキング中にアクティブなビデオが存在しない場合に音声データをインターリーブすることも知られている。しかし、現在の信号プロトコルは複雑で、音声データをビデオデータにインターリーブするために集中的な計算を必要とする。
【0003】
例えば、浙江大華科技股▲ふん▼有限公司(Zhejiang Dahua Technology Co.,Ltd.)の米国出願第14/442,803号は、従来技術の問題点、すなわち、単一の同軸ケーブルを使用してアナログと音声を長距離伝送するコストと複雑さに対処するための、高精細度ビデオ信号を伝送する方法と装置を開示している。特に、803出願は、音声データが重畳されるビデオフレーム内の各行ごとに音声の継続時間を計算することによって、音声データをバッファリングすることを提案している。しかし、803出願が提案する方法では、ビデオデータのアクティブな行ごとに音声の継続時間サイズを計算し、保存する必要が生じる。そのためには、決して小さくない音声の継続時間を保存し、バッファリングする必要があり、負担の大きいバッファリングとストレージ要件が必要となるため、符号化方式が複雑になる。本明細書で説明する例示的な実装は、バッファに格納されフレームごとに送信される音声サンプルの数を計算する必要がなく、はるかに小さなバッファを採用し、製造コストと動作電力要件を低減する。
【0004】
従って、当技術分野には、とりわけ上述の問題に対処する解決策に対するニーズが残っている。
【発明の概要】
【0005】
本明細書における1つまたは複数の実施形態は、概して、単一の同軸ケーブルを使用してアナログ形式の伝送媒体でデジタルの音声データおよびビデオデータを伝送するための方法およびシステムに関する。より具体的には、本明細書の1つまたは複数の実施形態は、行ごとに音声継続時間を集中的に計算する必要のない方法で、アナログビデオ信号のビデオブランキング期間に音声データを効率的に伝送する方法または装置を開示する。
【0006】
一態様によれば、本明細書の1つまたは複数の実施形態の方法は、アナログ形式またはデジタル形式の音声信号を受信する工程と、アナログ形式の信号をデジタル形式に量子化して複数の量子化された音声データを得る工程とを含み得る。この方法は、複数の量子化された音声データのうちの1つ以上をバッファリングする工程と、ブランク区間とビデオデータの少なくとも1つの部分とを含むビデオ信号を受信する工程とを含む。いくつかの実施形態において、この方法は、バッファに格納された複数の量子化された音声データのうちの1つ以上に対応する1つ以上の量子化された音声パルスと、当該1つ以上の量子化された音声パルスに対応する音声ヘッダとを生成する工程を含む。この方法は、音声ヘッダおよび1つまたは複数の量子化された音声パルスの所定の継続時間を超える第1の継続時間に対応するブランク区間の少なくとも1つの許容部分を、計算することなく特定する工程を含む。いくつかの実施形態では、ブランク区間の少なくとも1つの許容部分において、音声ヘッダおよび1つまたは複数の音声パルスを、ビデオデータの少なくとも1つの部分と多重化することによって、音声データおよびビデオデータの少なくとも一部を表す結合された音声/ビデオ信号を得る工程で、この方法が終了してもよい。
【0007】
本発明の別の態様によれば、本明細書の1つまたは複数の実施形態の方法は、アナログビデオ信号を受信する工程を含んでもよく、当該アナログビデオ信号は、音声ヘッダと、量子化された音声データに対応する1つまたは複数の量子化された音声パルスとを含む。この方法はまた、アナログビデオのブランク区間において音声ヘッダを検出する工程を含んでもよい。いくつかの実施形態において、この方法は、音声ヘッダの基準レベルを決定する工程と、音声ヘッダを検出することに応答して、1つ以上の量子化された音声パルスを抽出する工程と、を含む。いくつかの実施形態において、この方法は、音声ヘッダの基準レベルに基づいて、1つまたは複数の量子化された音声パルスを1つまたは複数の量子化された音声データの元の値に変換する工程と、元の値の1つまたは複数の量子化された音声データを先入れ先出し(FIFO)バッファに格納する工程とを含む。いくつかの実施形態において、この方法は、FIFOバッファを利用して、元の値の1つ以上の量子化された音声データから連続的な音声データを再構成することを含む。例えば、FIFOバッファに格納された音声サンプルデータと、送信機側の元のサンプリングクロックと実質的に同じ周波数を持つローカルオーディオクロック。実質的に同じということは、その差がごくわずかであることを意味する。
【0008】
1つまたは複数の実施形態の別の態様は、単一のケーブルを用いてアナログビデオデータ上でデジタル音声を伝送する方法および装置を含み得る。この方法は、送信機で、デジタルビデオ信号とアナログ形式またはデジタル形式の音声信号とを受信する工程と、アナログ形式の場合は、アナログ/デジタル変換器(ADC)でアナログ音声信号をサンプリングする工程とを含む。この方法は、先入れ先出し(FIFO)バッファに、デジタル音声信号またはサンプリングされたアナログ音声信号に対応する音声ビットを格納する工程と、アービタによって、FIFOバッファ内のデータの可用性を検出したことに応答して、シリアル化された音声ビットを読み出して出力する工程とを含む。アービタは、FIFO内のビデオブランキング期間と音声サンプルデータの可用性を検出すると、サンプルデータをシリアル化すると同時に、シーケンスの先頭にデジタルヘッダまたは開始コードを付加することによって、FIFOから1つのデータサンプルをリリースすることができる。各FIFOエントリには、ADCによって変換された音声サンプルデータが1つ含まれる。1サンプルあたりのビット数はADCの分解能に依存する。デジタル伝送のためのビットのシリアル化は出力側で行われる。これらのビットは特定の継続時間を持つデジタル値で表され、その後DACによって特定の高さと継続時間を有するパルスに変換される。アナログ音声伝送は同様の方法で動作する。ただし、アービタの出力は、開始パルスの高さを表すデジタルコードと、それに続く音声サンプルコードであり、これらはすべていくらかの継続時間を有しているため、図示するようにDACによってアナログ形式に変換された後はアナログパルスになる。いくつかの実施形態において、この方法は、デジタル開始コードを有するシリアル化された音声ビットをフォーマットする工程と、シリアル化された音声ビットとデジタル開始コードをデジタルビデオデータのブランキング期間に挿入することにより、結合されたデジタル音声/ビデオ信号を生成する工程とを含む。いくつかの実施形態は、デジタル/アナログ変換器(DAC)を用いて、前記結合されたデジタル音声/ビデオ信号をアナログに変換することによって、ネイティブ形式の音声データストリームを含む結合されたアナログ音声/ビデオ信号を生成する工程と、前記結合されたアナログ音声/ビデオ信号を、一方向に受信機に伝送する工程とを含む。この方法は、受信機において、結合されたアナログ音声/ビデオ信号を受信する工程と、ADCによって、結合されたアナログ音声/ビデオ信号を結合されたデジタル音声/ビデオ信号に変換する工程とを含むことができる。このような方法には、オーディオデコーダを使用して、結合されたデジタル音声/ビデオ信号から音声データストリームを抽出する工程が含まれる。いくつかの実施形態では、この方法は、ビデオデコーダが、オーディオデコーダによる音声データの検索を支援するために、タイミング情報とビデオブランキング期間の位置を提供することを含む。
【0009】
1つまたは複数の実施形態の別の態様は、双方向音声伝送の方法を含むことができる。先に説明した送信機から受信機への送信に加えて、サンプリングされた音声信号は第1の周波数でサンプリングされ、送信機は反対方向の音声信号受信機を含み、受信機は反対方向の音声信号送信機を含む。このような双方向構成では、以下の工程が含まれる。前記受信機に含まれる前記反対方向の音声信号送信機で、第2の音声信号を受信する工程と、前記反対方向の音声送信機のアービタと前記受信機のビデオデコーダとによって、第2のデジタルビデオ信号の1つまたは複数の垂直ブランキングラインと、前記1つまたは複数の垂直ブランキングライン内の音声データのない1つまたは複数のタイムスロットとを決定する工程と、前記第2の音声信号がアナログ音声信号である場合、前記反対方向の信号送信機内に配置された別のアナログ/デジタル変換器(ADC)によって、前記第2の音声信号を第2の周波数でサンプリングする工程と、前記反対方向の信号送信機内に配置された別の先入れ先出し(FIFO)バッファに、前記第2の音声信号に対応する第2のデジタル化された音声サンプルを格納する工程であって、当該第2のデジタル化された音声サンプルは、デジタル形式の場合の前記第2の音声信号と、前記第2の(アナログ)音声信号の第2のデジタル化されたサンプルとのいずれかである、工程と、開始パターン、1つまたは複数の第2のシリアル化された音声データ、および/または終了パターンを、前記結合されたアナログ音声/ビデオストリームの垂直ブランキング区間に挿入する工程と、前記受信機内に配置された前記反対方向の信号送信機によって、前記送信機内に配置された前記反対方向の信号受信機に、前記開始パターンおよび/または前記終了パターンと1つまたは複数の前記第2のシリアル化された音声ビットとに対応する音声ストリームを、前記音声受信機を含む前記送信機に送信する工程であって、前記音声ストリームの送信は、前記単一のケーブルで、前記一方向とは反対の別の方向で行われる、工程とが含まれる。挿入される音声データは、1ラインにつき1つでも複数でもよい。
【0010】
送信機内の反対方向の音声信号受信機は、受信機内の対応する反対方向の音声信号送信機によって使用される周波数と実質的に同じでなければならないクロック周波数を、ペアとして使用する。反対方向で使用する周波数とは異なることがある。受信機側のビデオデコーダがビデオを正しく復号化する場合、同期、ブランキング、アクティブなビデオ位置を含むビデオライン情報は、両側とも同じであることが望ましい。この方法は、前記1つまたは複数の垂直ブランキングラインと前記1つまたは複数のタイムスロットとに基づいて、前記シリアル化された音声データを抽出して、当該抽出された音声サンプルを先入れ先出しバッファに格納することを含む。いくつかの実施形態では、この方法は、(ビデオ)受信機内にある反対方向の音声送信機のクロック周波数と実質的に同じである所定のクロック周波数を利用することを含む。この方法は、(ビデオ)送信機内の反対方向の音声信号受信機において、送信側クロック周波数に基づいて出力サンプル周波数を選択し、音声サンプルを取得し、出力サンプル周波数に基づいて再構成された音声ストリームを出力することを含む。いくつかの実施形態では、オーディオクロックは、送信機側で使用されるオーディオクロック周波数と実質的に同じ周波数(例えば、8KHz、16KHzなど)に設定される。出力オーディオサンプルは、受信機のオーディオクロックに一致する等間隔のオーディオデータを得るために、クロック間の差に基づいて先入れ先出しバッファに格納されたデータから外挿される。
【図面の簡単な説明】
【0011】
本明細書に記載される実施形態のこれらおよび他の態様および特徴は、添付の図面と併せて本発明の具体的な実施形態に関する以下の説明を検討することにより、当業者には明らかになるであろう。
【0012】
【
図1】本発明の1つ以上の実施形態による例示的な音声送信機のブロック図である。
【0013】
【
図2】本発明の1つ以上の実施形態による出力アナログビデオ信号の概略図である。
【0014】
【
図3】1つ以上の実施形態による例示的な音声受信機のブロック図である。
【0015】
【
図4】本発明の1つ以上の実施形態による音声信号データの送信方法のフローチャートである。
【0016】
【
図5】本発明の1つ以上の実施形態によるアナログビデオ信号の受信方法のフローチャートである。
【0017】
【
図6】本発明の1つ以上の実施形態による例示的なビデオ送信機のブロック図である。
【0018】
【
図7】本発明の1つ以上の実施形態による例示的なビデオ受信機のブロック図である。
【0019】
【
図8】本発明の1つ以上の実施形態によるアナログのビデオ/音声信号の概略図である。
【0020】
【
図9】本発明の1つまたは複数の実施形態による、反対方向の音声信号送信機を含む例示的なビデオ受信機のブロック図である。
【0021】
【
図10】本発明の1つまたは複数の実施形態による、反対方向の音声信号受信機を含む例示的なビデオ送信機のブロック図である。
【0022】
【
図11】本発明の1つ以上の実施形態によるアナログのビデオ/音声信号の概略図である。
【発明を実施するための形態】
【0023】
当業者が本発明を実施することが可能になるように、本発明を説明するための例として提供される図面および画像を参照して、本発明を詳細に説明する。特に、以下の各図および各例は、本発明の範囲を単一の実施形態に限定することを意図するものではなく、記載または図示された要素の一部または全てを入れ替えることにより、他の各実施形態が可能である。
【0024】
また、本発明の特定の要素が既知の構成要素を用いて部分的または完全に実施できる場合、そのような既知の構成要素の、本発明の理解に必要な部分のみを説明し、本発明を曖昧にしないように、そのような既知の構成要素の他の部分の詳細な説明は省略するものとする。
【0025】
当業者には明らかであるが、本明細書でその旨が明記されていない限り、ソフトウェアで実装されるものとして説明される実施形態は、それに限定されるものではなく、ハードウェアで、または、ソフトウェアおよびハードウェアの組み合わせで実装される実施形態を含み得るものであり、この逆もまた同様である。本明細書において、単数の構成要素を示す実施形態は限定的と見なされるべきではなく、むしろ本発明は、本明細書において別段明示的に述べられていない限り、複数の同じ構成要素を含む他の実施形態を包含することを意図しており、逆もまた同様である。更に、出願人は、そのように明示的に述べられない限り、明細書または特許請求の範囲におけるいかなる用語も一般的でない、または特別な意味に帰されることを意図しない。また、本発明は、例示として本明細書において言及されている構成要素の現在および将来的な既知の均等物を包含する。
【0026】
図1は、実施形態が適用可能な送信機側のオーディオエンコーダシステム100を示す図である。
図1に示すように、システム100は、アナログ/デジタル変換器(ADC)104、バッファ106、アービタ108、ビデオエンコーダ110、信号コンバイナ112、デジタル/アナログ変換器(DAC)114を含む。例示的な実施形態では、システム100は、連続的なアナログ音声信号102を受信し、単一の伝送線を介してビデオ信号111とともに伝送するために、アナログ音声信号102を処理するように構成される。
【0027】
一実施形態では、ADC104は、音声信号102をアナログ形式またはデジタル形式で受信し、アナログ形式であれば、アナログ音声信号102を所定の周波数でサンプリングするように構成され得る。一実施形態では、オーディオサンプリングレートはビデオ信号111のビデオラインレートより小さく設定されてもよく、そうすることでバッファ106のオーバーフローを防ぐことができる。ADC104は、サンプリングされたアナログ音声信号102に対応する量子化された音声データ103を出力するように構成されていてもよい。これは、音声信号がアナログ形式であるときには必要であるが、音声信号がデジタル形式であるときには必要ないことは、よく理解されているとおりである。一実施形態では、ADC104は音声信号102を8kHzでサンプリングするように構成されてもよい。別の実施形態では、ADC104は、音声信号102を16kHzでサンプリングするように構成されてもよい。さらに別の実施形態では、ADC104は、音声信号102を32kHzでサンプリングするように構成されてもよい。
【0028】
いくつかの実施形態において、ADC104は、アナログ音声信号102を受信し、アナログ音声信号102をデジタルフォーマットでサンプリングし、量子化し、その結果量子化された音声データ103を生成するように構成され得る。いくつかの実施形態では、バッファ106は、量子化された音声データ103をバッファリングするように構成され得る。バッファ106は、ADC104から量子化された音声データ103を受信し、以下でさらに詳細に説明するビデオブランキング期間が利用可能になるまでエントリを格納するように構成されてもよく、また、デジタル音声信号の様々な部分を直接受信するように構成されてもよい。一実施形態では、バッファ106は、量子化された/デジタルの音声データがバッファ106によって受信および送信される順序を変更しないように構成されたファーストイン・ファーストアウト(FIFO)バッファを含むことができる。別の実施形態では、バッファ106は、入力される量子化された/デジタルの音声データにタイムスタンプを付けるように構成されてもよい。一実施形態では、量子化された音声データ103をバッファリングすることに応答して、バッファ106は、量子化された/デジタルの音声データがバッファ106で利用可能であることをアービタ108に通知するように構成されてもよい。一実施形態では、バッファ106は、アービタ108と通信する割り込みI/O回路を含むように構成されてもよい。別の実施形態では、アービタ108は、バッファ106内の量子化された/デジタルの音声データ103の存在を判定するために、バッファ106をポーリングするように構成されたポーリングI/O回路を含むことができる。
【0029】
いくつかの実施形態では、アービタ108はビデオ信号111を解析して、ビデオ信号111のビデオブランキング区間のタイミングと存在を判定するが、これについては以下でさらに詳細に説明する。一実施形態では、ポーリングおよび/または割り込みに応答して、アービタ108は、ビデオ信号111のビデオブランキング期間(
図1には図示せず)の可用性を判定するように構成され得る。一実施形態では、ビデオ信号111は、ブランク区間と、そこに配置されたビデオデータの少なくとも一部分とを含む。一実施形態では、ビデオブランキング区間は、水平同期パルス、垂直同期パルス、色同期パルス、および/またはビデオ信号111のビデオデータに対応する他のデータを含むことができる。別の実施形態では、ビデオブランキング区間は、同期パルスおよび/またはビデオ信号111のビデオデータに対応する他のデータを含まず、アービタ106またはビデオエンコーダ110は、さらに詳細に後述する所定のビデオフォーマットに基づいて、ビデオブランキング区間の所定の位置に同期パルスを挿入するように構成されてもよい。
【0030】
いくつかの実施形態では、ビデオブランキング区間のタイミングと存在を判定することに応答して、アービタ108は、ビデオ信号111のビデオブランキング期間の可用性に対応する量子化された音声データ103を送信するようにバッファ106に命令するように構成され得る。ビデオブランキング区間の存在を判定する時点で、バッファ106にデータエントリ(すなわち、量子化された音声データ103)が格納されていない場合、バッファ106にエントリが格納されるまで、その行はスキップされる。一実施形態では、アービタ108は、ビデオ信号111を処理し、量子化された音声データ103をビデオ信号111のビデオブランキング期間とインターリーブするためのタスク管理プロトコルを実行する、1つ以上のクロッキング回路を含む同期回路を含むことができる。一実施形態では、アービタ108は、バッファ106から量子化された音声データをフェッチまたは取得するように構成される。
【0031】
一実施形態では、アービタ108は、ビデオエンコーダ110からデジタルビデオ信号111を受信するように構成される。アービタ108は、ビデオ信号111のブランク区間に近づいたことに応答して、バッファ106に格納されている量子化された/デジタルの音声データ103が利用可能かどうかをチェックするように構成されてもよい。量子化された/デジタルの音声データ103がバッファ106で利用可能であると判定することに応答して、アービタ108は、1つ以上の同期パルスと、バッファ106に格納された量子化された/デジタルの音声データ103に対応する1つ以上の量子化された音声パルスと、上記1つ以上の量子化された音声パルスを記述する音声ヘッダとを生成することができる。例えば、同期パルスの生成はビデオエンコーダ110によって実行され、一方でアービタ108は音声データを挿入するタイミングを決定し、それに応じてデータをフォーマットすることができる。一実施形態では、ヘッダは音声データの存在を示し、受信機側で音声を復号するために利用されることがあるが、これについては後述する。他の実施形態では、概して、同期パルスの生成はビデオエンコーダ(エンコーダ)によるものである。アービタは、音声データを挿入するタイミングを決定し、それに応じてデータをフォーマットする。本明細書において、「挿入する」または「挿入している」という用語は、音声信号を既存の結合された音声ビデオストリームと結合させるなど、信号および/またはその構成要素の重畳、結合、注入、または他の態様を含むように広く解釈されるべきであることが理解される。
【0032】
一実施形態では、ビデオエンコーダ110は、デジタルビデオ信号111を生成し、アービタ108と信号コンバイナ112にビデオ信号111を出力するように構成される。別の実施形態では、ビデオエンコーダ110は、ビデオソース(図示せず)から受信した既存のビデオ信号を中継してもよい。いくつかの実施形態では、ビデオエンコーダ110は、8ビット、10ビットまたは12ビットの4:4:4または4:2:2YUVデータとして構成され得るビデオ信号111を出力するように構成され得る。例えば、いくつかの実施形態では、ケーブルが1本であるため、UVデータは、Yに加える前に変調され、同期されて、アナログに変換する前の1つのデジタルデータを形成してもよい。他の実施形態では、YUVデータは、DAC変換の前に、予め定義された方法で同期とともにインターリーブされてもよい。いくつかの実施形態では、ビデオ信号111は、他のサブサンプル形式を使用して構成することができる。いくつかの実施形態では、ビデオエンコーダ110は、1つまたは複数のアナログプロセッサ、クロミナンスプロセッサ、ルミナンスプロセッサ、クロッキング回路、およびホスト通信インタフェース(
図1には図示せず)を含むことができる。
【0033】
上述したように、アービタ108は、ビデオ信号111のビデオブランキング期間の可用性を判定するように構成されてもよい。いくつかの実施形態では、アービタ108は、処理回路と、ファームウェアおよび/または他のタイプの非一過性のコンピュータ可読命令を記憶するメモリとを含むことができる。アービタ108の処理回路は、本明細書で説明される例示的な実施形態を実施するためのファームウェアおよび/またはメモリに含まれる命令を実行するように構成され得る。いくつかの実施形態では、アービタ108内の処理回路は、1つまたは複数のハードウェアプロセッサ、1つまたは複数のフィールドプログラマブルゲートアレイ(FPGA)を単独で、および/または組み合わせて含むことができる。
【0034】
一実施形態では、アービタ108は、クロッキング機能(
図1には示されていない)を介して、バッファ106に格納された量子化された/デジタルの音声データ103をビデオ信号111とインターリーブおよび/または挿入するためのタイミングを管理するように構成され得る。いくつかの実施形態では、アービタ108は、量子化された/デジタルの音声データ103をビデオ信号111と同期させるためのクロッキング機能を含むことができる。アービタ108は、1つ以上のデジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、および/または特定用途向け集積回路(ASIC)を含むことができる。一実施形態では、アービタ108のクロック回路は、フェーズロックループ(PLL)クロック、非PLLクロック、水晶発振器、およびLC共振タンク回路のうちの1つ以上を単独で、および/または組み合わせて含むことができる。クロッキング回路は、例えば、ファンアウトバッファ、乗算器および除算器、合成器を単独で、および/または組み合わせて含む、追加のタイミングおよび信号調整機能を含むことができる。
【0035】
図1に示すように、信号コンバイナ112は、バッファ106から量子化された音声データ103を受信し、ビデオエンコーダ110からデジタルビデオ信号111を受信するように構成することができる。信号コンバイナ112は、量子化された/デジタルの音声データ103をビデオデータ111のビデオブランキング期間にインターリーブするように構成され得るが、これについては後にさらに詳細に説明する。一実施形態では、信号コンバイナ112は、量子化された/デジタルの音声データ103をビデオ信号111のビデオブランキング部分に挿入することによって、量子化された/デジタルの音声データ103をビデオ信号111とインターリーブし、結合された音声/ビデオ(A/V)デジタル信号113をデジタル/アナログ変換器(DAC)114に出力するように構成され得る。
【0036】
いくつかの実施形態では、DAC114は、8ビットDAC、10ビットDAC、または任意のより高いビット幅のDACを含み、ビデオ信号111によって要求される特定の周波数で動作することができる。例えば、DAC114は148.5MHzで動作することができ、これは標準的なHDデジタルビデオ(例えば、1080p30/25や720p60/50)の入力データレートの2倍である。いくつかの実施形態では、DAC出力信号の振幅は、外部電流設定抵抗器(
図1には図示せず)によって設定することができる。DAC114は、信号コンバイナ112からA/V信号113をデジタル形式で受信し、結合された音声/ビデオ信号113をアナログ形式に変換し、単一の伝送線路(
図1には図示せず)を介して伝送するためのアナログ音声/ビデオ(A/V)信号116を出力するように構成され得る。一実施形態では、信号伝送路は、1つ以上の光ファイバケーブルおよび/またはツイストペア線伝送路を介してアナログ信号を伝送するように構成された同軸ケーブルであってもよい。
【0037】
一実施形態では、ビデオ信号111は1280×720ピクセルの解像度を含むことができる。ビデオブランキング区間210は、1280×720ピクセルのビデオ信号のビデオブランキング期間に対応してもよい。ビデオ信号111はストリーミングビデオフレームを含むことがあり、各フレームは1ラインあたり1650ピクセルを含み、うち1280ピクセルがアクティブビデオピクセルである。一実施形態では、ビデオ信号111のブランク区間は、水平同期パルス、色同期パルス、及び/又はビデオデータに対応する他のデータを含むように構成された370ピクセルを含む。
【0038】
一実施形態では、例えば、ビデオ信号111は、SMPTE296M規格に対応することができる。この規格においては、1280×720ピクセルのビデオフレームは、750本の水平ラインまたは行を有し、そのうち30ラインは、ビデオデータを含まない垂直ブランキング区間である。SMPTE296Mのナンバリング方式によれば、ライン26~745はアクティブビデオフレームデータである。アクティブフレームと垂直ブランキング区間の両方が、それぞれのビデオブランキング区間210を含む可能性がある。ビデオブランキング区間は、ビデオブランキング区間の周期的な性質により、ビデオ信号111の各行に対して同じサイズであってもよい。他の実施形態では、ビデオ信号111は、259M、344M、292M、372M、424M、ST-2081、ST-2082、および/またはST-2083を含む他のSMPTE規格に対応することができるが、これらに限定されない。本明細書で説明する例示的な実施形態は、上記のようなラインナンバリング方式に限定されないことに留意すべきである。当業者であれば、本明細書に記載された開示内容を読めば、本発明の原理を他の任意のナンバリング方式に適用することができる。
【0039】
いくつかの実施形態では、アービタ108は、信号コンバイナ112と連動して、バッファ106に格納された複数の量子化された音声データ103のうちの1つまたは複数に対応する1つまたは複数の量子化された音声パルス(
図1には図示せず)を生成するように構成され得る。デジタル領域では、この量子化された音声パルスの生成は、パルスの継続時間分のデジタルデータに相当する。アービタ108は、信号コンバイナ112と連動して、1つ以上の量子化された音声パルスに対応する音声ヘッダを生成することもできる(
図1には図示せず)。いくつかの実施形態では、アービタ108は、バッファ106に、量子化された音声データ103とともに、音声ヘッダを信号コンバイナ112に送信させることにより、結合されたA/V信号113に多重化するように構成されてもよい。一実施形態では、信号コンバイナ112とアービタ108は、量子化された音声データ113とビデオ信号111を結合するために、時分割多重アクセス(TDMA)多重化プロトコルを利用することができるが、これについては後述する。
【0040】
ここで、
図1と関連して
図2を参照すると、
図2は、1つ以上の実施形態による例示的なA/V信号216を示す。A/V信号216は、
図1のA/V信号116に対応し得る。いくつかの実施形態では、
図2に示されているA/V信号216は、ビデオ信号111の単一ビデオフレームの単一アクティブ行に対応し得る。
図2に示すように、A/V信号216はビデオデータ211とビデオブランキング区間210を含み得る。ビデオデータ211は、上述したように、ビデオエンコーダ110によって生成または受信されたビデオ信号111のビデオデータに対応し得る。結合されたA/V信号116、216のビデオブランキング区間210は、1つ以上の音声パルス213と、音声ヘッダ215と、同期パルス216とを含むことができる。
図2に示すように、ビデオブランキング区間210は同期パルス216の前後に存在し得る。いくつかの実施形態では、同期パルス216は、水平同期パルス、垂直同期パルス、色同期パルス、および/またはビデオ信号116,216のCODECに対応する他のデータを含むことができる。
【0041】
いくつかの実施形態では、アービタ108は、ビデオブランキング区間210における同期パルス216の同期パルス位置を決定するように構成され得る。アービタ108は、音声ヘッダおよび1つまたは複数の量子化された音声パルスの所定の継続時間を超える第1の継続時間に対応するブランク区間の少なくとも1つの許容部分を、計算することなく特定するように構成され得る。
【0042】
別の実施形態では、アービタ108は、事前に定義されたビデオ規格に基づいて、1つ以上の同期パルスを含むように構成された同期部分を計算することなく識別するように構成されてもよく、この同期部分はブランク区間の少なくとも1つの許容部分とは異なる。いくつかの実施形態では、A/V信号216は、ビデオブランキング区間210内に、同期パルスおよび/またはビデオデータ211に対応する他のデータを含むことができる。一実施形態において、同期パルス位置を特定することは、既存のアナログビデオ信号を(例えば、ADC104を介して)デジタル化すること、およびデジタル化されたビデオストリームから同期パルス位置およびブランキング区間を特定することを含み得る。
【0043】
別の実施形態では、ビデオ信号111は、同期パルスがないビデオブランキング区間を有する事前に定義されたデジタルフォーマットを含むことができ、同期パルスの位置を特定することは、事前に定義されたビデオ規格に従って同期パルス216が挿入される場所(すなわち、時間的位置)に関する、ビデオエンコーダ110とオーディオアービタ108との間の通信を含むことができる。例えば、ビデオエンコーダ110は、アクティブなYUVビデオデータを結合または変調し、同期データを含むことによって、伝送用の単一のビデオデータストリームを形成することができる。いくつかの実施形態では、アービタ108は、ピクセルカウンタを有するオーディオエンコーダおよび/またはビデオエンコーダ(図示せず)を含むことができる。ピクセルカウンタを利用して、アービタ108は、ピクセルカウンタのカウント値に基づいて予め定義された同期データおよび音声データの挿入位置を特定することができる。
【0044】
一実施形態では、デジタルフォーマットのデジタルビデオ信号の伝送は同期または色同期データを必要としないので、同期パルスの位置および同期パルスがないブランク区間部分を特定することは、予め定義されたビデオ規格に従って同期パルス216が挿入される場所に関するビデオエンコーダ(例えば、コンバイナ112)とオーディオアービタ108との間の通信を含むことができる。したがって、同期パルスの位置を決定することは、ビデオデータ211に対応するビデオ関連信号(例えば、水平/垂直/色同期パルスおよび/またはビデオデータ211に対応する他のデータ)がないビデオブランキング区間210の1つまたは複数の部分を決定することを含み得る。しかし、アナログビデオ伝送には同期パルスが含まれており、アナログビデオストリームを(例えばADC104を介して)デジタル化することで、ビデオデータ211に存在する同期パルスの時間的位置を特定することができる。別の実施形態では、アービタ108は、ブランキング区間内の他のデータ(例えば、水平/垂直/色同期パルスおよび/またはビデオデータ211に対応する他のデータ)の位置を、予め定義されたビデオフォーマットに基づいて決定するように構成され得る。
【0045】
いくつかの実施形態では、ビデオブランキング区間210は、音声ヘッダ215および1つまたは複数の量子化された音声パルス213を含むことができる。量子化された1つの音声パルス213は、1つのバッファエントリとして格納された1つのデジタル化された音声データ(例えば、8/10/12/16ビットフォーマット)に対応してもよい。音声パルス213のレベル(すなわち振幅または電圧レベル)は、バッファ106に格納された量子化された/デジタルの音声データ103に対応するデジタルデータを線形に表すことができる。一実施形態では、例えば、8ビットのサンプルデータの場合、00hexは最低レベルの音声パルス213を含み、FFhexは最高レベルの音声パルス213を含む。いくつかの実施形態では、本明細書で説明する本実施形態の範囲から逸脱することなく、様々なビデオフォーマットに対して他の16進レベリングプロトコルを利用することができる。いくつかの実施形態では、量子化された/デジタルの音声パルス213の継続時間は、信号116、216の特定のビデオフォーマットに基づいて事前に定義され得る。
【0046】
図2に示すように、音声ヘッダ215および量子化された/デジタルの音声パルス213はそれぞれ、所定のパルス継続時間(すなわち、パルス幅)を含む。音声パルスは、不完全な周波数特性のため、ケーブルの遠端(つまり受信機側)で歪む可能性があるため、パルスの継続時間を適宜選択する必要がある。いくつかの実施形態では、各音声パルス213の継続時間は、利用可能なブランクスペースおよびケーブル長に基づいて、各ビデオフォーマットに対してプログラム可能であり、予め決定され得る。信号216の各ビデオブランキング区間210は、ビデオ信号216の各フレームの各行におけるビデオブランキング区間の周期的性質により、同じサイズ/継続時間を有してもよい。したがって、量子化された/デジタルの音声パルス213および音声ヘッダ215の継続時間またはパルス幅は、少なくとも1つの音声ヘッダ215および1つの量子化された/デジタルの音声パルス213の継続時間がブランキング区間210に収まるような態様で、特定のビデオフォーマットに対して事前に定義することができる。いくつかの実施形態では、特定の事前に定義されたビデオフォーマットに基づいて、音声ヘッダ215および量子化された/デジタルの音声パルス213の継続時間は、ビデオブランキング区間が少なくとも2つの量子化された/デジタルの音声データパルス213を含むように選択される。
【0047】
例えば、いくつかのビデオフォーマット(例えば、上述したSMPTE規格)は、2つ以上の量子化された/デジタルの音声パルス213のための十分なスペースを提供する、より幅の大きいビデオブランキング区間を含むことができる。いくつかの実施形態では、各ブランキング区間210に2つ以上の量子化された/デジタルの音声パルス213を挿入することに対応するために、量子化された/デジタルの音声パルス213および/または音声ヘッダ215のパルス継続時間は、特定のビデオフォーマットのビデオブランキング区間210の継続時間に基づいて、より小さく選択され得る。そうすることで、2つ以上の音声パルス213をビデオブランキング区間210に挿入できる場合、転送データレートを上げることができる。
【0048】
上述したように、量子化された/デジタルの音声パルス213は、音声ヘッダ215のヘッダレベルを参照してバッファ106に格納された量子化された音声データ102のアナログ表現を含むことができる。いくつかの実施形態では、音声ヘッダ215は、量子化された音声パルス213の最大信号値または中間レベルの信号値を含んでもよい。一実施形態では、音声ヘッダ215は、有効な音声データを示すフラグとして、また、量子化された音声パルス213を復号化し、下流の受信機によって音声データを元のフォーマットに再構成するための基準レベルとして機能するように構成され得るが、これについては、
図3の考察でさらに詳しく後述する。
【0049】
一実施形態では、音声ヘッダ215は、ビデオブランキング区間210とは異なる電圧レベルに対応し、下流の音声受信機によって容易に識別され得る。音声ヘッダ215の電圧レベルは、ビデオブランキング区間210において容易に区別できるように構成されてもよく、特定のビデオブランキング区間210に音声データが含まれていないことを下流の受信機が判断することを容易にする。一実施形態では、音声ヘッダ215は、ゼロ音声レベルまたはゼロ音声レベルの整数倍を含む。音声ヘッダは、量子化された音声パルス213を双方向のAC波に復号化するためのゼロ基準として機能してもよい。いくつかの実施形態では、1つまたは複数の量子化された音声パルス213は、DCオフセットを伴って重畳(すなわち、インターリーブまたは多重化)される。
【0050】
一実施形態では、音声ヘッダ215は、送信中のDCオフセットに対応してもよく、音声ヘッダ215は、下流のビデオ受信機においてDCオフセットを元に戻すために利用されてもよい。信号216の送信中、音声パルス213の電圧レベルは様々な理由で変化する可能性がある。受信機側の量子化レベルも、元のDAC変換レベルと異なる場合がある。したがって、音声パルス213の音声デジタル値を正確に復元するには、2つの異なるレベルが必要である。したがって、いくつかの実施形態では、音声ヘッダ215は、受信した音声レベルを適宜スケーリングするための参照用として、予め定義されたヘッダレベルおよびビデオブランクレベルに対応することができる。したがって、いくつかの実施形態では、音声ヘッダ215は、例えば、後述の
図3Aで説明するように、下流の送信機による復号化を支援するために、DCオフセットに加えて、音声信号の半振幅または全振幅である値を含むことができる。
【0051】
いくつかの実施形態では、信号コンバイナ112と通信するアービタ108は、ビデオブランキング区間210の所定の時間に音声ヘッダ215と1つ以上の音声サンプル(デジタルの場合はその一部)213をインターリーブするように構成されてもよい。一実施形態では、インターリーブは、ブランク区間210の許容部分において、音声ヘッダ215および1つまたは複数の音声パルス213を、ビデオデータ211の少なくとも1つの部分と多重化することを含み、その結果、音声データおよびビデオデータの少なくとも一部を表す結合された音声/ビデオ信号216が得られる。
図2には、ビデオデータ211と同期パルス216の間に位置する音声ヘッダ215と音声サンプル213が示されているが、いくつかの実施形態では、ヘッダ215と音声サンプル213は、同期パルス216の前または後に挿入してもよい。いくつかの実施形態では、音声ヘッダ215と音声サンプル213は、同期パルス216の前と後の両方に含まれてもよい。
【0052】
次に
図3を参照すると、
図1および
図2と関連して、
図3は、
図1のオーディオエンコーダシステム100に対応する例示的なオーディオデコーダシステム300を示している。オーディオエンコーダシステム100と連携するオーディオデコーダシステム300は、音声/ビデオCODECシステムを構成することができる。デコーダシステム300は、ADC302、音声検出モジュール304、音声抽出モジュール306、およびFIFOバッファ303を含むことができる。
図3に示すように、ADC302は、A/V信号116、216、316をアナログ形式で受信し、アナログA/V信号116、216、316をデジタル領域に変換するように構成され得る。ADC302は、A/V信号116、216、316をデジタルA/V信号313としてデジタル形式で出力するように構成され得る。ADC302は、A/V信号313を音声検出モジュール304、音声抽出アービタ306、およびビデオの送信先(
図3には図示せず)に出力するように構成され得る。いくつかの実施形態では、デコーダシステム300は、所定のサンプリング周波数に基づいて、アナログビデオ信号116、216、316のビデオブランキング区間210に配置された音声ヘッダ215および量子化された音声パルス213を含む、アナログビデオ信号116、216、316を受信するように構成され得る。
【0053】
いくつかの実施形態では、音声抽出アービタ306は、ビデオデコーダ同期スライサ(
図3に図示せず)を含むことができる。音声ヘッダの存在を検出することは、ビデオデコーダの同期スライサ機能からの情報を利用して、ビデオ伝送プロトコルおよびA/V信号313の解像度に従って、1つまたは複数の事前に定義された位置/時間間隔で音声ヘッダ215の検出を支援することを含み得る。一実施形態では、同期位置検出により、音声ヘッダの存在を検出するための所定の検索範囲が可能になる。検索範囲には、ビデオブランキング区間を含むビデオ信号111の時間区間を含めることができる。他の実施形態では、ビデオデコーダの他の機能が音声ヘッダ215の検出を支援してもよい。
【0054】
いくつかの実施形態では、音声検出モジュール304は、ビデオブランキング区間210に含まれる音声ヘッダ215の存在を検出するように構成されてもよい。音声ヘッダ215の検出に応答して、音声検出モジュール304は、音声データの存在を音声抽出アービタ306に伝達するように構成されてもよい。これに応答して、音声抽出アービタ306は、音声検出モジュール304によって検出されたヘッダ215の位置に対応する所定のタイミング間隔でデジタル化されたAVサンプル313を抽出することによって、ビデオブランキング部210から音声サンプル213を抽出するように構成され得る。いくつかの実施形態では、音声抽出アービタ305は、ヘッダ215のヘッダレベルを参照して、抽出された音声データを元の値に変換するように構成されることがある。一実施形態では、音声抽出部306は、送信中に量子化された音声データ103に付加されたDCオフセット値を元に戻すためにヘッダレベルを利用する。そうすることで、信号がLowに振れたときに、量子化された音声データが水平同期信号として識別されることを防ぐことができる。次に、音声抽出部306は、後に取り出すために、復元された音声データサンプルをバッファ303に送信するように構成することができる。一実施形態では、音声抽出部306は、送信機側で採用されているのと実質的に同じ対応する音声サンプリング周波数を有するローカルオーディオクロックエンコーダ(
図3には図示せず)を含んでもよい。実質的に同じということは、その差がごくわずかであることを意味する。いくつかの実施形態では、連続的な音声信号を再構成することは、上流のオーディオエンコーダ(例えば、オーディオエンコーダシステム200)のサンプリングレートに対応する所定の音声サンプリングレートを使用することを含む。「上流」および「下流」という名称は、説明のために使用されており、特定の方向を具体的に示すものであることに留意されたい。
【0055】
一実施形態では、音声抽出部306は、音声データの再構成を同期させるためのクロッキング機能を含むことができる。音声抽出アービタ306は、1つ以上のデジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、および/または特定用途向け集積回路(ASIC)を含むことができる。一実施形態では、音声抽出アービタ306のクロック回路は、フェーズロックループ(PLL)クロック、非PLLクロック、水晶発振器、およびLC共振タンク回路のうちの1つ以上を単独で、および/または組み合わせて含むことができる。音声抽出アービタ306のローカルオーディオクロック回路は、例えば、ファンアウトバッファ、乗算器および除算器、合成器を単独で、および/または組み合わせて含む、追加のタイミングおよび信号調整機能を含むことができる。ローカルオーディオクロックは、FIFOバッファ306から音声データを周期的に取り出すために利用され、元の音声信号をデジタル形式で再構成し、連続的な音声信号303を出力することができる。しかし、送受信クロックのクロック基準が異なるため、送受信機間でサンプリング周波数のばらつきを引き起こすクロック周波数差が存在する可能性があり、補正が必要となる場合がある。
【0056】
いくつかの実施形態では、受信機側の再構成クロック周波数は、送信機側のサンプリングクロック周波数と実質的に同じであるべきである。実質的に同じということは、差異があったとしてもごくわずかであることを意味する。例えば、これらの差異は、受信機と送信機がそれぞれ独立したクロック基準を持っていることに起因する。指定された周波数が双方で同じであっても、これらのクロックの自由動作の性質上、同じにしたり同期させたりすることはできない。いくつかの実施形態では、送信サンプリング周波数と受信サンプリング周波数が実質的に同じでない場合、受信データに内挿を実行することによって、受信機のサンプリングレートで元の音声信号を再構成し、サンプリング周波数の差異に起因するFIFOバッファの経時的なオーバーランまたはアンダーランを防止しもよい。こうすることで、FIFOバッファのサイズを小さくすることができる。内挿はレートマッチングとも呼ばれ、この方法により、音声信号とビデオ信号の複雑でリソースを大量に消費する同期が不要になり、ビデオフレームの境界を考慮する必要もなくなる。また、1つ以上の実施形態によれば、内挿は、フレーム周期性に基づいて音声データを計算しバッファリングする必要がない。むしろ、送信機と受信機の間のサンプリング周波数の差は、差(例えば、受信機と送信機の間の周波数差)に応じて、受信された音声サンプルに内挿を行うことによって補正することができる。
【0057】
次に
図4を参照すると、
図4は、本明細書に記載される1つ以上の例示的な実施態様による例示的な方法400のフローチャートを示す。方法400は、アナログ形式またはデジタル形式の音声信号を受信する工程402から開始してもよい。工程404で、アナログ音声信号をデジタル形式で量子化する、またはデジタル部分を受信する。工程406では、1つ以上の量子化された音声データをバッファリングする。工程408において、ブランク区間とビデオ区間とを含むビデオ信号を受信する。工程410で、音声ヘッダとバッファリングされた音声データの少なくとも一部をビデオ信号のブランク区間に結合する。工程412において、結合されたデジタル音声/ビデオ信号をアナログに変換し、音声ヘッダとバッファリングされた音声データの少なくとも一部とを含む結合された音声/ビデオ信号を、下流のビデオ受信機に送信し、当該ビデオ受信機において、ヘッダデータが検出され、抽出され、音声信号を復元するために利用される。これにより、本方法は終了してもよい。
【0058】
次に
図5を参照すると、
図5は、本明細書に記載される1つ以上の例示的な実施態様による例示的な方法500のフローチャートを示す。方法500は、アナログビデオ信号を受信する工程502から開始してもよく、このアナログビデオ信号は、1つまたは複数の音声ヘッダ、および量子化された音声データまたはデジタルデータ部分に対応する1つまたは複数の量子化された音声パルスを含む。例えば、1つまたは複数の音声ヘッダのそれぞれの後には、ビデオブランキング時間の間、1つまたは複数の量子化された音声パルスが続く。工程504では、アナログビデオのブランク区間内で音声ヘッダを検出する。工程506では、音声ヘッダの基準レベルを判定する。工程508において、音声ヘッダの検出に応答して、1つまたは複数の量子化された音声パルスを抽出する。工程510において、音声ヘッダの基準レベルに基づいて、1つまたは複数の量子化された音声パルスを1つまたは複数の量子化された音声データの元の値に変換する。工程512において、量子化された音声データの1つまたは複数を元の値で先入れ先出し(FIFO)バッファに格納する。工程514において、FIFOバッファ、ローカルオーディオクロック、および外挿部を利用して、元の値の量子化された音声データの1つまたは複数から連続的な音声信号を再構成する。これにより、本方法は終了してもよい。
【0059】
上述したように、
図1~
図5は、デジタルサンプリングされた音声データまたはデジタル音声データがアナログ電圧レベルに変換されるいくつかの実施形態を説明する。アナログ電圧レベルは、デジタルサンプル値に比例して設定され、スタートパルスに続く水平ブランキング期間の所定のタイムスロットでアナログビデオ信号に重畳される。しかし、送信側ではDAC(デジタル/アナログ変換器)の分解能に限界があり、受信側ではADC(アナログ/デジタル変換器)の分解能に限界があるため、達成できるダイナミックレンジやSNR(信号対雑音比)にも限界がある。その結果、SNRが低下し、音声チャンネルの性能にバックグラウンドノイズが発生する。オーディオ性能の向上は、高分解能(14ビット以上)のDACとADCを利用することで達成し得る。ただし、このアプローチはリソースを必要とする。しかし、本明細書で説明する1つまたは複数の実施形態に従って、音声サンプルデータをネイティブデジタル形式で送信することにより、SNRが緩和され、高品質の音声チャネル性能を達成し得る一方で、リソースも節約される。
【0060】
次に
図6~
図7を参照すると、
図1および
図3と関連して、
図6~
図7は、それぞれビデオ送信機600およびビデオ受信機700を有する送受信機システムを示す。例えば、
図6は
図1と類似し得るが、アービタから出力されるデータがアナログまたはデジタルのパルスデータを表している点で異なっている。ビデオ送信機600およびビデオ受信機700のブロック図は、
図1および
図3に示されているような送信機/受信機100、300と同様であってよく、同様の符号が付された部分と1の位および10の位の番号は、同様の機能を有する同様の構造体に対応する。送信機/受信機600、700は、上記
図1~
図5に記載されたようなアナログレベル表現の代わりに、ネイティブデジタル形式(例えば、12ビットまたは24ビットのシリアルデジタルデータストリーム)で音声データを送信する方法により、ビデオ信号上で音声データを送信するように構成される。例えば、ボイスグレードの音声に対応するいくつかの実施形態では、通常13~16ビットで十分である。高精細度音声を持つ他の実施形態では、24ビットが利用されてもよい。
【0061】
いくつかの実施形態では、ビデオ送信機600(単に「送信機」とも呼ばれる)は、ADC604、FIFO606、アービタ608、ビデオフォーマッタ610、コンバイナ612、およびDAC614を含み得る。
図6に示すように、ADC604は、アナログ音声信号602とクロック信号607を入力として受け取る。クロック信号607は、クロック機能を提供するように構成されたフェーズロックループ(PLL)(例えば、PLL605)に対応してもよい。いくつかの実施形態では、PLL605は、ビデオ送信機600の一部であってもよいし、ビデオ送信機600から分離され、ビデオ送信機600と無線通信していてもよい。例えば、いくつかの実施形態では、ビデオ送信機600は、外部ソース(図示せず)からクロック信号607を受信するように構成されてもよい。クロック信号607は周波数F
Sで動作する。いくつかの実施形態では、F
Sは8、16、32、44.1、48、96KHzを含むことができる。
【0062】
いくつかの実施形態では、ビデオ送信機600の動作は、入力として、ADC604を介してアナログ音声信号602を受信する、またはデジタル音声信号を受信することを含み得る。ADC604は、サンプリングクロック信号607に基づいて、FSのレートで周期的にアナログ音声信号602のサンプリングを行う。次に、サンプリングされた音声データまたはデジタル音声データは、FIFO606に送信され、時系列順に格納される。抽出された音声データサンプルは周期的に送られてくるとは限らないため、FIFOバッファ606は音声サンプルの非周期的な挿入も容易にする。例えば、音声信号はFSのレートで周期的にサンプリングすることができる。FIFOバッファは、音声スロットに利用可能なビデオブランキング時間への音声サンプルの非周期的な挿入を実際に容易にする。(ビデオの行の周期はFSと同期していない。垂直ブランキング行の一部は、他のデータ通信用に確保されており、音声伝送には利用できない)。FIFOバッファ606は、アービタ608からのコマンド信号に応答して、格納された音声サンプルを出力する。
【0063】
いくつかの実施形態では、アービタ608は、タイミング信号611を利用して、FIFOバッファ606に格納された音声データサンプルが利用可能かどうかを確認し、ビデオエンコーダ/フォーマッタからのビデオブランキング期間が利用可能かどうかを確認する。FIFOバッファ606に格納された音声データが利用可能かどうかの確認は、例えば、アービタ608のポーリング/コール機能を含むコマンド信号によって実施することができる。アービタ608は、FIFOバッファ606に格納された音声データを読み出し/呼び出し、ブランキング時間に送信するためにデジタル音声データをフォーマットし、それによってデジタル音声ストリーム609を出力することができる。デジタル音声ストリーム609を生成するために音声データをフォーマットすることは、シリアルビット形式の開始コードヘッダを生成することを含み得る。
【0064】
いくつかの実施形態では、
図1に示され説明されたものと同様に、ビデオフォーマッタ610は、ビデオ入力信号603を入力として受信し、デジタルビデオ信号613をコンバイナ612に出力してもよい。上述したように、ビデオフォーマッタ610はタイミング信号611をアービタ608に伝達する。例えば、いくつかの実施形態では、アービタ608は、予め定義されたフォーマットに従ってデジタル音声ヘッダおよびシリアル化された音声データビットストリームを付加することによって音声パケットをフォーマットするか、またはノイズが存在する場合の伝送の信頼性を向上させるために、エラーチェックおよび訂正の目的でデジタル符号化または冗長ビットの付加を行ってもよい。ストリームの各ビットは、アナログ領域に変換されたときにデジタルビットパルスの高さと継続時間を表す、一定数の同じデジタルデータのバイト/コードである。これは音声伝送と類似しているが、音声データ情報は、低速で高さが可変のパルスではなく、高速の1/0ビットストリームとしてデジタル伝送されるため、パルスの高さは通常固定される。アナログ伝送における高さが可変のパルスの各々は、デジタル伝送における連続する13~16個の1/0のより短いパルスにオプションの冗長ビットを加えたものに相当する。
【0065】
開始コードヘッダとともに、デジタル音声ストリーム609は、コンバイナ612を介して、重畳によってデジタルビデオ信号613と結合されてもよい。デジタル音声ストリーム609の重畳は、タイミング信号611を利用し、時分割多重(TDMA)を実施することによって実行してもよい。例えば、タイミング信号611は、互いに排他的なタイムスロットでデジタル音声ストリーム609を送信することを容易にする。デジタル領域の音声データとビデオデータの両方を含む、結合されたデジタル音声/ビデオデータ615は、次にDAC614によってアナログ領域に変換される。したがって、DAC614は、ビデオ受信機700への下流方向の伝送用にアナログ音声/ビデオ(A/V)ストリーム616を出力する。
【0066】
次に
図7を参照すると、
図7は、本明細書で説明するいくつかの実施形態によるビデオ受信機700(単に「受信機」とも称する)を示している。
図7に示すように、ビデオ受信機700は、ADC704、音声抽出部708、FIFOバッファ706、データシンクロナイザ712、およびビデオデコーダ710を含む。ビデオ受信機700は、ADC704を介して、入力としてアナログA/Vストリーム616を受信する。音声データとビデオデータの両方を含むアナログA/Vストリーム616は、ADC704によってデジタル領域に変換される。アナログA/Vストリーム616をデジタル領域に変換した後、ADC704はA/Vストリーム616を音声抽出部708およびビデオデコーダ710に出力する。
【0067】
ビデオデコーダ710は、ADC704を介してA/Vストリーム616を受信し、ユーザーに表示するためにベースバンドのビデオ信号(YUV)713を復号化して出力する。ビデオ信号713は、元のビデオ入力信号603に対応する。ビデオデコーダ710は、タイミング信号711を音声抽出部708に伝達する。いくつかの実施形態では、ビデオデコーダ710は、デジタルビデオ信号713を処理して出力するために時分割多重アクセスを利用することができる。ビデオデコーダ710はビデオ信号をデコードし、必要なタイミング情報を音声抽出部708に提供する。いくつかの実施形態では、抽出部708は、アナログ方式の対応する機能と同様に、音声(ヘッダ)検出部と抽出部とに分離されていてもよい。ビデオデコーダ710が提供するタイミング信号と検出されたデジタル音声ヘッダに基づいて、音声抽出部708はA/Vストリーム616から音声データを抽出し、音声データをFIFOバッファ706に出力する。
【0068】
ビデオのブランキング期間(すなわちビデオライン期間)が音声サンプル期間と同じでないため、抽出された音声データサンプルは周期的に入ってこないので、抽出された音声サンプルはFIFOバッファ706に格納されてもよい。FIFOバッファ706は、格納された音声データをシンクロナイザ712に出力する。いくつかの実施形態では、シンクロナイザ712は、クロック605の周波数(FS)と実質的に同じレートの信号周波数(FS')を有するクロック信号をPLL705から受信する。上述したように、送信機と受信機は通常、互いに離れた場所に設置され、1本のビデオケーブルのみで接続される。これは、送信機(カメラなど)と受信機(ディスプレイ/レコーダーなど)の間の配線が1本の低コストのケーブルで済むよう、コストを削減し効率を上げるために望ましい。各サイドは独自に自由動作するリファレンスクロックを有し、周波数と位相が完全に同じであることや同期がとれていることを保証することはできない。したがって、実質的に同じ周波数しか期待できない。双方が8KHzで動作していても、同じにはならない。いくつかの実施形態では、シンクロナイザ712は、FIFOバッファ706に格納された音声データサンプルを取り出し、信号FS'に基づいてその出力で正しいデータを計算する。補正された出力データに基づいて、データシンクロナイザ712はデジタル音声ストリーム716を出力する。いくつかの実施形態では、出力における正しいデータの計算は、入力データサンプルの有無を確認することによってFSとFS'の差を常に追跡することに基づいて、隣接するサンプルからの外挿によって実行される。例えば、FS'の方が速ければ、使用するサンプルがなくなる。
【0069】
ここで
図6~
図7と併せて
図8を参照すると、(例えば、上述の
図1~
図5で説明したように)デジタルコードに対応するデジタル-アナログ変換されたアナログレベルを利用して音声を伝送する代わりに、下流方向の音声伝送波形800を利用することができる。
図8に示すように、波形800は、同期パルス816、デジタル開始コードパターン804、音声データ806、およびデジタル終了コードパターン806を含むビデオブランキング区間802を含むことができる。例えば、いくつかの実施形態では、アービタ608は、ビデオフォーマッタ610とともに、A/Vストリーム616におけるビデオブランキング期間区間802の検出を管理する。これは、前述の
図1~
図5の考察で述べたビデオエンコーダ110およびアービタ108と同じか同様の方法で実行することができる。一部の実施形態では、A/Vストリーム616は、アービタ608およびビデオフォーマッタ610によって生成される最終出力である。アービタ608は、音声データパケットを挿入できる適切なビデオブランキング期間を決定するために、例えばH/V同期、ラインカウント、ピクセルカウントを含むタイミング情報を取得する。
【0070】
いくつかの実施形態では、A/Vストリーム616に対応する送信音声データのフォーマットは、ネイティブ形式のシリアルデジタルデータストリームに対応してもよい。例えば、開始コードパターン804が最初に送信され、それに続いて、エラー訂正のためのオプションの冗長ビットを備えたシリアルビットストリーム形式のサンプリングされたデジタル音声データ806が送信されてもよい。一実施形態では、デジタル音声データ806は、上位ビットが先に伝送されるネイティブ形式であってもよい。別の実施形態では、デジタル音声データ806は、下位ビットが先に伝送されるネイティブ形式であってもよい。いくつかの実施形態では、アービタ608および音声抽出部708は、デジタル音声データ806を処理する際に、エラー訂正機能を有してもよく、有さなくてもよい。
【0071】
いくつかの実施形態では、A/Vストリーム616は、上流と下流のユーザー間のユーザー通信チャネルを容易にすることを含む様々な目的のために符号化され得る。いくつかの実施形態では、他のタイプのデータペイロードを実装することができる(例えば、ビデオまたは制御データに関連するメタデータ)。これらの実施形態では、周期性の維持は重要でない場合があり、受信機側のシンクロナイザ/外挿部は必要ない場合がある。
【0072】
以下でさらに詳細に説明するが、いくつかの実施形態では、ブランキングスペース(すなわち、垂直ブランキングスペースまたは水平ブランキングスペース)に応じて、2つ以上のデジタル音声データサンプルが、予め定義されたプロトコルに基づいて送信されてもよい。例えば、アナログ領域では、1つの音声サンプルは1つの高さが可変のパルスで表される。最初のサンプルの後にさらにサンプルパルスを追加することで、同じヘッダの下により多くの音声サンプルを送信することができる。これはデジタルの場合も同様である。一緒に送信されるサンプル数は、受信側がいくつのサンプルを取得すればよいかがわかるように、あらかじめ定義しておく必要がある。サンプル数が可変の場合、有効なサンプルの後に、それ以上有効なサンプルがないことを示す送信終了フラグが必要である。いくつかの実施形態では、アナログビデオ(の上)に重畳してネイティブデジタル形式の音声データを送信することは、双方向同時音声通信に拡張することができるが、これについては後述する。
【0073】
次に
図9~
図11を参照すると、
図9~
図10は、上流方向のチャネルを利用することにより双方向同時音声伝送の機能を含むビデオ伝送プロトコルに対応する実施形態を示す。ビデオ受信機900およびビデオ送信機1000のブロック図は、
図6および
図7に示されているような送信機/受信機600、700と同様であってもよく、1の位および10の位の番号に関して同様の符号が付された部分および番号は、同様の機能を有する同様の構造体に対応する。従って、
図9は、上流方向(逆方向)の音声送信用に構成された反対方向音声信号送信機を含むビデオ受信機900のブロック図を示し、
図10は、上流方向(逆方向)の音声受信用に構成された反対方向信号受信機を含むビデオ送信機1000のブロック図を示す。
【0074】
音声送受信の処理は、
図6~
図8で上述した下流方向の音声処理と同様(例えば、送信機/受信機600,700と同様)であるが、ビデオ伝送が一方向(下流方向)のみであることから、上流方向/反対方向音声送信機901と上流方向音声受信機1001の音声データの挿入および抽出の方法が異なる。例えば、この場合のTDMA動作では、ビデオデータとビデオ同期タイミングによって占有されない他の用途のために利用可能なスペースは、ライン(水平)ブランキングまたはフィールド/フレーム(垂直)ブランキングのいずれかのビデオブランキング時間である。双方向伝送の場合、例示的な実装として、一方のブランキング時間を下流方向に使用し、他方のブランキング時間を上流方向に使用することができる。他の実装では、混同されないように異なるヘッダを用いるといった他の種類の識別が必要になる。
【0075】
例えば、通常、下流方向のデータは、垂直ブランキングラインを除いた水平ブランキング時間に伝送される。上流方向のデータは、他の目的で使用されていない、あらかじめ定義された垂直ブランキングラインで伝送される。従って、本明細書で説明する上流方向の音声伝送プロトコルは、ビデオ伝送または下流方向の音声伝送に使用されていないアナログビデオ入力信号603の垂直ブランキングラインを利用することにより、逆方向伝送(例えば、ビデオ受信機700からビデオ送信機600への上流方向の伝送)を容易にする。一般に、これらは互いに排他的なラインを占有する。つまり、上流方向の伝送に使用される垂直ブランキングラインにおける水平ブランキング時間は、下流方向の伝送には使用されない。この事実と、ビデオラインの期間の周波数が音声のサンプル周波数と異なることにより、上流方向の音声伝送も周期的ではない。上流方向の音声データは、垂直ブランキングラインの間にすべてを送信する前のフレーム期間にわたって収集され、送信も周期的ではない。そのため、受信側ではローカルのFS'を使って周期信号に戻す必要がある。
【0076】
図9~
図10に破線で示すように、いくつかの実施形態では、ビデオ受信機900は、上流方向/反対方向の音声送信機901を含む。ビデオ受信機900はビデオ受信機側に存在する(例えば、ビデオ受信機700に対応)。ビデオ送信機1000は、上流方向/反対方向の音声受信機1001を含む。ビデオ送信機1000は、ビデオ送信機側(例えば、ビデオ送信機600)に存在する。上流方向の音声送信機901と上流方向の音声受信機1001は、双方向同時音声伝送を実装するように構成されているが、詳細は後述する。
【0077】
図11は、本明細書で説明するいくつかの実施形態による、例示的な上流方向の音声伝送波形1100を示す。最小音声サンプルレート(例えば、毎秒8K、16K、または32サンプル)を達成するためには、ビデオ信号の1フレームあたりの垂直/水平ブランキングラインに制限があるため、水平ラインあたり複数のデジタル音声サンプルが送信されてもよい。
図11に示されているように、各ビデオブランキングライン1102の伝送は、水平同期(HS)に続くデジタル開始パターン1104で開始される。デジタル開始パターン1104の後には、複数のデジタル音声データサンプル1106
Nが続いてもよい。いくつかの実施形態では、音声データサンプル1106
Nの終了を示すために、終了パターン1108が実装されてもよい。いくつかの実施形態では、終了パターン1108は、音声サンプルの数がラインごとに異なる場合に利用されてもよい。他の実施形態では、ラインごとの固定サンプル数があらかじめ決められている。ラインごとの固定サンプル数があらかじめ決まっている場合は、終了パターンは必要ない。
【0078】
いくつかの実施形態では、上流方向の音声送信機901のアービタ908は、ビデオデコーダ910を利用して、受信ビデオ(
図6の603に対応)の適切な垂直ブランキングラインおよび当該垂直ブランキングライン内の送信用のタイムスロットを決定する。例えば、アービタ908は、FIFOバッファ906から音声データを取り出し、開始コード1104と1つ以上の音声データサンプル1106
Nで信号をフォーマットして、適切に送信することができる。各ラインの開始コード及び/又は終了コードパターン1106、1108は、コンバイナ912によって入力ビデオ信号(
図6の603に対応)に電気的に重畳される前に挿入される。このような挿入により、
図10で説明したように、上流方向の音声受信機1001によって、ビデオ送信機側で開始コードおよび/または終了コード1104、1108が検出され得る。
【0079】
ここで
図10に戻ると、いくつかの実施形態では、ビデオ送信機1000の上流方向音声受信機1001は、事前に定義されたプロトコルに従って、どのビデオブランキングラインを監視するかを決定するための情報をビデオフォーマッタ1010から取得する。いくつかの実施形態では、事前に定義されたプロトコルは、開始コードフォーマット、ビットパルス継続時間、サンプルあたりのビット数、固定数の場合のラインあたりのサンプル数、終了コード、符号付き/符号なし、ビット順序(MSBまたはLSBファースト)を含む。上流方向の音声受信機1001は、次に、音声抽出部1008を使用してデジタル音声サンプルを抽出する。音声抽出部1008は、開始コード1104の検出後、音声データサンプル1106
Nを抽出してもよい。開始コード1104を検出すると、音声抽出部1008は音声データサンプル1106
NをFIFOバッファ1006に送信する。FIFOバッファ1006は、シンクロナイザ1012によって再構成されるように、サンプリングされた音声データを時系列に格納する。いくつかの実施形態では、シンクロナイザ1012は、FIFOバッファ1006からデータを取り出し、送信レートF
Sと実質的に同じである受信音声クロックレートF
S'に基づいて音声出力サンプルを計算するが、この計算において、前述したようにレートマッチングとも呼ばれる内挿を使用することができる。実質的に同じということは、周波数が同じということだが、基準クロックの精度によっては数百ppmずれることもある(つまり、その差は無視できる)。また、クロックは同期しておらず、位相や周波数の関係も固定されていない。例えば、ここでの計算は、下流の受信機について上述したものと同様である。データは時間領域で周期的ではなく、パケット化されていると考えられる。
内挿に関しては、送信機と受信機の実質的に同じであるが独立した2つのサンプリングクロック(例えば、
図6のPLL605および
図7のPLL705)の間の音声データレートのマッチング。音声受信機側(ビデオ送信機1000の上流方向音声受信機1001を有する;
図6も参照)で、ローカルの自由動作するオーディオクロック(図示せず)に基づいて音声データを再構成するには、送信機クロック(
図6のPLL605など)でサンプリングされた入力音声データの再サンプリングが必要である。アービタ(
図6のアービタ608など)は、FIFO1006に格納された入力データと、FIFO606からデータを取り出す目標出力サンプリングレートとの間のレート差を監視する。FIFO1006の出力におけるデータの再サンプリング位置は、このレート差に基づいてシンクロナイザ1012で動的に調整され、これによりローカルの自由動作するオーディオクロックを使用して元の音声信号が正しく再構成される。下図はこの内挿を示している。
【数1】
図10の音声受信機1001を含む
図6の送信機600/
図10の送信機1000を参照して、内挿について直前に説明したが、このような内挿は、
図7に示される受信機700のような下流側で受信される音声に関しても使用することができる。
【0080】
本発明を、その好ましい実施形態を参照して詳細に説明したが、本明細書に記載した例示的な実施形態の精神および範囲から逸脱することなく、形態および細部の変更および修正を行うことができることは、当業者には容易に明らかであろう。添付の特許請求の範囲は、このような変更や修正を包含することを意図している。
【手続補正書】
【提出日】2024-02-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
単一のケーブルを用いてアナログビデオデータ上で音声を受信機に伝送する方法であって、
送信機でデジタルビデオ信号と音声信号とを受信する工程であって、当該音声信号はアナログ音声信号またはデジタル音声信号のいずれかである、工程と、
前記音声信号が前記アナログ音声信号である場合、音声用アナログ/デジタル変換器(ADC)によって、前記音声信号をサンプリングする工程と、
前記サンプリングされたアナログ音声信号または前記デジタル音声信号に対応するデジタル音声データを、先入れ先出し(FIFO)バッファに格納する工程と、
アービタによって、
前記先入れ先出しバッファ内の前記デジタル音声データを読み取る工程と、
前記デジタル音声データから、デジタル開始コードを有するシリアル化された音声ビットをフォーマットする工程と、
前記デジタル開始コードを有する前記シリアル化された音声ビットを前記デジタルビデオ信号のブランキング期間に挿入することによって、結合されたデジタル音声/ビデオ信号を生成する工程と、
デジタル/アナログ変換器(DAC)を用いて、前記結合されたデジタル音声/ビデオ信号をアナログに変換することによって、ネイティブ形式の音声データを含む結合されたアナログ音声/ビデオストリームを生成する工程と、
前記結合されたアナログ音声/ビデオストリームを、前記単一のケーブルで一方向に前記受信機に伝送する工程と
を備える方法。
【請求項2】
前記受信機により、前記結合されたアナログ音声/ビデオ信号を受信する工程と、
前記受信機に含まれる別のアナログ/デジタル変換器により、前記結合されたアナログ音声/ビデオ信号を、結合されたデジタル音声/ビデオ信号に変換する工程と、
前記結合されたデジタル音声/ビデオ信号から音声データストリームを抽出する工程と
をさらに備える、請求項1に記載の方法。
【請求項3】
前記音声データストリームを別の先入れ先出しバッファに格納する工程と、
前記送信機側の音声サンプル周波数と実質的に同じレートで前記別の先入れ先出しバッファから音声データサンプルを取得し、周期的に前記音声データサンプルを連続的な音声ストリームに再構成する工程と、
前記連続的な音声ストリームを出力する工程と
をさらに備える、請求項2に記載の方法。
【請求項4】
前記取得および再構成する工程は、前記受信機と前記送信機との間の周波数差に基づいて前記音声データサンプルに内挿を行う、請求項3に記載の方法。
【請求項5】
双方向音声伝送の方法をさらに含み、前記サンプリングされた音声信号は第1の周波数でサンプリングされ、前記送信機は反対方向の音声信号受信機を含み、前記受信機は反対方向の音声信号送信機を含み、
前記受信機に含まれる前記反対方向の音声信号送信機で、第2のアナログ音声信号および第2のデジタル音声信号のいずれかである第2の音声信号を受信する工程と、
前記反対方向の音声送信機のアービタと前記受信機のビデオデコーダとによって、前記結合されたアナログ音声/ビデオストリームの1つまたは複数の垂直ブランキングラインと、前記1つまたは複数の垂直ブランキングライン内の音声データのない1つまたは複数のタイムスロットとを決定する工程と、
前記第2の音声信号が前記第2のアナログ音声信号である場合、前記反対方向の音声信号送信機内に配置された別のアナログ/デジタル変換器(ADC)によって、前記第2のアナログ音声信号を第2の周波数でサンプリングする工程と、
前記反対方向の信号送信機内に配置された別の先入れ先出し(FIFO)バッファに、前記第2のデジタル音声信号と前記サンプリングされた第2のアナログ音声信号のいずれかに対応する第2のデジタル化された音声サンプルを格納する工程と、
開始パターンと、1つまたは複数の第2のシリアル化された音声データ
とを、前記結合されたアナログ音声/ビデオストリームの垂直ブランキング区間に挿入する工程と、
前記受信機内に配置された前記反対方向の信号送信機によって、前記送信機内に配置された前記反対方向の信号受信機に、前記開始パターンおよび/または前記終了パターンと前記第2のシリアル化された音声ビットとに対応する音声ストリームを、前記音声受信機を含む前記送信機に送信する工程であって、前記音声ストリームの送信は、前記単一のケーブルで、前記一方向とは反対の別の方向で行われる、工程と
を備える、請求項1に記載の方法。
【請求項6】
前記送信機内に配置された前記反対方向の信号受信機により、前記音声ストリームを受信する工程と、
前記1つまたは複数の垂直ブランキングラインと前記1つまたは複数のタイムスロットとに基づいて、前記第2のシリアル化された音声データを抽出して第2の抽出された音声サンプルとする工程と、
前記反対方向の信号受信機内に配置されたさらに別の先入れ先出し(FIFO)バッファに、前記第2の抽出された音声サンプルを格納する工程と、
前記反対方向の信号送信機のサンプリング周波数と実質的に同じである出力サンプル周波数を選択する工程と、
前記音声サンプルを取得し、前記出力サンプル周波数に基づいて再構成された音声ストリームを出力する工程と
をさらに備える、請求項5に記載の方法。
【請求項7】
前記取得および出力する工程は、前記受信機と前記送信機との間の周波数差に基づいて前記音声サンプルに内挿を行う、請求項6に記載の方法。
【請求項8】
前記アービタによって前記デジタル音声データを読み取る工程は、前記先入れ先出しバッファ内のデータが利用可能であることを検出したことに応答して実行される、請求項1に記載の方法。
【請求項9】
前記受信機により、前記結合されたアナログ音声/ビデオ信号を受信する工程と、
前記受信機に含まれる別のアナログ/デジタル変換器により、前記結合されたアナログ音声/ビデオ信号を、結合されたデジタル音声/ビデオ信号に変換する工程と、
前記結合されたデジタル音声/ビデオ信号から音声データストリームを抽出する工程と
をさらに備える、請求項8に記載の方法。
【請求項10】
前記音声データストリームを別の先入れ先出しバッファに格納する工程と、
前記送信機側の音声サンプル周波数と実質的に同じレートで前記別の先入れ先出しバッファから音声データサンプルを取得し、周期的に前記音声データサンプルを連続的な音声ストリームに再構成する工程と、
前記連続的な音声ストリームを出力する工程と
をさらに備える、請求項9に記載の方法。
【請求項11】
前記取得および再構成する工程は、前記受信機と前記送信機との間の周波数差に基づいて前記音声データサンプルに内挿を行う、請求項10に記載の方法。
【請求項12】
双方向音声伝送の方法をさらに含み、前記サンプリングされた音声信号は第1の周波数でサンプリングされ、前記送信機は反対方向の音声信号受信機を含み、前記受信機は反対方向の音声信号送信機を含み、
前記受信機に含まれる前記反対方向の音声信号送信機で、第2のアナログ音声信号および第2のデジタル音声信号のいずれかである第2の音声信号を受信する工程と、
前記反対方向の音声送信機のアービタと前記受信機のビデオデコーダとによって、前記結合されたアナログ音声/ビデオストリームの1つまたは複数の垂直ブランキングラインと、前記1つまたは複数の垂直ブランキングライン内の音声データのない1つまたは複数のタイムスロットとを決定する工程と、
前記第2の音声信号が前記第2のアナログ音声信号である場合、前記反対方向の音声信号送信機内に配置された別のアナログ/デジタル変換器(ADC)によって、前記第2のアナログ音声信号を第2の周波数でサンプリングする工程と、
前記反対方向の信号送信機内に配置された別の先入れ先出し(FIFO)バッファに、前記第2のデジタル音声信号と前記サンプリングされた第2のアナログ音声信号のいずれかに対応する第2のデジタル化された音声サンプルを格納する工程と、
開始パターンと、1つまたは複数の第2のシリアル化された音声データと、終了パターンとを、前記結合されたアナログ音声/ビデオストリームの垂直ブランキング区間に挿入する工程と、
前記受信機内に配置された前記反対方向の信号送信機によって、前記送信機内に配置された前記反対方向の信号受信機に、前記開始パターンおよび/または前記終了パターンと前記第2のシリアル化された音声ビットとに対応する音声ストリームを、前記音声受信機を含む前記送信機に送信する工程であって、前記音声ストリームの送信は、前記単一のケーブルで、前記一方向とは反対の別の方向で行われる、工程と
を備える、請求項8に記載の方法。
【請求項13】
前記送信機内に配置された前記反対方向の信号受信機により、前記音声ストリームを受信する工程と、
前記1つまたは複数の垂直ブランキングラインと前記1つまたは複数のタイムスロットとに基づいて、前記第2のシリアル化された音声データを抽出して第2の抽出された音声サンプルとする工程と、
前記反対方向の信号受信機内に配置されたさらに別の先入れ先出し(FIFO)バッファに、前記第2の抽出された音声サンプルを格納する工程と、
前記反対方向の信号送信機のサンプリング周波数と実質的に同じである出力サンプル周波数を選択する工程と、
前記音声サンプルを取得し、前記出力サンプル周波数に基づいて再構成された音声ストリームを出力する工程と
をさらに備える、請求項12に記載の方法。
【請求項14】
前記取得および出力する工程は、前記受信機と前記送信機との間の周波数差に基づいて前記音声サンプルに内挿を行う、請求項13に記載の方法。
【国際調査報告】