特許 7053071 映像音声同期装置、映像音声同期方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】映像音声同期装置、映像音声同期方法、プログラム

(51)【国際特許分類】

   H04N 21/44 20110101AFI20220405BHJP

   H04N 21/442 20110101ALI20220405BHJP

【ＦＩ】

H04N21/44

H04N21/442

【請求項の数】 7

(21)【出願番号】P 2021012128

(22)【出願日】2021-01-28

【審査請求日】2021-01-28

(73)【特許権者】

【識別番号】000130329

【氏名又は名称】株式会社コルグ

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】大石 耕史

(72)【発明者】

【氏名】小林 正人

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２００３－３３９０２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

デジタル・ビデオ信号と、対応するデジタル・オーディオ信号とを入力とし、これらを同期させる映像音声同期装置であって、
前記デジタル・ビデオ信号の到達フレーム総数をカウントする到達フレーム数カウンターと、
前記デジタル・オーディオ信号の到達サンプル総数をカウントする到達サンプル数カウンターと、
前記到達フレーム総数または前記到達サンプル総数が基準値に達するごとに、到達フレーム総数から到達サンプル総数に基づいて算出される理論フレーム総数を差し引いた差分を求める時刻比較部と、
前記差分が１以上の場合に前記デジタル・ビデオ信号のフレームを１つ間引く処理を、前記差分が－１以下の場合に前記デジタル・ビデオ信号のフレームを１つ挿入する処理を、前記差分の絶対値が１未満になるまで実行するフレーム調整部を含む
映像音声同期装置。

【請求項2】

請求項１に記載の映像音声同期装置であって、
前記時刻比較部は、
オーディオ入力がバッファ処理されている場合に、前記理論フレーム総数を、前記到達サンプル総数をサンプルレートで除算した値と、最終バッファ到着時からのＣＰＵ経過時間に基づいて算出する
映像音声同期装置。

【請求項3】

請求項１または２に記載の映像音声同期装置であって、
前記デジタル・ビデオ信号と前記デジタル・オーディオ信号の経路の違いによって生じる遅延を補正するように前記デジタル・オーディオ信号を一定時間遅延させる遅延器を含む
映像音声同期装置。

【請求項4】

デジタル・ビデオ信号と、対応するデジタル・オーディオ信号とを入力とし、これらを同期させる映像音声同期方法であって、
前記デジタル・ビデオ信号の到達フレーム総数をカウントする到達フレーム数カウントステップと、
前記デジタル・オーディオ信号の到達サンプル総数をカウントする到達サンプル数カウントステップと、
前記到達フレーム総数または前記到達サンプル総数が基準値に達するごとに、到達フレーム総数から到達サンプル総数に基づいて算出される理論フレーム総数を差し引いた差分を求める時刻比較ステップと、
前記差分が１以上の場合に前記デジタル・ビデオ信号のフレームを１つ間引く処理を、前記差分が－１以下の場合に前記デジタル・ビデオ信号のフレームを１つ挿入する処理を、前記差分の絶対値が１未満になるまで実行するフレーム調整ステップを含む
映像音声同期方法。

【請求項5】

請求項４に記載の映像音声同期方法であって、
前記時刻比較ステップは、
オーディオ入力がバッファ処理されている場合に、前記理論フレーム総数を、前記到達サンプル総数をサンプルレートで除算した値と、最終バッファ到着時からのＣＰＵ経過時間に基づいて算出する
映像音声同期方法。

【請求項6】

請求項４または５に記載の映像音声同期方法であって、
前記デジタル・ビデオ信号と前記デジタル・オーディオ信号の経路の違いによって生じる遅延を補正するように前記デジタル・オーディオ信号を一定時間遅延させる遅延ステップを含む
映像音声同期方法。

【請求項7】

コンピュータを請求項１から３の何れかに記載の映像音声同期装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像と音声を同期させる映像音声同期装置、映像音声同期方法、プログラムに関する。

【背景技術】

【0002】

従来、動画配信において映像と音声にずれが生じることが知られており、例えば非特許文献１には、映像と音声がクロック同期しておらず、それぞれが内部クロックで動作するために、両者のクロック精度の違いにより、だんだんと映像と音声のずれが大きくなっていく現象とその同期方法について開示されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】玄光社、“TASCAM DR-701Dレポート(1)～HDMI接続でカメラと同期する映像制作のためのPCM音声レコーダー”、［online］平成28年1月20日、［令和3年1月26日検索］、インターネット〈URL：https://videosalon.jp/report/tascam-dr-701d%E3%83%AC%E3%83%9D%E3%83%BC%E3%83%88%E2%9D%B6%E3%80%9Chdmi%E6%8E%A5%E7%B6%9A%E3%81%A7%E3%82%AB%E3%83%A1%E3%83%A9%E3%81%A8%E5%90%8C%E6%9C%9F%E3%81%99%E3%82%8B%E6%98%A0%E5%83%8F%E5%88%B6/〉

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えばデジタル音声入力の場合、図１に示すようにデジタル・ビデオ信号のビデオ・クロックを基準にオーディオにサンプルレート変換処理が施されるのが一般的であるが、この変換処理によってデジタル・オーディオ信号の音質が劣化する。

【0005】

また、例えばアナログ音声入力の場合、図２に示すようにビデオ・クロックから生成したオーディオ・クロックでアナログ・オーディオ信号をデジタル変換するのが一般的であるが、ビデオ・クロックはオーディオ・クロックよりもジッタが大きい場合が多いため、この変換処理によってデジタル・オーディオ信号の音質が劣化する。また、ビデオ・クロックからオーディオ・クロックを生成するためには、PLL（Phase Locked Loop）回路が必要となり、ここでもジッタが増加する。

【0006】

そこで本発明では、オーディオ信号を劣化させずに映像と音声を同期することが出来る映像音声同期装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の映像音声同期装置は、デジタル・ビデオ信号と、対応するデジタル・オーディオ信号とを入力とし、これらを同期させる装置であって、到達フレーム数カウンターと、到達サンプル数カウンターと、時刻比較部と、フレーム調整部を含む。

【0008】

到達フレーム数カウンターは、デジタル・ビデオ信号の到達フレーム総数をカウントする。到達サンプル数カウンターは、デジタル・オーディオ信号の到達サンプル総数をカウントする。時刻比較部は、到達フレーム総数または到達サンプル総数が基準値に達するごとに、到達フレーム総数から到達サンプル総数に基づいて算出される理論フレーム総数を差し引いた差分を求める。フレーム調整部は、差分が１以上の場合にデジタル・ビデオ信号のフレームを１つ間引く処理を、差分が－１以下の場合にデジタル・ビデオ信号のフレームを１つ挿入する処理を、差分の絶対値が１未満になるまで実行する。

【発明の効果】

【0009】

本発明の映像音声同期装置によれば、オーディオ信号を劣化させずに映像と音声を同期することが出来る。

【図面の簡単な説明】

【0010】

【図1】従来の映像音声同期処理（デジタル音声入力の場合）を示す図。

【図2】従来の映像音声同期処理（アナログ音声入力の場合）を示す図。

【図3】実施例１の映像音声同期装置の機能構成を示すブロック図。

【図4】実施例１の映像音声同期装置の動作を示すフローチャート。

【図5】実施例２の映像音声同期装置の機能構成を示すブロック図。

【図6】実施例２の映像音声同期装置の動作を示すフローチャート。

【図7】実施例３の映像音声同期装置の機能構成を示すブロック図。

【図8】実施例３の映像音声同期装置の遅延器の動作を示すフローチャート。

【図9】コンピュータの機能構成例を示す図。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【実施例1】

【0012】

以下、図３を参照して実施例１の映像音声同期装置の機能構成を説明する。同図に示すように本実施例の映像音声同期装置１は、到達フレーム数カウンター１１と、到達サンプル数カウンター１２と、時刻比較部１３と、フレーム調整部１４と、ローカル記憶部１５と、配信部１６を含む。本装置には、デジタル・ビデオ信号と、対応するデジタル・オーディオ信号とが入力され、本装置からはこれらを同期させた映像が出力される。なお、アナログ・オーディオ信号が用意されている場合には、このアナログ・オーディオ信号はＡＤコンバータ９により、デジタル・オーディオ信号に変換され、映像音声同期装置１に入力される。以下、図４を参照して本実施例の映像音声同期装置１の動作を説明する。

【0013】

＜到達フレーム数カウンター１１＞
到達フレーム数カウンター１１は、デジタル・ビデオ信号の到達フレーム総数をカウントする（Ｓ１１）。

【0014】

＜到達サンプル数カウンター１２＞
到達サンプル数カウンター１２は、デジタル・オーディオ信号の到達サンプル総数をカウントする（Ｓ１２）。

【0015】

＜時刻比較部１３＞
時刻比較部１３は、到達フレーム総数または到達サンプル総数が基準値（例えば到達フレーム総数の基準値＝１５０フレームの倍数）に達するごとに、到達フレーム総数F_actualから到達サンプル総数に基づいて算出される理論フレーム総数F_idealを差し引いた差分Δfを求める（Ｓ１３）。具体的には、時刻比較部１３は以下の式（１）、式（２）により差分Δfを求める。

【0016】

F_ideal＝フレームレート[fps]×到達サンプル総数／サンプルレート[Hz]…(1)
Δf＝F_actual－F_ideal…(2)
＜フレーム調整部１４＞
フレーム調整部１４は、差分Δfが１以上の場合にデジタル・ビデオ信号のフレームを１つ間引く処理を、差分Δfが－１以下の場合にデジタル・ビデオ信号のフレームを１つ挿入する処理を、差分Δfの絶対値が１未満になるまで実行し、処理の結果をローカル記憶部１５に送信する（Ｓ１４）。具体的には、フレーム調整部１４は以下の(a),(b)の処理を実行する。

【0017】

(a)Δf≧1.0の場合、フレーム調整部１４は、以降に到達するビデオ・フレームをΔf<1.0となるまで、間引く。なお、ビデオ・フレームをΔf<1.0となるまで間引く際に、到達フレーム数カウンター１１に該当フレーム分が加算されないことに注意する。

【0018】

(b)Δf≦-1.0の場合、フレーム調整部１４は、前フレームを１枚分複製し、F_actualに1を加算する処理を、Δf>-1.0となるまで繰り返す。ここでF_actualに１を加算する処理とは到達フレーム数カウンター１１に１を加算することに該当する。

【0019】

＜ローカル記憶部１５＞
ローカル記憶部１５は、ステップＳ１４を実行済みのデジタル・ビデオ信号、デジタル・オーディオ信号を記憶する（Ｓ１５）。

【0020】

＜配信部１６＞
配信部１６は、必要に応じて、ローカル記憶部１５に記憶済みのリップシンク（同期）が取れたデジタル・ビデオ信号、デジタル・オーディオ信号をインターネット・サーバにアップロードする（Ｓ１６）。

【0021】

このように、本実施例の映像音声同期装置１によれば、オーディオ信号を基準としてビデオ信号のフレーム間引き／挿入処理を行うことで、映像と音声の同期を行うため、オーディオ信号を劣化させずに映像と音声を同期することが出来る。

【実施例2】

【0022】

以下、図５を参照して、オーディオ入力がバッファ処理されている場合に好適な実施例２の映像音声同期装置の機能構成を説明する。同図に示すように本実施例の映像音声同期装置２は、到達フレーム数カウンター１１と、到達サンプル数カウンター１２と、オーディオ時刻補正部２１と、ＣＰＵクロック２２と、時刻比較部２３と、フレーム調整部１４と、ローカル記憶部１５と、配信部１６を含み、実施例１と異なる機能構成は、オーディオ時刻補正部２１と、ＣＰＵクロック２２と、時刻比較部２３である。以下、実施例１と異なる機能構成の動作について説明する。

【0023】

＜オーディオ時刻補正部２１＞
オーディオ時刻補正部２１は、現在時刻を到達サンプル総数／サンプルレート[Hz]＋最終バッファ到着時からのCPU経過時間[s]として補正する（Ｓ２１）。最終バッファ到着時からのCPU経過時間[s]は後述するＣＰＵクロック２２により算出される。

【0024】

＜ＣＰＵクロック２２＞
ＣＰＵクロック２２は、CPU経過時間[s]を計測する処理を実行し続ける。

【0025】

＜時刻比較部２３＞
時刻比較部２３は、オーディオ入力がバッファ処理されている場合に、補正理論フレーム総数F'_idealを、Ｓ２１で補正した現在時刻から算出し、到達フレーム総数または到達サンプル総数が基準値に達するごとに、到達フレーム総数F_actualから補正理論フレーム総数F'_idealを差し引いた差分Δfを求める（Ｓ２３）。具体的には、時刻比較部２３は、以下の式により補正理論フレーム総数F'_idealを以下の式(3)に基づいて算出する。

【0026】

補正理論フレーム総数F'_ideal＝フレームレート×（到達サンプル総数／サンプルレート[Hz]＋最終バッファ到着時からのCPU経過時間[s]）…(3)
このように、本実施例の映像音声同期装置２によれば、オーディオ入力がバッファ処理されている場合であっても補正理論フレーム総数を算出することにより、ビデオ信号のフレーム間引き／挿入処理を正しく実行でき、オーディオ信号を劣化させずに映像と音声を同期することが出来る。

【実施例3】

【0027】

実施例１、２では、映像と音声がクロック同期していない場合に、オーディオ信号を劣化させずに映像と音声を同期する映像音声同期装置１、２を開示した。しかしながら、仮に映像と音声がクロック同期していたとしても、映像と音声の経路の違いから、両者の間に一定量のずれが生じる場合があり、一般的に映像のスイッチャー内部の遅延量が大きいことから、音声に対して映像が数百ｍｓ程度遅れる場合がある。この種の遅延量は、クロック同期していれば一定に保たれ、上述の例のようにずれが蓄積していくことはない。実施例３の映像音声同期装置は、この一定量の遅延を補正するために、本実施例の映像音声同期装置３は、実施例２の映像音声装置２の構成に加え、到達サンプル数カウンター１２とローカル記憶部１５の間に遅延器３７を含む構成とした。

【0028】

なお、本実施例の映像音声同期装置３は、実施例２の映像音声装置２の構成をベースに遅延器３７を加える構成としているが、これ以外にも実施例１の映像音声装置１の構成をベースにして、遅延器３７を加える構成とすることも可能である。

【0029】

映像音声同期装置３のステップＳ１１～Ｓ１６までの動作は、基本的には実施例１や実施例２と同様である。これらの処理に加え図８に示すように、遅延器３７は、デジタル・ビデオ信号とデジタル・オーディオ信号の経路の違いによって生じる遅延を補正するようにデジタル・オーディオ信号を一定時間遅延させる（Ｓ３７）。

【0030】

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

【0031】

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

【0032】

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

【0033】

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

【0034】

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

【0035】

上述の各種の処理は、図９に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。

【0036】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。

【0037】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0038】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0039】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【要約】

【課題】オーディオ信号を劣化させずに映像と音声を同期することが出来る映像音声同期装置を提供する。
【解決手段】デジタル・ビデオ信号と、対応するデジタル・オーディオ信号とを入力とし、これらを同期させる映像音声同期装置であって、デジタル・ビデオ信号の到達フレーム総数をカウントする到達フレーム数カウンターと、デジタル・オーディオ信号の到達サンプル総数をカウントする到達サンプル数カウンターと、到達フレーム総数または到達サンプル総数が基準値に達するごとに、到達フレーム総数から到達サンプル総数に基づいて算出される理論フレーム総数を差し引いた差分を求める時刻比較部と、差分が１以上の場合にデジタル・ビデオ信号のフレームを１つ間引く処理を、差分が－１以下の場合にデジタル・ビデオ信号のフレームを１つ挿入する処理を、差分の絶対値が１未満になるまで実行するフレーム調整部を含む。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】