特許 7368881 配信装置、配信方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-10-17

(45)【発行日】2023-10-25

(54)【発明の名称】配信装置、配信方法、プログラム

(51)【国際特許分類】

   H04N 21/27 20110101AFI20231018BHJP

   G10K 15/02 20060101ALI20231018BHJP

   H04N 21/242 20110101ALI20231018BHJP

   H04N 21/8547 20110101ALI20231018BHJP

【ＦＩ】

H04N21/27

G10K15/02

H04N21/242

H04N21/8547

【請求項の数】 8

(21)【出願番号】P 2022100167

(22)【出願日】2022-06-22

【審査請求日】2022-06-22

(73)【特許権者】

【識別番号】000130329

【氏名又は名称】株式会社コルグ

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】大石 耕史

(72)【発明者】

【氏名】小林 正人

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特許第７０５３０７１（ＪＰ，Ｂ１）

【文献】特開２００１－１０１８０３（ＪＰ，Ａ）

【文献】特開２０１０－１５４２４９（ＪＰ，Ａ）

【文献】特開２００６－３３９８７８（ＪＰ，Ａ）

【文献】米国特許第１０８３４２９８（ＵＳ，Ｂ１）

【文献】飯田 雄平，複数の映像と音声を同期する４つの方法まとめ，[online]Vook(ヴック)，2017年10月20日，インターネット<URL:https://vook.vc/n/593>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ１０Ｋ １５／０２

(57)【特許請求の範囲】

【請求項1】

逐次入力されるビデオ信号のうち、所定の時間区間内のビデオ・フレーム群をキャプチャするビデオキャプチャ部と、
逐次入力されるオーディオ信号のうち、前記所定の時間区間内のオーディオ・サンプル群をキャプチャするオーディオキャプチャ部と、
前記キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、前記キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を並列して表示する操作画面であって、前記ビデオ・フレーム列に対する前記オーディオ波形の位置を時間軸方向に移動させる操作、または前記オーディオ波形に対する前記ビデオ・フレーム列の位置を時間軸方向に移動させる操作、および前記ビデオ信号または前記オーディオ信号に対する遅延量を確定させる操作を受け付ける操作画面を表示する表示部と、
前記遅延量に基づいて前記ビデオ信号または前記オーディオ信号を遅延させる遅延部と、
前記ビデオ信号および前記オーディオ信号を配信する配信部を含む
配信装置。

【請求項2】

請求項１に記載の配信装置であって、
前記ビデオキャプチャ部は、
ユーザ入力を受け付けたタイミングを開始タイミングとし、前記開始タイミングから所定時間経過後を終了タイミングとして、前記ビデオ・フレーム群をキャプチャし、
前記オーディオキャプチャ部は、
前記開始タイミングと前記終了タイミングに従って前記オーディオ・サンプル群をキャプチャする
配信装置。

【請求項3】

請求項１に記載の配信装置であって、
前記ビデオキャプチャ部は、
逐次入力される前記ビデオ信号のうち、最新のビデオ・フレームから所定時間前までのビデオ・フレームまでのビデオ・フレーム群を記録し続けており、ユーザ入力を受け付けたタイミングを終了タイミングとして、前記ビデオ・フレーム群をキャプチャし、
前記オーディオキャプチャ部は、
逐次入力される前記オーディオ信号のうち、最新のオーディオ・サンプルから所定時間前までのオーディオ・サンプルまでのオーディオ・サンプル群を記録し続けており、前記終了タイミングに基づいて、前記オーディオ・サンプル群をキャプチャする
配信装置。

【請求項4】

請求項１に記載の配信装置であって、
前記表示部は、
前記ビデオ・フレーム列の各フレームの境界位置を強調表示するガイド線を前記操作画面に表示する
配信装置。

【請求項5】

請求項１に記載の配信装置であって、
前記表示部は、
ユーザが指定したビデオ・フレームを前記操作画面に拡大表示する
配信装置。

【請求項6】

請求項１に記載の配信装置であって、
前記遅延部は、
前記ビデオ信号のフレーム単位と、前記オーディオ信号のサンプル単位のそれぞれの遅延量を組み合わせて所望の遅延量となるように前記ビデオ信号と前記オーディオ信号の双方、またはいずれかを遅延させる
配信装置。

【請求項7】

配信装置が実行する配信方法であって、
逐次入力されるビデオ信号のうち、所定の時間区間内のビデオ・フレーム群をキャプチャするビデオキャプチャステップと、
逐次入力されるオーディオ信号のうち、前記所定の時間区間内のオーディオ・サンプル群をキャプチャするオーディオキャプチャステップと、
前記キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、前記キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を並列して表示する操作画面であって、前記ビデオ・フレーム列に対する前記オーディオ波形の位置を時間軸方向に移動させる操作、または前記オーディオ波形に対する前記ビデオ・フレーム列の位置を時間軸方向に移動させる操作、および前記ビデオ信号または前記オーディオ信号に対する遅延量を確定させる操作を受け付ける操作画面を表示する表示ステップと、
前記遅延量に基づいて前記ビデオ信号または前記オーディオ信号を遅延させる遅延ステップと、
前記ビデオ信号および前記オーディオ信号を配信する配信ステップを含む
配信方法。

【請求項8】

コンピュータを請求項１から６の何れかに記載の配信装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、配信装置、配信方法、プログラムに関する。

【背景技術】

【0002】

例えば、特許文献１には、映像と音声とを容易に同期させることができる映像音声再生システム及び配信装置が開示されている。

【0003】

特許文献１の映像音声再生システムは、映像再生用の映像データと音声再生用の音声データとを配信する配信装置と、配信された映像データを処理して映像として表示する映像表示装置と、配信された音声データを処理して音声として出力する音声出力装置を備える。配信装置は、同期調整用のテストコンテンツとしての判定用音声の音声データと、判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像の映像データを配信する。配信装置と音声出力装置の少なくとも何れかは、判定用映像におけるタイミングで判定用音声が出力されるように、音声出力装置からの出力を遅延させる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－１５４２４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

図１に従来の配信システムの構成例を示す。同図の配信システムは、デジタル・ビデオカメラ９０、スイッチャ９１、マイク９２、マイク・プリアンプ９３、Ａ／Ｄコンバータ９４、デジタル・ミキサーエフェクタ９５、収録／配信機材９６等を含む構成である。

【0006】

同図に示すように、映像側では、デジタル・ビデオカメラ９０、スイッチャ９１において遅延が発生する。音声側では、Ａ／Ｄコンバータ９４、デジタル・ミキサーエフェクタ９５において遅延が発生する。

【0007】

このように、ビデオ機器、オーディオ機器にはそれぞれ固有の遅延量があり、同時収録しても映像と音声の同期（リップシンク）が取れていない。通常は映像機器の方が遅延量が大きいので、リップシンクを取るには音声側に遅延器を追加する必要があるが、音声側に処理量の多いエフェクタを挿入した場合は音声の方が遅れる場合がある（その場合は映像側に遅延器を追加する）。

【0008】

リップシンクのために、映像または音声の遅延量を設定する場合、収録された映像を見て、人間が判断するのが一般的である。図２に従来の遅延量設定環境の構成例を示す。同図の遅延量設定環境は、収録／配信機材９６と、映像モニタ９７と、オーディオインターフェース９８と、ヘッドホン９９を含む構成である。

【0009】

同図に示すように、映像モニタ９７、オーディオインターフェース９８に、それぞれ固有の遅延が発生するため、遅延量の設定はそれらが一致している環境でないと難しい。また、リップシンクが取れているかどうかの判断は、感性によるところが大きく、経験豊富な人が行わなければ判断し難いという課題があった。上述の特許文献１も同様の課題を有している。

【0010】

そこで本発明では、どのような環境で使用しても同じ結果が得られ、人間の感性に頼らずにリップシンクを設定することができる配信装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の配信装置は、ビデオキャプチャ部と、オーディオキャプチャ部と、表示部と、遅延部と、配信部を含む。

【0012】

ビデオキャプチャ部は、逐次入力されるビデオ信号のうち、所定の時間区間内のビデオ・フレーム群をキャプチャする。オーディオキャプチャ部は、逐次入力されるオーディオ信号のうち、所定の時間区間内のオーディオ・サンプル群をキャプチャする。表示部は、キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を並列して表示する操作画面であって、ビデオ・フレーム列に対するオーディオ波形の位置を時間軸方向に移動させる操作、またはオーディオ波形に対するビデオ・フレーム列の位置を時間軸方向に移動させる操作、およびビデオ信号またはオーディオ信号に対する遅延量を確定させる操作を受け付ける操作画面を表示する。遅延部は、遅延量に基づいてビデオ信号またはオーディオ信号を遅延させる。配信部は、ビデオ信号およびオーディオ信号を配信する。

【発明の効果】

【0013】

本発明の配信装置によれば、どのような環境で使用しても同じ結果が得られ、人間の感性に頼らずにリップシンクを設定することができる。

【図面の簡単な説明】

【0014】

【図1】従来の配信システムの構成例を示すブロック図。

【図2】従来の遅延量設定環境の構成例を示すブロック図。

【図3】実施例１の配信装置の機能構成を示すブロック図。

【図4】実施例１の配信装置の動作を示すフローチャート。

【図5】表示部が表示する操作画面の例を示す図。

【図6】表示部が表示するガイド線の例を示す図。

【図7】ユーザが指定したビデオ・フレームを拡大表示した例を示す図。

【図8】ユーザがドラッグ操作により入力した遅延量がビデオ信号に対する１０ｍｓの遅延を示している場合を例示する図。

【図9】実施例２の配信装置の機能構成を示すブロック図。

【図10】実施例２の配信装置の動作を示すフローチャート。

【図11】コンピュータの機能構成例を示す図。

【発明を実施するための形態】

【0015】

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【実施例1】

【0016】

以下、図３を参照して実施例１の配信装置の構成を説明する。同図に示すように本実施例の配信装置１は、ビデオキャプチャ部１１と、オーディオキャプチャ部１２と、ビデオ・フレーム保存部１３と、オーディオ・サンプル保存部１４と、表示部１５と、ビデオ遅延部１６と、オーディオ遅延部１７と、エンコード部１８と、配信部１９を含む構成である。同図に破線で示すように、ビデオ遅延部１６とオーディオ遅延部１７をまとめて１つの構成要件（遅延部１６５）としてもよい。以下、図４を参照して各構成要件の動作を詳細に説明する。

【0017】

＜ビデオキャプチャ部１１＞
ビデオキャプチャ部１１は、逐次入力されるビデオ信号のうち、所定の時間区間内のビデオ・フレーム群をキャプチャする（Ｓ１１）。

【0018】

ビデオキャプチャ部１１は、映像音声収録環境において、遅延量補正に用いる何らかのテスト音を発生させたタイミングをうまく収録できるようにキャプチャすることも可能である。考えられる方式は２つある。第１の方式は、遅延量補正の担当者がテスト音の担当者にキューを出し、キューを認知したテスト音の担当者が、キューが出てから所定時間経過までにテスト音を発生する方式（キュー方式）である。第２の方式は、テスト音の担当者が任意のタイミングでテスト音を発生させ、遅延量補正の担当者がテスト音の発生を認知した場合に、リングバッファにより最新のｎ秒間（ｎは正の数）について記録され続けているビデオ・フレームの記録を終了させる方式（リングバッファ方式）である。

【0019】

＜キュー方式＞
キュー方式の場合、ビデオキャプチャ部１１は、ユーザ入力を受け付けたタイミングを開始タイミングとし、開始タイミングから所定時間経過後を終了タイミングとして、ビデオ・フレーム群をキャプチャする。

【0020】

「ユーザ入力」とは、例えば遅延量補正の担当者が配信装置１上で立ち上げられたアプリケーションにおいて「キャプチャ」ボタンをクリックすることなどを含む。「所定時間経過後」とは、例えば３秒経過後、５秒経過後、などでよい。

【0021】

＜リングバッファ方式＞
リングバッファ方式の場合、ビデオキャプチャ部１１は、逐次入力されるビデオ信号のうち、最新のビデオ・フレームから所定時間前までのビデオ・フレームまでのビデオ・フレーム群を記録し続けており、ユーザ入力（例えば遅延量補正の担当者による「キャプチャ」ボタンクリック）を受け付けたタイミングを終了タイミングとして、ビデオ・フレーム群をキャプチャする。

【0022】

＜オーディオキャプチャ部１２＞
オーディオキャプチャ部１２は、逐次入力されるオーディオ信号のうち、所定の時間区間内のオーディオ・サンプル群をキャプチャする（Ｓ１２）。

【0023】

オーディオキャプチャ部１２は、ビデオキャプチャ部１１と同様に、キュー方式の場合、リングバッファ方式の場合に特有の動作を行う。

【0024】

＜キュー方式＞
キュー方式の場合、オーディオキャプチャ部１２は、前述した開始タイミング（例えば遅延量補正の担当者による「キャプチャ」ボタンクリック）と終了タイミング（開始タイミングから所定時間経過後）に従ってオーディオ・サンプル群をキャプチャする。

【0025】

＜リングバッファ方式＞
リングバッファ方式の場合、オーディオキャプチャ部１２は、逐次入力されるオーディオ信号のうち、最新のオーディオ・サンプルから所定時間前までのオーディオ・サンプルまでのオーディオ・サンプル群を記録し続けており、終了タイミング（例えば遅延量補正の担当者による「キャプチャ」ボタンクリック）に基づいて、オーディオ・サンプル群をキャプチャする。

【0026】

＜ビデオ・フレーム保存部１３＞
ビデオ・フレーム保存部１３は、ビデオキャプチャ部１１によりキャプチャされたビデオ・フレーム群をメモリ上に一定時間保存する（Ｓ１３）。

【0027】

＜オーディオ・サンプル保存部１４＞
オーディオ・サンプル保存部１４は、オーディオキャプチャ部１２によりキャプチャされたオーディオ・サンプル群をメモリ上に一定時間保存する（Ｓ１４）。

【0028】

＜表示部１５＞
表示部１５は、キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を、現在のビデオ遅延量とオーディオ遅延量設定を加味して、時間軸を合わせて並列して表示する操作画面を表示する（Ｓ１５）。

【0029】

操作画面の例を図５、図６に示す。図６に例示するように、操作画面は、ビデオ・フレーム列に対するオーディオ波形の位置を時間軸方向に移動（ドラッグ）させる操作を受け付けることができる。同様に、操作画面はオーディオ波形に対するビデオ・フレーム列の位置を時間軸方向に移動させる操作を受け付けることができる。また操作画面は、ビデオ信号またはオーディオ信号に対する遅延量を確定させる操作を受け付けることができる。「遅延量を確定させる操作」とは、例えば図６の状態において、ユーザがビデオ・フレーム列、またはオーディオ波形の位置を時間軸方向に移動（ドラッグ）させた後、図示しない「確定」ボタンなどをクリックする操作に該当する。この場合配信装置１は、ユーザがビデオ・フレーム列、またはオーディオ波形の位置を時間軸方向に移動（ドラッグ）させた量に基づき、映像フレームレートと音声サンプルレートから対応する適切な遅延量を計算し、計算された遅延量をビデオ信号またはオーディオ信号に対する確定された「遅延量」とみなして、以降の処理を実行する。

【0030】

なお、オーディオ信号のフォーマットがＤＳＤ（Direct Stream Digital）の場合は、オーディオ信号をＰＣＭ（pulse code modulation）に変換し、波形を表示する。ＤＳＤデータはワンビットオーディオであることから、波形情報をデータの粗密という形式で表現している。従って、ＤＳＤを扱う場合、操作画面に波形を表示させるためにＤＳＤ→ＰＣＭへの変換が必要となる。なお、ＤＳＤは、データの性質上、音質などを編集する用途には適していないが、ライブ音源を高音質でそのまま配信する用途に向いているため、本実施例の配信装置１が取り扱うオーディオ信号のフォーマットとして好適である。

【0031】

なお、あるビデオ・フレームにテスト音発生の瞬間と認識できる画像（図６の例では、両手のひらを打ち合わせて音を出す行為）が記録されている場合、このビデオ・フレームが記録された時間の座標は、当該ビデオ・フレームの左端に該当する。従って、遅延量補正の担当者は、テスト音発生の瞬間に該当するオーディオ波形の座標（図６の例の場合、波形の最初のピーク値が記録された座標）を、テスト音発生の瞬間に対応するビデオ・フレームの左端までドラッグして、二つの座標を一致させる必要がある。この操作を支援するために、表示部１５は操作画面に補助表示を行ってもよい。例えば表示部１５は、ビデオ・フレーム列の各フレームの境界位置を強調表示するガイド線をオーディオ波形を横切るように操作画面に表示する（図６の破線参照）。これにより、遅延量補正の担当者は波形の最初のピーク値をガイド線までドラッグして、「確定」ボタンをクリックすることで、遅延量の補正操作を終了することができるため、操作が簡単になり、ユーザの利便性が向上する。

【0032】

なお、前述したようにビデオ・フレーム列とオーディオ波形は時間軸を合わせて表示する必要があるため、ビデオ・フレームのサンプリングレート３０Ｈｚ程度と仮定すると、図６の操作画面の例では、高々３３ｍｓ×３フレーム≒０．１秒程度の映像、音声しか閲覧できないことになるため、テスト音発生の瞬間をサーチするのに手間がかかる場合がある。一方、ビデオ・フレーム列を小さく表示すれば、一度に閲覧できるビデオ・フレーム列、オーディオ波形の幅が拡大するが、同時に１つ１つのビデオ・フレームの表示サイズが小さくなってしまう。例えば図７の例では、ビデオ・フレーム列を小さく表示した結果、同時に１１フレームが閲覧可能となっているが、ビデオ・フレーム内の画像は小さく表示されている。

【0033】

このような場合に、表示部１５は、遅延量補正の担当者を支援するために、例えば遅延量補正の担当者がカーソルを配置するなどの操作で指定したビデオ・フレームを操作画面に拡大表示することができる（図７のカーソル部分、上方に拡大表示されたビデオ・フレームの例を参照）。同様に、表示部１５は、遅延量補正の担当者がカーソルを配置するなどの操作で指定した音声波形の一部を操作画面に拡大表示することができる。

【0034】

＜遅延部１６５＞
遅延部１６５は、表示部１５が表示した操作画面に対するユーザの一連の操作により確定された遅延量に基づいてビデオ信号またはオーディオ信号を遅延させる（Ｓ１６５）。なお、ユーザの一連の操作により確定された遅延量が０であった場合には、ステップＳ１６５は実行されない。

【0035】

遅延部１６５の動作は、以下のビデオ遅延部１６、オーディオ遅延部１７の何れかによる動作として表現することもできる。

【0036】

≪ビデオ遅延部１６≫
ビデオ遅延部１６は、ユーザの一連の操作により確定された遅延量が、ビデオ信号に対する遅延を示している場合には、確定された遅延量に基づいてビデオ信号を遅延させる（Ｓ１６）。

【0037】

≪オーディオ遅延部１７≫
オーディオ遅延部１７は、ユーザの一連の操作により確定された遅延量が、オーディオ信号に対する遅延を示している場合には、確定された遅延量に基づいてオーディオ信号を遅延させる（Ｓ１７）。なお、ユーザの一連の操作により確定された遅延量が０であった場合には、ステップＳ１６、Ｓ１７の何れも実行されない。

【0038】

＜エンコード部１８＞
エンコード部１８は、ビデオ信号およびオーディオ信号をエンコードする（Ｓ１８）。

【0039】

＜配信部１９＞
配信部１９は、（エンコードされた）ビデオ信号およびオーディオ信号を配信する（Ｓ１９）。

【実施例2】

【0040】

上記の実施例１の配信装置１によれば、ビデオ信号とオーディオ信号のうち、ビデオ信号が遅延している場合は、オーディオ遅延部１７が1サンプル単位で遅延量を調整することができる。例えば、サンプリング周波数が４８ｋＨｚの場合は、１サンプル単位＝０．０２ｍｓに相当する。

【0041】

一方、オーディオ信号が遅延している場合は、ビデオ遅延部１６が1フレーム単位で遅延量を調整することができる。例えば、動画が３０ｆｐｓの場合は１フレーム長＝３３ｍｓ単位でしか遅延量を調整できない。

【0042】

上記の課題を解決するために、実施例２の配信装置２は、フレーム単位とサンプル単位それぞれの遅延量を組み合わせて、所望の遅延量となるように遅延量を調整できるように構成されている。

【0043】

例えば図８に示すように、ユーザがドラッグ操作により入力した遅延量がビデオ信号に対する１０ｍｓの遅延であった場合、前述したビデオ信号＝３０ｆｐｓ、オーディオ信号＝４８ｋＨｚの例を用いれば、配信装置２はビデオ信号を１フレーム（３３ｍｓ）遅延させつつ、オーディオ信号を２３ｍｓ（０．０２ｍｓ×１１５０）遅延させることによって、相対的に１０ｍｓのビデオ信号の遅延を実現することができる。

【0044】

以下、図９を参照して本実施例の配信装置２の機能構成を説明する。同図に示すように本実施例の配信装置２は、ビデオキャプチャ部１１と、オーディオキャプチャ部１２と、ビデオ・フレーム保存部１３と、オーディオ・サンプル保存部１４と、表示部１５と、遅延部２６５と、エンコード部１８と、配信部１９を含む構成であり、遅延部２６５以外の構成については、実施例１と同じである。以下、図１０を参照して遅延部２６５の動作を説明する。

【0045】

＜遅延部２６５＞
遅延部２６５は、表示部１５が表示した操作画面に対するユーザの一連の操作により確定された遅延量（＝所望の遅延量）について、ビデオ信号のフレーム単位と、オーディオ信号のサンプル単位のそれぞれの遅延量を組み合わせて所望の遅延量となるようにビデオ信号とオーディオ信号の双方、またはいずれかを遅延させる（Ｓ２６５）。なお、ユーザの一連の操作により確定された遅延量が０であった場合には、ステップＳ２６５は実行されない。

【0046】

実施例１、２の配信装置１、２によれば、表示部１５が、ビデオ・フレーム列と、オーディオ波形を、時間軸を合わせて操作画面に並列して表示するため、遅延量が目視で確認でき、どのような環境で使用しても同じ結果が得られ、人間の感性に頼らずにリップシンクを設定することができる。また、ビデオキャプチャ部１１およびオーディオキャプチャ部１２が、キュー方式、またはリングバッファ方式でキャプチャを実行するため、効率よくテスト音発生の瞬間をキャプチャすることができる。また表示部１５が、フレームの境界位置を強調表示するガイド線を表示することにより、ユーザによる操作を簡単にすることができ、ユーザの利便性が向上する。また表示部１５が、ユーザが指定したビデオ・フレームを操作画面に拡大表示することにより、ビデオ・フレーム列の閲覧性を向上させることができ、ユーザの利便性が向上する。

【0047】

また、実施例２の配信装置２によれば、ビデオ信号を遅延させる場合であっても、ビデオ信号のフレーム単位と、オーディオ信号のサンプル単位のそれぞれの遅延量を組み合わせて所望の遅延量となるようにビデオ信号とオーディオ信号の双方、またはいずれかを遅延させることにより、所望の遅延量を実現することができる。

【0048】

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

【0049】

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

【0050】

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

【0051】

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

【0052】

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

【0053】

上述の各種の処理は、図１１に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。

【0054】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。

【0055】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0056】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0057】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【要約】

【課題】どのような環境で使用しても同じ結果が得られ、人間の感性に頼らずにリップシンクを設定することができる配信装置を提供する。
【解決手段】配信装置は、キャプチャされたビデオ・フレーム群を時刻順に配列してなるビデオ・フレーム列と、キャプチャされたオーディオ・サンプル群に基づくオーディオ波形を並列して表示する操作画面であって、ビデオ・フレーム列に対するオーディオ波形の位置を時間軸方向に移動させる操作、またはオーディオ波形に対するビデオ・フレーム列の位置を時間軸方向に移動させる操作、およびビデオ信号またはオーディオ信号に対する遅延量を確定させる操作を受け付ける操作画面を表示する表示部を含む。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】