特許 6993869 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-14

(45)【発行日】2022-01-14

(54)【発明の名称】再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 21/44 20110101AFI20220106BHJP

   H04L 67/00 20220101ALI20220106BHJP

【ＦＩ】

H04N21/44

H04L67/00

【請求項の数】 18

(21)【出願番号】P 2017247480

(22)【出願日】2017-12-25

(65)【公開番号】P2019114941

(43)【公開日】2019-07-11

【審査請求日】2020-10-08

(73)【特許権者】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(74)【代理人】

【識別番号】100125645

【弁理士】

【氏名又は名称】是枝 洋介

(74)【代理人】

【識別番号】100166774

【弁理士】

【氏名又は名称】右田 敏之

(72)【発明者】

【氏名】小野 弘道

(72)【発明者】

【氏名】正月 聖児

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２００６－３２５１５６（ＪＰ，Ａ）

【文献】特開２０１０－２２４６６６（ＪＰ，Ａ）

【文献】特表２００６－５０９４０５（ＪＰ，Ａ）

【文献】特開２０１６－０１５５９７（ＪＰ，Ａ）

【文献】特開２００９－２９４６２５（ＪＰ，Ａ）

【文献】特開２０１３－２２３０８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／４４

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

音声時刻情報が付加された音声データ、時間的に前後する２つのフレーム間の差分データ、および動画時刻情報が付加された動画データを受信する通信部と、
前記差分データと、前記２つのフレームのうちの前のフレームとに基づいて生成された後のフレームにより映像を再生する第１映像再生部と、
前記動画データに基づいて生成された時間的に連続する複数のフレームにより映像を再生する第２映像再生部と、
前記音声データに基づいて音声を再生するとともに、前記第２映像再生部が映像を再生している場合には、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を映像に同期させる音声再生部と
を備え、
前記通信部は、さらに前記差分データ及び前記動画データの送信元から、前記差分データ及び前記動画データの一方から他方への受信対象の切替要求を受信し、
前記第１映像再生部及び前記第２映像再生部は、さらに前記通信部によって前記切替要求が受信された場合に、前記第１映像再生部及び第２映像再生部の一方から他方へ映像の再生を切り替える、
再生装置。

【請求項2】

前記音声再生部は、前記第１映像再生部が映像を再生している場合と、前記第２映像再生部が映像を再生している場合とのそれぞれにおいて、共通の音声データにより音声を再生する、
請求項１に記載の再生装置。

【請求項3】

前記通信部は、前記音声データを、コネクションレス型プロトコルにより受信する、
請求項１又は２に記載の再生装置。

【請求項4】

前記通信部は、非圧縮の前記音声データを受信する、
請求項３に記載の再生装置。

【請求項5】

前記通信部は、前記差分データを、コネクション型プロトコルにより受信する、
請求項１乃至４の何れかに記載の再生装置。

【請求項6】

前記通信部は、非圧縮の前記差分データを受信する、
請求項５に記載の再生装置。

【請求項7】

前記通信部は、前記動画データを、コネクション型プロトコルにより受信する、
請求項１乃至６の何れかに記載の再生装置。

【請求項8】

前記通信部は、圧縮された前記動画データを受信する、
請求項７に記載の再生装置。

【請求項9】

前記通信部は、前記映像の再生が切り替えられる場合に、前記差分データ及び前記動画データの両方を同時に受信し、
前記第１映像再生部及び前記第２映像再生部の一方が映像を再生する第１期間と、他方が映像を再生する第２期間との間に設けられた所定の切替期間において、同時に受信された前記差分データ及び前記動画データの一方により生成される映像から他方より生成される映像へと段階的に変化させて再生する移行再生部をさらに備える、
請求項１乃８の何れかに記載の再生装置。

【請求項10】

第１フレームメモリ及び第２フレームメモリを有し、
前記移行再生部は、前記差分データにより生成される画像に対して所定の第１透過率に基づいた透過処理を施して得た第１透過画像を前記第１フレームメモリに格納し、前記動画データにより生成される画像に対して前記第１透過率の補数である第２透過率に基づいた透過処理を施して得た第２透過画像を前記第２フレームメモリに格納し、前記第１透過画像と前記第２透過画像とを合成する、
請求項９に記載の再生装置。

【請求項11】

前記音声再生部は、前記映像の再生が切り替えられる場合に、前記第１映像再生部及び第２映像再生部の一方によって再生される映像に伴って再生される音声のレベルを段階的に小さくし、他方によって再生される映像に伴って再生される音声のレベルを段階的に大きくする、
請求項１乃至１０の何れかに記載の再生装置。

【請求項12】

音声時刻情報が付加された音声データ、時間的に前後する２つのフレーム間の差分データ、および動画時刻情報が付加された動画データを送信するコンテンツ送信装置と、
請求項１乃至１１の何れかに記載の再生装置と
を備える、
遠隔再生システム。

【請求項13】

前記コンテンツ送信装置は、
再生される映像の時間的な変化量を検出する変化量検出部と、
前記変化量検出部によって検出された前記映像の時間的な変化量に基づいて、前記差分データ及び前記動画データの一方から他方へ送信対象を切り替える送信対象切替部と、
前記再生装置に対して、前記差分データ及び前記動画データの一方から他方への受信対象の切替を要求する切替要求部と
を有する、
請求項１２に記載の遠隔再生システム。

【請求項14】

前記コンテンツ送信装置は、
表示される前記映像に対する入力を検出する入力検出部と、
前記入力検出部による前記入力の検出に基づいて、前記差分データ及び前記動画データの一方から他方へ送信対象を切り替える送信対象切替部と、
前記再生装置に対して、前記差分データ及び前記動画データの一方から他方への受信対象の切替を要求する切替要求部と
を有する、
請求項１２又は１３に記載の遠隔再生システム。

【請求項15】

前記コンテンツ送信装置は、
前記差分データによる映像再生及び前記動画データによる映像再生の間での切替指示を受け付ける切替指示受付部と、
前記切替指示受付部によって受け付けられた前記切替指示に基づいて、前記差分データ及び前記動画データの一方から他方へ送信対象を切り替える送信対象切替部と、
前記再生装置に対して、前記差分データ及び前記動画データの一方から他方への受信対象の切替を要求する切替要求部と
を有する、
請求項１２乃至１４の何れかに記載の遠隔再生システム。

【請求項16】

音声時刻情報が付加された音声データと、時間的に前後する２つのフレーム間の差分を示す差分データとを受信し、
受信された前記差分データと、前記２つのフレームのうちの前のフレームとに基づいて生成された後のフレームにより映像を再生し、
受信された音声データに基づいて、前記映像と同時に音声を再生し、
前記差分データによる映像から、時間的に連続する複数のフレームを生成するための動画データによる映像へ切り替える場合に、音声時刻情報が付加された音声データと、動画時刻情報が付加された動画データとを受信し、
前記差分データによる映像の再生を停止し、
受信された前記動画データに基づいて生成された時間的に連続する複数のフレームにより映像を再生し、
受信された音声データに基づいて音声を再生すると共に、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を前記動画データによる映像に同期させる、
再生方法。

【請求項17】

音声時刻情報が付加された音声データ、映像の時間的に前後する２つのフレーム間の差分データ、および動画時刻情報が付加された動画データを受信し、
前記差分データ及び前記動画データの送信元から、前記差分データ及び前記動画データの一方から他方への受信対象の切替要求を受信し、
前記差分データと、前記２つのフレームのうちの前のフレームとに基づいて生成された後のフレームによる第１映像の再生と、前記動画データに基づいて生成された時間的に連続する複数のフレームによる第２映像の再生とを、前記切替要求が受信された場合に、一方から他方へ映像の再生を切り替え、
前記音声データに基づいて音声を再生するとともに、第２映像を再生している場合には、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を第２映像に同期させる、
再生方法。

【請求項18】

コンピュータを、映像及び音声を含むコンテンツを送信するコンテンツ送信装置として機能させるためのコンピュータプログラムであって、
時間的に前後する２つのフレーム間の差分を示す差分データを送信する第１映像送信手段、
動画時刻情報が付加された動画データを送信する第２映像送信手段、
音声時刻情報が付加された音声データを送信する音声送信手段、
前記差分データ及び前記動画データの一方から他方へ送信対象を切り替える送信対象切替手段、及び
前記差分データ及び前記動画データの一方から他方への受信対象の切替を要求する切替要求手段
として前記コンピュータを機能させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ストリーミングにより配信された映像及び音声を再生する再生装置、遠隔再生システム、再生方法、及びコンピュータを再生装置として機能させるコンピュータプログラムに関する。

【背景技術】

【0002】

例えば、学校の授業において、教師が使用する端末装置に出力される映像及び音声と同一の映像及び音声を教室内に設置された大型の表示装置に遠隔再生（ミラーリング）する遠隔再生システムが知られている（例えば、特許文献１）。かかる遠隔再生システムでは、端末装置が自装置で出力している映像及び音声を取り込み映像データ及び音声データを生成し、これらのデータを例えば無線通信により送信する。無線ＬＡＮ（Local Area Network）のアクセスポイント等の再生装置がこれらのデータを受信して再生し、再生装置に接続された表示装置に映像及び音声が出力される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－２１３５４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、低通信量と高画質とを両立するために、画質は低いが単位時間当たりに処理されるデータ量が小さい映像再生処理と、高画質だが単位時間当たりに処理されるデータ量が大きい映像再生処理とを切り替えることが考えられる。しかしながら、このような映像再生処理の切り替えでは、前者に対して後者の再生負荷が高く、データの受信から映像の再生までの遅れ時間が大きい。その一方で、音声の再生負荷は低く再生の遅れ時間が短いため、前者から後者に切り替えた場合に音声に対して映像に遅れが生じるという問題がある。

【0005】

本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記課題を解決できる再生装置、遠隔再生システム、再生方法、及びコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の一の態様の再生装置は、音声時刻情報が付加された音声データ、時間的に前後する２つのフレーム間の差分データ、および動画時刻情報が付加された動画データを受信する通信部と、前記差分データと、前記２つのフレームのうちの前のフレームとに基づいて生成された後のフレームにより映像を再生する第１映像再生部と、前記動画データに基づいて生成された時間的に連続する複数のフレームにより映像を再生する第２映像再生部と、前記音声データに基づいて音声を再生するとともに、前記第２映像再生部が前記映像を再生している場合には、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を前記映像に同期させる音声再生部とを備える。

【0007】

また、本発明の他の態様の遠隔再生システムは、音声時刻情報が付加された音声データ、時間的に前後する２つのフレーム間の差分データ、および動画時刻情報が付加された動画データを送信するコンテンツ送信装置と、上記態様の再生装置とを備える。

【0008】

また、本発明の他の態様の再生方法は、音声時刻情報が付加された音声データと、時間的に前後する２つのフレーム間の差分を示す差分データとを受信し、受信された前記差分データと、前記２つのフレームのうちの前のフレームとに基づいて生成された後のフレームにより映像を再生し、受信された音声データに基づいて、前記映像と同時に音声を再生し、前記差分データによる映像から、時間的に連続する複数のフレームを生成するための動画データによる映像へ切り替える場合に、音声時刻情報が付加された音声データと、動画時刻情報が付加された動画データとを受信し、前記差分データによる映像の再生を停止し、受信された前記動画データに基づいて生成された時間的に連続する複数のフレームにより映像を再生し、受信された音声データに基づいて音声を再生すると共に、前記動画時刻情報と前記音声時刻情報とに基づいて前記音声を前記映像に同期させる。

【0009】

また、本発明の他の態様のコンピュータプログラムは、コンピュータを、映像及び音声を含むコンテンツを送信するコンテンツ送信装置として機能させるためのコンピュータプログラムであって、時間的に前後する２つのフレーム間の差分を示す差分データを送信する第１映像送信手段、動画時刻情報が付加された動画データを送信する第２映像送信手段、音声時刻情報が付加された音声データを送信する音声送信手段、及び前記差分データ及び前記動画データの一方から他方へ映像再生を切り替える場合に、前記第１映像送信手段及び前記第２映像送信手段の一方から他方へ実行対象を切り替える切替手段として前記コンピュータを機能させる。

【発明の効果】

【0010】

本発明によれば、低通信量と高画質とを両立しつつ、映像と音声とのずれを抑制することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態に係る遠隔再生システムの構成を示す模式図。

【図2】実施の形態に係るコンテンツ送信装置の構成を示すブロック図。

【図3】実施の形態に係るコンテンツ送信装置の機能を示す機能ブロック図。

【図4】実施の形態に係る再生装置の構成を示すブロック図。

【図5】実施の形態に係る表示装置の構成を示すブロック図。

【図6】実施の形態に係る再生装置の機能を示す機能ブロック図。

【図7A】実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャート（その１）。

【図7B】実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャート（その２）。

【図7C】実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャート（その３）。

【図7D】実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャート（その４）。

【図8】差分データの生成処理を説明するための図。

【図9】差分モードから動画モードへ切り換える場合における第１透過率α１及び第２透過率α２の変化を示すグラフ。

【図10】差分モードから動画モードへ切り換える場合における音声出力レベルＳＬの変化を示すグラフ。

【図11】動画モードから差分モードへ切り換える場合における第１透過率α１及び第２透過率α２の変化を示すグラフ。

【発明を実施するための形態】

【0012】

以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。

【0013】

本実施の形態では、教師が用いる端末装置であるコンテンツ送信装置において出力される映像及び音声（コンテンツ）と同一の映像及び音声を遠隔再生（ミラーリング）する遠隔再生システムについて説明する。

【0014】

［遠隔再生システムの構成］
図１は、本実施の形態に係る遠隔再生システムの構成を示す模式図である。本実施の形態に係る遠隔再生システムは、例えば、学校、企業の社屋、病院、公民館等の公共施設等に設置される。本実施の形態では、遠隔再生システムが学校に設置された例について説明する。図１に示すように、遠隔再生システム１００は、コンテンツ送信装置２００と、再生装置３００と、表示装置４００とを備える。再生装置３００は、教室内に設置される。コンテンツ送信装置２００はタブレットであり、教師が使用する。コンテンツ送信装置２００は無線ＬＡＮ規格ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃによる無線通信が可能であり、再生装置３００は同無線ＬＡＮ規格による無線通信が可能なアクセスポイントである。各教室及び校長室では再生装置３００により無線ＬＡＮ４５０が構成される。また、再生装置３００は各教室及びその他の部屋（校長室、職員室等）に亘って敷設された有線ＬＡＮ４６０及びインターネット（図示せず）に接続されており、有線ＬＡＮ４６０及びインターネットに接続された通信機器との間で通信が可能である。

【0015】

なお、コンテンツ送信装置２００は、無線ＬＡＮによる無線通信が可能であれば、ラップトップ型のパーソナルコンピュータ、スマートフォン、携帯電話機などであってもよい。

【0016】

コンテンツ送信装置２００の構成について説明する。図２は、コンテンツ送信装置２００の構成を示すブロック図である。コンテンツ送信装置２００は、無線通信部２０１と、表示部２０２と、スピーカ２０３と、入力部２０４と、記憶部２０５と、制御部２０６とを備える。

【0017】

無線通信部２０１は、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃによる無線通信を可能とし、無線通信用のアンテナ２０７を有している。表示部２０２は、ＬＣＤ（liquid crystal display）又は有機ＥＬ（Electro Luminescence）により構成される。また、入力部２０４は、感圧式又は静電容量式の透明なタッチパッド等の位置入力装置である。入力部２０４は表示部２０２の表面に貼付されており、表示部２０２及び入力部２０４が一体型のタッチパネルとして構成される。記憶部２０５は、フラッシュメモリ又はハードディスクなどの不揮発性記憶装置であり、コンテンツ送信用のコンピュータプログラムであるコンテンツ送信プログラム２１０と、動画再生ソフトウェア及びプレゼンテーションソフトウェア等の教育用プログラム２３０とを記憶している。制御部２０６は、ＣＰＵ２６１及びメモリ２６２を備えており、上述した各部を制御する。

【0018】

ＣＰＵ２６１がコンテンツ送信プログラム２１０を実行することにより、タブレットがコンテンツ送信装置２００として機能し、コンテンツ送信装置２００に後述するような動作を実現させる。

【0019】

図３は、本実施の形態に係るコンテンツ送信装置２００の機能を示す機能ブロック図である。図３に示すように、コンテンツ送信装置２００は、通信部２１１と、表示部２１２と、スピーカ２１３と、コンテンツ再生部２１４と、映像取込部２１５と、音声取込部２１６と、変化量検出部２１７と、入力検出部２１８と、切替指示受付部２１９と、送信対象切替部２２０と、切替要求部２２１との各機能を有する。

【0020】

通信部２１１は、上述した無線通信部２０１であり、再生装置３００へコンテンツのデータを送信する。具体的には、通信部２１１は、時間的に前後する２つのフレーム間の差分を示す差分データ、及び時間的に連続する複数のフレームを生成するための動画データを選択的に送信する。また、通信部２１１は、上記の差分データ及び動画データと同時に、音声データを送信する。また、動画データ及び音声データのそれぞれには、タイムスタンプである動画時刻情報及び音声時刻情報のそれぞれが付加される。

【0021】

表示部２１２は上述した表示部２０２であり、スピーカ２１３は上述したスピーカ２０３である。コンテンツ再生部２１４は、動画、プレゼンテーション資料、音声等のコンテンツを再生し、表示部２１２が映像を、スピーカ２１３が音声を出力する。

【0022】

映像取込部２１５は、表示部２１２に表示された映像を取り込み、映像データを生成する。かかる映像取込部２１５は、映像データとして２つのフレームの差分データを生成する機能と、時間的に連続した複数フレームを所定の動画圧縮方法によりエンコードした動画データを生成する機能とを有する。音声取込部２１６は、スピーカ２１３から出力された音声を取り込み、リニアＰＣＭ形式の音声データを生成する。

【0023】

映像取込部２１５により生成された差分データ又は動画データ、及び音声取込部により生成された音声データは、通信部２１１により送信される。再生装置３００がこれらのコンテンツを再生することにより、表示装置４００が映像を表示し、音声を出力する。また、表示装置４００では、後述するようにスタイラス又は指等による入力が可能であり、ユーザから与えられた入力情報が再生装置３００から送信される。通信部２１１は、上記のように差分データ又は動画データ、及び音声データを送信すると共に、かかる入力情報を受信する。

【0024】

変化量検出部２１７は、フレーム間における映像の時間的な変化量、即ち前回のフレームから変化した画素数を検出する。入力検出部２１８は、通信部２１１によって受信された入力情報を監視し、表示される映像に対してユーザから与えられる入力を検出する。例えば、スタイラス又はユーザの指で表示装置４００に対して入力があった場合は、入力検出部２１８がこの入力を検出する。切替指示受付部２１９は、ユーザが表示装置４００に対して差分データ及び動画データの間で映像再生の切替を指示する特定の操作を行った場合に、通信部２１１によって受信された入力情報を通じてこの指示を受け付ける。本実施の形態では、変化量検出部２１７による所定の変化量の検出、入力検出部２１８による所定の入力の検出、及び切替指示受付部２１９による映像の切替指示の受付のそれぞれを、差分データ及び動画データの切替条件とする。つまり、上記の切替条件の何れかが満たされた場合に、送信対象が差分データ及び動画データの一方から他方へ切り替えられる。

【0025】

切替条件は、差分データから動画データへ送信対象を切り替えるための条件である第１切替条件と、動画データから差分データへ送信対象を切り替えるための条件である第２切替条件とを含む。第１切替条件及び第２切替条件については後述する。

【0026】

送信対象切替部２２０は、切替条件が満たされた場合に、再生装置３００への送信対象を差分データ及び動画データの一方から他方へと切り替える。つまり、コンテンツ送信装置２００が差分データを送信している場合において、第１切替条件が満たされたときには、映像取込部２１５により生成される映像データが差分データから動画データへと切り替わり、送信対象が差分データから動画データへと切り替わる。他方、コンテンツ送信装置２００が動画データを送信している場合において、第２切替条件が満たされたときには、映像取込部２１５により生成される映像データが動画データから差分データへと切り替わり、送信対象が動画データから差分データへと切り替わる。

【0027】

切替要求部２２０は、切替条件が満たされた場合に、再生装置３００に対して、差分データ及び動画データの一方から他方へ受信対象の切替を要求する。つまり、コンテンツ送信装置２００が差分データを送信している場合において、第１切替条件が満たされたときには、切替要求部２２０が動画データへの受信対象の切替要求を通信部２１１に送信させる。他方、コンテンツ送信装置２００が動画データを送信している場合において、第２切替条件が満たされたときには、切替要求部２２０が動画データへの受信対象の切替要求を通信部２１１に送信させる。

【0028】

ここで、再生装置３００では、映像再生の切替において、差分データ及び動画データの一方により生成される映像から他方より生成される映像へと段階的に変化させる移行再生処理が行われる。この処理では差分データと動画データの両方が同時に使用される。このため、通信部２１１は、切替条件が満たされてから一定の切替期間、差分データと動画データ（それぞれ同一のフレームを含む）を同時に送信し、切替期間経過後に、切替後の映像再生に使用されるデータのみを送信する。移行再生処理の詳細は後述する。

【0029】

次に、再生装置３００の構成について説明する。図３は、再生装置３００の構成を示すブロック図である。図４に示すように、再生装置３００は、無線通信部３０１と、有線通信部３０２と、制御部３０３と、外部出力部３０４と、外部接続端子３０５とを備える。

【0030】

無線通信部３０１は、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃによる無線通信を可能とし、無線通信用のアンテナ３０６を有している。有線通信部３０２は、Ｅｔｈｅｒｎｅｔの通信インタフェースであり、有線ＬＡＮ４６０に接続されている。制御部３０３は、ＣＰＵ３３１及びメモリ３３２を備えており、無線通信部３０１及び有線通信部３０２による通信を制御する。また、メモリ３３２には、第１フレームメモリ３４１と第２フレームメモリ３４２との２つのフレームメモリが含まれる。

【0031】

外部出力部３０４は、ＨＤＭＩ（登録商標、High-Definition Multimedia Interface）端子であり、表示装置４００に接続され、表示装置４００に映像信号及び音声信号を出力して映像及び音声を出力させることができる。外部接続端子４０５は、ＵＳＢ（Universal Serial Bus）端子である。かかる外部接続端子４０５もまた、表示装置４００に接続される。

【0032】

図５は、表示装置４００の構成を示すブロック図である。表示装置４００は、表示部４０１と、スピーカ４０２と、入力部４０３と、外部入力部４０４と、外部接続端子４０５と、制御部４０６とを備える。表示部４０１は大型のＬＣＤ又は有機ＥＬパネルであり、かかる表示部４０１により映像を、スピーカ４０２により音声を出力することによりクラスの全員がコンテンツを視聴できる。入力部４０３は、感圧式又は静電容量式の透明なタッチパッド等の位置入力装置である。入力部４０３は表示部４０１の表面に貼付されており、表示部４０１及び入力部２０４が一体型のタッチパネルとして構成される。

【0033】

外部入力部４０４はＨＤＭＩ端子であり、外部接続端子４０５はＵＳＢ端子である。外部入力部４０４及び外部接続端子４０５は再生装置３００の外部出力部３０４及び外部接続端子３０５のそれぞれに接続される。外部入力部４０４は、再生装置３００から出力された映像信号及び音声信号を受信し、外部接続端子４０５は、入力部４０３からの出力信号を再生装置３００へ送信する。

【0034】

制御部４０６は、ＣＰＵ及びメモリ又はＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の半導体回路を有しており、上記の各部を制御する機能を有する。かかる制御部４０６は、外部入力部４０４に入力された映像信号及び音声信号に基づいて表示部４０１に映像を表示させ、スピーカ４０２に音声を出力させる。

【0035】

図６は、本実施の形態に係る再生装置の機能を示す機能ブロック図である。図６に示すように、再生装置３００は、通信部３１１と、第１映像再生部３１２と、第２映像再生部３１３と、音声再生部３１４と、移行再生部３１５との各機能を有する。

【0036】

通信部３１１は、上述した無線通信部３０１であり、コンテンツ送信装置２００からコンテンツのデータを受信する。具体的には、通信部３１１は、時間的に前後する２つのフレーム間の差分を示す差分データ、及び時間的に連続する複数のフレームを生成するための動画データを選択的に受信する。また、通信部３１１は、上記の差分データ及び動画データと同時に、音声データを受信する。また、動画データ及び音声データのそれぞれには、時刻情報であるタイムスタンプが付加される。

【0037】

第１映像再生部３１２は、２つのフレームの差分データと、２つのフレームのうちの前のフレームとに基づいて後のフレームを生成し、出力することにより映像を再生する。第２映像再生部３１３は、動画データに基づいて複数のフレームを生成し、これらのフレームを時間的に連続して出力することにより映像を再生する。音声再生部３１４は、音声データに基づいて音声を再生する。なお、ここでいう「再生」とは、差分データ及び動画データ、並びに音声データを処理して映像信号及び音声信号を生成し、生成された映像信号及び音声信号を出力することをいう。以下の説明では、第１映像再生部３１２による映像再生、即ち、差分データによる映像再生を行う動作モードを「差分モード」といい、第２映像再生部３１３による映像再生、即ち、動画データによる映像再生を行う動作モードを「動画モード」という。

【0038】

音声再生部３１４は、差分モードで映像を再生している場合には、時刻情報を用いずに、音声データが受信される都度、音声データを処理して音声を再生する。他方、動画モードで映像を再生している場合、音声再生部３１４は、動画データに付加されたタイムスタンプと、音声データに付加されたタイムスタンプとに基づいて、映像に同期させて音声を再生する。音声再生部３１４は、共通の音声データを使用して、差分モード及び動画モードのそれぞれで音声を再生する。

【0039】

上述したように、差分データ及び動画データの一方による映像再生から他方による映像再生へと切り替える場合に、コンテンツ再生装置３００が受信対象の切替要求を送信する。通信部３１１は、この切替要求を受信すると、差分データ及び動画データの一方から他方へと受信対象を切り替える。

【0040】

コンテンツ送信装置２００は、切替条件が満たされてから一定の切替期間、差分データと動画データを同時に送信し、通信部３１１がこれらを同時に受信する。移行再生部３１５は、同時に受信された差分データ及び動画データの一方により生成される映像から他方より生成される映像へと段階的に変化させて再生する移行再生処理を実行する。以下、この移行再生処理を実行する動作モードを「移行モード」という。具体的には、移行モードでは、移行再生部３１５は、差分データから生成されたフレームに第１透過率α１に基づく透過処理を施して第１透過画像を生成し、動画データから生成されたフレームに第１透過率α１の補数である第２透過率α２（つまり、α２＝１－α１）に基づく透過処理を施して第２透過画像を生成し、第１透過画像と第２透過画像とを合成して合成画像を生成、つまりαブレンドを実行する。切替期間の始期から終期にわたって第１透過率α１を１から０へ、又は０から１へ（つまり、第２透過率α２を０から１へ、又は１から０へ）と変化させることで、差分データ及び動画データの一方により生成される映像から、他方により生成される映像へと段階的に変化する。

【0041】

移行再生部３１５は、上記の移行再生処理を、第１映像再生部３１２及び第２映像再生部３１３の一方が映像を再生する第１期間と、他方が映像を再生する第２期間との間に設けられた切替期間に実行する。つまり、差分モードから動画モードへと切り替える場合、第１期間の終期、即ち切替期間の始期において、第１透過率α１を１とし、第２透過率α２を０としてαブレンドを開始し、徐々に第１透過率α１を０へ、第２透過率α２を１へと近づけながらαブレンドを逐次実行し、切替期間の終期、即ち第２期間の始期において第１透過率α１を０とし、第２透過率α２を１としてαブレンドを実行する。他方、動画モードから差分モードへと切り替える場合、第１期間の終期、即ち切替期間の始期において、第１透過率α１を０とし、第２透過率α２を１としてαブレンドを開始し、徐々に第１透過率α１を１へ、第２透過率α２を０へと近づけながらαブレンドを逐次実行し、切替期間の終期、即ち第２期間の始期において第１透過率α１を１とし、第２透過率α２を０としてαブレンドを実行する。

【0042】

音声再生部３１４は、上記の切替期間の間、第１映像再生部及び第２映像再生部の一方によって再生される映像に伴って再生される音声のレベルを段階的に小さくし、他方によって再生される映像に伴って再生される音声のレベルを段階的に大きくする。つまり、第１期間に再生されていた映像に伴って再生される音声を切替期間においてフェードアウトさせ、第２期間に再生される映像に伴って再生される音声を切替期間においてフェードインさせる。

【0043】

［遠隔再生システムの動作］
次に、本実施の形態に係る遠隔再生システム１００の動作について説明する。本実施の形態に係る遠隔再生システム１００では、コンテンツ送信装置２００と、再生装置３００とがコネクション型プロトコルであるＴＣＰ（Transmission Control Protocol)）及びコネクションレス型プロトコルであるＵＤＰ（User Datagram Protocol）を用いて無線ＬＡＮによりコンテンツの送受を行う。音声データの送受にはＵＤＰが用いられ、差分データ及び動画データの送受にはＴＣＰが用いられる。再生装置３００が受信されたコンテンツを再生し、映像及び音声を表示装置４００に出力させる。

【0044】

図７Ａ～図７Ｄは、本実施の形態に係る遠隔再生システムによるコンテンツの遠隔再生の手順を示すフローチャートである。例として、学校の教師（以下、「ユーザ」という）が授業を行う場合を考える。ユーザはコンテンツ送信装置２００のコンテンツ送信プログラム２１０を起動し、また、教育用プログラム２３０を起動する。教育用プログラム２３０を実行すると、動画が再生されたり、プレゼンテーションのスライドが再生されたりして、映像が再生装置２００の表示部２０２に表示される。また、動画又はスライドに付属する音声がスピーカ２０３から出力される。

【0045】

コンテンツ送信プログラム２１０が実行されると、まず、ＣＰＵ２６１は差分モードで動作する。ＣＰＵ２６１は、表示部２０２に表示されている映像を取り込み、最初の１フレーム又は数フレーム分の映像データを生成する（ステップＳ１０１）。次にＣＰＵ２６１は、生成された映像データによってＴＣＰパケットを生成する。このとき、非圧縮の映像データにＴＣＰヘッダが付加されて、ＴＣＰパケットが生成される。さらにＣＰＵ２６１は、ＴＣＰパケットにＩＰヘッダを付加してＩＰパケットを生成し、さらにＭＡＣヘッダ、物理ヘッダ等を付加して映像データを含む無線ＬＡＮフレーム（以下、「初期映像パケット」という）を生成する（ステップＳ１０２）。なお、この初期映像パケットの宛先は再生装置３００のＩＰアドレスとされる。ＣＰＵ２６１は、生成された初期映像パケットを無線通信部２０１にＴＣＰにより送信させる（ステップＳ１０３）。送信された初期映像データは、再生装置３００によって受信される（ステップＳ１０４）。

【0046】

次にＣＰＵ２６１は、表示部２０２に表示されている映像及びスピーカ２０３から出力されている音声を取り込み、映像データ及び音声データを生成する（ステップＳ１０５）。ＣＰＵ２６１は、前回のフレーム（つまり、前回送信された映像データ。以下、「前回フレーム」という。）と今回取り込まれたフレーム（以下、「今回フレーム」という。）の差分データを生成する（ステップＳ１０６）。この処理では、前回フレームと今回フレームとの対応する画素同士の輝度値（ＲＧＢ値）の差分が演算され、その演算結果に基づいて差分データが生成される。図８は、差分データの生成処理を説明するための図である。前回フレーム５０１と今回フレーム５０２とでは、差異部５０３を除き各画素の輝度値は同一である。したがって、前回フレーム５０１と今回フレーム５０２との間で各画素の輝度値の差を取ると、差異部５０３を除きその値が０となる。ＣＰＵ２６１は、輝度の差が０の画素の情報を取り除いて差分データを生成する。このため、差分データには、差異部５０３の情報のみが含まれることになり、情報量が抑制される。

【0047】

ＣＰＵ２６１は、生成された差分データによってＴＣＰパケットを生成する。このとき、非圧縮の差分データにＴＣＰヘッダが付加されて、ＴＣＰパケットが生成される。さらにＣＰＵ２６１は、ＴＣＰパケットにＩＰヘッダを付加してＩＰパケットを生成し、さらにＭＡＣヘッダ、物理ヘッダ等を付加して差分データを含む無線ＬＡＮフレーム（以下、「差分パケット」という）を生成する（ステップＳ１０７）。差分パケットの宛先もまた再生装置３００のＩＰアドレスとされる。ＣＰＵ２６１は、生成された差分パケットを無線通信部２０１にＴＣＰにより送信させる（ステップＳ１０８）。

【0048】

また、ＣＰＵ２６１は、リニアＰＣＭ（Pulse Code Modulation）形式の音声データにＵＤＰヘッダを付加し、ＵＤＰパケットを生成する。リニアＰＣＭ形式は非圧縮の音声データ形式である。ＣＰＵ２６１は、かかるＵＤＰパケットにＩＰヘッダを付加してＩＰパケットを生成し、さらにＭＡＣヘッダ、物理ヘッダ等を付加して音声データを含む無線ＬＡＮフレーム（以下、「音声パケット」という）を生成する（ステップＳ１０９）。かかる音声パケットには、時刻情報であるタイムスタンプが含まれる。また、音声パケットの宛先は再生装置３００のＩＰアドレスとされる。ＣＰＵ２６１は、生成された音声パケットを無線通信部２０１にＵＤＰにより送信させる（ステップＳ１１０）。

【0049】

再生装置３００は、コンテンツ送信装置２００から送信された差分パケット及び音声パケットを受信する（ステップＳ１１１，Ｓ１１２）。再生装置３００のＣＰＵ３３１は、受信された差分パケットから差分データを抽出し、差分データがある箇所（画素）を前回フレームから差分データに置き換えて今回フレームの映像データを生成し（ステップＳ１１３）、映像を再生する（ステップＳ１１４）。具体的には、ＣＰＵ２６１は、生成された映像データを第１フレームメモリ３４１に書き込み、第１フレームメモリ３４１の映像データを映像信号として外部出力部３０４から表示装置４００へ出力する。これにより、差分モードでの映像再生が行われる。

【0050】

また、ＣＰＵ３３１は、受信された音声パケットから音声データを抽出し、音声を再生する（ステップＳ１１５）。つまり、ＣＰＵ２６１は音声データから音声信号を生成し、外部出力部３０４から表示装置４００へ出力する。以上により、表示装置４００の表示部４０１に映像が表示され、スピーカ４０２から音声が出力される。

【0051】

表示装置４００において、ユーザはスタイラス又は指で画面に対して入力を行うことがある。このようにしてユーザから与えられた入力を入力部４０３が受け付け、外部接続端子４０５を通じて再生装置３００へと入力情報を送信する。再生装置３００のＣＰＵ３３１は、ユーザから入力が与えられたか否かを判定し（ステップＳ１１６）、入力が与えられた場合には（ステップＳ１１６においてＹＥＳ）、入力情報をコンテンツ送信装置２００へ送信する（ステップＳ１１７）。他方、ユーザから入力が与えられていない場合には（ステップＳ１１６においてＮＯ）、ＣＰＵ３３１はステップＳ１２０へと処理を移す。

【0052】

コンテンツ送信装置２００は、入力情報を受信すると、ユーザによる入力を映像に反映させて表示する。例えば、表示装置４００においてユーザが画面に手書き入力を行った場合は、入力された文字を含む映像が再生装置２００の表示部２０２に表示される。

【0053】

コンテンツ送信装置２００のＣＰＵ２６１は、差分データから動画データへの送信対象の切替条件である第１切替条件を満足しているか否かを判定する（ステップＳ１１８）。

【0054】

ここで、第１切替条件について説明する。第１切替条件には、以下の（１）～（２）の２つの条件を含み、これらの条件のうちのどちらかが満たされた場合に、第１切替条件が満たされたとされる。
（１）映像変化量が所定の基準値を超える。
（２）ユーザから動画モードへの切替指示が与えられる。

【0055】

条件（１）について説明する。コンテンツ送信装置２００のＣＰＵ２６１は、前回フレームと今回フレームとの間で輝度値（ＲＧＢ値）に差異がある画素を検出し、その画素数を計数して映像変化量とする。差分モードでは、データ通信量が少ないが、滑らかに動画を表示することは困難である。他方、動画モードでは、データ圧縮処理に必要な時間が大きくなる。このため、時間的に大きく変化する映像は動画モードが適しており、時間的な変化が少ない映像は差分モードが適している。したがって、コンテンツ送信装置２００は映像変化量を検出し、この映像変化量が所定の基準値を超える場合には、送信対象を差分データから動画データに切り換える。

【0056】

条件（２）について説明する。本実施の形態では、差分モードから動画モードへの切替を指示するためのユーザ操作が規定されている。例えば、当該ユーザ操作は、画面（つまり、入力部４０３）を特定の方向になぞる操作、又は、表示画面に含まれる差分モードから動画モードへの切替を選択するための選択部を選択する操作等で実現される。入力部４０３にこの操作入力が与えられると、コンテンツ送信装置２００のＣＰＵ２６１には差分モードから動画モードへの切替指示が与えられる。

【0057】

上記の第１切替条件が満足されていない場合（ステップＳ１１８においてＮＯ）、ＣＰＵ２６１は、ステップＳ１０５へ処理を戻す。これにより、ステップＳ１０５～Ｓ１１０及びステップＳ１１８の処理が繰り返され、継続して差分データ及び音声データの送信が行われる。他方、第１切替条件が満足されている場合（ステップＳ１１８においてＹＥＳ）、ＣＰＵ２６１は、差分データから動画データへの受信対象の切替要求（以下、「受信対象切替要求」という）を再生装置３００に送信する（ステップＳ１１９）。

【0058】

再生装置３００のＣＰＵ３３１は、受信対象切替要求を受信したか否かを判定する（ステップＳ１２０）。再生装置３００が受信対象切替要求を受信していない場合（ステップＳ１２０においてＮＯ）、ＣＰＵ３３１は、ステップＳ１１１に処理を戻す。これにより、ステップＳ１１１～Ｓ１１７及びステップＳ１２０の処理が繰り返され、差分データによる映像再生及び音声データによる音声再生が継続して実行される。

【0059】

コンテンツ送信装置２００のＣＰＵ２６１は、受信対象切替要求を送信した後、以下のようにして、所定の切替期間において差分データと動画データとの両方を再生装置３００へ送信する。まず、ＣＰＵ２６１は切替期間を開始する（ステップＳ１２１）。次にＣＰＵ２６１は、表示部２０２に表示されている映像及びスピーカ２０３から出力されている音声を取り込み、映像データ及び音声データを生成する（ステップＳ１２２）。

【0060】

ＣＰＵ２６１は、ステップＳ１０６～１０８と同様にして、差分データを生成し（ステップＳ１２３）、差分パケットを生成し（ステップＳ１２４）、差分パケットをＴＣＰにより無線通信部２０１に送信させる（ステップＳ１２５）。

【0061】

また、ＣＰＵ２６１は、時間的に連続する複数のフレームを動画圧縮規格であるＨ．２６４に規定される動画圧縮方法によってエンコードし、動画データを生成する（ステップＳ１２６）。なお、本実施の形態ではＨ．２６４形式の動画データを生成する構成について述べるが、これに限定されるものではなく、他の動画圧縮形式、例えば、Ｄｉｖｘ、Ｘｖｉｄ、ＶＰ９、ＭＰＥＧ－４等の動画データを生成する構成としてもよい。

【0062】

ＣＰＵ２６１は、生成された動画データによってＴＣＰパケットを生成する。さらにＣＰＵ２６１は、ＴＣＰパケットにＩＰヘッダを付加してＩＰパケットを生成し、さらにＭＡＣヘッダ、物理ヘッダ等を付加して動画データを含む無線ＬＡＮフレーム（以下、「動画パケット」という）を生成する（ステップＳ１２７）。かかる動画パケットには、動画時刻情報であるタイムスタンプが含まれる。また、動画パケットの宛先もまた再生装置３００のＩＰアドレスとされる。ＣＰＵ２６１は、生成された動画パケットを無線通信部２０１にＴＣＰにより送信させる（ステップＳ１２８）。

【0063】

またＣＰＵ２６１は、ステップＳ１０９～１１０と同様にして、音声パケットを生成し（ステップＳ１２９）、音声パケットをＵＤＰにより無線通信部２０１に送信させる（ステップＳ１３０）。

【0064】

ＣＰＵ２６１は、切替期間が終了したか否かを判定し（ステップＳ１３１）、終了していない場合には（ステップＳ１３１においてＮＯ）、ステップＳ１２２へ処理を戻す。これにより、切替期間が終了するまで差分データ及び動画データの両方がコンテンツ送信装置２００から継続して送信される。

【0065】

一方、再生装置３００において受信対象切替要求が受信された場合（ステップＳ１２０においてＹＥＳ）、ＣＰＵ３３１が切替期間を開始する（ステップＳ１３２）。さらに再生装置３００は、コンテンツ送信装置２００から送信された差分パケット、動画パケット、及び音声パケットのそれぞれを受信する（ステップＳ１３３～Ｓ１３５）。ＣＰＵ３３１は、第１透過率α１及び第２透過率α２、並びに音声出力レベルＳＬを設定する（ステップＳ１３６）。差分モードから動画モードへ切り換えられる場合の第１透過率α１の初期値は「１」であり、第２透過率α２の初期値は「０」である。また、音声出力レベルＳＬの初期値は、差分モードにおける音声出力レベルと同一値である。

【0066】

次にＣＰＵ３３１は、受信された差分パケットから差分データを抽出し、前回フレームと差分データとの輝度値を画素毎に加算して今回フレームの映像データを生成する（ステップＳ１３７）。生成された映像データは第１フレームメモリ３４１に書き込まれる。さらにＣＰＵ３３１は、第１フレームメモリ３４１に記憶された映像データの各画素の輝度値に第１透過率α１を乗じ、第１透過画像を生成する（ステップＳ１３８）。

【0067】

また、ＣＰＵ３３１は、受信された動画パケットから動画データを抽出し、動画データをデコードしてフレームの映像データを生成する（ステップＳ１３９）。生成された映像データは第２フレームメモリ３４２に書き込まれる。さらにＣＰＵ３３１は、第２フレームメモリ３４２に記憶された映像データの各画素の輝度値に第２透過率α２を乗じ、第２透過画像を生成する（ステップＳ１４０）。

【0068】

ＣＰＵ３３１は、第１透過画像と第２透過画像とを合成し、合成画像の映像信号を外部出力部３０４から表示装置４００へ出力する（ステップＳ１４１）。これにより、移行モードでの映像再生が行われる。

【0069】

またＣＰＵ３３１は、受信された音声パケットから音声データを抽出し、設定された音声出力レベルＳＬで音声を再生する（ステップＳ１４２）。つまり、ＣＰＵ２６１は音声データから音声信号を生成し、外部出力部３０４から表示装置４００へ出力する。

【0070】

次にＣＰＵ３３１は、切替期間が終了したか否かを判定し（ステップＳ１４３）、切替期間が終了していない場合には（ステップＳ１４３においてＮＯ）、ステップＳ１３３へ処理を戻す。これにより、ステップＳ１３３～Ｓ１４３の処理が繰り返され、映像のαブレンドが継続して実行される。この切替期間において、第１透過率α１及び第２透過率α２、並びに音声出力レベルＳＬは徐々に変更される。

【0071】

図９は、差分モードから動画モードへ切り換える場合における第１透過率α１及び第２透過率α２の変化を示すグラフである。図９において、縦軸は透過率を示し、横軸は時間を示す。図９に示すように、切替期間の始期において第１透過率α１は１であり、第２透過率α２は０である。切替期間が進行するにしたがい、第１透過率α１は漸減し、第２透過率α２は漸増する。切替期間の終期においては、第１透過率α１は０になり、第２透過率α２は１になる。このように第１透過率α１及び第２透過率α２を変化させることにより、切替期間において差分データによる映像から動画データによる映像へと徐々に切り替わる。

【0072】

図１０は、差分モードから動画モードへ切り換える場合における音声出力レベルＳＬの変化を示すグラフである。図１０において、縦軸は音声出力レベルＳＬを示し、横軸は時間を示す。図１０に示すように、切替期間の始期において音声出力レベルＳＬは最大であり、切替期間が進行するにしたがって音声出力レベルＳＬが漸減し、切替期間の中間において、音声出力レベルＳＬが０となる。これにより、音声がフェードアウトする。また、切替期間の中間からさらに時間が進行すると、音声出力レベルＳＬは漸増し、切替期間の終期において音声出力レベルＳＬが最大となる。これにより、音声がフェードインする。また、ＣＰＵ３３１は、音声データに付加されるタイムスタンプと動画データに付加されるタイムスタンプとにより、動画データによる映像に音声を同期させる。

【0073】

図７Ｂを参照する。コンテンツ送信装置２００は、切替期間が終了した場合（ステップＳ１３１においてＹＥＳ）、以下のようにして動画パケット及び音声パケットを再生装置３００へ送信する。まず、ＣＰＵ２６１は、表示部２０２に表示されている映像及びスピーカ２０３から出力されている音声を取り込み、映像データ及び音声データを生成する（ステップＳ１４４）。さらにＣＰＵ２６１は、ステップＳ１２６～Ｓ１２８と同様にして、動画データを生成し（ステップＳ１４５）、動画パケットを生成し（ステップＳ１４６）、動画パケットをＴＣＰにより無線通信部２０１に送信させる（ステップＳ１４７）。

【0074】

またＣＰＵ２６１は、ステップＳ１０９～１１０と同様にして、音声パケットを生成し（ステップＳ１４８）、音声パケットをＵＤＰにより無線通信部２０１に送信させる（ステップＳ１４９）。

【0075】

他方、再生装置３００において切替期間が終了した場合（ステップＳ１４３においてＹＥＳ）、再生装置３００は、コンテンツ送信装置２００から送信された動画パケット及び音声パケットを受信する（ステップＳ１５０，Ｓ１５１）。再生装置３００のＣＰＵ３３１は、受信された動画パケットから動画データを抽出し、動画データをデコードしてフレームの映像データを生成し（ステップＳ１５２）、映像を再生する（ステップＳ１５３）。具体的には、ＣＰＵ２６１は、生成された映像データを第２フレームメモリ３４２に書き込み、第２フレームメモリ３４２の映像データを映像信号として外部出力部３０４から表示装置４００へ出力する。これにより、動画モードでの映像再生が行われる。

【0076】

また、ＣＰＵ３３１は、受信された音声パケットから音声データを抽出し、音声を再生する（ステップＳ１５４）。つまり、ＣＰＵ２６１は音声データから音声信号を生成し、外部出力部３０４から表示装置４００へ出力する。このとき、ＣＰＵ３３１は、動画データに付加されたタイムスタンプと、音声データに付加されたタイムスタンプとを用いて、音声を映像に同期させる。以上により、表示装置４００の表示部４０１に映像が表示され、スピーカ４０２から音声が出力される。

【0077】

ＣＰＵ３３１は、入力部４０３に対してユーザから入力が与えられたか否かを判定し（ステップＳ１５５）、入力が与えられた場合には（ステップＳ１５５においてＹＥＳ）、入力情報をコンテンツ送信装置２００へ送信する（ステップＳ１５６）。他方、ユーザから入力が与えられていない場合には（ステップＳ１５５においてＮＯ）、ＣＰＵ３３１はステップＳ１５９へと処理を移す。

【0078】

コンテンツ送信装置２００のＣＰＵ２６１は、動画データから差分データへの送信対象の切替条件である第２切替条件を満足しているか否かを判定する（ステップＳ１５７）。

【0079】

ここで、第２切替条件について説明する。第２切替条件には、以下の（３）～（５）の３つの条件を含み、これらの条件のうちのどちらかが満たされた場合に、第２切替条件が満たされたとされる。
（３）映像変化量が所定の基準値を超えないまま、所定の第１判定期間を超える。
（４）所定の第２判定期間以上継続して画面に対するユーザの入力が検出される。
（５）ユーザから差分モードへの切替指示が与えられる。

【0080】

条件（３）について説明する。上述したように、時間的大きく変化する映像は動画モードが適しており、時間的な変化が少ない映像は差分モードが適している。したがって、コンテンツ送信装置２００は映像変化量を検出し、この映像変化量が継続して第１判定期間以上基準値を超えない場合には、送信対象を動画データから差分データに切り換える。

【0081】

条件（４）について説明する。コンテンツ送信装置２００のＣＰＵ２６１は、再生装置３００から与えられる入力情報により、入力部４０３に対する操作を監視する。ＣＰＵ３３１は、第２判定期間以上継続して入力部４０３に対する操作が与えられている場合に、映像に対する所定の入力を検出する。例えば、ユーザが表示装置４００を電子黒板として使用し、スタイラスによって画面に文字を描く、即ち手書き入力を行うことがある。このような手書き入力は、可能な限り遅延なくユーザの入力を表示に反映させることが重要である。このため、映像の再生に遅れが生じる動画データによる映像再生よりも、遅延が少ない差分データによる映像再生が適している。したがって、コンテンツ送信装置２００は、第２判定期間以上継続して映像に対するユーザ入力を検出した場合には、送信対象を動画データから差分データに切り換える。

【0082】

条件（５）について説明する。本実施の形態では、動画モードから差分モードへの切替を指示するためのユーザ操作が規定されている。例えば、当該ユーザ操作は、画面（つまり、入力部４０３）を特定の方向になぞる操作、又は、表示画面に含まれる動画モードから差分モードへの切替を選択するための選択部を選択する操作等で実現される。入力部４０３にこの操作入力が与えられると、コンテンツ送信装置２００のＣＰＵ２６１には動画モードから差分モードへの切替指示が与えられる。

【0083】

上記の第２切替条件が満足されていない場合（ステップＳ１５７においてＮＯ）、ＣＰＵ２６１は、ステップＳ１４４へ処理を戻す。これにより、ステップＳ１４４～Ｓ１４９及びステップＳ１５７の処理が繰り返され、継続して動画データ及び音声データの送信が行われる。他方、第２切替条件が満足されている場合（ステップＳ１５７においてＹＥＳ）、ＣＰＵ２６１は、動画データから差分データへの受信対象の切替要求（受信対象切替要求）を再生装置３００に送信する（ステップＳ１５８）。

【0084】

再生装置３００のＣＰＵ３３１は、受信対象切替要求を受信したか否かを判定する（ステップＳ１５９）。再生装置３００が受信対象切替要求を受信していない場合（ステップＳ１５９においてＮＯ）、ＣＰＵ３３１は、ステップＳ１５０に処理を戻す。これにより、ステップＳ１５０～Ｓ１５６及びステップＳ１５９の処理が繰り返され、動画データによる映像再生及び音声データによる音声再生が継続して実行される。

【0085】

コンテンツ送信装置２００のＣＰＵ２６１は、受信対象切替要求を送信した後、ステップＳ１２１～Ｓ１３１と同様にして、所定の切替期間において差分データ及び動画データ、並びに音声データを再生装置３００へ送信する（ステップＳ１６０～Ｓ１７０）。

【0086】

一方、再生装置３００において受信対象切替要求が受信された場合（ステップＳ１２０においてＹＥＳ）、ＣＰＵ３３１が切替期間を開始する（ステップＳ１７１）。さらに再生装置３００は、コンテンツ送信装置２００から送信された差分パケット、動画パケット、及び音声パケットのそれぞれを受信する（ステップＳ１７２～Ｓ１７４）。ＣＰＵ３３１は、第１透過率α１及び第２透過率α２、並びに音声出力レベルＳＬを設定する（ステップＳ１７５）。動画モードから差分モードへ切り換えられる場合の第１透過率α１の初期値は「０」であり、第２透過率α２の初期値は「１」である。また、音声出力レベルＳＬの初期値は、動画モードにおける音声出力レベルと同一値である。

【0087】

次にＣＰＵ３３１は、受信された差分パケットから差分データを抽出し、前回フレームと差分データとの輝度値を画素毎に加算して今回フレームの映像データを生成する（ステップＳ１７６）。生成された映像データは第１フレームメモリ３４１に書き込まれる。さらにＣＰＵ３３１は、第１フレームメモリ３４１に記憶された映像データの各画素の輝度値に第１透過率α１を乗じ、第１透過画像を生成する（ステップＳ１７７）。

【0088】

また、ＣＰＵ３３１は、受信された動画パケットから動画データを抽出し、動画データをデコードしてフレームの映像データを生成する（ステップＳ１７８）。生成された映像データは第２フレームメモリ３４２に書き込まれる。さらにＣＰＵ３３１は、第２フレームメモリ３４２に記憶された映像データの各画素の輝度値に第２透過率α２を乗じ、第２透過画像を生成する（ステップＳ１７９）。

【0089】

ＣＰＵ３３１は、第１透過画像と第２透過画像とを合成し、合成画像の映像信号を外部出力部３０４から表示装置４００へ出力する（ステップＳ１８０）。これにより、移行モードでの映像再生が行われる。

【0090】

またＣＰＵ３３１は、受信された音声パケットから音声データを抽出し、設定された音声出力レベルＳＬで音声を再生する（ステップＳ１８１）。つまり、ＣＰＵ３３１は音声データから音声信号を生成し、外部出力部３０４から表示装置４００へ出力する。

【0091】

次にＣＰＵ３３１は、切替期間が終了したか否かを判定し（ステップＳ１８２）、切替期間が終了していない場合には（ステップＳ１８２においてＮＯ）、ステップＳ１７２へ処理を戻す。これにより、ステップＳ１７２～Ｓ１８２の処理が繰り返され、映像のαブレンドが継続して実行される。この切替期間において、第１透過率α１及び第２透過率α２、並びに音声出力レベルＳＬは徐々に変更される。

【0092】

図１１は、動画モードから差分モードへ切り換える場合における第１透過率α１及び第２透過率α２の変化を示すグラフである。図１１において、縦軸は透過率を示し、横軸は時間を示す。図１１に示すように、切替期間の始期において第１透過率α１は０であり、第２透過率α２は１である。切替期間が進行するにしたがい、第１透過率α１は漸増し、第２透過率α２は漸減する。切替期間の終期においては、第１透過率α１は１になり、第２透過率α２は０になる。このように第１透過率α１及び第２透過率α２を変化させることにより、切替期間において動画データによる映像から差分データによる映像へと徐々に切り替わる。

【0093】

動画モードから差分モードへの切替期間においては、差分モードから動画モードへ切替期間と同様に音声出力レベルＳＬが変化する。即ち、切替期間の始期において音声出力レベルＳＬは最大であり、切替期間が進行するにしたがって音声出力レベルＳＬが漸減し、切替期間の中間において、音声出力レベルＳＬが０となる。これにより、音声がフェードアウトする。また、切替期間の中間からさらに時間が進行すると、音声出力レベルＳＬは漸増し、切替期間の終期において音声出力レベルＳＬが最大となる。これにより、音声がフェードインする。また、ＣＰＵ３３１は、音声データに付加されるタイムスタンプと動画データに付加されるタイムスタンプとにより、動画データによる映像に音声を同期させる。

【0094】

図７Ｄを参照する。コンテンツ送信装置２００のＣＰＵ２６１は、切替期間が終了した場合（ステップＳ１７０においてＹＥＳ）、ステップＳ１０５へ処理を戻す。これにより、送信対象が動画パケットから差分パケットに切り替わり、差分パケット及び音声パケットが再生装置３００へ送信される（ステップＳ１０５～Ｓ１１０）。

【0095】

他方、再生装置３００において切替期間が終了した場合（ステップＳ１８２においてＹＥＳ）、再生装置３００のＣＰＵ３３１は、ステップＳ１１１へ処理を戻す。これにより、差分モードに移行し、差分データによる映像が再生される。

【0096】

以上のように構成することにより、画質は低いが単位時間当たりに処理されるデータ量が小さい差分モードと、高画質だが単位時間当たりに処理できるデータ量が大きい動画モードとを切り替えることで、低通信量と高画質とを両立することができる。また、映像と音声とのずれが生じやすい動画モードにおいて、映像と音声とを同期させるため、映像と音声とのずれを抑制することができる。なお、差分モードでは、データ量が小さく、映像再生処理の再生不可が小さいため、同期を取らなくても映像と音声とのずれは小さい。

【0097】

また、コンテンツ送信装置２００は、差分パケット及び動画パケットとは別に、音声パケットを生成し、差分パケット及び動画パケットのそれぞれを送信する場合に音声パケットを送信する。つまり、音声データは差分モード及び動画モードで共用されており、差分モード専用の音声データ、動画モード専用の音声データは生成されない。このため、同一の音声を再生するための音声データが重複することがなく、通信量を軽減し、それと共に、差分モード及び動画モードのそれぞれのために互いに異なる形式の音声データを生成する必要がなく、コンテンツ送信装置２００の構成が簡略化される。同様に、再生装置３００においても、互いに異なる形式の音声データを処理する必要がなく、構成が簡略化される。

【0098】

（その他の実施の形態）
上述した実施の形態においては、差分モードと動画モードとの間で動作モードを切り換えるための切替期間を設け、この切替期間において差分データ及び動画データの一方による映像再生から、他方による映像再生に徐々に切り換える構成について述べたが、これに限定されるものではない。切替期間を設けず、差分モードから動画モードへ、又は動画モードから差分モードへ直接切り換える構成とすることもできる。

【0099】

また、上述した実施の形態においては、切替期間においてコンテンツ送信装置２００が差分データと動画データとの両方を再生装置３００へ送信する構成について述べたが、これに限定されるものではない。例えば、送信対象が切り換えられる場合に、切替前の送信対象のデータを送信せず、切替後の送信対象のデータを送信する構成とすることもできる。この場合、切替前のデータにより再生された最後の１フレームの映像と、切替後に受信される新たな送信対象のデータにより生成される映像とを切替期間においてαブレンドによって徐々に切り換える構成とすることができる。

【0100】

また、上述した実施の形態においては、第１切替条件に条件（１）及び（２）が含まれ、第２切替条件に条件（３）～（５）が含まれる構成について述べたが、これに限定されるものではない。第１切替条件は、条件（１）及び（２）の何れか一方のみを含んでいてもよく、第２切替条件は、条件（３）～（５）の１つ又は２つのみを含んでいてもよい。また、第１切替条件及び第２切替条件は、条件（１）及び（２）、並びに条件（３）～（５）以外の条件を含んでいてもよい。

【0101】

また、上述した実施の形態においては、切替期間において、差分データ及び動画データの一方により再生される映像に伴って再生される音声をフェードアウトさせ、他方により再生される映像に伴って再生される音声をフェードインさせる構成について述べたが、これに限定されるものではない。差分データ及び動画データのそれぞれにより再生される映像に伴って再生される音声の出力レベルＳＬを増減させることなく、切替期間内の１つの時点において音声を切り換える構成とすることもできる。但し、音声をフェードアウト、フェードインさせる構成の方が、視聴者に与える違和感を抑制できるため好ましい。

【0102】

また、上述した実施の形態においては、コンテンツ送信装置２００に変化量検出部２１７、入力検出部２１８、切替指示受付部２１９、送信対象切替部２２０、及び切替要求部２２１の各機能を設ける構成について述べたが、これに限定されるものではない。再生装置３００に、変化量検出部、入力検出部、切替指示受付部、及び切替要求部の各機能を設け、再生装置３００が再生する映像の変化量の検出、ユーザからの映像に対する入力の検出、及びユーザからの映像再生の切替指示の受付の何れかが生じた場合に、送信対象の切替要求をコンテンツ送信装置２００に送信し、コンテンツ送信装置３００が、切替要求を受信すると送信対象を差分データ及び動画データの一方から他方へ切り替える構成とすることもできる。

【0103】

また、上述した実施の形態においては、音声データをＵＤＰにより送信し、差分データ及び動画データをＴＣＰにより送信する構成について述べたが、これに限定されるものではない。音声データをＴＣＰにより送信してもよいし、差分データ及び動画データの一方又は両方をＵＤＰにより送信してもよい。但し、差分データ及び動画データを応答確認及び再送処理が行われるＴＣＰにより送信することにより、映像の途切れ又は乱れを抑制し、高画質な映像を再生することができるため、差分データ及び動画データの送信にはＴＣＰを用いることが好ましい。

【0104】

また、上述した実施の形態においては、非圧縮形式の差分データ及び音声データを送信し、圧縮形式の動画データを送信する構成について述べたが、これに限定されるものではない。差分データ及び音声データの一方又は両方を圧縮形式としてもよいし、動画データを非圧縮形式としてもよい。但し、差分データ及び音声データを非圧縮形式とすることで、再生装置における解凍処理が必要なく、再生負荷が小さいためコンテンツ送信装置２００と表示装置４００との間における映像及び音声の遅れを抑制することができる。また、動画データを圧縮形式とすることで、映像のビットレートを向上させることができ、通信量を抑制しつつ高画質な映像を再生することができる。

【0105】

また、上述した実施の形態においては、再生装置３００を無線アクセスポイントとする構成について述べたが、これに限定されるものではない。例えば、コンテンツの再生専用の再生装置を、上述した動作を実行可能な構成としてもよい。また、再生装置と表示装置４００とを各別に設け、これらを接続する構成ではなく、表示部を備える再生装置とすることも可能である。コンテンツ送信装置２００と再生装置３００とが無線ＬＡＮにより通信する構成でなくてもよく、有線通信を行う構成としてもよい。

【産業上の利用可能性】

【0106】

本発明の再生装置、遠隔再生システム、再生方法、及びコンピュータプログラムは、ストリーミングにより配信された映像及び音声を再生する再生装置、遠隔再生システム、再生方法、及びコンピュータを再生装置として機能させるコンピュータプログラムとして有用である。

【符号の説明】

【0107】

１００ 遠隔再生システム
２００ コンテンツ送信装置
２０１ 無線通信部
２０５ 記憶部
２０６ 制御部
２１０ コンテンツ送信プログラム
２１７ 変化量検出部
２１８ 入力検出部
２１９ 切替指示受付部
２２０ 送信対象切替部
２６１ ＣＰＵ
２６２ メモリ
３００ 再生装置
３０１ 無線通信部
３０３ 制御部
３１１ 通信部
３１２ 第１映像再生部
３１３ 第２映像再生部
３１４ 音声再生部
３１５ 移行再生部
３３１ ＣＰＵ
３４１ 第１フレームメモリ
３４２ 第２フレームメモリ
４００ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】

【図10】

【図11】