(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-28
(45)【発行日】2023-07-06
(54)【発明の名称】動画配信装置
(51)【国際特許分類】
H04N 21/2668 20110101AFI20230629BHJP
H04N 21/4728 20110101ALI20230629BHJP
【FI】
H04N21/2668
H04N21/4728
(21)【出願番号】P 2021177077
(22)【出願日】2021-10-29
【審査請求日】2021-11-15
(73)【特許権者】
【識別番号】520233537
【氏名又は名称】MasterVisions株式会社
(74)【代理人】
【識別番号】100185270
【氏名又は名称】原田 貴史
(72)【発明者】
【氏名】木村 誠
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開2004-056819(JP,A)
【文献】特開2009-284283(JP,A)
【文献】特開2009-016990(JP,A)
【文献】特開2002-344932(JP,A)
【文献】特表2008-533808(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
外部端末に配信可能な複数の動画を予め圧縮する事前圧縮部と、
配信する動画の切り替え指令を前記外部端末から受信したことに応じて、
事前圧縮された複数の動画のうち切り替え対象となる切替対象動画の表示に必要な情報を、前記切り替え指令を行った外部端末に配信する情報配信部と、
を備え、
前記複数の動画は、それぞれ単位フレームの組合せで構成されており、
前記単位フレームは、フレーム単体で復号化可能な一のキーフレームと、フレーム単体では復号化不可能であるが、前記キーフレームに比べてデータ量の圧縮効率が高く、時系列で連続するフレーム間の予測に基づいて圧縮される予測フレームとによって構成され、
前記事前圧縮部は、前記動画を、前記動画を構成する時系列の全フレームをキーフレームとして圧縮した圧縮キーフレームの群で構成される圧縮キーフレーム群データと、2フレーム目以降の全フレームを予測フレーム及び/又はキーフレームとして圧縮した圧縮予測フレームの群で構成される圧縮予測フレーム群データとに、前記複数の動画のそれぞれについて圧縮可能であり、
前記情報配信部は、前記切替対象動画について、前記切り替え指令の受信後に前記切替対象動画の前記圧縮キーフレームを配信済みである場合は前記圧縮予測フレーム群データから前記圧縮予測フレームを配信可能であり、前記切り替え指令の受信後に前記圧縮キーフレームを未配信である場合は前記圧縮キーフレーム群データから前記圧縮キーフレームを配信可能であり、前記圧縮予測フレーム群データが含む前記予測フレームの数は、前記圧縮予測フレーム群データが含む前記キーフレームの数より多
く、
前記情報配信部は、前記切替対象動画について、前記切り替え指令の受信後に前記切替対象動画の前記圧縮キーフレームを配信済みであっても、所定の場合に前記圧縮キーフレームを再び配信可能である、動画配信装置。
【請求項2】
外部端末に配信可能な複数の動画を予め圧縮する事前圧縮部と、
配信する動画の切り替え指令を前記外部端末から受信したことに応じて、事前圧縮された複数の動画のうち切り替え対象となる切替対象動画の表示に必要な情報を、前記切り替え指令を行った外部端末に配信する情報配信部と、
を備え、
前記複数の動画は、それぞれ単位フレームの組合せで構成されており、
前記単位フレームは、フレーム単体で復号化可能な一のキーフレームと、フレーム単体では復号化不可能であるが、前記キーフレームに比べてデータ量の圧縮効率が高く、時系列で連続するフレーム間の予測に基づいて圧縮される予測フレームとによって構成され、
前記事前圧縮部は、前記動画を、前記動画を構成する時系列の全フレームをキーフレームとして圧縮した圧縮キーフレームの群で構成される圧縮キーフレーム群データと、2フレーム目以降の全フレームを予測フレーム及び/又はキーフレームとして圧縮した圧縮予測フレームの群で構成される圧縮予測フレーム群データとに、前記複数の動画のそれぞれについて圧縮可能であり、
前記情報配信部は、前記切替対象動画について、前記切り替え指令の受信後に前記切替対象動画の前記圧縮キーフレームを配信済みである場合は前記圧縮予測フレーム群データから前記圧縮予測フレームを配信可能であり、前記切り替え指令の受信後に前記圧縮キーフレームを未配信である場合は前記圧縮キーフレーム群データから前記圧縮キーフレームを配信可能であり、前記圧縮予測フレーム群データが含む前記予測フレームの数は、前記圧縮予測フレーム群データが含む前記キーフレームの数より多く、
前記圧縮予測フレーム群データは、前記予測フレームのみを含む
、動画配信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画配信装置に関する。
【背景技術】
【0002】
視聴者の要望に応じて動画を視聴者に配信する動画配信サービスが利用されている。動画配信サービスでは、視聴者の要望に応じてできるだけ早く動画を配信することにより、動画配信サービスを利用する視聴者の満足度を高め得る。
【0003】
視聴者の要望に応じてできるだけ早く動画を配信することに関し、例えば、同一シーンを異なる視点から見ることができる多視点動画の配信では、ある視点から見た映像を提供する動画の再生中に、視聴者が別の視点から見た映像を提供する動画の視聴を要望することがある。視聴者が利用する端末において、動画の再生中における視聴者の要望に応じて別の視点から見た映像を提供する動画等の別の動画を速やかに再生できれば、視聴者の満足度をよりいっそう高め得る。
【0004】
図9は、現在のデジタル動画圧縮技術を用いてデータ圧縮されたデジタル動画の一例を示す図である。現在のデジタル動画圧縮技術の多くでは、データ圧縮の方法として、1フレーム単独で圧縮されるキーフレーム(
図9のI0002、I0006等)と、既に圧縮したフレーム(典型的には時系列で直前のフレームだが、フレーム順を入れ替えて先読みするケースなどもある)と現フレームとの間の類似性を利用したフレーム間予測によって圧縮効率を高める予測フレーム(
図9のP0003、P0004等)とをフレーム毎に使い分けている。このような方法で圧縮されたデジタル動画では、動画の復号はキーフレームから開始する必要があるため、デジタル動画の表示を切り替える場合は切替先の動画のキーフレームのタイミング以外では切り替えることができない。
【0005】
動画の再生中における視聴者の要望に応じて別の動画を速やかに再生することに関し、特許文献1は、デジタルテレビ放送の第1チャネルを再生する単一表示と、第1チャネル及び第2チャネルの両方を再生する同時表示とを実現する2画面再生機能を有するデジタルテレビ放送再生装置であって、第2チャネルの符号化データのうち復号の開始フレームとなるキーフレームに付随したタイムスタンプを記憶し、単一表示から同時表示への切り替わり時に、切り替わり時の放送時間よりも前で、かつ、放送時間に最も近いタイムスタンプを有する第2チャネルのキーフレームを特定し、第2フレームの符号化データを特定されたキーフレームから順次転送して再生する技術を開示している。
【0006】
特許文献1の発明によると、復号の開始位置となるキーフレームの間隔が2~5秒間隔の場合であっても、第2チャネルが再生されるまでのタイムラグを軽減し得る。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1の技術は、第1チャネルを再生している間に第2チャネルの符号化データを受信可能であることを前提としている。すなわち、特許文献1の技術は、デジタルテレビ放送において、複数のチャネルが同時に放送され、複数のチャネルのうち少なくとも2つのチャネルを再生装置が同時に受信可能であることを前提としている。
【0009】
一方、インターネット等を介した動画配信サービスでは、同時に配信する動画の数を増やすにつれて、動画配信サービスが利用する通信帯域が増大する。したがって、特許文献1の技術は、動画配信サービスにおいて、視聴者が配信済の動画と異なる別動画の視聴を要望してからできるだけ早くに当該別動画を速やかに再生可能とすることと、利用される通信帯域の増大を防ぐことと、を両立する点において、さらなる改良の余地がある。
【0010】
本発明は、上述のような従来技術の問題点を解決すべくなされたものであり、動画配信サービスにおいて、視聴者が配信済の動画と異なる別動画の視聴を要望してからできるだけ早くに当該別動画を速やかに表示可能な情報を配信することと、利用される通信帯域の増大を防ぐことと、を両立可能な動画配信装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明者らは、上記課題を解決するために鋭意検討した結果、配信可能な複数の動画のそれぞれを構成する全てのフレームをキーフレームとして圧縮した群で構成される圧縮キーフレーム群データと、配信可能な複数の動画のそれぞれを構成する2フレーム目以降の全てのフレームをフレーム間予測に基づいて圧縮した圧縮予測フレーム等の群で構成される圧縮予測フレーム群データとに事前変換し、映像切り替え指令の受信後にはどのフレームであっても圧縮キーフレームを配信可能とすることによって上述の課題を解決可能であることを見出し、かつ、必要最低限のキーフレーム配信以外には圧縮予測フレームを配信することによって配信データの増大も抑制可能であることを見出し、本発明を完成させるに至った。具体的に、本発明は以下のものを提供する。
【0012】
第1の特徴に係る発明は、外部端末に配信可能な複数の動画を予め圧縮する事前圧縮部と、配信する動画の切り替え指令を前記外部端末から受信したことに応じて、前記事前圧縮された複数の動画のうち切り替え対象となる切替対象動画の表示に必要な情報を、前記切り替え指令を行った外部端末に配信する情報配信部と、を備え、前記複数の動画は、それぞれ単位フレームの組合せで構成されており、前記単位フレームは、フレーム単体で復号化可能な一のキーフレームと、フレーム単体では復号化不可能であるが、前記キーフレームに比べてデータ量の圧縮効率が高く、時系列で連続するフレーム間の予測に基づいて圧縮される予測フレームとによって構成され、前記事前圧縮部は、前記動画を、前記動画を構成する時系列の全フレームをキーフレームとして圧縮した圧縮キーフレームの群で構成される圧縮キーフレーム群データと、2フレーム目以降の全フレームを予測フレーム及び/又はキーフレームとして圧縮した圧縮予測フレームの群で構成される圧縮予測フレーム群データとに、前記複数の動画のそれぞれについて圧縮可能であり、前記情報配信部は、前記切替対象動画について、前記切り替え指令の受信後に前記切替対象動画の前記圧縮キーフレームを配信済みである場合は前記圧縮予測フレーム群データから前記圧縮予測フレームを配信可能であり、前記切り替え指令の受信後に前記圧縮キーフレームを未配信である場合は前記圧縮キーフレーム群データから前記圧縮キーフレームを配信可能であり、前記圧縮予測フレーム群データが含む前記予測フレームの数は、前記圧縮予測フレーム群データが含む前記キーフレームの数より多い、動画配信装置を提供する。
【0013】
第1の特徴に係る発明によれば、動画配信装置は、事前圧縮された圧縮キーフレーム群データと圧縮予測フレーム群データを用いて、切り替え指令に応じて外部端末に切替対象動画の表示に必要な情報を送信できる。
【0014】
ところで、切替対象動画の表示に必要な情報のうち、キーフレームは、フレーム単体で復号化可能である。したがって、表示対象となる単位フレームと対応するキーフレームを受信している場合、外部端末は、フレーム単体で復号化可能なキーフレームを復号化して表示対象となる単位フレームを表示できる。
【0015】
また、切替対象動画の表示に必要な情報のうち、予測フレームは、圧縮時に予測に用いたフレームを元にして該当フレームを復号するための情報だけが含まれている。したがって、表示対象となる単位フレームに隣り合う隣接単位フレームが復号済であって表示対象となる単位フレームの圧縮予測フレームを受信している場合に外部端末は単位フレームを復号して表示できる。
【0016】
しかしながら、隣接単位フレームを復号していない場合、外部端末は、予測フレームを用いて表示対象である単位フレームを表示することができない。配信する動画を切り替える瞬間において、外部端末は、切替先動画についてまだデータを受信していない。すなわち、外部端末は、上述の隣接単位フレームに相当するフレームを復号も受信もしていない。
【0017】
したがって、一のキーフレームと複数の予測フレームとを含む単位フレームの組合せで構成された動画を配信する場合、配信する動画を切り替えると、外部端末は、単体で復号化可能なキーフレームを受信するまで切替対象動画を表示できない。よって、上述のように構成された動画を配信する場合、外部端末は、配信済の動画と異なる動画を速やかに表示できない場合がある。
【0018】
第1の特徴に係る発明によれば、切り替え指令の受信後に圧縮キーフレームを未配信である場合、動画配信装置は、まず、事前圧縮された圧縮キーフレーム群データから圧縮キーフレームを配信する。これにより、外部端末は、単体で復号化可能なキーフレームを含む圧縮キーフレームをできるだけ早く受信し、配信済の動画と異なる切替対象動画を速やかに表示できる。
【0019】
第1の特徴に係る発明によれば、切り替え指令の受信後に圧縮キーフレームが配信済である場合、動画配信装置は、データ量の圧縮効率が高い予測フレームをキーフレームより多く含む圧縮予測フレームを事前圧縮された圧縮予測フレーム群データから配信可能である。これにより、動画配信装置は、利用される通信帯域の増大を防ぐことができる。
【0020】
第1の特徴に係る発明によれば、動画配信装置は、切り替え指令の受信後に圧縮キーフレームが配信済であるかに応じて事前圧縮された圧縮キーフレーム及び/又は圧縮予測フレームを配信するため、データを改めて圧縮等する処理能力を必要とせず、かつ、圧縮に要する処理時間で配信のタイミングを遅らせることなく、動画の表示に必要な情報を配信できる。したがって、第1の特徴に係る発明によれば、動画配信装置は、データを改めて圧縮等して配信のタイミングを遅らせることなく、視聴者が配信済の動画と異なる切替対象動画の視聴を要望してからできるだけ早くに切替対象動画を速やかに表示可能な情報を配信できる。
【0021】
また、第1の特徴に係る発明によれば、予測フレーム及びキーフレームを含む通常の動画を圧縮予測フレーム群データとして利用し得る。これにより、事前圧縮部は、圧縮予測フレーム群データを生成する前処理を省き、圧縮キーフレーム群データを生成する前処理だけを実行すれば足りる。通常の動画を圧縮予測フレーム群データとして利用する場合、配信時には本来は予測フレームの通信で済むべきフレームでも、通常の動画でキーフレームになっていた場合にキーフレームを配信するケースが出てくるため、通信量が若干増すというデメリットがある。ただし、そのデメリットの影響は元の動画のキーフレーム間隔に依存するため、キーフレーム間隔が数秒間に一度程度等である一般的な動画でれば、あまり大きな影響はない。
【0022】
したがって、第1の特徴に係る発明によれば、動画配信サービスにおいて、視聴者が配信済の動画と異なる別動画の視聴を要望してからできるだけ早くに当該別動画を速やかに表示可能な情報を配信することと、利用される通信帯域の増大を防ぐことと、を両立可能な動画配信装置を提供できる。
【0023】
第2の特徴に係る発明は、第1の特徴に係る発明であって、前記情報配信部は、前記切替対象動画について、前記切り替え指令の受信後に前記切替対象動画の前記圧縮キーフレームを配信済みであっても、所定の場合に前記圧縮キーフレームを再び配信可能である、動画配信装置を提供する。
【0024】
外部端末は、通信障害等によって単位フレームのうちのいずれかを受信できない場合がある。外部端末が表示対象となる単位フレームと隣り合う単位フレームを受信できない場合、外部端末は、予測フレームを用いて表示対象である単位フレームを復号することができない。
【0025】
例えば、キーフレームと1以上の予測フレームとが交互に配信されるよう圧縮した動画を配信する方法では、単位フレームのうちのいずれかを受信できない場合、次にキーフレームを受信するまでの間の予測フレームの復号処理は正しく動かず、一般的にはブロックノイズなどが発生して復号結果の映像が乱れる。
【0026】
代替アプローチとして、全フレームをキーフレームとして圧縮しておいて配信する方法も考えられる。その場合でも、映像切り替え時には迅速にキーフレームが受信されるので切り替え処理は高速になり、通信エラーでフレーム復号に失敗しても次に受信したフレームで復帰できるようになるものの、予測フレームを使用しないために圧縮効率が低下し、必要な通信帯域が増し、通信の遅延リスクが高まるという欠点がある。
【0027】
代替アプローチとして、配信時に送信側がオンデマンドに動画を伸張・再圧縮処理することで必要なタイミングに圧縮キーフレームを使う方法も考えられる。その場合でも、映像切り替え時には迅速にキーフレームが受信されるので切り替え処理は高速になり、通信エラーでフレーム復号に失敗しても次に受信したフレームで復帰できるようになり、予測フレームを使用するので圧縮効率や通信帯域の面でも我々のアプローチと遜色は無いが、そのように配信時にデータを改めて圧縮するためには送信側には配信処理と別に伸張圧縮処理のために追加の処理能力が必要となり、かつ、圧縮処理に要する時間によって配信のタイミングが遅れ得る。特に、動画配信サービス等によって例示される、多数の端末に動画を配信する場合は、送信側における伸張圧縮処理のための追加の処理能力が多大なものとなり、圧縮処理に要する時間によって配信のタイミングが著しく遅れ得る。
【0028】
第2の特徴に係る発明によれば、動画配信装置は、所定の場合に事前圧縮された圧縮キーフレームを再び配信できる。これにより、利用される通信帯域の増大を防ぐことと、通信状況等に応じてデータを改めて圧縮等して配信のタイミングを遅らせることを防ぐことと、を両立できる。
【0029】
したがって、第2の特徴に係る発明によれば、動画配信サービスにおいて、視聴者が配信済の動画と異なる別動画の視聴を要望してからできるだけ早くに当該別動画を速やかに表示可能な情報を配信することと、利用される通信帯域の増大を防ぐことと、を両立可能な動画配信装置を提供できる。
【0030】
第3の特徴に係る発明は、第1又は第2の特徴に係る発明であって、前記圧縮予測フレーム群データは、前記予測フレームのみを含む、動画配信装置を提供する。
【0031】
第3の特徴に係る発明によれば、圧縮予測フレーム群データが予測フレームのみを含むことにより、利用される通信帯域の増大をよりいっそう防ぐことができる。
【0032】
したがって、第3の特徴に係る発明によれば、動画配信サービスにおいて、視聴者が配信済の動画と異なる別動画の視聴を要望してからできるだけ早くに当該別動画を速やかに表示可能な情報を配信することと、利用される通信帯域の増大を防ぐことと、を両立可能な動画配信装置を提供できる。
【発明の効果】
【0033】
本発明によれば、動画配信サービスにおいて、視聴者が配信済の動画と異なる別動画の視聴を要望してからできるだけ早くに当該別動画を速やかに表示可能な情報を配信することと、利用される通信帯域の増大を防ぐことと、を両立可能な動画配信装置を提供できる。
【図面の簡単な説明】
【0034】
【
図1】
図1は、実施形態の動画配信システムSのハードウェア構成及びソフトウェア構成を示すブロック図である。
【
図3】
図3は、キーフレーム及び予測フレームの概念を説明する図である。
【
図4】
図4は、配信状況テーブル122の一例である。
【
図5】
図5は、実施形態の動画配信装置1で実行される動画配信処理の好ましい流れの一例を示すフローチャートである。
【
図6】
図6は、動画を事前圧縮して圧縮キーフレーム群データ及び圧縮予測フレーム群データを得ることを模式的に示す図である。
【
図7】
図7は、圧縮キーフレームが未配信であるか判別しない場合に配信される従来技術の動画データを模式的に示す図である。
【
図8】
図8は、実施形態の動画配信装置1が配信する情報を模式的に示す図である。
【
図9】
図9は、現在のデジタル動画圧縮技術を用いてデータ圧縮されたデジタル動画の一例を示す図である。
【発明を実施するための形態】
【0035】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0036】
図1は、実施形態の動画配信システムSのハードウェア構成及びソフトウェア構成を示すブロック図である。
【0037】
<動画配信システムS>
動画配信システムSは、動画配信装置1と、動画配信装置1とネットワークNを介して通信可能な外部端末Tとを含んで構成される。
【0038】
〔動画配信装置1〕
動画配信装置1は、制御部11と、記憶部12と、通信部13と、を備える。
【0039】
[制御部11]
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)、及びROM(Read Only Memory)等を備える。
【0040】
[記憶部12]
記憶部12は、データ及び/又はファイルが記憶される装置であって、ハードディスク、半導体メモリ、記録媒体、及びメモリカード等によるデータのストレージ部を有する。記憶部12は、ネットワークNを介してNAS(Network Attached Storage)、SAN(Storage Area Network)、クラウドストレージ、ファイルサーバ及び/又は分散ファイルシステム等の記憶装置又は記憶システムとの接続を可能にする仕組みを有してもよい。
【0041】
記憶部12には、マイクロコンピューターで実行される制御プログラム、動画テーブル121、配信状況テーブル122等が記憶されている。
【0042】
(動画テーブル121)
図2は、動画テーブル121の一例である。動画テーブル121は、外部端末Tに配信可能な複数の動画のそれぞれについて動画データを格納する。動画データは、少なくとも圧縮キーフレーム群データ及び圧縮予測フレーム群データを含む。
【0043】
圧縮キーフレーム群データは、動画に含まれる1以上の画像(単位フレーム)について、単位フレームそれぞれを単体で復号化可能なキーフレームとして圧縮したデータである。圧縮予測フレーム群データは、動画に含まれる1以上の単位フレームについて、キーフレームに比べてデータ量の圧縮効率が高く、時系列で連続するフレーム間の予測に基づく予測フレームとして圧縮したデータである。
【0044】
図3は、キーフレーム及び予測フレームの概念を説明する図である。
図3に示す動画は、サッカーコートに「配信杯」「決勝」の文字列が順に重畳されて表示される動画である。
図3に示す動画は、サッカーコートの画像である第1単位フレーム「V0001」と、第1単位フレームのサッカーコートに「配信杯」という文字列が重畳された画像である第2単位フレーム「V0002」と、第1単位フレームのサッカーコートに「配信杯決勝」という文字列が重畳された画像である第3単位フレーム「V0003」と、を含む。
【0045】
第1キーフレーム「I0001」は、第1単位フレーム「V0001」と同じ画像を単体で表示可能なキーフレームである。第2キーフレーム「I0002」、第3キーフレーム「I0003」も同様に、第2単位フレーム「V0002」、第3単位フレーム「V0003」と同じ画像を単体で表示可能なキーフレームである。
【0046】
一方、第2予測フレーム「P0002」は、第1単位フレーム「V0001」と第2単位フレーム「V0002」との差分が「配信杯」の文字列の有無であることを示す予測フレームである。第2予測フレーム「P0002」は、サッカーコートの画像を含まないため、第2キーフレーム「I0002」より圧縮効率が高い。しかしながら、第2予測フレーム「P0002」は、サッカーコートの画像を含まないため、第1単位フレーム「V0001」を表示可能でなければ、第2単位フレーム「V0002」を表示できない。このように、予測フレームは、時系列で連続する復号済のフレームを元に表示対象となるフレームを予測するための情報であるため、圧縮効率が高い一方、元のフレームが復号済でなければ表示対象となるフレームを表示できない。
図3では、表示対象となるフレームを予測するための情報としてフレーム間の差分を例示したが、表示対象となるフレームを予測するための情報は、特に限定されず、フレーム間差分情報及び動き補償情報等によって例示される、フレームを予測するための各種情報の1以上を含む情報でよい。
【0047】
予測フレームは、特に限定されず、例えば、時間的に前である1以上のフレームとの前方向予測を用いる前方向予測フレーム(Predicted Frame、Pフレーム)、前方向予測及び/又は時間的に後である1以上のフレームとの後方向予測を用いる両方向予測フレーム(Bi-directional Predicted Frame、Bフレーム)等の1以上を含むことが可能な予測フレームでもよい。
【0048】
圧縮キーフレーム群データ及び/又は圧縮予測フレーム群データは、H.264/H.265/VP9/AV1/H.266のような標準的な動画圧縮規格で圧縮されていることが好ましい。これにより、動画配信装置1及び/又は外部端末Tは、当該動画圧縮規格に基づいたソフトウェア及び/又はハードウェアを用いた圧縮処理及び/又は伸長処理を行い得る。
【0049】
図2に戻る。動画テーブル121は、動画を識別可能な動画IDと動画データとを関連付けて格納可能であることが好ましい。これにより、動画配信装置1は、動画IDを用いて動画データを格納及び/又は読み取ることができる。
【0050】
必須の態様ではないが、動画データは、動画の表示を制御可能なデータ等をさらに含んでもよい。
【0051】
必須の態様ではないが、動画データは、キーフレームと予測フレームとの両方を含んで事前圧縮された、従来技術の動画データと同様のデータをさらに含んでもよい。
【0052】
動画データが従来技術の動画データと同様のデータをさらに含むことにより、圧縮予測フレーム群データの代わりに従来技術の動画データと同様のデータを用いて圧縮予測フレーム及び圧縮キーフレームを配信できる。従来技術の動画データと同様のデータを配信することにより、切り替え指令の受信後にキーフレームが配信済である場合において、キーフレームを適応的に配信する特別の処理を実行することなく、予測フレームだけでなくキーフレームをも含む従来技術の動画データと同様のデータを配信できる。
【0053】
図2に示す動画テーブル121は、動画IDと関連付けられた動画データを格納している。
図2に示す動画テーブル121が格納する動画ID「M0001」によって識別される動画データは、以下の情報を含んでいる:
第2キーフレーム「I0002」、第3キーフレーム「I0003」等を含む圧縮キーフレーム群データ、
第2予測フレーム「P0002」、第3予測フレーム「P0003」等を含む圧縮予測フレーム群データ。
【0054】
これにより、動画配信装置1は、動画ID「M0001」に対応する動画を、動画データが含む圧縮キーフレーム群データ及び圧縮予測フレーム群データを用いて配信できる。
【0055】
(配信状況テーブル122)
図4は、配信状況テーブル122の一例である。配信状況テーブル122は、動画の配信先となる外部端末T(配信先端末)のそれぞれを識別可能な情報と関連付けて配信先端末に関する配信状況を格納する。これにより、動画配信装置1は、配信先端末への配信状況に応じた配信を行うことができる。
【0056】
配信状況は、少なくとも、切替対象動画を識別可能な情報と、圧縮キーフレームを配信済であるか識別可能な情報とを含む。これにより、動画配信装置1は、圧縮キーフレームを配信済であるかに基づいて圧縮キーフレーム又は圧縮予測フレームを配信できる。
【0057】
配信状況は、配信先端末に配信済である配信済フレームと対応する単位フレームを識別可能な情報を含むことが好ましい。これにより、動画配信装置1は、配信済フレームと対応する単位フレームに続く単位フレームに対応するキーフレーム又は予測フレームを配信先端末に配信できる。
【0058】
必須の態様ではないが、圧縮キーフレームを配信済であるか識別可能な情報は、配信済キーフレームと対応する単位フレームを識別可能な情報を含むことが好ましい。これにより、動画配信装置1は、配信済キーフレームと配信中のフレームとの間にある予測フレームの数が所定範囲に含まれるようキーフレームを配信できる。
【0059】
図4に示す配信状況テーブル122は、配信先端末と関連付けられた配信状況を格納している。
図4に示す配信状況テーブル122において情報「T1」によって識別される配信先端末と関連付けられた配信状況は、以下の情報を含んでいる:
切替対象動画を識別可能な情報である動画ID「M0001」、
配信済フレームと対応する単位フレームを識別可能な情報である「P0009」、
配信済キーフレームと対応する単位フレームを識別可能な情報である「I0006」。
【0060】
これにより、動画配信装置1は、動画ID「M0001」の切替対象動画において配信済である配信済フレーム「P0009」に続くキーフレーム又は予測フレームを「T1」によって識別される配信先端末に配信できる。また、動画配信装置1は、配信済キーフレーム「I0006」と配信済フレーム「P0009」とを用いて、キーフレームを配信するか判別できる。
【0061】
[通信部13]
通信部13は、動画配信装置1をネットワークNに接続して外部端末T等と通信可能にする通信部であれば特に限定されず、例えば、携帯電話ネットワークに対応した無線装置、IEEE802.11に準拠したWi-Fi(Wireless Fidelity)対応デバイス、及びイーサネット規格に対応したネットワークカード等が挙げられる。
【0062】
〔外部端末T〕
外部端末Tは、ネットワークNを介して動画配信装置1と通信可能であり、配信する動画の切り替え指令を動画配信装置1に送信可能であって、動画配信装置1から配信された動画を表示可能であれば特に限定されない。外部端末Tは、例えば、スマートフォン及びタブレット端末等によって例示される携帯端末、並びに、パーソナルコンピュータ及び動画配信サービス対応テレビ等によって例示される据置型端末等でよい。外部端末Tの数は、特に限定されない。
【0063】
〔ネットワークN〕
ネットワークNの種類は、動画配信装置1と外部端末T等とを通信可能にするネットワークであれば特に限定されず、例えば、パーソナルエリアネットワーク、ローカルエリアネットワーク、イントラネット、エクストラネット、インターネット、Wi-Fiネットワーク、携帯電話ネットワーク、あるいはこれらのネットワークを複数組み合わせたネットワーク等が挙げられる。
【0064】
〔動画配信装置1で実行される動画配信処理〕
図5は、実施形態の動画配信装置1で実行される動画配信処理の好ましい流れの一例を示すフローチャートである。以下、
図5を用いて実施形態の動画配信装置1で実行される動画配信処理の好ましい流れの一例を説明する。
【0065】
まず、動画配信装置1は、ステップS1からステップS2の事前圧縮処理を実行する。
【0066】
[ステップS1:事前圧縮済みであるか判別]
制御部11は、記憶部12及び通信部13と協働して事前圧縮部111を実行し、圧縮キーフレーム群データ及び圧縮予測フレーム群データが事前圧縮済みであるか判別する処理を実行する(ステップS1)。事前圧縮済みであれば、制御部11は、処理をステップS3に移す。事前圧縮済みでなければ、制御部11は、処理をステップS2に移す。
【0067】
[ステップS2:事前圧縮を行う]
制御部11は、記憶部12及び通信部13と協働して事前圧縮部111を実行し、動画を圧縮キーフレーム群データ及び圧縮予測フレーム群データに圧縮する事前圧縮を行う処理を実行する(ステップS2)。制御部11は、圧縮した圧縮キーフレーム群データ及び圧縮予測フレーム群データを動画テーブル121に格納し、処理をステップS3に移す。
【0068】
ステップS1からステップS2の事前圧縮処理を実行することにより、動画配信装置1は、事前圧縮された圧縮キーフレーム群データと圧縮予測フレーム群データを用いて、切り替え指令に応じて外部端末Tに切替対象動画の表示に必要な情報を送信できる。
【0069】
続いて、動画配信装置1は、ステップS3からステップS8の情報配信処理を実行する。
【0070】
[ステップS3:配信する動画の切り替え指令を受信したか判別]
制御部11は、記憶部12及び通信部13と協働して情報配信部112を実行し、配信する動画の切り替え指令を外部端末Tから受信したか判別する処理を実行する(ステップS3)。切り替え指令を受信したならば、制御部11は、処理をステップS6に移す。切り替え指令を受信していないならば、制御部11は、処理をステップS4に移す。
【0071】
ステップS3で配信する動画の切り替え指令を受信したか判別することにより、切り替え指令を受信した場合、すなわち、切り替え指令の受信後に圧縮キーフレームが未配信である切替対象動画を配信する場合に、切替対象動画の圧縮キーフレームを配信できる。また、切り替え指令を受信していない場合、すなわち、切り替え指令の受信後に圧縮キーフレームが配信済である切替対象動画を配信する場合に、切替対象動画の圧縮予測フレームを配信できる。
【0072】
必須の態様ではないが、動画配信装置1は、所定の場合であるか判別するステップS4の処理を実行することが好ましい。これにより、動画配信装置1は、切り替え指令の受信後に切替対象動画の圧縮キーフレームを配信済みであっても、所定の場合に圧縮キーフレームを再び配信できる。
【0073】
[ステップS4:所定の場合であるか判別]
制御部11は、記憶部12及び通信部13と協働して情報配信部112を実行し、所定の場合であるか判別する処理を実行する(ステップS4)。所定の場合であるならば、制御部11は、処理をステップS6に移す。所定の場合でないならば、制御部11は、処理をステップS5に移す。
【0074】
外部端末Tは、通信障害等によって単位フレームのうちのいずれかを受信できない場合がある。外部端末Tが表示対象となる単位フレームと隣り合う単位フレームを受信できない場合、外部端末Tは、予測フレームを用いて表示対象である単位フレームを表示することができない。
【0075】
所定の場合であるか判別するステップS4の処理を実行することにより、動画配信装置1は、所定の場合において、圧縮キーフレームを適応的に再び配信できる。これにより、外部端末Tは、通信障害等によって表示対象となる単位フレームと隣り合う単位フレームを受信できない場合であっても、再び配信された圧縮キーフレームを用いて速やかに切替対象動画を表示できる。
【0076】
ステップS4において所定の場合であるか判別する方法は、特に限定されない。
【0077】
ステップS4において所定の場合であるか判別する方法は、配信状況テーブル122に格納された配信済キーフレーム及び配信済フレームを用いて、ステップS3で受信した切り替え指令を送信した外部端末Tにキーフレームを配信してから配信した連続する予測フレームの数が所定範囲に含まれる場合に所定の場合であると判別する方法を含むことが好ましい。
【0078】
これにより、外部端末Tが連続して受信する予測フレームの数を所定範囲の下限以上の数にできる。よって、動画配信装置1は、配信する情報における予測フレームの割合を一定割合に保ち、圧縮効率を高め得る。
【0079】
また、これにより、外部端末Tが連続して受信する予測フレームの数を所定範囲の上限以下の数にできる。よって、動画配信装置1が通信障害等によって予測フレームのうちのいずれかが外部端末Tにおいて受信されなかったことを検知できない場合であっても、圧縮キーフレームが再び配信されるまでの時間を短くし得る。
【0080】
所定範囲の下限は、切替対象動画のフレームレートに応じて、外部端末Tが連続して受信する予測フレームに応じた再生時間が1秒以上となる数であることが好ましく、外部端末Tが連続して受信する予測フレームに応じた再生時間が3秒以上となる数であることがより好ましい。所定範囲の下限を上述のとおり定めることにより、動画配信装置1は、圧縮効率をよりいっそう高め得る。
【0081】
所定範囲の上限は、切替対象動画のフレームレートに応じて、外部端末Tが連続して受信する予測フレームに応じた再生時間が30秒以下となる数であることが好ましく、外部端末Tが連続して受信する予測フレームに応じた再生時間が10秒以下となる数であることがより好ましい。所定範囲の上限を上述のとおり定めることにより、予測フレームのうちのいずれかが外部端末Tにおいて受信されなかった場合において、外部端末Tが圧縮キーフレームを受信して動画を表示可能とするまでの時間をよりいっそう短くできる。
【0082】
ステップS4において所定の場合であるか判別する方法は、外部端末Tが配信されたキーフレーム及び/又は予測フレームのうちのいずれかを受信できなかったことを検知した場合に所定の場合であると判別する方法を含むことが好ましい。これにより、動画配信装置1は、外部端末Tが配信されたキーフレーム及び/又は予測フレームのうちのいずれかを受信できなかった場合に圧縮キーフレームを外部端末Tに再び配信できる。
【0083】
[ステップS5:圧縮予測フレームを配信]
制御部11は、記憶部12及び通信部13と協働して情報配信部112を実行し、ステップS3で受信した切り替え指令を送信した外部端末Tに圧縮予測フレーム群データから配信済のデータに続くフレームに対応する圧縮予測フレームを配信する処理を実行する(ステップS5)。制御部11は、処理をステップS7に移す。
【0084】
[ステップS6:圧縮キーフレームを配信]
制御部11は、記憶部12及び通信部13と協働して情報配信部112を実行し、ステップS3で受信した切り替え指令を送信した外部端末Tに圧縮キーフレーム群データから配信済のデータに続くフレームに対応する圧縮キーフレームを配信する処理を実行する(ステップS6)。制御部11は、処理をステップS7に移す。
【0085】
[ステップS7:配信済のデータを判別可能な情報を格納]
制御部11は、記憶部12及び通信部13と協働して情報配信部112を実行し、ステップS3で受信した切り替え指令を送信した外部端末Tに配信済のデータを判別可能な情報を格納する処理を実行する(ステップS7)。制御部11は、処理をステップS8に移す。
【0086】
[ステップS8:動画が終了したか判別]
制御部11は、記憶部12及び通信部13と協働して情報配信部112を実行し、切替対象動画が終了したか判別する処理を実行する(ステップS8)。切替対象動画が終了したならば、制御部11は、動画配信処理を終了する。切替対象動画が終了していないならば、制御部11は、処理をステップS3に移す。
【0087】
ステップS3からステップS8の情報配信処理を実行することにより、動画配信装置1は、切り替え指令の受信後に圧縮キーフレームを未配信である場合、まず、圧縮キーフレーム群データから配信済のデータに続くフレームに対応する圧縮キーフレームを配信する。これにより、外部端末Tは、単体で復号化可能なキーフレームを含む圧縮キーフレームをできるだけ早く受信し、配信済の動画と異なる切替対象動画を速やかに表示できる。
【0088】
ステップS3からステップS8の情報配信処理を実行することにより、切り替え指令の受信後に圧縮キーフレームが配信済である場合、動画配信装置1は、データ量の圧縮効率が高い圧縮予測フレーム群データから配信済のデータに続くフレームに対応する圧縮予測フレームを配信可能である。これにより、動画配信装置1は、利用される通信帯域の増大を防ぐことができる。
【0089】
ステップS3からステップS8の情報配信処理を実行することにより、動画配信装置1は、切り替え指令の受信後に圧縮キーフレームが配信済であるかに応じて事前圧縮された圧縮キーフレーム及び/又は圧縮予測フレームを配信するため、データを逐一圧縮等することなく、動画の表示に必要な情報を配信できる。したがって、動画配信装置1は、データを改めて圧縮等して配信のタイミングを遅らせることなく、視聴者が配信済の動画と異なる切替対象動画の視聴を要望してからできるだけ早くに切替対象動画を速やかに表示可能な情報を配信できる。
【0090】
<動画配信システムSの使用例>
続いて、実施形態に係る動画配信システムSの使用例を説明する。
【0091】
〔事前圧縮〕
まず、動画配信装置1は、動画を事前圧縮して圧縮キーフレーム群データ及び圧縮予測フレーム群データを得る。
【0092】
図6は、動画を事前圧縮して圧縮キーフレーム群データ及び圧縮予測フレーム群データを得ることを模式的に示す図である。
図6に示す例では、第1単位フレーム「V0001」から第7単位フレーム「V0007」を含む動画から、圧縮キーフレーム群データ及び圧縮予測フレーム群データを生成する。
【0093】
動画配信装置1は、動画を事前圧縮して、第1単位フレーム「V0001」から第7単位フレーム「V0007」のそれぞれを単体で復号化可能な第1キーフレーム「I0001」から第7キーフレーム「I0007」を含む圧縮キーフレーム群データを生成する。
【0094】
また、動画配信装置1は、動画を事前圧縮して、第1単位フレーム「V0001」と第2単位フレーム「V0002」との間の予測に相当する第2予測フレーム「P0002」等を含む圧縮予測フレーム群データを生成する。予測フレームのそれぞれは、単位フレームを単体で復号化可能な情報の代わりに隣り合う単位フレームの予測を復号化可能な情報のみを含むため、単位フレームの圧縮効率を高め得る。
【0095】
〔配信する動画の切り替えを指令〕
外部端末Tを利用する視聴者は、外部端末Tを介して配信する動画の切り替え指令を動画配信装置1に送信する。動画配信装置1は、ネットワークNを介して外部端末Tから切り替え指令を受信する。
【0096】
〔切替対象動画の表示に必要な情報を配信〕
動画配信装置1は、まず、圧縮キーフレームを外部端末Tに配信する。これにより、外部端末Tは、単体で復号化可能なキーフレームを含む圧縮キーフレームをできるだけ早く受信し、切替対象動画を速やかに表示できる。
【0097】
続いて、動画配信装置1は、データ量の圧縮効率が高い圧縮予測フレームを外部端末Tに配信する。これにより、動画配信装置1は、利用される通信帯域の増大を防ぐことができる。
【0098】
[動画配信装置1が配信する情報]
図7は、圧縮キーフレームが未配信であるか判別しない場合に配信される従来技術の動画データを模式的に示す図である。
図8は、実施形態の動画配信装置1が配信する情報を模式的に示す図である。
図7及び
図8を用いて、実施形態の動画配信装置1が配信する情報を説明する。
【0099】
図7に示す圧縮キーフレームが未配信であるか判別しない場合に配信される従来技術の動画データを示す例では、動画配信を行う装置は、動画ID「M0001」の動画及び動画ID「M0002」の動画それぞれについて、キーフレームと予測フレームの両方を含んで事前圧縮された1つの動画データを格納し、配信対象となる動画のフレームを順番に配信している。
【0100】
これにより、第1タイミングT1までは、動画配信を行う装置は、動画ID「M0001」の動画を表示可能な情報である第2キーフレーム「I0002」、第3予測フレーム「P0003」等を順番に配信する。
【0101】
第12予測フレーム「P0012」が配信された後の第1タイミングT1で、配信する動画を動画ID「M0002」で識別される切替対象動画に切り替える切り替え指令が送信される。動画配信を行う装置は、格納された動画ID「M0002」の動画データから、第12予測フレーム「P0012」に続くフレームに対応するフレームを表示可能な情報である第1013予測フレーム「P1013」、第1014予測フレーム「P1014」、第1015予測フレーム「P1015」、及び第1016キーフレーム「I1016」等を配信する。
【0102】
しかし、動画配信を行う装置が動画それぞれについて1つの動画データのみを格納しているため、動画配信を行う装置は、動画切替の直後にキーフレームを送信できない。そのため、第1016キーフレーム「I1016」が配信される第2タイミングT2まで、外部端末Tは、動画ID「M0002」の動画についてキーフレームを受信していない。したがって、外部端末Tは、動画ID「M0002」の動画を第2タイミングT2まで表示できない。
【0103】
このとき、外部端末Tは、表示可能なデータを受信していないため、動画の表示が崩れた状態及び/又は動画の表示が更新されない状態となる。
【0104】
動画の表示が崩れた状態を避けるために、動画ID「M0002」の動画のキーフレームに対応する第2タイミングT2まで動画ID「M0002」の動画を配信するタイミングを遅らせる方法がある。しかし、この方法では、動画の表示が崩れた状態等を防ぎ得るものの、配信のタイミングが遅れてしまう。
【0105】
動画の表示が崩れた状態を避けるために、第1タイミングT1より前のタイミングに対応する動画ID「M0002」の動画のキーフレームを配信する方法もある。
【0106】
しかし、この方法では、動画の表示が崩れた状態等を防ぎ得るものの、外部端末Tは、第1タイミングT1より前のタイミングに対応するフレームから第1タイミングT1の後に対応するフレームまでを伸長し、予測を逐一適用して表示するため、第1タイミングT1の後に対応するフレームを表示するタイミングが遅れてしまう。また、この方法では、第1タイミングT1より前のタイミングに対応するフレームを配信するため、第1タイミングT1の後に対応するフレームを配信するタイミングが遅れることも懸念される。
【0107】
一方、
図8に示す実施形態の動画配信装置1が配信する情報を示す例では、動画配信装置1は、動画ID「M0001」の動画及び動画ID「M0002」の動画それぞれについて、キーフレームのみを事前圧縮した圧縮キーフレーム群データ(キー群)と、予測フレームのみを事前圧縮した圧縮予測フレーム群データ(予測群)とを格納している。
【0108】
これにより、実施形態の動画配信装置1は、切り替え指令が送信された第1タイミングT1で、事前圧縮された第1013キーフレーム「I1013」を速やかに配信できる。これにより、外部端末Tは、動画ID「M0002」の動画を速やかに表示できる。
【0109】
実施形態の動画配信装置1において圧縮キーフレーム群データが事前圧縮されているため、動画配信装置1は、データを改めて圧縮等して配信のタイミングを遅らせることなく、動画ID「M0002」の動画を外部端末Tにおいて表示可能とする情報を外部端末Tに配信できる。
【0110】
また、動画配信装置1は、第3タイミングT3、第4タイミングT4、及び第5タイミングT5のそれぞれにおいて、事前圧縮された第6キーフレーム「I0006」、第10キーフレーム「I0010」、及び第1017キーフレーム「I1017」が適応的かつ速やかに配信される。これにより、外部端末Tは、通信障害等によっていずれかのフレームを受信できない場合であっても、これらのキーフレームを用いて速やかに動画ID「M0001」の動画又は動画ID「M0002」の動画を表示できる。
【0111】
動画配信装置1が配信する情報は、切替対象動画を表示可能なキーフレーム及び予測フレームであり、複数の動画のそれぞれを表示可能な大容量の情報ではない。これにより、動画配信装置1は、利用される通信帯域の増大を防ぐことができる。
【0112】
したがって、実施形態の動画配信システムSによれば、動画配信サービスにおいて、視聴者が配信済の動画と異なる別動画の視聴を要望してからできるだけ早くに当該別動画を速やかに表示可能な情報を配信することと、利用される通信帯域の増大を防ぐことと、を両立できる。
【0113】
なお、本発明の思想の範疇において、当業者であれば各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。例えば、前述の実施の形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
【符号の説明】
【0114】
S 動画配信システム
1 動画配信装置
11 制御部
111 事前圧縮部
112 情報配信部
12 記憶部
121 動画テーブル
122 配信状況テーブル
13 通信部
T 外部端末
N ネットワーク