特開 2023-128393 映像伝送装置、方法、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023128393

(43)【公開日】2023-09-14

(54)【発明の名称】映像伝送装置、方法、及びシステム

(51)【国際特許分類】

   H04N 21/234 20110101AFI20230907BHJP

   H04N 21/238 20110101ALI20230907BHJP

【ＦＩ】

H04N21/234

H04N21/238

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022032714

(22)【出願日】2022-03-03

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】石井 大祐

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA06

5C164GA03

5C164SA11S

5C164SB01P

5C164SB26P

5C164SB29S

5C164SB41S

5C164TA08S

5C164YA21

(57)【要約】

【課題】映像ファイルを断片化する場合に、クライアントアプリケーションで要求される遅延時間を満たす範囲で、トラフィックを削減する。
【解決手段】映像伝送装置１０が、映像ファイルを受信するクライアントアプリケーション４２ｎが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得し、取得した情報に基づいて、要求遅延時間を満たす範囲で最長となるキーフレームの挿入頻度を算出し、符号化装置２４ｎに設定する。符号化装置２４ｎは、設定されたキーフレームの挿入頻度に基づいて、映像ファイルを符号化し、符号化ストリームを断片化装置３０へ送信し、断片化装置３０の分割装置３２が、符号化ストリームを複数の断片化ファイルに分割し、クライアントアプリ４２ｎからアクセス可能に断片化ファイル記憶部３４に記憶する。
【選択図】図１

【特許請求の範囲】

【請求項1】

設定されたキーフレームの挿入頻度に基づいて符号化装置により符号化され、分割装置により複数の断片化ファイルに分割された映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得する取得部と、
取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となる前記キーフレームの挿入頻度を前記符号化装置に設定する設定部と、
を含む映像伝送装置。

【請求項2】

前記設定部は、前記要求遅延時間から、前記発生する遅延時間に関する情報が示す遅延時間を差し引いた時間が、前記キーフレームの挿入時間間隔となるように、前記キーフレームの挿入頻度を算出する請求項１に記載の映像伝送装置。

【請求項3】

前記取得部は、複数の前記クライアントアプリケーションが各々異なる要求遅延時間を要求する場合、最短の要求遅延時間を前記設定部で用いる前記要求遅延時間として採用する請求項１又は請求項２に記載の映像伝送装置。

【請求項4】

前記取得部は、前記発生する遅延時間に関する情報として、符号化に要する遅延時間、前記断片化ファイルへの分割に要する遅延時間、及び前記映像ファイルの伝送に要する遅延時間の少なくとも１つを取得する請求項１～請求項３のいずれか１項に記載の映像伝送装置。

【請求項5】

前記取得部は、前記符号化に要する遅延時間として、前記符号化装置の機器構成及び符号化方式に応じた遅延時間を取得する請求項４に記載の映像伝送装置。

【請求項6】

前記取得部は、前記映像ファイルの伝送に要する遅延時間として、計測により得られた遅延時間、統計的若しくは機械学習により得られた遅延時間、又は予め定めた遅延時間を取得する請求項４に記載の映像伝送装置。

【請求項7】

前記設定部は、前記符号化装置に設定する前記キーフレームの挿入頻度に基づいて、符号化された前記映像ファイルを前記キーフレーム毎に分割するように前記分割装置に設定する請求項１～請求項６のいずれか１項に記載の映像伝送装置。

【請求項8】

映像伝送装置が、
映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得し、
取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となるキーフレームの挿入頻度を符号化装置に設定し、
前記符号化装置が、設定された前記キーフレームの挿入頻度に基づいて、前記映像ファイルを符号化し、
分割装置が、符号化された前記映像ファイルを複数の断片化ファイルに分割する
映像伝送方法。

【請求項9】

設定されたキーフレームの挿入頻度に基づいて、映像ファイルを符号化する符号化装置と、
符号化された前記映像ファイルを複数の断片化ファイルに分割する分割装置と、
前記映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得する取得部と、
取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となる前記キーフレームの挿入頻度を前記符号化装置に設定する設定部と、
を含む映像伝送システム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、映像伝送装置、映像伝送方法、及び映像伝送システムに関する。

【背景技術】

【0002】

エッジで撮影した映像を、クラウドのコンピューティングリソースを用いて処理をさせるといった、エッジ－クラウド間の映像処理技術が存在する。映像ファイルに対するマルチアクセスを可能にするためなどの理由で、エッジ－クラウド間での映像ファイルの処理及び伝送の過程で映像ファイルを細かく区切って、ＨＬＳ（HTTP Live Streaming）等の断片化ファイルに分割する場合がある。

【0003】

例えば、複数の符号化ストリームを合成して再生する際に、全てのコンテンツでＧＯＰ（Group Of Picture）構成を同一に保ちつつ、ＧＯＰ構成を変更することが可能な映像処理装置が提案されている。この装置は、同一のコンテンツについて異なる条件で符号化された複数のストリームの内のいずれかを複数のコンテンツについて取得し、該ストリームが復号される前に合成する。また、この装置は、各ストリームのピクチャ構成の情報を取得し、取得したピクチャ構成の情報を用いて、合成される各ストリームのピクチャ構成が同一となるように各コンテンツに対するストリームを選択する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－１９２５６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

映像ファイルを断片化ファイルに分割する場合、映像ファイルを細かく分割し、１つの断片化ファイルに相当する時間が短くなるほど、断片化ファイルへの変換のための待ち時間を短縮し、遅延時間を抑えることができる。ただし、映像ファイルを断片化ファイルに分割する際に、例えばＩピクチャ等のキーフレームが存在しない区間では分割することができない。断片化ファイルを短くするためにキーフレームを増やした場合、低遅延化を達成することはできる。しかし、ＰピクチャやＢピクチャ等のキーフレーム以外のフレームに比べ、キーフレームのファイルサイズは大きいため、キーフレームを増やすことによりトラフィックが増大するという問題がある。

【0006】

また、トラフィックを抑制するためにＱＰを下げることも考えられる。しかし、この場合、映像品質に大きく影響してしまうため、アプリケーションによっては適さない。

【0007】

なお、上記のＧＯＰ構成を変更する従来技術では、ＧＯＰサイズを複数のストリームで共通化することを目的としており、低遅延化及びトラフィックの削減については考慮されていない。

【0008】

一つの側面として、開示の技術は、映像ファイルを断片化する場合に、クライアントアプリケーションで要求される遅延時間を満たす範囲で、トラフィックを削減することを目的とする。

【課題を解決するための手段】

【0009】

一つの態様として、開示の技術は、設定されたキーフレームの挿入頻度に基づいて符号化装置により符号化され、分割装置により複数の断片化ファイルに分割された映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間を取得する。また、開示の技術は、発生する遅延時間に関する情報を取得する。そして、開示の技術は、取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となる前記キーフレームの挿入頻度を前記符号化装置に設定する。

【発明の効果】

【0010】

一つの側面として、映像ファイルを断片化する場合に、クライアントアプリケーションで要求される遅延時間を満たす範囲で、トラフィックを削減することができる、という効果を有する。

【図面の簡単な説明】

【0011】

【図1】映像伝送システムの概略構成を示すブロック図である。

【図2】符号化情報の一例を示す図である。

【図3】符号化ストリームを分割した断片化ファイルを説明するための図である。

【図4】要求遅延情報の一例を示す図である。

【図5】断片化ファイルの長短による遅延を説明するための図である。

【図6】映像伝送装置の機能ブロック図である。

【図7】集約した要求遅延情報の一例を示す図である。

【図8】映像出力装置毎の要求遅延時間の一例を示す図である。

【図9】符号化遅延ＤＢの一例を示す図である。

【図10】映像出力装置毎のキーフレームの挿入頻度の一例を示す図である。

【図11】映像伝送装置として機能するコンピュータの概略構成を示すブロック図である。

【図12】映像伝送処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

【0013】

図１に示すように、本実施形態に係る映像伝送システム１００は、映像伝送装置１０と、複数の映像出力装置２０ｎ（ｎ＝１，２，・・・）と、断片化装置３０と、複数のクライアント端末４０ｎとを含む。

【0014】

映像出力装置２０ｎは、エッジ側に配置される。映像出力装置２０ｎは、映像入力機器２２ｎと、符号化装置２４ｎとを含む。映像入力機器２２ｎは、例えばビデオカメラであり、映像を撮影し、映像ファイルを符号化装置２４ｎへ入力する。

【0015】

符号化装置２４ｎは、設定されたキーフレームの挿入頻度（詳細は後述）に基づいて、映像入力機器２２ｎから入力された映像ファイルを符号化する。例えば、符号化装置２４ｎは、１つのＩピクチャと、複数のＢピクチャ及びＰピクチャとをまとめたＧＯＰの構造を１単位として符号化を行う。Ｉピクチャはキーフレームの一例である。本実施形態では、このキーフレームの挿入頻度が後述する映像伝送装置１０により設定される。符号化装置２４ｎは、ハードウェアエンコーダであってもよいし、ソフトウェアエンコーダであってもよい。符号化装置２４ｎは、映像ファイルを符号化した符号化ストリームを断片化装置３０へ送信する。

【0016】

また、符号化装置２４ｎは、符号化における遅延時間を算出するための符号化情報を保持する。図２に、符号化情報２６の一例を示す。図２の例では、符号化情報２６は、エンコーダの種類、採用される符号化方式等の情報を含む。エンコーダの種類は、ハードウェアかソフトウェアか、ソフトウェアの場合にはＣＰＵ（Central Processing Unit）の性能等である。また、符号化情報２６は、符号化装置２４ｎに入力される映像ファイルのフレームレート、解像度等の情報を含む。符号化情報２６は、映像出力装置２０ｎの識別情報である装置ＩＤと対応付けられている。なお、図２では、装置ＩＤとして、その装置ＩＤが示す映像出力装置２０ｎに含まれる映像入力機器２２ｎの識別情報を使用した例を示しており、「映像入力機器ｎ」は、映像入力機器２２ｎの識別情報である。

【0017】

断片化装置３０は、クラウド側に配置される。断片化装置３０は、分割装置３２と、断片化ファイル記憶部３４とを含む。なお、映像伝送システム１００に含まれる断片化装置３０の数は図１の例に限定されず、複数の断片化装置３０を含んでもよい。

【0018】

分割装置３２は、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含むコンピュータで実現されてよい。分割装置３２は、映像出力装置２０ｎから送信された符号化ストリームを受信し、図３に示すように、符号化ストリームを複数の断片化ファイルに分割する。断片化ファイルは、例えば、ＨＬＳ、ＭＰＥＧ－ＤＡＳＨ（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）等である。また、分割装置３２は、各断片化ファイルの再生順等の情報を含むインデックス情報も生成する。分割装置３２は、１映像ファイルを何個の断片化ファイルに分割するかの情報を保持している。

【0019】

断片化ファイル記憶部３４には、分割装置３２により分割された断片化ファイルが記憶される。断片化ファイル記憶部３４は、例えば、ＳＳＤ（Solid State Drive）等の高速ストレージで実現してよい。クラウド上の高速ストレージに断片化ファイルを記憶することで、複数のクライアント端末４０ｎから同時に断片化ファイルの利用が可能となる。

【0020】

クライアント端末４０ｎは、パーソナルコンピュータ、タブレット端末、スマートフォン等で実現されてよい。クライアント端末４０ｎ上では、映像ファイルを再生するためのクライアントアプリケーション（以下、「クライアントアプリ」という）４２ｎが動作する。クライアントアプリ４２ｎは、映像ファイルの利用形態等により、映像入力機器２２ｎで取得された映像ファイルがクライアントアプリ４２ｎへ伝送されるまでの遅延時間として、そのアプリケーションに応じた要求遅延時間を要求する。例えば、ライブ配信等のリアルタイム性が要求されるクライアントアプリ４２ｎでは要求遅延時間は短い時間となる。これに比べ、伝送された映像ファイルをいったん蓄積した後に利用するようなクライアントアプリ４２ｎでは、要求遅延時間は長い時間となる。

【0021】

クライアント端末４０ｎは、例えば図４に示すように、映像ファイルを取得する接続先機器毎に、その映像ファイルの伝送に対する要求遅延時間を定めた要求遅延情報４４を保持する。図４の例では、要求遅延情報４４には、クライアントアプリ４２ｎの識別情報であるクライアントＩＤが対応付けられている。なお、「クライアントアプリｎ」は、クライアントアプリ４２ｎの識別情報であり、図４の例では、「クライアントアプリ１」は、クライアントアプリ４２１の識別情報である。

【0022】

エッジ－クラウド間の通信、すなわち、映像出力装置２０ｎと断片化装置３０との間の通信は、低遅延を達成するため、高速性に優れるＵＤＰ（User Datagram Protocol）としてよい。そのため、映像出力装置２０ｎと断片化装置３０との間の通信回線は、回線コスト、許容トラフィック、専用線における最大値の制約、ＶＰＮ（Virtual Private Network）におけるスループットの制約等、通信量に制約が大きい回線となる。また、断片化装置３０とクライアント端末４０ｎとの間の通信は、ＴＣＰ（Transmission Control Protocol）としてよい。そのため、断片化装置３０とクライアント端末４０ｎとの間の通信回線は、クラウド内の高速回線等、通信量の制約が小さい回線となる。これにより、映像伝送システム１００におけるＴＣＰ送信区間を最小とし、映像ファイルの伝送の高速化を保つことができる。

【0023】

ここで、図５に示すように、１つの断片化ファイルの時間が短いほど、すなわち、１つの断片化ファイルに含まれるフレーム数が少ないほど、断片化ファイルへの変換のための待ち時間が短くなるため、低遅延化を図ることができる。また、１つの断片化ファイルの時間が長いほど、断片化ファイルへの変換のための待ち時間が長くなるため、低遅延化を図ることができない。一方、１つの断片化ファイルには少なくとも１つのキーフレームが含まれる必要がある。そのため、断片化ファイルを短くするためにキーフレームを増やした場合、データ量の大きなキーフレームが増えることになるため、トラフィックが増大するという問題がある。

【0024】

そこで、映像伝送装置１０は、クライアントアプリ４２ｎの要求遅延時間を満たす範囲で、トラフィックを削減することができるキーフレームの挿入頻度を算出して符号化装置２４ｎに設定する。映像伝送装置１０は、機能的には、図６に示すように、取得部１２と、算出部１４と、設定部１６とを含む。また、映像伝送装置１０の所定の記憶領域には、符号化遅延ＤＢ（Database）１８が記憶される。なお、算出部１４及び設定部１６は、開示の技術の設定部の一例である。

【0025】

取得部１２は、映像ファイルを受信するクライアントアプリ４２ｎが要求する要求遅延時間を取得する。取得部１２は、複数のクライアントアプリ４２ｎが各々異なる要求遅延時間を要求する場合、最短の要求遅延時間、すなわち最も要求が厳しい要求遅延時間を、後段の算出部１４で用いる要求遅延時間として採用する。取得部１２は、例えば、クライアントアプリ４２ｎと接続される映像出力装置２０ｎが変更されるなどして、クライアントアプリ４２ｎの要求遅延時間が変更される都度、要求遅延時間を取得し直す。

【0026】

具体的には、取得部１２は、各クライアントアプリ４２ｎから、そのクライアントアプリ４２ｎのクライアントＩＤに対応付けられた要求遅延情報４４（図４）を取得する。取得部１２は、各クライアントアプリ４２ｎから取得した要求遅延情報４４を、図７に示すように集約する。そして、取得部１２は、同一の接続先機器を対象とする要求遅延時間のうち、最短の要求遅延時間を、その接続先機器が示す映像出力装置２０ｎに対する要求遅延時間として取得する。

【0027】

例えば、図７に示すように、接続先機器を映像出力装置２０１（装置ＩＤ＝映像入力機器１）とするクライアントアプリ４２ｎがクライアントアプリ４２１、４２３、及び４２４（クライアントＩＤ＝クライアントアプリ１、３、及び４）であるとする。そして、クライアントアプリ４２１、４２３、及び４２４のそれぞれの要求遅延時間が９秒、１５秒、及び２０秒の場合、取得部１２は、図８に示すように、映像出力装置２０１に対する要求遅延時間「９秒」を取得する。同様に、取得部１２は、映像出力装置２０２に対する要求遅延時間「１０秒」を取得する。

【0028】

また、取得部１２は、発生する遅延時間に関する情報を取得する。具体的には、取得部１２は、発生する遅延時間に関する情報として、符号化に要する遅延時間（以下、「符号化遅延」という）を取得する。より具体的には、取得部１２は、符号化遅延ＤＢ１８を参照し、符号化遅延として、映像出力装置２０ｎの機器構成及び符号化方式に応じた遅延時間を取得する。取得部１２は、クライアントアプリ４２ｎの接続先機器である映像出力装置２０ｎが変更される都度、符号化遅延を取得し直す。

【0029】

例えば、符号化遅延ＤＢ１８には、図９に示すように、エンコーダの種類及び符号化方式毎に、符号化遅延を算出するための単位時間（以下、「単位符号化遅延」という）が記憶されている。取得部１２は、映像出力装置２０ｎから符号化情報２６（図２）を取得する。また、取得部１２は、符号化情報２６に含まれるエンコーダの種類及び符号化方式に対応する単位符号化遅延を符号化遅延ＤＢ１８から取得する。そして、取得部１２は、符号化情報２６に含まれるフレームレート及び解像度と、単位符号化遅延とに基づいて、映像出力装置２０ｎ毎に符号化遅延を算出する。

【0030】

また、取得部１２は、発生する遅延時間に関する情報として、映像入力機器２２ｎとクライアント端末４０ｎ間の映像ファイルの伝送に関する遅延時間（以下、「伝送遅延」という）を取得する。伝送遅延は時間帯に応じて変化する場合があるため、取得部１２は、任意の値や、過去の伝送遅延の時間帯毎の平均値等の予め登録された伝送遅延を取得してよい。また、取得部１２は、機械学習等により生成された伝送遅延の予測モデルにより予測される伝送遅延を取得してもよい。また、取得部１２は、上記の符号化遅延及び伝送遅延として、計測ステップを設け、実処理時間を計測し、実ノードで得られた値を取得してもよい。

【0031】

算出部１４は、取得された情報に基づいて、要求遅延時間を満たす範囲で最長となるキーフレームの挿入頻度を算出する。具体的には、算出部１４は、要求遅延時間から、発生する遅延時間に関する情報が示す遅延時間を差し引いた時間が、キーフレームの挿入時間間隔となるように、キーフレームの挿入頻度を算出する。図１０に、映像出力装置２０ｎ毎に算出されたキーフレームの挿入頻度の一例を示す。

【0032】

以下、キーフレームの挿入頻度の算出の一例について説明する。算出に用いる値を、下記のように定義する。
Ｒ：同一の映像出力装置２０ｎに接続されるクライアントアプリ４２ｎの要求遅延時間のうち、最小の要求遅延時間［ｓｅｃ］
Ｆ：映像ファイルのフレームレート［ｆｒａｍｅ／ｓｅｃ］
Ｃ：符号化遅延［ｓｅｃ］
Ａ：その他の遅延時間［ｓｅｃ］
Ｎ：１映像ファイルについての断片化ファイル数

【0033】

この場合、算出部１４は、以下のようにキーフレームの挿入頻度（Ｉ［ｆｒａｍｅ］）を算出する。
Ｉ＝ｆｌｏｏｒ（（Ｒ－Ｃ－Ａ）＊Ｆ／Ｎ）
ただし、ｆｌｏｏｒ（Ｘ）は、Ｘ以下の最大の整数

【0034】

例えば、最小の要求遅延時間（Ｒ）が９秒、符号化遅延（Ｃ）が４秒、その他の遅延時間（Ａ）として伝送遅延が１秒であり、フレームレート（Ｆ）が１０ｆｐｓ、断片化ファイル数（Ｎ）が４の場合、Ｉ＝ｆｌｏｏｒ（（９－４－１）＊１０／４）＝１０となる。すなわち、１０フレームに１枚の頻度でキーフレームを挿入することが必要であると算出される。

【0035】

設定部１６は、算出部１４により算出されたキーフレームの挿入頻度を映像出力装置２０ｎの符号化装置２４ｎに設定する。また、設定部１６は、断片化装置３０の分割装置３２に、算出部１４により算出されたキーフレームの挿入頻度に基づいて、キーフレーム毎に符号化ストリームを分割した断片化ファイルを生成するように設定する。これは、デフォルトの設定として、例えば、ＧＯＰ２つ分、すなわちキーフレーム２つ分で１つの断片化ファイルとなるように設定されているような場合を考慮したものである。デフォルトの設定がキーフレーム毎に断片化を行うものであれば、設定部１６による設定は不要である。

【0036】

映像伝送装置１０は、例えば図１１に示すコンピュータ５０で実現されてよい。コンピュータ５０は、ＣＰＵ５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、入力部、表示部等の入出力装置５４と、記憶媒体５９に対するファイルの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部５５とを備える。また、コンピュータ５０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。

【0037】

記憶部５３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ、フラッシュメモリ等によって実現されてよい。記憶媒体としての記憶部５３には、コンピュータ５０を、映像伝送装置１０として機能させるための映像伝送プログラム６０が記憶される。映像伝送プログラム６０は、取得プロセス６２と、算出プロセス６４と、設定プロセス６６とを有する。また、記憶部５３は、符号化遅延ＤＢ１８を構成する情報が記憶される情報記憶領域７０を有する。

【0038】

ＣＰＵ５１は、映像伝送プログラム６０を記憶部５３から読み出してメモリ５２に展開し、映像伝送プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、取得プロセス６２を実行することで、図６に示す取得部１２として動作する。また、ＣＰＵ５１は、算出プロセス６４を実行することで、図６に示す算出部１４として動作する。また、ＣＰＵ５１は、設定プロセス６６を実行することで、図６に示す設定部１６として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、符号化遅延ＤＢ１８をメモリ５２に展開する。これにより、映像伝送プログラム６０を実行したコンピュータ５０が、映像伝送装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。

【0039】

なお、映像伝送プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

【0040】

次に、本実施形態に係る映像伝送装置１０の作用について説明する。映像伝送装置１０において、図１２に示す映像伝送処理が実行される。なお、映像伝送処理は、開示の技術の映像伝送方法の一例である。

【0041】

ステップＳ１０で、取得部１２が、各クライアントアプリ４２ｎから要求遅延情報４４を取得して、各クライアントアプリ４２ｎの接続先機器及び要求遅延時間を集約する。そして、取得部１２が、同一の接続先機器を対象とする要求遅延時間のうち、最短の要求遅延時間を、その接続先機器が示す映像出力装置２０ｎに対する要求遅延時間として取得する。

【0042】

次に、ステップＳ１２で、取得部１２が、映像出力装置２０ｎから符号化情報２６を取得し、取得した符号化情報２６と、符号化遅延ＤＢ１８の情報とに基づいて、符号化遅延を取得する。また、取得部１２が、予め登録された伝送遅延を取得する。次に、ステップＳ１４で、算出部１４が、上記ステップＳ１０及びＳ１２で取得された情報に基づいて、要求遅延時間を満たす範囲で最長となるキーフレームの挿入頻度を算出する。

【0043】

次に、ステップＳ１６で、設定部１６が、上記ステップＳ１４で算出されたキーフレームの挿入頻度を映像出力装置２０ｎの符号化装置２４ｎに設定する。次に、ステップＳ１８で、設定部１６が、上記ステップＳ１４で算出されたキーフレームの挿入頻度に基づいて挿入されたキーフレーム毎に符号化ストリームを分割した断片化ファイルを生成するように、断片化装置３０の分割装置３２に設定する。そして、映像伝送処理を終了する。

【0044】

映像伝送装置１０は、上記の映像伝送処理を所定時間間隔で繰り返し実行する。又は、映像伝送装置１０は、クライアントアプリ４２ｎの要求遅延時間が変更される都度、及び符号化装置の構成及び符号化方式が変更される都度、上記の映像伝送処理を実行する。

【0045】

これにより、符号化装置２４ｎが、設定されたキーフレームの挿入頻度に基づいて、映像入力機器２２ｎから入力された映像ファイルを符号化して、符号化ストリームを断片化装置３０へ送信する。そして、断片化装置３０では、分割装置３２が、符号化ストリームを、キーフレーム毎に分割して断片化ファイルを生成し、断片化ファイル記憶部３４に記憶する。そして、クライアントアプリ４２ｎが、断片化ファイル記憶部３４にアクセスして、断片化ファイルを取得し、映像を復号して再生する。

【0046】

以上説明したように、本実施形態に係る映像伝送システムによれば、映像伝送装置が、映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得する。また、映像伝送装置が、取得された情報に基づいて、要求遅延時間を満たす範囲で最長となるキーフレームの挿入頻度を算出し、符号化装置に設定する。符号化装置は、設定されたキーフレームの挿入頻度に基づいて、映像ファイルを符号化する。そして、符号化された映像ファイルを複数の断片化ファイルに分割し、クライアントアプリからアクセス可能に記憶部に記憶する。これにより、映像ファイルを断片化する場合に、クライアントアプリケーションで要求される遅延時間を満たす範囲で、トラフィックを削減することができる。そのため、利用可能な回線帯域に制約のある場合であっても、クライアントアプリの要求遅延時間を満たしつつ、回線帯域の制約も満たすことができる。

【0047】

また、本実施形態に係る映像伝送システムによれば、クライアントアプリの接続先の変更や、符号化装置の構成の変更等にも動的に対応して、クライアントアプリの要求遅延時間を満たしつつ、トラフィックを削減することができる。この場合における適用時の効果例について説明する。

【0048】

上記実施形態で説明したキーフレームの挿入頻度の算出例において、符号化装置の構成がソフトウェアエンコーダ利用からハードウェアエンコーダ利用に変更されたことにより、符号化遅延が４秒から１秒に変更になったとする。この場合、キーフレームの挿入頻度は、Ｉ＝ｆｌｏｏｒ（（９－１－１）＊１０／４）＝１７となり、キーフレームの挿入頻度を約４０％削減することができる。キーフレーム（例えば、Ｉピクチャ）のデータ量は、キーフレーム以外のフレーム（例えば、Ｐ及びＢピクチャ）のデータ量と比較して大きく、シーンにより異なるが、仮に２０倍程度であるとする。キーフレーム以外のフレームのデータ量をａとすると、Ｉフレーム分（１ＧＯＰ分）のデータ量は、２０＊ａ＋（Ｉ－１）＊ａ＝（Ｉ－１＋２０）＊ａとなる。また、計算を容易とするため、１映像ファイルを１７０フレームとすると、符号化装置の構成の変更前後のデータ量は以下のようになる。

【0049】

変更前（Ｉ＝１０）：（１０－１＋２０）＊１７０／１０＊ａ＝４９３ａ
変更後（Ｉ＝１７）：（１７－１＋２０）＊１７０／１７＊ａ＝３６０ａ
この場合、変更前のデータ量に対する変更後のデータ量は、３６０ａ／４９３ａ＝約７３％であり、約２７％のトラフィックを削減することができる。

【0050】

上記の符号化装置の構成の変更後から、さらに、同一の符号化装置に接続されるクライアントアプリが変更されたことにより、最小の要求遅延時間が９秒から１５秒に変更になったとする。この場合、最小の要求遅延時間の変更前後のキーフレームの挿入頻度は、Ｉ＝ｆｌｏｏｒ（（１５－１－１）＊１０／４）＝３２となり、キーフレームの挿入頻度を約４５％削減することができる。上記と同様に、キーフレームのデータ量を、キーフレーム以外のフレームのデータ量ａの２０倍程度とし、１映像ファイルを３２０フレームとすると、符号化装置の構成及び最小の要求遅延時間の変更前後のデータ量は以下のようになる。

【0051】

変更前（Ｉ＝１０）：（１０－１＋２０）＊３２０／１０＊ａ＝９２８ａ
変更後（Ｉ＝３２）：（３２－１＋２０）＊３２０／３２＊ａ＝５１０ａ
この場合、変更前のデータ量に対する変更後のデータ量は、５１０ａ／９２８ａ＝約５５％であり、約４５％のトラフィックを削減することができる。

【0052】

なお、上記実施形態では、キーフレームの挿入頻度を算出するための遅延時間の一例として、符号化遅延及び伝送遅延について説明したが、遅延時間にはこれ以外のものを含んでもよい。例えば、断片化ファイルへの分割に要する遅延時間（以下、「分割遅延」という）を加えてもよい。また、これらの遅延時間を全て考慮する場合に限定されず、符号化遅延、伝送遅延、及び分割遅延の少なくとも１つを遅延時間として用いてもよい。

【0053】

また、本実施形態における映像伝送システムにおける映像伝送装置の配置は、図１の例に限定されない。映像伝送装置は、エッジ側に配置されてもよいし、クラウド側に配置されてもよい。また、映像伝送装置の各機能部をエッジ側及びクラウド側に分散配置するようにしてもよい。

【0054】

また、上記実施形態では、映像伝送プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

【0055】

以上の実施形態に関し、さらに以下の付記を開示する。

【0056】

（付記１）
設定されたキーフレームの挿入頻度に基づいて符号化装置により符号化され、分割装置により複数の断片化ファイルに分割された映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得する取得部と、
取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となる前記キーフレームの挿入頻度を前記符号化装置に設定する設定部と、
を含む映像伝送装置。

【0057】

（付記２）
前記設定部は、前記要求遅延時間から、前記発生する遅延時間に関する情報が示す遅延時間を差し引いた時間が、前記キーフレームの挿入時間間隔となるように、前記キーフレームの挿入頻度を算出する付記１に記載の映像伝送装置。

【0058】

（付記３）
前記取得部は、複数の前記クライアントアプリケーションが各々異なる要求遅延時間を要求する場合、最短の要求遅延時間を前記設定部で用いる前記要求遅延時間として採用する付記１又は付記２に記載の映像伝送装置。

【0059】

（付記４）
前記取得部は、前記発生する遅延時間に関する情報として、符号化に要する遅延時間、前記断片化ファイルへの分割に要する遅延時間、及び前記映像ファイルの伝送に要する遅延時間の少なくとも１つを取得する付記１～付記３のいずれか１項に記載の映像伝送装置。

【0060】

（付記５）
前記取得部は、前記符号化に要する遅延時間として、前記符号化装置の機器構成及び符号化方式に応じた遅延時間を取得する付記４に記載の映像伝送装置。

【0061】

（付記６）
前記取得部は、前記映像ファイルの伝送に要する遅延時間として、計測により得られた遅延時間、統計的若しくは機械学習により得られた遅延時間、又は予め定めた遅延時間を取得する付記４に記載の映像伝送装置。

【0062】

（付記７）
前記設定部は、前記符号化装置に設定する前記キーフレームの挿入頻度に基づいて、符号化された前記映像ファイルを前記キーフレーム毎に分割するように前記分割装置に設定する付記１～付記６のいずれか１項に記載の映像伝送装置。

【0063】

（付記８）
映像伝送装置が、
映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得し、
取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となるキーフレームの挿入頻度を符号化装置に設定し、
前記符号化装置が、設定された前記キーフレームの挿入頻度に基づいて、前記映像ファイルを符号化し、
分割装置が、符号化された前記映像ファイルを複数の断片化ファイルに分割する
映像伝送方法。

【0064】

（付記９）
前記要求遅延時間から、前記発生する遅延時間に関する情報が示す遅延時間を差し引いた時間が、前記キーフレームの挿入時間間隔となるように、前記キーフレームの挿入頻度を算出する付記８に記載の映像伝送方法。

【0065】

（付記１０）
複数の前記クライアントアプリケーションが各々異なる要求遅延時間を要求する場合、最短の要求遅延時間を前記要求遅延時間として採用する付記８又は付記９に記載の映像伝送方法。

【0066】

（付記１１）
前記発生する遅延時間に関する情報として、符号化に要する遅延時間、前記断片化ファイルへの分割に要する遅延時間、及び前記映像ファイルの伝送に要する遅延時間の少なくとも１つを取得する付記８～付記１０のいずれか１項に記載の映像伝送方法。

【0067】

（付記１２）
前記符号化に要する遅延時間として、前記符号化装置の機器構成及び符号化方式に応じた遅延時間を取得する付記１１に記載の映像伝送方法。

【0068】

（付記１３）
前記映像ファイルの伝送に要する遅延時間として、計測により得られた遅延時間、統計的若しくは機械学習により得られた遅延時間、又は予め定めた遅延時間を取得する付記１１に記載の映像伝送方法。

【0069】

（付記１４）
前記符号化装置に設定する前記キーフレームの挿入頻度に基づいて、符号化された前記映像ファイルを前記キーフレーム毎に分割するように前記分割装置に設定する付記８～付記１３のいずれか１項に記載の映像伝送方法。

【0070】

（付記１５）
設定されたキーフレームの挿入頻度に基づいて、映像ファイルを符号化する符号化装置と、
符号化された前記映像ファイルを複数の断片化ファイルに分割する分割装置と、
前記映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得する取得部と、
取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となる前記キーフレームの挿入頻度を前記符号化装置に設定する設定部と、
を含む映像伝送システム。

【0071】

（付記１６）
前記設定部は、前記要求遅延時間から、前記発生する遅延時間に関する情報が示す遅延時間を差し引いた時間が、前記キーフレームの挿入時間間隔となるように、前記キーフレームの挿入頻度を算出する付記１５に記載の映像伝送システム。

【0072】

（付記１７）
前記取得部は、複数の前記クライアントアプリケーションが各々異なる要求遅延時間を要求する場合、最短の要求遅延時間を前記設定部で用いる前記要求遅延時間として採用する付記１５又は付記１６に記載の映像伝送システム。

【0073】

（付記１８）
前記取得部は、前記発生する遅延時間に関する情報として、符号化に要する遅延時間、前記断片化ファイルへの分割に要する遅延時間、及び前記映像ファイルの伝送に要する遅延時間の少なくとも１つを取得する付記１５～付記１７のいずれか１項に記載の映像伝送システム。

【0074】

（付記１９）
設定されたキーフレームの挿入頻度に基づいて符号化装置により符号化され、分割装置により複数の断片化ファイルに分割された映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得し、
取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となる前記キーフレームの挿入頻度を前記符号化装置に設定する
ことを含む処理をコンピュータに実行させるための映像伝送プログラム。

【0075】

（付記２０）
設定されたキーフレームの挿入頻度に基づいて符号化装置により符号化され、分割装置により複数の断片化ファイルに分割された映像ファイルを受信するクライアントアプリケーションが要求する要求遅延時間と、発生する遅延時間に関する情報とを取得し、
取得された情報に基づいて、前記要求遅延時間を満たす範囲で最長となる前記キーフレームの挿入頻度を前記符号化装置に設定する
ことを含む処理をコンピュータに実行させるための映像伝送プログラムを記憶した非一時的記憶媒体。

【符号の説明】

【0076】

１００ 映像伝送システム
１０ 映像伝送装置
１２ 取得部
１４ 算出部
１６ 設定部
１８ 符号化遅延ＤＢ
２０ｎ 映像出力装置
２２ｎ 映像入力機器
２４ｎ 符号化装置
２６ 符号化情報
３０ 断片化装置
３２ 分割装置
３４ 断片化ファイル記憶部
４０ｎ クライアント端末
４２ｎ クライアントアプリ
４４ 要求遅延情報
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５４ 入出力装置
５５ Ｒ／Ｗ部
５６ 通信Ｉ／Ｆ
５７ バス
５９ 記憶媒体
６０ 映像伝送プログラム
６２ 取得プロセス
６４ 算出プロセス
６６ 設定プロセス
７０ 情報記憶領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】