(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】映像配信システム、映像配信方法、送信装置及び送信プログラム
(51)【国際特許分類】
H04N 21/436 20110101AFI20241112BHJP
【FI】
H04N21/436
(21)【出願番号】P 2022532220
(86)(22)【出願日】2020-06-26
(86)【国際出願番号】 JP2020025310
(87)【国際公開番号】W WO2021260935
(87)【国際公開日】2021-12-30
【審査請求日】2022-11-10
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100119677
【氏名又は名称】岡田 賢治
(74)【代理人】
【識別番号】100160495
【氏名又は名称】畑 雅明
(74)【代理人】
【識別番号】100115794
【氏名又は名称】今下 勝博
(72)【発明者】
【氏名】藤原 稔久
(72)【発明者】
【氏名】谷口 友宏
(72)【発明者】
【氏名】小野 央也
【審査官】松元 伸次
(56)【参考文献】
【文献】米国特許出願公開第2009/0313669(US,A1)
【文献】特開2015-005976(JP,A)
【文献】特開2019-118076(JP,A)
【文献】特表2019-506098(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N7/10
7/14-7/173
7/20-7/56
21/00-21/858
(57)【特許請求の範囲】
【請求項1】
送信装置が、非圧縮映像データをフレーム及び走査線の少なくともいずれかで分離してパケット化し、フレーム及び走査線の少なくともいずれかに応じたアドレスをヘッダに記載してパケットを送信し、
受信装置が、自装置
のネットワーク帯域及び画質の少なくともいずれかで定められるアドレスがヘッダに記載された非圧縮映像データを選択的に受信する、
映像配信システム。
【請求項2】
前記送信装置が、映像データとは異なるデータを、映像データとは異なるアドレスをヘッダに記載して送信する、
請求項
1に記載の映像配信システム。
【請求項3】
前記送信装置が、映像ソースからフレーム及び走査線の少なくともいずれかを間引いた第1の非圧縮映像データと、前記第1の非圧縮映像データにおいて前記映像ソースから間引かれた第2の非圧縮映像データと、をそれぞれパケット化し、前記第1の非圧縮映像データと第2の非圧縮映像データとを異なる
アドレスをヘッダに記載して送信する、
請求項
1に記載の映像配信システム。
【請求項4】
前記受信装置は、
前記第1の非圧縮映像データ及び第2の非圧縮映像データを受信し、
前記第1の非圧縮映像データ及び第2の非圧縮映像データを組み合わせ、表示デバイスで再生可能な非圧縮映像データを構築する、
請求項
3に記載の映像配信システム。
【請求項5】
送信装置が、非圧縮映像データをフレーム及び走査線の少なくともいずれかで分離してパケット化し、フレーム及び走査線の少なくともいずれかに応じたアドレスをヘッダに記載してパケットを送信し、
受信装置が、自装置
のネットワーク帯域及び画質の少なくともいずれかで定められるアドレスがヘッダに記載された非圧縮映像データを選択的に受信する、
映像配信方法。
【請求項6】
非圧縮映像データのフレーム
及び走査線の少なくともいずれかを識別する信号解析部と、
非圧縮映像データをフレーム及び走査線の少なくともいずれかで分離してパケット化するパケット化部と、
フレーム及び走査線の少なくともいずれかに応じた
、ネットワーク帯域及び画質の少なくともいずれかで定められるアドレスをヘッダに記載して、前記パケット化部で生成された各パケットを送出するデータ送出部と、
を備える送信装置。
【請求項7】
請求項
6に記載の送信装置に備わる各機能部としてコンピュータを機能させるための送信プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワークを介して、画面を遠隔地に配信するシステムに関する。
【背景技術】
【0002】
従来、ディスプレイやモニタなどの表示デバイスへの映像データの転送には、数mから数十m程度の近距離の接続が前提の接続方式が用いられてきた。例えば、HDMI(High-Definition Multimedia Interface)(登録商標)[非特許文献1]は、コンピュータとそのモニタや、テレビや関連するAV(Audio/Visual)機器同士を接続するために普及した方式であるが、数kmなど先などの遠隔地の機器を直接接続し、映像データを転送することはできない。
【0003】
遠隔地に映像データを転送するためには、上記のHDMIの信号を通信用に適した信号に変換するための装置が用いられる。HDMI信号を所定の形式でIP(Internet Protocol)パケット化する方式などが知られている[非特許文献2,3]。
【先行技術文献】
【非特許文献】
【0004】
【文献】https://www.hdmi.org/spec/hdmi2_1
【文献】https://www.aja-jp.com/news/press/1068-aja-announces-ipt-10g2-hdmi-and-ipt-10g2-sdi
【文献】http://h-path.co.jp/service_product/3-monitoring-with-transmitter-receiver/
【発明の概要】
【発明が解決しようとする課題】
【0005】
遠隔地に映像データを転送する場合、1つの映像ソースに対して、1つの表示デバイスだけでなく、複数の表示デバイスに同時配信する場合がある。特に、低遅延の配信を実現する場合は、非圧縮の映像データの転送が必要となる。
【0006】
HDMI等の非圧縮映像データをネットワークで転送する従来方式では、1つの映像ソースに対して、複数の表示デバイスに対する効率的な配信が実現できていなかった。例えば、マルチキャストで、同一の映像データをすべての表示デバイスへ配信するだけであった。このようなシステムには2つの問題がある。
【0007】
1つはすべての受信装置に対して、十分な非圧縮映像データを伝送するネットワーク帯域がない場合があることである。一律高画質・高フレームレートで配信を実施すると、非圧縮映像データは膨大なデータ量となることから、帯域が十分でないネットワークで映像コンテンツが表示できないだけでなく、ネットワーク帯域を圧迫し、その他の通信をも阻害することとなる。また、低いネットワーク帯域に合わせて配信すると、高画質・高フレームレートの映像ソースの品質を活かした配信ができないという問題が生じる。
【0008】
もう1つは、映像ソースの画素及びフレームレートに対応した映像を表示できる表示デバイスがない場合があることである。固定的なシステムではなく、動的に都度映像ソースが変更になることや、多数の表示デバイスに配信する場合、全ての映像ソースのフォーマットに対して、すべての表示デバイスが対応することは難しい。
【0009】
つまり、本開示は、大容量の映像データを利用可能帯域が異なる複数のネットワークを介して遠隔地の表示能力が異なる表示デバイスへ転送可能にすることを目的とする。
【課題を解決するための手段】
【0010】
送信側が、映像データをフレームまたは走査線ごとに異なる識別子のパケットで送信し、受信側が、ネットワーク帯域または表示可能な画質に応じて、所定の識別子のパケットを選択的に受信する。
【0011】
具体的には、本開示の映像配信システムは、
送信装置が、フレーム及び走査線の少なくともいずれかごとに映像データをパケット化し、複数の識別子をヘッダに記載してパケットを送信し、
受信装置が、前記複数の識別子のうちの所定の識別子がヘッダに記載された映像データを選択的に受信する。
【0012】
具体的には、本開示の映像配信方法は、
送信装置が、フレーム及び走査線の少なくともいずれかごとに映像データをパケット化し、複数の識別子をヘッダに記載してパケットを送信し、
受信装置が、前記複数の識別子のうちの所定の識別子がヘッダに記載された映像データを選択的に受信する。
【0013】
具体的には、本開示の送信装置は、
映像データのフレーム又は走査線の少なくともいずれかを識別する信号解析部と、
フレーム及び走査線の少なくともいずれかごとに映像データをパケット化するパケット化部と、
複数の識別子をヘッダに記載して、前記パケット化部で生成された各パケットを送出するデータ送出部と、
を備える。
【0014】
本開示の送信プログラムは、本開示に係る送信装置に備わる各機能部としてコンピュータを実現させるためのプログラムであり、本開示に係る送信装置が実行する送信方法に備わる各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【0015】
本開示によれば、大容量の映像データを利用可能帯域が異なる複数のネットワークを介して遠隔地の表示能力が異なる表示デバイスへ転送することができる。
【図面の簡単な説明】
【0016】
【
図4】画像データ以外を用いたアドレスの制御例を示す。
【発明を実施するための形態】
【0017】
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【0018】
(開発技術の具体的な説明)
図1を参照しながら、本開示の映像配信システムの概略構成について説明する。送信側では、1つの映像ソースを、画素及びフレーム数等のデータの種類やフレームの順序によって、配信に利用する識別子を異なるもので送出し、受信側では、識別子を選択してパケットを受信することで、必要な画素及びフレーム数の映像データを得ることができることを特徴とする。これにより、送信側は1つの映像ソースのみの送出で、受信側のネットワーク帯域や、表示デバイスの表示可能な画質に合わせて、選択的に受信し、表示することが可能となる。特に、受信側が複数又は多数の受信装置や表示デバイスがある場合や、送信側と受信側の間に複数のネットワークが介在している場合であっても、本発明では複数の映像ソースを必要としないことから、拡張がしやすいシステムとなる。
【0019】
前記の配信に利用する識別子は、ルータやスイッチなどの一般的なネットワーク機器が読み取ることの可能な、パケットのヘッダに記載された任意の識別子であり、例えば以下が例示できる。
(1)Ethernet(登録商標):宛先MAC(Media Access Control address)アドレス、送信元MACアドレス
(2)IP(Internet Protocol):宛先アドレス、送信元アドレス、ToS
(3)TCP/UDP(Transmission Control Protocol/User Datagram Protocol):送信元ポート番号、宛先ポート番号
(4)VLAN(Virtual Local Area Network)(802.1Q,802.1ad):VLAN ID、優先度(PCP)
(5)VXLAN(Virtual eXtensible Local Area Network):VXLAN ID(VNI)、(1-4)に準じるOuter識別子
(6)NVGRE(Network Virtualization using Generic Routing Encapsulation):Tenant Network Identifier(TNI)、(1-4)に準じるOuter識別子
(7)STT(Spin Torque Transfer):Context ID
(8)MPLS(Multi-Protocol Label Switching):ラベル、EXP(Experimental)ビット
(9)PPPoE(Point-to-Point Protocol over Ethernet): セッションID
(10)L2TP(Layer 2 Tunneling Protocol):トンネルID、セッションID
【0020】
識別子としてアドレスを用いる場合、そのアドレスは、送信元アドレスおよび宛先アドレスのいずれかおよび両方でも構わない。また宛先アドレスにマルチキャストアドレスを用いることができる。またアドレスの他、パケット等のヘッダに含まれる異なる識別子を用いても構わない。例えば、TCP/IPパケットであれば、ポート番号を用いることもできる。このように、パケットに用いるプロトコルに応じた任意の識別子を採用することができる。
【0021】
さらに識別子としてIPアドレスを用いる場合について述べる。例えば、1画面のデータについて、偶数番目の走行線の画素のデータが載ったパケットには、マルチキャストアドレスである239.0.0.1を宛先アドレスとして用い、奇数番目の走行線の画素のデータが載ったパケットには、マルチキャストアドレスである239.0.0.2を宛先アドレスとして用い、受信側では、239.0.0.1のみ、もしくは、239.0.0.2のみ、もしくは239.0.0.1と239.0.0.2両方を選択的に受信することができる。また、マルチキャストアドレスは、別途、受信側からMLD(Multicast Listener Discovery)やIGMP(Internet Group Management Protocol)によって網側が、受信端末のある経路のみにパケットを転送することで、受信端末がない経路への無駄なパケット送出を抑制することが可能となる。
【0022】
つまり、前記方法によって、DPI(Deep Packet Inspection)装置などのデータの中身を深く理解する装置を用いず、ルータやスイッチなどのパケットのヘッダ情報を読み取ることの可能な一般的なネットワーク機器によって、コンテンツの選択的配信を実現することができる。以下、本開示では、識別子がアドレスである場合について説明する。
【0023】
送信装置101から、ネットワーク121、ネットワーク境界装置112、ネットワーク122を経由して、受信装置102へ配信し、同時に、ネットワーク121、ネットワーク境界装置113、ネットワーク123を経由して、受信装置103へ配信する場合を考える。101からは1つの映像ソースを上記、画素、フレームによって異なるアドレスAとBを利用して配信する。
【0024】
122および102が高画質、高フレームレートの受信が可能な場合は、アドレスAとBの両方を受信することで、もとの1つの映像ソースを用いてコンテンツを再生することができる。一方123または103が低画質、低フレームレートしか転送・受信できない場合は、103は、片方のアドレスのみのデータを受信する。
【0025】
アドレスが、マルチキャストであれば、113から123へは103が選択したアドレスのデータのみが転送されるため、123および103に必要以上に負荷をかけることがない。
【0026】
表示デバイス132の表示能力が高画質、高フレームレートである場合、受信装置102はアドレスAとBの両方を受信することで、もとの1つの映像ソースを用いてコンテンツを再生することができる。一方、表示デバイス133の表示能力が低画質、低フレームレートである場合、受信装置103はアドレスAとBのうちの片方のアドレスのみのデータを受信する。
【0027】
図2を参照しながら、フレームを用いてアドレス制御をする場合について述べる。送信側は、2k番目のフレームに対してアドレスAで、2k+1番目のフレームに対してアドレスBで、送出する。すなわち、フレーム毎に{A,B}のアドレスを繰り返して送出する。
【0028】
高フレームレートが受信可能な受信側は、アドレスAとアドレスBを受信する。低フレームレートでしか受信できない受信側は、アドレスAまたはアドレスBのみを選択的に受信する。例えば、送信される映像データが60fpsである場合、アドレスAとBを受信すると60fpsとして受信ができ、アドレスAまたはBのみを受信すると、データ量は半分となり、30fpsとして受信できる。
【0029】
前記は1/2にデータ量およびフレームレートを削減する場合について述べたが、これに限らない。
例えば、{A,B,A,C}とすることで、ABCすべてを受信すると元のフレームレートで、AのみもしくはB,Cを受信すると1/2のデータ量フレームレートで、BもしくはCのみを受信すると1/4のデータ量およびフレームレートで受信ができる。
例えば、{A,B,C}とすることで、ABCすべてを受信すると元のフレームレートで、A,BもしくはB,CもしくはA,Cを受信すると2/3のデータ量フレームレートで、AもしくはBもしくはCのみを受信すると1/3のデータ量およびフレームレートで受信ができる。
【0030】
なお、本開示で用いる映像データは、1枚である時刻の映像のすべての情報がある、映像データを前提とし、非圧縮映像または、フレーム間の圧縮手法を用いないモーションJPEG(Joint Photographic Experts Group)などの比較的圧縮率の低い映像を対象とする。また、1画面内での識別子の使い分けについては、プログレッシブの非圧縮映像を前提とする。
【0031】
図3を参照しながら、走査線を用いてアドレスを制御する場合について述べる。送信側は、2k番目の走査線に対してアドレスAで、2k+1番目の走査線に対してアドレスBで、送出する。すなわち、走査線毎に{A,B}のアドレスを繰り返して送出する。
【0032】
高画質が受信可能な受信側は、アドレスAとアドレスBを受信する。低画質でしか受信できない受信側は、アドレスAまたはアドレスBのみを選択的に受信する。例えば、送信映像における走査線のライン数が2160である場合、アドレスAとBを受信すると2160として受信ができ、アドレスAまたはBのみを受信すると、データ量は半分となり、1080として受信できる。
【0033】
前記は1/2にデータ量およびライン数を削減する場合について述べたが、これに限らない。
例えば、{A,B,A,C}とすることで、ABCすべてを受信すると元のライン数で、AのみもしくはB,Cを受信すると1/2のデータ量とライン数で、BもしくはCのみを受信すると1/4のデータ量およびライン数で受信ができる。
例えば、{A,B,C}とすることで、ABCすべてを受信すると元のライン数で、A,BもしくはB,CもしくはA,Cを受信すると2/3のデータ量とライン数で、AもしくはBもしくはCのみを受信すると1/3のデータ量およびライン数で受信ができる。
【0034】
図4を参照しながら、画像(画素)データ以外を用いてアドレスを制御する場合について述べる。400は映像データを転送する場合の1画面分のデータ系列全てを示している。全データ系列の一部である402の領域は画素データそのものであり前記までの制御対象であり、残りの401の領域は、音声等のその他のデータである。
【0035】
・パタン1
音声等の情報は、前記の受信する画質、フレームレートによらず、同一のデータとすることができる。そのために、401の領域のデータには、前記までの402で利用したアドレスとは異なるアドレスを用いることができる。前記の受信する画質、フレームレートによらず401のためだけのアドレスを共通に受信することで、音声等を切れることなく受信することが可能となる。
【0036】
・パタン2
音声等の情報は、前記の受信する画質、フレームレートによらず、同一のデータとすることができる。そのために、401の領域を402のアドレスと同じ制御にしながら、更に音声情報等を共通して受信するデータ領域に移動することができる。例えば{A,B}に映像を分割している場合で、(A,B)を受信する受信装置と、(A)のみを受信する受信装置がある場合、Aアドレスのデータ領域に、もともとBに含まれていた音声データ等を移動することができる。これにより、音声等を切れることなく受信することが可能となる。
【0037】
図5に401の領域の一部の音声データの配置例を示す。401の領域を402のアドレスと同じ制御にする場合で、例えば、偶数ラインのデータのみを受信する端末が居た場合は、音声データに欠落が生じる。そこで、音声データのみは、送信時に
図6に示すように、偶数ラインに集めてしまうことで、偶数ラインのみの受信でも音声データに欠落なく受信することができる。画面フレームの選択受信の場合でも同様である。また、受信側では、元の音声データ位置に戻すこともできるが、戻さないこともできる。
【0038】
図7を参照しながら、本開示のシステム構成例を説明する。500に本システムの送信装置、600に受信装置を示す。500はカメラやコンピュータからのHDMI、HD-SDI、USB、GigEなどのインタフェースで入力した映像データを、ネットワークに送出し、600は500からの映像データを受信し、テレビやモニタにHDMI、HD-SDI、USB、GigEなどのインタフェースで出力する。
【0039】
(送信装置)
501は入力バッファであり、502や503から必要なタイミングで映像データが読み出される。
502は信号解析部であり、501から映像データを読み取り、フレームの識別、走査線の識別、音声データの識別、その他制御信号の識別を行い、503,504に通知する。なお、データそのものを503に引き渡しても構わない。
503はデータ調整部であり、501または502から映像データを読み込み、502からの情報に基づき、音声データ等、一部データの入れ替えと、書き換えを実施し、504にデータを引き渡す。その際書き換えたことが分かるようマーカデータを埋め込んでも良い。
504はパケット化部であり、503から映像データを読み込み、502からの情報に基づき、前記までに述べたアドレスを用いて、パケット化する。
505はデータ送出部であり、ネットワークに適切な速度で映像データを送出する。FEC機能を備えても良い。
【0040】
前記の適切な速度とは、ネットワーク内でパケットロスや、ネットワーク装置でのバッファによる遅延が過大にならないよう、パケットの送出速度を一定以下に抑え、かつパケットの送出間隔をそのレート内で一定に保つことである。例えば、ネットワークの帯域が10Gbpsであっても、映像の信号レートが1Gbpsであれば、パケットの送出レートと1Gbps程度に抑え、また、1Gbps程度になるようパケット送出間隔を一定にして送出することで、ネットワーク内でのパケットロスや過大な遅延を抑制することができる。
【0041】
(受信装置)
601はデータ受信部であり、ネットワークからパケットを受信する。このとき、データ受信部のネットワーク帯域又は表示デバイスで表示可能な画質に応じて、所定のアドレスを用いて送信された映像データを選択的に受信する。FEC機能によりパケットロスデータの復元を行っても良い。
602はデパケット部であり、パケットからデータを取り出す。
603は信号解析部であり、602からデータを読み取り、音声データ等の再配置が行われていかを判定する。前記マーカデータから判別してもよい。
604はデータ調整部であり、603からの情報に基づき、音声データ等、一部データの入れ替えと、書き換えを実施し、表示デバイスで再生可能な映像データを構築し、605にデータを引き渡す。また、横方向の解像度を減らす必要がある場合は、データの間引き、統合処理を実施する。これは走査線毎にアドレスを変更する実装を行った場合に縦方向の解像度の間引きが可能であるものの、横方向の間引きが困難であることから、横方向は受信側で実施するものである。
605はデータ出力部であり、データのバッファと、IFの変換を行う。HDMIのように表示デバイスからの信号に対して、応答が必要なものは本データ出力部で応答を実施する。
【0042】
なお、本開示は、受信装置及び表示デバイスは1つの装置に備わっていてもよい。例えば、
図1において、端末に備わる受信部及び表示部を受信装置102及び表示デバイス132として用いてもよい。また、本開示の送信装置及び受信装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【0043】
(発明によって生じる効果)
大容量の1つの映像を、利用可能帯域が異なる複数のネットワークを経由し、また遠隔地の複数の表示能力が異なる表示デバイスへ、転送する手段を提供できる。
【0044】
(発明のポイント)
従来、非圧縮映像は、数m~数十m程度の短距離を結ぶインタフェースが用いられてきた。これをネットワークで転送することで、低遅延で伝送するシステムも提案されているが、多数の受信装置への同時配信は、マルチキャストを用いるのみで、ネットワーク帯域の少ない、または表示能力の異なる表示デバイスに同時に配信することができなかった。
【0045】
本発明では、送信側では、1つの映像を画素、フレーム等の、データの種類、順序によって、配信に利用する識別子を異なるもので送出し、受信側では、識別子選択的にパケットを受信することで、必要な画素、フレーム数の映像を得ることができることを特徴とすることで、結果として、送信側は1つの映像のみの送出で、受信側のネットワーク帯域や、表示可能な画質に合わせて、選択的に受信し、表示することを可能とした。特に、受信側が複数・多数のネットワーク・受信装置がある場合、本発明では複数の映像ソースを必要としないことから、拡張がしやすいシステムとした。更に、ネットワーク上でのトラヒック選択に既存のネットワークパケットヘッダの識別子を利用することで、既存のネットワーク機器により実現することを可能とした。
【産業上の利用可能性】
【0046】
本開示は情報通信産業に適用することができる。
【符号の説明】
【0047】
101:送信装置
102、103:受信装置
112、113:ネットワーク境界装置
121、122、123:ネットワーク
500:送信装置
501、601:入力バッファ
502、603:信号解析部
503、604:データ調整部
504:パケット化部
505:データ送出部
600:受信装置
602:デパケット部
605:データ出力部