知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6614145
(24)【登録日】2019年11月15日
(45)【発行日】2019年12月4日
(54)【発明の名称】受信装置、受信方法およびコンピュータプログラム
(51)【国際特許分類】
H04L 1/00 20060101AFI20191125BHJP
【ＦＩ】
H04L1/00 B
【請求項の数】7
【全頁数】18
(21)【出願番号】特願2016-534384(P2016-534384)
(86)(22)【出願日】2015年7月7日
(86)【国際出願番号】JP2015069556
(87)【国際公開番号】WO2016009902
(87)【国際公開日】20160121
【審査請求日】2018年6月4日
(31)【優先権主張番号】特願2014-147530(P2014-147530)
(32)【優先日】2014年7月18日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】ラナトゥンガ ヴィジタ
【審査官】
谷岡 佳彦
(56)【参考文献】
【文献】
特開２０１０−０５０８０９（ＪＰ，Ａ）
【文献】
特開２００９−０２１７８３（ＪＰ，Ａ）
【文献】
米国特許第０８４１９５４７（ＵＳ，Ｂ１）
【文献】
特開２００２−００９６３４（ＪＰ，Ａ）
【文献】
藤本 章宏 他，マルチサーバ配信における高信頼Ｉｎｔｅｒ／Ｉｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣ方式，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，２０１０年，第J93-B巻第２号，p.379-389
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｌ １／００
(57)【特許請求の範囲】
【請求項1】
２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、欠落したパケットの回復回数を制限するか否かを判断し、前記回復回数を制限すると判断した場合にパケットの欠落パターンを考慮して前記欠落したパケットを回復して復号する手順を決定する復号決定部と、
前記回復回数を制限すると判断した場合に、前記復号決定部が決定した前記手順に基づいて前記欠落したパケットの回復を、前記制限された回復回数以下の回数実行し、前記回復回数を制限しないと判断した場合に、前記欠落したパケットが回復できなくなるまで前記欠落したパケットの前記回復を実行する復号部と、
を備える、復号装置。
前記回復回数を制限すると判断した場合に、前記復号決定部が決定した前記手順に基づいて前記欠落したパケットの回復を、前記制限された回復回数以下の回数実行し、前記回復回数を制限しないと判断した場合に、前記欠落したパケットが回復できなくなるまで前記欠落したパケットの前記回復を実行する復号部と、
を備える、復号装置。
【請求項2】
前記復号決定部は、前記メディアパケット及び前記冗長パケットの中での前記欠落したが１つだけの行の数及び列の数を計算して、数が多い方の方向を第１方向として前記手順を決定する、請求項１に記載の復号装置。
【請求項3】
前記復号決定部は、前記欠落したパケットが１つだけの行の数と列の数とが同じ場合は任意の方向を第１方向として前記手順を決定する、請求項２に記載の復号装置。
【請求項4】
前記復号部は、前記復号決定部が決定した手順での前記第１方向の前記欠落したパケットの回復及び前記第１方向と直交する第２方向の前記欠落したパケットの回復の２回を前記回復回数として前記欠落したパケットの前記回復を実行する、請求項２又は３に記載の復号装置。
【請求項5】
前記冗長パケットは、複数の行及び列に構成された各前記メディアパケットに前記行毎及び列毎にそれぞれＸＯＲ演算処理が施されて生成されたパケットである、請求項１〜４のいずれか１項に記載の復号装置。
【請求項6】
２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、欠落したパケットの回復回数を制限するか否かを判断し、前記回復回数を制限すると判断した場合にパケットの欠落パターンを考慮して前記欠落したパケットを回復して復号する手順を決定することと、
前記回復回数を制限すると判断した場合に、決定された前記手順に基づいて前記欠落したパケットの回復を、前記制限された回復回数以下の回数実行し、前記回復回数を制限しないと判断した場合に、前記欠落したパケットが回復できなくなるまで前記欠落したパケットの前記回復を実行することと、
を含む、復号方法。
前記回復回数を制限すると判断した場合に、決定された前記手順に基づいて前記欠落したパケットの回復を、前記制限された回復回数以下の回数実行し、前記回復回数を制限しないと判断した場合に、前記欠落したパケットが回復できなくなるまで前記欠落したパケットの前記回復を実行することと、
を含む、復号方法。
【請求項7】
コンピュータに、
２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、欠落したパケットの回復回数を制限するか否かを判断し、前記回復回数を制限すると判断した場合にパケットの欠落パターンを考慮して前記欠落したパケットを回復して復号する手順を決定することと、
前記回復回数を制限すると判断した場合に、決定された前記手順に基づいて前記欠落したパケットの回復を、前記制限された回復回数以下の回数実行し、前記回復回数を制限しないと判断した場合に、前記欠落したパケットが回復できなくなるまで前記欠落したパケットの前記回復を実行することと、
を実行させる、コンピュータプログラム。
２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、欠落したパケットの回復回数を制限するか否かを判断し、前記回復回数を制限すると判断した場合にパケットの欠落パターンを考慮して前記欠落したパケットを回復して復号する手順を決定することと、
前記回復回数を制限すると判断した場合に、決定された前記手順に基づいて前記欠落したパケットの回復を、前記制限された回復回数以下の回数実行し、前記回復回数を制限しないと判断した場合に、前記欠落したパケットが回復できなくなるまで前記欠落したパケットの前記回復を実行することと、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、受信装置、受信方法およびコンピュータプログラムに関する。【背景技術】
【0002】
近年、インターネットその他の伝送路を経由して、映像データや音声データ等からなるマルチメディアデータを低遅延で伝送するという需要が高まっている。例えば、遠隔の２地点の医療拠点をインターネット等で接続し、一方の遠隔手術室から手術風景を動画像伝送し、他方の医療拠点でその映像を見ながら遠隔手術室の手術器具を操作するといった、いわゆる遠隔手術のアプリケーションがある。この遠隔手術のアプリケーションでは、遅延が数フレーム間隔以下という状態で動画像が伝送されることが望ましい。【0003】
このような要求から、例えば特許文献１では、動画像の各ピクチャの数ライン毎を一つの圧縮符号化ブロックとしてウェーブレット変換による圧縮を行う方式が提案されている。この方式では、ピクチャ内のデータ全てを入力するまで待つことなく、圧縮および前方誤り訂正（ＦＥＣ：Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）処理が開始可能であり、圧縮データをネットワーク伝送し、受信側で表示を行う場合においても、ピクチャ内の全てのデータを受信する前に復号処理を開始できる。従って、特許文献１に開示された技術は、ネットワーク伝播遅延が十分小さければ、フレーム間隔以下の遅延でのリアルタイム動画像伝送が可能となる。【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００７−３１１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ＦＥＣ符号方式において、受信側では、複数のパケットのうち所定数のパケットを受信することで、元データの復号が可能となる。特に映像伝送には、ＸＯＲベースの２次元のＦＥＣ符号方式が用いられる。しかし、ＸＯＲベースの２次元のＦＥＣ符号方式では、損失したパケットの復元処理が重く、システムコストが増加し、また損失したパケットの回復に時間が掛かる。【0006】
そこで本開示では、２次元のＦＥＣ符号方式において、最低限の処理で最大の回復性能を出すことが可能な、新規かつ改良された受信装置、受信方法およびコンピュータプログラムを提案する。【課題を解決するための手段】
【0007】
本開示によれば、２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、パケットの欠落パターンを考慮して欠落パケットを回復して復号する手順を決定する復号決定部と、前記復号決定部が決定した手順に基づいて欠落パケットの回復を実行する復号部と、を備える、復号装置が提供される。【0008】
また本開示によれば、２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、パケットの欠落パターンを考慮して欠落パケットを回復して復号する手順を決定することと、決定された手順に基づいて欠落パケットの回復を実行することと、を含む、復号方法が提供される。【0009】
また本開示によれば、コンピュータに、２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、パケットの欠落パターンを考慮して欠落パケットを回復して復号する手順を決定することと、決定された手順に基づいて欠落パケットの回復を実行することと、を実行させる、コンピュータプログラムが提供される。【発明の効果】
【0010】
以上説明したように本開示によれば、２次元のＦＥＣ符号方式において、最低限の処理で最大の回復性能を出すことが可能な、新規かつ改良された受信装置、受信方法およびコンピュータプログラムを提供することが出来る。【0011】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。【図面の簡単な説明】
【0012】
【図1】ＦＥＣ方式の概要を示す説明図である。
【図2】ＸＯＲベースのＦＥＣ符号方式における冗長パケットの生成方法を示す説明図である。
【図3】メディアＲＴＰパケット及び冗長パケットからなるＦＥＣブロックが伝送されていく様子を示す説明図である。
【図4】１次元及び２次元でのＸＯＲベースのＦＥＣ符号方式による冗長パケットの生成方法を示す説明図である。
【図5】２次元でのＸＯＲベースのＦＥＣ符号方式によるパケットの回復について示す説明図である。
【図6】本開示の一実施形態に係る伝送システムの構成例を示す説明図である。
【図7】本開示の一実施形態に係る伝送システムの構成例を示す説明図である。
【図8】本開示の一実施形態に係る受信装置２０の動作例を示す流れ図である。
【図9】本実施形態に係る受信装置２０での欠落パケットの回復処理を説明する説明図である。
【図10】本実施形態に係る受信装置２０での欠落パケットの回復処理を説明する説明図である。
【図11】本実施形態に係る受信装置２０での欠落パケットの回復処理を説明する説明図である。
【図12】本実施形態に係る受信装置２０での欠落パケットの回復処理を説明する説明図である。
【図13】本実施形態に係る受信装置２０での欠落パケットの回復処理を説明する説明図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。【0014】
なお、説明は以下の順序で行うものとする。１．本開示の一実施形態
１．１．２次元のＦＥＣ符号方式の概要
１．２．システム構成例
１．３．機能構成例
１．４．動作例
２．まとめ
【0015】
＜１．本開示の一実施形態＞［１．１．２次元のＦＥＣ符号方式の概要］
まず、本開示の一実施形態において用いられるＦＥＣ符号方式、特に、２次元のＦＥＣ符号方式に関する技術の概要について説明する。
【0016】
上述したように、インターネットまたはその他の伝送路を経由して、マルチメディアデータを低遅延かつ高効率に伝送するという需要が高まっている。ネットワーク経由で伝送されるマルチメディアデータとしては、例えば遠隔制御されるカメラ、ゲーム、遠隔医療等がある。【0017】
マルチメディアデータの伝送方法の一つであるストリーム型伝送には、様々な技術が必要となる。ストリーム型伝送方式に適したインターネット技術としては、例えばＩＥＴＦ ＲＦＣ３５５０で規定されているＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が主に利用される。【0018】
ＲＴＰは実時間のデータ転送を保証しているものではない。パケット配送の優先度や設定、管理などは、ＲＴＰが提供するトランスポートサービスの範疇ではないため、メディアＲＴＰパケットは他のパケットと同様に、配送遅延やパケット損失が起きる可能性がある。なお、メディアＲＴＰパケットとは、コンテンツデータのストリームを構成するＲＴＰパケットのことを言う。このような配送遅延やパケット損失が起こっても、受信側は期待する時間内に到着したパケットだけを利用してデータを再生することが可能である。これは、映像や音声データが多少のデータ損失があったとしても、ある程度再生できるからである。【0019】
なお、遅延配送されたパケットやエラーの発生したパケットは、受信側でそのまま破棄される。つまり、パケット損失やエラーにより高品質なデータを配信しても、受信側で十分に再生されない問題点もある。特に、有線区間で１０−５、無線区間で１０−３以上のエラーがあるといわれている中では、配信するメディアの品質を保持する点でいえば、ＲＴＰをそのまま利用するのでは信頼性が低い。【0020】
このような観点から、ストリーム型伝送方式において、データ転送に信頼性が高いＴＣＰで、再送要求および再送パケット送信を行わせる方法がある。しかし、ＴＣＰはエラーには強いが、スループットが低く、遅延が大きいため、再送しても再生時間に間に合わない可能性もある。【0021】
ＲＴＰ／ＵＤＰはネットワーク伝送の映像品質を保証しないために、ＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）制御が必要となる。ＱｏＳ技術とは、ネットワーク状況（パケットロス率や伝送遅延）に応じて、安定した伝送品質と高いユーザー体感品質を実現する技術である。ＲＴＰを用いてデータ転送の信頼性を向上させるＱｏＳ技術の例として、自動再送方式、いわゆるＡＲＱ（Ａｕｔｏ Ｒｅｐｅａｔ ｒｅＱｕｅｓｔ）方式、前方誤り訂正符号化方式（いわゆるＦＥＣ方式）といった手法がある。【0022】
ＡＲＱ方式は、メディアＲＴＰパケットのシーケンス番号を利用して損失したパケットを検知し、受信端末から送信端末へ損失パケットの再送を要求する方式である。またＦＥＣ方式は、隣接する（シーケンス番号が連続する）複数個のパケットを一つのＦＥＣブロックとして、ＸＯＲ（ｅＸｃｌｕｓｉｖｅ ＯＲ）計算を用いたり、Ｒｅｅｄ−Ｓｏｌｏｍｏｎ（ＲＳ）符号等の誤り訂正符号を用いたりして、冗長符号化を行う方式である。【0023】
図１は、ＦＥＣ方式の概要を示す説明図である。図１に示したように、ＦＥＣ方式は、送信側で複数のデータパケット（図１では１〜４で示したパケット）から１以上の冗長パケット（図１ではＦ１及びＦ２で示したパケット）を生成して送信し、受信側でデータパケットに欠落があることが分かれば（例えば２番のパケットに欠落があることが分かれば）、送信側で生成された冗長パケットを用いてデータパケットを回復する方式である。【0024】
ＸＯＲ計算を用いるＦＥＣ方式は、パケット中の各ビットのＸＯＲ計算により冗長パケットを生成するものである。パケット中の各ビットのＸＯＲ計算により冗長パケットを生成することで、ＦＥＣブロック中、１個のパケットロスまで回復可能になる。なおＦＥＣブロックとは、冗長パケット生成に使用するメディアＲＴＰパケットと冗長パケットで構成されるブロックのことである。【0025】
図２は、ＸＯＲベースのＦＥＣ符号方式における冗長パケットの生成方法を示す説明図である。図２には、説明を簡単にするために、１パケットが６ビットからなるメディアＲＴＰパケット１〜３を用いて冗長パケットを生成する例が示されている。図２に示したように、ＸＯＲベースのＦＥＣ符号方式における冗長パケットは、各パケットの各ビットのＸＯＲを取ることによって生成される。【0026】
図３は、メディアＲＴＰパケット及び冗長パケットからなるＦＥＣブロックが伝送されていく様子を示す説明図である。図３には、３つのメディアＲＴＰパケットと、その３つのメディアＲＴＰパケットに対するＸＯＲの計算で生成される冗長パケットとの組からなるＦＥＣブロックが順次伝送される様子が示されている。【0027】
ＸＯＲベースのＦＥＣ符号方式は、１次元及び２次元で利用される。ＸＯＲベースのＦＥＣ符号方式を使ったＦＥＣ方式は、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）２０２２で標準化されている。【0028】
図４は、１次元及び２次元でのＸＯＲベースのＦＥＣ符号方式による冗長パケットの生成方法を示す説明図である。１次元でのＸＯＲベースのＦＥＣ符号方式による冗長パケットは、図４に示したように複数のメディアＲＴＰパケットをｎ行ｍ列に並べた際に、１つの方向についてのみＸＯＲの計算で生成される。図４では、１〜１６がメディアＲＴＣパケットを意味し、Ｃ１〜Ｃ４が冗長パケットを意味する。【0029】
一方、２次元でのＸＯＲベースのＦＥＣ符号方式による冗長パケットは、図４に示したように複数のメディアＲＴＰパケットをｎ行ｍ列に並べた際に、２つの方向についてそれぞれＸＯＲの計算で生成される。すなわち２次元でのＸＯＲベースのＦＥＣ符号方式による冗長パケットは、（ｎ＋ｍ）個生成されることになる。図４では、１〜１６がメディアＲＴＣパケットを意味し、Ｃ１〜Ｃ４及びＲ１〜Ｒ４が冗長パケットを意味する。【0030】
映像伝送には、主に２次元でのＸＯＲベースのＦＥＣ符号方式が用いられる。従って、以下で説明する本開示の一実施形態では、２次元のＸＯＲベースのＦＥＣ符号方式が用いられることを前提とする。【0031】
ＸＯＲベースのＦＥＣ符号方式では、パケットの欠落が発生した際に、１回の回復処理で回復できるのは１つのパケットだけである。言い換えれば、ＸＯＲ演算の対象となった複数のメディアＲＴＣパケットのうち、２つ以上のメディアＲＴＣパケットに誤りが発生した場合には復元することができなくなる。【0032】
受信側では、メディアＲＴＰパケットを２次元に並べたと想定して、縦方向または横方向のいずれか一方向で冗長パケットを用いた回復処理を実行する。そして受信側では、すべての欠落が回復できなければ、今度は異なる方向での回復処理を実行する。すなわち、受信側ではまず縦方向での回復処理を実行し、すべての欠落が回復できなければ、今度は横方向での回復処理を実行する。そして受信側では、回復できるパケットが無くなるまで、方向を入れ替えて回復処理を実行する。【0033】
図５は、２次元でのＸＯＲベースのＦＥＣ符号方式によるパケットの回復について示す説明図である。図５では説明を簡単にするために、３行３列のメディアＲＴＰパケット及び３行３列のメディアＲＴＰパケットから縦方向及び横方向に冗長パケットを生成した場合が示されている。【0034】
図５の一番左に示したように、３番、４番、５番、６番、９番のメディアＲＴＰパケットが欠落して受信側に到達したとする。受信側では、縦方向または横方向のいずれか一方向で冗長パケットを用いた回復処理を実行し、すべての欠落が回復できなければ、今度は異なる方向での回復処理を実行する。【0035】
図５に示した例では、受信側は、まず横方向の冗長パケットを用いた回復処理を実行して３番及び９番のパケットを回復し、続いて縦方向の冗長パケットを用いた回復処理を実行して４番、５番及び６番のパケットを回復する。【0036】
図５に示した例では、横方向及び縦方向での２回の回復処理を実行することで全ての欠落したパケットを回復することが出来た。しかし、実際には回復処理を何回実行すれば完全に回復できるのかは事前に把握することは出来ない。また欠落のパターンによっては欠落したパケットを完全に回復できない場合もある。具体的には、図５を用いて説明すると、５番のメディアＲＴＰパケットが欠落している場合に、縦方向の冗長パケットＣ２と、横方向の冗長パケットＲ２の両方が欠落していれば、その５番のメディアＲＴＰパケットは回復できない。【0037】
この２次元でのＸＯＲベースのＦＥＣ符号方式は、欠落したパケットの回復処理が重く、そのためにシステムコストが高くなり、また欠落したパケットの回復に時間が掛かっていた。【0038】
そこで本件開示者は、ＸＯＲベースのＦＥＣ符号方式において、受信側で回復処理に掛かる時間を短くしつつも、受信側で最大の回復性能が出せるようにする技術について検討した。そして以下で説明するように、本件開示者は、ＸＯＲベースのＦＥＣ符号方式において、受信側でパケットの欠落状況を判断することで、受信側での回復処理に掛かる時間を短くしつつも、受信側で最大の回復性能が出せるようにすることが可能な技術を考案するに至った。【0039】
以上、本開示の一実施形態において用いられる技術の概要について説明した。続いて、本開示の一実施形態に係る伝送システムの構成例について説明する。【0041】
図６に示した本開示の一実施形態に係る伝送システムは、送信装置１０と、受信装置２０とを含む。送信装置１０と受信装置２０とは、それぞれネットワーク１に接続されていて、ネットワーク１を通じて相互に通信することができる。【0042】
送信装置１０は、例えば撮像装置１１で撮像された画像をキャプチャするキャプチャ部１２と、キャプチャ部１２がキャプチャした画像データをエンコードするエンコーダ１３と、キャプチャ部１２がキャプチャした画像データまたはエンコーダ１３がエンコードしたデータをメディアＲＴＰパケット化するパケタイズ部１４と、前方誤り訂正処理（ＦＥＣ）を行なうＦＥＣ部１５と、データを受信装置２０へ送信する送信部１６と、を含んで構成される。【0043】
キャプチャ部１２は、送信装置１０に送られてくるビデオ信号をラインブロック単位でキャプチャする。キャプチャ部１２は、ビデオ信号をラインブロック単位でキャプチャすると、キャプチャした信号をエンコーダ１３に送るか、エンコードしない場合はパケタイズ部１４に直接送る。【0044】
エンコーダ１３は、キャプチャ部１２によってキャプチャされたラインブロック単位の信号を所定の方式でエンコードする。例えば、エンコーダ１３は、上述の特許文献１に開示されているような、動画像の各ピクチャの数ライン毎を一つの圧縮符号化ブロックとしてウェーブレット変換による圧縮を行う方式によって、ラインブロック単位の信号をエンコードしてもよいが、本開示のエンコード方式は係る例に限定されるものではない。上述の想定ネットワークシステムにおいて適用できるエンコード方式であれば、エンコーダ１３は、任意のエンコード方式によってラインブロック単位の信号をエンコードできる。エンコーダ１３は、エンコード後のデータをパケタイズ部１４に送る。【0045】
パケタイズ部１４は、キャプチャ部１２がキャプチャした画像データまたはエンコーダ１３によってエンコードされたデータをメディアＲＴＰパケット化する。メディアＲＴＰパケットは、本開示のメディアパケットの一例である。具体的には、パケタイズ部１４は、エンコード後のデータにＲＴＰヘッダを付加することで、エンコーダ１３によってエンコードされたデータをメディアＲＴＰパケット化する。パケタイズ部１４は、生成したメディアＲＴＰパケットをＦＥＣ部１５に送る。【0046】
ＦＥＣ部１５は、パケタイズ部１４が生成したメディアＲＴＰパケットをＦＥＣ符号化する。ＦＥＣ部１５は、パケタイズ部１４が生成したメディアＲＴＰパケットをＦＥＣ符号化すると、符号化後のデータを送信部１６へ送る。本実施形態では、ＦＥＣ部１５は、上述の２次元でのＸＯＲベースのＦＥＣ符号方式によって冗長パケットを生成する。【0047】
ＦＥＣ部１５は、予め決められたＦＥＣブロックのサイズに基づいて（例えば１つのＦＥＣブロックはメディアＲＴＰパケットを縦４つ、横４つ並べて構成するものであると決定する）、パケタイズ部１４が生成したメディアＲＴＰパケットをＦＥＣブロックのサイズ分溜めて、ＸＯＲ方式で縦方向及び横方向で冗長パケットを生成する。【0048】
送信部１６は、ＦＥＣ部１５が符号化したデータを、ネットワーク１を通じて受信装置２０へ向けて送信する。【0049】
受信装置２０は、ネットワーク１を通じて送信装置１０から送信されたデータを受信する受信部２１と、前方誤り訂正処理により符号化されたデータを復号するＦＥＣ復号部２２と、ＦＥＣ復号部２２が復号したデータをデパケタイズするデパケタイズ部２３と、デパケタイズ部２３でデパケタイズされた後のデータをデコードするデコーダ２４と、デパケタイズ部２３でデパケタイズされた後のデータまたはデコーダ２４がデコードした後のデータをディスプレイ２６に出力する表示処理部２５と、を含んで構成される。本実施形態では、ＦＥＣ復号部２２は、パケットの欠落が発生していれば、２次元でのＸＯＲベースのＦＥＣ符号方式によって生成された冗長パケットを用いてパケットを回復する。【0050】
受信部２１は、送信装置１０からネットワーク１を通じて送信されたデータを受信する。受信部２１は、送信装置１０から送信されたデータを受信すると、受信したデータをＦＥＣ復号部２２に送る。【0051】
ＦＥＣ復号部２２は、受信部２１が受信したデータを用いてＦＥＣ方式による復号処理を行なう。ＦＥＣ復号部２２によって、ＦＥＣ方式による復号処理を行なわれたデータは受信部２１に一度返された後、デパケタイズ部２３に送られる。ＦＥＣ復号部２２は、ＦＥＣブロックのサイズに合わせてメディアＲＴＰパケット及び冗長パケットを配置する。ＦＥＣ復号部２２は、パケットが受信出来ていない場合はロスパケットとみなす。ＦＥＣ復号部２２は、ロスパケットの判断を、例えばパケットのシーケンス番号に基づいて判断する。ＦＥＣ復号部２２は、所定の容量のバッファを設け、整列されていないパケットをシーケンス番号に基づいて整列してもよい。【0052】
そしてＦＥＣ復号部２２は、メディアＲＴＰパケットに欠落があれば、メディアＲＴＰパケット及び冗長パケットを用いた欠落の回復処理を実行する。本実施形態では、２次元のＸＯＲベースのＦＥＣ符号方式によって冗長パケットが生成されているので、ＦＥＣ復号部２２は、メディアＲＴＰパケットに欠落があれば、正常に受信できたメディアＲＴＰパケット及び冗長パケットを順次ＸＯＲ演算して、欠落したメディアＲＴＰパケットを回復させる。【0053】
デパケタイズ部２３は、復号後のメディアＲＴＰパケットデータを再構成する処理を実行する。デパケタイズ部２３は、復号後のメディアＲＴＰパケットデータを再構成すると、再構成後のデータをデコーダ２４へ（送信装置１０でデコードされていない場合は表示処理部２５へ）送る。【0054】
デコーダ２４は、デパケタイズ部２３から送られてきた再構成後のデータを復号する処理を実行する。デコーダ２４は、デパケタイズ部２３から送られてきた再構成後のデータを復号すると、復号後のデータを表示処理部２５へ送る。【0055】
表示処理部２５は、デパケタイズ部２３でデパケタイズされた後のデータまたはデコーダ２４がデコードした後のデータをディスプレイ２６に出力する処理を実行する。例えば表示処理部２５は、デパケタイズ部２３でデパケタイズされた後のデータまたはデコーダ２４がデコードした後のデータを、ビデオ出力ＩＦ（ビデオＯＵＴ）経由でディスプレイ２６に出力する。【0056】
図６に示した伝送システムは、送信装置１０、受信装置２０での一連の処理（画像のキャプチャ、エンコード・デコード、ＦＥＣ処理及び表示処理）をピクチャ（フィールド・フレーム）単位で行う。そして図６に示した伝送システムは、数ライン毎にまとめたラインブロックに１つのピクチャを分割し、これら一連の処理を並列化することにより、低遅延伝送を実現できる。さらに送信装置１０は、ラインブロック単位で処理を行う場合には、パイプライン化された処理を実行してもよい。【0057】
また本実施形態では、受信装置２０のＦＥＣ復号部２２での処理において、パケットの欠落状況を判断して、適切な欠落パケットの回復処理を実行する。パケットの欠落状況を判断して、適切な欠落パケットの回復処理を実行することで、受信装置２０は、欠落パケットの回復処理に掛かる時間を短くしつつも、最大の回復性能を出すことが可能となる。【0060】
ＦＥＣ復号決定部２７は、受信部２１が受信したパケットの欠落状況を判断して、適切な欠落パケットの回復処理を決定する。ＦＥＣ復号決定部２７での具体的な処理は後に詳述するが、ＦＥＣ復号決定部２７は、メディアＲＴＰパケット及び冗長パケットを２次元に並べて欠落状況を確認し、回復処理を最初に行なう方向を第１方向として決定する。【0061】
具体的には、ＦＥＣ復号決定部２７は、メディアＲＴＰパケット及び冗長パケットを２次元に並べて欠落数が１つの行の数と列の数とを比較して行と列のどちらが多いかを判断する。そしてＦＥＣ復号決定部２７は、欠落数が多い方を第１方向として決定するよう、メディアＲＴＰパケットの回復処理の際の手順を決定する。【0062】
ＦＥＣ復号部２２は、ＦＥＣ復号決定部２７が決定した手順に従って回復処理を実行する。ＦＥＣ復号部２２は、欠落したメディアＲＴＰパケットの回復の際に欠落のパターンを考慮する場合に、まず第１方向についてメディアＲＴＰパケットの回復処理を実行し、全ての欠落が回復していなければ、続いて第１方向に直交する第２方向についてメディアＲＴＰパケットの回復処理を実行する。すなわちＦＥＣ復号部２２は、第１方向、第２方向の２回のメディアＲＴＰパケットの回復処理を実行する。ＦＥＣ復号部２２は、メディアＲＴＰパケットの回復処理として、上述したように正常に受信できたメディアＲＴＰパケット及び冗長パケットを順次ＸＯＲ演算する。【0063】
図７に示した受信装置２０は、ＦＥＣ復号決定部２７がメディアＲＴＰパケット及び冗長パケットを２次元に並べて欠落状況を確認し、回復処理を最初に行なう方向を決定することで、本実施形態に係る受信装置２０は、欠落パケットの回復処理に掛かる時間を短くしつつも、最大の回復性能を出すことが可能となる。【0064】
以上、図７を用いて、本開示の一実施形態に係る伝送システムの詳細な構成例について説明した。続いて、本開示の一実施形態に係る受信装置２０の動作例について説明する。【0066】
受信装置２０は、送信装置１０からデータを受信する際に、まず処理に用いられる変数の初期化等の、予め定められた初期化処理を実行する（ステップＳ１０１）。ステップＳ１０１の初期化処理が完了すると、続いて受信装置２０は、送信装置１０からメディアＲＴＰパケット及び冗長パケットを受信部２１で受信し（ステップＳ１０２）、受信したメディアＲＴＰパケット及び冗長パケットで１つのＦＥＣブロックをＦＥＣ復号部２２で構成する（ステップＳ１０３）。【0067】
続いて受信装置２０は、ＦＥＣブロックを構成するメディアＲＴＰパケットに欠落が発生している場合、その欠落の回復処理を実行する回数（回復回数）を制限したいかどうか判断する（ステップＳ１０４）。ステップＳ１０４の判断は、例えばＦＥＣ復号決定部２７が実行する。受信装置２０は、回復回数を制限したいかどうかの判断の際に、例えば予め登録されている、回復回数を制限するかどうかの設定を参照する。【0068】
上記ステップＳ１０４の判断の結果、回復回数を制限したくないと判断した場合は（ステップＳ１０４、Ｎｏ）、受信装置２０は、欠落したメディアＲＴＰパケットが回復できないケースが出るまで、方向を横、縦、横、・・・または縦、横、縦、・・・と１回毎に切り替えながら回復処理を実行する（ステップＳ１０５）。ステップＳ１０５の回復処理はＦＥＣ復号部２２が実行する。【0069】
一方、上記ステップＳ１０４の判断の結果、回復回数を制限したいと判断した場合は（ステップＳ１０４、Ｙｅｓ）、受信装置２０は、続いて欠落したメディアＲＴＰパケットの回復の際に欠落のパターンを考慮するかどうかを判断する（ステップＳ１０６）。ステップＳ１０６の判断は、例えばＦＥＣ復号決定部２７が実行する。受信装置２０は、欠落したパケットの回復の際に欠落のパターンを考慮するかどうかの判断の際に、例えば、予め登録されている設定（欠落のパターンを考慮するかどうかの設定）を参照する。【0070】
上記ステップＳ１０６の判断の結果、欠落したメディアＲＴＰパケットの回復の際に欠落のパターンを考慮しないと判断した場合は（ステップＳ１０６、Ｎｏ）、受信装置２０は、欠落したメディアＲＴＰパケットの回復処理として、横方向、縦方向、横方向の順に、または縦方向、横方向、縦方向の順に、計３回までの回復処理を実行する（ステップＳ１０７）。ステップＳ１０７の回復処理は、ＦＥＣ復号部２２が実行する。【0071】
一方、上記ステップＳ１０６の判断の結果、欠落したメディアＲＴＰパケットの回復の際に欠落のパターンを考慮すると判断した場合は（ステップＳ１０６、Ｙｅｓ）、続いて受信装置２０は、メディアＲＴＰパケット及び冗長パケットを２次元に並べたＦＥＣブロックの縦方向と横方向について、メディアＲＴＰパケット及び冗長パケットの欠落数が１つの行または列の数を計算する（ステップＳ１０８）。ステップＳ１０８の計算は、例えばＦＥＣ復号決定部２７が実行する。【0072】
上記ステップＳ１０８で、メディアＲＴＰパケット及び冗長パケットの欠落数が１つの行または列の数を計算すると、続いて受信装置２０は、欠落数が１つの行の数と列の数とを比較して、どちらが多いかを判断し、多い方を第１方向として決定する（ステップＳ１０９）。ステップＳ１０９の判断は、例えばＦＥＣ復号決定部２７が実行する。【0073】
上記ステップＳ１０９の判断の結果、欠落数が１つの行の数の方が多ければ、受信装置２０は、欠落したメディアＲＴＰパケットの回復処理として、第１方向として横方向、第１方向に直交する第２方向として縦方向の順に計２回までの回復処理を実行するような回復手順を決定し、決定した回復手順に従って回復処理を実行する（ステップＳ１１０）。【0074】
一方、上記ステップＳ１０９の判断の結果、欠落数が１つの列の数の方が多ければ、受信装置２０は、欠落したメディアＲＴＰパケットの回復処理として、第１方向として縦方向、第１方向に直交する第２方向として横方向の順に計２回までの回復処理を実行するような回復手順を決定し、決定した回復手順に従って回復処理を実行する（ステップＳ１１１）。ステップＳ１１０またはステップＳ１１１の回復処理は、ＦＥＣ復号部２２が実行する。【0075】
なお、上記ステップＳ１０９の判断の結果、欠落数が１つの行の数と列の数が同じであれば、受信装置２０は、任意の方向を第１方向として回復処理の手順を決定してもよい。すなわち、上記ステップＳ１０９の判断の結果、欠落数が１つの行の数と列の数が同じであれば、受信装置２０は、横方向、縦方向のどちらから先に回復処理を実行してもよいが、その場合も回復処理は計２回までとする。もちろん、第１方向での回復処理で全ての欠落が回復出来れば、受信装置２０は、第２方向での回復処理を行なう必要はない。【0076】
図９〜図１２は、本実施形態に係る受信装置２０での欠落パケットの回復処理を説明する説明図である。図９〜図１２には、１つのＦＥＣブロックを構成するメディアＲＴＰパケットが１６個であり、そのメディアＲＴＰパケットを４行４列に並べ、各行と各列においてＸＯＲを計算することで冗長パケットを生成した場合の例が示されている。【0077】
図９〜図１２において、０番から３番、５番から８番、１０番から１３番、１５番から１８番がメディアＲＴＰパケットであり、４番、９番、１４番、１９番が、横方向での各メディアＲＴＰパケットのＸＯＲ演算で生成される冗長パケットであり、２０番から２３番が、縦方向での各メディアＲＴＰパケットのＸＯＲ演算で生成される冗長パケットである。【0078】
図９は、受信装置２０にメディアＲＴＰパケット及び冗長パケットが到達した状態の一例を示したものである。図９では、６番、８番、１２番のメディアＲＴＰパケット及び２１番の冗長パケットが欠落している状態が示されている。この状態でメディアＲＴＰパケット及び冗長パケットが到達した場合に、受信装置２０は、上記ステップＳ１０８において、ＦＥＣブロックの縦方向と横方向について、メディアＲＴＰパケット及び冗長パケットの欠落数が１つの行または列の数を計算する。図１０は、メディアＲＴＰパケット及び冗長パケットの欠落数が１つの行または列の数を計算した様子を示したものである。【0079】
図１０に示したように、この例ではメディアＲＴＰパケット及び冗長パケットの欠落数が１つの行は１つであり、欠落数が１つの列は２つである。従って受信装置２０は、欠落したメディアＲＴＰパケットの回復処理として、縦方向、横方向の順に計２回までの回復処理を実行する。【0080】
図１１は、縦方向に回復処理（ＸＯＲ演算）を実行した後のパケットの欠落の状態を示したものである。受信装置２０は、縦方向に回復処理（ＸＯＲ演算）を実行すると、８番及び１２番のメディアＲＴＰパケットの欠落を回復できる。８番のメディアＲＴＰパケットの欠落は、３番、１３番、１８番、２３番のパケットについて順次ＸＯＲ演算を実行することで回復することが出来る。また１２番のメディアＲＴＰパケットの欠落は、２番、７番、１７番、２２番のパケットについて順次ＸＯＲ演算を実行することで回復することが出来る。【0081】
そして図１２は、図１１のように８番及び１２番のメディアＲＴＰパケットの欠落を回復した後に、横方向に回復処理（ＸＯＲ演算）を実行した後のパケットの欠落の状態を示したものである。受信装置２０は、縦方向に回復処理を実行した後に、横方向に回復処理を実行すると、６番のメディアＲＴＰパケットの欠落を回復できる。６番のメディアＲＴＰパケットの欠落は、５番、７番、８番、９番のパケットについて順次ＸＯＲ演算を実行することで回復することが出来る。従って受信装置２０は、縦方向、横方向の順に計２回までの回復処理を実行することで、全てのメディアＲＴＰパケットの欠落を回復することができる。【0082】
メディアＲＴＰパケット及び冗長パケットの欠落数が１つの行または列の数を計算せずに、例えば最初に横方向の回復処理（ＸＯＲ演算）を実行するように受信装置２０が設定されていた場合の例を示す。【0083】
図１３は、本実施形態に係る受信装置２０での欠落パケットの回復処理を説明する説明図である。図１３において、０番から３番、５番から８番、１０番から１３番、１５番から１８番がメディアＲＴＰパケットであり、４番、９番、１４番、１９番が、横方向での各メディアＲＴＰパケットのＸＯＲ演算で生成される冗長パケットであり、２０番から２３番が、縦方向での各メディアＲＴＰパケットのＸＯＲ演算で生成される冗長パケットである。【0084】
図９で示したように６番、８番、１２番のメディアＲＴＰパケット及び２１番の冗長パケットが欠落している状態でパケットが受信装置２０に到達した場合、最初に横方向の回復処理（ＸＯＲ演算）を実行すると、図１３に示したように、１２番のメディアＲＴＰパケットしか回復することが出来ない。【0085】
受信装置２０は、最初に横方向の回復処理を実行した後に、続いて縦方向に回復処理を実行すると、図１１に示したように８番のメディアＲＴＰパケットを回復することが出来る。そして受信装置２０は、続いてさらに横方向に回復処理を実行すると、図１２に示したように６番のメディアＲＴＰパケットの欠落を回復できる。従って受信装置２０は、最初に横方向の回復処理を実行するように設定されていると、横方向、縦方向、横方向の順に計３回までの回復処理を実行しなければ、全てのメディアＲＴＰパケットの欠落を回復することができない。【0086】
すなわち、本開示の一実施形態に係る受信装置２０は、メディアＲＴＰパケット及び冗長パケットの欠落数が１つの行または列の数を計算して、欠落数が多い方から回復処理を実行することで、欠落数が１つの行または列の数を計算せずに回数処理を実行する場合に比べ、回復処理の回数を少なくすることが可能となる。【0087】
上記ステップＳ１０５、Ｓ１０７、Ｓ１１０またはＳ１１１でそれぞれ回復処理を行なうと、受信装置２０は、回復処理を実行した後の１つのＦＥＣブロックをデコーダ２４または表示処理部２５に渡す（ステップＳ１１２）。そして受信装置２０は、送信装置１０からデータが送信され続ける限り、上述の一連の処理を継続する。【0088】
以上、図８を用いて本開示の一実施形態に係る受信装置２０の動作例について説明した。本開示の一実施形態に係る受信装置２０は、上述した一連の動作を実行することで、パケットを２次元に並べたＦＥＣブロックの縦方向と横方向について、メディアＲＴＰパケット及び冗長パケットの欠落数が１つの行または列の数の多い方から回復処理を実行し、欠落パケットの回復処理に掛かる時間を短くしつつも、最大の回復性能を出すことが出来る。【0089】
＜２．まとめ＞以上説明したように本開示の一実施形態によれば、パケットの欠落状況を判断して、適切な欠落パケットの回復処理を実行する受信装置２０が提供される。本開示の一実施形態に係る受信装置２０は、欠落パケットの回復処理に先立って、パケットを２次元に並べたＦＥＣブロックの縦方向と横方向について、メディアＲＴＰパケット及び冗長パケットの欠落数が１つの行または列の数を計算する。そして本開示の一実施形態に係る受信装置２０は、欠落数が多い方から回復処理を実行する。
【0090】
パケットの欠落状況を判断して、適切な欠落パケットの回復処理を実行することで、本開示の一実施形態に係る受信装置２０は、欠落パケットの回復処理に掛かる時間を短くしつつも、最大の回復性能を出すことが可能となる。【0091】
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。【0092】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。【0093】
また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。【0094】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。【0095】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。【0096】
なお、以下のような構成も本開示の技術的範囲に属する。（１）
２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、パケットの欠落パターンを考慮して欠落パケットを回復して復号する手順を決定する復号決定部と、
前記復号決定部が決定した手順に基づいて欠落パケットの回復を実行する復号部と、
を備える、復号装置。
（２）
前記復号決定部は、前記メディアパケット及び前記冗長パケットの中での欠落パケットが１つだけの行の数及び列の数を計算して、数が多い方の方向を第１方向として手順を決定する、前記（１）に記載の復号装置。
（３）
前記復号部は、前記復号決定部が決定した手順での前記第１方向の欠落パケットの回復及び前記第１方向と直交する第２方向の欠落パケットの回復を実行する、前記（２）に記載の復号装置。
（４）
前記復号決定部は、欠落パケットが１つだけの行の数と列の数とが同じ場合は任意の方向を第１方向として手順を決定する、前記（２）に記載の復号装置。
（５）
前記冗長パケットは、複数の行及び列に構成された各前記メディアパケットに前記行毎及び列毎にそれぞれＸＯＲ演算処理が施されて生成されたパケットである、前記（１）〜（４）のいずれかに記載の復号装置。
（６）
２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、パケットの欠落パターンを考慮して欠落パケットを回復して復号する手順を決定することと、
決定された手順に基づいて欠落パケットの回復を実行することと、
を含む、復号方法。
（７）
コンピュータに、
２次元でのＸＯＲベースのＦＥＣ符号方式によって生成されるメディアパケット及び冗長パケットの組からなるデータにおいて、パケットの欠落パターンを考慮して欠落パケットを回復して復号する手順を決定することと、
決定された手順に基づいて欠落パケットの回復を実行することと、
を実行させる、コンピュータプログラム。
【符号の説明】
【0097】
１ ネットワーク１０ 送信装置
１１ 撮像装置
１２ キャプチャ部
１３ エンコーダ
１４ パケタイズ部
１５ ＦＥＣ部
１６ 送信部
２０ 受信装置
２１ 受信部
２２ ＦＥＣ復号部
２３ デパケタイズ部
２４ デコーダ
２５ 表示処理部
２６ ディスプレイ
２７ ＦＥＣ復号決定部