特開 2023-65918 データ受信装置、データ受信方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023065918

(43)【公開日】2023-05-15

(54)【発明の名称】データ受信装置、データ受信方法、及び、プログラム

(51)【国際特許分類】

   H04N 21/6375 20110101AFI20230508BHJP

   H04N 21/23 20110101ALI20230508BHJP

   H04N 23/60 20230101ALI20230508BHJP

【ＦＩ】

H04N21/6375

H04N21/23

H04N5/232 300

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021176342

(22)【出願日】2021-10-28

(71)【出願人】

【識別番号】509137087

【氏名又は名称】株式会社ＴＢＳテレビ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】藤本 剛

【テーマコード（参考）】

5C122

5C164

【Ｆターム（参考）】

5C122DA02

5C122EA63

5C122EA68

5C122FK23

5C122GC37

5C122GC39

5C122GC52

5C122HB01

5C164FA29

5C164SB41S

5C164SB46P

5C164TB34P

5C164YA24

5C164YA25

(57)【要約】

【課題】パケット通信網を介してデータを受信する際の遠隔制御に関するリアルタイム性を向上させ、かつ、高品質のデータを受信可能とするデータ受信技術を提供すること。
【解決手段】データ送信装置からパケット通信網を介してデータを受信するデータ受信装置であって、データ送信装置から第１パケットを受信する受信部と、第１パケットに基づいて第１出力データを生成する第１生成部と、一部のパケットの欠落がある場合に欠落パケットの送信をデータ送信装置に要求する要求部と、データ受信装置からの要求に応じてデータ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

データ送信装置からパケット通信網を介してデータを受信するデータ受信装置であって、
前記データ送信装置から第１パケットを受信する受信部と、
前記第１パケットに基づいて第１出力データを生成する第１生成部と、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求する要求部と、
前記データ受信装置からの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部と、を備える、
データ受信装置。

【請求項2】

前記第２生成部は、前記データの伝送遅延が所定期間以上となる場合に、前記第２出力データを生成する、
請求項１に記載のデータ受信装置。

【請求項3】

前記所定期間を、前記データ送信装置から送信されるパケットのパケットロスに関する情報、及び、前記データ送信装置から送信されるパケットの復号処理結果に関する情報の少なくとも一方の情報に基づいて設定する設定部をさらに備える、
請求項２に記載のデータ受信装置。

【請求項4】

前記データ受信装置からの要求に応じて前記データ送信装置から送信されるパケットによって、一部のパケットが欠落した前記第２パケットが補完される場合、補完された第３パケットに基づいて第３出力データを生成する第３生成部をさらに備える、
請求項１～３のいずれか一項に記載のデータ受信装置。

【請求項5】

前記欠落パケットを検出する検出部と、
前記要求部は、前記検出部において前記欠落パケットが所定基準以下となるまで繰り返し前記欠落パケットの送信を前記データ送信装置に要求する、
請求項１～４のいずれか一項に記載のデータ受信装置。

【請求項6】

データ送信装置からパケット通信網を介してデータを受信するデータ受信装置が実行するデータ受信方法であって、
前記データ送信装置から第１パケットを受信するステップと、
前記第１パケットに基づいて第１出力データを生成する第１生成ステップと、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求するステップと、
前記データ受信装置からの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成ステップと、を含む、
データ受信方法。

【請求項7】

データ送信装置からパケット通信網を介してデータを受信するデータ受信装置を、
前記データ送信装置から第１パケットを受信する受信部と、
前記第１パケットに基づいて第１出力データを生成する第１生成部と、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求する要求部と、
前記データ受信装置からの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部と、
して実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ受信装置、データ受信方法、及び、プログラムに関する。

【背景技術】

【0002】

従来、テレビ番組の作成手法に関して、中継先現場等から映像ソースを離れた遠隔地にある番組作成拠点等に伝送した上で映像スイッチングや音声ミキシングを実施し、リモートで番組を作り上げる「リモートプロダクション」が知られている。リモートプロダクションは、人員等を中継先現場に配置せずに済むことからコストを抑えるなどの利点がある。

【0003】

これに関し、非特許文献１には、ＩＰリモートプロダクション、すなわち、リモートプロダクションのための遠隔制御（番組作成拠点から中継先現地に配置されたカメラ等の制御）や映像伝送等をＩＰネットワーク上で実施できるようにすることで、さらなるコスト削減を高める方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【非特許文献1】インターネット，[「ＩＰリモートプロダクション」への取り組みについて],<https://www.ntte-sports.co.jp/topics20210628.html>

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１におけるＩＰリモートプロダクションシステムでは、コスト削減については考慮されているものの、遠隔制御の際に番組作成拠点において操作者によって参照される中継先現地映像のリアルタイム性を確保しつつ、高品質のオンエア画像又は保存用画像の伝送を可能とする点については何ら考慮されていない。

【0006】

そこで、本発明は、上記に鑑みてなされたものであって、パケット通信網を介してデータを受信する際の遠隔制御に関するリアルタイム性を向上させ、かつ、高品質のデータを受信可能とするデータ受信技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係るデータ受信装置は、データ送信装置からパケット通信網を介してデータを受信するデータ受信装置であって、データ送信装置から第１パケットを受信する受信部と、第１パケットに基づいて第１出力データを生成する第１生成部と、一部のパケットの欠落がある場合に欠落パケットの送信をデータ送信装置に要求する要求部と、データ受信装置からの要求に応じてデータ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部と、を備える。

【0008】

本発明の一態様に係るデータ受信方法は、データ送信装置からパケット通信網を介してデータを受信するデータ受信装置が実行するデータ受信方法であって、データ送信装置から第１パケットを受信するステップと、第１パケットに基づいて第１出力データを生成する第１生成ステップと、一部のパケットの欠落がある場合に欠落パケットの送信をデータ送信装置に要求するステップと、データ受信装置からの要求に応じてデータ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成ステップと、を含む。

【0009】

本発明の一態様に係るプログラムは、データ送信装置からパケット通信網を介してデータを受信するデータ受信装置を、データ送信装置から第１パケットを受信する受信部と、第１パケットに基づいて第１出力データを生成する第１生成部と、一部のパケットの欠落がある場合に欠落パケットの送信をデータ送信装置に要求する要求部と、データ受信装置からの要求に応じてデータ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部と、して実行させるためのプログラム。

【0010】

本発明において、「部」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されてもよい。

【発明の効果】

【0011】

本発明の態様によれば、パケット通信網を介してデータを受信する際の遠隔制御に関するリアルタイム性を向上させ、かつ、高品質のデータを受信可能とする。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係るデータ伝送システムの全体構成の一例を示す図である。

【図2】本発明の一実施形態に係る受信装置の機能ブロックを示す図である。

【図3】本発明の一実施形態に係る複数の異なる出力データを生成するデータ生成処理の概要の一例を説明する概念図である。

【図4】本発明の一実施形態に係るデータ生成処理のフローチャートの一例である。

【図5】本発明の一実施形態に係るデータ伝送システムの全体構成の他の例を示す図である。

【図6】本発明の一実施形態に係るコンピュータのハードウェア構成の一例を示す図である。

【0013】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。

【0014】

図１は、本発明の一実施形態に係るデータ伝送システムの全体構成の一例を示す図である。データ伝送システム１００は、例えば、リモートプロダクションのための遠隔制御や映像伝送等をＩＰネットワーク上で実施するＩＰリモートプロダクションを採用するデータ伝送システムである。データ伝送システム１００は、例示的に、受信装置１（データ受信装置）と、伝送装置３（データ送信装置）と、カメラ５と、表示装置７と、切替装置９と、を備える。

【0015】

なお、データ伝送システム１００は、受信装置１と、伝送装置３と、カメラ５と、表示装置７と、をそれぞれ複数台備えてもよい。この場合は、複数の中継先現場から異なるカメラ５によって取得されたデータをそれぞれの受信装置１が受信する。そして、切替装置９は、それぞれの受信装置１で生成された、後述するОＡ用データ及び保存用データを受信して適宜切り替えて出力する。

【0016】

受信装置１は、例えばテレビ局などの番組作成拠点に配置され、伝送装置３から伝送される映像データ、及び、音声データを含む音データを受信する装置である。受信装置１は、伝送装置３から伝送される複数のデータパケット（パケット）のうち欠落したデータパケットである欠落パケットを再送するように伝送装置３に要求する。

【0017】

受信装置１は、例えば、３つの出力データとして、操作用データ（第１出力データ）、オンエア（ОＡ）用データ（第２出力データ）、及び、保存用データ（第３出力データ）を生成する。受信装置１は、２つ、又は、４つ以上の出力データを生成してもよい。操作用データ、ＯＡ用データ、及び保存用データは、受信装置１で生成されるデータとして、映像データ及び音データの少なくとも一方を含む。

【0018】

操作用データは、例えば、番組作成拠点にいるユーザＵであって、例えば中継先現場に配置されるカメラ５をリアルタイムで操作するユーザＵが参照するためのデータを含む。ユーザＵは、表示装置７で表示（出力）される操作用データを参照しながら、中継先現場の様子を確認して、カメラ５の配置位置、向き、及び、高さ等を制御する。なお、ユーザＵの遠隔操作の対象は、カメラに限られず、他の装置であってもよい。

【0019】

操作用データは、上記のとおり、ユーザＵがカメラ５をリアルタイムで操作するために参照するデータであるため、ＯＡ用データ及び保存用データよりもデータパケットロスが多いものの、低遅延のデータである必要がある。すなわち、操作用データは、ユーザＵが中継先現場を確認でき、カメラ５を適切に操作できる程度の品質であればよく、ＯＡ用データ及び保存用データよりも低品質のデータでもよい。

【0020】

ОＡ用データは、例えば、実際に放送コンテンツとして放送局においてＯＡ（オンエア）されるデータとして生成されるデータを含む。ＯＡ用データは、例えば、操作用データよりも高遅延、かつ、保存用データよりも低遅延のデータである。ОＡ用データは、操作用データよりもデータパケットロスが少なく、かつ、保存用データよりもデータパケットロス（データ欠損）が多い品質（中程度の品質）であるデータをいう。ＯＡ用データは、例えば、コンテンツとして放送可能とするための所定の放送装置に送られる。

【0021】

保存用データは、例えば、番組作成拠点の所定データベースに保存用として記録されるデータを含む。保存用データは、例えば、操作用データ及びОＡ用データよりも高遅延のデータである。保存用データは、操作用データ及びОＡ用データよりもデータのパケットロスが少ない、又は、パケットロスがない（データ欠損がない、又は、ほぼデータ欠損がない）高品質なデータをいう。

【0022】

受信装置１は、生成した操作用データを表示装置７に送信する。受信装置１は、生成したОＡ用データ及び保存用データの少なくとも一方を切替装置９に送信する。

【0023】

伝送装置３は、例えば中継先現場に配置され、カメラ５で取得した映像データ及び音データを受信し、受信装置１に伝送する装置である。伝送装置３は、受信装置１からの欠落データパケットの再送要求を受信して、欠落データパケットを再送する。

【0024】

カメラ５は、例えば中継先現場に配置され、周囲を撮像することによって生成される映像データを取得する装置である。また、カメラ５は、周囲の音データをさらに取得してもよい。カメラ５は、取得した映像データ及び音データを伝送装置３に送信する。

【0025】

表示装置７は、例えば番組作成拠点に配置され、受信装置１から送信される操作用データを受信し、表示（出力）する。表示装置７は、ユーザＵによって操作され、ユーザＵからの入力に基づいて、カメラ５を操作するための操作用制御信号をカメラ５に送信する。

【0026】

切替装置９は、例えば番組作成拠点に配置され、受信装置１から送信されるＯＡ用データ及び保存用データの少なくとも一方を受信し、切り替えて出力する装置である。切替装置９は、ユーザＵとは異なる操作者によって操作されるが、表示装置７を操作するユーザＵによって操作されてもよい。

【0027】

受信装置１と、伝送装置３と、カメラ５と、表示装置７と、切替装置９とは、所定のネットワークで接続されており、各種データ及び信号を送受信可能に構成されている。所定のネットワークは、受信装置１と、伝送装置３と、カメラ５と、表示装置７と、切替装置９との間でデータを伝送するための通信回線である。

【0028】

所定のネットワークはＬＡＮやインターネット網に代表されるパケット通信網（またはその組み合わせ）であればよく、物理層には左右されない。よって、物理層としては、イーサネット（登録商標）、無線通信網、公衆電話通信網、一般電話回線網、その他の通信回線、それらの組み合わせ等のいずれであってもよい。また、各通信網間を接続するためのゲートウェイや各種基地局、交換機などもネットワークに含まれ得る。

【0029】

上記のとおり、非特許文献１におけるＩＰリモートプロダクションシステムでは、コスト削減はなし得る。しかしながら、このような従来のＩＰリモートプロダクションシステムでは、遠隔制御の際に番組作成拠点において操作者によって参照される中継先現地映像のリアルタイム性を確保しつつ、高品質のオンエア画像又は保存用画像の伝送を可能とする要求には、応えられない。

【0030】

そこで、本発明の一実施形態によれば、受信装置１は、伝送装置３から複数のデータパケット（第１パケット）を受信し、複数のデータパケットに基づいて第１出力データ（例えば操作用データОＰＤ）を生成する。受信装置１は、一部のパケットが欠落した場合に欠落データパケットの送信を伝送装置３に要求し、受信装置１からの要求に応じて伝送装置３から送信されるデータパケットが補充された複数のデータパケット（第２パケット）に基づいて第２出力データ（例えばＯＡ用データＯＡＤ又は保存用データＳＤ）を生成する。

【0031】

よって、番組作成拠点にいるユーザＵは、表示装置７においてリアルタイムで表示される操作用データを適宜参照しながら、中継先現場に配置されるカメラ５を適切に操作可能となる。また、受信装置１は、操作用データよりも高品質であるＯＡ用データＯＡＤ及び保存用データＳＤの少なくとも一方を生成して出力可能である。したがって、受信装置１は、パケット通信網を介してデータを受信する際の遠隔制御に関するリアルタイム性を向上させ、かつ、高品質のデータを受信できる。

【0032】

図２及び図３を参照して、本発明の一実施形態に係る受信装置の機能について説明する。図２は、本発明の一実施形態に係る受信装置の機能ブロックを示す図である。図３は、本発明の一実施形態に係る複数の異なる出力データを生成するデータ生成処理の概要の一例を説明する概念図である。

【0033】

図２に示すように、受信装置１は、機能的に、出力データを生成するための各種処理を実行する情報処理部１０と、出力データを生成するための各種処理を実行するための情報及び当該各種処理の実行結果を格納する格納部１１と、を備える。

【0034】

なお、受信装置１は、例えばコンピュータシステムで構成される情報処理装置等によって構成され、ソフトウェアプログラムによって実装される。当該プログラムは、例えば、所定のネットワークを介して、受信装置１の外部からダウンロードされて提供されてもよいし、又は、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。

【0035】

情報処理部１０は、機能的に、受信部１２と、欠落パケット検出部１３（検出部）と、設定部１４と、欠落パケット要求部１５（要求部）と、操作用データ生成部１６（第１生成部）と、ＯＡ用データ生成部１７（第２生成部）と、保存用データ生成部（第３生成部）１８と、を備える。

【0036】

受信部１２は、伝送装置３から伝送されるデータパケットＰを受信する。図３の例では、受信部１２は、一部のデータパケットＰが欠落した複数のパケットを受信する（図３の「（１）パケット送付」及び「（２）パケット受信」）。受信部１２は、例えば、フレーム番号１０１，１０２，１０３，１０４，１０５…のデータパケットのフレームＦＲを伝送装置３から受信する。伝送装置３は、受信装置１に対してデータパケットＰを送信する際に、所定のエンコード（符号化）処理を実行してもよい。

【0037】

図３の例では、受信部１２が受信した複数のデータパケットＰのうち、フレーム１０１のデータパケット「２」、フレーム１０２のデータパケット「４」、フレーム１０３のデータパケット「３」、フレーム１０４のデータパケット「２」、及び、フレーム１０５のデータパケット「３」，「４」が欠落している。

【0038】

操作用データ生成部１６は、伝送装置３から伝送される一部のデータパケットＰが欠落した複数のパケットに基づいて操作用データＯＰＤを生成する。まず、操作用データ生成部１６は、例えば前方誤り修正（ＦＥＣ：Forward Error Correction）でデータパケットを補充する（図３の「ＦＥＣによる復旧」）。図３の例では、ＦＥＣによって補充されるデータパケットは、フレーム１０１のデータパケット「２」、及び、フレーム１０３のデータパケット「３」である。誤り訂正符号化技術として、ＦＥＣを挙げたが、他の技術が採用されてもよい。

【0039】

操作用データ生成部１６は、ＦＥＣによって補充されたデータパケット（例えばフレーム１０１のデータパケット「２」、及び、フレーム１０３のデータパケット「３」）を含む複数のデータパケットに基づいて操作用データＯＰＤを生成する（図３の「（４）操作用データ生成」）。上記のとおり、操作用データＯＰＤは、番組作成拠点にいるユーザＵが中継先現場に配置されたカメラ５をリアルタイムで操作するために参照するデータであるため、ＯＡ用データ及び保存用データよりも低遅延（最短遅延）のデータである必要がある。

【0040】

欠落パケット検出部１３は、受信部１２が受信する複数のデータパケットにおける欠落データパケットを検出する（図３の「（５）欠落パケット検出」）。欠落パケット検出部１３は、受信部１２が受信した複数のデータパケットであってＦＥＣで補充された後のデータパケットにおける欠落パケットを検出する。

【0041】

具体的には、欠落パケット検出部１３は、図３の例では、フレーム１０２のデータパケット「４」、フレーム１０４のデータパケット「２」、及び、フレーム１０５のデータパケット「３」，「４」を欠落データパケットと検出する。なお、この場合、フレーム１０１のデータパケット「２」とフレーム１０３のデータパケット「３」は、ＦＥＣで補充されたデータパケットであるから、欠落データパケットとして検出されない。

【0042】

欠落パケット検出部１３は、伝送装置３から繰り返し欠落データパケットが再送されるたびに欠落データパケットを検出してもよい。この構成によれば、受信部１２が受信するデータパケットの補充状況を適切に管理可能である。

【0043】

欠落パケット検出部１３は、ＦＥＣで補充される前の複数のデータパケット（最初に受信部１２が受信した複数のデータパケット）における欠落データパケットを検出してもよい。

【0044】

設定部１４は、伝送装置３からのデータの伝送遅延に関する許容期間（例えば、２～３秒）（所定期間）を設定する（図３の「（６）遅延期間設定」）。設定部１４は、設定した許容値を設定情報ＳＩとして格納部１１に格納する。設定部１４は、許容期間を、伝送装置３から送信される複数のデータパケットのパケットロスに関する情報（例えばデータパケット情報ＰＩ）、及び、伝送装置３から送信される複数のデータパケットの復号処理結果に関する情報（例えば復号処理情報ＤＰＩ）の少なくとも一方の情報に基づいて設定する。なお、許容期間は、任意であり、上記の２～３秒という制限よりも短く設定されてもよいし、長く設定されてもよい。

【0045】

伝送装置３から送信される複数のデータパケットのパケットロスに関する情報は、パケットロスの程度に関する情報を含み、例えば、パケットロス率、及び、パケットロス数の少なくとも一方を含む。

【0046】

伝送装置３から送信される複数のパケットの復号処理結果に関する情報は、例えば、ＦＥＣで補充（復号）できなかったフレームＦＲの数、ＦＥＣで復号できなかったフレームＦＲの割合、ＦＥＣで復号できなかったデータパケットＰの数、及び、ＦＥＣで復号できなかったデータパケットＰの割合の少なくとも一方を含む。

【0047】

欠落パケット要求部１５は、欠落パケット検出部１３が検出した欠落データパケットの送信を伝送装置３に要求する（図３の「（７）欠落パケットのリクエスト」）。図３の例では、欠落パケット要求部１５は、ＦＥＣで補充できなかった、欠落データパケットであるフレーム１０２のデータパケット「４」、フレーム１０４のデータパケット「２」、及び、フレーム１０５のデータパケット「３」，「４」の再送を伝送装置３に要求する。

【0048】

伝送装置３は、欠落パケット要求部１５からの要求に基づいて、欠落データパケットを受信装置１に送信する（図３の「（８）欠落パケットの送付」）。伝送装置３は、受信装置１の要求とおりに、フレーム１０２のデータパケット「４」、フレーム１０４のデータパケット「２」、及び、フレーム１０５のデータパケット「３」，「４」の再送を試みる。しかしながら、図３の例では、フレーム１０５のデータパケット「３」，「４」が伝送中に欠落し、フレーム１０２のデータパケット「４」、及び、フレーム１０４のデータパケット「２」のみが受信装置１に到達する。

【0049】

欠落パケット要求部１５は、欠落パケット検出部１３において欠落データパケットが検出されなくなるまで（所定基準以下となるまで）繰り返し当該欠落データパケットの送信を伝送装置３に要求してもよい。所定基準は、任意であり、適宜変更可能である。所定基準は、例えば、欠落データパケットが所定の個数（例えば数個）であることを含む。

【0050】

ＯＡ用データ生成部１７は、受信装置１からの要求に応じて伝送装置３から送信されるデータパケットを含む複数のパケット（第２パケット）に基づいてＯＡ用データＯＡＤを生成する（図３の「（９）ＯＡ用データ生成」）。ＯＡ用データ生成部１７は、例えば、伝送装置３からの伝送データの伝送遅延が許容期間Ｘ（例えば２～３秒）以上となる場合に、ＯＡ用データＯＡＤを生成する。

【0051】

ＯＡ用データＯＡＤは、上記したとおり、例えば、実際に放送コンテンツとしてオンエアされるデータとして生成されるデータを含む。設定部１４によって伝送遅延の許容期間として例えば２～３秒という制限を設けることで、ＯＡ用データ生成部１７は、操作用データＯＰＤよりもデータパケットロスが少なく、かつ、保存用データＳＤよりもデータパケットロス（データ欠損）が多い品質（中程度の品質）であるデータを生成可能である。

【0052】

保存用データ生成部１８は、受信装置１からの要求に応じて伝送装置３から送信されるデータパケットによって、一部のパケットが欠落した複数のパケットが補完される場合、補完された複数のパケット（第３パケット）に基づいて保存用データＳＤを生成する（図３の「（１０）保存用データ生成」）。保存用データ生成部１８は、例えば、欠落データパケットがなくなるまで待ってからより高品質の画像データ及び音データの少なくとも一方を生成可能である

【0053】

格納部１１は、例えば、データパケット情報ＰＩと、復号処理情報ＤＰＩと、設定情報ＳＩと、操作用データＯＰＤと、ＯＡ用データＯＡＤと、保存用データＳＤとを格納する。

【0054】

データパケット情報ＰＩは、受信装置１が伝送装置３から受信するデータパケットに関する情報である。データパケット情報ＰＩは、データパケットのフレームＦＲに関する情報、例えば、フレームＦＲの番号等の識別情報、及び、クレームＦＲを含む。データパケット情報ＰＩは、例えば、欠落データパケット、再送で補充又は補完されたデータパケット、ＦＥＣ用データパケット、及び、ＦＥＣで補充又は補完されたデータパケットの少なくとも一つのデータパケットに関する情報を含む。

【0055】

＜データ生成処理＞
図４を参照して、本発明の一実施形態に係る複数の異なるデータを生成するデータ生成処理の全体の流れを説明する。図４は、本発明の一実施形態に係るデータ生成処理のフローチャートの一例である。

【0056】

前提として、データ生成処理において、例えばネットワークの所定のサイト又は記録媒体から、本発明の一実施形態に係るデータ生成処理を含むデータ伝送アプリケーションソフトウェアをダウンロードし、図１に示す受信装置１に実行可能なように保存しておく。そして、データ生成処理の実行が指示されると、当該ソフトウェアに基づくプログラム動作が開始する。なお、伝送装置３、表示装置７及び切替装置９においても、データ伝送システム１００の要素として適切に作動するように事前に当該ソフトウェアを実行する。

【0057】

図４に示すように、図１～図３に示す受信装置１は、複数のデータパケットを図１及び図３に示す伝送装置３から受信する（ステップＳ１）。受信装置１は、受信した複数のデータパケットに基づいて操作用データを生成する（ステップＳ３）。

【0058】

受信装置１は、受信した複数のデータパケットに基づいて欠落パケットを検出する。受信装置１は、一部のデータパケットの欠落がある場合に欠落データパケットの送信を伝送装置３に要求する（ステップＳ５）。受信装置１は、伝送装置３から、要求に基づいて送信された複数のデータパケットを受信する（ステップＳ７）。

【0059】

受信装置１は、受信した複数のデータパケットに基づいて欠落データパケットの有無を判断する（ステップＳ９）。受信装置１が、欠落データパケットがなく、上記ステップＳ５及びＳ７における処理によって、データパケットが補完されたと判断した場合（Ｙｅｓの場合）は、ステップＳ１５に進む。ステップＳ１５では、受信装置１は、保存用データを生成する。他方で、受信装置１が、欠落データパケットが依然として有り、データパケットが補完されていないと判断した場合（ステップＳ９においてＮｏの場合）は、ステップＳ１１に進む。

【0060】

受信装置１は、伝送装置３からのデータの伝送遅延が所定期間（例えば２～３秒）以上であるか否かを判断する（ステップＳ１１）。伝送装置３からのデータの伝送遅延が所定期間以上である場合（Ｙｅｓの場合）は、ステップＳ１３に進む。ステップＳ１３では、受信装置１は、ＯＡ用データを生成する。他方で、伝送装置３からのデータの伝送遅延が所定期間以上でない場合（ステップＳ１１においてＮｏの場合）は、ステップＳ５に戻る。

【0061】

ステップＳ５に戻り、受信装置１は、欠落データパケットが無くなるまで、伝送装置３に対して欠落データパケットの再送を要求し、欠落データパケットを受信することを繰り返す。

【0062】

図５は、本発明の一実施形態に係るデータ伝送システムの全体構成の他の一例を示す図である。図５に示すように、データ伝送システム１００Ａでは、中継先現場等で複数のカメラ５を切り替えるカメラ切替装置８を備える点で、図１に示すデータ伝送システム１００とは異なる。以下では、図１に示すデータ伝送システム１００と異なる点について特に説明する。

【0063】

カメラ切替装置８は、複数のカメラ５を表示装置７からのカメラ切替用信号に基づいて切り替えて、特定のカメラ５から入力される映像データ及び音データの少なくとも一方を伝送装置３に送信する。受信装置１は、伝送装置３から伝送される複数のデータパケットに基づいて、例えば、操作用データ、ＯＡ用データ、及び、保存用データを生成する。

【0064】

図６は、本発明の実施形態に係るコンピュータのハードウェア構成の一例を示す図である。図６を参照して、図１及び図５に示す受信装置１、伝送装置３、表示装置７、カメラ切替装置８及びデータ切替装置９を構成するのに用いることができるコンピュータのハードウェア構成の一例について説明する。

【0065】

図６に示すように、コンピュータ４０は、ハードウェア資源として、主に、プロセッサ４１と、主記録装置４２と、補助記録装置４３と、入出力インターフェース４４と、通信インターフェース４５とを備えており、これらはアドレスバス、データバス、コントロールバス等を含むバスライン４６を介して相互に接続されている。なお、バスライン４６と各ハードウェア資源との間には適宜インターフェース回路（図示せず）が介在している場合もある。

【0066】

プロセッサ４１は、コンピュータ全体の制御を行う。プロセッサ４１は、例えば、図２に示す情報処理部１０に相当する。主記録装置４２は、プロセッサ４１に対して作業領域を提供し、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリである。補助記録装置４３は、ソフトウェアであるプログラム等やデータ等を格納する、ＨＤＤやＳＳＤ、フラッシュメモリ等の不揮発性メモリである。当該プログラムやデータ等は、任意の時点で補助記録装置４３からバスライン４６を介して主記録装置４２へとロードされる。補助記録装置４３は、例えば、図２に示す格納部１１に相当する。

【0067】

入出力インターフェース４４は、情報を提示すること及び情報の入力を受けることの一方又は双方を行うものであり、カメラ、キーボード、マウス、ディスプレイ、タッチパネル・ディスプレイ、マイク、スピーカ等である。通信インターフェース４５は、上記した所定の通信ネットワークと接続されるものであり、当該所定の通信ネットワークを介してデータを送受信する。通信インターフェース４５は、ネットワークに係る情報、例えば、Ｗｉ－Ｆｉのアクセスポイントに係る情報、通信キャリアの基地局に関する情報等も取得することがある。

【0068】

上に例示したハードウェア資源とソフトウェアとの協働により、コンピュータ４０は、所望の手段として機能し、所望のステップを実行し、所望の機能を実現させることできることは、当業者には明らかである。

【0069】

なお、上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。また、本発明は、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよい。さらに、異なる実施形態に構成要素を適宜組み合わせてもよい。

【符号の説明】

【0070】

１…受信装置、３…伝送装置、５…カメラ、７…表示装置、８…カメラ切替装置、９…データ切替装置、１０…情報処理部、１１…格納部、１２…受信部、１３…欠落パケット検出部、１４…設定部、１５…欠落パケット要求部、１６…操作用データ生成部、１７…ОＡ用データ生成部、１８…保存用データ生成部、４１…プロセッサ、４２…主記録装置、４３…補助記録装置、４４…入出力インターフェース、４５…通信インターフェース、４６…バスライン、１００，１００Ａ…データ伝送システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2023-02-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

データ送信装置からパケット通信網を介してデータを受信するデータ受信システムであって、
前記データ送信装置から、カメラによって取得された、少なくとも画像データを含むデータに関する第１パケットを受信する受信部と、
前記第１パケットに基づいて第１出力データを生成する第１生成部と、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求する要求部と、
前記データ受信システムからの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部と、
前記第１出力データをユーザが視認可能に出力する出力部と、を備え、
前記出力部は、前記ユーザの入力に基づいて、前記カメラを制御するための制御情報を前記カメラに送信する、
データ受信システム。

【請求項2】

データ送信装置からパケット通信網を介してデータを受信するデータ受信システムであって、
前記データ送信装置から第１パケットを受信する受信部と、
前記第１パケットに基づいて第１出力データを生成する第１生成部と、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求する要求部と、
前記データ受信システムからの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部であって、前記データの伝送遅延が所定期間以上となる場合に、前記第２出力データを生成する第２生成部と、
前記所定期間を、前記データ送信装置から送信されるパケットの復号処理結果に関する情報に基づいて設定する設定部と、を備える、
データ受信システム。

【請求項3】

前記データ受信システムからの要求に応じて前記データ送信装置から送信されるパケットによって、一部のパケットが欠落した前記第２パケットが補完される場合、補完された第３パケットに基づいて第３出力データを生成する第３生成部をさらに備える、
請求項１又は２に記載のデータ受信システム。

【請求項4】

前記欠落パケットを検出する検出部と、
前記要求部は、前記検出部において前記欠落パケットが所定基準以下となるまで繰り返し前記欠落パケットの送信を前記データ送信装置に要求する、
請求項１～３のいずれか一項に記載のデータ受信システム。

【請求項5】

データ送信装置からパケット通信網を介してデータを受信するデータ受信システムが実行するデータ受信方法であって、
前記データ送信装置から、カメラによって取得された、少なくとも画像データを含むデータに関する第１パケットを受信するステップと、
前記第１パケットに基づいて第１出力データを生成する第１生成ステップと、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求するステップと、
前記データ受信システムからの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成ステップと、
前記第１出力データをユーザが視認可能に出力する出力ステップと、を含み、
前記出力ステップは、前記ユーザの入力に基づいて、前記カメラを制御するための制御情報を前記カメラに送信する、
データ受信方法。

【請求項6】

データ送信装置からパケット通信網を介してデータを受信するデータ受信システムを、
前記データ送信装置から、カメラによって取得された、少なくとも画像データを含むデータに関する第１パケットを受信する受信部と、
前記第１パケットに基づいて第１出力データを生成する第１生成部と、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求する要求部と、
前記データ受信システムからの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部と、
前記第１出力データをユーザが視認可能に出力する出力部と、
として実行させ、
前記出力部は、前記ユーザの入力に基づいて、前記カメラを制御するための制御情報を前記カメラに送信する、プログラム。

【請求項7】

データ送信装置からパケット通信網を介してデータを受信するデータ受信システムが実行するデータ受信方法であって、
前記データ送信装置から第１パケットを受信するステップと、
前記第１パケットに基づいて第１出力データを生成する第１生成ステップと、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求するステップと、
前記データ受信システムからの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成ステップであって、前記データの伝送遅延が所定期間以上となる場合に、前記第２出力データを生成する第２生成ステップと、
前記所定期間を、前記データ送信装置から送信されるパケットの復号処理結果に関する情報に基づいて設定する設定ステップと、を含む、
データ受信方法。

【請求項8】

データ送信装置からパケット通信網を介してデータを受信するデータ受信システムを、
前記データ送信装置から第１パケットを受信する受信部と、
前記第１パケットに基づいて第１出力データを生成する第１生成部と、
一部のパケットの欠落がある場合に欠落パケットの送信を前記データ送信装置に要求する要求部と、
前記データ受信システムからの要求に応じて前記データ送信装置から送信されるパケットが補充された第２パケットに基づいて第２出力データを生成する第２生成部であって、前記データの伝送遅延が所定期間以上となる場合に、前記第２出力データを生成する第２生成部と、
前記所定期間を、前記データ送信装置から送信されるパケットの復号処理結果に関する情報に基づいて設定する設定部と、
として実行させるためのプログラム。