特許 7005784 無線通信システム、入力側装置及び出力側装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-07

(45)【発行日】2022-01-24

(54)【発明の名称】無線通信システム、入力側装置及び出力側装置

(51)【国際特許分類】

   H04N 19/164 20140101AFI20220117BHJP

   H04N 19/115 20140101ALI20220117BHJP

   H04W 28/14 20090101ALI20220117BHJP

   H03M 7/30 20060101ALI20220117BHJP

【ＦＩ】

H04N19/164

H04N19/115

H04W28/14

H03M7/30 Z

【請求項の数】 4

(21)【出願番号】P 2020548172

(86)(22)【出願日】2019-08-22

(86)【国際出願番号】 JP2019032830

(87)【国際公開番号】W WO2020059406

(87)【国際公開日】2020-03-26

【審査請求日】2020-11-27

(31)【優先権主張番号】P 2018175547

(32)【優先日】2018-09-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】加藤 大季

(72)【発明者】

【氏名】仲田 樹広

(72)【発明者】

【氏名】星 大樹

【審査官】山▲崎▼ 雄介

(56)【参考文献】

【文献】特開２００８－３０１３０９（ＪＰ，Ａ）

【文献】特開２０１１－１９９４０６（ＪＰ，Ａ）

【文献】特開２００４－１５８９８３（ＪＰ，Ａ）

【文献】特開２００６－１５７８８９（ＪＰ，Ａ）

【文献】特開２００８－２６３４４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

Ｈ０３Ｍ ３／００－９／００

Ｈ０４Ｗ ２８／１４

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

入力されたデータを符号化して無線により送信する入力側装置と、前記入力側装置から受信したデータを復号して出力する出力側装置とを有する無線通信システムにおいて、
前記入力側装置は、入力されたデータを設定された符号化レートに従って符号化する符号化手段と、前記符号化手段により符号化されたデータを設定された無線伝送レートに従って無線により送信する送信手段と、前記符号化手段と前記送信手段の間に配置され、前記符号化手段により符号化されたデータを前記送信手段による送信のタイミングまで一時的に記憶する入力側バッファとを備え、
前記出力側装置は、前記入力側装置から無線により送信されたデータを受信する受信手段と、前記受信手段による受信結果に基づいて無線伝搬路の品質を測定する測定手段と、前記受信手段により受信されたデータを復号する復号手段と、前記復号手段により復号されたデータを前記入力側装置でのデータ入力に対する遅延が一定となるタイミングで出力する出力手段と、前記復号手段と前記出力手段の間に配置され、前記復号手段により復号されたデータを前記出力手段による出力のタイミングまで一時的に記憶する出力側バッファとを備え、
前記出力側装置が、前記入力側バッファに記憶されているデータ量と前記出力側バッファに記憶されているデータ量の合計が一定になる関係を用いて、前記測定手段により測定された無線伝搬路の品質と前記出力側バッファに記憶されているデータ量とに基づいて前記符号化レート及び前記無線伝送レートを決定し、前記入力側装置に送信して前記符号化手段及び前記送信手段の設定に反映させることを特徴とする無線通信システム。

【請求項2】

入力されたデータを符号化して無線により送信する入力側装置と、前記入力側装置から受信したデータを復号して出力する出力側装置とを有する無線通信システムにおいて、
前記入力側装置は、入力されたデータを設定された符号化レートに従って符号化する符号化手段と、前記符号化手段により符号化されたデータを設定された無線伝送レートに従って無線により送信する送信手段と、前記符号化手段と前記送信手段の間に配置され、前記符号化手段により符号化されたデータを前記送信手段による送信のタイミングまで一時的に記憶する入力側バッファとを備え、
前記出力側装置は、前記入力側装置から無線により送信されたデータを受信する受信手段と、前記受信手段による受信結果に基づいて無線伝搬路の品質を測定する測定手段と、前記受信手段により受信されたデータを復号する復号手段と、前記復号手段により復号されたデータを前記入力側装置でのデータ入力に対する遅延が一定となるタイミングで出力する出力手段と、前記復号手段と前記出力手段の間に配置され、前記復号手段により復号されたデータを前記出力手段による出力のタイミングまで一時的に記憶する出力側バッファとを備え、
前記出力側装置が、前記測定手段により測定された無線伝搬路の品質を前記入力側装置に送信し、
前記入力側装置が、前記入力側バッファに記憶されているデータ量と前記出力側バッファに記憶されているデータ量の合計が一定になる関係を用いて、前記出力側装置から受信した無線伝搬路の品質と前記入力側バッファに記憶されているデータ量とに基づいて前記符号化レート及び前記無線伝送レートを決定し、前記符号化手段及び前記送信手段の設定に反映させることを特徴とする無線通信システム。

【請求項3】

無線により送信されたデータを受信する受信手段と、前記受信手段による受信結果に基づいて無線伝搬路の品質を測定する測定手段と、前記受信手段により受信されたデータを復号する復号手段と、前記復号手段により復号されたデータを入力側装置でのデータ入力に対する遅延が一定となるタイミングで出力する出力手段と、前記復号手段と前記出力手段の間に配置され、前記復号手段により復号されたデータを前記出力手段による出力のタイミングまで一時的に記憶する出力側バッファとを備えた出力側装置との間で無線による通信を行う入力側装置であって、
入力されたデータを設定された符号化レートに従って符号化する符号化手段と、
前記符号化手段により符号化されたデータを設定された無線伝送レートに従って無線により送信する送信手段と、
前記符号化手段と前記送信手段の間に配置され、前記符号化手段により符号化されたデータを前記送信手段による送信のタイミングまで一時的に記憶する入力側バッファとを備えると共に、
前記出力側装置から前記測定手段により測定された無線伝搬路の品質を受信し、前記入力側バッファに記憶されているデータ量と前記出力側バッファに記憶されているデータ量の合計が一定になる関係を用いて、前記出力側装置から受信した無線伝搬路の品質と前記入力側バッファに記憶されているデータ量とに基づいて前記符号化レート及び前記無線伝送レートを決定し、前記符号化手段及び前記送信手段の設定に反映させることを特徴とする入力側装置。

【請求項4】

入力されたデータを設定された符号化レートに従って符号化する符号化手段と、前記符号化手段により符号化されたデータを設定された無線伝送レートに従って無線により送信する送信手段と、前記符号化手段と前記送信手段の間に配置され、前記符号化手段により符号化されたデータを前記送信手段による送信のタイミングまで一時的に記憶する入力側バッファとを備えた入力側装置との間で無線による通信を行う出力側装置であって、
前記入力側装置から無線により送信されたデータを受信する受信手段と、
前記受信手段による受信結果に基づいて無線伝搬路の品質を測定する測定手段と、
前記受信手段により受信されたデータを復号する復号手段と、
前記復号手段により復号されたデータを前記入力側装置でのデータ入力に対する遅延が一定となるタイミングで出力する出力手段と、
前記復号手段と前記出力手段の間に配置され、前記復号手段により復号されたデータを前記出力手段による出力のタイミングまで一時的に記憶する出力側バッファとを備えると共に、
前記入力側バッファに記憶されているデータ量と前記出力側バッファに記憶されているデータ量の合計が一定になる関係を用いて、前記測定手段により測定された無線伝搬路の品質と前記出力側バッファに記憶されているデータ量とに基づいて前記符号化レート及び前記無線伝送レートを決定し、前記入力側装置に送信して前記符号化手段及び前記送信手段の設定に反映させることを特徴とする出力側装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像や音声などのデータを伝送する無線通信システムに関する。

【背景技術】

【0002】

近年、スーパーハイビジョン等の高精細映像の伝送需要が増加しており、移動映像伝送無線通信システムにおいても大容量かつ低遅延で安定した伝送が求められている。しかしながら、無線伝搬路はマルチパスやシャドウイング等の影響により伝搬路品質が大きく変動する。そのため、映像を常に安定して伝送するには、無線伝搬路の品質の最低値に対してマージンを持たせて運用する必要があった。特許文献１には、高アンテナ相関環境や狭帯域な干渉信号が混入する環境においても適切な変調方式及び符号化率を選択して伝送レートを改善する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１６／１８６０００号

【発明の概要】

【発明が解決しようとする課題】

【0004】

移動無線伝搬路の品質に応じて無線伝送レートと映像符号化レートを適応的に変更する映像無線伝送システムがあるが、無線伝送レートの変更頻度と映像符号化レートの変更頻度には大きな差がある。一般的に、無線伝送レートは比較的高速に無線伝搬路の品質に追従できるが、映像符号化レートの変更頻度は低く、無線伝送レートほど高速に追従することはできない。

【0005】

そのため、無線伝送レートと映像符号化レートとの不一致が発生する。この不一致を補償するには、映像の送信側と受信側のそれぞれにバッファを設ける必要がある。しかしながら、無線伝搬路の品質が急激に変動した場合には、無線伝送レートと映像符号化レートの乖離が大きくなり、各バッファ内のデータの枯渇による映像断や伝送効率低下が発生する可能性がある。また、十分なフレーム数の映像をバッファに蓄積すればデータ枯渇を防止できるが、その反面、映像伝送の遅延時間が増加してしまう問題がある。

【0006】

本発明は、上記のような従来の事情に鑑みて為されたものであり、各バッファ内のデータが枯渇することを防止しつつ、バッファ容量の増大を抑制して低遅延でデータ伝送を行うことが可能な無線通信システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明では、上記の目的を達成するために無線通信システムを以下のように構成した。
すなわち、本発明に係る無線通信システムは、入力されたデータを符号化して無線により送信する入力側装置と、入力側装置から受信したデータを復号して出力する出力側装置とを有する。
入力側装置は、入力されたデータを設定された符号化レートに従って符号化する符号化手段と、符号化手段により符号化されたデータを設定された無線伝送レートに従って無線により送信する送信手段と、符号化手段と送信手段の間に配置され、符号化手段により符号化されたデータを送信手段による送信のタイミングまで一時的に記憶する入力側バッファとを備える。
出力側装置は、入力側装置から無線により送信されたデータを受信する受信手段と、受信手段による受信結果に基づいて無線伝搬路の品質を測定する測定手段と、受信手段により受信されたデータを復号する復号手段と、復号手段により復号されたデータを入力側装置でのデータ入力に対する遅延が一定となるタイミングで出力する出力手段と、復号手段と出力手段の間に配置され、復号手段により復号されたデータを出力手段による出力のタイミングまで一時的に記憶する出力側バッファとを備える。
そして、本発明に係る無線通信システムは、測定手段により測定された無線伝搬路の品質と入力側バッファ又は出力側バッファに記憶されているデータ量とに基づいて符号化レート及び無線伝送レートを決定し、符号化手段及び送信手段の設定に反映させることを特徴とする。

【0008】

このように、本発明では、無線伝搬路の品質だけで符号化レート及び無線伝送レートを決定するのではなく、入力側装置や出力側装置のバッファの蓄積データ量を考慮して符号化レート及び無線伝送レートを決定する。これにより、各バッファ内のデータが枯渇することを防止しつつ、バッファ容量の増大を抑制して低遅延でデータ伝送を行うことが可能となる。
なお、本発明における「データ量」は、データのサイズや時間長などの量を直接又は間接的に表す数値である。例えば、映像のデータの場合には、後述する実施例のように、映像を構成するフレームの枚数を「データ量」として用いることができる。

【0009】

ここで、第１の構成例として、出力側装置が、入力側バッファに記憶されているデータ量と出力側バッファに記憶されているデータ量の合計が一定になる関係を用いて、測定手段により測定された無線伝搬路の品質と出力側バッファに記憶されているデータ量とに基づいて符号化レート及び無線伝送レートを決定し、入力側装置に送信して符号化手段及び送信手段の設定に反映させる構成としてもよい。

【0010】

また、第２の構成例として、出力側装置が、測定手段により測定された無線伝搬路の品質を入力側装置に送信し、入力側装置が、入力側バッファに記憶されているデータ量と出力側バッファに記憶されているデータ量の合計が一定になる関係を用いて、出力側装置から受信した無線伝搬路の品質と入力側バッファに記憶されているデータ量とに基づいて符号化レート及び無線伝送レートを決定し、符号化手段及び送信手段の設定に反映させる構成としてもよい。この場合、入力側装置は、決定した無線伝送レートを出力側装置に伝達するために、本線信号（伝送データ）に無線伝送レートの信号を多重化して出力側装置に送信する構成とすることが好ましい。
なお、第１又は第２の構成例における「データ量の合計が一定になる関係」とは、データ量の合計が完全に一定になる関係のほか、データ量の合計が略一定になる関係も包含され得る。

【発明の効果】

【0011】

本発明によれば、各バッファ内のデータが枯渇することを防止しつつ、バッファ容量の増大を抑制して低遅延でデータ伝送を行うことが可能な無線通信システムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１実施例に係る無線通信システムの移動局及び基地局の構成を示す図である。

【図2】本発明の第２実施例に係る無線通信システムの移動局及び基地局の構成を示す図である。

【図3】無線伝送レートのシミュレーション結果を示す図である。

【図4】映像エンコーダの出力レートのシミュレーション結果を示す図である。

【図5】移動局側及び基地局側の各バッファの挙動のシミュレーション結果を示す図である。

【発明を実施するための形態】

【0013】

本発明の一実施形態について図面を参照して説明する。 〔第１実施例〕
図１には、本発明の第１実施例に係る無線通信システムの移動局及び基地局の構成を示してある。本システムは、移動局１００と基地局２００の間で双方向に無線信号を送受できる双方向通信システムである。また、本システムは、伝搬路適応型の可変レート映像伝送無線システムであり、カメラを搭載した車両などの移動局１００にて撮影された映像を所定の拠点にある基地局２００へ伝送すると共に、基地局２００から移動局１００にレート制御情報を送信するように構成されている。本例では、ＴＤＤ（Time Division Duplex；時分割複信）方式により双方向通信を行うが、他の方式により双方向通信を実現しても構わない。

【0014】

移動局１００は、カメラ部１１０、映像エンコーダ１２０、移動局ベースバンド部１３０、高周波部１４０、アンテナ１５０を備える。映像エンコーダ１２０は、映像符号化部１２１、映像制御情報付加部１２２、ＳＴＣ部１２３、映像制御情報生成部１２４を備える。移動局ベースバンド部１３０は、バッファ１３１、無線符号化部１３２、変調部１３３、復調部１３４、無線復号部１３５を備える。

【0015】

基地局２００は、アンテナ２１０、高周波部２２０、基地局ベースバンド部２３０、映像デコーダ２４０、ディスプレイ２５０を備える。基地局ベースバンド部２３０は、復調部２３１、無線復号部２３２、伝搬路品質測定部２３３、レート制御部２３４、無線符号化部２３５、変調部２３６を備える。映像デコーダ２４０は、映像復号部２４１、バッファ２４２、ＳＴＣ再生部２４３を備える。

【0016】

以下では、移動局１００から基地局２００への映像信号の伝送について先に説明し、基地局２００から移動局１００へのレート制御情報の伝送については後述する。
移動局１００では、カメラ部１１０から無圧縮の映像信号が、映像エンコーダ１２０に入力される。映像エンコーダ１２０は、カメラ部１１０から入力された映像信号に対して映像符号化部１２１にて映像符号化処理を行って、データを圧縮する。その際、映像エンコーダ１２０は、圧縮後の映像符号化レートの平均値が移動局ベースバンド１３０から入力される映像符号化レート設定値になるよう（近づくよう）に制御を行い、圧縮後の映像信号を映像制御情報付加部１２２に出力する。但し、映像符号化レートは映像符号化部１２１に入力される映像の複雑性に大きな影響を受けるため、映像符号化レートの平均値が映像符号化レート設定値と必ずしも一致するわけではない。

【0017】

映像制御情報付加部１２２には、映像符号化部１２１による圧縮後の映像信号が入力されるほか、映像制御情報も入力される。映像制御情報は、基準時間信号となるＳＴＣ（System Time Clock）を生成するＳＴＣ部１２３からの信号を基準にして映像制御情報生成部１２４で生成され、映像制御情報付加部１２２に出力される。映像制御情報には、ＰＣＲ（Program Clock Reference）やＰＴＳ（Presentation Time Stamp）などがある。ＰＣＲは、基地局２００の映像デコーダ２４０にて基準時間信号となるＳＴＣを再生するために使用されるデータである。ＰＴＳは、映像の再生時刻を示すデータである。映像制御情報付加部１２２は、圧縮後の映像信号に映像制御情報を付加し、ＴＳ（Transport Stream）信号として移動局ベースバンド部１３０のバッファ１３１に出力して記憶させる。

【0018】

一般的に、映像符号化レートは、無線伝送レートに比べてレート変更周期が長く、遅延も大きい。また、先述の通り、映像符号化レートは入力映像の複雑性に大きな影響を受けるため、移動局ベースバンド１３０から通知される映像符号化レート設定値とは必ずしも一致しない。そのため、映像エンコーダ１２０からのＴＳ信号を蓄積するバッファ１３１を用いて、無線伝送レートと映像符号化レートの不一致を補償する必要がある。

【0019】

移動局ベースバンド部１３０では、バッファ１３１に蓄積されているＴＳ信号が、無線符号化部１３２からのデータ要求信号に従って読み出され、無線符号化部１３２へ出力される。バッファ１３１内のＴＳ信号は、無線符号化部１３２への出力に伴って削除される。つまり、バッファ１３１には、ＴＳ信号が無線符号化部１３２に出力されるタイミングまで一時的に記憶される。なお、バッファ１３１のデータが枯渇した場合には、バッファ１３１はダミーデータとしてＮＵＬＬパケットを無線符号化部１３２へ出力するため、無線伝送可能な最大容量を利用できないことになる。

【0020】

無線符号化部１３２は、入力された信号（バッファ１３１から読み出した信号）に対して無線符号化処理を行って冗長性を持たせ、符号化後の信号を変調部１３３に出力する。その後、無線符号化部１３２は、次に処理するデータの要求信号をバッファ１３１に出力する。なお、無線符号化部１３２には、無線符号化処理の際に使用する無線符号化率が、移動局１００から通知される無線符号化率情報に基づいて設定される。無線符号化率情報の詳細については後述する。

【0021】

変調部１３３は、無線符号化部１３２から入力された信号に対して変調処理を行い、変調後の信号を高周波部１４０に出力する。高周波部１４０は、変調部１３３から入力された信号をＲＦ周波数に変換して増幅し、アンテナ１５０に出力する。アンテナ１５０は、高周波部１４０から入力された信号を空間に送信する。

【0022】

移動局１００のアンテナ１５０から送信された信号は、基地局２００のアンテナ２１０にて受信され、高周波部２２０に出力される。高周波部２２０は、アンテナ２１０で受信された信号を増幅して周波数変換し、基地局ベースバンド部２３０の復調部２３１と伝搬路品質測定部２３３に出力する。

【0023】

復調部２３１は、高周波部２２０から入力された信号に対して復調処理を行い、復調後の信号を無線復号部２３２と伝搬路品質測定部２３３に出力する。伝搬路品質測定部２３３は、基地局２００から移動局１００に送信するレート制御情報の生成に関する処理（後述する）を行う。

【0024】

無線復号部２３２には、後述のレート制御部２３４から、移動局１００の無線符号化部１３２で用いた無線符号化率情報と同じ情報が入力される。無線復号部２３２は、レート制御部２３４から入力された無線符号化率情報を用いて、復調部２３１から入力された信号に対して無線復号処理を行い、復号されたＴＳ信号を映像デコーダ２４０の映像復号部２４１とＳＴＣ再生部２４３に出力する。

【0025】

映像復号部２４１は、無線復号部２３２から入力されたＴＳ信号に対して映像復号処理を行い、復号後の映像信号をバッファ２４２に出力して記憶させる。ＳＴＣ再生部２４３は、無線復号部２３２から入力されたＴＳ信号内のＰＣＲに基づいてＳＴＣを再生し、基準時間を表す基準時間信号をバッファ２４２に出力する。

【0026】

バッファ２４２は、移動局１００でのカメラ撮影（映像データの入力）に対する基地局２００での再生出力の遅延時間が常に一定になるように、ＳＴＣ再生部２４３から入力される基準時間信号とＰＴＳが一致したデータを、ディスプレイ２５０に出力して表示させる。バッファ２４２内のＴＳ信号は、ディスプレイ２５０への出力に伴って削除される。つまり、バッファ２４２には、ＴＳ信号がディスプレイ２５０に出力されるタイミングまで一時的に記憶される。
以上が、移動局１００から基地局２００への映像信号の伝送についての説明である。

【0027】

次に、基地局２００から移動局１００へのレート制御情報の伝送について説明する。
レート制御情報は、移動局１００から基地局２００へ映像信号を伝送する際の無線伝送レートＲＲを決定する無線符号化率情報と、映像符号化の際の映像符号化レート設定値ＶＲとを含んでおり、基地局ベースバンド部２３０のレート制御部２３４にて決定される。

【0028】

レート制御部２３４には、映像デコーダ２４０のバッファ２４２に蓄積されている映像信号のフレーム数Ｆ_BSと、伝搬路品質測定部２３３にて測定された無線伝搬路の品質を示す情報とが入力される。伝搬路品質測定部２３３は、受信信号のＳＮＲ（Signal to Noise Ratio）やＣＮＲ（Carrier to Noise Ratio）、ＭＥＲ（Modulation Error Ratio）、ＭＩＭＯ（Multiple Input Multiple Output）伝送時の指標である固有値等を算出して無線伝搬路の品質を測定し、無線伝搬路の品質情報をレート制御部２３４に出力する。レート制御部２３４は、入力された情報に基づいて、無線伝送レートＲＲと映像符号化レート設定値ＶＲを決定し、無線伝送レートＲＲを実現できる無線符号化率情報と映像符号化レート設定値ＶＲとを含むレート制御情報を、無線符号化部２３５に出力する。各レートの具体的な決定方法については後述する。

【0029】

無線符号化部２３５は、レート制御部２３４から入力されたレート制御情報を誤りなく移動局１００に通知するために、無線符号化処理を行って冗長性を持たせ、符号化後の信号を変調部２３６に出力する。変調部２３６は、無線符号化部２３５から入力された信号に対して変調処理を行い、変調後の信号を高周波部２２０に出力する。高周波部２２０は、変調部２３６から入力された信号をＲＦ周波数に変換して増幅し、アンテナ２１０に出力する。アンテナ２１０は、高周波部２２０から入力された信号を空間に送信する。

【0030】

基地局２００のアンテナ２１０から送信された信号は、移動局１００のアンテナ１５０にて受信され、高周波部１４０に出力される。高周波部１４０は、アンテナ１５０で受信された信号を増幅して周波数変換し、移動局ベースバンド部１３０の復調部１３４に出力する。

【0031】

復調部１３４は、高周波部１４０から入力された信号に対して復調処理を行い、復調後の信号を無線復号部１３５に出力する。無線復号部１３５は、復調部１３４から入力された信号に対して無線復号処理を行って、無線符号化率情報と映像符号化レート設定値ＶＲを含むレート制御情報を復号する。無線復号部１３５は、無線符号化率情報については無線符号化部１３２に出力し、映像レート設定値ＶＲについては映像エンコーダ１２０の映像符号化部１２１に出力する。

【0032】

先にも説明したが、無線符号化部１３２では、無線符号化率情報に基づいて設定される無線符号化率を使用して本線信号の無線符号化処理を行い、映像符号化部１２１では、映像符号化レートの平均値が映像符号化レート設定値ＶＲになるように映像符号化処理を行う。
以上の処理により、移動局１００と基地局２００の間の無線伝搬路の品質と、基地局２００のバッファ２４２に蓄積されている映像信号のフレーム数とを考慮した無線伝送レートＲＲと映像符号化レート設定値ＶＲを適用して、映像信号の伝送を行うことができる。

【0033】

次に、基地局２００のレート制御部２３４で無線伝送レートＲＲと映像符号化レート設定値ＶＲを決定する方法について説明する。
無線伝送レートＲＲは、下記（式１）により算出することができる。

【数1】

Ｒ_raw はエラーフリーで伝送可能な最大レート（想定値）であり、無線伝搬路の品質に基づいて算出される。Ｍはマージン、Ｇ_BSはＦ_{BS_UD} に乗じるゲイン、Ｇ_MSはＦ_{MS_UD} に乗じるゲインであり、これらは予め設定される。

【0034】

また、Ｆ_{BS_UD} は、下記（式２－１）又は（式２－２）で算出される値である。

【数2】

ＴＨＲ_BSは映像デコーダ２４０のバッファ２４２のデータ枯渇を防ぐための残フレーム数の閾値であり、予め設定される。Ｆ_BSは映像デコーダ２４０のバッファ２４２の蓄積フレーム数である。

【0035】

また、Ｆ_{MS_UD} は、下記（式３－１）又は（式３－２）で算出される値である。

【数3】

ＴＨＲ_MSは移動局ベースバンド部１３０のバッファ１３１のデータ枯渇を防ぐための残フレーム数の閾値であり、予め設定される。Ｆ_MSは移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数である。

【0036】

以上の数式に示したように、レート制御部２３４は、無線伝搬路の品質に基づいて算出した最大レートに所定のマージンを持たせた値を、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MS及び映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSに基づいて補正して、無線伝送レートＲＲを算出する。具体的には、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSが閾値ＴＨＲ_BSを下回った場合には、バッファ２４２のデータ枯渇を防ぐために無線伝送レートＲＲを上げる方向に補正する。また、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSが閾値ＴＨＲ_MSを下回った場合には、バッファ１３１のデータ枯渇を防ぐために無線伝送レートＲＲを上げる方向に補正する。

【0037】

ただし、第１実施例（図１）の構成では、レート制御部２３４が移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSを直接観測することはできない。そこで、レート制御部２３４は、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSを、以下に説明する関係を用いて算出する。

【0038】

基地局２００では、バッファ２４２に蓄積されている映像信号を、映像デコーダ２４０のＳＴＣ再生部２４３で再生されたＳＴＣ信号に従ってディスプレイ２５０に表示出力している。このため、移動局１００での撮像から基地局２００での表示までの遅延フレーム数Ｆ_ALL は常に一定となる。したがって、下記（式４）の関係式が成り立つ。

【数4】

【0039】

撮像から表示までの遅延フレーム数Ｆ_ALL はシステム運用時に予め設定されるため、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSは、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSが得られれば、下記（式５）により算出することができる。

【数5】

【0040】

従って、（式３－１）、（式３－２）は、下記（式６－１）、（式６－２）のように表すことができる。

【数6】

【0041】

また、映像レート設定値ＶＲは、下記（式７）により算出することができる。

【数7】

Ｓは映像デコーダ２４０のバッファ２４２の蓄積フレーム数の制御目標値であり、Ｇ_VRは（Ｆ_BS－Ｓ）に乗じるゲインであり、これらは予め設定される。

【0042】

すなわち、レート制御部２３４は、無線伝搬路の品質に基づいて算出した最大レートに所定のマージンを持たせた値を、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSに基づいて補正して、映像レート設定値ＶＲを算出する。具体的には、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSが制御目標値Ｓに近づく方向に映像レート設定値ＶＲを補正する。

【0043】

以上のように、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MS及び映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSに基づいて無線伝送レートＲＲを調整することで、以下の２つの効果が得られる。
第１の効果として、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSが減少してデータ枯渇による映像途切れの可能性が高まってきた場合は、無線伝送のマージンを削って無線伝送レートＲＲを増加させることで、データ枯渇を防止することができる。
第２の効果として、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSが減少してデータ枯渇しそうな場合は、無線伝送レートＲＲを減少させることで、ダミーデータとしてのＮＵＬＬパケットが送出されないようにして伝送効率の低下を防止することができる。

【0044】

第１の効果は、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSを直接監視して制御を行うことで実現し、第２の効果は、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSを映像遅延が一定の関係性に基づいて映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSから算出して制御を行うことで実現している。

【0045】

また、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSに基づいて映像レート設定値ＶＲも調整することで、無線伝送レートＲＲの変更に対する映像レートの変更の遅延に起因してバッファＦ_BSのデータが枯渇して映像途切れが発生することを抑制することができる。

【0046】

〔第２実施例〕
図２には、本発明の第２実施例に係る無線通信システムの移動局及び基地局の構成を示してある。第１実施例は、基地局ベースバンド部２３０が映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSを観測するためのインタフェースを設ける必要があったが、第２実施例は、そのようなインタフェースが不要な構成にしてある。なお、第２実施例の処理構成は第１実施例と似ているので、主に差分のみを説明する。

【0047】

第２実施例では、移動局ベースバンド部１３０は、バッファ１３１、無線符号化部１３２Ａ，１３２Ｂ、変調部１３３Ａ，１３３Ｂ、多重部１３６、復調部１３４、無線復号部１３５、レート制御部１３７を備える。また、基地局ベースバンド部２３０は、分離部２３７、復調部２３１Ａ，２３１Ｂ、無線復号部２３２Ａ，２３２Ｂ、伝搬路品質測定部２３３、無線符号化部２３５、変調部２３６を備える。

【0048】

第１実施例と第２実施例の主な差分は、以下の３点である。
一点目は、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSを基地局ベースバンド部２３０に通知する手段がない点である。
二点目は、基地局ベースバンド部２３０ではレート制御を行わず（レート制御部２３４を備えず）、無線伝搬路の品質情報を移動局１００に通知し、移動局ベースバンド部１３０に設けたレート制御部１３７で、基地局ベースバンド部２３０から通知された無線伝搬路の品質情報と移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSを用いてレート制御を行う点である。
三点目は、移動局ベースバンド部１３０のレート制御部１３７で算出された無線伝送レートＲＲに対応する無線符号化率を基地局ベースバンド部２３０と共有するための手段を追加した点である。

【0049】

まず、移動局１００への無線伝搬路の品質情報の通知について説明する。伝搬路品質測定部２３３で算出された無線伝搬路の品質情報は、第１実施例とは異なって無線符号化部２３５に入力され、移動局ベースバンド部１３０の無線復号部１３５へ伝送される。無線符号化部２３５から無線復号部１３５までの伝送処理の流れは第１実施例と同様のため、説明を省略する。無線復号部１３５で復号された無線伝搬路の品質情報は、レート制御部１３７に入力される。

【0050】

レート制御部１３７には、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSも入力される。レート制御部１３７は、無線伝搬路の品質情報と蓄積フレーム数Ｆ_MSに基づき、無線伝送レートＲＲと映像符号化レート設定値ＶＲを第１実施例と同様に（式１）及び（式７）に従って算出する。

【0051】

ここで、Ｆ_{BS_UD} 、Ｆ_{MS_UD} の計算方法は、第１実施例の（式２－１）又は（式２－２）、（式３－１）又は（式３－２）と同様である。但し、第２実施例では、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSを直接観測することができ、逆に映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSを直接観測できない。

【0052】

第１実施例で説明したように、移動局１００での撮像から基地局２００での表示までの遅延フレーム数Ｆ_ALL は常に一定となるため、（式４）の関係式が成り立つ。このことから、映像デコーダ２４０のバッファ２４２の蓄積フレーム数Ｆ_BSは、移動局ベースバンド部１３０のバッファ１３１の蓄積フレーム数Ｆ_MSが得られれば算出できることが分かる。

【0053】

従って、（式２－１）、（式２－２）は、下記（式８－１）、（式８－２）のように表すことができる。

【数8】

【0054】

また、（式７）は、下記（式９）のように表すことができる。

【数9】

【0055】

レート制御部１３７には、上記の計算式で無線伝送レートＲＲと映像符号化レートＶＲを算出すると、映像符号化レートＶＲを映像エンコーダ１２１の映像符号化部１２１に出力し、無線伝送レートＲＲを実現できる無線符号化率情報を無線符号化部１３２Ａ，１３２Ｂに出力する。無線符号化部１３２Ａ及び変調部１３３Ａの処理内容は、第１実施例の無線符号化部１３２及び変調部１３３と同様であるため、説明は省略する。

【0056】

無線符号化部１３２Ｂ、変調部１３３Ｂ、多重部１３６は、基地局ベースバンド部２３０に無線符号化率情報を通知するために追加された機能部である。無線符号化部１３２Ｂは、レート制御部１３７から入力された無線符号化率情報に対して無線符号化処理を行い、符号化後の信号を変調部１３３Ｂに出力する。変調部１３３Ｂは、無線符号化部１３２Ｂから入力された信号に対して変調処理を行い、変調後の信号を多重部１３６に出力する。多重部１３６は、映像信号を変調した変調部１３３Ａからの信号も入力され、それらの信号を多重化して高周波部１４０に出力する。

【0057】

高周波部１４０に入力された信号は、第１実施例と同様の手順を経て基地局２００に伝送され、基地局ベースバンド部２３０の分離部２３７に出力される。分離部２３７は、入力された信号（受信信号）から映像信号と無線符号化率情報の信号を分離し、映像信号は復調部２３１Ａに出力し、無線符号化率情報の信号は復調部２３１Ｂに出力する。

【0058】

復調部２３１Ａの処理内容は、第１実施例の復調部２３１と同様であるため、説明は省略する。復調部２３１Ｂは、分離部２３７から入力された信号に対して復調処理を行い、復調後の信号を無線復号部２３２Ｂに出力する。無線復号部２３２Ｂは、復調部２３１Ｂから入力された信号に対して無線復号処理を行い、復号された無線符号化率情報を無線復号部Ａに出力する。無線復号部Ａは、無線復号部２３２Ｂ入力された無線符号化率情報を用いて、復調部２３１Ａから入力された信号に対して無線復号処理を行う。

【0059】

以上の処理により、第２実施例では、移動局１００側にてレート制御を行い、無線伝送レートＲＲを実現する無線符号化率情報を基地局２００に通知することができる。これにより、第２実施例においても、第１実施例と同様な機能を実現することができる。

【0060】

第１実施例では、基地局２００で算出された無線伝送レートＲＲ及び映像レート設定値ＶＲを含むレート制御情報を移動局１００に通知するだけでよい。しかしながら、基地局２００に設けるバッファ２４２は、その役割上、映像デコーダ２４０に配置する必要があるため、基地局ベースバンド部２３０と映像デコーダ２４０の間に、バッファ２４２の蓄積フレーム数Ｆ_BSを基地局ベースバンド部２３０にリアルタイムに通知するためのインタフェースが必要となる。

【0061】

一方、第２実施例では、上記のインタフェースは不要であるが、無線伝搬路の品質情報を基地局２００から移動局１００に通知することに加え、移動局１００で算出された無線伝送レートＲＲに基づく無線符号化率情報を移動局１００から基地局２００に通知する手段が必要となる。
上述した２つの実施例では、無線伝送の誤り耐性を可変にするために誤り訂正の符号化率を可変にしたが、変調多値数を可変にする等、他の方法により無線伝送の誤り耐性を可変にすることができる。

【0062】

次に、これまで説明したレート制御によるシミュレーション結果について、図３～図５を参照して説明する。ここでは、無線伝搬路の品質が低い状態から急激に高くなり、再び急激に低下した場合についてシミュレーションを行った。図３は無線伝送レートを示し、図４は映像エンコーダの出力レート（映像符号化レート）を示し、図５は移動局側及び基地局側の各バッファの挙動を示している。なお、映像エンコーダの出力レートは、無線伝搬路の品質に対して制御遅延を加味している。各図において、上段（Ａ）は無線伝搬路の品質のみでレート制御した場合（つまり、従来方式の場合）であり、下段（Ｂ）は無線伝搬路の品質とデコーダの蓄積フレーム数でレート制御した場合（つまり、本発明の提案方式の場合）である。

【0063】

まず、無線伝搬路の品質のみでレート制御した場合のシミュレーション結果について説明する。
無線伝搬路の品質が低い状態から急激に高くなった場合（ａ１）には、無線伝送レートは無線伝搬路の品質の変化に高速に追従して増加する（ａ２）が、映像エンコーダの出力レートは遅延して変動するのでしばらく増加しない（ａ３）。この遅延の際に、基地局側のバッファ内の蓄積フレーム数が予め設定したシステム全体の遅延フレーム数（本例では６０フレーム）に達し（ａ４）、移動局側のバッファ内の蓄積フレーム数は０となり（ａ５）、ＮＵＬＬパケットが送出されてしまう。

【0064】

そして、映像エンコーダの出力レートが無線伝搬路の品質に応じて増加すると（ａ６）、基地局側のバッファ内の蓄積フレーム数は徐々に制御目標値のレベルに戻り（ａ７）、移動局側のバッファ内の蓄積フレーム数も徐々に制御目標値のレベルに戻る（ａ８）。
その後、無線伝搬路の品質が急激に低下した場合には、無線伝送レートの急激な減少（ａ９）に対して映像エンコーダの出力レートの減少が遅延する（ａ１０）。その際に、単位時間あたりに送信できるフレーム数が一時的に減少し、移動局側のバッファ内の蓄積フレームが枯渇してしまい（ａ１１）、映像が途絶えてしまう。

【0065】

次に、無線伝搬路の品質とデコーダの蓄積フレーム数でレート制御した場合のシミュレーション結果について説明する。
無線伝搬路の品質が低い状態から急激に高くなり（ｂ１）、移動局側のバッファ内の蓄積フレームが減少して枯渇しそうな場合（ｂ２）は、無線伝送レートを減少させて（ｂ３）、ＮＵＬＬパケットが送出されないように制御する。逆に、無線伝搬路の品質が急激に低下した場合（ｂ４）は、基地局側のバッファ内の蓄積フレーム数が減少するが（ｂ５）、移動局側のバッファ内の蓄積フレームが減少して枯渇する前に無線伝送マージンを削り、無線符号化率を上げて無線伝送レートを高めることで（ｂ６）基地局側のバッファ内の蓄積フレームの枯渇を防止できていることが分かる。

【0066】

以上説明したように、各実施例に係る無線通信システムは、カメラ１００から入力された映像データを符号化して無線により送信する移動局１００と、移動局１００から受信したデータを復号してディスプレイ２５０に出力する基地局２００とを有する。移動局１００は本発明に係る入力側装置の一例であり、基地局２００は本発明に係る出力側装置の一例である。

【0067】

移動局１００は、入力された映像データを設定された映像符号化レートに従って符号化する映像符号化部１２１と、映像符号化部１２１により符号化された映像データを設定された無線伝送レートに従って無線により送信する送信ブロック（無線符号化部１３２、変調部１３３、高周波部１４０及びアンテナ１５０）と、映像符号化部１２１と送信ブロックの間に配置され、映像符号化部１２１により符号化された映像データを送信ブロックによる送信のタイミングまで一時的に記憶するバッファ１３１とを備える。

【0068】

基地局２００は、移動局１００から無線により送信された映像データを受信する受信ブロック（アンテナ２１０、高周波部２２０、復調部２３１及び無線復号部２３２）と、受信ブロックによる受信結果に基づいて無線伝搬路の品質を測定する伝搬路品質測定部２３３と、受信ブロックにより受信された映像データを復号する映像復号部２４１と、映像復号部２４１により復号された映像データを移動局１００での映像データの入力に対する遅延が一定となるタイミングで表示出力するディスプレイ２５０と、映像復号部２４１とディスプレイ２５０の間に配置され、映像復号部２４１により復号された映像データをディスプレイ２５０による表示出力のタイミングまで一時的に記憶するバッファ２４２とを備える。

【0069】

そして、第１実施例では、基地局２００が、移動局１００のバッファ１３１に記憶されているデータ量と基地局２００のバッファ２４１に記憶されているデータ量の合計が一定になる関係を用いて、伝搬路品質測定部２３３により測定された無線伝搬路の品質と自身のバッファ２４１に記憶されているデータ量とに基づいて映像符号化レート及び無線伝送レートを決定し、移動局１００に送信して映像符号化部１２１及び無線符号化部１３２の設定に反映させる構成となっている。

【0070】

また、第２実施例では、基地局２００が、伝搬路品質測定部２３３により測定された無線伝搬路の品質を移動局１００に送信し、移動局１００が、移動局１００のバッファ１３１に記憶されているデータ量と基地局２００のバッファ２４１に記憶されているデータ量の合計が一定になる関係を用いて、基地局２００から受信した無線伝搬路の品質と自身のバッファ１３１に記憶されているデータ量とに基づいて映像符号化レート及び無線伝送レートを決定し、映像符号化部１２１及び無線符号化部１３２の設定に反映させる構成となっている。

【0071】

このように、第１実施例及び第２実施例のいずれにおいても、無線伝搬路の品質に基づいて算出された映像符号化レート及び無線伝送レートを、移動局１００のバッファ１３１や基地局２００のバッファ２４１の蓄積データ量を考慮して調整する。具体的には、例えば、基地局２００のバッファ２４１の蓄積データ量が０に近づくような場合には、無線伝搬路の品質に基づいて算出した無線伝送レートに対して、レートを高める方向の調整を施す。逆に、移動局１００のバッファ１３１の蓄積データ量が０に近づくような場合には、無線伝搬路の品質に基づいて算出した無線伝送レートに対して、レートを低める方向の調整を施す。ただし、明らかに無線伝送によるエラーが発生してしまうような無線伝送レートが設定されないように調整する。

【0072】

このような制御を行うことで、移動局１００のバッファ１３１や基地局２００のバッファ２４１のデータが枯渇することを防止しつつ、バッファ容量の増大を抑制して低遅延でデータ伝送を行うことができる。これにより、各バッファのデータ枯渇による映像途切れや、ＮＵＬＬパケット送信による伝送効率の低下を防止することが可能となる。また、各バッファに蓄積するデータ量（フレーム数）を最小限に設定することができ、低遅延の映像伝送を実現することが可能となる。

【0073】

以上、本発明について実施例に基づいて詳細に説明したが、本発明は、ここに記載された無線通信システムに限定されるものではなく、上記以外の無線通信システムにも広く適用できることは言うまでもない。
例えば、上記の各実施例では、移動局が映像データの入力部となるカメラを一体的に備え、基地局が映像データの出力部となるディスプレイを一体的に備えているが、これら入力部や出力部は移動局や基地局とは別体の装置に設けられてもよい。
また、上記の各実施例では、移動局から基地局へ映像データを伝送する上り方向のデータ伝送を行っているが、基地局から移動局へ映像データを伝送する下り方向のデータ伝送にも、本発明を適用することができる。

【0074】

また、映像データに代えて／又は映像データと共に音声データを伝送する無線通信システムに、本発明を適用してもよい。すなわち、例えば、音声を集音するマイクロホンを有する移動局が、マイクロホンから入力された音声データを符号化して無線により基地局に送信し、基地局が、移動局での音声データの入力に対する遅延が一定となるタイミングで音声データを再生して出力する無線通信システムにおいて、無線伝搬路の品質に基づいて算出された音声符号化レート及び無線伝送レートを、移動局のバッファや基地局のバッファの蓄積データ量を考慮して調整する構成としてもよい。また、映像データや音声データ以外のデータを符号化して伝送する無線通信システムに、本発明を適用してもよい。

【0075】

また、本発明は、上記のような無線通信システムを構成する送信局（入力側装置）や受信局（出力側装置）として把握することもできる。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

【0076】

この出願は、２０１８年９月２０日に出願された日本出願特願２０１８－１７５５４７を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。

【産業上の利用可能性】

【0077】

本発明は、入力されたデータを符号化して無線により送信する入力側装置と、入力側装置から受信したデータを復号して出力する出力側装置とを有する無線通信システムに利用することができる。

【符号の説明】

【0078】

１００：移動局、 １１０：カメラ、 １２０：映像エンコーダ、 １２１：映像符号化部、 １２２：映像制御情報付加部、 １２３：ＳＴＣ部、 １２４：映像制御情報生成部、 １３０：移動局ベースバンド部、 １３１：バッファ、 １３２，１３２Ａ，１３２Ｂ：無線符号化部、 １３３，１３３Ａ，１３３Ｂ：変調部、 １３４：復調部、 １３５：無線復号部、 １３６：多重部、 １３７：レート制御部、 １４０：高周波部、 １５０：アンテナ ２００：基地局、 ２１０：アンテナ、 ２２０：高周波部、 ２３０：基地局ベースバンド部、 ２３１，２３１Ａ，２３１Ｂ：復調部、 ２３２，２３２Ａ，２３２Ｂ：無線復号部、 ２３３：伝搬路品質測定部、 ２３４：レート制御部、 ２３５：無線符号化部、 ２３６：変調部、 ２３７：分離部、 ２４０：映像デコーダ、 ２４１：映像復号部、 ２４２：バッファ、 ２４３：ＳＴＣ再生部、 ２５０：ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】