(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-25
(45)【発行日】2024-07-03
(54)【発明の名称】画像伝送制御装置、方法およびプログラム
(51)【国際特許分類】
H04N 21/24 20110101AFI20240626BHJP
H04N 21/238 20110101ALI20240626BHJP
H04N 21/6373 20110101ALI20240626BHJP
H04N 21/643 20110101ALI20240626BHJP
【FI】
H04N21/24
H04N21/238
H04N21/6373
H04N21/643
(21)【出願番号】P 2023549294
(86)(22)【出願日】2021-09-27
(86)【国際出願番号】 JP2021035376
(87)【国際公開番号】W WO2023047578
(87)【国際公開日】2023-03-30
【審査請求日】2023-11-27
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】久保 徳郎
(72)【発明者】
【氏名】和田 章宏
(72)【発明者】
【氏名】菊月 達也
(72)【発明者】
【氏名】椎▲崎▼ 耕太郎
(72)【発明者】
【氏名】横尾 郁
(72)【発明者】
【氏名】二宮 照尚
【審査官】大西 宏
(56)【参考文献】
【文献】特開2011-009904(JP,A)
【文献】特開2017-069849(JP,A)
【文献】特開2017-092844(JP,A)
【文献】特開2017-123540(JP,A)
【文献】特開2018-121192(JP,A)
【文献】米国特許出願公開第2016/0234078(US,A1)
【文献】国際公開第2013/187033(WO,A1)
【文献】国際公開第2014/017140(WO,A1)
【文献】国際公開第2015/019546(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
(57)【特許請求の範囲】
【請求項1】
無線伝送路から信号を受信したときの受信信号強度と、前記無線伝送路におけるデータ伝送の可用帯域との対応関係を示す関係情報を記憶する記憶部と、制御部とを有し、
前記制御部は、
画像データを送信する画像送信装置との間で、前記無線伝送路を含む通信経路を介して通信しているときの前記受信信号強度の測定値を取得し、
前記測定値と前記関係情報とに基づいて前記無線伝送路での第1の可用帯域を推定し、
前記第1の可用帯域に基づいて、前記画像送信装置における画像データの伝送レートを調整するための制御情報を生成して前記画像送信装置に送信し、
前記制御情報が反映された画像データを前記画像送信装置から受信すると、受信した画像データに基づいて前記無線伝送路での第2の可用帯域を測定し、
前記第1の可用帯域と前記第2の可用帯域との比較結果に基づいて前記関係情報における前記対応関係を最適化する、
画像伝送制御装置。
【請求項2】
前記対応関係の最適化では、
前記第1の可用帯域が前記第2の可用帯域より大きい場合には、前記関係情報において前記測定値に対応付けられた可用帯域の値を減少させ、
前記第1の可用帯域が前記第2の可用帯域より小さい場合、および、前記第1の可用帯域が前記第2の可用帯域と等しい場合には、前記関係情報において前記測定値に対応付けられた可用帯域の値を増加させる、
請求項1記載の画像伝送制御装置。
【請求項3】
前記第1の可用帯域は、前記関係情報において前記測定値に対応付けられた可用帯域である、
請求項1または2記載の画像伝送制御装置。
【請求項4】
前記第1の可用帯域の推定では、
前記測定値と、前記測定値の取得前に測定された前記受信信号強度についての1以上の他の測定値とに基づいて、前記測定値の取得時刻から所定時間後における前記受信信号強度の第1の予測値を算出し、
前記関係情報において前記第1の予測値に対応付けられた可用帯域を前記第1の可用帯域として出力する、
請求項1または2記載の画像伝送制御装置。
【請求項5】
前記第2の可用帯域は、前記第1の可用帯域の推定から所定の遅延時間が経過した後に前記画像送信装置から受信した画像データに基づいて測定され、
前記所定時間の長さは、前記遅延時間以上である、
請求項4記載の画像伝送制御装置。
【請求項6】
前記受信信号強度は、一定時間間隔の測定タイミングごとに測定され、
前記第1の予測値は、直近の第1の測定タイミングで測定された前記測定値と、前記第1の測定タイミングより前の第2の測定タイミングで測定された前記受信信号強度の第1の他の測定値と、前記第1の測定タイミングより後の第3の測定タイミングで測定される前記受信信号強度の第2の予測値とに基づいて算出され、
前記第2の予測値は、第4の測定タイミングで測定される前記受信信号強度と、前記第4の測定タイミングより前の第5の測定タイミングで測定される前記受信信号強度との組み合わせと、前記第4の測定タイミングより後の第6の測定タイミングで測定される前記受信信号強度との対応関係を示す他の関係情報に基づいて算出される、
請求項4または5記載の画像伝送制御装置。
【請求項7】
前記制御部は、さらに、
前記測定値と、前記第1の他の測定値と、前記第2の測定タイミングより前の第3の測定タイミングで測定された前記受信信号強度の第2の他の測定値とに基づいて、前記他の関係情報を最適化する、
請求項6記載の画像伝送制御装置。
【請求項8】
コンピュータが、
画像データを送信する画像送信装置との間で、無線伝送路を含む通信経路を介して通信している状態において、前記無線伝送路からの受信信号強度の測定値を取得し、
前記受信信号強度と、前記無線伝送路におけるデータ伝送の可用帯域との対応関係を示す関係情報を参照して、前記測定値と前記関係情報とに基づいて前記無線伝送路での第1の可用帯域を推定し、
前記第1の可用帯域に基づいて、前記画像送信装置における画像データの伝送レートを調整するための制御情報を生成して前記画像送信装置に送信し、
前記制御情報が反映された画像データを前記画像送信装置から受信すると、受信した画像データに基づいて前記無線伝送路での第2の可用帯域を測定し、
前記第1の可用帯域と前記第2の可用帯域との比較結果に基づいて前記関係情報における前記対応関係を最適化する、
画像伝送制御方法。
【請求項9】
コンピュータに、
画像データを送信する画像送信装置との間で、無線伝送路を含む通信経路を介して通信している状態において、前記無線伝送路からの受信信号強度の測定値を取得し、
前記受信信号強度と、前記無線伝送路におけるデータ伝送の可用帯域との対応関係を示す関係情報を参照して、前記測定値と前記関係情報とに基づいて前記無線伝送路での第1の可用帯域を推定し、
前記第1の可用帯域に基づいて、前記画像送信装置における画像データの伝送レートを調整するための制御情報を生成して前記画像送信装置に送信し、
前記制御情報が反映された画像データを前記画像送信装置から受信すると、受信した画像データに基づいて前記無線伝送路での第2の可用帯域を測定し、
前記第1の可用帯域と前記第2の可用帯域との比較結果に基づいて前記関係情報における前記対応関係を最適化する、
処理を実行させる画像伝送制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像伝送制御装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年、無線通信の高速化が進んでいる。例えば、無線LAN(Local Area Network)としては、最大通信速度が9.6GbpsであるWi-Fi 6の普及が進んでいる。また、移動体通信システムとしては、最大通信速度が2Gbps以上である5G(5G:5th Generation)のサービスが開始されている。
【0003】
そして、このような高速な無線通信を活用したソリューションの例として、高精細なカメラ画像をリアルタイムで利用した映像ソリューションが考えられている。例えば、工場の作業現場を撮影した画像を無線送信することで作業状況を遠隔監視するソリューションや、重機に搭載されたカメラによる画像を遠隔地で視認しながら重機を遠隔操作するソリューションなどが考えられている。
【0004】
また、画像の伝送制御に関しては、例えば次のような映像配信システムが提案されている。この映像配信システムにおいて、映像制御装置は、ネットワークの所定時間後の可用帯域を推定し、推定された可用帯域に基づいて必要となる目標バッファデータ量を決定し、決定された目標バッファデータ量と再生バッファに蓄積されたデータ量とを用いて映像データのエンコードパラメータを決定し、サーバ装置に送信する。
【0005】
また、次のような画像符号化伝送レートの制御方式も提案されている。この制御方式において、符号化装置は、フレーム符号化情報量を適応フィルタの入力として与え、適応フィルタの入出力の誤差が最小となるように、適応フィルタのタップ係数をフレーム周期ごとに更新し、適応フィルタの出力に応じて符号化パラメータを決定する。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2017-69849号公報
【文献】特開平4-357787号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、上記のWi-Fi 6や5Gのような高速な無線伝送システムでは、高い無線周波数が利用されることから、無線通信品質が障害物の影響を受けやすい。このため、このような無線伝送システムを用いて画像を伝送する場合、無線環境の変化によって画像の伝送品質が変化しやすい。例えば、無線環境が悪化し、伝送可能な帯域(可用帯域)が低下すると、画像データが消失し、受信側で画像を正しく再生できなくなる場合がある。
【0008】
そこで、可用帯域を推定し、推定された可用帯域に応じて、送信側における画像伝送レートを制御する方法が考えられる。しかし、この方法では、可用帯域をどのように推定するかという点に課題がある。
【0009】
例えば、受信した画像データのデータ量に基づいて可用帯域を推定する方法が考えられる。しかし、画像データのデータ量はフレームごとに変更するので、可用帯域を正確に推定するためには一定時間に受信した画像データを用いる必要がある。このため、可用帯域が実際に変化してから、可用帯域の推定値によってその変化が検出されるまでに遅延が発生する。その結果、伝送レート制御のリアルタイム性が低いという問題がある。
【0010】
1つの側面では、本発明は、画像伝送レート制御のリアルタイム性を高めた画像伝送制御装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
1つの案では、次のような記憶部と制御部を有する画像伝送制御装置が提供される。この画像伝送制御装置において、記憶部は、無線伝送路から信号を受信したときの受信信号強度と、無線伝送路におけるデータ伝送の可用帯域との対応関係を示す関係情報を記憶する。制御部は、画像データを送信する画像送信装置との間で、無線伝送路を含む通信経路を介して通信しているときの受信信号強度の測定値を取得し、測定値と関係情報とに基づいて無線伝送路での第1の可用帯域を推定し、第1の可用帯域に基づいて、画像送信装置における画像データの伝送レートを調整するための制御情報を生成して画像送信装置に送信し、制御情報が反映された画像データを画像送信装置から受信すると、受信した画像データに基づいて無線伝送路での第2の可用帯域を測定し、第1の可用帯域と第2の可用帯域との比較結果に基づいて関係情報における対応関係を最適化する。
【0012】
また、1つの案では、上記の画像伝送制御装置と同様の処理をコンピュータが実行する画像伝送制御方法が提供される。
さらに、1つの案では、上記の画像伝送制御装置と同様の処理をコンピュータに実行させる画像伝送制御プログラムが提供される。
【発明の効果】
【0013】
1つの側面では、画像伝送レート制御のリアルタイム性を高めることができる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
【図面の簡単な説明】
【0014】
【
図1】第1の実施の形態に係る画像伝送システムの構成例および処理例を示す図である。
【
図2】第2の実施の形態に係る画像伝送システムの構成例を示す図である。
【
図3】サーバのハードウェア構成例を示す図である。
【
図4】画像伝送システムの各装置が備える処理機能の構成例を示す図である。
【
図6】画像品質制御部の内部構成例を示す図である。
【
図7】画像伝送レートの制御処理の流れを示すシーケンス図の例である。
【
図8】RSSI値の取得や可用帯域の測定のタイミングを示すタイムチャートの例である。
【
図9】適応制御部の処理手順を示すフローチャートの例である。
【
図11】遅延時間の自動測定機能の構成例を示す図である。
【
図12】前処理時における遅延時間の自動測定処理例を示すタイムチャートである。
【
図13】第3の実施の形態のサーバに含まれる画像品質制御部の内部構成例を示す図である。
【
図14】RSSI値の予測対象とする測定時刻について説明するための図である。
【
図15】RSSI値が予測される目標時刻の設定例を説明するためのタイムチャートの例である。
【
図16】RSSI予測部の内部構成例を示す図である。
【
図17】RSSI予測処理部の内部構成例を示す図である。
【
図18】予測テーブル生成部の適応制御部の内部構成例を示す図である。
【
図19】予測テーブルのデータサイズを削減するための構成例について示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について図面を参照して説明する。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る画像伝送システムの構成例および処理例を示す図である。
図1に示す画像伝送システムは、画像送信装置1、無線通信装置2,3および画像伝送制御装置4を含む。
【0016】
画像送信装置1は、画像データを画像伝送制御装置4に対して送信する。例えば、画像送信装置1は、図示しないカメラによって撮影された動画像の各フレームの画像データを、画像伝送制御装置4に送信する。
【0017】
無線通信装置2,3は、画像送信装置1と画像伝送制御装置4との間の通信経路上に設置されている。無線通信装置2と無線通信装置3との間では、無線通信が行われる。したがって、画像送信装置1から画像伝送制御装置4に対して画像データが送信される際、無線通信装置2から無線通信装置3に対して画像データは無線通信によって送信される。
【0018】
画像伝送制御装置4は、画像送信装置1から受信した画像データを用いて、アプリケーションなどによる所定の処理を実行する。また、画像伝送制御装置4は、無線通信装置2から無線通信装置3への無線伝送路における無線環境の変化に応じて、画像送信装置1における画像データの伝送レート(送信速度)を制御する。
【0019】
この画像伝送制御装置4は、記憶部11と制御部12を有する。なお、記憶部11は、例えば、画像伝送制御装置4が備える図示しない記憶装置の記憶領域である。また、制御部12は、例えば、画像伝送制御装置4が備えるプロセッサである。
【0020】
記憶部11には、関係情報21が記憶されている。関係情報21は、無線通信装置3が無線伝送路から信号を受信したときの受信信号強度(RSSI:Received Signal Strength Indicator)の値と、この無線伝送路の可用帯域との対応関係を示す情報である。例えば、関係情報21は、入力されたRSSI値を可用帯域の値に変換する変換テーブルである。
【0021】
制御部12は、画像送信装置1と通信しているときのRSSIの測定値(RSSI測定値)を、無線通信装置3から取得する(ステップS1)。制御部12は、取得したRSSI測定値と、記憶部11内の関係情報21とに基づいて、無線通信装置2から無線通信装置3に対する無線伝送路での可用帯域を推定する(ステップS2)。制御部12は、可用帯域の推定値に基づいて、画像送信装置1における画像データの伝送レートを制御するための制御情報を生成し、画像送信装置1に送信する(ステップS3)。これにより、推定された可用帯域を超えないように画像データの伝送レートが制御される。
【0022】
画像送信装置1は、画像データの送信処理に対して、画像伝送制御装置4からの制御情報を適用し、制御情報が反映された画像データを送信する。例えば、制御情報は、画像送信装置1でのエンコード処理における画像品質の設定値を調整する情報である。この場合、画像送信装置1は、制御情報に基づいて画像品質の設定値を調整し、調整後に画像データをエンコードする。これにより、制御情報が反映された画像データが生成される。また、画像品質の設定変更により、エンコードされた画像データのデータ量が変化し、その結果、画像データの伝送レートが変化することになる。
【0023】
制御情報が反映された画像データは、無線通信装置2,3を介して画像伝送制御装置4に送信される。画像伝送制御装置4において、制御部12は、受信したこの画像データに基づいて、無線通信装置2から無線通信装置3に対する無線伝送路での可用帯域を推定する(ステップS4)。
【0024】
制御部12は、ステップS4で推定された可用帯域と、ステップS2で推定された可用帯域とを比較し、その比較結果に基づいて、関係情報21におけるRSSI値と可用帯域との対応関係を最適化する(ステップS5)。例えば、制御部12は、ステップS2での推定値がステップS4での推定値以下の場合、関係情報21においてステップS1で取得したRSSI測定値に対応付けられた可用帯域を増加させる。また、制御部12は、ステップS2での推定値がステップS4での推定値より大きい場合、関係情報21においてステップS1で取得したRSSI値に対応付けられた可用帯域を減少させる。
【0025】
以上の処理では、制御部12は、関係情報21を用いてRSSI測定値から推定した可用帯域に基づいて、伝送レート制御のための制御情報を画像送信装置1に送信する。これにより、受信した画像データのデータ量を基に可用帯域を推定する場合と比較して、可用帯域を短時間で推定し、その推定結果に基づく制御情報を短時間送信できる。このため、画像伝送レート制御のリアルタイム性を高めることができる。
【0026】
また、関係情報21におけるRSSI値と可用帯域との対応関係は、受信した画像データのデータ量に基づいて推定された可用帯域によって最適化される。これにより、関係情報21を用いてRSSI測定値から可用帯域を推定する推定精度を高めることができ、その結果として、画像伝送レート制御の精度を高めることができる。ここでいう画像伝送レート制御の精度向上とは、無線伝送路における帯域の利用効率が向上し、かつ、受信した画像データに基づいて画像を正確に再生できることを示す。特に、上記の処理が繰り返し実行されて関係情報21の最適化が進むことにより、関係情報21を用いた可用帯域の推定精度が向上していき、その結果、画像伝送レート制御の精度も向上していく。
【0027】
したがって、画像伝送制御装置4によれば、無線環境の変化に対するリアルタイム性(追従性)が高く、かつ、精度の高い画像伝送レート制御を実行できる。
また、RSSI値は、機種やメーカを問わず、ほとんどの無線通信装置から一般的に取得可能な情報である。このため、RSSI値と受信した画像データとを用いることで、汎用性を高めることが可能である。
【0028】
さらに、センサ等、可用帯域を測定するためのハードウェアを別途用意する必要がないので、装置コストを低減できる。
〔第2の実施の形態〕
図2は、第2の実施の形態に係る画像伝送システムの構成例を示す図である。
図2に示す画像伝送システムは、画像送信装置100とサーバ200を含む。
【0029】
画像送信装置100には、カメラ101が接続されている。画像送信装置100は、カメラ101によって撮影された動画像の画像データをエンコード(圧縮符号化)し、エンコードされた画像データをサーバ200に送信する。画像送信装置100は、例えば、パーソナルコンピュータなどの端末装置である。この場合、カメラ101は、画像送信装置100に内蔵されていてもよい。また、画像送信装置100は、例えば、エッジコンピューティングシステムにおけるエッジコンピュータであってもよい。
【0030】
サーバ200は、画像送信装置100から送信された画像データを受信してデコード(伸張復号化)するサーバコンピュータである。サーバ200は、例えば、デコードされた画像データを用いて処理するアプリケーションを備える。例えば、サーバ200は、生産ライン監視アプリケーションを備え、生産ラインが撮影された動画像を取得して、その画像から異常発生などのイベントを検知する。あるいは、サーバ200は、各種の作業車の遠隔操作アプリケーションを備え、作業現場が撮影された動画像を取得して表示し、表示された画像を視認する操作者の入力操作に応じて、作業車を遠隔操作するための制御情報を画像送信装置100に送信する。このような遠隔操作アプリケーションが用いられる場合、カメラ101および画像送信装置100は作業車に搭載されて、移動可能になっていてもよい。
【0031】
また、画像送信装置100とサーバ200との間の通信経路には、無線通信機310と無線基地局320が存在している。そして、無線通信機310と無線基地局320との間で無線通信が行われる。本実施の形態では、この無線通信として、LTE(Long Term Evolution)-Advanced、5G、Wi-Fi 6などの高速な無線通信規格が用いられる。例えば、無線通信機310と無線基地局320は、ローカル5Gネットワークに含まれる機器であってもよい。
【0032】
なお、画像送信装置100は、
図1の画像送信装置1の一例であり、サーバ200は、
図1の画像伝送制御装置4の一例である。また、無線通信機310は、
図1の無線通信装置2の一例であり、無線基地局320は、
図1の無線通信装置3の一例である。
【0033】
また、本実施の形態では例として、無線基地局320が無線親機として動作し、無線通信機310が無線子機として動作する。また、無線通信機310は、画像送信装置100に内蔵されていてもよい。
【0034】
図3は、サーバのハードウェア構成例を示す図である。サーバ200は、例えば、
図3に示すようなコンピュータとして実現される。
図3に示すサーバ200は、プロセッサ201、RAM(Random Access Memory)202、HDD(Hard Disk Drive)203、GPU(Graphics Processing Unit)204、入力インタフェース(I/F)205、読み取り装置206および通信インタフェース(I/F)207を有する。
【0035】
プロセッサ201は、サーバ200全体を統括的に制御する。プロセッサ201は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)またはPLD(Programmable Logic Device)である。また、プロセッサ201は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
【0036】
RAM202は、サーバ200の主記憶装置として使用される。RAM202には、プロセッサ201に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM202には、プロセッサ201による処理に必要な各種データが格納される。
【0037】
HDD203は、サーバ200の補助記憶装置として使用される。HDD203には、OSプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、SSD(Solid State Drive)などの他の種類の不揮発性記憶装置を使用することもできる。
【0038】
GPU204には、表示装置204aが接続されている。GPU204は、プロセッサ201からの命令にしたがって、画像を表示装置204aに表示させる。表示装置204aとしては、例えば、液晶ディスプレイや有機EL(ElectroLuminescence)ディスプレイなどが使用される。
【0039】
入力インタフェース205には、入力装置205aが接続されている。入力インタフェース205は、入力装置205aから出力される信号をプロセッサ201に送信する。入力装置205aとしては、例えば、キーボードやポインティングデバイスなどが使用される。ポインティングデバイスとしては、例えば、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどが使用される。
【0040】
読み取り装置206には、可搬型記録媒体206aが脱着される。読み取り装置206は、可搬型記録媒体206aに記録されたデータを読み取ってプロセッサ201に送信する。可搬型記録媒体206aとしては、例えば、光ディスク、半導体メモリなどが使用される。
【0041】
通信インタフェース207は、ネットワーク207aを介して他の装置(例えば、無線基地局320)との間でデータの送受信を行う。
以上のようなハードウェア構成によって、サーバ200の処理機能を実現することができる。なお、画像送信装置100についても、
図3と同様の構成を有するコンピュータとして実現可能である。
【0042】
ところで、上記のように、無線通信機310と無線基地局320との間では高速な無線通信が行われる。このような無線通信では、高い無線周波数が利用されることから、無線通信時における通信品質が障害物の影響を受けやすい。すなわち、無線周波数が高くなるほど、電波の直進性が強くなり、アンテナ間が人や物によって遮蔽された場合に電波強度が減衰しやすい。このようにして電波強度が低下すると、データの可用帯域が低下してしまう。
【0043】
本実施の形態では、無線通信機310から無線基地局320に対して画像データが無線通信によって伝送され、最終的にサーバ200に受信される。上記のような無線環境の悪化によってデータの伝送品質(通信速度など)が低下した場合、無線区間で画像データが消失し、サーバ200で画像を正しくデコードできなくなる場合がある。また、データロストの発生により画像データの再送が頻繁に実行される可能性もあり、この場合には画像取得のリアルタイム性も失われてしまう。
【0044】
そこで、本実施の形態において、サーバ200は、伝送路における可用帯域(通信速度)を推定し、可用帯域の推定値に応じて、画像送信装置100の送信画像の画像品質を制御する。サーバ200は、画像品質を変化させることで、画像の伝送レート(送信速度)を制御することができる。
【0045】
画像品質を変化させる方法としては、例えば、フレームレート(FPS:Frames Per Second)を変化させる方法や、量子化パラメータ(QP:Quantization Parameter)値を変化させる方法が用いられる。実際の制御では、これらのうちの一方のみが用いられてもよいし、両方を組み合わせて用いられてもよい。なお、画像品質を変化させる他の方法としては、解像度を変化させる方法もある。
【0046】
一方、可用帯域の推定方法としては、例えば次の第1~第3の推定方法が考えられる。
第1の推定方法としては、サーバ200が受信した画像データを基に可用帯域を推定する方法が考えられる。具体的には、一定時間内に受信した画像データのデータ量に基づく単位時間当たりの平均受信データ量を、可用帯域として使用する方法がある。この推定方法によれば、可用帯域を比較的正確に推定可能である。しかし、画像データはフレームごとに変化するため、可用帯域を正確に推定するためにはある程度の期間に受信した画像データを用いる必要がある。このため、可用帯域が実際に変化してから、可用帯域の推定値によってその変化が検出されるまでに数秒から数十秒程度の遅延が発生する。このような遅延のために、可用帯域の実際の変動に応じて画像品質をリアルタイムに制御することは難しいという問題がある。
【0047】
第2の推定方法としては、無線通信の受信装置から無線伝送レートを取得し、取得した無線伝送レートを可用帯域として使用する方法が考えられる。この推定方法によれば、可用帯域を高速かつ正確に推定可能である。しかし、受信装置によっては必要な情報の取得が困難な場合があり、使用する受信装置の仕様が限定され、汎用性が低いという問題がある。
【0048】
第3の推定方法としては、レーダ装置やカメラなどの各種センサを用いて、電波を遮蔽する障害物を検知し、この検知結果から可用帯域を推定する方法が考えられる。しかし、ハードウェアとしてセンサを別途用意する必要があり、装置コストが高くなるという問題がある。また、無線伝送環境によってはセンサの数を増やす必要があり、その場合には装置コストが一層増大する。
【0049】
このような各推定方法の問題点に鑑みて、本実施の形態のサーバ200は、次のような方法で画像伝送レートを制御する。まず、可用帯域の推定は、基本的に、無線通信の受信装置(具体的には、無線基地局320)から容易に取得可能な無線情報に基づいて実行される。本実施の形態では、このような無線情報として、RSSI値が無線基地局320から取得される。RSSI値は、機種やメーカに関係なく、無線通信の受信装置から一般的に取得可能な情報である。このため、RSSI値を基に可用帯域を推定することで、汎用性を高めることができる。また、RSSI値を基に可用帯域を推定することで、例えば受信した画像データを用いる場合と比較して可用帯域を短時間で推定可能であり、画像伝送レート制御のリアルタイム性を高めることができる。
【0050】
ただし、RSSI値に基づく可用帯域の推定精度は、受信した画像データを基に推定する場合より低い。例えば、RSSI値はあくまで受信した無線信号全体の強度を表すものであり、画像の信号自体の強度を表すものではなく、電波の干渉や、受信信号に含まれる画像以外の信号などの影響を受ける。また、受信装置の個体差や経年変化によって、RSSI値が変動し得る。
【0051】
そこで、本実施の形態のサーバ200は、受信した画像データに基づく可用帯域の推定処理も実行し、この推定結果を用いて、RSSI値に基づく可用帯域の推定処理を最適化する。これにより、画像伝送レート制御のリアルタイム性を高めつつ、その制御の精度を向上させる。
【0052】
さらに、上記のようなRSSI値および画像データを用いることで、可用帯域の推定のために専用のセンサを別途用意する必要がなくなる。このため、装置コストを低減できる。
【0053】
図4は、画像伝送システムの各装置が備える処理機能の構成例を示す図である。
まず、画像送信装置100は、画像エンコーダ111、画像送信部112およびコマンド受信部113を備える。画像エンコーダ111、画像送信部112およびコマンド受信部113の処理は、例えば、画像送信装置100が備える図示しないプロセッサが所定のプログラムを実行することで実現される。また、これらの処理の少なくとも一部は、専用のハードウェアによって実行されてもよい。
【0054】
画像エンコーダ111は、カメラ101によって撮影された画像のデータを受信し、受信したデータをエンコード(圧縮符号化)し、エンコードされた画像データを画像送信部112に出力する。
【0055】
画像送信部112は、エンコードされた画像データをサーバ200宛てに送信する。これにより、画像データが無線通信機310および無線基地局320を介してサーバ200に送信される。
【0056】
コマンド受信部113は、画像品質を制御するための制御コマンドをサーバ200から受信し、制御コマンドに応じて、画像エンコーダ111によるエンコード処理を制御する。具体的には、コマンド受信部113は、制御コマンドに基づき、エンコード処理時における画像品質の制御パラメータとしてフレームレートとQP値の少なくとも一方を設定する。エンコード処理時におけるこれらの制御パラメータが変更されることで、画像エンコーダ111によってエンコードされ、画像送信部112を介して送信される画像データのデータ量(画像伝送レート)が変化する。
【0057】
次に、無線基地局320は、RSSI測定部321を備える。RSSI測定部321は、画像送信装置100からの画像データの受信時におけるRSSI値を測定し、その測定結果をサーバ200に送信する。本実施の形態では、RSSI測定部321は、RSSI値を一定時間間隔で測定する。また、RSSI測定部321は、画像送信装置100から受信した画像データに、測定されたRSSI値を付加してサーバ200に送信する。なお、他の例として、RSSI値は、サーバ200からの一定時間間隔の測定要求に応じてRSSI値を測定し、サーバ200に返信してもよい。
【0058】
次に、サーバ200は、記憶部210、データ分離部221、画像デコーダ222、画像品質制御部223およびコマンド送信部224を備える。
記憶部210は、RAM202、HDD203などの記憶装置の記憶領域である。記憶部210には、変換テーブル211が記憶される。変換テーブル211は、RSSI値を可用帯域に変換するためのテーブル情報である。
【0059】
ここで、
図5は、変換テーブルを説明するための図である。
図5に示すグラフには、RSSI値を可用帯域に変換するための曲線211aが描画されている。変換テーブル211は、例えば、RSSI値を入力(アドレス)とし、可用帯域を出力として、入力と出力との関係が曲線211aのようになるルックアップテーブルとして実装される。
【0060】
なお、RSSI値を可用帯域に変換するための情報は、変換テーブル211に限定されるものではない。例えば、このような情報として、曲線211aのような近似曲線を示す多項式の係数が記憶部210に記憶されてもよい。
【0061】
以下、
図4を参照して説明を続ける。
データ分離部221、画像デコーダ222、画像品質制御部223およびコマンド送信部224の処理は、例えば、プロセッサ201が所定のプログラムを実行することで実現される。また、これらの処理の少なくとも一部は、専用のハードウェアによって実行されてもよい。
【0062】
データ分離部221は、画像送信装置100から受信した画像データを画像デコーダ222と画像品質制御部223とに出力する。また、データ分離部221は、受信した画像データにRSSI値が付加されている場合、このRSSI値を受信データから分離して画像品質制御部223に出力する。
【0063】
画像デコーダ222は、データ分離部221からの画像データをデコード(伸長復号化)し、デコードされた画像データを出力する。出力された画像データは、サーバ200に実装されたアプリケーションによって利用される。また、この画像データに基づく画像が表示装置204aに表示されてもよい。
【0064】
画像品質制御部223は、変換テーブル211を参照して、データ分離部221からのRSSI値を可用帯域に変換する。以下、変換テーブル211を用いてRSSI値を可用帯域に変換する処理を、「可用帯域の推定」と記載する。画像品質制御部223は、RSSI値から推定された可用帯域に基づいて、画像品質を制御するための制御パラメータを生成する。この制御パラメータとしては、画像送信装置100から送信される画像の伝送レートが、推定された可用帯域に収まるような制御パラメータが生成される。画像品質制御部223は、生成された制御パラメータの設定を要求する制御コマンドをコマンド送信部224に出力する。
【0065】
また、画像品質制御部223は、データ分離部221からの画像データに基づいて、可用帯域を測定する。以下の説明では、画像データを用いたこの処理を「可用帯域の測定」と記載して、RSSI値に基づく「可用帯域の推定」とは区別して表記する。画像品質制御部223は、測定された可用帯域と、RSSI値を基に推定された可用帯域とを比較する。詳しくは後述するが、画像品質制御部223は、RSSI値を基に推定された可用帯域を遅延器によって所定時間保持し、RSSI値の測定から所定時間後に受信した画像データに基づく可用帯域の測定値を、保持していた可用帯域の推定値と比較する。画像品質制御部223は、このような比較結果に基づいて、変換テーブル211におけるRSSI値と可用帯域との対応関係を適正化する。
【0066】
コマンド送信部224は、画像品質制御部223から出力された制御コマンドを画像送信装置100宛てに送信する。
図6は、画像品質制御部の内部構成例を示す図である。画像品質制御部223は、可用帯域推定部231、制御値生成部232、遅延器233,234、可用帯域測定部235および適応制御部236を備える。
【0067】
可用帯域推定部231は、変換テーブル211を参照し、データ分離部221からのRSSI値に基づいて可用帯域を推定する。具体的には、可用帯域推定部231は、RSSI値に対応付けられた可用帯域を変換テーブル211から読み出し、読み出した可用帯域を推定値として出力する。
【0068】
制御値生成部232は、可用帯域推定部231によって推定された可用帯域に基づいて、送信画像の伝送レートが可用帯域に収まるような画像品質の制御パラメータを生成する。制御値生成部232は、生成された制御パラメータの設定を要求する制御コマンドをコマンド送信部224に出力する。
【0069】
遅延器233は、データ分離部221から出力されたRSSI値を、所定時間だけ遅延させて適応制御部236に出力する。遅延器234は、可用帯域推定部231によって推定された可用帯域を、所定時間だけ遅延させて適応制御部236に出力する。遅延器233,234が出力を遅延させる遅延時間は、推定された可用帯域を基に生成された制御コマンドがサーバ200から画像送信装置100に送信され、制御コマンドに基づく画像品質設定が反映された画像データが画像エンコーダ111から出力され、その画像データをサーバ200が受信するまでの時間となるように設定される。
【0070】
可用帯域測定部235は、画像送信装置100から受信した(デコード前の)画像データに基づいて、可用帯域を測定する。可用帯域測定部235は、例えば、一定時間内に受信した画像データのデータ総量から平均伝送レートを算出し、算出された平均伝送レートを可用帯域として出力する。
【0071】
適応制御部236は、遅延器234から出力された可用帯域の推定値と、可用帯域測定部235から出力された可用帯域の測定値とを比較する。適応制御部236は、これらの比較結果に基づき、変換テーブル211において、遅延器233から出力されたRSSI値に対応付けられている可用帯域を適正化する。この適正化では、可用帯域の推定値と測定値との誤差が小さくなるように、変換テーブル211の可用帯域が修正される。
【0072】
図7は、画像伝送レートの制御処理の流れを示すシーケンス図の例である。
[ステップS11]サーバ200は、RSSI値が付加された画像データを受信する。RSSI値は、データ分離部221によって画像データから分離され、画像品質制御部223の可用帯域推定部231に入力される。なお、分離されたRSSI値は、遅延器233にも入力される。
【0073】
[ステップS12]可用帯域推定部231には、変換テーブル211を参照し、入力されたRSSI値に基づいて可用帯域を推定する。推定された可用帯域は、制御値生成部232と遅延器234とに入力される。
【0074】
[ステップS13]制御値生成部232は、可用帯域推定部231によって推定された可用帯域に基づいて、送信画像の伝送レートが可用帯域に収まるような画像品質の制御パラメータを生成する。制御値生成部232は、生成された制御パラメータの設定を要求する制御コマンドをコマンド送信部224に出力し、コマンド送信部224は、この制御コマンドを画像送信装置100に送信する。
【0075】
[ステップS14]画像送信装置100のコマンド受信部113は、サーバ200から送信された制御コマンドを受信し、制御コマンドに応じて、画像エンコーダ111における画像品質の制御パラメータの設定を更新する。制御パラメータとしては、フレームレートとQP値の少なくとも一方の設定が更新される。
【0076】
[ステップS15]画像エンコーダ111は、更新された制御パラメータを用いて、カメラ101からの画像データをエンコードする。エンコードされた画像データは、画像送信部112によってサーバ200に送信される。
【0077】
[ステップS16]サーバ200では、受信した画像データがデータ分離部221から画像デコーダ222と画像品質制御部223に入力される。画像品質制御部223の可用帯域測定部235は、入力された画像データに基づいて可用帯域を測定する。
【0078】
[ステップS17]適応制御部236は、遅延器234からの可用帯域の推定値と、可用帯域測定部235からの可用帯域の測定値とを比較する。適応制御部236は、これらの比較結果に基づき、変換テーブル211において、遅延器233からのRSSI値に対応付けられている可用帯域を更新する。
【0079】
前述のように、遅延器233,234による遅延時間は、RSSI値に基づいて生成された制御コマンドがサーバ200から送信され、制御コマンドに基づく画像品質設定が反映されたエンコード処理によってエンコードされた画像データをサーバ200が受信するまでの時間に設定される。このため、ステップS17では、ステップS16で測定された可用帯域と、ステップS12で推定された可用帯域とが比較され、この比較結果に基づいて、ステップS11で受信されたRSSI値に対応付けられた可用帯域が更新されることになる。
【0080】
ここで、
図8は、RSSI値の取得や可用帯域の測定のタイミングを示すタイムチャートの例である。
RSSI値は、所定の取得時間間隔trで繰り返し取得される。
図8の例では、n番目のRSSI値(RSSI#n)が時刻T11で取得され、時刻T11から取得時間間隔trが経過した時刻T13において(n+1)番目のRSSI値(RSSI#n+1)が取得される。
【0081】
また、遅延器233,234による遅延時間をtdとする。時刻T11で取得したRSSI#nに基づく制御コマンドが送信された後(
図7のステップS13)、遅延時間tdが経過した時刻T12において、可用帯域測定部235による可用帯域の測定が開始される(ステップS16)。可用帯域の測定は、所定の測定時間tmの間に受信した画像データに基づいて実行される。したがって、ステップS16では、時刻T12以降に受信した画像データに基づいて可用帯域が測定される。そして、ステップS17では、測定された可用帯域と、時刻T11で取得したRSSI#nから推定された可用帯域とが比較され、時刻T14において、比較結果に基づいて変換テーブル211が更新される。
【0082】
このように、RSSI#nの取得から遅延時間tdが経過した後に受信した画像データに基づいて、可用帯域が測定される。この測定値は、RSSI#nを基に生成された制御パラメータが反映されたエンコード処理によって生成された画像データを用いて、測定された値となる。したがって、ステップS17での比較結果を用いることで、変換テーブル211におけるRSSI値と可用帯域との対応関係を精度よく修正できるようになる。
【0083】
以上の処理により、RSSI値から可用帯域を推定することで、可用帯域を短時間で推定でき、画像伝送レート制御のリアルタイム性を高めることができる。また、RSSI値に基づく制御コマンドが反映された画像データに基づいて可用帯域が測定され、その測定値に基づいて変換テーブル211が最適化される。これにより、変換テーブル211に基づく可用帯域の推定精度を向上させることができる。
【0084】
したがって、上記の処理をある程度の時間繰り返し実行することで、変換テーブル211におけるRSSI値と可用帯域との対応関係が最適化されていき、変換テーブル211に基づく可用帯域の推定精度が向上していく。例えば、画像伝送システムの正式運用前の前処理時において、上記処理を繰り返し実行して変換テーブル211を最適化し、最適化された変換テーブル211を用いて正式運用が開始されてもよい。また、正式運用時にも変換テーブル211の最適化処理が継続されることで、無線環境が変動し続けた場合でも可用帯域の推定精度を維持し、画像伝送レート制御の精度を維持することができる。
【0085】
このように、サーバ200は、無線通信環境に対するロバスト性が高く、かつリアルタイム性が高い画像伝送レートの制御を実現できる。このような制御により、無線伝送路における帯域の利用効率を向上させることができる。なおかつ、無線伝送路において画像データが消失する可能性を低減でき、受信した画像データに基づいて画像を正確に再生できるようになる。
【0086】
図9は、適応制御部の処理手順を示すフローチャートの例である。
図9の処理は、
図7のステップS17の処理に対応する。
[ステップS17a]適応制御部236は、受信した画像データに基づく可用帯域の測定値を、可用帯域測定部235から取得する。
【0087】
[ステップS17b]適応制御部236は、td時間前に測定されたRSSI値に基づく可用帯域の推定値を、遅延器234から取得する。
[ステップS17c]適応制御部236は、可用帯域の推定値と測定値とを比較する。推定値が測定値以下である場合、処理がステップS17dに進められ、推定値が測定値より大きい場合、処理がステップS17eに進められる。
【0088】
[ステップS17d]適応制御部236は、td時間前に測定されたRSSI値を遅延器233から取得する。適応制御部236は、変換テーブル211においてそのRSSI値に対応付けられた可用帯域の出力値を、増加方向に修正する。
【0089】
[ステップS17e]適応制御部236は、td時間前に測定されたRSSI値を遅延器233から取得する。適応制御部236は、変換テーブル211においてそのRSSI値に対応付けられた可用帯域の出力値を、減少方向に修正する。
【0090】
以上の処理によれば、可用帯域の推定値が測定値より小さい場合、制御コマンド生成のための可用帯域の推定値が小さ過ぎであり、実際には画像品質をより高めて画像データの送信量を増やせると考えられる。そのため、適応制御部236は、変換テーブル211においてRSSI値に対応付けられた可用帯域を増加させる。一方、可用帯域の推定値が測定値より大きい場合、制御コマンド生成のための可用帯域の推定値が大き過ぎであり、画像データの送信量が過大であると考えられる。そのため、適応制御部236は、変換テーブル211においてRSSI値に対応付けられた可用帯域を減少させる。
【0091】
また、可用帯域の推定値が測定値と一致している場合には、適応制御部236は、変換テーブル211においてRSSI値に対応付けられた可用帯域を維持するのではなく、増加させる。この理由としては、推定された可用帯域を基に画像伝送レートを制御する方式であるため、実際には可用帯域の推定値より実測値が大きくなることは少ないことが挙げられる。このような理由から、可用帯域の推定値が測定値と一致している場合には、実際の可用帯域に余裕があると考えた方が、画像伝送レートを実際の可用帯域により近づけて、帯域を有効利用できるようになる。
【0092】
図10は、適応制御部の内部構成例を示す図である。なお、
図10では、説明をわかりやすくするために、適応制御部236以外の処理機能も併記している。
図10に示すように、適応制御部236は例えば、減算器241、乗算器242、比較部243、スイッチ(SW)244および加算器245を備える。
【0093】
減算器241は、可用帯域測定部235によって測定された可用帯域から、可用帯域推定部231によって推定され、遅延器234を介して入力された可用帯域を減算し、減算結果を乗算器242に入力する。
【0094】
乗算器242は、入力された減算結果に対して、あらかじめ設定された係数μ1を乗算する。係数μ1は、可用帯域のアップデート率(増加率または減少率)を示す値である。係数μ1としては、可用帯域が極端に増減しないように、0より大きく、かつ、1.0より十分に小さい値に設定される。乗算器242による乗算結果は、スイッチ244の入力端子IN1に入力される。
【0095】
比較部243は、可用帯域推定部231によって推定され、遅延器234を介して入力された可用帯域と、可用帯域測定部235によって測定された可用帯域とを比較する。比較部243は、可用帯域の推定値が測定値以下か、または推定値が測定値より大きいかを判定し、その判定結果をスイッチ244に入力する。なお、この判定は、減算器241による減算結果の符号に基づいて実行されてもよい。
【0096】
スイッチ244は、入力端子IN1,IN2を備える。前述のように入力端子IN1には、乗算器242による乗算結果が入力される。入力端子IN2には、あらかじめ固定的に設定された設定値が入力される。スイッチ244は、比較部243からの入力値に応じて、入力端子IN1,IN2からの入力値のいずれかを選択的に加算器245に出力する。具体的には、スイッチ244は、比較部243により可用帯域の推定値が測定値以下と判定された場合、入力端子IN2からの入力値を出力し、推定値が測定値より大きいと判定された場合、入力端子IN1からの入力値を出力する。後者の場合、入力端子IN1からの入力値の符号はマイナスになる。
【0097】
加算器245は、可用帯域推定部231によって推定され、遅延器234を介して入力された可用帯域と、スイッチ244からの出力値とを加算し、変換テーブル211に対して更新後の可用帯域として出力する。変換テーブル211では、遅延器233から入力されるRSSI値に対応付けられた可用帯域が、加算器245からの出力値によって更新される。
【0098】
上記構成によれば、可用帯域の推定値が測定値より大きい場合、推定値と測定値との差分に応じた値が推定値から減算され、減算後の値によって変換テーブル211の可用帯域が更新される。一方、可用帯域の推定値が測定値以下の場合、固定的な設定値が推定値に加算され、加算後の値によって変換テーブル211の可用帯域が更新される。後者のケースでは、適応制御部236は、変換テーブル211の可用帯域を急激に増加させないように、一定値分ずつ徐々に増加させる。
【0099】
ところで、サーバ200は、遅延器233,234における遅延時間tdを自動的に測定して設定する処理機能を備えていてもよい。次の
図11を参照して、このような処理機能の例について説明する。
【0100】
図11は、遅延時間の自動測定機能の構成例を示す図である。
図11に示す画像品質制御部223aは、
図6に示した画像品質制御部223の処理機能に加えて、制御値生成部251、スイッチ(SW)252および遅延測定制御部253をさらに備える。なお、
図11では、画像品質制御部223aの処理機能のうち、遅延時間tdの自動測定に関係ない処理機能については図示を省略している。
【0101】
この画像品質制御部223aを用いた場合、遅延器233,234における遅延時間tdの自動測定処理は、画像伝送システムの正式運用前の前処理時において実行される。制御値生成部251は、前処理用の処理機能であり、遅延測定制御部253の制御の下で、遅延測定用の制御コマンドを生成し、スイッチ252の入力端子に入力する。制御値生成部251は、画像伝送レートを極端に高くする制御コマンドと極端に低くする制御コマンドとを交互に出力する。
【0102】
スイッチ252の一方の入力端子には、制御値生成部232から出力された制御コマンドが入力され、他方の入力端子には、制御値生成部251から出力された制御コマンドが入力される。スイッチ252は、遅延測定制御部253からの切り替え制御信号に応じて、いずれかの入力端子から入力された制御コマンドを選択的にコマンド送信部224に出力する。具体的には、遅延測定制御部253の制御の下で、前処理時には制御値生成部251から入力された制御コマンドがコマンド送信部224に出力され、正式運用時には制御値生成部232から入力された制御コマンドがコマンド送信部224に出力される。
【0103】
遅延測定制御部253は、前処理時において、可用帯域測定部235によって測定された可用帯域の変化の状況に基づいて、遅延器233,234における遅延時間tdを測定し、遅延器233,234に対して設定する。
【0104】
図12は、前処理時における遅延時間の自動測定処理例を示すタイムチャートである。
制御値生成部251は、画像伝送レートを極端に高くする(画像データサイズを極端に大きくする)制御コマンドと、画像伝送レートを極端に低くする(画像データサイズを極端に小さくする)制御コマンドとを交互に出力する。前者の制御コマンドは、画像品質を極端に高くして送信画像データのサイズを大きくするものであり、後者の制御コマンドは、画像品質を極端に低くして送信画像データのサイズを小さくするものである。
【0105】
図12の例では、時刻T21において遅延時間tdの測定処理が開始され、このような制御コマンドが一定時間間隔で交互に出力される。ここでは例として、制御コマンドの出力時間間隔は、RSSI値の測定間隔と同じであるとする。
図12の例では、時刻T21において、画像品質を高くする制御コマンドがスイッチ252を介して画像送信装置100に送信される。その後、一定時間が経過した時刻T22において、画像品質を低くする制御コマンドがスイッチ252を介して画像送信装置100に送信される。さらにその後、一定時間が経過した時刻T23において、画像品質を高くする制御コマンドがスイッチ252を介して画像送信装置100に送信される。
【0106】
画像送信装置100からは、時刻T21で制御コマンドが送信されてから遅延したタイミングで、その制御コマンドが反映された、画像品質が高い画像の画像データが受信される。また、時刻T22で制御コマンドが送信されてから遅延したタイミングで、その制御コマンドが反映された、画像品質が低い画像の画像データが受信される。可用帯域測定部235は、遅延測定制御部253からの指示にしたがい、次のような手順で、受信した画像データを基に可用帯域を測定する。
【0107】
可用帯域測定部235は、可用帯域の測定処理A,B,C,D,・・・を実行する。各測定処理における測定期間は前半と後半とに分けられ、前半および後半の測定期間の長さは、制御コマンドの出力間隔と同じであるとする。そして、可用帯域測定部235は、前半および後半の測定期間のそれぞれにおいて、測定期間に受信した画像データに基づいて可用帯域を測定する。
【0108】
ここで、測定処理Aは、遅延時間tdの測定開始時刻(時刻T21)に開始される。また、測定処理Bは、時刻T21から単位時間tsだけ後にシフトされた時刻(T21+ts)に開始される。測定処理Cは、この時刻からさらに単位時間tsだけ後にシフトされた時刻(T21+2・ts)に開始される。測定処理Dは、この時刻からさらに単位時間tsだけ後にシフトされた時刻(T21+3・ts)に開始される。このように、測定処理A,B,C,D,・・・のそれぞれは、一定時間ずつ開始時刻をシフトしながら実行される。
【0109】
なお、測定処理A,B,C,D,・・・は、
図12の例のように並列にされてもよい。例えば、サーバ200は、受信した画像データを所定サイズのバッファに一旦保持するようにした場合、バッファに保持された画像データの中から対応する測定期間の画像データを取得することで、測定処理A,B,C,D,・・・を並列に実行可能である。
【0110】
図12の下側に示す管理テーブル253aは、可用帯域の測定結果を保持するための情報の一例であり、例えば、記憶部210に記憶される。管理テーブル253aには、測定開始時刻のシフト時間が異なる測定処理A,B,C,D,・・・のそれぞれに対応付けて、前半の測定期間に測定された可用帯域の測定値と、後半の測定期間に測定された可用帯域の測定値とが登録される。なお、測定開始のシフト時間が同じ測定処理は、複数回繰り返し実行されてもよい。この場合、前半および後半に対応する測定値としては、複数回の測定処理で測定された可用帯域の測定値の平均値が登録されればよい。
【0111】
遅延測定制御部253は、例えば、管理テーブル253aを参照して、測定処理の中から、前半における測定値と後半における測定値との差分が最も大きい測定処理を特定する。
図12の例では、測定開始時刻が2・tsだけシフトされた測定処理Cが、測定値の差分が最も大きい測定処理として特定される。この場合、遅延測定制御部253は、遅延時間tdを2・tsと判定して、遅延器233,234に設定する。
【0112】
このような処理により、遅延時間tdを自動的かつ正確に測定することが可能になる。また、例えば、実際に無線通信機310と無線基地局320が設置されて、画像送信装置100に実際に画像データのエンコードを実行させた状態で、その環境に合致した遅延時間tdを自動的に測定できるようになる。このため、無線通信機310や無線基地局320の設置環境によらず、遅延時間tdを正確に測定でき、その結果として、正式運用時において画像伝送レートの制御を高精度に実行できる。
【0113】
〔第3の実施の形態〕
次に、第3の実施の形態に係る画像伝送システムについて説明する。第3の実施の形態では、第2の実施の形態におけるサーバ200の処理の一部が変形されている。
【0114】
図13は、第3の実施の形態のサーバに含まれる画像品質制御部の内部構成例を示す図である。第3の実施の形態のサーバ200は、
図6に示した画像品質制御部223の代わりに、
図13に示す画像品質制御部223bを備える。画像品質制御部223bは、
図6に示した画像品質制御部223に対して、さらにRSSI予測部237が追加された構成を有している。
【0115】
第2の実施の形態では、RSSI値に基づく制御コマンドをサーバ200が送信した後、その制御コマンドが反映された画像データをサーバ200が受信し、画像データに基づいて変換テーブル211を最適化するまでに、時間差が生じていた。このため、変換テーブル211に基づく可用帯域の推定精度が向上するまでに時間がかかっていた。
【0116】
そこで、第3の実施の形態において、RSSI予測部237は、入力されたRSSI値を基に一定時間後のRSSI値を予測し、予測されたRSSI値を可用帯域推定部231および遅延器233に入力する。これにより、一定時間後におけるRSSI値の予測値に基づいて可用帯域が推定され、その推定値に基づく制御コマンドが画像送信装置100に送信される。その結果、RSSI値の実際の測定値が予測値に変化する時刻と、送信された制御コマンドが反映された画像データをサーバ200が受信し、その画像データに基づいて変換テーブル211を最適化する時刻とが近づく。
【0117】
これにより、RSSI値の変化、すなわち可用帯域の実際の変化に対して、変換テーブル211に基づく可用帯域の推定値を高速に追従させることが可能となる。したがって、可用帯域の推定値に基づく画像伝送レートの制御レスポンスを高め、なおかつその制御の精度を向上させることができる。
【0118】
図14は、RSSI値の予測対象とする測定時刻について説明するための図である。
前述のように、RSSI値は一定の取得時間間隔trで取得される。
図14では、各取得時刻で測定されたRSSI値の例をグラフ上に示すとともに、各取得時刻で測定されたRSSI値の推移を近似曲線237aによって示している。また、
図14では、時刻T
0を最新のRSSI値が取得された時刻(現時刻)とし、時刻T
-1を1サンプル前のRSSI値が取得された時刻、時刻T
-2を2サンプル前のRSSI値が取得された時刻、時刻T
1を1サンプル後のRSSI値が取得される時刻とする。すなわち、時刻T
-2から時刻T
-1までの時間、時刻T
-1から時刻T
0までの時間、時刻T
0から時刻T
1までの時間が、それぞれ取得時間間隔trである。
【0119】
RSSI予測部237によってRSSI値が予測される未来の測定時刻(目標時刻Tp)は、時刻T0から一定時間後の時刻となる。RSSI予測部237は、現時刻を含む複数の取得時刻でそれぞれ取得したRSSI値に基づいて、目標時刻TpにおけるRSSI値を予測する。詳しくは後述するが、本実施の形態では一例として、RSSI予測部237は、時刻T-1、時刻T0、時刻T1のそれぞれにおけるRSSI値に基づいて、目標時刻TpにおけるRSSI値を補間によって予測する。また、RSSI予測部237は、上記時刻のうち、未来の時刻である時刻T1におけるRSSI値を、RSSI値の複数サンプルと未来の時刻におけるRSSI値の予測値との対応関係を保持する予測テーブルを用いて予測する。
【0120】
図15は、RSSI値が予測される目標時刻の設定例を説明するためのタイムチャートの例である。
図15では、
図8と同じ時刻や時間には同じ符号を付して示している。また、
図15において、時刻T11、T13が、
図14の時刻T
0,T
1にそれぞれ対応する。
【0121】
前述のように、遅延時間tdは、測定されたRSSI値を基に生成された制御コマンドがサーバ200から送信され、その制御コマンドが反映された画像データをサーバ200が受信するまでの時間に設定される。このため、目標時刻Tpは、現在の時刻T11から遅延時間td以上の時間が経過した時刻に設定される。
【0122】
また、本実施の形態において、可用帯域測定部235は、一定の測定時間tmの間に受信した画像データに基づいて可用帯域を測定する。例えば、可用帯域測定部235は、測定時間tmの間に受信した画像データの総データ量を測定時間tmで除算したデータ量(画像伝送レートの平均値)を、可用帯域の測定値として算出する。このため、目標時刻Tpとしては、可用帯域の測定が開始された時刻T12から、測定時間tmが経過した時刻T14までの期間のうち、中間の時刻が設定されることが望ましい。すなわち、目標時刻Tpは、現在の時刻T11より時間{td+(tm/2)}だけ後の時刻に設定される。
【0123】
図16は、RSSI予測部の内部構成例を示す図である。
図16に示すように、RSSI予測部237は、RSSI予測処理部261、遅延器262、次サンプル予測部263および予測テーブル生成部264を備える。また、記憶部210には、予測テーブル212がさらに記憶される。
【0124】
RSSI予測処理部261は、現時刻に測定されたRSSI値(現サンプル)と、直前の取得時刻に測定されたRSSI値(前サンプル)と、次の取得時刻におけるRSSI値の予測値(次サンプル)とに基づいて、目標時刻TpにおけるRSSI値(RSSI予測値)を予測する。この予測は、補間演算によって実行される。例えば、RSSI予測処理部261は、RSSI値の前サンプル、現サンプルおよび次サンプルに基づいて近似関数を生成し、その近似関数に対して目標時刻Tpを入力することで、目標時刻TpにおけるRSSI予測値を算出する。
【0125】
遅延器262は、RSSI値の現サンプルを遅延時間tdだけ遅延させることでRSSI値の前サンプルを生成し、RSSI予測処理部261と次サンプル予測部263に入力する。
【0126】
次サンプル予測部263は、予測テーブル212を参照して、RSSI値の現サンプルと、遅延器262から入力されるRSSI値の前サンプルとに基づいてRSSI値の次サンプルを予測し、RSSI予測処理部261に入力する。
【0127】
予測テーブル212は、RSSI値の現サンプルおよび前サンプルの組み合わせに対して、次サンプルの予測値が対応付けられたテーブル情報である。
予測テーブル生成部264は、複数の取得時刻において取得されたRSSI値に基づいて、予測テーブル212を最適化する。
【0128】
図17は、RSSI予測処理部の内部構成例を示す図である。
図17に示すように、RSSI予測処理部261は、乗算器281~283と加算器284を備える。
乗算器281は、遅延器262から入力されるRSSI値の前サンプルと、係数C1とを乗算する。乗算器282は、データ分離部221から入力されたRSSI値の現サンプルと、係数C2とを乗算する。乗算器283は、次サンプル予測部263によって予測されたRSSI値の次サンプルと、係数C3とを乗算する。加算器284は、乗算器281~283による各乗算結果を加算し、その加算値を、目標時刻TpにおけるRSSI予測値として出力する。
【0129】
ここで、係数C1~C3は、目標時刻TpにおけるRSSI予測値を補間演算によって算出するための重み係数であり、例えば、sinc関数の係数として、目標時刻Tpに基づいてあらかじめ求められる。
【0130】
以下、
図16を参照して説明を続ける。
予測テーブル生成部264は、遅延器271,272、RSSI予測部273および適応制御部274を備える。
【0131】
遅延器271は、データ分離部221から入力されたRSSI値を遅延時間tdだけ遅延させ、RSSI予測部273、遅延器272および適応制御部274に入力する。遅延器272は、遅延器271から入力されたRSSI値をさらに遅延時間tdだけ遅延させ、RSSI予測部273と適応制御部274に入力する。
【0132】
RSSI予測部273は、予測テーブル212において、遅延器271から入力される第1のRSSI値と、遅延器272から入力される、第1のRSSI値より1サンプル前の第2のRSSI値とに対応付けられたRSSI値の予測値(第3のRSSI値)を読み出す。この第3のRSSI値は、現時刻から1サンプル前のRSSI値である第1のRSSI値と、現時刻から2サンプル前のRSSI値である第2のRSSI値とを基に予測された、現時刻のRSSI値の予測値である。RSSI予測部273は、読み出した第3のRSSI値(予測値)を適応制御部274に入力する。
【0133】
適応制御部274は、RSSI予測部273から入力された現時刻のRSSI値の予測値と、データ分離部221から入力された現時刻のRSSI値(測定値)とを比較する。適応制御部274は、これらの比較結果に基づき、RSSI値の予測値と測定値との誤差が小さくなるように、予測テーブル212に登録された出力値のうち対応する出力値を適正化する。前述のように、予測テーブル212には入力値としてRSSI値の現サンプルおよび前サンプルの組み合わせが設定されている。出力値の適正化では、現サンプルとして遅延器271からの第1のRSSI値と、前サンプルとして遅延器272からの第2のRSSI値との組み合わせに対応付けられた出力値が適正化される。
【0134】
図18は、予測テーブル生成部の適応制御部の内部構成例を示す図である。
図18では、説明をわかりやすくするために、予測テーブル生成部264内の他の構成要素と予測テーブル212も併記している。
【0135】
適応制御部274は、減算器291、乗算器292および加算器293を備える。
減算器291は、データ分離部221から入力されたRSSI測定値から、RSSI予測部273によって予測されたRSSI予測値を減算する。
【0136】
乗算器292は、減算器291による減算結果に対して、あらかじめ設定された係数μ2を乗算する。係数μ2は、予測テーブル212の出力値のアップデート率(増加率または減少率)を示す値である。係数μ2としては、出力値が極端に増減しないように、0より大きく、かつ、1.0より十分に小さい値に設定される。
【0137】
加算器293は、RSSI予測部273によって予測されたRSSI予測値に、乗算器292による乗算結果を加算する。
適応制御部274は、予測テーブル212において、現サンプルおよび前サンプルとしてそれぞれ遅延器271,272から出力されたRSSI値に対応付けられた出力値を、加算器293による加算結果によって更新する。この処理により、RSSI予測部273からのRSSI予測値が、データ分離部221からのRSSI測定値より大きい場合には、予測テーブル212における対応する出力値が、RSSI予測値とRSSI測定値との差分の大きさに応じた値だけ減少される。一方、RSSI予測部273からのRSSI予測値が、データ分離部221からのRSSI測定値より小さい場合には、予測テーブル212における対応する出力値が、RSSI予測値とRSSI測定値との差分の大きさに応じた値だけ増加される。
【0138】
以上の
図16~
図18に示した構成により、予測テーブル212に基づき、次サンプル予測部263によってRSSI値の次サンプルが予測されるとともに、予測テーブル生成部264によって予測テーブル212が最適化される。時間経過に伴って予測テーブル212が最適化されることで、次サンプル予測部263の予測精度が向上し、それに伴って、RSSI予測処理部261による目標時刻TpでのRSSI予測値の予測精度も向上していく。RSSI予測処理部261での予測精度が向上することにより、可用帯域推定部231による可用帯域の推定精度も向上していく。その結果、可用帯域の推定値に基づく画像伝送レートの制御レスポンスを高め、なおかつその制御の精度を向上させることができる。
【0139】
ところで、予測テーブル212は、2つのRSSI入力値の組み合わせのそれぞれに対してRSSI出力値が対応付けて記憶されることから、データサイズが大きい。そこで、予測テーブル生成部264の構成として次の
図19のような構成を採用することで、予測テーブル212のデータサイズを削減することが可能となる。
【0140】
図19は、予測テーブルのデータサイズを削減するための構成例について示す図である。
図19に示すように、予測テーブル生成部264には、減算器275がさらに追加される。
【0141】
図19では例として、RSSI値が8ビットで表されるとする。この場合、遅延器271,272から出力されるRSSI値も8ビットのデータとなる。また、RSSI予測部273における現サンプルの入力値としても、遅延器271からの8ビットのRSSI値が入力される。
【0142】
一方、減算器275は、遅延器271からの8ビットのRSSI値と、遅延器272からの8ビットのRSSI値との差分を計算することで、ビット数を例えば6ビットに減らしたRSSI値を生成する。生成された6ビットのRSSI値は、RSSI予測部273における前サンプルの入力値として入力される。
【0143】
このような構成により、予測テーブル212のアドレスのビット数(RSSI入力値の合計ビット数)を削減できる。その結果、予測テーブル212のデータサイズを削減できる。また、RSSI値のあるサンプルとその前のサンプルとの間では、値が大きく変化する可能性は低い。このため、上記の減算器275によってRSSI入力値の一方のビット数を減らしても、予測テーブル212を用いた予測精度が低下する可能性は低い。すなわち、上記構成により、予測精度を低下させることなく、予測テーブル212のデータサイズを削減できる。
【0144】
なお、上記の各実施の形態に示した装置(例えば、画像送信装置1,100、画像伝送制御装置4、サーバ200)の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、磁気テープなどがある。光ディスクには、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:BD、登録商標)などがある。
【0145】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CDなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0146】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【0147】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【0148】
1 画像送信装置
2,3 無線通信装置
4 画像伝送制御装置
11 記憶部
12 制御部
21 関係情報
S1~S5 ステップ