IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7487789通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム
<>
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図1
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図2
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図3
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図4
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図5
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図6
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図7
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図8
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図9
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図10
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図11
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図12
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図13
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図14
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図15
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図16
  • 特許-通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-13
(45)【発行日】2024-05-21
(54)【発明の名称】通信制御装置、通信制御システム、通信制御方法、及び、通信制御プログラム
(51)【国際特許分類】
   H04N 21/647 20110101AFI20240514BHJP
【FI】
H04N21/647
【請求項の数】 10
(21)【出願番号】P 2022553321
(86)(22)【出願日】2020-09-30
(86)【国際出願番号】 JP2020037203
(87)【国際公開番号】W WO2022070327
(87)【国際公開日】2022-04-07
【審査請求日】2023-03-10
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】水越 康博
【審査官】富樫 明
(56)【参考文献】
【文献】国際公開第2015/174069(WO,A1)
【文献】国際公開第2015/064108(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得する取得部と、
前記取得部によって取得された前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定する帯域推定部と、
前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、前記帯域推定部による推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測する、帯域予測部と、
前記帯域予測部によって予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する決定部と、
を備えた、通信制御装置。
【請求項2】
前記帯域予測部は、前記表示装置による前記第1映像データの受信時刻から、前記第1及び前記第2映像品質情報の受信時間差を差し引いた時刻を基点にして、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測するように構成されている、
請求項1に記載の通信制御装置。
【請求項3】
前記決定部は、前記帯域予測部によって予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に加えて、前記第1及び前記第2撮影装置のそれぞれの撮影の優先度に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定するように構成されている、
請求項1又は2に記載の通信制御装置。
【請求項4】
前記第1及び前記第2映像品質情報には、前記表示装置の識別情報が含まれ、
前記決定部は、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を、前記表示装置の識別情報と紐付けるように構成されている、
請求項1~3の何れか一項に記載の通信制御装置。
【請求項5】
請求項1に記載の通信制御装置と、
前記第1撮影装置と、
前記第2撮影装置と、
前記第1撮影装置によって送信された前記第1映像データ、及び、前記第2撮影装置によって送信された前記第2映像データを、前記ネットワークを介して受信して、その映像を表示させる前記表示装置と、
を備えた、通信制御システム。
【請求項6】
前記表示装置は、
前記第1及び前記第2映像データのそれぞれの受信状況を計測する計測部と、
前記計測部による計測結果を、前記ネットワークを介して前記第1及び前記第2撮影装置のそれぞれにフィードバックするフィードバック送信部と、
を少なくとも有し、
前記第1撮影装置は、
前記表示装置からフィードバックされた前記計測部による計測結果と、前記第1撮影装置によって送信される前記第1映像データの送信状況と、に基づいて、前記表示装置における前記第1映像データの前記第1映像品質情報を検出する第1検出部を少なくとも有し、
前記第2撮影装置は、
前記表示装置からフィードバックされた前記計測部による計測結果と、前記第2撮影装置によって送信される前記第2映像データの送信状況と、に基づいて、前記表示装置における前記第2映像データの前記第2映像品質情報を検出する第2検出部を少なくとも有する、
請求項5に記載の通信制御システム。
【請求項7】
前記第1撮影装置は、
前記第1映像データを暗号化する第1暗号化部と、
前記第1暗号化部によって暗号化された前記第1映像データを送信する第1送信部と、
前記表示装置によってフィードバックされた暗号化された前記計測部による計測結果を受信する第1受信部と、
前記第1受信部によって受信された暗号化された前記計測部による計測結果を復号する第1復号部と、
をさらに有し、
前記第2撮影装置は、
前記第2映像データを暗号化する第2暗号化部と、
前記第2暗号化部によって暗号化された前記第2映像データを送信する第2送信部と、
前記表示装置によってフィードバックされた暗号化された前記計測部による計測結果を受信する第2受信部と、
前記第2受信部によって受信された暗号化された前記計測部による計測結果を復号する第2復号部と、
をさらに有し、
前記表示装置は、
前記第1撮影装置から送信された暗号化された前記第1映像データ、及び、前記第2撮影装置から送信された暗号化された前記第2映像データ、を受信する表示装置側受信部と、
前記表示装置側受信部によって受信された暗号化された前記第1映像データ、及び、暗号化された前記第2映像データ、を復号する表示装置側復号部と、
前記計測部による計測結果を暗号化する表示装置側暗号化部と、
をさらに有し、
前記フィードバック送信部は、前記表示装置側暗号化部によって暗号化された前記計測部による計測結果を、前記ネットワークを介して前記第1撮影装置及び前記第2撮影装置にフィードバックするように構成されている、
請求項6に記載の通信制御システム。
【請求項8】
前記帯域予測部は、前記表示装置による前記第1映像データの受信時刻から、前記第1及び前記第2映像品質情報の受信時間差を差し引いた時刻を基点にして、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測するように構成されている、
請求項5~7の何れか一項に記載の通信制御システム。
【請求項9】
コンピュータが、
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得
した前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定
前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、通信帯域の推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測
した前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する、
信制御方法。
【請求項10】
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得する取得処理と、
前記取得処理において取得された前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定する帯域推定処理と、
前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、前記帯域推定処理における推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測する、帯域予測処理と、
前記帯域予測処理において予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する決定処理と、
コンピュータに実行させる通信制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信制御装置、通信制御システム、通信制御方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体に関する。
【背景技術】
【0002】
特許文献1には、無線区間で映像ストリーミングデータを伝送する際に、無線区間の伝送容量の変化に追従して映像品質を最適化することを特徴とする映像無線伝送装置が開示されている。
【0003】
特許文献2には、ネットワーク状態に合わせて送信データ量を調整するネットワーク帯域調整技術と、送信映像に映っている内容を検知する画像認識技術と、を組み合わせることで、映像にとって重要な情報を優先して送信する映像送信システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2007-329707号公報
【文献】特開2012-080518号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、送信側伝送装置に設けられた適応制御部が、受信側伝送装置における映像データの受信状況を参照せずに、映像データの映像品質の最適化を行っている。つまり、特許文献1では、受信側伝送装置における映像データの受信状況に関する情報が、送信側伝送装置にフィードバックされていない。そのため、送信側伝送装置は、送信側伝送装置から受信側伝送装置に送信される映像データの送信条件を精度良く設定することができない、という課題があった。
【0006】
また、特許文献2では、送信側の端末装置が、受信側の端末装置における映像データの受信状況を参照せずに、映像データの圧縮符号化を行っている。つまり、特許文献2では、受信側の端末装置における映像データの受信状況に関する情報が、送信側の端末装置にフィードバックされていない。そのため、送信側の端末装置は、受信側の端末装置に送信される映像データの送信条件を精度良く設定することができない、という課題があった。
【0007】
本開示は、このような課題を解決するためになされたものであり、精度良く通信条件を設定することが可能な、通信制御装置、通信制御システム、通信制御方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示にかかる通信制御装置は、第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得する取得部と、前記取得部によって取得された前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定する帯域推定部と、前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、前記帯域推定部による推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測する、帯域予測部と、前記帯域予測部によって予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する決定部と、を備える。
【0009】
本開示にかかる通信制御方法は、第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得する取得ステップと、前記取得ステップにおいて取得された前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定する帯域推定ステップと、前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、前記帯域推定ステップにおける推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測する、帯域予測ステップと、前記帯域予測ステップにおいて予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する決定ステップと、を備える。
【0010】
本開示にかかる非一時的なコンピュータ可読媒体は、第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得する取得処理と、前記取得処理において取得された前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定する帯域推定処理と、前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、前記帯域推定処理における推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測する、帯域予測処理と、前記帯域予測処理において予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する決定処理と、を実行させる通信制御プログラムが格納されている。
【発明の効果】
【0011】
本開示により、精度良く通信条件を設定することが可能な、通信制御装置、通信制御システム、通信制御方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【0012】
図1】実施の形態1にかかる通信制御システムの構成例を示すブロック図である。
図2図1に示す通信制御システムに設けられた撮影装置の具体的な構成例を示すブロック図である。
図3図1に示す通信制御システムに設けられた表示装置の具体的な構成例を示すブロック図である。
図4図1に示す通信制御システムに設けられた通信制御装置の具体的な構成例を示すブロック図である。
図5図1に示す通信制御システムの処理の流れを示す図である。
図6図1に示す通信制御システムの処理の流れの詳細を示す図である。
図7図1に示す通信制御システムにおける、各撮影装置から表示装置に送信される映像データの送信条件の決定方法を説明するための図である。
図8図1に示す通信制御システムの第1適用事例を示す図である。
図9図1に示す通信制御システムの第1適用事例の効果を示す図である。
図10図1に示す通信制御システムの第2適用事例の効果を示す図である。
図11】実施の形態2にかかる通信制御システムの構成例を示すブロック図である。
図12図11に示す通信制御システムの処理の流れを示す図である。
図13】構想段階の通信制御システムの構成例を示すブロック図である。
図14図13に示す通信制御システムの処理の流れを示す図である。
図15図13に示す通信制御システムの処理の流れの詳細を示す図である。
図16図13に示す通信制御システムにおける、各撮影装置から表示装置に送信される映像データの送信条件の決定方法を説明するための図である。
図17図13に示す通信制御システムにおける、各撮影装置から表示装置に送信される映像データの送信条件の決定方法を説明するための図である。
【発明を実施するための形態】
【0013】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【0014】
<発明者による事前検討>
実施の形態1に係る通信制御装置及びそれを備えた通信制御システムについて説明する前に、発明者が事前検討した内容について説明する。
【0015】
図13は、実施の形態1に至る前の構想段階の通信制御システム5の構成例を示すブロック図である。
【0016】
図13に示すように、通信制御システム5は、通信制御装置51と、複数の撮影装置52_1~52_N(Nは2以上の整数)と、表示装置53_1と、ネットワーク50と、を備える。ここでは、2個の撮影装置52_1,52_2が設けられた場合を例に説明する。撮影装置52_1,52_2、表示装置53_1、及び、通信制御装置51は、互いにネットワーク50を介して接続されている。
【0017】
撮影装置52_1は、所謂カメラであって、例えば所定位置A1に設置されている。撮影装置52_2は、所謂カメラであって、例えば所定位置A2に設置されている。なお、各撮影装置52_1,52_2には、撮影の優先度が設定されている。撮影の優先度が高いほど高画質の映像データを生成することが要求され、撮影の優先度が低いほど低画質の映像データを生成することが許容される。また、本例では、撮影装置52_1が、撮影装置52_2よりも、ネットワーク50の中継地点から離れた位置に設置されている。したがって、本例では、撮影装置52_1と通信制御装置11との間の距離(通信時間)が、撮影装置52_2と通信制御装置11との間の距離(通信時間)よりも長くなっている。
【0018】
また、撮影装置52_1は、表示装置53_1に送信される映像データの送信状況と、表示装置53_1からフィードバックされた表示装置53_1における映像データの受信状況と、に基づいて、映像データの映像品質情報I1を検出する機能を有する。映像品質情報I1は、例えば、撮影装置52_1から表示装置53_1に送信される映像データのパケット数と、表示装置53_1によって受信された映像データのパケット数と、の差分などである。
【0019】
同様に、撮影装置52_2は、表示装置53_1に送信される映像データの送信状況と、表示装置53_1からフィードバックされた表示装置53_1における映像データの受信状況と、に基づいて、映像データの映像品質情報I2を検出する機能を有する。映像品質情報I2は、例えば、撮影装置52_2から表示装置53_1に送信される映像データのパケット数と、表示装置53_1によって受信された映像データのパケット数と、の差分などである。
【0020】
表示装置53_1は、撮影装置52_1,52_2のそれぞれによる撮影映像を表示させるモニタを有し、例えば車両B1に搭載されている。なお、表示装置53_1は、撮影装置52_1,52_2のそれぞれによる撮影映像をそれぞれ個別のモニタに表示させても良いし、撮影装置52_1,52_2のそれぞれによる撮影映像を共通のモニタに表示させても良い。
【0021】
また、表示装置53_1は、撮影装置52_1からの映像データの受信状況、及び、撮影装置52_2からの映像データの受信状況を計測し、それらの計測結果を撮影装置52_1,52_2にそれぞれフィードバックする機能を有する。
【0022】
通信制御装置51は、適応NW(NetWork)制御装置とも呼ばれ、例えば管理センタCに設置されている。通信制御装置51は、撮影装置52_1,52_2からの映像品質情報I1,I2に基づいて、各撮影装置52_1,52_2から表示装置53_1に送信される映像データの送信条件を制御する。なお、各撮影装置52_1,52_2から表示装置53_1に送信される映像データの送信条件とは、例えば、各撮影装置において設定される映像データのビットレート、フレームレート、解像度などのパラメータのことである。
【0023】
ここで、通信制御装置51は、各撮影装置52_1,52_2から表示装置53_1に送信される映像データの中継(受け渡し)を行わない。それにより、通信制御装置51の負担が軽減される。
【0024】
(通信制御システム5の処理の流れ)
続いて、図14及び図15を用いて、通信制御システム5の処理の流れを説明する。
図14は、通信制御システム5の処理の流れを示す図である。図15は、通信制御システム5の処理の流れの詳細を示す図である。
【0025】
まず、撮影装置52_1は、所定位置A1の周辺領域を撮影した映像である映像データを、ネットワーク50を介して、表示装置53_1に送信する。また、撮影装置52_2は、所定位置A2の周辺領域を撮影した映像である映像データを、ネットワーク50を介して、表示装置53_1に送信する。
【0026】
表示装置53_1は、各撮影装置52_1,52_2から送信された映像データを受信すると、その映像データの映像をモニタに表示させる(時刻T601)。
【0027】
またこのとき、表示装置53_1は、各映像データの受信状況(例えばパケット数)を計測する(時刻T601)。そして、表示装置53_1は、各映像データの受信状況を計測した結果を、ネットワーク50を介して、各映像データに対応する撮影装置に送信(フィードバック)する。
【0028】
撮影装置52_2は、表示装置53_1からフィードバックされた表示装置53_1における映像データの受信状況の計測結果を、ネットワーク50を介して受信する(時刻T602)。そして、撮影装置52_2は、表示装置53_1に送信される映像データの送信状況、及び、表示装置53_1における映像データの受信状況(計測結果)、又は、それらの差分、を含む情報を、映像品質情報I2として、通信制御装置51に送信する。なお、映像品質情報I2は、上記の情報の代わりに、撮影装置52_2において算出された可用帯域の推定値、を含む情報であっても良い。また、映像品質情報I2は、上記の情報に加えて、撮影装置の識別情報なども含んでいる。
【0029】
撮影装置52_1は、表示装置53_1からフィードバックされた表示装置53_1における映像データの受信状況の計測結果を、ネットワーク50を介して受信する(時刻T605)。そして、撮影装置52_1は、表示装置53_1に送信される映像データの送信状況、及び、表示装置53_1における映像データの受信状況(計測結果)、又は、それらの差分、を含む情報を、映像品質情報I1として、通信制御装置51に送信する。なお、映像品質情報I1は、上記の情報の代わりに、撮影装置52_1において算出された可用帯域の推定値、を含む情報であっても良い。また、映像品質情報I1は、上記の情報に加えて、撮影装置の識別情報なども含んでいる。
【0030】
通信制御装置51は、撮影装置52_2から送信された映像品質情報I2を受信すると、当該映像品質情報I2に基づいて、撮影装置52_2から表示装置53_1に送信される映像データの可用通信帯域を推定する(時刻T603)。また、通信制御装置51は、撮影装置52_1から送信された映像品質情報I1を受信すると、当該映像品質情報I1に基づいて、撮影装置52_1から表示装置53_1に送信される映像データの可用通信帯域を推定する(時刻T606)。
【0031】
その後、通信制御装置51は、各映像データの可用通信帯域の推定値、及び、各撮影装置の撮影の優先度に基づいて、各映像データの送信条件を決定する。そして、通信制御装置51は、各撮影装置52_1,52_2に対して、映像データの送信条件を、通信制御装置51によって決定された送信条件に変更するように指示する。換言すると、通信制御装置51は、各撮影装置52_1,52_2に対して、映像の送信に関するパラメータを、通信制御装置51によって決定されたパラメータに変更するように指示する。それにより、撮影装置52_1,52_2には、それぞれ通信制御装置51によって決定された送信条件のパラメータが設定される(時刻T607,T604)。
【0032】
なお、撮影の優先度が高いほど高画質の映像データを生成することが要求されるため、撮影の優先度が高いほど、ビットレート、フレームレート、解像度などはできるだけ高い状態に維持される。それに対し、撮影の優先度が低いほど低画質の映像データを生成することが許容されるため、撮影の優先度が低いほど、ビットレート、フレームレート、解像度などは低くなるように調整される。
【0033】
このように、通信制御システム5では、通信制御装置51が、表示装置53_1からフィードバックされた表示装置53_1における映像データの受信状況を参照して、各撮影装置から表示装置に送信される映像データの送信条件を制御している。それにより、通信制御装置51は、各撮影装置から表示装置に送信される映像データの送信条件を精度良く制御することができる。また、リアルタイムな撮影映像の伝送を実現することができる。
【0034】
さらに、通信制御システム5では、通信制御装置51が、各撮影装置52_1,52_2から表示装置53_1に送信される映像データの中継(受け渡し)を行わない。それにより、通信制御装置51の負担が軽減される。
【0035】
なお、本例では、撮影装置52_1と通信制御装置51との間の距離が、撮影装置52_2と通信制御装置51との間の距離よりも長い。そのため、通信制御装置51が撮影装置52_1からの映像品質情報I1を受信する時刻(時刻T606)は、通信制御装置51が撮影装置52_2からの映像品質情報I2を受信する時刻(時刻T603)よりも遅くなる。そのため、撮影装置52_1から表示装置53_1に送信される映像データの可用通信帯域を推定する時刻(時刻T606)は、撮影装置52_2から表示装置53_1に送信される映像データの可用通信帯域を推定する時刻(時刻T603)よりも遅くなる。それにより、撮影装置52_1の送信条件の更新時刻(時刻T607)が、撮影装置52_2の送信条件の更新時刻(時刻T604)よりも遅くなる。つまり、撮影装置52_1の送信条件の更新時刻と、撮影装置52_2の送信条件の更新時刻(時刻T604)と、の間には時間差が生じる。
【0036】
図16及び図17は、通信制御システム5における、各撮影装置から表示装置に送信される映像データの送信条件の決定方法を説明するための図である。
【0037】
図16に示すように、まず、撮影装置52_2から表示装置53_1に送信された映像データの時刻T601の時点の可用通信帯域X51が推定される。この時刻T601の時点の可用通信帯域(推定値)X51を基点として、時刻T601以降の可用通信帯域が予測される(図中の帯域予測曲線X52)。この帯域予測曲線X52のうち、撮影装置52_2に設定された送信条件の更新時刻である時刻T604の時点での最小値X53が、撮影装置52_2による映像データの通信帯域(送信条件の一つ)として採用される。
【0038】
なお、実際は、図17に示すように、時刻T601には、撮影装置52_2から表示装置53_1に映像データが送信されているだけでなく、撮影装置52_1からも表示装置53_1に映像データが送信されている。そのため、通信制御装置51において2つの可用通信帯域の推定結果が混ざった場合、帯域予測曲線X52とは異なる帯域予測曲線X52’が形成される可能性がある。その場合、帯域予測曲線X52’のうち、撮影装置52_2に設定された送信条件の更新時刻である時刻T604での最小値X53’が、撮影装置52_2による映像データの通信帯域として採用される。
【0039】
続けて、実施の形態1にかかる通信制御システムについて説明する。実施の形態1にかかる通信制御システム1は、通信制御システム5の場合よりも、さらに映像データの通信条件を精度良く制御することを可能にしている。
【0040】
<実施の形態1>
図1は、実施の形態1にかかる通信制御システム1の構成例を示すブロック図である。
【0041】
図1に示すように、通信制御システム1は、通信制御装置11と、複数の撮影装置12_1~12_N(Nは2以上の整数)と、表示装置13_1と、ネットワーク40と、を備える。本実施の形態では、2個の撮影装置12_1,12_2が設けられた場合を例に説明する。撮影装置12_1,12_2、表示装置13_1、及び、通信制御装置11は、互いにネットワーク40を介して接続されている。
【0042】
(撮影装置12_1,12_2)
撮影装置12_1は、所謂カメラであって、例えば所定位置A1に設置されている。撮影装置12_2は、所謂カメラであって、例えば所定位置A2に設置されている。なお、各撮影装置12_1,12_2には、撮影の優先度が設定されている。撮影の優先度が高いほど高画質の映像データを生成することが要求され、撮影の優先度が低いほど低画質の映像データを生成することが許容される。また、本実施の形態では、撮影装置12_1が、撮影装置12_2よりも、ネットワーク40の中継地点から離れた位置に設置されている場合を例に説明する。したがって、本実施の形態では、撮影装置12_1と通信制御装置11との間の距離(通信時間)が、撮影装置12_2と通信制御装置11との間の距離(通信時間)よりも長くなっている。
【0043】
また、撮影装置12_1は、表示装置13_1に送信される映像データの送信状況と、表示装置13_1からフィードバックされた表示装置13_1における映像データの受信状況と、に基づいて、映像データの映像品質情報I1を検出する機能を有する。映像品質情報I1は、例えば、撮影装置12_1から表示装置13_1に送信される映像データのパケット数と、表示装置13_1によって受信された映像データのパケット数と、の差分などである。
【0044】
同様に、撮影装置12_2は、表示装置13_1に送信される映像データの送信状況と、表示装置13_1からフィードバックされた表示装置13_1における映像データの受信状況と、に基づいて、映像データの映像品質情報I2を検出する機能を有する。映像品質情報I2は、例えば、撮影装置12_2から表示装置13_1に送信される映像データのパケット数と、表示装置13_1によって受信された映像データのパケット数と、の差分などである。
【0045】
(撮影装置12_1の具体的な構成例)
図2は、撮影装置12_1の具体的な構成例を示すブロック図である。撮影装置12_2の構成については、映像品質情報I1が映像品質情報I2に置き換わる以外、撮影装置12_1の構成と基本的には同じであるため、その説明を省略する。
【0046】
図2に示すように、撮影装置12_1は、撮影部121と、通信部122と、暗号化部123と、復号部124と、映像品質情報検出部125と、制御部126と、を少なくとも備える。
【0047】
撮影部121は、所定位置A1の周辺を撮影する。
暗号化部123は、撮影部121による撮影映像である映像データを暗号化する。
【0048】
通信部122は、ネットワーク40と通信を行う。それにより、通信部122を搭載した撮影装置12_1は、ネットワーク40に接続された他の装置(表示装置13_1、通信制御装置11等)と通信することが可能となる。
【0049】
例えば、通信部122は、暗号化部123によって暗号化された映像データを、ネットワーク40を介して表示装置13_1に送信したり、表示装置13_1から送信されたフィードバックデータを、ネットワーク40を介して受信したりする。また、通信部122は、映像品質情報I1を通信制御装置11に送信したり、通信制御装置11から送信された映像データの送信条件の変更指示を受信したりする。
【0050】
復号部124は、暗号化されたデータを復号する。例えば、復号部124は、表示装置13_1からフィードバックされた暗号化データ(表示装置13_1における映像データの受信状況に関する暗号化データ)を復号する。
【0051】
映像品質情報検出部125は、撮影装置12_1から表示装置13_1に送信される映像データの送信状況と、表示装置13_1からフィードバックされた表示装置13_1における映像データの受信状況と、に基づいて、映像データの映像品質情報I1を検出する。映像品質情報I1は、例えば、撮影装置12_1から表示装置13_1に送信される映像データのパケット数と、表示装置13_1によって受信された映像データのパケット数と、の差分などである。
【0052】
制御部126は、撮影装置12_1に設けられた各ブロックの全般的な制御を行う。
【0053】
(表示装置13_1)
表示装置13_1は、撮影装置12_1,12_2のそれぞれによる撮影映像を表示させるモニタを有し、例えば車両B1に搭載されている。なお、表示装置13_1は、撮影装置12_1,12_2のそれぞれによる撮影映像をそれぞれ個別のモニタに表示させても良いし、撮影装置12_1,12_2のそれぞれによる撮影映像を共通のモニタに表示させても良い。
【0054】
また、表示装置13_1は、撮影装置12_1からの映像データの受信状況、及び、撮影装置12_2からの映像データの受信状況を計測し、それらの計測結果を撮影装置12_1,12_2にそれぞれフィードバックする機能を有する。
【0055】
(表示装置13_1の具体的な構成例)
図3は、表示装置13_1の具体的な構成例を示すブロック図である。
【0056】
図3に示すように、表示装置13_1は、通信部131と、表示部132と、復号部133と、暗号化部134と、受信状況計測部135と、を少なくとも備える。
【0057】
通信部131は、ネットワーク40と通信を行う。それにより、通信部131を搭載した表示装置13_1は、ネットワーク40に接続された他の装置(撮影装置12_1,12_2、通信制御装置11等)と通信することが可能となる。
【0058】
例えば、通信部131は、各撮影装置12_1,12_2から送信された映像データを、ネットワーク40を介して受信したり、各映像データの受信状況の計測結果を、ネットワーク40を介して各映像データに対応する撮影装置に送信(フィードバック)したりする。したがって、通信部131は、フィードバック送信部ということもできる。
【0059】
復号部133は、暗号化されたデータを復号する。例えば、復号部133は、各撮影装置12_1,12_2からの暗号化された映像データを復号する。
【0060】
表示部132は、所謂モニタであって、復号部133によって復号された各映像データの映像を表示する。受信状況計測部135は、復号部133によって復号された各映像データの受信状況を計測する。暗号化部134は、受信状況計測部135による計測結果を暗号化する。
【0061】
暗号化部134によって暗号化された各映像データの受信状況の計測結果は、フィードバックデータとして、通信部131によって、ネットワーク40を介して、各映像データに対応する撮影装置に送信される。
【0062】
(通信制御装置11)
通信制御装置11は、適応NW(NetWork)制御装置とも呼ばれ、例えば管理センタCに設置されている。通信制御装置11は、撮影装置12_1,12_2からの映像品質情報I1,I2に基づいて、各撮影装置12_1,12_2から表示装置13_1に送信される映像データの送信条件を制御する。なお、各撮影装置12_1,12_2から表示装置13_1に送信される映像データの送信条件とは、例えば、各撮影装置において設定される映像データのビットレート、フレームレート、解像度などのパラメータのことである。
【0063】
ここで、通信制御装置11は、各撮影装置12_1,12_2から表示装置13_1に送信される映像データの中継(受け渡し)を行わない。それにより、通信制御装置11の負担が軽減される。
【0064】
(通信制御装置11の具体的な構成例)
図4は、通信制御装置11の具体的な構成例を示すブロック図である。
【0065】
図4に示すように、通信制御装置11は、通信部111と、制御部112と、を少なくとも備える。
【0066】
通信部111は、ネットワーク40と通信を行う。それにより、通信部131を搭載した通信制御装置11は、ネットワーク40に接続された他の装置(撮影装置12_1,12_2、表示装置13_1)と通信することが可能となる。
【0067】
例えば、通信部111は、撮影装置12_1,12_2のそれぞれから送信された映像品質情報I1,I2を受信(取得)したり、撮影装置12_1,12_2のそれぞれに対して映像データの送信条件の変更指示を送信したりする。通信部111は、映像品質情報I1,I2を取得する取得部ということもできる。
【0068】
制御部112は、取得した映像品質情報I1,I2に基づいて、各撮影装置12_1,12_2から表示装置13_1に送信される映像データの送信条件を制御する。
【0069】
具体的には、制御部112は、帯域推定部1121と、帯域予測部1122と、パラメータ決定部1123と、を有する。
【0070】
帯域推定部1121は、映像品質情報I1,I2のうち先に取得した映像品質情報から、当該先に取得した映像品質情報に対応する映像データの可用通信帯域を推定する。帯域予測部1122は、映像品質情報I1,I2の受信時間差に基づいて、映像品質情報I1,I2のうち後に取得した映像品質情報に対応する映像データの帯域予測曲線を算出する。
【0071】
ここで、本実施の形態では、撮影装置12_1と通信制御装置11との間の距離が、撮影装置12_2と通信制御装置11との間の距離よりも長い。したがって、通信制御装置11による映像品質情報I1の取得時刻は、通信制御装置11による映像品質情報I2の取得時刻よりも遅くなる。
【0072】
そのため、帯域推定部1121は、映像品質情報I1,I2のうち先に取得した映像品質情報I2から、当該映像品質情報I2に対応する映像データ(即ち、撮影装置12_2から表示装置13_1に送信される映像データ)の可用通信帯域を推定する。また、帯域予測部1122は、映像品質情報I1,I2の受信時間差に基づいて、映像品質情報I1,I2のうち後に取得した映像品質情報I1に対応する映像データ(即ち、撮影装置12_1から表示装置13_1に送信される映像データ)の帯域予測曲線を算出する。具体的には、帯域予測部1122は、表示装置13_1が撮影装置12_1,12_2から映像データを受信した時刻よりも、映像品質情報I1,I2の受信時間差分前の時刻を基点として、撮影装置12_1向けの帯域予測曲線を算出する。実際には、帯域予測部1122は、帯域推定部1121によって推定された可用通信帯域の推定値を基点にして帯域予測曲線を算出した後、この算出した帯域予測曲線を、映像品質情報I1,I2の受信時間差分前の時刻までシフトさせている。なお、このとき、帯域予測曲線は、帯域推定部1121によって推定された可用通信帯域の推定値を通過するようにシフトされる。
【0073】
さらに、帯域予測部1122は、帯域推定部1121によって推定された可用通信帯域と、帯域予測部1122によって算出された帯域予測曲線と、に基づいて、撮影装置12_1,12_2に共通の帯域予測曲線(全体帯域予測曲線)を算出する。即ち、帯域予測部1122は、撮影装置12_2から表示装置13_1に送信される映像データの可用通信帯域と、撮影装置12_1から表示装置13_1に送信される映像データの帯域予測曲線と、に基づいて、撮影装置12_1,12_2に共通の帯域予測曲線(全体帯域予測曲線)を算出する。
【0074】
パラメータ決定部1123は、撮影装置12_1,12_2に共通の帯域予測曲線(全体帯域予測曲線)を用いて、撮影装置12_1,12_2から表示装置13_1に送信される映像データのそれぞれの送信条件を決定する。
【0075】
(通信制御システム1の処理の流れ)
続いて、図5及び図6を用いて、通信制御システム1の処理の流れを説明する。
図5は、通信制御システム1の処理の流れを示す図である。図6は、通信制御システム1の処理の流れの詳細を示す図である。
【0076】
なお、本実施の形態では、撮影装置12_1と通信制御装置11との間の距離が、撮影装置12_2と通信制御装置11との間の距離よりも長い。したがって、通信制御装置11による映像品質情報I1の取得時刻は、通信制御装置11による映像品質情報I2の取得時刻よりも遅くなる。
【0077】
また、本実施の形態では、撮影装置12_1,12_2及び表示装置13_1のそれぞれにおいて、送信データの暗号化、及び、受信データの復号が行われているが、以下の説明では省略されている。
【0078】
まず、通信制御装置11と各撮影装置12_1,12_2との間で時刻同期が行われる。
【0079】
例えば、撮影装置12_1は、通信制御装置11にダミーデータを送信するとともに、その送信時刻T101を記録する。通信制御装置11は、ダミーデータを受信すると、その受信時刻T102の情報を撮影装置12_1に返信する。撮影装置12_1は、通信制御装置11の返信を受信すると、その受信時刻T103を記録する。そして、撮影装置12_1は、時刻T101、T102、T103の情報を用いて、以下の式(1)のようにして時刻差ΔT1を算出する。
【0080】
ΔT1=T102-(T101+T103)/2 ・・・(1)
【0081】
撮影装置12_1の時刻に時刻差ΔT1を加えることで、撮影装置12_1の時刻は補正される。
【0082】
同様にして、撮影装置12_2は、通信制御装置11にダミーデータを送信するとともに、その送信時刻T201を記録する。通信制御装置11は、ダミーデータを受信すると、その受信時刻T202の情報を撮影装置12_2に返信する。撮影装置12_2は、通信制御装置11の返信を受信すると、その受信時刻T203を記録する。そして、撮影装置12_2は、時刻T201、T202、T203の情報を用いて、以下の式(2)のようにして時刻差ΔT2を算出する。
【0083】
ΔT2=T202-(T201+T203)/2 ・・・(2)
【0084】
撮影装置12_2の時刻に時刻差ΔT2を加えることで、撮影装置12_2の時刻は補正される。
【0085】
このようにして、通信制御装置11と各撮影装置12_1,12_2との間で時刻同期が行われる。なお、時刻同期の手法は、上述の手法に限られない。例えば、各撮影装置12_1,12_2の時刻を予め補正しておく代わりに、撮影装置12_1,12_2による映像データの送信のたびに、それぞれ時刻差ΔT1,ΔT2を差し引いて時刻を算出しても良い。或いは、通信制御装置11と各撮影装置12_1,12_2とがそれぞれグローバルな時刻サーバによって時刻同期されても良い。
【0086】
時刻同期後、撮影装置12_1は、所定位置A1の周辺領域を撮影した映像である映像データを、ネットワーク40を介して、表示装置13_1に送信する。また、撮影装置12_2は、所定位置A2の周辺領域を撮影した映像である映像データを、ネットワーク40を介して、表示装置13_1に送信する。
【0087】
表示装置13_1は、各撮影装置12_1,12_2から送信された映像データを受信すると、その映像データの映像をモニタに表示させる(時刻T301)。
【0088】
またこのとき、表示装置13_1は、各映像データの受信状況(例えばパケット数)を計測する(時刻T301)。そして、表示装置13_1は、各映像データの受信状況を計測した結果を、ネットワーク40を介して、各映像データに対応する撮影装置に送信(フィードバック)する。
【0089】
撮影装置12_2は、表示装置13_1からフィードバックされた表示装置13_1における映像データの受信状況の計測結果を、ネットワーク40を介して受信する(時刻T302)。そして、撮影装置12_2は、表示装置13_1に送信される映像データの送信状況、及び、表示装置13_1における映像データの受信状況(計測結果)、又は、それらの差分、を含む情報を、映像品質情報I2として、通信制御装置11に送信する。なお、映像品質情報I2は、上記の情報の代わりに、撮影装置12_2において算出された可用帯域の推定値、を含む情報であっても良い。また、映像品質情報I2は、上記の情報に加えて、撮影装置の識別情報なども含んでいる。
【0090】
撮影装置12_1は、表示装置13_1からフィードバックされた表示装置13_1における映像データの受信状況の計測結果を、ネットワーク40を介して受信する(時刻T305)。そして、撮影装置12_1は、表示装置13_1に送信される映像データの送信状況、及び、表示装置13_1における映像データの受信状況(計測結果)、又は、それらの差分、を含む情報を、映像品質情報I1として、通信制御装置11に送信する。なお、映像品質情報I1は、上記の情報の代わりに、撮影装置12_1において算出された可用帯域の推定値、を含む情報であっても良い。また、映像品質情報I1は、上記の情報に加えて、撮影装置の識別情報なども含んでいる。
【0091】
通信制御装置11は、撮影装置12_2からの映像品質情報I2を映像品質情報I1よりも先に受信すると、当該映像品質情報I2に基づいて、時刻T301における撮影装置12_2から表示装置13_1に送信される映像データの可用通信帯域を推定する(時刻T303)。
【0092】
またこのとき、通信制御装置11は、映像品質情報I1,I2の受信時間差(T306-T303)に基づいて、撮影装置12_1から表示装置13_1に送信される映像データの帯域予測曲線を算出する(時刻T303)。具体的には、通信制御装置11は、表示装置13_1が撮影装置12_1,12_2から映像データを受信した時刻T301よりも、映像品質情報I1,I2の受信時間差(T306-T303)分前の時刻を基点として、撮影装置12_1向けの帯域予測曲線を算出する。なお、映像品質情報I1,I2の受信時間差の情報は、過去の通知時刻等から予め取得されているものとする。
【0093】
さらに、通信制御装置11は、撮影装置12_2から表示装置13_1に送信される映像データの可用通信帯域と、撮影装置12_1から表示装置13_1に送信される映像データの帯域予測曲線と、に基づいて、撮影装置12_1,12_2に共通の帯域予測曲線を算出する(時刻T303)。
【0094】
そして、通信制御装置11は、少なくとも撮影装置12_1,12_2に共通の帯域予測曲線に基づいて、撮影装置12_1,12_2から表示装置13_1に送信される映像データのそれぞれの送信条件を決定する(時刻T303)。本例では、通信制御装置11は、撮影装置12_1,12_2に共通の帯域予測曲線に加えて、撮影装置12_1,12_2の撮影の優先度に基づいて、撮影装置12_1,12_2から表示装置13_1に送信される映像データのそれぞれの送信条件を決定している。
【0095】
なお、撮影の優先度が高いほど高画質の映像データを生成することが要求されるため、撮影の優先度が高いほど、ビットレート、フレームレート、解像度などはできるだけ高い状態に維持される。それに対し、撮影の優先度が低いほど低画質の映像データを生成することが許容されるため、撮影の優先度が低いほど、ビットレート、フレームレート、解像度などは低くなるように調整される。
【0096】
そして、通信制御装置11は、各撮影装置12_1,12_2に対して、映像データの送信条件を、通信制御装置11によって決定された送信条件に変更するように指示する。換言すると、通信制御装置11は、各撮影装置12_1,12_2に対して、映像の送信に関するパラメータを、通信制御装置11によって決定されたパラメータに変更するように指示する。それにより、撮影装置12_1,12_2には、それぞれ通信制御装置11によって決定された送信条件のパラメータが設定される(時刻T307,T304)。
【0097】
図7は、通信制御システム1における、各撮影装置から表示装置に送信される映像データの送信条件の決定方法を説明するための図である。
【0098】
図7に示すように、まず、撮影装置12_2から表示装置13_1に送信された映像データの時刻T301の時点の可用通信帯域X11が推定される。また、時刻T301から映像品質情報I1,I2の受信時間差(T306-T303)を差し引いた時刻を基点として、撮影装置12_1から表示装置13_1に送信された映像データの帯域予測曲線X12が算出される。その後、可用通信帯域X11と、撮影装置12_1の帯域予測曲線X12と、に基づいて、撮影装置12_1,12_2に共通の帯域予測曲線X13が算出される。帯域予測曲線X13のうち、撮影装置12_2に設定された送信条件の更新時刻である時刻T304での最小値X14が、撮影装置12_2による映像データの通信帯域として採用される。また、帯域予測曲線X13のうち、撮影装置12_1に設定された送信条件の更新時刻である時刻T307での最小値X15が、撮影装置12_1による映像データの通信帯域として採用される。通信帯域X14,X15は、可用通信帯域を超えていない。
【0099】
このように、通信制御装置11は、撮影装置12_1からの映像品質情報I1の受信を待たずに、撮影装置12_2の送信条件の決定と同時に、撮影装置12_1の送信条件を決定することができる。それにより、通信制御装置11は、撮影装置12_1,12_2のそれぞれの送信条件の更新時刻のずれを縮めることができるため、各撮影装置12_1,12_2に対して精度良く送信条件を設定することができる。
【0100】
また、通信制御装置11は、映像品質情報I1,I2の受信時間差を考慮して撮影装置12_1向けの帯域予測曲線を算出するとともに、その算出結果を用いて、撮影装置12_1,12_2に共通の帯域予測曲線を算出している。それにより、撮影装置12_1,12_2のそれぞれの送信条件の設定の際に、複数の可用通信帯域の推定結果の混在が発生しないため、通信制御装置11は、各撮影装置12_1,12_2に対して精度良く送信条件を設定することができる。
【0101】
本実施の形態では、撮影装置12_1が所定位置A1に設置され、撮影装置12_2が所定位置A2に設置された場合を例に説明したが、これに限られない。撮影装置12_1,12_2は共通の又はそれぞれ異なる車両に搭載されていても良い。
【0102】
(通信制御システム1の第1適用事例)
続いて、図8及び図9を用いて、通信制御システム1の第1適用事例を説明する。
図8は、通信制御システム1の第1適用事例を示す図である。図9は、通信制御システム1の第1適用事例の効果を示す図である。
【0103】
図8の例では、通信制御システム1が日本国内に適用されている。本例では、ネットワーク40の中継地点IX(Internet eXchange)と撮影装置12_1との間の通信時間は片道47msec(ミリ秒)となっている。中継地点IXと撮影装置12_2との間の通信時間は片道5msecとなっている。中継地点IXと、表示装置13_1が搭載された車両B1と、の間の通信時間は片道30msecとなっている。また、中継地点IXと、通信制御装置11が設置された管理センタCと、の間の通信時間は片道3msecとなっている。なお、本例では、100msec周期で制御が行われるものとする。
【0104】
図9を参照すると、撮影装置12_2,12_1のそれぞれの送信条件の更新時刻の差(T307-T304)は、42msecとなり、通信制御システム1を適用しない場合の更新時刻の差(T307’-T304)である126msecよりも短縮される。
【0105】
(通信制御システム1の第2適用事例)
次に、図10を用いて、通信制御システム1の第2適用事例を説明する。
図10は、通信制御システム1の第2適用事例の効果を示す図である。
【0106】
本例では、通信制御システム1が日本国内のみならず海外にも適用されている。本例では、ネットワーク40の中継地点IXと撮影装置12_1との間の通信時間は片道170msec(ミリ秒)となっている。中継地点IXと撮影装置12_2との間の通信時間は片道5msecとなっている。中継地点IXと、表示装置13_1が搭載された車両B1と、の間の通信時間は片道25msecとなっている。また、中継地点IXと、通信制御装置11が設置された管理センタCと、の間の通信時間は片道3msecとなっている。
【0107】
図10を参照すると、撮影装置12_2,12_1のそれぞれの送信条件の更新時刻の差(T307-T304)は、165msecとなり、通信制御システム1を適用しない場合の更新時刻の差(T307’-T304)である495msecよりも6割以上短縮される。
【0108】
<実施の形態2>
図11は、実施の形態2にかかる通信制御システム2の構成例を示すブロック図である。また、図12は、通信制御システム2の処理の流れを示す図である。
【0109】
図11に示すように、通信制御システム2は、通信制御システム1と比較して、表示装置13_2をさらに備える。通信制御システム2のその他の構成については、通信制御装置11の場合と同様であるため、その説明を省略する。
【0110】
表示装置13_1は、撮影装置12_1による撮影映像を表示させるモニタを有し、例えば車両B1に搭載されている。表示装置13_2は、撮影装置12_2による撮影映像を表示させるモニタを有し、例えば車両B2に搭載されている。
【0111】
ここで、表示装置13_1から撮影装置12_1にフィードバックされるデータには、表示装置13_1の識別情報Y1が含まれている。識別情報Y1とは、例えば表示装置13_1に割り当てられたIPアドレスである。撮影装置12_1は、この識別情報Y1が含まれた映像品質情報I1を通信制御装置11に送信する。また、表示装置13_2から撮影装置12_2にフィードバックされるデータには、表示装置13_2の識別情報Y2が含まれている。識別情報Y2とは、例えば表示装置13_2に割り当てられたIPアドレスである。撮影装置12_2は、この識別情報Y2が含まれた映像品質情報I2を通信制御装置11に送信する。
【0112】
通信制御装置11は、撮影装置12_1から表示装置13_1に送信される映像データの送信条件、及び、撮影装置12_2から表示装置13_2に送信される映像データの送信条件を、それぞれ識別情報Y1,Y2と紐付ける。それにより、通信制御装置11は、撮影装置12_1から表示装置13_1に送信される映像データの送信条件、及び、撮影装置12_2から表示装置13_2に送信される映像データの送信条件を個別に制御することが可能となる。
【0113】
なお、本実施の形態では、表示装置13_1が、撮影装置12_1による撮影映像のみをモニタに表示させる場合を例に説明したが、これに限られない。例えば、表示装置13_1は、撮影装置12_1,12_2のそれぞれによる撮影映像をモニタに表示させても良い。同様に、本実施の形態では、表示装置13_2が、撮影装置12_2による撮影映像のみをモニタに表示させる場合を例に説明したが、これに限られない。例えば、表示装置13_2は、撮影装置12_1,12_2のそれぞれによる撮影映像をモニタに表示させても良い。
【0114】
この場合、表示装置13_1から撮影装置12_1,12_2のそれぞれにフィードバックされるデータには、表示装置13_1の識別情報Y1が含まれている。撮影装置12_1は、識別情報Y1が含まれた映像品質情報I1a(I1に対応)を通信制御装置11に送信する。撮影装置12_2は、識別情報Y1が含まれた映像品質情報I2a(I2に対応)を通信制御装置11に送信する。そして、通信制御装置11は、撮影装置12_1から表示装置13_1に送信される映像データの送信条件、及び、撮影装置12_2から表示装置13_1に送信される映像データの送信条件を、何れも識別情報Y1と紐付ける。
【0115】
また、表示装置13_2から撮影装置12_1,12_2のそれぞれにフィードバックされるデータには、表示装置13_2の識別情報Y2が含まれている。撮影装置12_1は、識別情報Y2が含まれた映像品質情報I1b(I1に対応)を通信制御装置11に送信する。撮影装置12_2は、識別情報Y2が含まれた映像品質情報I2b(I2に対応)を通信制御装置11に送信する。そして、通信制御装置11は、撮影装置12_1から表示装置13_2に送信される映像データの送信条件、及び、撮影装置12_2から表示装置13_2に送信される映像データの送信条件を、何れも識別情報Y2と紐付ける。
【0116】
それにより、通信制御装置11は、撮影装置12_1,12_2のそれぞれから表示装置13_1に送信される映像データを個別に制御可能になり、撮影装置12_1,12_2のそれぞれから表示装置13_2に送信される映像データを個別に制御可能になる。
【0117】
なお、本開示は、ハードウェアの処理として説明した任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
【0118】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。また、非一時的なコンピュータ可読媒体の例は、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0119】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0120】
(付記1)
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得する取得部と、
前記取得部によって取得された前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定する帯域推定部と、
前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、前記帯域推定部による推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測する、帯域予測部と、
前記帯域予測部によって予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する決定部と、
を備えた、通信制御装置。
【0121】
(付記2)
前記帯域予測部は、前記表示装置による前記第1映像データの受信時刻から、前記第1及び前記第2映像品質情報の受信時間差を差し引いた時刻を基点にして、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測するように構成されている、
付記1に記載の通信制御装置。
【0122】
(付記3)
前記決定部は、前記帯域予測部によって予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に加えて、前記第1及び前記第2撮影装置のそれぞれの撮影の優先度に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定するように構成されている、
付記1又は2に記載の通信制御装置。
【0123】
(付記4)
前記第1及び前記第2映像品質情報には、前記表示装置の識別情報が含まれ、
前記決定部は、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を、前記表示装置の識別情報と紐付けるように構成されている、
付記1~3の何れか一項に記載の通信制御装置。
【0124】
(付記5)
付記1に記載の通信制御装置と、
前記第1撮影装置と、
前記第2撮影装置と、
前記第1撮影装置によって送信された前記第1映像データ、及び、前記第2撮影装置によって送信された前記第2映像データを、前記ネットワークを介して受信して、その映像を表示させる前記表示装置と、
を備えた、通信制御システム。
【0125】
(付記6)
前記表示装置は、
前記第1及び前記第2映像データのそれぞれの受信状況を計測する計測部と、
前記計測部による計測結果を、前記ネットワークを介して前記第1及び前記第2撮影装置のそれぞれにフィードバックするフィードバック送信部と、
を少なくとも有し、
前記第1撮影装置は、
前記表示装置からフィードバックされた前記計測部による計測結果と、前記第1撮影装置によって送信される前記第1映像データの送信状況と、に基づいて、前記表示装置における前記第1映像データの前記第1映像品質情報を検出する第1検出部を少なくとも有し、
前記第2撮影装置は、
前記表示装置からフィードバックされた前記計測部による計測結果と、前記第2撮影装置によって送信される前記第2映像データの送信状況と、に基づいて、前記表示装置における前記第2映像データの前記第2映像品質情報を検出する第2検出部を少なくとも有する、
付記5に記載の通信制御システム。
【0126】
(付記7)
前記第1撮影装置は、
前記第1映像データを暗号化する第1暗号化部と、
前記第1暗号化部によって暗号化された前記第1映像データを送信する第1送信部と、
前記表示装置によってフィードバックされた暗号化された前記計測部による計測結果を受信する第1受信部と、
前記第1受信部によって受信された暗号化された前記計測部による計測結果を復号する第1復号部と、
をさらに有し、
前記第2撮影装置は、
前記第2映像データを暗号化する第2暗号化部と、
前記第2暗号化部によって暗号化された前記第2映像データを送信する第2送信部と、
前記表示装置によってフィードバックされた暗号化された前記計測部による計測結果を受信する第2受信部と、
前記第2受信部によって受信された暗号化された前記計測部による計測結果を復号する第2復号部と、
をさらに有し、
前記表示装置は、
前記第1撮影装置から送信された暗号化された前記第1映像データ、及び、前記第2撮影装置から送信された暗号化された前記第2映像データ、を受信する表示装置側受信部と、
前記表示装置側受信部によって受信された暗号化された前記第1映像データ、及び、暗号化された前記第2映像データ、を復号する表示装置側復号部と、
前記計測部による計測結果を暗号化する表示装置側暗号化部と、
をさらに有し、
前記フィードバック送信部は、前記表示装置側暗号化部によって暗号化された前記計測部による計測結果を、前記ネットワークを介して前記第1撮影装置及び前記第2撮影装置にフィードバックするように構成されている、
付記6に記載の通信制御システム。
【0127】
(付記8)
前記帯域予測部は、前記表示装置による前記第1映像データの受信時刻から、前記第1及び前記第2映像品質情報の受信時間差を差し引いた時刻を基点にして、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測するように構成されている、
付記5~7の何れか一項に記載の通信制御システム。
【0128】
(付記9)
前記決定部は、前記帯域予測部によって予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に加えて、前記第1及び前記第2撮影装置のそれぞれの撮影の優先度に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定するように構成されている、
付記5~8の何れか一項に記載の通信制御システム。
【0129】
(付記10)
前記第1及び前記第2映像品質情報には、前記表示装置の識別情報が含まれ、
前記決定部は、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を、前記表示装置の識別情報と紐付けるように構成されている、
付記5~9の何れか一項に記載の通信制御システム。
【0130】
(付記11)
前記第1撮影装置及び前記第2撮影装置は、それぞれ異なる所定の位置に設置され、
前記表示装置は、車両に搭載され、
前記通信制御装置は、管理センサに設置されている、
付記5~10の何れか一項に記載の通信制御システム。
【0131】
(付記12)
前記第1撮影装置、前記第2撮影装置、及び、前記表示装置は、それぞれ異なる車両に搭載され、
前記通信制御装置は、管理センサに設置されている、
付記5~10の何れか一項に記載の通信制御システム。
【0132】
(付記13)
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得する取得ステップと、
前記取得ステップにおいて取得された前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定する帯域推定ステップと、
前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、前記帯域推定ステップにおける推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測する、帯域予測ステップと、
前記帯域予測ステップにおいて予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する決定ステップと、
を備えた、通信制御方法。
【0133】
(付記14)
前記帯域予測ステップでは、前記表示装置による前記第1映像データの受信時刻から、前記第1及び前記第2映像品質情報の受信時間差を差し引いた時刻を基点にして、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測するように構成されている、
付記13に記載の通信制御方法。
【0134】
(付記15)
前記決定ステップでは、前記帯域予測ステップにおいて予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に加えて、前記第1及び前記第2撮影装置のそれぞれの撮影の優先度に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定するように構成されている、
付記13又は14に記載の通信制御方法。
【0135】
(付記16)
前記第1及び前記第2映像品質情報には、前記表示装置の識別情報が含まれ、
前記決定ステップでは、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を、前記表示装置の識別情報と紐付けるように構成されている、
付記13~15の何れか一項に記載の通信制御方法。
【0136】
(付記17)
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの第1映像品質情報と、前記第1撮影装置よりも近い位置に設けられた第2撮影装置によって送信される第2映像データの送信状況と、前記第2映像データを前記ネットワークを介して受信した前記表示装置における前記第2映像データの受信状況と、に基づいて検出された前記表示装置における前記第2映像データの第2映像品質情報と、を取得する取得処理と、
前記取得処理において取得された前記第2映像品質情報から、前記表示装置による前記第2映像データの受信時点の当該第2映像データの可用通信帯域を推定する帯域推定処理と、
前記第1及び前記第2映像品質情報の受信時間差に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測し、且つ、その予測結果と、前記帯域推定処理における推定結果と、に基づいて、前記第1及び前記第2撮影装置に共通の可用通信帯域を予測する、帯域予測処理と、
前記帯域予測処理において予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定する決定処理と、
を実行させる通信制御プログラムが格納された非一時的なコンピュータ可読媒体。
【0137】
(付記18)
前記帯域予測処理では、前記表示装置による前記第1映像データの受信時刻から、前記第1及び前記第2映像品質情報の受信時間差を差し引いた時刻を基点にして、前記第1撮影装置から前記表示装置に送信される前記第1映像データの可用通信帯域を予測するように構成されている、
付記17に記載の通信制御プログラムが格納された非一時的なコンピュータ可読媒体。
【0138】
(付記19)
前記決定処理では、前記帯域予測処理において予測された前記第1及び前記第2撮影装置に共通の可用通信帯域に加えて、前記第1及び前記第2撮影装置のそれぞれの撮影の優先度に基づいて、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を決定するように構成されている、
付記17又は18に記載の通信制御プログラムが格納された非一時的なコンピュータ可読媒体。
【0139】
(付記20)
前記第1及び前記第2映像品質情報には、前記表示装置の識別情報が含まれ、
前記決定処理では、前記第1及び前記第2撮影装置から前記表示装置に送信される前記第1及び前記第2映像データのそれぞれの送信条件を、前記表示装置の識別情報と紐付けるように構成されている、
付記17~19の何れか一項に記載の通信制御プログラムが格納された非一時的なコンピュータ可読媒体。
【0140】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0141】
1 通信制御システム
2 通信制御システム
5 通信制御システム
11 通信制御装置
12_1 撮影装置
12_2 撮影装置
13_1 表示装置
13_2 表示装置
40 ネットワーク
51 通信制御装置
52_1 撮影装置
52_2 撮影装置
53_1 表示装置
50 ネットワーク
111 通信部
112 制御部
121 撮影部
122 通信部
123 暗号化部
124 復号部
125 映像品質情報検出部
126 制御部
131 通信部
132 表示部
133 復号部
134 暗号化部
135 受信状況計測部
1121 帯域推定部
1122 帯域予測部
1123 パラメータ決定部
A1 車両
A2 車両
B1 車両
B2 車両
C 管理センタ
IX 中継地点
Y1 識別情報
Y2 識別情報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17