(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-25
(45)【発行日】2024-04-02
(54)【発明の名称】通信制御システム
(51)【国際特許分類】
H04N 21/647 20110101AFI20240326BHJP
【FI】
H04N21/647
(21)【出願番号】P 2022553327
(86)(22)【出願日】2020-09-30
(86)【国際出願番号】 JP2020037224
(87)【国際公開番号】W WO2022070333
(87)【国際公開日】2022-04-07
【審査請求日】2023-03-10
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【氏名又は名称】家入 健
(72)【発明者】
【氏名】水越 康博
【審査官】大西 宏
(56)【参考文献】
【文献】特開2011-139200(JP,A)
【文献】特開2014-200005(JP,A)
【文献】特開2016-178419(JP,A)
【文献】特開2019-029931(JP,A)
【文献】国際公開第2014/061181(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
(57)【特許請求の範囲】
【請求項1】
通信制御装置と、
第1撮影装置と、
前記第1撮影装置によって送信された第1映像データを、ネットワークを介して受信して、その映像を表示させる表示装置と、
を備えた通信制御システムであって、
前記通信制御装置は、
前記第1撮影装置によって送信される
前記第1映像データの送信状況と、前記第1映像データを
前記ネットワークを介して受信した
前記表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの映像品質情報、を取得する取得部と、
前記取得部によって取得された前記第1映像データの映像品質情報に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する制御部と、
を備え
、
前記表示装置は、
前記第1映像データの受信状況を計測する計測部と、
前記計測部による計測結果を、前記ネットワークを介して前記第1撮影装置にフィードバックするフィードバック送信部と、
を少なくとも有し、
前記第1撮影装置は、
前記表示装置からフィードバックされた前記計測部による計測結果と、前記第1撮影装置によって送信される前記第1映像データの送信状況と、に基づいて、前記表示装置における前記第1映像データの映像品質情報を検出する第1検出部を少なくとも有する、
通信制御システム。
【請求項2】
前記制御部は、前記第1映像データの映像品質情報に加えて、前記第1撮影装置による撮影の優先度に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御するように構成されている、
請求項
1に記載の通信制御システム。
【請求項3】
前記制御部は、
前記取得部によって取得された前記第1映像データの映像品質情報から、前記第1映像データの可用通信帯域を推定する帯域推定部と、
前記帯域推定部による推定結果に基づいて前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を決定するパラメータ決定部と、
を有する、
請求項
1又は2に記載の通信制御システム。
【請求項4】
前記第1撮影装置は、
前記第1映像データを暗号化する第1暗号化部と、
前記第1暗号化部によって暗号化された前記第1映像データを送信する第1送信部と、
前記表示装置によってフィードバックされた暗号化された前記計測部による計測結果を受信する第1受信部と、
前記第1受信部によって受信された暗号化された前記計測部による計測結果を復号する第1復号部と、
をさらに有し、
前記表示装置は、
前記第1撮影装置から送信された暗号化された前記第1映像データを受信する表示装置側受信部と、
前記表示装置側受信部によって受信された暗号化された前記第1映像データを復号する表示装置側復号部と、
前記計測部による計測結果を暗号化する表示装置側暗号化部と、
をさらに有し、
前記フィードバック送信部は、前記表示装置側暗号化部によって暗号化された前記計測部による計測結果を、前記ネットワークを介して前記第1撮影装置にフィードバックするように構成されている、
請求項
1~3の何れか一項に記載の通信制御システム。
【請求項5】
第2撮影装置をさらに備え、
前記表示装置は、前記第2撮影装置によって送信された第2映像データを、前記ネットワークを介して受信して、その映像をさらに表示させるように構成され、
前記表示装置において、
前記計測部は、前記第2映像データの受信状況をさらに計測するように構成され、
前記フィードバック送信部は、前記計測部による計測結果を、前記ネットワークを介して前記第2撮影装置にさらにフィードバックするように構成され、
前記第2撮影装置は、
前記表示装置からフィードバックされた前記計測部による計測結果と、前記第2撮影装置によって送信される前記第2映像データの送信状況と、に基づいて、前記表示装置における前記第2映像データの映像品質情報を検出する第2検出部を少なくとも有し、
前記通信制御装置において、
前記取得部は、前記第2検出部によって検出された前記第2映像データの映像品質情報をさらに取得するように構成され、
前記制御部は、前記取得部によって取得された前記第2映像データの映像品質情報に基づいて、前記第2撮影装置から前記表示装置に送信される前記第2映像データの送信条件をさらに制御するように構成されている、
請求項
1に記載の通信制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信制御装置、通信制御システム、通信制御方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体に関する。
【背景技術】
【0002】
特許文献1には、無線区間で映像ストリーミングデータを伝送する際に、無線区間の伝送容量の変化に追従して映像品質を最適化することを特徴とする映像無線伝送装置が開示されている。
【0003】
特許文献2には、ネットワーク状態に合わせて送信データ量を調整するネットワーク帯域調整技術と、送信映像に映っている内容を検知する画像認識技術と、を組み合わせることで、映像にとって重要な情報を優先して送信する映像送信システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2007-329707号公報
【文献】特開2012-080518号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、送信側伝送装置に設けられた適応制御部が、受信側伝送装置における映像データの受信状況を参照せずに、映像データの映像品質の最適化を行っている。つまり、特許文献1では、受信側伝送装置における映像データの受信状況に関する情報が、送信側伝送装置にフィードバックされていない。そのため、送信側伝送装置は、送信側伝送装置から受信側伝送装置に送信される映像データの送信条件を精度良く設定することができない、という課題があった。
【0006】
また、特許文献2では、送信側の端末装置が、受信側の端末装置における映像データの受信状況を参照せずに、映像データの圧縮符号化を行っている。つまり、特許文献2では、受信側の端末装置における映像データの受信状況に関する情報が、送信側の端末装置にフィードバックされていない。そのため、送信側の端末装置は、受信側の端末装置に送信される映像データの送信条件を精度良く設定することができない、という課題があった。
【0007】
本開示は、このような課題を解決するためになされたものであり、精度良く通信条件を設定することが可能な、通信制御装置、通信制御システム、通信制御方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示にかかる通信制御装置は、第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの映像品質情報、を取得する取得部と、前記取得部によって取得された前記第1映像データの映像品質情報に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する制御部と、を備える。
【0009】
本開示にかかる通信制御方法は、第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの映像品質情報、を取得する取得ステップと、前記取得ステップにおいて取得された前記第1映像データの映像品質情報に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する制御ステップと、を備える。
【0010】
本開示にかかる非一時的なコンピュータ可読媒体は、第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの映像品質情報、を取得する取得処理と、前記取得処理において取得された前記第1映像データの映像品質情報に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する制御処理と、を実行させる通信制御プログラムが格納されている。
【発明の効果】
【0011】
本開示により、精度良く通信条件を設定することが可能な、通信制御装置、通信制御システム、通信制御方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【0012】
【
図1】実施の形態1にかかる通信制御システムの構成例を示すブロック図である。
【
図2】
図1に示す通信制御システムに設けられた撮影装置の具体的な構成例を示すブロック図である。
【
図3】
図1に示す通信制御システムに設けられた表示装置の具体的な構成例を示すブロック図である。
【
図4】
図1に示す通信制御システムに設けられた通信制御装置の具体的な構成例を示すブロック図である。
【
図5】
図1に示す通信制御システムの処理の流れを示す図である。
【
図6】
図1に示す通信制御システムの処理の流れの詳細を示す図である。
【
図7】
図1に示す通信制御システムの第1変形例を示す図である。
【
図8】
図1に示す通信制御システムの第2変形例を示す図である。
【
図9】
図1に示す通信制御システムの第3変形例を示す図である。
【
図10】構想段階の通信制御システムの構成例を示すブロック図である。
【
図11】
図10に示す通信制御システムの処理の流れを示す図である。
【
図12】
図10に示す通信制御システムの処理の流れの詳細を示す図である。
【発明を実施するための形態】
【0013】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【0014】
<発明者による事前検討>
実施の形態1に係る通信制御装置及びそれを備えた通信制御システムについて説明する前に、発明者が事前検討した内容について説明する。
【0015】
図10は、実施の形態1に至る前の構想段階の通信制御システム5の構成例を示すブロック図である。
【0016】
図10に示すように、通信制御システム5は、通信制御装置51と、複数の撮影装置52_1~52_N(Nは1以上の整数)と、表示装置53と、ネットワーク50と、を備える。ここでは、3個の撮影装置52_1~52_3が設けられた場合を例に説明する。通信制御装置51と表示装置53とは、ネットワーク50を介して接続されている。
【0017】
撮影装置52_1~52_3は、所謂カメラであって、例えば車両Aに搭載されている。例えば、撮影装置52_1は、車両Aの前方を撮影するように設置され、撮影装置52_2は、車両Aの後方を撮影するように設置され、撮影装置52_3は、車両Aの横方向を撮影するように設置されている。例えば、撮影装置52_1,52_2の撮影の優先度は、撮影装置52_3の撮影の優先度よりも高く設定されている。なお、撮影の優先度が高いほど高画質の映像データを生成することが要求され、撮影の優先度が低いほど低画質の映像データを生成することが許容される。
【0018】
通信制御装置51は、適応NW(NetWork)制御装置とも呼ばれ、例えば撮影装置52_1~52_3とともに車両Aに搭載されている。通信制御装置51は、撮影装置52_1~52_3と表示装置53との間の通信を制御する。
【0019】
例えば、通信制御装置51は、撮影装置52_1~52_3のそれぞれによって撮影された映像である映像データを受け取って、ネットワーク50を介して、表示装置53に送信する。また、通信制御装置51は、表示装置53からフィードバックされた当該表示装置53における映像データの受信状況に関するデータ(フィードバックデータ)を、ネットワーク50を介して受信する。
【0020】
さらに、通信制御装置51は、通信制御装置51から表示装置53に送信される各映像データの送信状況と、表示装置53からフィードバックされた各映像データの受信状況と、に基づいて、各撮影装置から表示装置に送信される映像データの送信条件を制御する。なお、各撮影装置から表示装置に送信される映像データの送信条件とは、例えば、各撮影装置において設定される映像データのビットレート、フレームレート、解像度などのパラメータのことである。
【0021】
表示装置53は、撮影装置52_1~52_3による撮影映像を表示させるモニタを有し、例えば管理センタCに設置されている。なお、表示装置53は、撮影装置52_1~52_3による撮影映像をそれぞれ個別のモニタに表示させても良いし、撮影装置52_1~52_3による撮影映像を共通のモニタに表示させても良い。
【0022】
また、表示装置53は、各映像データの受信状況を計測して、その計測結果を通信制御装置51にフィードバックする機能を有する。
【0023】
(通信制御システム5の処理の流れ)
続いて、
図11及び
図12を用いて、通信制御システム5の処理の流れを説明する。
図11は、通信制御システム5の処理の流れを示す図である。
図12は、通信制御システム5の処理の流れの詳細を示す図である。なお、
図12には、撮影装置52_1~52_3のうち撮影装置52_1の処理のみが示されている。
【0024】
まず、各撮影装置52_1~52_3は、車両Aの周辺領域を撮影した映像である映像データを暗号化したうえで、通信制御装置51に送信する。
【0025】
通信制御装置51は、各撮影装置52_1~52_3から送信された暗号化された映像データを受信すると、その暗号化された映像データを復号し、復号した映像データから当該映像データの送信状況に関する情報(例えば映像データのパケット数)を取得する。その後、通信制御装置51は、復号した各映像データを再び暗号化したうえで、ネットワーク50を介して、表示装置53に送信する。
【0026】
表示装置53は、通信制御装置51から送信された暗号化された各映像データを、ネットワーク50を介して受信すると、その暗号化された映像データを復号したうえで、モニタに表示させる。
【0027】
またこのとき、表示装置53は、各映像データの受信状況(例えば映像データのパケット数)を計測する。そして、表示装置53は、各映像データの受信状況を計測した結果を暗号化したうえで、ネットワーク50を介して、通信制御装置51に送信(フィードバック)する。
【0028】
通信制御装置51は、表示装置53からフィードバックされ、且つ、暗号化された、各映像データの受信状況の計測結果を、ネットワーク50を介して受信すると、その暗号化された計測結果を復号する。そして、通信制御装置51は、通信制御装置51から表示装置53に送信される各映像データの送信状況と、表示装置53における各映像データの受信状況(計測結果)と、に基づいて、各映像データの可用通信帯域を推定する。
【0029】
図12を参照すると、撮影装置52_1から表示装置53に送信される映像データには、4つの映像パケットP1~P4が含まれている。それに対し、表示装置53によって受信された映像データには、4つの映像パケットP1~P4のうち3つの映像パケットP1,P2,P4のみが含まれている。
【0030】
このとき、撮影装置52_1から表示装置53に送信される映像データの可用通信帯域の推定値は、以下の式(1)のように表される。
【0031】
【0032】
ここで、T601は、通信制御装置51による映像データの送信開始時刻を表している。T602は、表示装置53による映像データの受信完了時刻を表している。ΔTは、通信制御装置51のタイマと表示装置53のタイマとの時刻差を表している。なお、時刻差ΔTは、通常動作前の初期化動作の段階で算出される。以下、時刻差ΔTの算出方法の一例を説明する。
【0033】
初期化動作時において、まず、通信制御装置51は、表示装置53にダミーデータを送信するとともに、その送信時刻T501を記録する。表示装置53は、ダミーデータを受信すると、その受信時刻T502の情報を通信制御装置51に返信する。通信制御装置51は、表示装置53の返信を受信すると、その受信時刻T503を記録する。そして、通信制御装置51は、時刻T501、T502、T503の情報を用いて、以下の式(2)のようにして時刻差ΔTを算出する。
【0034】
【0035】
各撮影装置52_1~52_3によって送信される映像データの可用通信帯域の推定値が算出されると、次に、通信制御装置51は、各映像データの可用通信帯域の推定値と、各撮影装置の撮影の優先度と、に基づいて、各映像データの送信条件を決定する。そして、通信制御装置51は、各撮影装置52_1~52_3に対して、映像データの送信条件を、通信制御装置51によって決定された送信条件に変更するように指示する。換言すると、通信制御装置51は、各撮影装置52_1~52_3に対して、映像の送信に関するパラメータを、通信制御装置51によって決定されたパラメータに変更するように指示する。
【0036】
このように、通信制御システム5では、通信制御装置51が、表示装置53からフィードバックされた表示装置53における映像データの受信状況を参照することで、各撮影装置から表示装置に送信される映像データの送信条件を精度良く制御することができる。また、リアルタイムな撮影映像の伝送を実現することができる。
【0037】
続けて、実施の形態1にかかる通信制御システムについて説明する。実施の形態1にかかる通信制御システム1は、通信制御システム5の場合よりも、さらに通信制御装置の負荷を軽減しつつ、映像データの通信条件を精度良く制御することを可能にしている。
【0038】
<実施の形態1>
図1は、実施の形態1にかかる通信制御システムの構成例を示すブロック図である。
【0039】
図1に示すように、通信制御システム1は、通信制御装置11と、複数の撮影装置12_1~12_N(Nは1以上の整数)と、表示装置13と、ネットワーク40と、を備える。本実施の形態では、3個の撮影装置12_1~12_3が設けられた場合を例に説明する。撮影装置12_1~12_3と表示装置13とは、ネットワーク40を介して接続されている。通信制御装置11は、撮影装置12_1~12_3と伝送路を介して接続されているが、当然ながらネットワーク40を介して接続されていても良い。
【0040】
(撮影装置12_1~12_3)
撮影装置12_1~12_3は、所謂カメラであって、例えば車両Aに搭載されている。例えば、撮影装置12_1は、車両Aの前方を撮影するように設置され、撮影装置12_2は、車両Aの後方を撮影するように設置され、撮影装置12_3は、車両Aの横方向を撮影するように設置されている。例えば、撮影装置12_1,12_2の撮影の優先度は、撮影装置12_3の撮影の優先度よりも高く設定されている。なお、撮影の優先度が高いほど高画質の映像データを生成することが要求され、撮影の優先度が低いほど低画質の映像データを生成することが許容される。
【0041】
(撮影装置12_1の具体的な構成例)
図2は、撮影装置12_1の具体的な構成例を示すブロック図である。撮影装置12_2,12_3の構成については、撮影装置12_1の構成と基本的には同じであるため、その説明を省略する。
【0042】
図2に示すように、撮影装置12_1は、撮影部121と、通信部122と、暗号化部123と、復号部124と、映像品質情報検出部125と、制御部126と、を少なくとも備える。
【0043】
撮影部121は、車両Aの周辺を撮影する。
暗号化部123は、撮影部121による撮影映像である映像データを暗号化する。
【0044】
通信部122は、ネットワーク40と通信を行う。それにより、通信部122を搭載した撮影装置12_1は、ネットワーク40に接続された他の装置(表示装置13)と通信することが可能となる。例えば、通信部122は、暗号化部123によって暗号化された映像データを、ネットワーク40を介して表示装置13に送信したり、表示装置13から送信されたフィードバックデータを、ネットワーク40を介して受信したりする。
【0045】
また、通信部122は、伝送路(不図示)を介して、通信制御装置11と通信を行う。例えば、通信部122は、映像品質情報(後述)を通信制御装置11に送信したり、通信制御装置11から送信された映像データの送信条件の変更指示を受信したりする。
【0046】
復号部124は、暗号化されたデータを復号する。例えば、復号部124は、表示装置13からフィードバックされた暗号化データ(表示装置13における映像データの受信状況に関する暗号化データ)を復号する。
【0047】
映像品質情報検出部125は、撮影装置12_1から表示装置13に送信される映像データの送信状況と、表示装置13からフィードバックされた表示装置13における映像データの受信状況と、に基づいて、映像データの映像品質情報を検出する。映像品質情報は、詳しくは後述するが、例えば、撮影装置12_1から表示装置13に送信される映像データのパケット数と、表示装置13によって受信された映像データのパケット数と、の差分などである。
【0048】
制御部126は、撮影装置12_1に設けられた各ブロックの全般的な制御を行う。
【0049】
(表示装置13)
表示装置13は、撮影装置12_1~12_3による撮影映像を表示させるモニタを有し、例えば管理センタCに設置されている。なお、表示装置13は、撮影装置12_1~12_3による撮影映像をそれぞれ個別のモニタに表示させても良いし、撮影装置12_1~12_3による撮影映像を共通のモニタに表示させても良い。
【0050】
また、表示装置13は、撮影装置12_1からの映像データの受信状況、及び、撮影装置12_2からの映像データの受信状況を計測し、それらの計測結果を撮影装置12_1,12_2にそれぞれにフィードバックする機能を有する。
【0051】
(表示装置13の具体的な構成例)
図3は、表示装置13の具体的な構成例を示すブロック図である。
【0052】
図3に示すように、表示装置13は、通信部131と、表示部132と、復号部133と、暗号化部134と、受信状況計測部135と、を少なくとも備える。
【0053】
通信部131は、ネットワーク40と通信を行う。それにより、通信部131を搭載した表示装置13は、ネットワーク40に接続された他の装置(撮影装置12_1~12_3)と通信することが可能となる。例えば通信部131は、各撮影装置12_1~12_3から送信された映像データを、ネットワーク40を介して受信したり、各映像データの受信状況の計測結果を、ネットワーク40を介して各映像データに対応する撮影装置に送信(フィードバック)したりする。したがって、通信部131は、フィードバック送信部ということもできる。
【0054】
復号部133は、暗号化されたデータを復号する。例えば、復号部133は、各撮影装置12_1~12_3からの暗号化された映像データを復号する。
【0055】
表示部132は、所謂モニタであって、復号部133によって復号された各映像データの映像を表示する。受信状況計測部135は、復号部133によって復号された各映像データの受信状況を計測する。暗号化部134は、受信状況計測部135による計測結果を暗号化する。
【0056】
暗号化部134によって暗号化された各映像データの受信状況の計測結果は、フィードバックデータとして、通信部131によって、ネットワーク40を介して、各映像データに対応する撮影装置に送信される。
【0057】
(通信制御装置11)
通信制御装置11は、適応NW(NetWork)制御装置とも呼ばれ、例えば撮影装置12_1~12_3とともに車両Aに搭載されている。通信制御装置11は、各撮影装置12_1~12_3から表示装置13に送信される映像データの送信条件を制御する。なお、各撮影装置12_1~12_3から表示装置13に送信される映像データの送信条件とは、例えば、各撮影装置において設定される映像データのビットレート、フレームレート、解像度などのパラメータのことである。
【0058】
ここで、通信制御装置11は、通信制御装置51の場合と異なり、各撮影装置12_1~12_3から表示装置13に送信される映像データの中継(受け渡し)を行わない。それにより、通信制御装置11の負担が軽減される。
【0059】
(通信制御装置11の具体的な構成例)
図4は、通信制御装置11の具体的な構成例を示すブロック図である。
【0060】
図4に示すように、通信制御装置11は、通信部111と、制御部112と、を少なくとも備える。
【0061】
通信部111は、伝送路(不図示)を介して、撮影装置12_1~12_3のそれぞれと通信を行う。例えば、通信部111は、各撮影装置12_1~12_3から送信された映像品質情報を受信(取得)したり、各撮影装置12_1~12_3に対して映像データの送信条件の変更指示を送信したりする。通信部111は、映像品質情報を取得する取得部ということもできる。
【0062】
制御部112は、取得した映像品質情報に基づいて、各撮影装置12_1~12_3から表示装置13に送信される映像データの送信条件を制御する。
【0063】
具体的には、制御部112は、帯域推定部1121と、パラメータ決定部1122と、を有する。帯域推定部1121は、取得した映像品質情報から、各映像データの可用通信帯域を推定する。そして、パラメータ決定部1122は、少なくとも各映像データの可用通信帯域の推定値に基づいて、各撮影装置12_1~12_3から表示装置13に送信される映像データの送信条件を決定する。
【0064】
(通信制御システム1の処理の流れ)
続いて、
図5及び
図6を用いて、通信制御システム1の処理の流れを説明する。
図5は、通信制御システム1の処理の流れを示す図である。
図6は、通信制御システム1の処理の流れの詳細を示す図である。なお、
図6には、撮影装置12_1~12_3のうち撮影装置12_1の処理のみが示されている。
【0065】
まず、各撮影装置12_1~12_3は、車両Aの周辺領域を撮影した映像である映像データを暗号化したうえで、ネットワーク40を介して、表示装置13に送信する。
【0066】
表示装置13は、各撮影装置12_1~12_3から送信された暗号化された映像データを受信すると、その暗号化された映像データを復号したうえで、モニタ(表示部132)に表示させる。
【0067】
またこのとき、表示装置13において、受信状況計測部135は、各映像データの受信状況(例えばパケット数)を計測する。そして、表示装置13は、各映像データの受信状況を計測した結果を暗号化したうえで、ネットワーク40を介して、各映像データに対応する撮影装置に送信(フィードバック)する。
【0068】
各撮影装置12_1~12_3は、表示装置13からフィードバックされ、且つ、暗号化された、映像データの受信状況の計測結果を、ネットワーク40を介して受信すると、その暗号化された計測結果を復号する。そして、各撮影装置12_1~12_3は、表示装置13に送信される映像データの送信状況、及び、表示装置13における映像データの受信状況(計測結果)、又は、それらの差分、を含む情報を、映像品質情報として、通信制御装置11に送信する。なお、映像品質情報は、上記の情報の代わりに、撮影装置において算出された可用帯域の推定値、を含む情報であっても良い。また、映像品質情報は、上記の情報に加えて、撮影装置の識別情報なども含んでいる。
【0069】
通信制御装置11は、各撮影装置12_1~12_3から送信された映像品質情報を受信すると、当該映像品質情報に基づいて、各映像データの可用通信帯域を推定する。
【0070】
図6を参照すると、撮影装置12_1から表示装置13に送信される映像データには、4つの映像パケットP1~P4が含まれている。それに対し、表示装置13によって受信された映像データには、4つの映像パケットP1~P4のうち3つの映像パケットP1,P2,P4のみが含まれている。
【0071】
このとき、撮影装置12_1によって送信される映像データの可用通信帯域の推定値は、以下の式(3)のように表される。
【0072】
【0073】
ここで、T201は、撮影装置12_1による映像データの送信開始時刻を表している。T202は、表示装置13による映像データの受信完了時刻を表している。ΔTは、撮影装置12_1のタイマと表示装置13のタイマとの時刻差を表している。なお、時刻差ΔTは、通常動作前の初期化動作の段階で算出される。以下、時刻差ΔTの算出方法の一例を説明する。
【0074】
初期化動作時において、まず、撮影装置12_1は、表示装置13にダミーデータを送信するとともに、その送信時刻T101を記録する。表示装置13は、ダミーデータを受信すると、その受信時刻T102の情報を撮影装置12_1に返信する。撮影装置12_1は、表示装置13の返信を受信すると、その受信時刻T103を記録する。そして、撮影装置12_1は、時刻T101、T102、T103の情報を用いて、以下の式(4)のようにして時刻差ΔTを算出する。
【0075】
【0076】
各撮影装置12_1~12_3によって送信される映像データの可用通信帯域の推定値が算出されると、次に、通信制御装置11は、少なくとも各映像データの可用通信帯域の推定値に基づいて、各映像データの送信条件を決定する。本例では、通信制御装置11は、各映像データの可用通信帯域の推定値に加えて、各撮影装置の撮影の優先度に基づいて、各映像データの送信条件を決定している。
【0077】
なお、撮影の優先度が高いほど高画質の映像データを生成することが要求されるため、撮影の優先度が高いほど、ビットレート、フレームレート、解像度などはできるだけ高い状態に維持される。それに対し、撮影の優先度が低いほど低画質の映像データを生成することが許容されるため、撮影の優先度が低いほど、ビットレート、フレームレート、解像度などは低くなるように調整される。
【0078】
ここで、撮影装置12_1~12_3のそれぞれの可用通信帯域を含めた全体の通信帯域の推定値(以下、全体帯域推定値)は、以下の式(5)のように表される。
【0079】
【0080】
例えば、通信制御装置11は、撮影装置12_1に割り当てられる映像データのビットレートを、全体帯域推定値の0.5倍程度に決定する。
【0081】
そして、通信制御装置11は、各撮影装置12_1~12_3に対して、映像データの送信条件を、通信制御装置11によって決定された送信条件に変更するように指示する。換言すると、通信制御装置11は、各撮影装置12_1~12_3に対して、映像の送信に関するパラメータを、通信制御装置11によって決定されたパラメータに変更するように指示する。
【0082】
このように、通信制御システム1では、通信制御装置11が、表示装置13からフィードバックされた表示装置13における各映像データの受信状況を参照することで、各撮影装置から表示装置に送信される映像データの送信条件を精度良く制御することができる。また、リアルタイムな撮影映像の伝送を実現することができる。
【0083】
さらに、通信制御システム1では、通信制御装置11が、通信制御装置51の場合と異なり、各撮影装置12_1~12_3から表示装置13に送信される映像データの中継(受け渡し)を行わない。それにより、通信制御装置11の負担が軽減される。
【0084】
本実施の形態では、表示装置13が管理センタCに搭載された場合を例に説明したが、これに限られない。表示装置13は、例えば車両B等に搭載されても良い。
【0085】
図7は、通信制御システム1の第1変形例を通信制御システム1aとして示すブロック図である。
図7の例では、表示装置13は、管理センタCではなく、車両Bに搭載されている。この場合、表示装置13は、例えば、車両Bのカーナビゲーションシステムに組み込まれること等が考えられる。また、
図7の例では、通信制御装置11は、車両Aではなく、管理センタCに搭載され、車両A,B間の映像データの通信条件を制御している。
【0086】
また、本実施の形態では、車両Aに3つの撮影装置12_1~12_3が搭載された場合を例に説明したが、これに限られない。例えば、車両Aには、1つの撮影装置12(撮影装置12_1に相当)が搭載されてもよい。
【0087】
図8は、通信制御システム1の第2変形例を通信制御システム1bとして示すブロック図である。
図8の例では、車両Aに1つの撮影装置12が搭載されている。
【0088】
図9は、通信制御システム1の第3変形例を通信制御システム1cとして示すブロック図である。
図9の例では、車両Aに1つの撮影装置12が搭載され、且つ、表示装置13が、管理センタCではなく、車両Bに搭載されている。この場合、表示装置13は、例えば、車両Bのカーナビゲーションシステムに組み込まれること等が考えられる。また、
図9の例では、通信制御装置11は、車両Aではなく、管理センタCに搭載され、車両A,B間の映像データの通信条件を制御している。
【0089】
その他、通信制御装置11は、一つの車両Aに搭載された一つ又は複数の撮影装置から表示装置に送信される映像データの送信条件を制御する場合に限られない。通信制御装置11は、複数の車両の各々に搭載された一つ又は複数の撮影装置から表示装置に送信される映像データの送信条件を制御するように構成されても良い。また、映像データを受信する表示装置も、一つに限られず、複数であっても良い。
【0090】
なお、本開示は、ハードウェアの処理として説明した任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
【0091】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。また、非一時的なコンピュータ可読媒体の例は、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0092】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0093】
(付記1)
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの映像品質情報、を取得する取得部と、
前記取得部によって取得された前記第1映像データの映像品質情報に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する制御部と、
を備えた、通信制御装置。
【0094】
(付記2)
前記制御部は、前記第1映像データの映像品質情報に加えて、前記第1撮影装置による撮影の優先度に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御するように構成されている、
付記1に記載の通信制御装置。
【0095】
(付記3)
前記制御部は、
前記取得部によって取得された前記第1映像データの映像品質情報から、前記第1映像データの可用通信帯域を推定する帯域推定部と、
前記帯域推定部による推定結果に基づいて前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を決定するパラメータ決定部と、
を有する、
付記1又は2に記載の通信制御装置。
【0096】
(付記4)
付記1に記載の通信制御装置と、
前記第1撮影装置と、
前記第1撮影装置によって送信された前記第1映像データを、前記ネットワークを介して受信して、その映像を表示させる前記表示装置と、
を備え、
前記表示装置は、
前記第1映像データの受信状況を計測する計測部と、
前記計測部による計測結果を、前記ネットワークを介して前記第1撮影装置にフィードバックするフィードバック送信部と、
を少なくとも有し、
前記第1撮影装置は、
前記表示装置からフィードバックされた前記計測部による計測結果と、前記第1撮影装置によって送信される前記第1映像データの送信状況と、に基づいて、前記表示装置における前記第1映像データの映像品質情報を検出する第1検出部を少なくとも有する、
通信制御システム。
【0097】
(付記5)
前記制御部は、前記第1映像データの映像品質情報に加えて、前記第1撮影装置による撮影の優先度に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御するように構成されている、
付記4に記載の通信制御システム。
【0098】
(付記6)
前記制御部は、
前記取得部によって取得された前記第1映像データの映像品質情報から、前記第1映像データの可用通信帯域を推定する帯域推定部と、
前記帯域推定部による推定結果に基づいて前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を決定するパラメータ決定部と、
を有する、
付記4又は5に記載の通信制御システム。
【0099】
(付記7)
前記第1撮影装置は、
前記第1映像データを暗号化する第1暗号化部と、
前記第1暗号化部によって暗号化された前記第1映像データを送信する第1送信部と、
前記表示装置によってフィードバックされた暗号化された前記計測部による計測結果を受信する第1受信部と、
前記第1受信部によって受信された暗号化された前記計測部による計測結果を復号する第1復号部と、
をさらに有し、
前記表示装置は、
前記第1撮影装置から送信された暗号化された前記第1映像データを受信する表示装置側受信部と、
前記表示装置側受信部によって受信された暗号化された前記第1映像データを復号する表示装置側復号部と、
前記計測部による計測結果を暗号化する表示装置側暗号化部と、
をさらに有し、
前記フィードバック送信部は、前記表示装置側暗号化部によって暗号化された前記計測部による計測結果を、前記ネットワークを介して前記第1撮影装置にフィードバックするように構成されている、
付記4~6の何れか一項に記載の通信制御システム。
【0100】
(付記8)
前記第1撮影装置及び前記通信制御装置は、車両に搭載され、
前記表示装置は、管理センタに設置されている、
付記4~7の何れか一項に記載の通信制御システム。
【0101】
(付記9)
前記第1撮影装置は、第1車両に搭載され、
前記表示装置は、前記第1車両とは別の第2車両に搭載され、
前記通信制御装置は、管理センタに設置されている、
付記4~7の何れか一項に記載の通信制御システム。
【0102】
(付記10)
第2撮影装置をさらに備え、
前記表示装置は、前記第2撮影装置によって送信された第2映像データを、前記ネットワークを介して受信して、その映像をさらに表示させるように構成され、
前記表示装置において、
前記計測部は、前記第2映像データの受信状況をさらに計測するように構成され、
前記フィードバック送信部は、前記計測部による計測結果を、前記ネットワークを介して前記第2撮影装置にさらにフィードバックするように構成され、
前記第2撮影装置は、
前記表示装置からフィードバックされた前記計測部による計測結果と、前記第2撮影装置によって送信される前記第2映像データの送信状況と、に基づいて、前記表示装置における前記第2映像データの映像品質情報を検出する第2検出部を少なくとも有し、
前記通信制御装置において、
前記取得部は、前記第2検出部によって検出された前記第2映像データの映像品質情報をさらに取得するように構成され、
前記制御部は、前記取得部によって取得された前記第2映像データの映像品質情報に基づいて、前記第2撮影装置から前記表示装置に送信される前記第2映像データの送信条件をさらに制御するように構成されている、
付記4に記載の通信制御システム。
【0103】
(付記11)
前記制御部は、前記第1映像データの映像品質情報に加えて、前記第1撮影装置による撮影の優先度に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御し、且つ、前記第2映像データの映像品質情報に加えて、前記第2撮影装置による撮影の優先度に基づいて、前記第2撮影装置から前記表示装置に送信される前記第2映像データの送信条件を制御するように構成されている、
付記10に記載の通信制御システム。
【0104】
(付記12)
前記制御部は、
前記取得部によって取得された前記第1映像データの映像品質情報から、前記第1映像データの可用通信帯域を推定し、且つ、前記取得部によって取得された前記第2映像データの映像品質情報から、前記第2映像データの可用通信帯域を推定する、帯域推定部と、
前記帯域推定部による推定結果に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件、及び、前記第2撮影装置から前記表示装置に送信される前記第2映像データの送信条件を決定するパラメータ決定部と、
を有する、
付記10又は11に記載の通信制御システム。
【0105】
(付記13)
前記第1撮影装置は、
前記第1映像データを暗号化する第1暗号化部と、
前記第1暗号化部によって暗号化された前記第1映像データを送信する第1送信部と、
前記表示装置によってフィードバックされた暗号化された前記計測部による計測結果を受信する第1受信部と、
前記第1受信部によって受信された暗号化された前記計測部による計測結果を復号する第1復号部と、
をさらに有し、
前記第2撮影装置は、
前記第2映像データを暗号化する第2暗号化部と、
前記第2暗号化部によって暗号化された前記第2映像データを送信する第2送信部と、
前記表示装置によってフィードバックされた暗号化された前記計測部による計測結果を受信する第2受信部と、
前記第2受信部によって受信された暗号化された前記計測部による計測結果を復号する第2復号部と、
をさらに有し、
前記表示装置は、
前記第1撮影装置から送信された暗号化された前記第1映像データ、及び、前記第2撮影装置から送信された暗号化された前記第2映像データ、を受信する表示装置側受信部と、
前記表示装置側受信部によって受信された暗号化された前記第1映像データ、及び、暗号化された前記第2映像データ、を復号する表示装置側復号部と、
前記計測部による計測結果を暗号化する表示装置側暗号化部と、
をさらに有し、
前記フィードバック送信部は、前記表示装置側暗号化部によって暗号化された前記計測部による計測結果を、前記ネットワークを介して前記第1撮影装置及び前記第2撮影装置にフィードバックするように構成されている、
付記10~12の何れか一項に記載の通信制御システム。
【0106】
(付記14)
前記第1撮影装置、前記第2撮影装置、及び、前記通信制御装置は、車両に搭載され、
前記表示装置は、管理センタに設置されている、
付記10~13の何れか一項に記載の通信制御システム。
【0107】
(付記15)
前記第1撮影装置及び前記第2撮影装置は、第1車両に搭載され、
前記表示装置は、前記第1車両とは別の第2車両に搭載され、
前記通信制御装置は、管理センタに設置されている、
付記10~13の何れか一項に記載の通信制御システム。
【0108】
(付記16)
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの映像品質情報、を取得する取得ステップと、
前記取得ステップにおいて取得された前記第1映像データの映像品質情報に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する制御ステップと、
を備えた、通信制御方法。
【0109】
(付記17)
前記制御ステップでは、前記第1映像データの映像品質情報に加えて、前記第1撮影装置による撮影の優先度に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する、
付記16に記載の通信制御方法。
【0110】
(付記18)
第1撮影装置によって送信される第1映像データの送信状況と、前記第1映像データをネットワークを介して受信した表示装置における前記第1映像データの受信状況と、に基づいて検出された前記表示装置における前記第1映像データの映像品質情報、を取得する取得処理と、
前記取得処理において取得された前記第1映像データの映像品質情報に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する制御処理と、
を実行させる通信制御プログラムが格納された非一時的なコンピュータ可読媒体。
【0111】
(付記19)
前記制御処理では、前記第1映像データの映像品質情報に加えて、前記第1撮影装置による撮影の優先度に基づいて、前記第1撮影装置から前記表示装置に送信される前記第1映像データの送信条件を制御する、
付記18に記載の通信制御プログラムが格納された非一時的なコンピュータ可読媒体。
【0112】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0113】
1 通信制御システム
1a 通信制御システム
1b 通信制御システム
1c 通信制御システム
5 通信制御システム
11 通信制御装置
12 撮影装置
12_1~12_3 撮影装置
13 表示装置
40 ネットワーク
50 ネットワーク
51 通信制御装置
52_1~52_3 撮影装置
53 表示装置
111 通信部
112 制御部
121 撮影部
122 通信部
123 暗号化部
124 復号部
125 映像品質情報検出部
126 制御部
131 通信部
132 表示部
133 復号部
134 暗号化部
135 受信状況計測部
1121 帯域推定部
1122 パラメータ決定部
A 車両
B 車両
C 管理センタ