(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】通信制御装置、通信制御システム、及び通信制御方法
(51)【国際特許分類】
H04N 21/2662 20110101AFI20241001BHJP
H04N 21/2343 20110101ALI20241001BHJP
H04N 21/647 20110101ALI20241001BHJP
H04L 47/722 20220101ALI20241001BHJP
【FI】
H04N21/2662
H04N21/2343
H04N21/647
H04L47/722
(21)【出願番号】P 2020202252
(22)【出願日】2020-12-04
【審査請求日】2023-06-08
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2年度、総務省、「IoT機器増大に対応した有無線最適制御型電波有効利用基盤技術の研究開発(技術課題ア「有無線ネットワーク仮想化の自動制御技術」)」研究開発委託契約に基づく開発項目「IoT指向ネットワークオーケストレーション技術」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】100121083
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】水口 有
(72)【発明者】
【氏名】松田 英幸
【審査官】川中 龍太
(56)【参考文献】
【文献】特開2017-069967(JP,A)
【文献】特開2009-260412(JP,A)
【文献】特開2007-006148(JP,A)
【文献】特開2008-263267(JP,A)
【文献】特開2004-343592(JP,A)
【文献】中国特許出願公開第102316315(CN,A)
【文献】中国特許出願公開第101808233(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 - 21/858
H04L 47/722
(57)【特許請求の範囲】
【請求項1】
ユーザ装置から、映像の品質を示す希望品質条件と圧縮又は静止画群を示す希望圧縮条件とを受信する受信部と、
撮像装置から出力される圧縮映像をデコードすることで複数の静止画を含む第1静止画情報を生成する第1処理を、通信ネットワークに含まれる複数のノード装置のうち第1ノード装置に対して割り当て、前記第1静止画情報から生成された複数の静止画を含む第2静止画情報を用いて、前記希望品質条件及び前記希望圧縮条件を満たす映像情報を前記ユーザ装置へ転送する第2処理を、前記複数のノード装置のうち第2ノード装置に対して割り当てる制御部と、
前記第1処理を示す第1指示を前記第1ノード装置へ送信し、前記第2処理を示す第2指示を前記第2ノード装置へ送信する送信部と、
を備えることを特徴とする通信制御装置。
【請求項2】
前記制御部は、前記希望圧縮条件が前記圧縮を示している場合、前記第2静止画情報をエンコードすることで、前記希望品質条件を満たす圧縮映像を生成し、前記希望品質条件を満たす圧縮映像を前記映像情報として前記ユーザ装置へ転送する処理を、前記第2処理として前記第2ノード装置に割り当てることを特徴とする請求項1記載の通信制御装置。
【請求項3】
前記制御部は、前記希望圧縮条件が前記静止画群を示している場合、前記第2静止画情報を前記映像情報として前記ユーザ装置へ転送する処理を、前記第2処理として前記第2ノード装置に割り当てることを特徴とする請求項1記載の通信制御装置。
【請求項4】
前記第1静止画情報に含まれる前記複数の静止画を間引く第1間引き処理、又は前記第1静止画情報に含まれる前記複数の静止画各々に含まれる複数の画素を間引く第2間引き処理によって、前記第2静止画情報が生成されることを特徴とする請求項1乃至3の何れか1項に記載の通信制御装置。
【請求項5】
前記送信部は、前記希望品質条件及び前記希望圧縮条件を受信する前に、複数の品質条件を含む品質候補情報と複数の圧縮条件を含む圧縮候補情報とを、前記ユーザ装置へ送信し、
前記受信部は、前記複数の品質条件の何れかを前記希望品質条件として受信し、前記複数の圧縮条件の何れかを前記希望圧縮条件として受信することを特徴とする請求項1乃至4の何れか1項に記載の通信制御装置。
【請求項6】
通信ネットワークに含まれる複数のノード装置と通信制御装置とを備える通信制御システムであって、
前記通信制御装置は、
ユーザ装置から、映像の品質を示す希望品質条件と圧縮又は静止画群を示す希望圧縮条件とを受信する受信部と、
撮像装置から出力される圧縮映像をデコードすることで複数の静止画を含む第1静止画情報を生成する第1処理を、前記複数のノード装置のうち第1ノード装置に対して割り当て、前記第1静止画情報から生成された複数の静止画を含む第2静止画情報を用いて、前記希望品質条件及び前記希望圧縮条件を満たす映像情報を前記ユーザ装置へ転送する第2処理を、前記複数のノード装置のうち第2ノード装置に対して割り当てる制御部と、
前記第1処理を示す第1指示を前記第1ノード装置へ送信し、前記第2処理を示す第2指示を前記第2ノード装置へ送信する送信部とを含み、
前記第1ノード装置は、前記第1指示に基づいて前記第1処理を行い、
前記第2ノード装置は、前記第2指示に基づいて前記第2処理を行うことを特徴とする通信制御システム。
【請求項7】
ユーザ装置から、映像の品質を示す希望品質条件と圧縮又は静止画群を示す希望圧縮条件とを受信し、
撮像装置から出力される圧縮映像をデコードすることで複数の静止画を含む第1静止画情報を生成する第1処理を、通信ネットワークに含まれる複数のノード装置のうち第1ノード装置に対して割り当て、
前記第1静止画情報から生成された複数の静止画を含む第2静止画情報を用いて、前記希望品質条件及び前記希望圧縮条件を満たす映像情報を前記ユーザ装置へ転送する第2処理を、前記複数のノード装置のうち第2ノード装置に対して割り当て、
前記第1処理を示す第1指示を前記第1ノード装置へ送信し、
前記第2処理を示す第2指示を前記第2ノード装置へ送信する、
ことを特徴とする通信制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信制御技術に関する。
【背景技術】
【0002】
近年、センサデータ、監視カメラの映像等の様々なIoT(Internet of Things)データが通信ネットワーク上を流れている。IoTデータは、多種多様な規格に基づく莫大な数のIoT機器により取得されて、通信ネットワーク上に送出される。
【0003】
多数のIoT機器には、各種センサと映像を撮影する監視カメラとが含まれる。監視カメラにより撮影された映像は、通常、通信ネットワークを経由してユーザ装置へ伝送される。同じ監視カメラの映像が複数のユーザ装置へ伝送されることも多い。
【0004】
通信ネットワークに関連して、複数の端末の各々に受信させる配信データの品質を、データ送信先となる端末の性能に応じて調整することができる配信システムが知られている(例えば、特許文献1を参照)。
【0005】
第1のネットワークに接続される第1の端末から受信した画像信号に対して転換を施した上で第2のネットワークに接続される第2の端末に送出し、第2の端末に十分な解像度や画質を与えるゲートウェイ装置も知られている(例えば、特許文献2を参照)。
【0006】
インターネットで一般に提供されている動画像データを、各端末毎に、通信環境によって変化する通信帯域と端末の処理能力とに基づく最適な符号化パラメータで変換して送信するシステムも知られている(例えば、特許文献3を参照)。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2009-253909号公報
【文献】国際公開第2010/035787号パンフレット
【文献】特開2001-313937号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
監視カメラにより撮影された映像をエンコードして伝送する際、通信ネットワーク上に配置された複数のノード装置各々が圧縮映像のデコード、映像の品質の変換、及びエンコードを実行すると、各ノード装置の負荷が増加する。
【0009】
なお、かかる問題は、監視カメラにより撮影された映像を伝送する場合に限らず、様々な撮像装置により撮影された映像を伝送する場合において生ずるものである。
【0010】
1つの側面において、本発明は、撮像装置から出力される圧縮映像を伝送する通信ネットワークにおいて、ノード装置の負荷を削減することを目的とする。
【課題を解決するための手段】
【0011】
1つの案では、通信制御装置は、受信部、制御部、及び送信部を含む。受信部は、ユーザ装置から、映像の品質を示す希望品質条件と圧縮又は静止画群を示す希望圧縮条件とを受信する。
【0012】
制御部は、撮像装置から出力される圧縮映像をデコードすることで複数の静止画を含む第1静止画情報を生成する第1処理を、通信ネットワークに含まれる複数のノード装置のうち第1ノード装置に対して割り当てる。
【0013】
制御部は、第1静止画情報から生成された複数の静止画を含む第2静止画情報を用いて、希望品質条件及び希望圧縮条件を満たす映像情報をユーザ装置へ転送する第2処理を、複数のノード装置のうち第2ノード装置に対して割り当てる。
【0014】
送信部は、第1処理を示す第1指示を第1ノード装置へ送信し、第2処理を示す第2指示を第2ノード装置へ送信する。
【発明の効果】
【0015】
1つの側面によれば、撮像装置から出力される圧縮映像を伝送する通信ネットワークにおいて、ノード装置の負荷を削減することができる。
【図面の簡単な説明】
【0016】
【
図7】通信制御装置を含む通信制御システムの構成図である。
【
図8】通信制御システムにおける通信制御装置の機能的構成図である。
【
図13】復元された無圧縮の映像情報を示す図である。
【
図20】通信制御処理の具体例を示すフローチャートである。
【
図21A】映像変換処理における通信制御シーケンスを示す図(その1)である。
【
図21B】映像変換処理における通信制御シーケンスを示す図(その2)である。
【
図21C】映像変換処理における通信制御シーケンスを示す図(その3)である。
【
図23】情報処理装置のハードウェア構成図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら、実施形態を詳細に説明する。
【0018】
例えば、交差点に設置された監視カメラの用途は、道路の渋滞の監視、犯罪車両の追跡等である。このように、複数のユーザが複数の用途で監視カメラの映像を利用する場合、ユーザが要求する映像の品質は、用途によって異なることが予想される。映像の品質には、例えば、解像度が含まれる。
【0019】
近年、監視カメラの性能が向上することで、撮影可能な映像の解像度が高くなってきている。しかし、放送用途ではなく、監視目的で利用される監視カメラの映像は、それほど高解像度である必要はない。高解像度の映像のデータ量は、低解像度の映像のデータ量よりも大きくなる。
【0020】
多数の高解像度の監視カメラが設置されることにより、データ量の大きい不必要な高解像度の映像が通信ネットワーク上を流れると、通信ネットワークが圧迫される。今後、IoT社会がさらに発展した場合、通信ネットワークの負荷はさらに増大することが予想される。
【0021】
図1は、比較例の通信制御システムの例を示している。
図1の通信制御システムは、コントローラ101、監視カメラ102-1、監視カメラ102-2、ゲートウェイ103-1、ゲートウェイ103-2、ユーザ装置104-1、及びユーザ装置104-2を含む。
【0022】
監視カメラ102-1、監視カメラ102-2、ゲートウェイ103-1、ゲートウェイ103-2、ユーザ装置104-1、及びユーザ装置104-2は、通信ネットワーク105に接続されている。監視カメラ102-iは、撮像装置の一例であり、ゲートウェイ103-1及びゲートウェイ103-2は、複数のノード装置の一例である。
【0023】
監視カメラ102-1の識別情報はC1であり、監視カメラ102-2の識別情報はC2である。ゲートウェイ103-1の識別情報はG1であり、ゲートウェイ103-2の識別情報はG2である。ユーザ装置104-1の識別情報はU1であり、ユーザ装置104-2の識別情報はU2である。
【0024】
以下の説明では、監視カメラ102-iを監視カメラCiと記載し、ゲートウェイ103-iをゲートウェイGiと記載し、ユーザ装置104-iをユーザ装置Uiと記載することがある。
【0025】
監視カメラ102-i(i=1,2)は、監視領域の映像を撮影する。撮影された映像は、複数の時刻それぞれの画像を含み、各時刻の画像の解像度は、画像に含まれる画素の個数を表す。各時刻の画像は、フレームと呼ばれることもある。
【0026】
撮影された映像は、そのままではデータ量が大きいため、監視カメラ102-iは、映像をエンコードすることで圧縮映像を生成し、生成された圧縮映像を通信ネットワーク105へ送出する。
【0027】
例えば、監視カメラ102-1は、MPEG-4(Moving Picture Experts Group phase 4)(H.264)により映像をエンコードすることで、MPEG-4のデータ形式の圧縮映像を送出する。この圧縮映像の解像度は800万画素であり、フレームレートは60fpsである。
【0028】
ゲートウェイ103-i(i=1,2)は、映像変換を行う情報処理装置(コンピュータ)である。ゲートウェイ103-1は、監視カメラ102-iから受信した圧縮映像を変換して、変換後の圧縮映像をゲートウェイ103-2へ転送する。変換後の圧縮映像のデータ形式はMPEG-4であり、解像度は200万画素であり、フレームレートは30fpsである。
【0029】
ゲートウェイ103-2は、ゲートウェイ103-1から受信した圧縮映像を変換して、変換後の圧縮映像をユーザ装置104-1及びユーザ装置104-2へ転送する。ユーザ装置104-i(i=1,2)は、映像を利用して様々なサービスを提供するユーザの情報処理装置である。ユーザ装置104-iは、サーバであってもよい。
【0030】
ゲートウェイ103-iは、通信ネットワーク105の負荷を軽減するため、以下のような変換処理を行う。
【0031】
(a)ゲートウェイ103-iは、受信した圧縮映像をデコードして、圧縮前の映像を復元する。
【0032】
(b)ゲートウェイ103-iは、復元された映像の品質を変換する。映像の品質は、解像度、フレームレート等を表す。
【0033】
(c)ゲートウェイ103-iは、変換後の映像を再度エンコードして、圧縮映像を生成する。
【0034】
コントローラ101は、ユーザ装置104-1及びユーザ装置104-2各々から受信した希望品質条件及び希望圧縮条件に基づいて、圧縮映像の変換方法をゲートウェイ103-1及びゲートウェイ103-2に対して指示する。
【0035】
希望品質条件は、ユーザが希望する映像の品質を示し、希望圧縮条件は、ユーザが希望する圧縮映像のデータ形式を示す。データ形式は、例えば、エンコードのアルゴリズム又はコンテナ種別によって指定される。ユーザ装置104-1の希望品質条件は、200万画素及び30fpsであり、希望圧縮条件はMPEG-4である。ユーザ装置104-2の希望品質条件は、50万画素及び10fpsであり、希望圧縮条件はMPEG-4である。
【0036】
ゲートウェイ103-iは、コントローラ101から指示された変換方法に従って、受信した圧縮映像を変換し、変換後の圧縮映像を送信先へ転送する。
【0037】
図2は、
図1のコントローラ101が保持するネットワーク情報の例を示している。
図2のネットワーク情報は、送信元である監視カメラ102-iの情報、ゲートウェイ103-iの情報、及び送信先であるユーザ装置104-iの情報を含む。
【0038】
監視カメラ102-iの情報は、ID、IP(Internet Protocol)アドレス、及び送出フォーマットを含む。IDは、監視カメラ102-iの識別情報であり、IPアドレスは、監視カメラ102-iのIPアドレスである。送出フォーマットは、監視カメラ102-iから送出される圧縮映像の品質及びデータ形式を表す。
【0039】
ゲートウェイ103-iの情報は、ID及びIPアドレスを含む。IDは、ゲートウェイ103-iの識別情報であり、IPアドレスは、ゲートウェイ103-iのIPアドレスである。
【0040】
ユーザ装置104-iの情報は、ID、IPアドレス、及び受信フォーマットを含む。IDは、ユーザ装置104-iの識別情報であり、IPアドレスは、ユーザ装置104-iのIPアドレスである。受信フォーマットは、ユーザ装置104-iの希望品質条件及び希望圧縮条件を表す。
【0041】
図3は、
図1のコントローラ101が保持する制御情報の例を示している。
図3の制御情報は、送信元である監視カメラ102-iのID、送信先であるユーザ装置104-iのID、及びゲートウェイ103-iへの指示を含む。ゲートウェイ103-iへの指示は、G1への指示及びG2への指示を含む。G1への指示は、ゲートウェイ103-1への指示であり、G2への指示は、ゲートウェイ103-2への指示である。
【0042】
G1への指示は、変換方法及び送信先を含む。変換方法は、デコード、変換1、変換2、及びエンコードを含む。デコードは、受信した圧縮映像をデコードするアルゴリズムを表す。変換1は、復元された映像の変換前の解像度と変換後の解像度を表す。変換2は、復元された映像の変換前のフレームレートと変換後のフレームレートを表す。エンコードは、映像を再度エンコードするアルゴリズムを表す。送信先は、変換後の圧縮映像の送信先のIDを表す。
【0043】
G2への指示は、変換方法及び送信先を含む。変換方法は、デコード、変換1、変換2、及びエンコードを含む。送信先は、変換後の圧縮映像の送信先のIDを表す。なお、変換方法が“through”である場合、ゲートウェイ103-2は、受信した圧縮映像をそのまま送信先へ転送する。
【0044】
例えば、監視カメラ102-1から送出される圧縮映像がユーザ装置104-1及びユーザ装置104-2へ転送される場合、コントローラ101は、エントリ301に記録されているG1への指示を、ゲートウェイ103-1へ送信する。また、コントローラ101は、エントリ301に記録されているG2への指示を、ゲートウェイ103-2へ送信する。
【0045】
この場合、監視カメラ102-iのIDはC1であり、ユーザ装置104-iのIDはU1及びU2である。エントリ301のG1への指示は、ゲートウェイG2へ送信される圧縮映像のデコード及びエンコードのアルゴリズムがMPEG-4であることを表す。G1への指示は、さらに、変換前及び変換後の解像度が800万画素及び200万画素であり、変換前及び変換後のフレームレートが60fps及び30fpsであることを表す。
【0046】
エントリ301のG2への指示は、ユーザ装置U1へ送信される圧縮映像の変換方法と、ユーザ装置U2へ送信される圧縮映像の変換方法とを含む。ユーザ装置U1へ送信される圧縮映像の変換方法は、“through”である。
【0047】
ユーザ装置U2へ送信される圧縮映像の変換方法は、デコード及びエンコードのアルゴリズムがMPEG-4であることを表す。この変換方法は、さらに、変換前及び変換後の解像度が200万画素及び50万画素であり、変換前及び変換後のフレームレートが30fps及び10fpsであることを表す。
【0048】
図4は、
図1の通信制御システムにおける通信制御シーケンスの例を示している。破線の矢印は、Cプレーンにおける制御信号の送信を示しており、実線の矢印は、Dプレーンにおける圧縮映像の送信を示している。
【0049】
まず、ユーザ装置U1は、監視カメラC1の映像に対する希望品質条件及び希望圧縮条件を、コントローラ101へ送信する(手順401)。そして、ユーザ装置U2は、監視カメラC1の映像に対する希望品質条件及び希望圧縮条件を、コントローラ101へ送信する(手順402)。
【0050】
次に、コントローラ101は、ユーザ装置U1及びユーザ装置U2から受信した希望品質条件及び希望圧縮条件に基づいて、
図3に示した制御情報を生成し、エントリ301に記録されているG1への指示及びG2への指示を抽出する(手順403)。
【0051】
次に、コントローラ101は、抽出されたG1への指示を示す制御信号を、ゲートウェイG1へ送信し(手順404)、抽出されたG2への指示を示す制御信号を、ゲートウェイG2へ送信する(手順405)。
【0052】
次に、監視カメラC1は、解像度が800万画素であり、フレームレートが60fpsであるMPEG-4の圧縮映像を、ゲートウェイG1へ転送する(手順406)。
【0053】
次に、ゲートウェイG1は、コントローラ101からの指示に従って、監視カメラC1から受信した圧縮映像をMPEG-4のアルゴリズムでデコードする(手順407)。次に、ゲートウェイG1は、得られた映像の解像度を800万画素から200万画素に変換し、その映像のフレームレートを60fpsから30fpsに変換する。そして、ゲートウェイG1は、変換後の映像をMPEG-4のアルゴリズムでエンコードすることで圧縮映像を生成し、ゲートウェイG2へ転送する。
【0054】
次に、ゲートウェイG2は、コントローラ101からの指示に従って、ゲートウェイG1から受信した圧縮映像をコピーし、コピー元の圧縮映像をそのままユーザ装置U1へ転送する(手順408)。
【0055】
また、ゲートウェイG2は、コピー先の圧縮映像をMPEG-4のアルゴリズムでデコードする。次に、ゲートウェイG2は、得られた映像の解像度を200万画素から50万画素に変換し、その映像のフレームレートを30fpsから10fpsに変換する。そして、ゲートウェイG2は、変換後の映像をMPEG-4のアルゴリズムでエンコードすることで圧縮映像を生成し、ユーザ装置U2へ転送する。
【0056】
図1の通信制御システムによれば、通信ネットワーク105上に配置されたゲートウェイ103-iにより映像変換が行われる度に、デコード、品質の変換、及びエンコードが実行される。このため、通信ネットワーク105の負荷は軽減されるが、各ゲートウェイ103-iの負荷は増加する。
【0057】
MPEG-4のように圧縮率が高いエンコード処理の計算負荷はかなり大きいため、専用のハードウェアでエンコード処理が行われることが多い。このような計算負荷の大きな映像変換を、専用のハードウェアを備えていないゲートウェイ103-iが実行すると、同時に処理可能な圧縮映像の個数が少なくなるとともに、圧縮映像の転送遅延が発生してしまう。
【0058】
図5は、実施形態の通信制御装置の機能的構成例を示している。
図5の通信制御装置501は、受信部511、制御部512、及び送信部513を含む。
【0059】
図6は、
図5の通信制御装置501が行う通信制御処理の例を示すフローチャートである。まず、受信部511は、ユーザ装置から、映像の品質を示す希望品質条件と圧縮又は静止画群を示す希望圧縮条件とを受信する(ステップ601)。
【0060】
次に、制御部512は、撮像装置から出力される圧縮映像をデコードすることで複数の静止画を含む第1静止画情報を生成する第1処理を、通信ネットワークに含まれる複数のノード装置のうち第1ノード装置に対して割り当てる(ステップ602)。
【0061】
次に、制御部512は、第2静止画情報を用いて、希望品質条件及び希望圧縮条件を満たす映像情報をユーザ装置へ転送する第2処理を、複数のノード装置のうち第2ノード装置に対して割り当てる(ステップ603)。第2静止画情報は、第1静止画情報から生成された複数の静止画を含む。
【0062】
次に、送信部513は、第1処理を示す第1指示を第1ノード装置へ送信し(ステップ604)、第2処理を示す第2指示を第2ノード装置へ送信する(ステップ605)。
【0063】
図5の通信制御装置501によれば、撮像装置から出力される圧縮映像を伝送する通信ネットワークにおいて、ノード装置の負荷を削減することができる。
【0064】
図7は、
図5の通信制御装置501を含む通信制御システムの構成例を示している。
図7の通信制御システムは、通信制御装置701、監視カメラ702-1~監視カメラ702-N、ゲートウェイ703-1~ゲートウェイ703-M、及びユーザ装置704-1~ユーザ装置704-Lを含む。N、M、及びLは、1以上の整数である。通信制御装置701は、
図5の通信制御装置501に対応する。
【0065】
監視カメラ702-1~監視カメラ702-N、ゲートウェイ703-1~ゲートウェイ703-M、及びユーザ装置704-1~ユーザ装置704-Lは、通信ネットワーク705に接続されている。監視カメラ702-iは、撮像装置の一例であり、ゲートウェイ703-1~ゲートウェイ703-Mは、複数のノード装置の一例である。
【0066】
監視カメラ702-i(i=1~N)の識別情報はCiであり、ゲートウェイ703-i(i=1~M)の識別情報はGiであり、ユーザ装置704-i(i=1~L)の識別情報はUiである。
【0067】
以下の説明では、監視カメラ702-iを監視カメラCiと記載し、ゲートウェイ703-iをゲートウェイGiと記載し、ユーザ装置704-iをユーザ装置Uiと記載することがある。
【0068】
監視カメラ702-iは、監視領域の映像を撮影し、撮影された映像をエンコードすることで圧縮映像を生成し、生成された圧縮映像を通信ネットワーク705へ送出する。
【0069】
ゲートウェイ703-iは、複数のユーザそれぞれの仮想プライベートネットワークを管理し、映像変換を行う情報処理装置である。ゲートウェイ703-1は、監視カメラ702-iから受信した圧縮映像をデコードすることで、圧縮前の映像を復元する。復元された映像は、第1静止画情報の一例であり、複数の静止画を含む静止画群である。
【0070】
次に、ゲートウェイ703-1は、復元された映像の品質を変換することで、無圧縮の映像情報を生成し、無圧縮の映像情報をゲートウェイ703-2へ転送する。映像情報は、圧縮映像又は無圧縮の映像情報であり、無圧縮の映像情報は、静止画群である。
【0071】
ゲートウェイ703-i(i=2~M-1)は、ゲートウェイ703-(i-1)から受信した無圧縮の映像情報の品質を変換し、変換後の無圧縮の映像情報をゲートウェイ703-(i+1)へ転送する。
【0072】
ゲートウェイ703-Mは、ゲートウェイ703-(M-1)から受信した無圧縮の映像情報をエンコードすることで、圧縮映像を生成し、生成された圧縮映像をユーザ装置704-iへ転送する。ゲートウェイ703-(M-1)から受信した無圧縮の映像情報は、第2静止画情報の一例である。
【0073】
ユーザ装置704-iは、映像を利用して様々なサービスを提供するユーザの情報処理装置である。ユーザ装置704-iは、サーバであってもよい。
【0074】
ゲートウェイ703-iは、他のゲートウェイ703-iから受信した映像情報を、そのまま他のゲートウェイ703-i又はユーザ装置704-iへ転送することもある。
【0075】
通信制御装置701は、ユーザ装置704-iから受信した希望品質条件及び希望圧縮条件に基づき、通信ネットワーク705の全体効率と各ゲートウェイ703-iの処理負荷とを考慮して、映像情報を転送する1つ以上のゲートウェイ703-iを選択する。希望品質条件は、映像の品質を示す。希望圧縮条件は、映像情報が圧縮映像又は静止画群の何れであるかを示す情報と、映像情報が圧縮映像である場合のデータ形式とを含む。
【0076】
次に、通信制御装置701は、選択されたゲートウェイ703-iに対して所定の処理を割り当て、割り当てられた処理を実行するように指示する。所定の処理は、圧縮映像をデコードする処理、無圧縮の映像情報の品質を変換する処理、又は無圧縮の映像情報をエンコードする処理を含む。
【0077】
ゲートウェイ703-iは、通信制御装置701から指示された処理を実行することで、受信した映像情報を変換し、変換後の映像情報を送信先へ転送する。
【0078】
図8は、
図7の通信制御装置701の機能的構成例を示している。
図8の通信制御装置701は、通信部811、記憶部812、転送管理部813、受付部814、候補管理部815、及び設定部816を含む。通信部811は、
図5の受信部511及び送信部513に対応し、転送管理部813及び設定部816は、
図5の制御部512に対応する。
【0079】
通信部811は、監視カメラ702-i、ゲートウェイ703-i、及びユーザ装置704-iと通信する。記憶部812は、トポロジ情報、品質候補テーブル、圧縮候補テーブル、依頼管理テーブル、及び転送管理テーブルを記憶する。
【0080】
トポロジ情報は、通信ネットワーク705に接続されている監視カメラ702-i、ゲートウェイ703-i、及びユーザ装置704-iを表す。受付部814、候補管理部815、及び設定部816は、トポロジ情報を参照して、受信した情報の送信元又は送信する情報の送信先を識別する。
【0081】
品質候補テーブルは、品質条件の複数の候補を含み、圧縮候補テーブルは、圧縮条件の複数の候補を含む。依頼管理テーブルは、各ユーザ装置704-iから受信した、各監視カメラ702-iの映像に対する希望品質条件及び希望圧縮条件を含む。転送管理テーブルは、各ゲートウェイ703-iに対して指示される映像情報の変換方法を含む。
【0082】
候補管理部815は、各監視カメラ702-iから通知された映像の品質に基づいて、品質条件の複数の候補を生成して、品質候補テーブルに記録する。映像の品質には、解像度、フレームレート、ビットレート等が含まれる。また、候補管理部815は、各監視カメラ702-iから通知された映像のデータ形式に基づいて、圧縮条件の複数の候補を生成して、圧縮候補テーブルに記録する。
【0083】
候補管理部815は、品質候補情報及び圧縮候補情報の送信を通信部811に対して指示し、通信部811は、品質候補情報及び圧縮候補情報を各ユーザ装置704-iへ送信する。品質候補情報は、品質候補テーブルに記録された複数の候補を含み、圧縮候補情報は、圧縮候補テーブルに記録された複数の候補を含む。
【0084】
各ユーザ装置704-iは、品質候補情報に含まれる何れかの品質条件を希望品質条件として通信制御装置701へ送信し、圧縮候補情報に含まれる何れかの圧縮条件を希望圧縮条件として通信制御装置701へ送信する。通信部811は、各ユーザ装置704-iから希望品質条件及び希望圧縮条件を受信し、受付部814は、受信した希望品質条件及び希望圧縮条件を、依頼管理テーブルに登録する。
【0085】
転送管理部813は、依頼管理テーブルに基づき、通信ネットワーク705の全体効率と各ゲートウェイ703-iの処理負荷とを考慮して、映像情報を転送する1つ以上のゲートウェイ703-iを選択する。そして、転送管理部813は、なるべく処理負荷が分散されるように、選択されたゲートウェイ703-iにおける映像情報の変換方法を決定する。
【0086】
次に、転送管理部813は、決定された変換方法の処理を各ゲートウェイ703-iに対して割り当て、割り当てられた処理を転送管理テーブルに記録する。設定部816は、転送管理テーブルに記録された処理を示す指示を生成し、通信部811は、生成された指示を各ゲートウェイ703-iへ送信する。
【0087】
図9は、
図7の監視カメラ702-iの機能的構成例を示している。
図9の監視カメラ702-iは、通信部911、画像処理部912、撮像部913、及び通知部914を含む。
【0088】
通信部911は、通信制御装置701及びゲートウェイ703-1と通信する。通知部914は、通信部911を介して、映像の品質及びデータ形式を通信制御装置701に通知する。撮像部913は、監視領域の映像を撮影し、画像処理部912は、撮影された映像をエンコードすることで圧縮映像を生成し、通信部911は、生成された圧縮映像をゲートウェイ703-1へ転送する。
【0089】
図10は、
図7のゲートウェイ703-iの機能的構成例を示している。
図10のゲートウェイ703-iは、通信部1011、記憶部1012、機能管理部1013、及び転送処理部1014を含む。
【0090】
通信部1011は、通信制御装置701、監視カメラ702-i、他のゲートウェイ703-i、及びユーザ装置704-iと通信する。通信部1011は、通信制御装置701から指示を受信し、機能管理部1013は、指示が示す処理の内容を記憶部1012に記録する。
【0091】
次に、通信部1011は、監視カメラ702-i又は他のゲートウェイ703-iから映像情報を受信する。転送処理部1014は、記憶部1012に記録された処理を実行することで、映像情報を変換し、通信部1011を介して、変換後の映像情報を他のゲートウェイ703-i又はユーザ装置704-iへ転送する。
【0092】
図11は、
図7のユーザ装置704-iの機能的構成例を示している。
図11のユーザ装置704-iは、通信部1111、記憶部1112、候補処理部1113、依頼部1114、及び蓄積部1115を含む。
【0093】
通信部1111は、通信制御装置701及びゲートウェイ703-Mと通信する。通信部1111は、通信制御装置701から品質候補情報及び圧縮候補情報を受信し、候補処理部1113は、受信した品質候補情報及び圧縮候補情報を記憶部1112に格納する。
【0094】
ユーザは、品質候補情報に含まれる何れかの品質条件を希望品質条件として選択し、圧縮候補情報に含まれる何れかの圧縮条件を希望圧縮条件として選択する。依頼部1114は、通信部1111を介して、選択された希望品質条件及び希望圧縮条件を通信制御装置701へ送信する。
【0095】
次に、通信部1111は、ゲートウェイ703-Mから映像情報を受信し、蓄積部1115は、受信した映像情報を記憶部1112に格納する。これにより、映像情報が記憶部1112に蓄積される。
【0096】
図7の通信制御システムによれば、ユーザが希望する映像を送出する監視カメラ702-iからユーザ装置704-iまでの転送経路上に存在する複数のゲートウェイ703-iによって、多段の映像変換処理が実行される。これにより、映像変換処理の負荷が複数のゲートウェイ703-iに分散されるため、各ゲートウェイ703-iの負荷が削減される。
【0097】
図12は、
図7の通信制御システムにおける映像変換処理の例を示している。監視カメラ702-1は、監視カメラ702-1から送出される圧縮映像の解像度、フレームレート、及びデータ形式を、通信制御装置701に通知する。圧縮映像の解像度は800万画素であり、フレームレートは60fpsであり、データ形式はMPEG-4である。
【0098】
ユーザ装置704-1の希望品質条件は、200万画素及び30fpsであり、希望圧縮条件はMPEG-4である。MPEG-4は、希望する映像情報が圧縮映像であることを示している。ユーザ装置704-2の希望品質条件は、50万画素及び10fpsであり、希望圧縮条件は無圧縮である。
【0099】
通信制御装置701は、監視カメラ702-1の圧縮映像の解像度、フレームレート、及びデータ形式と、ユーザ装置704-1及びユーザ装置704-2それぞれの希望品質条件及び希望圧縮条件とに基づいて、各ゲートウェイ703-iに処理を割り当てる。
【0100】
ゲートウェイ703-1に対しては、監視カメラ702-1から受信した圧縮映像をデコードすることで、圧縮前の映像を復元する処理が割り当てられる。復元された映像は、第1静止画情報の一例である。ゲートウェイ703-1に対しては、さらに、復元された映像の品質を変換し、変換後の無圧縮の映像情報をゲートウェイ703-2へ転送する処理が割り当てられる。変換後の無圧縮の映像情報の解像度は200万画素であり、フレームレートは30fpsである。
【0101】
ゲートウェイ703-2に対しては、ゲートウェイ703-1から受信した無圧縮の映像情報をコピーして、コピー元の無圧縮の映像情報をそのままゲートウェイ703-3へ転送する処理が割り当てられる。ゲートウェイ703-2に対しては、さらに、コピー先の無圧縮の映像情報の品質を変換し、変換後の無圧縮の映像情報をゲートウェイ703-3へ転送する処理が割り当てられる。
【0102】
コピー元の無圧縮の映像情報の解像度は200万画素であり、フレームレートは30fpsである。変換後の無圧縮の映像情報の解像度は50万画素であり、フレームレートは10fpsである。
【0103】
ゲートウェイ703-3に対しては、ゲートウェイ703-2から受信したコピー元の無圧縮の映像情報をエンコードすることで、MPEG-4の圧縮画像を生成し、ユーザ装置704-1へ転送する処理が割り当てられる。ゲートウェイ703-3に対しては、さらに、ゲートウェイ703-2から受信した変換後の無圧縮の映像情報を、そのままユーザ装置704-2へ転送する処理が割り当てられる。
【0104】
ゲートウェイ703-2から受信したコピー元の無圧縮の映像情報及び変換後の無圧縮の映像情報は、第2静止画情報の一例である。
【0105】
各ゲートウェイ703-iが割り当てられた処理を実行することで、ユーザ装置704-1及びユーザ装置704-2は、希望品質条件及び希望圧縮条件を満たす映像情報を受信することができる。
【0106】
ゲートウェイ703-1からゲートウェイ703-3までの転送経路上では無圧縮の映像情報が転送される。ユーザ装置704-1の希望圧縮条件はMPEG-4であるため、ユーザ装置704-1の希望品質条件を満たす無圧縮の映像情報が生成された後に、その映像情報がゲートウェイ703-3により再度エンコードされる。このように、計算負荷の大きなエンコード処理の回数を1回に制限して、エンコード前の映像情報を静止画群のままで転送することで、各ゲートウェイ703-iの負荷を削減することができる。
【0107】
また、ユーザ装置704-2の希望圧縮条件は無圧縮であるため、ユーザ装置704-2の希望品質条件を満たす無圧縮の映像情報が生成された後に、その映像情報がそのままユーザ装置704-2へ転送される。このように、エンコード処理を省略して、品質を変換する処理を複数のゲートウェイ703-iに分散させることで、各ゲートウェイ703-iの負荷を削減することができる。
【0108】
ゲートウェイ703-1及びゲートウェイ703-2の転送処理部1014は、例えば、第1間引き処理又は第2間引き処理を行うことで、より低品質な無圧縮の映像情報を生成する。第1間引き処理は、変換対象の無圧縮の映像情報に含まれる複数の静止画を間引く処理であり、第2間引き処理は、複数の静止画各々に含まれる複数の画素を間引く処理である。
【0109】
第1間引き処理では、時系列の複数の静止画の中から、それらの静止画の枚数よりも少ない枚数の静止画が選択される。第2間引き処理では、時系列の複数の静止画各々に含まれる複数の画素の中から、1枚の静止画の画素数よりも少ない個数の画素が選択される。第1間引き処理及び第2間引き処理の計算量は少ないため、より自由度の高い他の品質変換処理を行う場合よりも、転送処理部1014の負荷が削減される。
【0110】
通信制御装置701からユーザ装置704-iへ送信される品質候補情報は、第1間引き処理により変換可能な解像度の候補と、第2間引き処理により変換可能なフレームレートの候補とを含む。
【0111】
図13は、
図12のゲートウェイ703-1により復元された無圧縮の映像情報の例を示している。復元された無圧縮の映像情報の解像度は800万画素であり、フレームレートは60fpsである。したがって、この映像情報には、1秒当たり60枚の静止画1301が含まれている。各静止画1301の画像データ1302は、3200×2500画素の画素値を含む。
【0112】
転送処理部1014は、例えば、時系列の複数の静止画1301の中から、1枚おきに静止画1301を選択することで、フレームレートを60fpsから30fpsに変換することができる。また、転送処理部1014は、例えば、画像データ1302に含まれる画素の中から、垂直方向に1画素おきに画素を選択し、かつ、水平方向に1画素おきに画素を選択する。これにより、解像度を800万画素(3200×2500画素)から200万画素(1600×1250画素)に変換することができる。
【0113】
図14は、
図12の通信制御装置701が保持するトポロジ情報の例を示している。
図14のトポロジ情報は、監視カメラ702-iの情報、ゲートウェイ703-iの情報、及びユーザ装置704-iの情報を含む。
【0114】
監視カメラ702-iの情報は、ID及びIPアドレスを含む。IDは、監視カメラ702-iの識別情報であり、IPアドレスは、監視カメラ702-iのIPアドレスである。
【0115】
ゲートウェイ703-iの情報は、ID及びIPアドレスを含む。IDは、ゲートウェイ703-iの識別情報であり、IPアドレスは、ゲートウェイ703-iのIPアドレスである。
【0116】
ユーザ装置704-iの情報は、ID及びIPアドレスを含む。IDは、ユーザ装置704-iの識別情報であり、IPアドレスは、ユーザ装置704-iのIPアドレスである。
【0117】
図15は、
図12の通信制御装置701が保持する品質候補テーブルの例を示している。
図15の品質候補テーブルは、複数の解像度のエントリと複数のフレームレートのエントリとを含み、各エントリは、出力及び品質候補を品質条件として含む。出力は、監視カメラ702-iから送出される圧縮映像の解像度又はフレームレートを表し、品質候補は、間引き処理により変換可能な解像度又はフレームレートの候補を表す。
【0118】
例えば、解像度のエントリR1の出力は、800万画素(3200×2500画素)である。エントリR1の品質候補は、200万画素(1600×1250画素)、50万画素(800×625画素)、32万画素(640×500画素)、及び8万画素(320×250画素)を含む。
【0119】
解像度のエントリR2の出力は、600万画素(3000×2000画素)である。エントリR2の品質候補は、150万画素(1500×1000画素)、37.5万画素(750×500画素)、約9万画素(375×250画素)、及び6万画素(300×200画素)を含む。
【0120】
フレームレートのエントリF1の出力は、60fpsであり、エントリF1の品質候補は、30fps、15fps、12fps、及び10fpsを含む。フレームレートのエントリF2の出力は、50fpsであり、エントリF2の品質候補は、25fps、10fps、5fps、及び1fpsを含む。
【0121】
この場合、通信制御装置701は、エントリR1の出力及び品質候補に含まれる複数の解像度と、エントリF1の出力及び品質候補に含まれる複数のフレームレートとを、品質候補情報としてユーザ装置704-1及びユーザ装置704-2へ送信する。品質候補情報をユーザ装置704-iへ送信することで、間引き処理により変換可能な解像度又はフレームレートをユーザに選択させることが可能になる。
【0122】
図16は、
図12の通信制御装置701が保持する圧縮候補テーブルの例を示している。
図16の圧縮候補テーブルは、無圧縮及びMPEG-4(H.264)を圧縮条件として含む。圧縮候補テーブルは、MPEG-1、MPEG-2等の他の圧縮条件を含んでいてもよい。
【0123】
通信制御装置701は、圧縮候補テーブルに含まれる複数の圧縮条件を、圧縮候補情報としてユーザ装置704-1及びユーザ装置704-2へ送信する。圧縮候補情報をユーザ装置704-iへ送信することで、ゲートウェイ703-iが実行可能なエンコード処理又は無圧縮をユーザに選択させることが可能になる。
【0124】
図17は、
図12の通信制御装置701が保持する依頼管理テーブルの例を示している。
図17の依頼管理テーブルは、ユーザ装置704-iのID、監視カメラ702-iのID、及び希望条件を含む。希望条件は、映像に対するユーザの希望を表し、解像度、フレームレート、及び圧縮条件を含む。
【0125】
例えば、監視カメラC1の映像に対するユーザ装置U1のユーザの希望条件において、解像度は200万画素であり、フレームレートは30fpsであり、圧縮条件はMPEG-4(H.264)である。200万画素は、
図15のエントリR1の品質候補から選択され、30fpsは、エントリF1の品質候補から選択され、MPEG-4(H.264)は、
図16の圧縮候補から選択されている。
【0126】
監視カメラC1の映像に対するユーザ装置U2のユーザの希望条件において、解像度は50万画素であり、フレームレートは10fpsであり、圧縮条件は無圧縮である。50万画素は、
図15のエントリR1の品質候補から選択され、10fpsは、エントリF1の品質候補から選択され、無圧縮は、
図16の圧縮候補から選択されている。
【0127】
図18は、
図12の通信制御装置701が保持する転送管理テーブルの例を示している。
図18の転送管理テーブルは、送信元である監視カメラ702-iのID、ゲートウェイG1~ゲートウェイG3それぞれの機能及び機能別パラメータ、及び送信先であるユーザ装置704-iのIDを含む。
【0128】
監視カメラ702-iのIDはC1であり、ユーザ装置704-iのIDは、U1又はU2である。送信先がユーザ装置U1である映像情報に対するゲートウェイG1の機能は、デコード、解像度変換、及びフレームレートである。
【0129】
デコードの機能別パラメータは、MPEG-4(H.264)であり、監視カメラC1から送出される圧縮映像を、MPEG-4のアルゴリズムでデコードすることで、無圧縮の映像情報を生成する処理を表す。解像度変換の機能別パラメータは、縦横1/2であり、復元された映像の各静止画の垂直方向の画素数が1/2になり、かつ、水平方向の画素数が1/2になるように、画素を間引く処理を表す。フレームレートの機能別パラメータは、1/2であり、1秒当たりの静止画の枚数が1/2になるように、静止画を間引く処理を表す。
【0130】
送信先がユーザ装置U1である映像情報に対するゲートウェイG2の機能は、コピー元である。コピー元は、ゲートウェイG1から受信した無圧縮の映像情報をコピーし、コピー元の無圧縮の映像情報をゲートウェイG3へ転送する処理を表す。
【0131】
送信先がユーザ装置U1である映像情報に対するゲートウェイG3の機能は、エンコードであり、エンコードの機能別パラメータは、MPEG-4(H.264)である。MPEG-4(H.264)は、ゲートウェイG2から受信したコピー元の無圧縮の映像情報を、MPEG-4のアルゴリズムでエンコードすることで、圧縮映像を生成し、ユーザ装置U1へ転送する処理を表す。
【0132】
送信先がユーザ装置U2である映像情報に対するゲートウェイG2の機能は、コピー先、解像度変換、及びフレームレートである。コピー先は、コピー元と同様に、ゲートウェイG1から受信した無圧縮の映像情報をコピーする処理を表す。
【0133】
解像度変換の機能別パラメータは、縦横1/2であり、コピー先の無圧縮の映像情報に含まれる各静止画の垂直方向の画素数が1/2になり、かつ、水平方向の画素数が1/2になるように、画素を間引く処理を表す。フレームレートの機能別パラメータは、1/3であり、1秒当たりの静止画の枚数が1/3になるように、静止画を間引く処理を表す。
【0134】
送信先がユーザ装置U2である映像情報に対するゲートウェイG3の機能は、登録されていない。この場合、ゲートウェイG2から受信したコピー先の無圧縮の映像情報を、そのままユーザ装置U2へ転送する処理が、ゲートウェイG3に対して割り当てられる。
【0135】
図19は、
図12の通信ネットワーク705上を転送される映像情報の例を示している。映像情報は、複数のパケットとして転送される。
図19(a)は、パケットのデータフォーマットの例を示しており、
図19(b)は、ゲートウェイ703-2からゲートウェイ703-3へ転送されるパケットの例を示している。
【0136】
図19(a)及び
図19(b)のパケットは、送信元アドレス、送信先アドレス、監視カメラID、ユーザ装置ID、データ種別、横サイズ、縦サイズ、全パケット数、パケット番号、データ長、及びデータを含む。
【0137】
送信元アドレスは、パケットの送信元のIPアドレスを表し、送信先アドレスは、パケットの送信先のIPアドレスを表す。監視カメラIDは、パケットにより転送される映像情報の元の映像を撮影した監視カメラ702-iのIDを表す。ユーザ装置IDは、パケットにより転送される映像情報を利用するユーザ装置704-iのIDを表す。
【0138】
データ種別は、パケットにより転送される映像情報が圧縮映像又は静止画の何れであるかを表し、横サイズは、画像の水平方向の画素数を表し、縦サイズは、画像の垂直方向の画素数を表す。全パケット数は、映像情報を転送するパケットの個数を表し、パケット番号は、パケットの番号を表す。データは、パケットにより転送される映像情報のデータを表し、データ長は、そのデータのサイズを表す。
【0139】
例えば、
図19(b)のパケットの監視カメラIDはC1であり、ユーザ装置IDはU1であり、データ種別は静止画である。このパケットの横サイズは1600画素であり、縦サイズは1250画素であり、全パケット数は4000個であり、パケット番号は1であり、データ長は1500バイトである。
【0140】
図20は、
図8の通信制御装置701が行う通信制御処理の具体例を示すフローチャートである。まず、通信部811は、監視カメラ702-iから映像の品質及びデータ形式を受信する(ステップ2001)。そして、候補管理部815は、受信した映像の品質に基づき品質条件の複数の候補を生成して、品質候補テーブルに記録し、受信した映像のデータ形式に基づき圧縮条件の複数の候補を生成して、圧縮候補テーブルに記録する。
【0141】
次に、候補管理部815は、品質候補情報及び圧縮候補情報の送信を通信部811に対して指示し、通信部811は、品質候補情報及び圧縮候補情報を各ユーザ装置704-iへ送信する(ステップ2002)。品質候補情報は、品質候補テーブルに記録された複数の候補を含み、圧縮候補情報は、圧縮候補テーブルに記録された複数の候補を含む。
【0142】
次に、通信部811は、各ユーザ装置704-iから希望品質条件及び希望圧縮条件を受信し、受付部814は、受信した希望品質条件及び希望圧縮条件を、依頼管理テーブルに登録する(ステップ2003)。
【0143】
次に、転送管理部813は、依頼管理テーブルに基づき、処理負荷が分散されるように、1つ以上のゲートウェイ703-iを選択することで、監視カメラ702-iの映像情報の転送経路を決定する(ステップ2004)。そして、転送管理部813は、処理負荷が分散されるように、選択されたゲートウェイ703-iに対して処理を割り当て、割り当てられた処理を転送管理テーブルに記録する(ステップ2005)。
【0144】
次に、設定部816は、転送管理テーブルに記録された処理を示す指示を生成し、通信部811は、生成された指示を各ゲートウェイ703-iへ送信する(ステップ2006)。
【0145】
図21A~
図21Cは、
図12の映像変換処理における通信制御シーケンスの例を示している。破線の矢印は、Cプレーンにおける制御信号の送信を示しており、実線の矢印は、Dプレーンにおける映像情報の送信を示している。
【0146】
まず、監視カメラC1は、監視カメラC1から送出される圧縮映像の解像度、フレームレート、及びデータ形式を、通信制御装置701へ送信する(手順2101)。圧縮映像の解像度は800万画素であり、フレームレートは60fpsであり、データ形式はMPEG-4である。
【0147】
次に、通信制御装置701は、受信した映像の品質に基づいて
図15の品質候補テーブルを生成し、受信した映像のデータ形式に基づいて
図16の圧縮候補テーブルを生成する。そして、通信制御装置701は、品質候補情報及び圧縮候補情報をユーザ装置U1及びユーザ装置U2へ送信する(手順2102)。
【0148】
品質候補情報は、エントリR1の出力及び品質候補に含まれる複数の解像度と、エントリF1の出力及び品質候補に含まれる複数のフレームレートとを含む。圧縮候補情報は、圧縮候補テーブルに含まれる複数の圧縮条件を含む。
【0149】
次に、ユーザ装置U1は、通信制御装置701から品質候補情報及び圧縮候補情報を受信する(手順2103)。そして、ユーザ装置U2は、通信制御装置701から品質候補情報及び圧縮候補情報を受信する(手順2104)。
【0150】
次に、ユーザ装置U1は、希望品質条件及び希望圧縮条件を通信制御装置701へ送信する(手順2105)。ユーザ装置U1の希望品質条件は、200万画素及び30fpsであり、希望圧縮条件はMPEG-4である。
【0151】
次に、ユーザ装置U2は、希望品質条件及び希望圧縮条件を通信制御装置701へ送信する(手順2106)。ユーザ装置U2の希望品質条件は、50万画素及び10fpsであり、希望圧縮条件は無圧縮である。
【0152】
次に、通信制御装置701は、ユーザ装置U1及びユーザ装置U2から受信した希望品質条件及び希望圧縮条件を、
図17の依頼管理テーブルに登録する(手順2107)。そして、通信制御装置701は、依頼管理テーブルに基づいて、ゲートウェイG1~ゲートウェイG3を選択し、各ゲートウェイGiに対して処理を割り当てることで、
図18の転送管理テーブルを生成する(手順2108)。
【0153】
次に、通信制御装置701は、転送管理テーブルに記録された処理を示す制御信号を、ゲートウェイG1~ゲートウェイG3へ送信する(手順2109)。ゲートウェイGiへ送信される制御信号は、ゲートウェイGiに対する指示を表す。
【0154】
ゲートウェイG1は、通信制御装置701から受信した制御信号が示す処理の内容を、記憶部1012に記録する(手順2110)。ゲートウェイG2は、通信制御装置701から受信した制御信号が示す処理の内容を、記憶部1012に記録する(手順2111)。ゲートウェイG3は、通信制御装置701から受信した制御信号が示す処理の内容を、記憶部1012に記録する(手順2112)。
【0155】
次に、監視カメラC1は、解像度が800万画素であり、フレームレートが60fpsであるMPEG-4の圧縮映像を、ゲートウェイG1へ転送する(手順2113)。
【0156】
次に、ゲートウェイG1は、記録された処理を実行する(手順2114)。ゲートウェイG1は、監視カメラC1から受信した圧縮映像をMPEG-4のアルゴリズムでデコードし、得られた無圧縮の映像情報の解像度を800万画素から200万画素に変換し、その映像情報のフレームレートを60fpsから30fpsに変換する。そして、ゲートウェイG1は、変換後の無圧縮の映像情報をゲートウェイG2へ転送する。
【0157】
次に、ゲートウェイG2は、記録された処理を実行する(手順2115)。ゲートウェイG2は、ゲートウェイG1から受信した無圧縮の映像情報をコピーし、コピー元の無圧縮の映像情報をそのままゲートウェイG3へ転送する。そして、ゲートウェイG2は、コピー先の無圧縮の映像情報の解像度を200万画素から50万画素に変換し、その映像情報のフレームレートを30fpsから10fpsに変換して、変換後の無圧縮の映像情報をゲートウェイG3へ転送する。
【0158】
次に、ゲートウェイG3は、記録された処理を実行する(手順2116)。ゲートウェイG3は、ゲートウェイG2から受信したコピー元の無圧縮の映像情報をMPEG-4のアルゴリズムでエンコードすることで、MPEG-4の圧縮画像を生成し、ユーザ装置U1へ転送する。そして、ゲートウェイG3は、ゲートウェイC2から受信した変換後の無圧縮の映像情報を、そのままユーザ装置U2へ転送する。
【0159】
次に、ユーザ装置U1は、ゲートウェイG3から受信した圧縮画像を、記憶部1112に格納する(手順2117)。そして、ユーザ装置U2は、ゲートウェイG3から受信した無圧縮の映像情報を、記憶部1112に格納する(手順2118)。
【0160】
映像の品質の変換回数が
図12の映像変換処理よりも多い場合は、より多くのゲートウェイ703-iが選択され、選択されたゲートウェイ703-iに対して変換処理が均等に割り当てられる。この場合、エンコード処理は、何れかのゲートウェイ703-iにより希望品質条件を満たす無圧縮の映像情報が生成された時点で、その映像情報に対して実施される。
【0161】
図7の通信制御システムによれば、複数のゲートウェイ703-iが、監視カメラ702-iから送出される圧縮映像に対するデコード、品質の変換、及びエンコードを分散して行うことで、各ゲートウェイ703-iの負荷が削減される。したがって、電気通信事業者等のネットワークリソースの利用効率を向上させることができる。
【0162】
例えば、インターネットで一般的に使用されているコーデックであるH.264/MPEG-4 AVCの平均圧縮率は0.6%である。平均圧縮率は、圧縮前の映像データのサイズに対する圧縮後の映像データのサイズの割合を表す。
【0163】
図12の映像変換処理において、監視カメラ702-1から送出される圧縮映像の解像度に対する、ユーザ装置704-iが受信する映像情報の解像度の割合を、第1圧縮率と呼ぶことにする。このとき、ユーザ装置704-1及びユーザ装置704-2の第1圧縮率の平均値は、次式により計算される。
【0164】
(200万+50万)/(800万×2)=5/32 (1)
【0165】
また、監視カメラ702-1から送出される圧縮映像のフレームレートに対する、ユーザ装置704-iが受信する映像情報のフレームレートの割合を、第2圧縮率と呼ぶことにする。このとき、ユーザ装置704-1及びユーザ装置704-2の第2圧縮率の平均値は、次式により計算される。
【0166】
(30+10)/(60×2)=1/3 (2)
【0167】
式(1)の第1圧縮率及び式(2)の第2圧縮率を有する映像情報を10人のユーザが共有する仮想的な事例において、1人当たりの平均圧縮率は、次式により計算される。
【0168】
(5/32)×(1/3)×(1/10)=0.52% (3)
【0169】
したがって、この事例では、H.264/MPEG-4 AVCの平均圧縮率を上回る圧縮効果が得られる。
【0170】
ところで、H.264/MPEG-4 AVCは不可逆圧縮方式のコーデックであるため、デコード及びエンコードの回数が増えると映像の品質が劣化する。例えば、
図1に示した比較例の通信制御システムでは、デコード及びエンコードが繰り返し行われることで、品質劣化が蓄積されていく。これに対して、
図7の通信制御システムでは、デコード及びエンコードの回数が多くても1回ずつに抑えられるため、映像の品質劣化を抑制することができる。
【0171】
図1及び
図7の通信制御システムの構成は一例に過ぎず、通信制御システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図5の通信制御装置501及び
図8の通信制御装置701の構成は一例に過ぎず、通信制御システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
【0172】
図9の監視カメラ702-iの構成は一例に過ぎず、通信制御システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図10のゲートウェイ703-iの構成は一例に過ぎず、通信制御システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図11のユーザ装置704-iの構成は一例に過ぎず、通信制御システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
【0173】
図4及び
図21A~
図21Cの通信制御シーケンスは一例に過ぎず、通信制御システムの構成又は条件に応じて、一部の処理を省略又は変更してもよい。
図6及び
図20のフローチャートは一例に過ぎず、通信制御システムの構成又は条件に応じて、一部の処理を省略又は変更してもよい。
【0174】
図2、
図3、及び
図14~
図18に示した各種情報は一例に過ぎず、これらの情報は、撮影された映像と映像変換処理に応じて変化する。
図12に示した映像変換処理は一例に過ぎず、
図7の通信制御システムは、別の映像変換処理を行うこともできる。ゲートウェイ703-iは、第1間引き処理又は第2間引き処理の何れか一方を行うことで、より低品質な無圧縮の映像情報を生成してもよい。
【0175】
図13に示した無圧縮の映像情報は一例に過ぎず、解像度及びフレームレートは、撮影された映像に応じて変化する。
図19に示した映像情報は一例に過ぎず、通信ネットワーク705上を転送される映像情報は、撮影された映像に応じて変化する。
【0176】
図22は、監視カメラ702-iのハードウェア構成例を示している。
図22の監視カメラ2201は、撮像回路2211、通信インタフェース回路2212、CPU(Central Processing Unit)2213、及び画像プロセッサ2214を含む。これらの構成要素はハードウェアであり、バス2215により互いに接続されている。
【0177】
撮像回路2211は、撮像素子を含み、
図9の撮像部913として動作する。通信インタフェース回路2212は、通信ネットワーク705に接続され、
図9の通信部911として動作する。CPU2213及び画像プロセッサ2214は、それぞれ、
図9の通知部914及び画像処理部912として動作する。
【0178】
図23は、
図5の通信制御装置501、
図8の通信制御装置701、
図10のゲートウェイ703-i、及び
図11のユーザ装置704-iとして用いられる情報処理装置のハードウェア構成例を示している。
図23の情報処理装置は、CPU2301、メモリ2302、入力装置2303、出力装置2304、補助記憶装置2305、媒体駆動装置2306、及びネットワーク接続装置2307を含む。これらの構成要素はハードウェアであり、バス2308により互いに接続されている。
【0179】
メモリ2302は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ2302は、
図8の記憶部812、
図10の記憶部1012、又は
図11の記憶部1112として動作してもよい。
【0180】
CPU2301(プロセッサ)は、例えば、メモリ2302を利用してプログラムを実行することにより、
図5の制御部512として動作する。CPU2301は、メモリ2302を利用してプログラムを実行することにより、
図8の転送管理部813、受付部814、候補管理部815、及び設定部816としても動作する。
【0181】
CPU2301は、メモリ2302を利用してプログラムを実行することにより、
図10の機能管理部1013及び転送処理部1014としても動作する。CPU2301は、メモリ2302を利用してプログラムを実行することにより、
図11の候補処理部1113、依頼部1114、及び蓄積部1115としても動作する。
【0182】
入力装置2303は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示又は情報の入力に用いられる。出力装置2304は、例えば、表示装置、プリンタ等であり、ユーザ又はオペレータへの問い合わせ又は指示、及び処理結果の出力に用いられる。
【0183】
補助記憶装置2305は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置2305は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置2305にプログラム及びデータを格納しておき、それらをメモリ2302にロードして使用することができる。補助記憶装置2305は、
図8の記憶部812、
図10の記憶部1012、又は
図11の記憶部1112として動作してもよい。
【0184】
媒体駆動装置2306は、可搬型記録媒体2309を駆動し、その記録内容にアクセスする。可搬型記録媒体2309は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体2309は、CD-ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ等であってもよい。ユーザ又はオペレータは、この可搬型記録媒体2309にプログラム及びデータを格納しておき、それらをメモリ2302にロードして使用することができる。
【0185】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ2302、補助記憶装置2305、又は可搬型記録媒体2309のような、物理的な(非一時的な)記録媒体である。
【0186】
ネットワーク接続装置2307は、通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置2307を介して受信し、それらをメモリ2302にロードして使用することができる。ネットワーク接続装置2307は、
図5の受信部511及び送信部513、
図8の通信部811、
図10の通信部1011、又は
図11の通信部1111として動作してもよい。
【0187】
なお、情報処理装置が
図23のすべての構成要素を含む必要はなく、情報処理装置の用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要な場合は、入力装置2303及び出力装置2304を省略してもよい。可搬型記録媒体2309を使用しない場合は、媒体駆動装置2306を省略してもよい。
【0188】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【0189】
図1乃至
図23を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
ユーザ装置から、映像の品質を示す希望品質条件と圧縮又は静止画群を示す希望圧縮条件とを受信する受信部と、
撮像装置から出力される圧縮映像をデコードすることで複数の静止画を含む第1静止画情報を生成する第1処理を、通信ネットワークに含まれる複数のノード装置のうち第1ノード装置に対して割り当て、前記第1静止画情報から生成された複数の静止画を含む第2静止画情報を用いて、前記希望品質条件及び前記希望圧縮条件を満たす映像情報を前記ユーザ装置へ転送する第2処理を、前記複数のノード装置のうち第2ノード装置に対して割り当てる制御部と、
前記第1処理を示す第1指示を前記第1ノード装置へ送信し、前記第2処理を示す第2指示を前記第2ノード装置へ送信する送信部と、
を備えることを特徴とする通信制御装置。
(付記2)
前記制御部は、前記希望圧縮条件が前記圧縮を示している場合、前記第2静止画情報をエンコードすることで、前記希望品質条件を満たす圧縮映像を生成し、前記希望品質条件を満たす圧縮映像を前記映像情報として前記ユーザ装置へ転送する処理を、前記第2処理として前記第2ノード装置に割り当てることを特徴とする付記1記載の通信制御装置。
(付記3)
前記制御部は、前記希望圧縮条件が前記静止画群を示している場合、前記第2静止画情報を前記映像情報として前記ユーザ装置へ転送する処理を、前記第2処理として前記第2ノード装置に割り当てることを特徴とする付記1記載の通信制御装置。
(付記4)
前記第1静止画情報に含まれる前記複数の静止画を間引く第1間引き処理、又は前記第1静止画情報に含まれる前記複数の静止画各々に含まれる複数の画素を間引く第2間引き処理によって、前記第2静止画情報が生成されることを特徴とする付記1乃至3の何れか1項に記載の通信制御装置。
(付記5)
前記送信部は、前記希望品質条件及び前記希望圧縮条件を受信する前に、複数の品質条件を含む品質候補情報と複数の圧縮条件を含む圧縮候補情報とを、前記ユーザ装置へ送信し、
前記受信部は、前記複数の品質条件の何れかを前記希望品質条件として受信し、前記複数の圧縮条件の何れかを前記希望圧縮条件として受信することを特徴とする付記1乃至4の何れか1項に記載の通信制御装置。
(付記6)
通信ネットワークに含まれる複数のノード装置と通信制御装置とを備える通信制御システムであって、
前記通信制御装置は、
ユーザ装置から、映像の品質を示す希望品質条件と圧縮又は静止画群を示す希望圧縮条件とを受信する受信部と、
撮像装置から出力される圧縮映像をデコードすることで複数の静止画を含む第1静止画情報を生成する第1処理を、前記複数のノード装置のうち第1ノード装置に対して割り当て、前記第1静止画情報から生成された複数の静止画を含む第2静止画情報を用いて、前記希望品質条件及び前記希望圧縮条件を満たす映像情報を前記ユーザ装置へ転送する第2処理を、前記複数のノード装置のうち第2ノード装置に対して割り当てる制御部と、
前記第1処理を示す第1指示を前記第1ノード装置へ送信し、前記第2処理を示す第2指示を前記第2ノード装置へ送信する送信部とを含み、
前記第1ノード装置は、前記第1指示に基づいて前記第1処理を行い、
前記第2ノード装置は、前記第2指示に基づいて前記第2処理を行うことを特徴とする通信制御システム。
(付記7)
前記制御部は、前記希望圧縮条件が前記圧縮を示している場合、前記第2静止画情報をエンコードすることで、前記希望品質条件を満たす圧縮映像を生成し、前記希望品質条件を満たす圧縮映像を前記映像情報として前記ユーザ装置へ転送する処理を、前記第2処理として前記第2ノード装置に割り当てることを特徴とする付記6記載の通信制御システム。
(付記8)
前記制御部は、前記希望圧縮条件が前記静止画群を示している場合、前記第2静止画情報を前記映像情報として前記ユーザ装置へ転送する処理を、前記第2処理として前記第2ノード装置に割り当てることを特徴とする付記6記載の通信制御システム。
(付記9)
前記第1静止画情報に含まれる前記複数の静止画を間引く第1間引き処理、又は前記第1静止画情報に含まれる前記複数の静止画各々に含まれる複数の画素を間引く第2間引き処理によって、前記第2静止画情報が生成されることを特徴とする付記6乃至8の何れか1項に記載の通信制御システム。
(付記10)
前記送信部は、前記希望品質条件及び前記希望圧縮条件を受信する前に、複数の品質条件を含む品質候補情報と複数の圧縮条件を含む圧縮候補情報とを、前記ユーザ装置へ送信し、
前記受信部は、前記複数の品質条件の何れかを前記希望品質条件として受信し、前記複数の圧縮条件の何れかを前記希望圧縮条件として受信することを特徴とする付記6乃至9の何れか1項に記載の通信制御システム。
(付記11)
ユーザ装置から、映像の品質を示す希望品質条件と圧縮又は静止画群を示す希望圧縮条件とを受信し、
撮像装置から出力される圧縮映像をデコードすることで複数の静止画を含む第1静止画情報を生成する第1処理を、通信ネットワークに含まれる複数のノード装置のうち第1ノード装置に対して割り当て、
前記第1静止画情報から生成された複数の静止画を含む第2静止画情報を用いて、前記希望品質条件及び前記希望圧縮条件を満たす映像情報を前記ユーザ装置へ転送する第2処理を、前記複数のノード装置のうち第2ノード装置に対して割り当て、
前記第1処理を示す第1指示を前記第1ノード装置へ送信し、
前記第2処理を示す第2指示を前記第2ノード装置へ送信する、
処理をコンピュータが実行することを特徴とする通信制御方法。
(付記12)
前記第2処理を前記第2ノード装置に対して割り当てる処理は、前記希望圧縮条件が前記圧縮を示している場合、前記第2静止画情報をエンコードすることで、前記希望品質条件を満たす圧縮映像を生成し、前記希望品質条件を満たす圧縮映像を前記映像情報として前記ユーザ装置へ転送する処理を、前記第2処理として前記第2ノード装置に割り当てることを特徴とする付記11記載の通信制御方法。
(付記13)
前記第2処理を前記第2ノード装置に対して割り当てる処理は、前記希望圧縮条件が前記静止画群を示している場合、前記第2静止画情報を前記映像情報として前記ユーザ装置へ転送する処理を、前記第2処理として前記第2ノード装置に割り当てることを特徴とする付記11記載の通信制御方法。
(付記14)
前記第1静止画情報に含まれる前記複数の静止画を間引く第1間引き処理、又は前記第1静止画情報に含まれる前記複数の静止画各々に含まれる複数の画素を間引く第2間引き処理によって、前記第2静止画情報が生成されることを特徴とする付記11乃至13の何れか1項に記載の通信制御方法。
(付記15)
前記希望品質条件及び前記希望圧縮条件を受信する前に、複数の品質条件を含む品質候補情報と複数の圧縮条件を含む圧縮候補情報とを、前記ユーザ装置へ送信する処理を、前記コンピュータがさらに実行し、
前記希望品質条件及び前記希望圧縮条件を受信する処理は、前記複数の品質条件の何れかを前記希望品質条件として受信し、前記複数の圧縮条件の何れかを前記希望圧縮条件として受信することを特徴とする付記11乃至14の何れか1項に記載の通信制御方法。
【符号の説明】
【0190】
101 コントローラ
102-1、102-2、702-1~702-N、2201 監視カメラ
103-1、103-2、703-1~703-M ゲートウェイ
104-1、104-2、704-1~704-L ユーザ装置
105、705 通信ネットワーク
301 エントリ
501、701 通信制御装置
511 受信部
512 制御部
513 送信部
811、911、1011、1111 通信部
812、1012、1112 記憶部
813 転送管理部
814 受付部
815 候補管理部
816 設定部
912 画像処理部
913 撮像部
914 通知部
1013 機能管理部
1014 転送処理部
1113 候補処理部
1114 依頼部
1115 蓄積部
1301 静止画
1302 画像データ
2211 撮像回路
2212 通信インタフェース回路
2213、2301 CPU
2214 画像プロセッサ
2215、2308 バス
2302 メモリ
2303 入力装置
2304 出力装置
2305 補助記憶装置
2306 媒体駆動装置
2307 ネットワーク接続装置
2309 可搬型記録媒体