IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サイレックス・テクノロジー株式会社の特許一覧

特開2024-122246映像配信システム、映像配信装置、端末装置、映像配信方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024122246
(43)【公開日】2024-09-09
(54)【発明の名称】映像配信システム、映像配信装置、端末装置、映像配信方法およびプログラム
(51)【国際特許分類】
   H04N 21/2343 20110101AFI20240902BHJP
   H04N 21/24 20110101ALI20240902BHJP
   H04N 7/18 20060101ALI20240902BHJP
【FI】
H04N21/2343
H04N21/24
H04N7/18 D
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023029687
(22)【出願日】2023-02-28
(71)【出願人】
【識別番号】500112146
【氏名又は名称】サイレックス・テクノロジー株式会社
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100174388
【弁理士】
【氏名又は名称】龍竹 史朗
(72)【発明者】
【氏名】杉原 英二
(72)【発明者】
【氏名】縣 俊成
【テーマコード(参考)】
5C054
5C164
【Fターム(参考)】
5C054CA04
5C054CC02
5C054DA07
5C054DA09
5C054EA03
5C054EA05
5C054FE14
5C054FE18
5C054HA19
5C164FA07
5C164PA31
5C164SA25S
5C164SB02P
5C164SB41P
5C164YA24
(57)【要約】
【課題】異常が発生した場合に利用者がその異常の原因を把握し易くすることができる映像配信システム、映像配信装置、端末装置、映像配信方法およびプログラムを提供する。
【解決手段】映像配信システムは、ネットワークカメラ2A、2B、2C、2Dとのリンク状態を判定するリンク状態判定部112と、ネットワークカメラ2A、2B、2C、2Dとのセッション確立可否を判定するセッション判定部113と、ネットワークカメラ2A、2B、2C、2Dにおいて撮像された画像を示し圧縮された画像情報を復元するための復元処理を実行するデコード部312と、復元処理の結果、画像情報の復元に成功したか否かを判定するデコード判定部313と、リンク状態と、セッション確立可否と、復元処理の結果と、のうちの少なくとも1つに基づいて、表示部304への表示態様を選択し、選択した表示態様の表示画像を形成する画像形成部315と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
ネットワークカメラとのリンク状態を判定するリンク状態判定部と、
前記ネットワークカメラとのセッション確立可否を判定するセッション判定部と、
前記ネットワークカメラとのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、
前記画像情報を復元するための復元処理を実行するデコード部と、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定する復元判定部と、
前記リンク状態と、前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成する画像形成部と、を備える、
映像配信システム。
【請求項2】
前記画像形成部は、映像配信システムの起動直後から、前記ネットワークカメラとのリンクが遮断した状態、前記ネットワークカメラとのセッション確立が不可の状態、または、前記画像情報の復元に失敗する状態が継続している場合、予め設定された第1異常通知画像を、対応する前記ネットワークカメラの前記表示画像として形成する、
請求項1に記載の映像配信システム。
【請求項3】
前記画像形成部は、前記ネットワークカメラとのリンクが確立し、前記ネットワークカメラとのセッション確立が可能であり、且つ、前記画像情報の復元に成功している状態において、異常が発生し、前記ネットワークカメラとのリンクが遮断した状態、前記ネットワークカメラとのセッション確立が不可の状態、または、前記画像情報の復元に失敗する状態に遷移した場合、当該異常が発生した直前に前記ネットワークカメラから取得された前記画像情報が示す前記画像を反映した、表示しつつ異常が発生していることを通知する、前記第1異常通知画像とは異なる予め設定された第2異常通知画像を、対応する前記ネットワークカメラの前記表示画像として形成する、
請求項2に記載の映像配信システム。
【請求項4】
前記ネットワークカメラは、複数存在し、
前記画像形成部は、複数の前記ネットワークカメラそれぞれに対応する前記画像情報が示す前記画像、前記第1異常通知画像または前記第2異常通知画像を含む前記表示画像を形成する、
請求項3に記載の映像配信システム。
【請求項5】
ネットワークカメラにより撮像された画像情報を、当該ネットワークカメラに接続された映像配信装置を介して端末装置に配信する映像配信システムであって、
前記映像配信装置は、
前記ネットワークカメラとのリンク状態を判定するリンク状態判定部と、
前記ネットワークカメラとのセッション確立可否を判定するセッション判定部と、
前記ネットワークカメラとのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、
前記画像情報を復元するための復元処理を実行するデコード部と、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定する復元判定部と、
前記リンク状態と、前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成する画像形成部と、を備える、
映像配信システム。
【請求項6】
ネットワークカメラとのリンク状態を判定するリンク状態判定部と、
前記ネットワークカメラとのセッション確立可否を判定するセッション判定部と、
前記ネットワークカメラとのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、
取得された前記画像情報を端末装置へ送信する画像送信部と、
前記リンク状態および前記セッション確立可否を示す状態通知情報を生成して前記端末装置へ送信する状態通知部と、を備える、
映像配信装置。
【請求項7】
ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、
前記ネットワークカメラと映像配信装置とのリンク状態と、前記ネットワークカメラと前記映像配信装置とのセッション確立可否と、を示す状態通知情報を取得する状態通知取得部と、
前記画像情報を復元するための復元処理を実行するデコード部と、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定する復元判定部と、
前記状態通知情報が示す前記リンク状態および前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成する画像形成部と、を備える、
端末装置。
【請求項8】
ネットワークカメラと映像配信装置とのリンク状態を判定するステップと、
前記ネットワークカメラと前記映像配信装置とのセッション確立可否を判定するステップと、
前記ネットワークカメラと前記映像配信装置とのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得するステップと、
前記画像情報を復元するための復元処理を実行するステップと、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定するステップと、
前記リンク状態と、前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成するステップと、を含む、
映像配信方法。
【請求項9】
コンピュータを、
ネットワークカメラとのリンク状態を判定するリンク状態判定部、
前記ネットワークカメラとのセッション確立可否を判定するセッション判定部、
前記ネットワークカメラとのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部、
前記画像情報を復元するための復元処理を実行するデコード部、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定する復元判定部、
前記リンク状態と、前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成する画像形成部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像配信システム、映像配信装置、端末装置、映像配信方法およびプログラムに関する。
【背景技術】
【0002】
複数のネットワークカメラと、ログを管理するログ管理装置と、表示画面を画像コンテンツ切替領域、コンテンツ表示用メニュー領域及びコンテンツ表示領域の3つの領域に分割すると共に、画像コンテンツ切替領域に表示可能なコンテンツの一覧を、コンテンツ表示用メニュー領域にコンテンツの表示方法の一覧をそれぞれ表示させ、選択されたコンテンツ及び表示方法でコンテンツ表示領域にコンテンツを表示させる統括コンソールと、を備える監視システムが提案されている(例えば特許文献1参照)。この監視システムでは、統括コンソールが、イベント情報を受信した場合に関連するネットワークカメラの画像の表示画面を強調表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005-129999号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、前述のような複数のネットワークカメラを備えるシステムにおいて、複数のネットワークカメラのうちのいずれかに異常が発生した場合、利用者が、その異常の原因を把握し易くすることで、システムを早期に復旧させることが要請されている。
【0005】
本発明は、上記に鑑みてなされたものであり、異常が発生した場合に利用者がその異常の原因を把握し易くすることができる映像配信システム、映像配信装置、端末装置、映像配信方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明に係る映像配信システムは、
ネットワークカメラとのリンク状態を判定するリンク状態判定部と、
前記ネットワークカメラとのセッション確立可否を判定するセッション判定部と、
前記ネットワークカメラとのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、
前記画像情報を復元するための復元処理を実行するデコード部と、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定する復元判定部と、
前記リンク状態と、前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成する画像形成部と、を備える。
【0007】
他の観点から見た本発明に係る映像配信システムは、
ネットワークカメラにより撮像された画像情報を、当該ネットワークカメラに接続された映像配信装置を介して端末装置に配信する映像配信システムであって、
前記映像配信装置は、
前記ネットワークカメラとのリンク状態を判定するリンク状態判定部と、
前記ネットワークカメラとのセッション確立可否を判定するセッション判定部と、
前記ネットワークカメラとのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、
前記画像情報を復元するための復元処理を実行するデコード部と、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定する復元判定部と、
前記リンク状態と、前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成する画像形成部と、を備える。
【0008】
他の観点から見た本発明に係る映像配信装置は、
ネットワークカメラとのリンク状態を判定するリンク状態判定部と、
前記ネットワークカメラとのセッション確立可否を判定するセッション判定部と、
前記ネットワークカメラとのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、
取得された前記画像情報を端末装置へ送信する画像送信部と、
前記リンク状態および前記セッション確立可否を示す状態通知情報を生成して前記端末装置へ送信する状態通知部と、を備える。
【0009】
他の観点から見た本発明に係る端末装置は、
ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、
前記ネットワークカメラと映像配信装置とのリンク状態と、前記ネットワークカメラと前記映像配信装置とのセッション確立可否と、を示す状態通知情報を取得する状態通知取得部と、
前記画像情報を復元するための復元処理を実行するデコード部と、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定する復元判定部と、
前記状態通知情報が示す前記リンク状態および前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成する画像形成部と、を備える。
【0010】
他の観点から見た本発明に係る映像配信方法は、
ネットワークカメラと映像配信装置とのリンク状態を判定するステップと、
前記ネットワークカメラと前記映像配信装置とのセッション確立可否を判定するステップと、
前記ネットワークカメラと前記映像配信装置とのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得するステップと、
前記画像情報を復元するための復元処理を実行するステップと、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定するステップと、
前記リンク状態と、前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成するステップと、を含む。
【0011】
他の観点から見た本発明に係るプログラムは、
コンピュータを、
ネットワークカメラとのリンク状態を判定するリンク状態判定部、
前記ネットワークカメラとのセッション確立可否を判定するセッション判定部、
前記ネットワークカメラとのリンクが確立し且つセッションが確立している場合、前記ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部、
前記画像情報を復元するための復元処理を実行するデコード部、
前記復元処理の結果、前記画像情報の復元に成功したか否かを判定する復元判定部、
前記リンク状態と、前記セッション確立可否と、前記復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した前記表示態様の表示画像を形成する画像形成部、
として機能させる。
【発明の効果】
【0012】
本発明によれば、画像形成部が、ネットワークカメラとのリンク状態と、ネットワークカメラとのセッション確立可否と、予め設定された圧縮符号化方式で圧縮された画像情報に対する復元処理の結果と、の3つのうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した表示態様の表示画像を形成する。これにより、映像配信システムに異常が発生した場合に、その異常の原因に応じて表示部に表示される表示画像の表示態様が変化する。従って、利用者は、表示画像の表示態様を確認することにより発生した異常の原因を把握し、その異常に対処し易くなる。
【図面の簡単な説明】
【0013】
図1】本発明の実施の形態1に係る映像配信システムの構成を示す図である。
図2】実施の形態1に係る映像配信システムのハードウェア構成を示す図である。
図3】実施の形態1に係る映像配信システムの機能構成を示す図である。
図4】(A)は実施の形態1に係る映像配信装置が備える状態記憶部が記憶する情報の一例を示す図であり、(B)は実施の形態1に係る映像配信装置が備える状態記憶部が記憶する情報の一例を示す図である。
図5】実施の形態1に係る映像配信システムの動作を示すシーケンス図である。
図6】実施の形態1に係る端末装置の表示部に表示される表示画像の一例を示す図である。
図7】実施の形態1に係る映像配信システムの動作を示すシーケンス図である。
図8】(A)は実施の形態1に係る、ネットワークカメラとのリンクが遮断されている場合に端末装置の表示部に表示される表示画像の一例を示す図であり、(B)は実施の形態1に係る、ネットワークカメラとのセッション確立が不可の場合に端末装置の表示部に表示される表示画像の一例を示す図である。
図9】実施の形態1に係る映像配信システムの動作を示すシーケンス図である。
図10】実施の形態1に係る、画像情報の復元処理が失敗している場合に端末装置の表示部に表示される表示画像の一例を示す図である。
図11】実施の形態1に係る映像配信システムの動作を示すシーケンス図である。
図12】(A)は実施の形態1に係る、ネットワークカメラとのリンクが途中で遮断された場合に端末装置の表示部に表示される表示画像の一例を示す図であり、(B)は実施の形態1に係る、ネットワークカメラとのセッション確立が途中で不可となった場合に端末装置の表示部に表示される表示画像の一例を示す図である。
図13】実施の形態1に係る映像配信システムの動作を示すシーケンス図である。
図14】実施の形態1に係る、途中で画像情報の復元処理が失敗した場合に端末装置の表示部に表示される表示画像の一例を示す図である。
図15】実施の形態1に係る映像配信装置が実行する映像配信処理の流れの一例を示すフローチャートである。
図16】実施の形態1に係る端末装置が実行する映像表示処理の流れの一例を示すフローチャートである。
図17】本発明の実施の形態2に係る映像配信システムの機能構成を示す図である。
図18】実施の形態2に係る映像配信システムの動作を示すシーケンス図である。
図19】実施の形態2に係る映像配信システムの動作を示すシーケンス図である。
図20】実施の形態2に係る映像配信装置が実行する映像配信処理の流れの一例を示すフローチャートである。
図21】実施の形態2に係る端末装置が実行する映像配信処理の流れの一例を示すフローチャートである。
図22】変形例に係る映像配信システムの動作を示すシーケンス図である。
図23】変形例に係る、途中で画像情報の復元処理が失敗した場合に端末装置の表示部に表示される表示画像の一例を示す図である。
【発明を実施するための形態】
【0014】
(実施の形態1)
以下、本発明の一実施の形態に係る映像配信システムについて図面を参照して詳細に説明する。本実施の形態に係る映像配信システムは、ネットワークカメラとのリンク状態を判定するリンク状態判定部と、ネットワークカメラとのセッション確立可否を判定するセッション判定部と、ネットワークカメラとのリンクが確立し且つセッションが確立している場合、ネットワークカメラにおいて撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を取得する画像取得部と、を備える。また、この映像配信システムは、画像情報を復元するための復元処理を実行するデコード部と、復元処理の結果、画像情報の復元に成功したか否かを判定する復元判定部と、リンク状態と、セッション確立可否と、復元処理の結果と、のうちの少なくとも1つに基づいて、表示部への表示態様を選択し、選択した表示態様の表示画像を形成する画像形成部と、を備える。以下、本実施の形態について詳細に説明する。なお、本発明の一実施の形態に係る映像配信システムにおける画像情報は、静止画像だけでなく、動画像も含まれてもよい。
【0015】
本実施の形態に係る映像配信システム100は、例えば図1に示すように、4台のネットワークカメラ2A、2B、2C、2D(以後、ネットワークカメラ2等とも呼ぶ)と、ネットワークNWを介してこれらネットワークカメラ2等と接続された映像配信装置1と、端末装置3と、を備える。ネットワークNWは、例えばイーサネット規格に適合した有線LAN(Local Area Network)である。ネットワークカメラ2A、2B、2C、2Dは、例えば生産設備を監視する監視カメラとして使用されるものである。ネットワークカメラ2A、2B、2C、2Dは、図2に示すように、CPU(Central Processing Unit)201と、主記憶部202と、補助記憶部203と、撮像部204と、有線通信インタフェース206と、各部を接続するバス209と、を備える。主記憶部202は、RAM(Random Access Memory)のような揮発性メモリから構成されている。補助記憶部203は、ROM(Read Only Memory)のような不揮発性メモリから構成され、自装置であるネットワークカメラ2A、2B、2C、2Dを制御するためのプログラムを記憶する。撮像部204は、例えば少なくとも1つのレンズを保持する鏡筒と、少なくとも1つのレンズの結像位置に配置されたイメージセンサ(いずれも不図示)と、を有し、撮像した画像を示す画像情報を出力する。有線通信インタフェース206は、ネットワークNWに接続され、ネットワークNWを介したデータの送受信を行う。CPU201は、補助記憶部203が記憶するプログラムを主記憶部202に読み込んで実行することにより、図3に示すように、エンコード部211、接続処理部212および画像送信部213として機能する。また、図2に示す主記憶部202は、図3に示すように、撮像部204で撮像された画像が予め設定された圧縮符号化方式で圧縮された画像情報を一時的に記憶する圧縮画像バッファ221を有する。ここで、圧縮符号化方式としては、例えば離散型コサイン変換を利用したH.261、H.263、H.264、MPEG-1、MPEG-2、MPEG-3等を採用することができる。或いは、サブバンド符号化、ウェーブレット変換を利用した圧縮符号化方式を採用してもよい。
【0016】
エンコード部211は、撮像部204から前述の画像情報が入力されると、入力された画像情報を前述の圧縮符号化方式で圧縮して圧縮画像バッファ221に記憶させる。
【0017】
接続処理部212は、映像配信装置1との間でリンクを確立するための処理と、セッションを確立するための処理と、を実行する。具体的には、接続処理部212は、映像配信装置1から送信されるFLP(First Link Pluse)バーストを取得し、FLPバーストが示すネットワークカメラ2A、2B、2C、2Dに対応する通信速度および通信モードと一致する場合、映像配信装置1とのネゴシエーションが成立しリンクが確立した状態となる。ここで、通信モードとしては、全二重通信または半二重通信のいずれかのモードを示す。また、接続処理部212は、ネットワークカメラ2A、2B、2C、2Dの通信速度および通信モードに対応するFLPバーストを映像配信装置1へ送信する。また、接続処理部212は、映像配信装置1との間でリンクが確立した後、映像配信装置1とセッションを確立するために必要な接続情報の送信を要求する接続要求(DESCRIBE)情報を映像配信装置1から取得すると、これに応じて、応答情報とともに要求された自機に関する接続情報を映像配信装置1へ送信する。ここで、接続情報は、例えばSDP(Session Description Protocol)により記述された接続方法、伝送方式、メディアの種類等を定義する情報である。次に、接続処理部212は、映像配信装置1から送信される通信開始(SETUP)情報を取得すると、これに応じて、応答情報を送信する。その後、接続処理部212は、映像配信装置1から送信される画像送信要求(PLAY)情報を取得すると、これに応じて、応答情報を生成して映像配信装置1へ送信する。
【0018】
画像送信部213は、圧縮画像バッファ221が記憶する画像情報を映像配信装置1へ送信する。ここで、画像送信部213は、UDP(User Datagram Protocol)、RTP(Real-time Transport Protocol)/RTCP(RTP Control Protocol)を用いて、画像情報を送信する。なお、本実施の形態では、画像送信部213が用いる通信プロトコルは前述の3つの通信プロトコルを例に説明しているがこれに限定されない。当該通信プロトコルは、音声や動画像データに用いることができる通信プロトコルであればよい。
【0019】
図2に戻って、映像配信装置1は、CPU101と、主記憶部102と、補助記憶部103と、有線通信インタフェース106と、無線モジュール107と、各部を接続するバス109と、を備える。主記憶部102は、RAMのような揮発性メモリから構成され、CPU101の作業領域として使用される。補助記憶部103は、ROMのような不揮発性メモリ、または、SSD(Solid State Drive)、HDD(Hard Disk Drive)等から構成され、映像配信装置1を制御するためのプログラムを記憶する。有線通信インタフェース106は、ネットワークNWに接続され、ネットワークNWを介しネットワークカメラ2等との間でデータの送受信を行う。無線モジュール107は、例えばIEEE802.11に準拠した無線LAN規格に適合する通信方式で端末装置3との間で無線通信する。
【0020】
CPU101は、補助記憶部103が記憶するプログラムを主記憶部102に読み込んで実行することにより、図3に示すように、接続処理部111、リンク状態判定部112、セッション判定部113、画像取得部114、画像送信部115および状態通知部116として機能する。また、図2に示す主記憶部102は、図3に示すように、ネットワークカメラ2A、2B、2C、2Dから送信された画像情報を一時的に記憶する圧縮画像バッファ121を有する。更に、図2に示す補助記憶部103は、図3に示すように、ネットワークカメラ2A、2B、2C、2Dと映像配信装置1との間でのリンク状態およびセッション確立可否を示す情報を記憶する状態記憶部131を有する。
【0021】
状態記憶部131は、例えば図4(A)に示すように、ネットワークカメラ2A、2B、2C、2Dそれぞれと映像配信装置1との間のリンク状態、セッション確立可否を示す情報を、Fから始まるコード番号で表し、対応するネットワークカメラ2A、2B、2C、2Dそれぞれを識別するカメラ番号を示すカメラ情報に対応づけて記憶する。図4(A)に示す例では、ネットワークカメラ2A、2C、2Dとのリンクが確立(接続)しており、ネットワークカメラ2Bとのリンクが遮断(未接続)されていることを示している。また、ネットワークカメラ2A、2Dとの間ではセッション確立が可能であり、ネットワークカメラ2B、2Cとの間ではセッション確立が不可能であることを示している。
【0022】
接続処理部111は、ネットワークカメラ2A、2B、2C、2Dとの間でリンクを確立するための処理と、セッションを確立するための処理と、を実行する。具体的には、接続処理部111は、ネットワークカメラ2A、2B、2C、2Dそれぞれから送信されるFLPバーストを取得し、自装置に対応する通信速度および通信モードと一致する場合、ネットワークカメラ2A、2B、2C、2Dとのネゴシエーションが成立しリンクが確立した状態となる。また、接続処理部111は、映像配信装置1の通信速度および通信モードに対応するFLPバーストをネットワークカメラ2A、2B、2C、2Dへ送信する。そして、接続処理部111は、通信開始情報を生成してネットワークカメラ2A、2B、2C、2Dへ送信する。次に、接続処理部111は、ネットワークカメラ2A、2B、2C、2Dから応答情報を取得すると、前述のネットワークカメラ2A、2B、2C、2Dに向けて各ネットワークカメラの圧縮画像バッファ221に記憶された画像の送信を要求する画像送信要求情報を送信し、その後、ネットワークカメラ2A、2B、2C、2Dから送信される応答情報を取得してからネットワークカメラ2A、2B、2C、2Dから送信される画像情報の取得を開始する。また、接続処理部111は、セッションを開放するトリガとなるセッション開放イベントが発生した場合、セッション開放要求(TEARDOWN)情報をネットワークカメラ2A、2B、2C、2Dへ送信することにより、ネットワークカメラ2A、2B、2C、2Dとの間に確立されたセッションを開放する。
【0023】
リンク状態判定部112は、ネットワークカメラ2A、2B、2C、2Dそれぞれとのリンク状態を判定する。具体的には、リンク状態判定部112は、接続処理部111が取得するFLPバーストが示すネットワークカメラ2A、2B、2C、2Dに対応する通信速度および通信モードと、映像配信装置1に対応する通信速度および通信モードが一致し、映像配信装置1とのネゴシエーションが成立している場合、リンクが確立していると判定する。一方、リンク状態判定部112は、接続処理部111がネットワークカメラ2A、2B、2C、2DからFLPバーストを取得できない場合、或いは、接続処理部111が取得するFLPバーストが示す通信速度および通信モードと、映像配信装置1に対応する通信速度および通信モードと、が一致せず、映像配信装置1とのネゴシエーションが成立していない場合、リンクが遮断されていると判定する。そして、リンク状態判定部112は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応するリンク状態を示すリンク状態情報を状態記憶部131に記憶させる。
【0024】
セッション判定部113は、ネットワークカメラ2A、2B、2C、2Dとのセッション確立可否を判定する。セッション判定部113は、接続処理部111がネットワークカメラ2A、2B、2C、2Dから送信される、通信開始情報に対応する応答情報を取得したときに、取得した応答情報に基づいて、例えばネットワークカメラ2A、2B、2C、2DがRTPに対応すると判定した場合、セッション確立が可能であると判定する。一方、セッション判定部113は、接続処理部111がネットワークカメラ2A、2B、2C、2Dから送信される応答情報を取得したときに、取得した応答情報に基づいて、例えばネットワークカメラ2A、2B、2C、2DがRTPに対応しないと判定した場合、セッション確立が不可能であると判定する。そして、セッション判定部113は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応するセッション確立可否を示すセッション確立可否情報を状態記憶部131に記憶させる。
【0025】
画像取得部114は、映像配信装置1とネットワークカメラ2A、2B、2C、2Dとの間でリンクが確立し且つセッションも確立した場合、ネットワークカメラ2A、2B、2C、2Dそれぞれから送信される画像情報を取得する。画像取得部114は、取得した画像情報を圧縮画像バッファ121に記憶させる。ここで、画像取得部114は、UDP、RTP/RTCPを用いて、画像情報を取得する。なお、本実施の形態では、画像取得部114が用いる通信プロトコルは前述の3つの通信プロトコルを例に説明しているがこれに限定されない。当該通信プロトコルは、音声や動画像データに用いることができる通信プロトコルであればよい。
【0026】
画像送信部115は、圧縮画像バッファ121が記憶する画像情報を、端末装置3へ無線送信する。
【0027】
状態通知部116は、状態記憶部131が記憶するリンク状態情報、セッション確立可否情報およびカメラ情報を含む状態通知情報を生成して端末装置3へ送信する。
【0028】
図2に戻って、端末装置3は、例えばIEEE802.11に準拠した無線LAN規格に適合する通信方式で映像配信装置1との間で無線通信可能なパーソナルコンピュータであり、CPU301と、主記憶部302と、補助記憶部303と、表示部304と、無線モジュール307と、各部を接続するバス309と、を備える。主記憶部302は、RAMのような揮発性メモリから構成され、CPU301の作業領域として使用される。補助記憶部303は、ROMのような不揮発性メモリ、または、SSD、HDD等から構成され、端末装置3を制御するためのプログラムを記憶する。表示部304は、例えば液晶ディスプレイを有する表示装置である。無線モジュール307は、例えばIEEE802.11に準拠した無線LAN規格に適合する通信方式で映像配信装置1の無線モジュール107との間で無線通信する。
【0029】
CPU301は、補助記憶部303が記憶するプログラムを主記憶部302に読み込んで実行することにより、図3に示すように、画像取得部311、デコード部312、デコード判定部313、状態通知取得部314、画像形成部315および表示制御部316として機能する。また、図2に示す主記憶部102は、図3に示すように、映像配信装置1から送信される画像情報を一時的に記憶する圧縮画像バッファ321と、表示部304に表示する表示画像を示す表示画像情報を記憶する表示画像記憶部322と、を有する。更に、図2に示す補助記憶部103は、図3に示すように、状態記憶部331と、画像記憶部332と、を有する。状態記憶部331は、例えば図4(B)に示すように、ネットワークカメラ2A、2B、2C、2Dそれぞれと映像配信装置1との間のリンク状態、セッション確立可否を示す情報と、画像情報の復元処理が成功したか否かを示すデコード成否情報と、をFから始まるコード番号で表し、対応するネットワークカメラ2A、2B、2C、2Dそれぞれを識別するカメラ番号を示すカメラ情報に対応づけて記憶する。図4(B)に示す例では、ネットワークカメラ2Aに対応する画像情報については、復元処理が成功し、ネットワークカメラ2Dに対応する画像情報については、復元処理が失敗したことを示している。
【0030】
画像記憶部332は、圧縮画像バッファ321が記憶する画像情報を復元して得られる、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報を、カメラ情報に対応づけて記憶する。
【0031】
画像取得部311は、映像配信装置1から送信される画像情報を取得すると、取得した画像情報を圧縮画像バッファ321に記憶させる。
【0032】
デコード部312は、圧縮画像バッファ321が記憶する画像情報に対して復元処理を実行することにより、復元された画像情報を生成し、生成した画像情報を画像記憶部332に、対応するカメラ情報に対応づけて記憶する。
【0033】
デコード判定部313は、デコード部312による復元処理の結果、画像情報の復元に成功したか否かを判定する復元判定部である。デコード判定部313は、デコード部312が復元処理を実行する毎に、画像情報の復元に成功したか否かを示すデコード成否情報を生成して状態記憶部331が記憶するデコード成否情報を更新し、これをカメラ情報と対応づけて状態記憶部331に記憶させる。
【0034】
状態通知取得部314は、映像配信装置1から送信される状態通知情報を取得すると、取得した状態通知情報に含まれる、リンク状態情報、セッション確立可否情報およびカメラ情報を抽出してこれらを互いに対応づけて状態記憶部331に記憶させる。
【0035】
画像形成部315は、画像形成部315は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像を含む表示画像を分割表示対応などにより適宜形成する。その際、画像形成部315は、状態記憶部331が記憶するリンク状態情報と、セッション確立可否情報と、復元処理の結果を示すデコード成否情報と、のうちの少なくとも1つに基づいて、各カメラに対応する画像の表示部304における表示態様を選択し、画像形成部315は、選択した表示態様の表示画像を形成する。ここで、画像形成部315は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像を含む表示画像を形成する。画像形成部315は、形成した表示画像を示す表示画像情報を表示画像記憶部322に記憶させる。
【0036】
また、画像形成部315は、映像配信装置1の起動直後から、映像配信装置1とネットワークカメラ2A、2B、2C、2Dとのリンクが遮断している状態、セッション確立が不可能な状態、または、画像情報の復元に失敗する状態が継続している場合、予め設定された第1異常通知画像を、対応するネットワークカメラ2A、2B、2C、2Dの表示画像として形成する。更に、画像形成部315は、映像配信装置1とネットワークカメラ2A、2B、2C、2Dとのリンクが確立し、映像配信装置1とネットワークカメラ2A、2B、2C、2Dとのセッション確立が可能であり、且つ、画像情報の復元に成功している状態において、異常が発生し、映像配信装置1とネットワークカメラ2A、2B、2C、2Dとのリンクが遮断した状態、ネットワークカメラ2A、2B、2C、2Dとのセッション確立が不可能の状態、または、画像情報の復元に失敗する状態に遷移した場合、異常が発生した直前にネットワークカメラ2A、2B、2C、2Dから取得された画像情報が示す前記画像を表示しつつ、異常が発生していることを通知する、前述の第1異常通知画像とは異なる予め設定された第2異常通知画像を重畳して、対応するネットワークカメラ2A、2B、2C、2Dの表示画像として形成する。そして、画像形成部315は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像、前述の第1異常通知画像または前述の第2異常通知画像を含む表示画像を形成する。画像形成部315は、形成した画像を示す表示画像情報を表示画像記憶部322に記憶させる。
【0037】
表示制御部316は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる。
【0038】
次に、本実施の形態に係る映像配信システムの動作について図5乃至図14を参照しながら説明する。なお、映像配信装置1へ電源が投入された直後において、映像配信装置1の状態記憶部131が記憶する、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応するリンク状態情報、セッション確立可否情報およびデコード成否情報は、それぞれ、「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」に設定されているものとする。まず、映像配信装置1へ電源が投入されると、映像配信装置1の通信速度および通信モードを示すFLPバーストが、映像配信装置1からネットワークカメラ2A、2B、2C、2Dへ送信される(ステップS1)。一方、ネットワークカメラ2A、2B、2C、2Dの通信速度および通信モードを示すFLPバーストも、ネットワークカメラ2A、2B、2C、2Dから映像配信装置1へ送信される(ステップS2)。ここで、映像配信装置1は、ネットワークカメラ2A、2B、2C、2Dから送信されたFLPバーストが示す通信速度および通信モードが映像配信装置1に対応する通信速度および通信モードと一致し、ネゴシエーションが成立すると、ネットワークカメラ2A、2B、2C、2Dとのリンクが確立したと判定する(ステップS3)。この場合、映像配信装置1は、状態記憶部131が記憶する、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応するリンク状態情報を「F11(接続)」に更新する(ステップS4)。
【0039】
次に、前述のセッション確立イベントが発生したとする。ここで、セッション確立イベントは、例えば、端末装置3においてネットワークカメラ2A、2B、2C、2Dで撮像した画像を表示部304に表示させるための表示操作が挙げられる。この場合、映像配信装置1に対して画像情報を端末装置3へ送信するよう指令する送信指令情報が、端末装置3から映像配信装置1へ送信される(ステップS5)。この場合、接続情報要求情報が、映像配信装置1からネットワークカメラ2A、2B、2C、2Dへ送信される(ステップS6)。ここで、接続情報は、例えばSDPにより記述された接続方法、伝送方式、メディアの種類等を定義する情報である。一方、ネットワークカメラ2A、2B、2C、2Dは、接続情報要求情報を取得すると、これに応じて、前述の接続情報を映像配信装置1へ送信する(ステップS7)。一方、映像配信装置1は、ネットワークカメラ2A、2B、2C、2Dから取得した接続情報に基づいて、通信開始情報を生成し(ステップS8)、生成された通信開始情報が、映像配信装置1からネットワークカメラ2A、2B、2C、2Dへ送信される(ステップS9)。一方、ネットワークカメラ2A、2B、2C、2Dが、通信開始情報を取得すると、これに応じて、応答情報が、ネットワークカメラ2A、2B、2C、2Dから映像配信装置1へ送信され、映像配信装置1がこれを取得する(ステップS10)。
【0040】
一方、映像配信装置1が、取得した応答情報に基づいて、ネットワークカメラ2A、2B、2C、2DがRTPに対応しておりセッション確立が可能であると判定したとする(ステップS11)。この場合、映像配信装置1は、状態記憶部131が記憶する、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応するセッション確立可否情報を「F21(セッション確立可)」に更新する(ステップS12)。続いて、映像配信装置1は、状態記憶部131が記憶するリンク状態情報、セッション確立可否情報およびカメラ情報を含む状態通知情報を生成し(ステップS13)、生成された状態通知情報が、映像配信装置1から端末装置3へ送信される(ステップS14)。一方、端末装置3は、状態通知情報を取得すると、取得した状態通知情報に含まれるリンク状態情報、セッション確立可否情報およびカメラ情報を抽出する。そして、端末装置3は、状態記憶部331が記憶していたカメラ情報に対応するリンク状態情報およびセッション確立可否情報を、新たに抽出したリンク状態情報およびセッション確立可否情報で更新する(ステップS15)。
【0041】
また、ネットワークカメラ2A、2B、2C、2Dは、撮像部204により画像を撮像し、撮像した画像を示す画像情報を順次、予め設定された圧縮符号化方式によりエンコードして圧縮画像バッファ221に記憶させる(ステップS16)。
【0042】
また、映像配信装置1が、ステップS10において応答情報を取得すると、これに応じて、画像送信要求情報が、映像配信装置1からネットワークカメラ2A、2B、2C、2Dへ送信される(ステップS17)。一方、ネットワークカメラ2A、2B、2C、2Dが、画像送信要求情報を取得すると、これに応じて、応答情報が、ネットワークカメラ2A、2B、2C、2Dから映像配信装置1へ送信される(ステップS18)。その後、ネットワークカメラ2A、2B、2C、2Dが、圧縮画像バッファ221が記憶する画像情報の中から映像配信装置1へ送信する画像情報を特定し(ステップS19)、特定された画像情報が圧縮処理を施されて、ネットワークカメラ2A、2B、2C、2Dから映像配信装置1へ送信される(ステップS20)。一方、映像配信装置1は、圧縮画像情報を取得すると、取得した圧縮画像情報を圧縮画像バッファ121に記憶させる(ステップS21)。次に、圧縮画像バッファ121が記憶する圧縮画像情報が、映像配信装置1から端末装置3へ送信される(ステップS22)。
【0043】
一方、端末装置3は、取得した圧縮画像情報を圧縮画像バッファ321に記憶させる(ステップS23)。続いて、端末装置3は、圧縮画像バッファ321が記憶する圧縮画像情報に対して復元処理を実行する(ステップS24)。ここで、端末装置3は、画像情報の復元に成功したと判定したとする(ステップS25)。この場合、端末装置3は、状態記憶部331が記憶する、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応するデコード成否情報を「F31(成功)」に更新する(ステップS26)。その後、端末装置3は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像を含む表示画像を形成し、形成した表示画像を示す表示画像情報を表示画像記憶部322に記憶させる(ステップS27)。次に、端末装置3は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS28)。ここで、端末装置3は、例えば図6に示すようなネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像GA11、GA12、GA13、GA14が2次元に配列された表示画像GA1を表示部304に表示させる。
【0044】
また、図7に示すように、映像配信装置1へ電源が投入され、前述のFLPバーストが、映像配信装置1からネットワークカメラ2A、2B、2C、2Dへ送信された後(ステップS1)、ネットワークカメラ2A、2B、2C、2Dのうち、カメラ2BからのみFLPバーストを取得できなかったとする。この場合、映像配信装置1は、ネットワークカメラ2Bとのネゴシエーションが成立せず、ネットワークカメラ2Bとのリンクが遮断されていると判定する(ステップS29)。この場合、映像配信装置1は、状態記憶部131が記憶する、FLPバーストを取得できなかったネットワークカメラ2Bに対応するリンク状態情報を「F10(未接続)」の設定のままとし、他のカメラ2A、2Cおよび2Dのリンク状態情報は「F11(接続)」に設定する(ステップS30)。そして、映像配信装置1は、状態記憶部131が記憶するリンク状態情報、セッション確立可否情報およびカメラ情報を含む状態通知情報を生成し(ステップS31)、生成された状態通知情報が、映像配信装置1から端末装置3へ送信される(ステップS32)。一方、端末装置3は、状態通知情報を取得すると、取得した状態通知情報に含まれるリンク状態情報、セッション確立可否情報およびカメラ情報を抽出し、状態記憶部331が記憶する各種情報を、抽出した各種情報で更新する(ステップS33)。ここで、FLPバーストを取得できなかったネットワークカメラ2Bに対応するリンク状態情報が「F10(未接続)」に設定されている。その後、端末装置3は、ネットワークカメラ2A、2C、2Dそれぞれに対応する画像情報が示す画像およびネットワークカメラ2Bについては前述の第1異常通知画像を含む表示画像を形成し、形成した表示画像を示す表示画像情報を表示画像記憶部322に記憶させる(ステップS34)。次に、端末装置3は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS28)。ここで、端末装置3は、例えばネットワークカメラ2Bとのリンクが確立できなかった場合、図8(A)に示すようなネットワークカメラ2A、2C、2Dそれぞれに対応する画像情報が示す画像GA11、GA13、GA14とネットワークカメラ2Bに対応する第1異常通知画像GA22とが2次元に配列された表示画像GA2を表示部304に表示させる。ここで、第1異常通知画像GA22は、予め設定された色またはパターンで塗りつぶされた画像を採用することができ、例えば黒色で塗りつぶされた画像に設定される。
【0045】
また、別の例として、図7下部に示すように、映像配信装置1とネットワークカメラ2A、2B、2C、2Dとのリンクが確立できており、映像配信装置1へ電源が投入された後、ステップS1からステップS10までの一連の処理が実行されたとする。その後、映像配信装置1が、取得した接続情報に基づいて、ネットワークカメラ2A、2B、2C、2Dのうちカメラ2Cのみの少なくとも1つがRTPに対応しておらずセッション確立が不可能であると判定したとする(ステップS35)。この場合、映像配信装置1は、状態記憶部131が記憶する、セッション確立が不可能であると判定したネットワークカメラ2Cに対応するセッション確立可否情報を「F20(セッション確立不可)」の設定のままとし、他のカメラ2A、2Bおよび2Dのセッション確立可否情報は「F21(確立)」に設定する(ステップS36)。続いて、映像配信装置1は、状態記憶部131が記憶するリンク状態情報、セッション確立可否情報およびカメラ情報を含む状態通知情報を生成し(ステップS37)、生成された状態通知情報が、映像配信装置1から端末装置3へ送信される(ステップS38)。一方、端末装置3は、状態通知情報を取得すると、取得した状態通知情報に含まれるリンク状態情報、セッション確立可否情報およびカメラ情報を抽出し、状態記憶部331が記憶する各種情報を、抽出した各種情報で更新する(ステップS39)。ここで、セッション確立が不可能であるネットワークカメラ2Cに対応するセッション確立可否情報が「F20(確立不可)」に設定されている。その後、端末装置3は、ネットワークカメラ2A、2B、2Dそれぞれに対応する画像情報が示す画像およびネットワークカメラ2Cに対応する前述の第1異常通知画像を含む表示画像を形成し、形成した表示画像を示す表示画像情報を表示画像記憶部322に記憶させる(ステップS40)。次に、端末装置3は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS28)。ここで、端末装置3は、例えばネットワークカメラ2Cとのセッション確立が不可能であった場合、図8(B)に示すようなネットワークカメラ2A、2B、2Dそれぞれに対応する画像情報が示す画像GA11、GA12、GA14とネットワークカメラ2Cに対応する第1異常通知画像GA33とが2次元に配列された表示画像GA3を表示部304に表示させる。ここで、第1異常通知画像GA33は、例えば予め設定された色またはパターンで塗りつぶされた画像を採用することができ、例えば橙色で塗りつぶされた画像に設定される。但し、この場合の第1異常通知画像GA33は、前述の図8(A)におけるリンクが遮断されているネットワークカメラ2Bに対応する第1異常通知画像GA22とは異なる表示態様の画像が採用される。
【0046】
また、図9に示すように、映像配信装置1とネットワークカメラ2A、2B、2C、2Dとのリンクが確立できており且つセッションの確立が可能であり、映像配信装置1へ電源が投入された後、ステップS1からステップS23までの一連の処理が実行されたとする。その後、端末装置3が、圧縮画像バッファ321が記憶する画像情報に対して復元処理を実行した結果(ステップS24)、ネットワークカメラ2A、2B、2C、2Dのうちカメラ2Dの少なくとも1つに対応の画像情報についてのみ復元に失敗したと判定したとする(ステップS41)。この場合、端末装置3は、状態記憶部331が記憶する、復元に失敗した画像情報を生成したネットワークカメラ2Dに対応するデコード成否情報を「F30(失敗)」の設定のままとし、2A、2B、2Cに対応するデコード成否情報を「F31(成功)」に更新する(ステップS42)。続いて、端末装置3は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像および前述の第1異常通知画像を含む表示画像を形成し、形成した表示画像を示す表示画像情報を表示画像記憶部322に記憶させる(ステップS43)。その後、端末装置3は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS28)。ここで、端末装置3は、例えばネットワークカメラ2Dで生成された画像情報の復元に失敗している場合、図10に示すようなネットワークカメラ2A、2B、2Cそれぞれに対応する画像情報が示す画像GA11、GA12、GA13とネットワークカメラ2Dに対応する第1異常通知画像GA44とが2次元に配列された表示画像GA4を表示部304に表示させる。ここで、第1異常通知画像GA44は、例えば予め設定された色またはパターンで塗りつぶされた画像を採用することができ、例えば緑色で塗りつぶされた画像に設定される。但し、この場合の第1異常通知画像GA44は、前述のリンクが遮断されているネットワークカメラ2Bに対応する第1異常通知画像GA22およびセッション確立が不可能なネットワークカメラ2Cに対応する第1異常通知画像GA33とは異なる表示態様の画像が採用される。
【0047】
また、図11に示すように、映像配信装置1への電源投入後、映像配信装置1とネットワークカメラ2A、2B、2C、2Dとのリンクが確立できており且つセッションの確立が可能であり、画像情報の複合処理が成功している状態において、例えばネットワークカメラ2Bとのリンクが遮断されるリンク遮断イベントが発生したとする。このリンク遮断イベントとしては、例えば、ネットワークカメラ2Bと映像配信装置1との間に介在するLANケーブルの断線、或いは、ネットワークカメラ2Bの有線通信インタフェース206の故障が挙げられる。この場合、ネットワークカメラ2Bから送信されるFLPバーストが取得できなくなる。そうすると、映像配信装置1は、ネットワークカメラ2Bとのリンクが遮断されていると判定し(ステップS29)、状態記憶部131が記憶する、FLPバーストを取得できなかったネットワークカメラ2Bに対応するリンク状態情報を「F10(未接続)」に設定更新する(ステップS30)。その後、ステップS31乃至S33までの一連の処理が実行される。ここで、端末装置3の状態記憶部331が記憶するリンク状態情報が、FLPバーストを取得できなかったネットワークカメラ2Bに関して対応するリンク状態情報が、「F11(接続)」から「F10(未接続)」に更新される。その後、端末装置3は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像およびカメラ2Bに対応する前述の第2異常通知画像を含む表示画像を形成し、形成した表示画像を示す表示画像情報を表示画像記憶部322に記憶させる(ステップS44)。次に、端末装置3は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS28)。ここで、端末装置3は、例えばネットワークカメラ2Bとのリンクが確立できなくなった場合、図12(A)に示すようなネットワークカメラ2A、2C、2Dそれぞれに対応する画像情報が示す画像GA11、GA13、GA14とカメラ2Bに関する第2異常通知画像GA52とが2次元に配列された表示画像GA5を表示部304に表示させる。ここで、第2異常通知画像GA52は、リンク遮断イベントが発生した直前にネットワークカメラ2Bから取得された画像情報が示す画像を反映しつつ異常発生を示す態様の画像を重畳するものであり、具体的には第1異常通知画像GA22とは異なる予め設定された第2異常通知画像GA52を表示部304に表示させる。ここで、第2異常通知画像GA52は、例えばリンク遮断イベントが発生した直前の画像GA521と、その周囲を囲繞するように配置された枠状の画像GA522と、を含む。ここで、画像GA522は、予め設定された色またはパターンの枠状の画像を採用することができ、例えば黒色の矩形枠状の画像に設定される。
【0048】
また、その後、図11下部に示すように、ネットワークカメラ2Cとのセッション確立が不可能となるセッション確立不可イベントが発生したとする。この場合、映像配信装置1が、セッション確立不可と判定した後(ステップS35)、ステップS36乃至S39までの一連の処理が実行される。ここで、状態記憶部331が記憶するセッション開放イベントが発生したネットワークカメラ2Cに対応するセッション確立可否リンク状態情報が、「F21(確立可)」から「F20(確立不可)」に更新される。その後、端末装置3は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像およびカメラ2Cに関する前述の第2異常通知画像を含む表示画像に更新し、形成した表示画像を示す表示画像情報を表示画像記憶部322に記憶させる(ステップS45)。次に、端末装置3は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS28)。ここで、端末装置3は、例えばネットワークカメラ2Bとのリンクが確立できなくなり且つネットワークカメラ2Cとのセッションの確立が不可能となった場合、図12(B)に示すようなネットワークカメラ2A、2Dそれぞれに対応する画像情報が示す画像GA11、GA14とネットワークカメラ2B、2Cそれぞれに対応する第2異常通知画像GA52、GA63とが2次元に配列された表示画像GA6を表示部304に表示させる。ここで、第2異常通知画像GA63は、第2異常通知画像GA52と異なる表示態様であり、例えばセッション確立不可イベントが発生した直前の画像GA631と、その周囲を囲繞するように配置された枠状の画像GA632と、を含む。ここで、画像GA632は、予め設定された色またはパターンの枠状の画像を採用することができ、例えばGA52の枠であるGA522の色と異なる橙色の矩形枠状の画像に設定される。
【0049】
また、図11に示すように、ネットワークカメラ2Dにおいてエンコード部211の異常が発生したとする。この場合、ステップS12、S19の処理が実行され、図11の続きである図13に示すように、ステップS20乃至23までの一連の処理が実行された後、端末装置3が、圧縮画像バッファ321が記憶する画像情報に対して復元処理を実行した結果(ステップS24)、ネットワークカメラ2Dに対応する画像情報について復元に失敗したと判定したとする(ステップS41)。この場合、端末装置3は、状態記憶部331が記憶する、復元に失敗した元の画像情報を生成したネットワークカメラ2Dに対応するデコード成否情報を「F31(成功)」から「F30(失敗)」に更新する(ステップS42)。続いて、端末装置3は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像および前述の第2異常通知画像を含む表示画像を形成し、形成した表示画像を示す表示画像情報を表示画像記憶部322に記憶させる(ステップS46)。その後、端末装置3は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS28)。ここで、端末装置3は、例えばネットワークカメラ2Bとのリンクが確立できなくなり且つネットワークカメラ2Cとのセッションの確立が不可能となった場合において、更にネットワークカメラ2Dに対応する画像情報の復元に失敗した場合、図14に示すようなネットワークカメラ2Aに対応する画像情報が示す画像GA11とネットワークカメラ2B、2C、2Dに対応する第2異常通知画像GA52、GA63、GA74とが2次元に配列された表示画像GA7を表示部304に表示させる。ここで、第2異常通知画像GA74は、第2異常通知画像GA52、GA63とは異なる表示態様であり、例えばエンコード部211の異常が発生した直前の画像GA741と、その周囲を囲繞するように配置された枠状の画像GA742と、を含む。画像GA742は、予め設定された色またはパターンの枠状の画像を採用することができ、例えばGA522やGA632の色と異なる緑色の矩形枠状の画像に設定される。
【0050】
次に、本実施の形態に係る映像配信装置1が実行する映像配信処理について図15を参照しながら詳細に説明する。この映像配信処理は、例えば映像配信装置1へ電源が投入されたことを契機として開始される。まず、リンク状態判定部112は、ネットワークカメラ2A、2B、2C、2Dそれぞれとのリンク状態を判定する(ステップS101)。ここで、リンク状態判定部112は、接続処理部111が取得するFLPバーストに基づいて、ネットワークカメラ2A、2B、2C、2Dとのネゴシエーションが成立しておらずリンクが遮断されていると判定したとする(ステップS101:No)。この場合、リンク状態判定部112は、状態記憶部131が記憶する、ネットワークカメラ2A、2B、2C、2Dのうち、リンクが遮断されていると判定したネットワークカメラに対応するリンク状態情報を「F10(未接続)」に更新し(ステップS102)、状態通知部116が、前述の状態通知情報を生成して端末装置3へ送信した後(ステップS103)、再びステップS101の処理が実行される。一方、リンク状態判定部112は、接続処理部111が取得するFLPバーストに基づいて、ネットワークカメラ2A、2B、2C、2Dとのネゴシエーションが成立しておりリンクが確立していると判定したとする(ステップS101:Yes)。この場合、リンク状態判定部112は、状態記憶部131が記憶する、リンクが接続されていると判定したネットワークカメラ2A、2B、2C、2Dに対応するリンク状態情報を「F11(接続)」に更新し(ステップS104)、状態通知部116が、前述の状態通知情報を生成して端末装置3へ送信する(ステップS105)。
【0051】
次に、接続処理部111は、前述のセッション確立イベントが発生したか否かを判定する(ステップS106)。ここで、接続処理部111が、セッション確立イベントが発生していないと判定すると(ステップS106:No)、再びステップS101の処理が実行される。一方、接続処理部111は、セッション確立イベントが発生したと判定すると(ステップS106:Yes)、前述の接続情報要求情報を映像配信装置1へ送信する(ステップS107)。そして、接続処理部111は、ネットワークカメラ2A、2B、2C、2Dから前述の接続情報を取得すると(ステップS108)、取得した接続情報に基づいて通信開始情報を生成してネットワークカメラ2A、2B、2C、2Dへ送信する(ステップS109)。続いて、接続処理部111は、ネットワークカメラ2A、2B、2C、2Dから送信される応答情報を取得すると(ステップS110)、セッション判定部113が、ネットワークカメラ2A、2B、2C、2Dとのセッション確立可否を判定する(ステップS111)。ここで、セッション判定部113が、接続処理部111がネットワークカメラ2A、2B、2C、2Dから取得した応答情報に基づいて、ネットワークカメラ2A、2B、2C、2DのうちのいずれかがRTPに対応しておらずセッション確立が不可能であると判定したとする(ステップS111:No)。この場合、セッション判定部113は、状態記憶部131が記憶する、セッションの確立が不可能と判定したネットワークカメラに対応するセッション確立可否情報を「F20(確立不可)」とし(ステップS112)、状態通知部116が、前述の状態通知情報を生成して端末装置3へ送信した後(ステップS113)、再びステップS101の処理が実行される。
【0052】
一方、セッション判定部113は、接続処理部111がネットワークカメラ2A、2B、2C、2Dから取得した応答情報に基づいて、ネットワークカメラ2A、2B、2C、2DがRTPに対応しておりセッション確立が可能であると判定したとする(ステップS111:Yes)。この場合、セッション判定部113は、状態記憶部131が記憶する、セッションの確立が可能と判定したネットワークカメラ2A、2B、2C、2Dに対応するセッション確立可否情報「F21(確立可)」に更新し(ステップS114)、状態通知部116が、前述の状態通知情報を生成して端末装置3へ送信する(ステップS115)。
【0053】
その後、接続処理部111は、画像送信要求情報をネットワークカメラ2A、2B、2C、2Dへ送信する(ステップS116)。そして、接続処理部111が、ネットワークカメラ2A、2B、2C、2Dから送信される応答情報を取得すると(ステップS117)、画像取得部114は、ネットワークカメラ2A、2B、2C、2Dから送信される画像情報を取得したか否かを判定する(ステップS118)。ここで、画像取得部114が、画像情報を取得していないと判定すると(ステップS118:No)、後述のステップS120の処理が実行される。一方、画像取得部114は、画像情報を取得したと判定すると(ステップS118:Yes)、取得した画像情報を圧縮画像バッファ121に記憶させる。そして、画像送信部115が、圧縮画像バッファ121が記憶する画像情報を端末装置3へ送信する(ステップS119)。続いて、接続処理部111は、前述のセッション開放イベントが発生したか否かを判定する(ステップS120)。ここで、接続処理部111が、セッション開放イベントが発生していないと判定すると(ステップS120:No)、再びステップS118の処理が実行される。一方、接続処理部111が、セッション開放イベントが発生したと判定すると(ステップS120:Yes)、再びステップS101の処理が実行される。
【0054】
次に、本実施の形態に係る端末装置3が実行する映像表示処理について図16を参照しながら詳細に説明する。この映像表示処理は、例えば端末装置3へ電源が投入された後、ネットワークカメラ2A、2B、2C、2Dで撮像された画像を表示部304に表示させるためのアプリケーションが起動したことを契機として開始される。まず、状態通知取得部314は、映像配信装置1から送信される状態通知情報を取得すると(ステップS201)、取得した状態通知情報に含まれる、リンク状態情報、セッション確立可否情報およびカメラ情報を抽出してこれらを互いに対応づけて状態記憶部331に記憶させる(ステップS202)。
【0055】
次に、画像取得部311は、映像配信装置1から送信される画像情報を取得したか否かを判定する(ステップS203)。ここで、画像取得部311が、画像情報を取得していないと判定すると(ステップS203:No)、再びステップS201の処理が実行される。一方、画像取得部311は、画像情報を取得したと判定すると(ステップS203:Yes)、取得した画像情報を圧縮画像バッファ321に記憶させる(ステップS204)。続いて、デコード部312は、圧縮画像バッファ321が記憶する画像情報に対して復元処理を実行する(ステップS205)。その後、デコード判定部313は、デコード部312による復元処理の結果、画像情報の復元に成功したか否かを判定する(ステップS206)。ここで、デコード判定部313は、デコード部312が画像情報の復元に失敗したと判定すると(ステップS206:No)、状態記憶部331が記憶する、対応するネットワークカメラ2A、2B、2Cまたは2Dのデコード成否情報を「F30(失敗)」に更新した後(ステップS207)、後述のステップS209の処理が実行される。一方、デコード判定部313は、デコード部312が画像情報の復元に成功したと判定すると(ステップS206:Yes)、状態記憶部331が記憶する、対応するネットワークカメラ2A、2B、2C、2Dのデコード成否情報を「F31(成功)」に更新する(ステップS208)。
【0056】
その後、画像形成部315は、状態記憶部331が記憶する各種情報を参照して、ネットワークカメラ2A、2B、2C、2Dの全てのリンク状態情報、セッション確立可否情報およびデコード成否情報が「F11(接続)」、「F21(確立可)」、「F31(成功)」であるか否かを判定する(ステップS209)。ここで、画像形成部315が、ネットワークカメラ2A、2B、2C、2Dの全てのリンク状態情報、セッション確立可否情報およびデコード成否情報が「F11(接続)」、「F21(確立可)」、「F31(成功)」であると判定したとする(ステップS209:Yes)。この場合、画像形成部315は、画像記憶部332が記憶するネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像を含む表示画像を形成して表示画像記憶部322に記憶させる(ステップS210)。
【0057】
一方、ここで、画像形成部315が、ネットワークカメラ2A、2B、2C、2Dのうちのいずれかについて、リンク状態情報、セッション確立可否情報およびデコード成否情報のいずれかが「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」であると判定したとする(ステップS209:No)。この場合、画像形成部315は、リンク状態情報、セッション確立可否情報、デコード成否情報のいずれかが「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」であるネットワークカメラ2A、2B、2C、2Dについて、「F11(接続)」から「F10(未接続)」、「F21(確立可)」から「F20(確立不可)」または「F31(成功)」から「F30(失敗)」に直前直近に更新されたか否かを判定する(ステップS211)。ここで、画像形成部315が、「F11(接続)」から「F10(未接続)」、「F21(確立可)」から「F20(確立不可)」または「F31(成功)」から「F30(失敗)」に直前直近に更新されたされたものではない(すなわち以前最初から異常であった)と判定したとする(ステップS211:No)。この場合、画像形成部315は、リンク状態情報、セッション確立可否情報、デコード成否情報のいずれかが「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」であるネットワークカメラ2A、2B、2C、2Dに対応する前述の第1異常通知画像を含む表示画像を形成して表示画像記憶部322に記憶させる(ステップ212)。その後、後述のステップS214の処理が実行される。一方、画像形成部315が、「F11(接続)」から「F10(未接続)」、「F21(確立可)」から「F20(確立不可)」または「F31(成功)」から「F30(失敗)」に直前直近に更新されたと判定したとする(ステップS211:Yes)。この場合、画像形成部315は、リンク状態情報、セッション確立可否情報、デコード成否情報のいずれかが「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」であるネットワークカメラ2A、2B、2C、2Dに対応する前述の第2異常通知画像を含む表示画像を形成して表示画像記憶部322に記憶させる(ステップ213)。次に、表示制御部316は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS214)。続いて、再びステップS201の処理が実行される。
【0058】
以上説明したように、本実施の形態に係る映像配信装置1によれば、画像形成部315が、ネットワークカメラ2A、2B、2C、2Dとのリンク状態と、セッション確立可否と、画像情報に対する復元処理の結果と、のうちの少なくとも1つに基づいて、表示部304への表示態様を選択する。そして、画像形成部315は、選択した表示態様の表示画像を形成する。これにより、映像配信システムに異常が発生した場合に、その異常の原因に応じて表示部304に表示される表示画像の表示態様が変化する。従って、利用者は、表示画像の表示態様を確認することにより発生した異常の原因を把握し易くなる。
【0059】
(実施の形態2)
本実施の形態に係る映像配信システムは、映像配信装置が、画像情報を復元するための復元処理を実行するデコード部と、復元処理の結果、画像情報の復元に成功したか否かを判定する復元判定部と、入力された画像情報を圧縮符号化方式で圧縮するエンコード部と、符号化した画像情報を一時的に記憶する送信画像バッファを備える点で実施の形態1と相違する。以下、本実施の形態について詳細に説明する。
【0060】
本実施の形態に係る撮像システムは、図17に示すように、ネットワークカメラ2A、2B、2C、2Dと、映像配信装置2001と、端末装置2003と、を備える。なお、図17において、実施の形態1と同様の構成については図3と同一の符号を付している。また、本実施の形態に係る映像配信システムのハードウェア構成は、実施の形態1で説明した映像配信システムのハードウェア構成と同様である。そこで、本実施の形態に係るハードウェア構成については適宜図2に示す符号を用いて説明する。
【0061】
映像配信装置2001では、CPU101は、補助記憶部103が記憶するプログラムを主記憶部102に読み込んで実行することにより、接続処理部111、リンク状態判定部112、セッション判定部113、画像取得部114、画像送信部115、デコード部2117、デコード判定部2118、画像形成部2119およびエンコード部2120として機能する。また、主記憶部102は、圧縮画像バッファ121および送信画像バッファ2122を有し、補助記憶部103は、状態記憶部2131を有する。
【0062】
状態記憶部2131は、ネットワークカメラ2A、2B、2C、2Dそれぞれと映像配信装置2001との間のリンク状態、セッション確立可否を示す情報と、画像情報の復元処理が成功したか否かを示すデコード成否情報と、を、対応するネットワークカメラ2A、2B、2C、2Dそれぞれを識別するカメラ番号を示すカメラ情報に対応づけて記憶する。
【0063】
デコード部2117は、圧縮画像バッファ121が記憶する画像情報に対して復元処理を実行することにより、復元された画像情報を生成し、生成した画像情報を画像形成部2119に通知する。デコード判定部2118は、デコード部2117による復元処理の結果、画像情報の復元に成功したか否かを判定する。デコード判定部2118は、デコード部2117が復元処理を実行する毎に、画像情報の復元に成功したか否かを示すデコード成否情報を生成して状態記憶部2131が記憶するデコード成否情報を更新する。
【0064】
画像形成部2119は、状態記憶部2131が記憶するリンク状態情報と、セッション確立可否情報と、復元処理の結果を示すデコード成否情報と、のうちの少なくとも1つに基づいて、端末装置2003の表示部304に表示される表示画像の表示態様を選択する。そして、画像形成部2119は、選択した表示態様の表示画像を形成し、形成した表示画像を示す表示画像情報をエンコード部2120に通知する。より、具体的には、ネットワークカメラ2A、2B、2C、2Dそれぞれから取得した画像情報を、選択した表示態様に基づいて、画像を合成し、合成した表示画像を示す表示画像情報をエンコード部2120に通知する。
【0065】
エンコード部2120は、画像形成部2119から通知される表示画像情報を実施の形態1で説明した圧縮符号化方式で圧縮して送信画像バッファ2122に記憶させる。そして、画像送信部115は、送信画像バッファ2122が記憶する表示画像情報を、端末装置2003へ送信する。
【0066】
端末装置3では、CPU301が、補助記憶部303が記憶するプログラムを主記憶部302に読み込んで実行することにより、画像取得部311、デコード部312および表示制御部316として機能する。また、主記憶部302は、圧縮画像バッファ321と、表示画像記憶部322と、を有する。画像取得部311は、映像配信装置2001から送信される表示画像情報を取得すると、取得した表示画像情報を圧縮画像バッファ321に記憶させる。デコード部312は、圧縮画像バッファ321が記憶する表示画像情報に対して復元処理を実行することにより、復元された画像情報を生成し、生成した画像情報を表示画像記憶部322に記憶させる。表示制御部316は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる。
【0067】
次に、本実施の形態に係る映像配信システムの動作について図18および図19を参照しながら説明する。なお、図18および図19において、実施の形態1と同様の処理については、図5図7図9図11と同一の符号を付している。まず、図18に示すように、映像配信装置2001へ電源が投入されると、ステップS1乃至S18までの一連の処理が実行された後、ネットワークカメラ2A、2B、2C、2Dが、圧縮画像バッファ221が記憶する画像情報の中から映像配信装置2001へ送信する画像情報を特定し(ステップS19)、特定された画像情報が、ネットワークカメラ2A、2B、2C、2Dから映像配信装置2001へ送信される(ステップS20)。一方、映像配信装置2001は、画像情報を取得すると、取得した画像情報を圧縮画像バッファ121に記憶させる(ステップS21)。
【0068】
次に、映像配信装置2001は、圧縮画像バッファ121が記憶する画像情報に対して復元処理を実行する(ステップS2001)。ここで、端末装置2003は、画像情報の復元に成功したと判定したとする(ステップS2002)。この場合、映像配信装置2001は、状態記憶部2131が記憶する、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応するデコード成否情報を「F31(成功)」に更新する(ステップS2003)。続いて、映像配信装置2001は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像を含む表示画像を形成する(ステップS2004)。その後、映像配信装置2001は、形成した表示画像を示す表示画像情報をエンコードして送信画像バッファ2122に記憶させる(ステップS2005)。次に、送信画像バッファ2122が記憶する表示画像情報が、映像配信装置2001から端末装置2003へ送信される(ステップS2006)。一方、端末装置2003は、表示画像情報を取得すると、取得した表示画像情報を圧縮画像バッファ321に記憶させる(ステップS2007)。
【0069】
続いて、図19に移行して、端末装置2003は、圧縮画像バッファ321が記憶する表示画像情報に対してデコード部312により復元処理を実行し、復元処理により得られた表示画像情報を表示画像記憶部322に記憶させる(ステップS2008)。その後、端末装置2003は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS2009)。
【0070】
また、ネットワークカメラ2Dにおいてエンコード部211の異常が発生した状況における映像配信システムの動作を、図19の破線より下方の図を用いて説明する。とする。この場合、ステップS16、S19の処理が実行され、ステップS20、S21の一連の処理が実行された後、映像配信装置2001は、圧縮画像バッファ121が記憶する画像情報に対して復元処理を実行する(ステップS2001)。ここで、映像配信装置2001が、ネットワークカメラ2Dのエンコード部211の動作中に異常が発生したことに起因して、ネットワークカメラ2Dに対応する画像情報について復元に失敗したと判定したとする(ステップS2010)。この場合、映像配信装置2001は、状態記憶部2131が記憶する、復元に失敗した画像情報を生成したネットワークカメラ2Dに対応するデコード成否情報を「F31(成功)」から「F30(失敗)」に更新する(ステップS2011)。続いて、映像配信装置2001は、ネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像情報が示す画像およびネットワークカメラ2Dに対応する前述の第2異常通知画像を含む表示画像を形成する(ステップS2012)。その後、映像配信装置2001は、形成した表示画像を示す表示画像情報をエンコードして送信画像バッファ2122に記憶させる(ステップS2013)。次に、送信画像バッファ2122が記憶する表示画像情報が、映像配信装置2001から端末装置2003へ送信される(ステップS2014)。一方、端末装置2003は、表示画像情報を取得すると、取得した表示画像情報を圧縮画像バッファ321に記憶させる(ステップS2015)。続いて、端末装置2003は、圧縮画像バッファ321が記憶する表示画像情報に対して復元処理を実行し、復元処理により得られた表示画像情報を表示画像記憶部322に記憶させる(ステップS2016)。その後、端末装置2003は、表示画像記憶部322が記憶する表示画像情報が示す表示画像を表示部304に表示させる(ステップS2017)。
【0071】
次に、本実施の形態に係る映像配信装置2001が実行する映像配信処理について図20および図21を参照しながら詳細に説明する。なお、図20および図21において、実施の形態1と同様の処理については、図15と同一の符号を付している。まず、リンク状態判定部112は、ネットワークカメラ2A、2B、2C、2Dそれぞれとのリンク状態を判定する(ステップS101)。ここで、リンク状態判定部112は、ネットワークカメラ2A、2B、2C、2Dのいずれかとのリンクが遮断されていると判定すると(ステップS101:No)、状態記憶部2131が記憶する、リンクが遮断されていると判定したネットワークカメラ2A、2B、2Cまたは2Dに対応するリンク状態情報を「F10(未接続)」に更新し(ステップS102)、さらに、リンクが遮断されていると判定したネットワークカメラ2A、2B、2C、2Dに対応するセッション確立可否情報を「F20(確立不可)」に更新し(ステップS112)、後述のステップS2107の処理が実行される。一方、リンク状態判定部112が、ネットワークカメラ2A、2B、2C、2Dとのリンクがいずれも確立していると判定すると(ステップS101:Yes)、ステップS104乃至S110までの一連の処理が実行される。次に、セッション判定部113は、ネットワークカメラ2A、2B、2C、2Dのいずれかとの間でセッション確立が不可能であると判定すると(ステップS111:No)、状態記憶部131が記憶する、セッションの確立が不可能と判定したネットワークカメラ2A、2B、2C、2Dに対応するセッション確立可否情報を「F20(確立不可)」に更新し(ステップS112)、後述のステップS2107の処理が実行される。
【0072】
一方、セッション判定部113が、例えばネットワークカメラ2A、2B、2C、2DがRTPに対応しておりセッション確立が可能であると判定すると(ステップS111:Yes)、ステップS114乃至S117までの一連の処理が実行される。続いて、画像取得部114は、ネットワークカメラ2A、2B、2C、2Dから送信される画像情報を取得したか否かを判定する(ステップS2101)。ここで、画像取得部114が、いずれかのネットワークカメラの画像情報を取得していないと判定すると(ステップS2101:No)、後述のステップS2115の処理が実行される。一方、画像取得部114は、画像情報を取得したと判定すると(ステップS2101:Yes)、取得した画像情報を圧縮画像バッファ121に記憶させる(ステップS2102)。その後、デコード部2117は、圧縮画像バッファ121が記憶する画像情報に対して復元処理を実行する(ステップS2103)。次に、図21に示すように、デコード判定部2118は、デコード部2117による復元処理の結果、画像情報の復元に成功したか否かを判定する(ステップS2104)。ここで、デコード判定部2118は、デコード部2117が画像情報の復元に失敗したと判定すると(ステップS2104:No)、状態記憶部2131が記憶する、対応するネットワークカメラ2A、2B、2C、2Dのデコード成否情報を「F30(失敗)」に更新した後(ステップS2105)、後述のステップS2107の処理が実行される。一方、デコード判定部2118は、デコード部2117がすべてのカメラの画像情報の復元に成功したと判定すると(ステップS2104:Yes)、状態記憶部2131が記憶する、対応するネットワークカメラ2A、2B、2C、2Dのデコード成否情報を「F31(成功)」に更新する(ステップS2106)。
【0073】
続いて、画像形成部2119は、全てのネットワークカメラ2A、2B、2C、2Dについてリンク状態情報、セッション確立可否情報およびデコード成否情報状態情報のいずれかを更新したか否かを判定する(ステップS2107)。ここで、画像形成部2119が、ネットワークカメラ2A、2B、2C、2Dの中のいずれかについて、未だリンク状態情報、セッション確立可否情報およびデコード成否情報状態情報の更新処理を行っていないと判定したとする(ステップS2107:No)。この場合、再びステップS101の処理が実行される。一方、画像形成部2119が、ネットワークカメラ2A、2B、2C、2Dの全てについて、リンク状態情報、セッション確立可否情報およびデコード成否情報状態情報の更新処理を完了したと判定したとする(ステップS2107:Yes)。この場合、画像形成部2119は、状態記憶部2131が記憶する各種情報を参照して、ネットワークカメラ2A、2B、2C、2Dの全てのリンク状態情報、セッション確立可否情報およびデコード成否情報が「F11(接続)」、「F21(確立可)」、「F31(成功)」であるか否かを判定する(ステップS2108)。ここで、画像形成部2119が、ネットワークカメラ2A、2B、2C、2Dの全てのリンク状態情報、セッション確立可否情報およびデコード成否情報が「F11(接続)」、「F21(確立可)」、「F31(成功)」であると判定したとする(ステップS2108:Yes)。この場合、画像形成部2119は、圧縮画像記憶部332が記憶するネットワークカメラ2A、2B、2C、2Dそれぞれに対応する画像を含む表示画像を形成して表示画像記憶部322に記憶させる(ステップS2109)。
【0074】
一方、画像形成部2119が、ネットワークカメラ2A、2B、2C、2Dのうちのいずれかについて、リンク状態情報、セッション確立可否情報およびデコード成否情報のいずれかが「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」であると判定したとする(ステップS2108:No)。この場合、画像形成部2119は、リンク状態情報、セッション確立可否情報、デコード成否情報のいずれかが「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」であるネットワークカメラ2A、2B、2C、2Dについて、正常状態から異常状態に遷移したのか、あるいは以前から異常状態であったのか、すなわち「F11(接続)」から「F10(未接続)」、「F21(確立可)」から「F20(確立不可)」または「F31(成功)」から「F30(失敗)」に直前に更新されたか否かを判定する(ステップS2110)。ここで、画像形成部2119が、「F11(接続)」から「F10(未接続)」、「F21(確立可)」から「F20(確立不可)」または「F31(成功)」から「F30(失敗)」に直前に更新されたのではない(すなわち、以前から異常状態が継続していた)と判定したとする(ステップS2110:No)。この場合、画像形成部2119は、リンク状態情報、セッション確立可否情報、デコード成否情報のいずれかが「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」であるネットワークカメラ2A、2B、2C、2Dに対応する前述の第1異常通知画像を含む表示画像を形成する(ステップ2111)。その後、後述のステップS2113の処理が実行される。
【0075】
一方、画像形成部2119が、「F11(接続)」から「F10(未接続)」、「F21(確立可)」から「F20(確立不可)」または「F31(成功)」から「F30(失敗)」に更新されたと判定したとする(ステップS2110:Yes)。この場合、画像形成部2119は、リンク状態情報、セッション確立可否情報、デコード成否情報のいずれかが「F10(未接続)」、「F20(確立不可)」、「F30(失敗)」であるネットワークカメラ2A、2B、2C、2Dに対応する前述の第2異常通知画像を含む表示画像を形成する(ステップ2112)。その後、エンコード部2120は、画像形成部2119が形成した表示画像を示す表示画像情報を前述の圧縮符号化方式で圧縮して送信画像バッファ2122に記憶させる(ステップS2113)。次に、画像送信部115は、送信画像バッファ2122が記憶する表示画像情報を端末装置2003へ送信する(ステップS2114)。続いて、接続処理部111は、前述のセッション開放イベントが発生したか否かを判定する(ステップS2115)。ここで、接続処理部111が、セッション開放イベントが発生していないと判定すると(ステップS2115:No)、再びステップS2101の処理が実行される。一方、接続処理部111が、セッション開放イベントが発生したと判定すると(ステップS2115:Yes)、再びステップS101の処理が実行される。
【0076】
以上説明したように、本実施の形態に係る映像配信装置2001は、ネットワークカメラ2A、2B、2C、2Dから取得した画像情報のデコード可否を判定し、その判定結果に基づいて、端末装置2003の表示部304に表示させるための表示画像を形成する。これにより、端末装置2003において、ネットワークカメラ2A、2B、2C、2Dから取得した画像情報のデコード可否を判定が不要となる。従って、端末装置2003がネットワークカメラ2A、2B、2C、2Dから取得した画像情報のデコード可否を判定する機能を備えていなくても前述の第1異常通知画像、第2異常通知画像を含む表示画像を表示部405に表示させることができるので、本実施の形態に係る映像配信システムに使用できる端末装置2003のバリエーションを増やすことができる。
【0077】
以上、本発明の各実施の形態について説明したが、本発明は前述の各実施の形態の構成に限定されるものではない。例えば映像配信装置1とネットワークカメラ2A、2B、2C、2Dとを接続するネットワークNWが、無線LANであってもよい。この場合、図22に示すように、映像配信装置1へ電源が投入されると、ネットワークカメラ2A、2B、2C、2Dを検索するためのプローブ要求情報が、映像配信装置1からネットワークカメラ2A、2B、2C、2Dへ送信される(ステップS3001)。一方、ネットワークカメラ2A、2B、2C、2Dが、プローブ要求情報を取得すると、これに応じて、SSID情報、使用チャネル情報等を含むプローブ応答情報が、ネットワークカメラ2A、2B、2C、2Dから映像配信装置1へ送信される(ステップS3002)。一方、映像配信装置1が、プローブ応答情報を取得すると、ネットワークカメラ2A、2B、2C、2Dが映像配信装置1を認証するための認証情報が、映像配信装置1からネットワークカメラ2A、2B、2C、2Dへ送信される(ステップS3003)。ここで、ネットワークカメラ2A、2B、2C、2Dが、認証情報を取得し、取得した認証情報に基づいて認証に成功したとする(ステップS3004)。この場合、例えばネットワークカメラ2A、2B、2C、2Dが、それぞれ、自機を映像配信装置1と無線通信する機器として特定する。次に、ネットワークカメラ2A、2B、2C、2Dに対して接続を要求する接続要求情報が、映像配信装置1から映像配信装置1と無線通信する機器として特定されたネットワークカメラ2A、2B、2C、2Dそれぞれへ送信される(ステップS3005)。一方、ネットワークカメラ2A、2B、2C、2Dが接続情報要求情報を取得すると、これに応じて、接続情報が、ネットワークカメラ2A、2B、2C、2Dから映像配信装置1へ送信される(ステップS3006)。一方、映像配信装置1は、接続情報を取得すると、ステップS8以降の一連の処理が実行される。
【0078】
なお、映像配信装置1が、ネットワークカメラ2A、2B、2C、2Dと有線接続されたアクセスポイント(図示せず)を介して、ネットワークカメラ2A、2B、2C、2Dと通信する構成であってもよい。この場合、映像配信装置1は、プローブ要求情報をアクセスポイントへ送信した後、プローブ応答情報を取得し、その後、認証情報および接続要求情報をアクセスポイントへ送信した後、アクセスポイントから接続応答情報を取得すると、ネットワークカメラ2A、2B、2C、2Dとのリンクが確立したと判定するものであってもよい。
【0079】
本構成によれば、ネットワークNWが無線LANで構成されている場合あっても実施の形態と同様の効果を得ることができる。
【0080】
実施の形態では、セッション判定部113が、接続処理部111がネットワークカメラ2A、2B、2C、2Dから取得した接続情報に基づいて、セッション判定部113が、ネットワークカメラ2A、2B、2C、2DがRTPに対応するか否かを判定することによりセッション確立の可否を判定する例について説明した。但し、これに限らず、例えばセッション判定部113が、画像取得部114が画像情報を取得したときに、取得した画像情報に含まれるアプリケーション層プロトコルに対応するヘッダ情報がRTPに適合しているか否かに応じてセッション確立可否を判定するものであってもよい。
【0081】
或いは、例えばセッション判定部113が、画像取得部114が画像情報を取得したときに、画像情報のペイロードのデータのフォーマットが予め設定されたフォーマットと一致しているか否かに応じてセッション確立可否を判定するものであってもよい。或いは、セッション判定部113が、画像取得部114が画像情報を取得したときに、画像情報に含まれるUDPに対応するヘッダ情報に含まれるチェックサムに基づいて符号誤りが検出されるか否かに応じてセッション確立可否を判定するものであってもよい。
【0082】
実施の形態では、映像配信装置1が、異常が発生した場合、異常が発生した直前の画像と、その周囲を囲繞するように配置された枠状の画像と、を含む第2異常通知画像を表示部304に表示させる例について説明した。但し、これに限らず、映像配信装置1が、異常が発生した場合、例えば図18に示すような第2異常通知画像GA252、GA263、GA274を含む表示画像GA207を表示部304に表示させるものであってもよい。
【0083】
実施の形態では、映像配信装置1から端末装置3へ圧縮された画像情報が送信される例について説明したが、これに限らず、例えば映像配信装置1において画像情報をデコードした後、デコードされた画像情報を端末装置3へ送信するものであってもよい。この場合、映像配信装置1は、画像情報を復元するための復元処理を実行するデコード部(図示せず)と、復元処理の結果、画像情報の復元に成功したか否かを判定するデコード判定部(図示せず)と、を備える構成とすればよい。そして、画像送信部115が、デコードされた画像情報を端末装置3へ送信するようにすればよい。
【0084】
本発明に係る映像配信装置1および端末装置3の各種機能は、専用のシステムによらず、無線通信モジュールを備えるコンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な非一時的な記録媒体(CD-ROM等)に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行する映像配信装置1および端末装置3を構成してもよい。
【0085】
また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線のサーバにアップロードされ、通信回線を介してコンピュータに配信されてもよい。そして、コンピュータは、このプログラムを起動して、OSの制御の下、他のアプリケーションと同様に実行する。これにより、コンピュータは、上述の処理を実行する映像配信装置1、端末装置3として機能する。
【0086】
以上、本発明の実施の形態および変形例について説明したが、本発明はこれらに限定されるものではない。本発明は、実施の形態および変形例が適宜組み合わされたもの、それに適宜変更が加えられたものを含む。
【産業上の利用可能性】
【0087】
本発明は、複数のネットワークカメラに対するカメラ番号の設定が必要な映像配信システムに好適である。
【符号の説明】
【0088】
1,2001:映像配信装置、2A,2B,2C,2D:ネットワークカメラ、3,2003:端末装置、101,201,301:CPU、102,202,302:主記憶部、103,203,303:補助記憶部、106,206:有線通信インタフェース、107,307:無線モジュール、109,209,309:バス、111,212:接続処理部、112:リンク状態判定部、113:セッション判定部、114,311:画像取得部、115,213:画像送信部、116:状態通知部、121,221,321:圧縮画像バッファ、131,331:状態記憶部、204:撮像部、211,2120:エンコード部、304:表示部、312,2117:デコード部、313,2118:デコード判定部、314:状態通知取得部、315,2119:画像形成部、316:表示制御部、322:表示画像記憶部、332:画像記憶部、2122:送信画像バッファ、GA1,GA2,GA3,GA4,GA5,GA6,GA7:表示画像、GA11,GA12,GA13,GA14,GA521,GA522,GA631,GA632,GA741,GA742:画像、GA22,GA33,GA44:第1異常通知画像、GA52,GA63,GA74,GA252,GA263,GA274:第2異常通知画像、NW:ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23