(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-06-05
(45)【発行日】2023-06-13
(54)【発明の名称】情報管理システム
(51)【国際特許分類】
H04N 21/21 20110101AFI20230606BHJP
H04N 21/6338 20110101ALI20230606BHJP
H04N 7/18 20060101ALI20230606BHJP
【FI】
H04N21/21
H04N21/6338
H04N7/18 D
(21)【出願番号】P 2022115954
(22)【出願日】2022-07-20
【審査請求日】2022-10-01
(31)【優先権主張番号】P 2022077642
(32)【優先日】2022-05-10
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】520505700
【氏名又は名称】株式会社ピーゼットピー
(74)【代理人】
【識別番号】100181582
【氏名又は名称】和田 直斗
(72)【発明者】
【氏名】二村 憲人
【審査官】大西 宏
(56)【参考文献】
【文献】特開2005-318178(JP,A)
【文献】特開2012-050019(JP,A)
【文献】特開2016-024535(JP,A)
【文献】特開2018-098605(JP,A)
【文献】特開2020-113970(JP,A)
【文献】特開2020-191620(JP,A)
【文献】特表2016-534607(JP,A)
【文献】国際公開第2018/225806(WO,A1)
【文献】国際公開第2018/084033(WO,A1)
【文献】入門WebRTCとは?一般的な仕組み・サーバー構成を解説,Agora ,日本,Agora,2020年02月,1-7,https://jp.vcube.com/sdk/blog/webrtc-general-server-configuration-signaling-turn-sfu.html
【文献】NIKLAS BLUM et.al.,WebRTC REALTIME COMMUNICATION FOR THE OPEN WEB PLATFORM,米国,ACM,2021年05月16日,Volume 19, Issue 11,https://queue.acm.org/detail.cfm?id=3457587,1-17
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
情報管理システムであって、
撮影機能及び集音機能の少なくとも一方を有する機器に接続されるファイアウォールと、
利用者端末との間で、前記利用者端末を使用する利用者を認証する認証処理を行うと共に、前記利用者端末が前記ファイアウォールを介して前記機器に接続することを許可する管理サーバと、を備え、
前記管理サーバ
により前記認証処理
が行われた前記利用者端末が、前記管理サーバにおいて定められた接続許可条件に基づいて
前記ファイアウォールを介した接続を許可された前記機器
との間で、前記機器が撮影した映像及び前記機器が集音した音声の少なくとも一方を含むメディアデータを、前記ファイアウォールを介して
送受信できるよう構成され
、
前記利用者端末と前記ファイアウォールとの間の通信にはWebRTC技術が用いられ、前記管理サーバをシグナリングサーバとして前記利用者端末と前記ファイアウォールとの間のP2P通信を確立し、
前記ファイアウォールは、WebRTC技術を用いて前記利用者端末と前記ファイアウォールとの間のP2P通信を確立する際に、少なくとも、シグナリングサーバである前記管理サーバを介して前記利用者端末と前記ファイアウォールとの間で交換する前記利用者端末及び前記ファイアウォールに関する情報を用いて、前記利用者端末が前記ファイアウォールを経由して前記機器に接続可能となるように、かつ、前記機器と前記利用者端末との間で前記機器の前記メディアデータが前記ファイアウォールを経由して送受信可能となるように、前記ファイアウォールの透過設定を行う透過設定機能を有する、
情報管理システム。
【請求項2】
前記接続許可条件は、前記管理サーバにおいて予め設定された接続基本情報と、前記接続基本情報よりも優先される情報であって、前記管理サーバが外部から取得した連携データとにより定められる、請求項1に記載の情報管理システム。
【請求項3】
前記利用者端末及び前記ファイアウォールは、両者の間における前記機器の前記メディアデータの送受信に用いられるメディアチャネルの制御を行うよう構成されている、
請求項1又は2に記載の情報管理システム。
【請求項4】
前記利用者端末及び前記ファイアウォールは、両者の間において前記機器の前記メディアデータとは異なるデータの送受信が可能であり、両者の間における前記データの送受信に用いられるデータチャネルの制御を行うよう構成されている、
請求項1又は2に記載の情報管理システム。
【請求項5】
前記利用者端末は、前記利用者端末と前記ファイアウォールとの間における前記データの送受信により、前記ファイアウォールに接続された前記機器を遠隔操作できるよう構成されている、請求項4に記載の情報管理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報管理システムに関する。
【背景技術】
【0002】
例えば、特許文献1には、ネットワークカメラが撮影する映像をクライアント端末(利用者端末)で閲覧できるように構成された監視カメラシステムが開示されている。この監視カメラシステムでは、サーバの認証を受けたクライアント端末は、サーバに接続された複数のネットワークカメラの映像を閲覧することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の監視カメラシステムでは、クライアント端末(利用者端末)がサーバの認証を受けさえすれば、いつでもネットワークカメラの映像を閲覧できたり、サーバに接続された複数のネットワークカメラの映像をどれでも閲覧できたりしていた。つまり、ネットワークカメラの映像の閲覧を十分に制限できておらず、安全性に問題があった。
【0005】
本発明は、利用者端末から機器への接続を十分かつ確実に制御でき、かつ、安全性を確保した状態で利用者端末から機器の映像や音声を確認できる情報管理システムを提供する。
【課題を解決するための手段】
【0006】
本発明の一の態様である情報管理システムは、撮影機能及び集音機能の少なくとも一方を有する機器に接続されるファイアウォールと、利用者端末との間で、利用者端末を使用する利用者を認証する認証処理を行うと共に、利用者端末がファイアウォールを介して機器に接続することを許可する管理サーバとを備えている。情報管理システムは、管理サーバとの間で認証処理を行った利用者端末が、管理サーバにおいて定められた接続許可条件に基づいて接続を許可された機器から、機器が撮影した映像及び機器が集音した音声の少なくとも一方を含むメディアデータを、ファイアウォールを介して取得できるよう構成されている。
【0007】
上記情報管理システムにおいて、接続許可条件は、管理サーバにおいて予め設定された接続基本情報と、接続基本情報よりも優先される情報であって、管理サーバが外部から取得した連携データとにより定められるようにしてもよい。
【0008】
また、利用者端末とファイアウォールとの間の通信にはWebRTC技術が用いられ、管理サーバをシグナリングサーバとして利用者端末とファイアウォールとの間のP2P通信を確立するようにしてもよい。
【0009】
また、ファイアウォールは、WebRTC技術を用いて利用者端末とファイアウォールとの間のP2P通信を確立する際に、少なくとも、シグナリングサーバである管理サーバを介して利用者端末とファイアウォールとの間で交換する利用者端末及びファイアウォールに関する情報を用いて、利用者端末がファイアウォールを経由して機器に接続可能となるように、かつ、機器のメディアデータがファイアウォールを経由して利用者端末に送信可能となるように透過設定するようにしてもよい。
【0010】
また、利用者端末及びファイアウォールは、両者の間における機器のメディアデータの送受信に用いられるメディアチャネルの制御を行うよう構成されていてもよい。
【0011】
また、利用者端末及びファイアウォールは、両者の間において機器のメディアデータとは異なるデータの送受信が可能であり、両者の間におけるデータの送受信に用いられるデータチャネルの制御を行うよう構成されていてもよい。
【発明の効果】
【0012】
本発明によれば、利用者端末から機器への接続を十分かつ確実に制御でき、かつ、安全性を確保した状態で利用者端末から機器の映像や音声を確認できる情報管理システムを提供することができる。
【図面の簡単な説明】
【0013】
【
図1】第1実施形態の情報管理システムの構成を示す説明図である。
【
図2】第1実施形態の情報管理システムにおける、ファイアウォールの機能的構成を示す機能ブロック図である。
【
図3】第1実施形態の情報管理システムにおける、利用者端末の機能的構成を示す機能ブロック図である。
【
図4】第1実施形態の情報管理システムにおける、利用者端末とファイアウォールとの間の通信接続処理を示す説明図である。
【
図5】第2実施形態の情報管理システムの構成を示す説明図である。
【
図6】第3実施形態の情報管理システムにおける、ファイアウォールの機能的構成を示す機能ブロック図である。
【
図7】第3実施形態の情報管理システムにおける、利用者端末の機能的構成を示す機能ブロック図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を図面と共に説明する。
(第1実施形態)
本実施形態の情報管理システム1は、保育園に子供を預けている親が保育園での子供の様子についてインターネット等のネットワークを介して確認することができるといったサービスに適用した例である。
【0015】
図1に示すように、情報管理システム1は、ネットワークカメラ2(機器)、ファイアウォール3、管理サーバ4及び利用者端末5を含んで構成されている。ファイアウォール3と管理サーバ4は、インターネット等のネットワーク6を介して通信可能に接続される。同様に、管理サーバ4と利用者端末5は、ネットワーク6を介して通信可能に接続される。
【0016】
ネットワークカメラ2は、所定の場所に設置される集音マイク付きカメラである。ネットワークカメラ2は、映像を撮影する撮影機能及び音声を集音する集音機能を有する。ネットワークカメラ2は、所定の場所を撮影したり、その場所周辺の音声を集音したりすることができる。本実施形態において、ネットワークカメラ2は、例えば、保育園の教室、園庭等に設置される。
【0017】
ネットワークカメラ2は、ファイアウォール3を介してネットワーク6に接続される。ネットワークカメラ2は、ネットワーク6を介して外部にメディアデータを配信することができる。メディアデータには、ネットワークカメラ2が撮影した映像(映像データ)及び集音した音声(音声データ)が含まれる。また、ネットワークカメラ2は、ネットワーク6を介して外部から遠隔操作することもできる。
【0018】
ファイアウォール3は、ネットワーク機器の一種であり、ネットワーク6とネットワークカメラ2との間に配置される。ファイアウォール3は、ネットワーク6を介した外部からネットワークカメラ2への通信を制御する。また、ファイアウォール3は、ネットワークカメラ2からネットワーク6を介した外部への通信も制御する。
【0019】
ファイアウォール3は、透過設定機能を有する。ファイアウォール3は、透過設定により、特定の送信元からの通信を透過させ、特定の送信元からの通信を透過させないようにし、外部からネットワークカメラ2への通信を制御する。また、ファイアウォール3は、透過設定により、特定の送信先への通信を透過させ、特定の送信先への通信を透過させないようにし、ネットワークカメラ2から外部への通信を制御する。
【0020】
管理サーバ4は、ネットワーク6を介して利用することができるクラウドサーバである。管理サーバ4は、利用者端末5との間で、利用者端末5を使用する利用者を認証する認証処理を行う機能や、利用者端末5がファイアウォール3を介してネットワークカメラ2に接続することを許可する機能等を有する。管理サーバ4の機能については後述する。管理サーバ4は、本実施形態のように、クラウドサーバ等の仮想サーバであってもよいし、物理的に存在するサーバ装置等の物理サーバであってもよい。
【0021】
利用者端末5は、情報管理システム1を利用する利用者の端末機器である。ここでの利用者とは、例えば、保育園に子供を預けている親等である。利用者端末5は、ネットワークカメラ2の映像を表示する表示機能(液晶画面等)及び音声を再生する再生機能(スピーカー等)を有する。
【0022】
利用者端末5としては、例えば、パーソナルコンピュータ(PC)、スマートフォンやタブレット等の携帯端末等を用いることができる。利用者端末5は、物理的な機器である必要はなく、仮想的な機器であってもよい。なお、
図1では1つの利用者端末5のみを示しているが、情報管理システム1は、実際には複数の利用者端末5で利用可能である。
【0023】
次に、ファイアウォール3の機能について説明する。
ファイアウォール3は、CPU、メモリ等を備えた制御機能を有する。CPUは、メモリに記憶されたコンピュータプログラム(以下、単にプログラムという。)に従って各種処理を実行し、ファイアウォール3の各種機能が実現される。また、ファイアウォール3は、制御機能による各種処理に必要なデータ及びプログラムを格納する記憶機能や、ネットワーク6を介して接続される他の機器等との間でやり取りする各種情報に関する通信を制御する通信機能を有する。
【0024】
図2に示すように、ファイアウォール3の制御機能は、設定管理部301、カメラ制御部302、映像・音声受信部303、録画・録音管理部304、シグナリング連携部305、メディアチャネル処理部306及びデータチャネル処理部307を有する。
【0025】
設定管理部301は、ファイアウォール3のシステムに関する情報(OS(Operating System)、アプリケーション等に関する情報)や、他の制御機能に関する各種設定情報を管理する。また、ファイアウォール3のシステムに関する情報の更新や、各種設定情報の登録・変更・削除等を行う。また、ファイアウォール3の透過設定の実行・管理、設定済みの透過設定の情報保持、不要な透過設定の削除等を行う。
【0026】
カメラ制御部302は、利用者端末5からの操作情報に基づいて、ネットワークカメラ2を制御する。具体的には、ネットワークカメラ2のズーム、首振り等を操作したり、ネットワークカメラ2の撮影モードを変更したりする。
【0027】
映像・音声受信部303は、ネットワークカメラ2の映像・音声をネットワークカメラ2から受信し、後述する録画・録音管理部304やメディアチャネル処理部306に提供する。
【0028】
録画・録音管理部304は、ファイアウォール3の設定管理部301が管理する各種設定情報や利用者端末5からの操作情報により、ネットワークカメラ2の映像・音声をファイアウォール3に内蔵された記憶装置に録音・録画する。また、録音・録画に関する情報、例えばネットワークカメラ2の識別情報、録画の契機となった情報(利用者の識別情報等)、録画・録音の開始・終了日時等を管理する。
【0029】
シグナリング連携部305は、後述するWebRTC(Web Real-Time Communication)技術を用いて、利用者端末5とファイアウォール3との間の通信接続処理を行う場合に、ファイアウォール3と管理サーバ4(シグナリングサーバ)との間の連携を行う。
【0030】
メディアチャネル処理部306は、WebRTCを用いて、ファイアウォール3と利用者端末5との間で、ネットワークカメラ2の映像・音声の送受信を行う場合に、ネットワークカメラ2の映像・音声の送受信に用いられるメディアチャネルの制御を行う。
【0031】
データチャネル処理部307は、WebRTCを用いて、ファイアウォール3と利用者端末5との間で、ネットワークカメラ2の映像・音声とは異なる操作情報(例えば、ネットワークカメラ2やファイアウォール3の操作情報)、ファイル、メッセージ等のデータの送受信を行う場合に、そのデータの送受信に用いられるデータチャネルの制御を行う。
【0032】
次に、管理サーバ4の機能について説明する。
管理サーバ4は、CPU、メモリ等を備えた制御機能を有する。CPUは、メモリに記憶されたプログラムに従って各種処理を実行し、管理サーバ4の各種機能が実現される。また、管理サーバ4は、制御機能による各種処理に必要なデータ及びプログラムを格納する記憶機能や、ネットワーク6を介して接続される他の機器等との間でやり取りする各種情報に関する通信を制御する通信機能を有する。
【0033】
図1に示すように、管理サーバ4の制御機能は、接続制御部41、データ連携部42及び設定管理部43を有する。
接続制御部41は、利用者端末5との間で認証処理を行う認証機能を有する。ここでの認証処理には、利用者端末5を使用する利用者の認証や利用者端末5自体の認証が含まれ、利用者の認証のみを行ってもよいし、利用者の認証と利用者端末5の認証の両方を行ってもよい。利用者端末5との間で行う認証処理は、2段階認証、多要素認証等、容易になりすましが難しいとされる高度な認証方式を用いることができる。
【0034】
また、接続制御部41は、利用者の認証を受けた利用者端末5がファイアウォール3を経由(透過)してネットワークカメラ2に接続することを制御する接続制御機能を有する。具体的には、接続制御部41は、利用者の認証を受けた利用者端末5について、後述する設定管理部43において定められた接続許可条件に基づき、ファイアウォール3を経由(透過)したネットワークカメラ2への接続を許可するか否かを判定する。
【0035】
データ連携部42は、接続制御部41における利用者端末5の接続許可(接続許可条件)に必要な連携データを外部から取得すると共に、取得した連携データを設定管理部43に登録・更新する機能を有する。
【0036】
設定管理部43は、接続制御部41における利用者端末5の接続許可の判定に必要であり、予め設定される接続基本情報、データ連携部42において外部から取得する連携データ、ファイアウォール3やファイアウォール3に接続される機器情報の関係性等を設定する設定情報等を管理する機能を有する。
【0037】
ここで、接続基本情報は、情報管理システム1の管理者が管理用の端末機器を用いて予め設定される静的な情報である。接続基本情報には、利用者端末5がファイアウォール3を経由してネットワークカメラ2に接続し、ネットワークカメラ2の映像及び音声を確認できる日や時間帯の情報等が含まれる。
【0038】
また、連携データは、接続基本情報よりも優先される情報であって、静的な接続基本情報とは異なる動的な情報である。連携データには、利用者の接続可能な年月日情報、接続開始時間、接続終了時間情報、利用者が接続基本情報では接続許可されている機器について、接続不可とする情報とその有効期限(有効期限が無期限の場合もある。)、利用者が接続基本情報では接続不可となっている機器について、接続許可とする情報とその有効期限(有効期限が無期限もある。)、利用者の情報を無効化する情報と無効化開始日時情報、利用者の情報を有効化する情報と有効化開始日時情報、機器の情報を無効化する情報と無効化開始日時情報、機器の情報を有効化する情報と有効化開始日時情報、ファイアウォール3の情報を無効化する情報と無効化開始日時情報等を含む。
【0039】
また、設定情報には、ファイアウォール3を識別する情報、ファイアウォール3を管理サーバ4で認証する認証方式、ファイアウォール3に機器を接続するポートを識別する情報、ファイアウォール3に接続する機器を識別する情報、ファイアウォール3に接続する機器の種別を識別する情報、機器種別ごとに機器種別で利用可能な映像、音声等の種別情報、ファイアウォール3のポートごとに接続された機器を識別する情報等が含まれる。
【0040】
次に、利用者端末5の機能について説明する。
利用者端末5は、CPU、メモリ等を備えた制御機能を有する。CPUは、メモリに記憶されたプログラムに従って各種処理を実行し、利用者端末5の各種機能が実現される。また、利用者端末5は、制御機能による各種処理に必要なデータ及びプログラムを格納する記憶機能や、ネットワーク6を介して接続される他の機器等との間でやり取りする各種情報に関する通信を制御する通信機能を有する。
【0041】
図3に示すように、利用者端末5の制御機能は、設定管理部501、カメラ操作部502、映像・音声確認部503、録画・録音操作部504、シグナリング連携部505、メディアチャネル処理部506及びデータチャネル処理部507を有する。本実施形態において、利用者端末5の制御機能は、WEBブラウザを用いたWEBアプリケーション等を含むプログラムに基づいて実現される。
【0042】
設定管理部501は、Webアプリケーションの各機能や他の制御機能に関する各種設定情報を管理する。また、ファイアウォール3のシステムに関する設定情報の写しを管理する(Webアプリケーションからの設定情報の確認・登録・変更・削除等のため)。また、ファイアウォール3のシステムに関する情報(OS、アプリケーション等に関する情報)を管理する。
【0043】
カメラ操作部502は、ファイアウォール3に接続されたネットワークカメラ2を遠隔操作する。具体的には、ネットワークカメラ2のズーム、首振り等を操作したり、ネットワークカメラ2の撮影モードを変更したりする。
【0044】
映像・音声確認部503は、ファイアウォール3に接続されたネットワークカメラ2のリアルタイムの映像を表示し、音声を再生し、映像・音声を確認する機能を提供する。また、録画・録音操作部504の操作により、録画された映像を表示し、録音された音声を再生し、映像・音声を確認する機能を提供する。
【0045】
録画・録音操作部504は、ネットワークカメラ2の映像・音声をファイアウォール3に内蔵された記憶装置に録画・録音する操作、録画・録音された映像・音声データの一覧表示、映像・音声データの選択、再生、削除等の操作を行う。
【0046】
シグナリング連携部505は、後述するWebRTC(Web Real-Time Communication)技術を用いて、利用者端末5とファイアウォール3との間の通信接続処理を行う場合に、利用者端末5と管理サーバ4(シグナリングサーバ)との間の連携を行う。
【0047】
メディアチャネル処理部506は、WebRTCを用いて、ファイアウォール3と利用者端末5との間で、ネットワークカメラ2の映像・音声の送受信を行う場合に、ネットワークカメラ2の映像・音声の送受信に用いられるメディアチャネルの制御を行う。
【0048】
データチャネル処理部507は、WebRTCを用いて、ファイアウォール3と利用者端末5との間で、ネットワークカメラ2の映像・音声とは異なる操作情報(例えば、ネットワークカメラ2やファイアウォール3の操作情報)、ファイル、メッセージ等のデータの送受信を行う場合に、そのデータの送受信に用いられるデータチャネルの制御を行う。
【0049】
なお、情報管理システム1の管理者は、管理用の端末機器を用いて、適宜、ネットワークカメラ2やファイアウォール3の情報をメンテナンスしたり、利用者の情報をメンテナンスしたりすることができる。
【0050】
次に、情報管理システム1を利用する流れについて説明する。
情報管理システム1を利用する前提として、管理サーバ4には、上述したような接続基本情報や設定情報が予め設定されており、必要に応じて外部から連携データが取り込まれている。また、ファイアウォール3は、予め管理サーバ4の認証を受けている。管理サーバ4によるファイアウォール3の認証処理は、2段階認証、多要素認証等の高度な認証方式を用いることができる。
【0051】
まず、情報管理システム1を利用しようとする(ネットワークカメラ2の映像・音声を確認しようとする)利用者は、利用者端末5を使用して管理サーバ4にアクセスする。管理サーバ4は、利用者端末5との間で認証処理を行う。具体的には、管理サーバ4は、設定情報に基づいて利用者端末5を使用する利用者の認証を行う。
【0052】
そして、管理サーバ4は、管理サーバ4の認証を受け、管理サーバ4にログインした状態の利用者が使用している利用者端末5について、ファイアウォール3を介してネットワークカメラ2への接続を許可するか否かを判定する。この判定には、管理サーバ4に登録されている接続基本情報及び連携データにより定められた接続許可条件に基づいて行われる。
【0053】
管理サーバ4が利用者端末5の接続を許可した場合には、利用者端末5とファイアウォール3との間の通信接続処理を行う。本実施形態において、利用者端末5とファイアウォール3との間の通信には、WebRTC(Web Real-Time Communication)技術が用いられる。具体的には、管理サーバ4をシグナリングサーバとして利用者端末5とファイアウォール3との間のP2P(Peer to Peer)通信を確立する。以下、通信接続処理の手順を説明する。
【0054】
図4に示すように、ステップS11において、利用者端末5は、Offer SDP(Session Description Protocol)を管理サーバ4に送信する。ステップ12において、管理サーバ4は、Offer SDPをファイアウォール3に送信する。ファイアウォール3は、Offer SDPを登録する。
【0055】
次に、ステップS13において、ファイアウォール3は、Answer SDPを管理サーバ4に送信する。ステップS14において、管理サーバ4は、Answer SDPを利用者端末5に送信する。利用者端末5は、Answer SDPを登録する。これにより、利用者端末5及びファイアウォール3は、それぞれの機器で利用可能なコーデック情報、それぞれの機器のIPアドレスやポート番号等のネットワーク情報等を交換する。
【0056】
次に、ステップS15において、利用者端末5は、ICE(Interactive Connectivity Establishment) candidateを管理サーバ4に送信する。ステップS16において、管理サーバ4は、ICE candidateをファイアウォール3に送信する。
【0057】
次に、ステップS17において、ファイアウォール3は、ICE candidateを管理サーバ4に送信する。ステップS18において、管理サーバ4は、ICE candidateを利用者端末5に送信する。これにより、利用者端末5及びファイアウォール3は、継続して通信可能な経路の候補情報を交換する。
【0058】
次に、ステップS19において、ファイアウォール3は、利用者端末5及びファイアウォール3が交換したSDP及びICE candidateを用いて透過設定を行う。具体的には、ファイアウォール3は、利用者端末5がファイアウォール3を経由(透過)してネットワークカメラ2に接続可能となるように、かつ、ネットワークカメラ2の映像及び音声がファイアウォール3を経由(透過)して利用者端末5に送信可能となるように透過設定を行う。
【0059】
次に、ステップS20において、利用者端末5とファイアウォール3との間のP2P通信が確立される。すなわち、管理サーバ4を介することなく、利用者端末5とファイアウォール3との間に継続して通信可能なセキュアな通信経路が確立される。これにより、ファイアウォール3を介した利用者端末5とネットワークカメラ2との間に、継続して通信可能なセキュアな通信経路が確立される。
【0060】
そして、利用者は、利用者端末5からファイアウォール3を介してネットワークカメラ2にアクセスし、ネットワークカメラ2の映像及び音声を要求する。ネットワークカメラ2は、撮影した映像及び集音した音声を、ファイアウォール3を介して利用者端末5に送信する。利用者端末5では、ネットワークカメラ2から受信した映像が表示され、音声が再生される。これにより、利用者は、利用者端末5からネットワークカメラ2の映像及び音声をリアルタイムで取得し、確認することができる。また、録画した映像や録音した音声を取得し、確認することもできる。
【0061】
その後、利用者端末5によって明示的に通信が切断された場合、利用者によるネットワークカメラ2の映像及び音声の確認が終了したと判断し、ステップS19におけるファイアウォール3の透過設定を削除する。これにより、利用者端末5とファイアウォール3との間の通信経路が遮断される。なお、ファイアウォール3又は管理サーバ4によって明示的に通信が切断された場合も同様である。
【0062】
その他、通信障害等によって意図せぬ通信切断が発生し、一定期間(例えば5分)を経過しても通信が復旧しない場合や、バッテリー切れ、停電等によって利用者端末5、ファイアウォール3又は管理サーバ4の動作が停止して通信が切断された場合にも、ステップS19におけるファイアウォール3の透過設定を削除する。
【0063】
次に、本実施形態の情報管理システム1の作用効果について説明する。
本実施形態の情報管理システム1によれば、管理サーバ4との間で認証処理(管理サーバ4による利用者の認証)を行った利用者端末5(利用者)が、管理サーバ4において定められた接続許可条件に基づいて接続を許可されたネットワークカメラ2の映像及び音声(メディアデータ)を、ファイアウォール3を介して取得できるよう構成されている。
【0064】
すなわち、利用者端末5(利用者)は、管理サーバ4による利用者の認証を受け、かつ、接続許可条件に基づいてネットワークカメラ2への接続を許可されなければ、ネットワークカメラ2の映像及び音声を確認することができない。そのため、利用者端末5からネットワークカメラ2への接続を十分かつ確実に制御できる。また、接続を許可された利用者端末5は、ファイアウォール3を介在させることで、安全性を確保した状態でネットワークカメラ2の映像及び音声を確認できる。
【0065】
また、情報管理システム1において、接続許可条件は、管理サーバ4において予め設定された接続基本情報と、接続基本情報よりも優先される情報であって、管理サーバ4が外部から取得した連携データとにより定められる。そのため、接続許可条件を様々な要素(連携データ)を用いて適宜変更することができる。これにより、利用者端末5からネットワークカメラ2への接続をより精度良く制御できる。
【0066】
また、利用者端末5とファイアウォール3との間の通信にはWebRTC技術が用いられ、管理サーバ4をシグナリングサーバとして利用者端末5とファイアウォール3との間のP2P通信を確立する。そのため、管理サーバ4に負荷を掛けず、利用者端末5とファイアウォール3との間に継続して通信可能なセキュアな通信経路を確立できる。
【0067】
また、ファイアウォール3は、WebRTC技術を用いて利用者端末5とファイアウォール3との間のP2P通信を確立する際に、シグナリングサーバである管理サーバ4を介して利用者端末5とファイアウォール3との間で交換する利用者端末5及びファイアウォール3に関する情報を用いて、利用者端末5がファイアウォール3を経由してネットワークカメラ2に接続可能となるように、かつ、ネットワークカメラ2の映像及び音声がファイアウォール3を経由して利用者端末5に送信可能となるように透過設定する。そのため、ファイアウォール3の透過設定を容易かつ確実に行うことができる。
【0068】
なお、本実施形態では、管理サーバ4を介して利用者端末5とファイアウォール3との間で交換する利用者端末5及びファイアウォール3に関する情報を用いてファイアウォール3の透過設定を行ったが、これらの情報以外に、例えば、管理サーバ4が管理する利用者端末5やファイアウォール3に関する情報等、ファイアウォール3の透過設定に必要な情報を補完してもよい。
【0069】
また、利用者端末5及びファイアウォール3は、両者の間におけるネットワークカメラ2の映像及び音声(メディアデータ)の送受信に用いられるメディアチャネルの制御を行うよう構成されている。そのため、WebRTCを用いた、利用者端末5とファイアウォール3との間のメディアデータの送受信を円滑に行うことができる。
【0070】
また、利用者端末5及びファイアウォール3は、両者の間においてネットワークカメラ2の映像及び音声(メディアデータ)とは異なるデータ(ネットワークカメラ2やファイアウォール3の操作情報、ファイル、メッセージ等)の送受信が可能であり、両者の間におけるデータの送受信に用いられるデータチャネルの制御を行うよう構成されている。そのため、WebRTCを用いた、利用者端末5とファイアウォール3との間のデータの送受信を円滑に行うことができる。
【0071】
また、ファイアウォール3は、次のような作用効果を発揮することができる。すなわち、従来のファイアウォールは、通信(パケット等)の内容を基に通信を制御し、許可された通信がファイアウォールを透過できるようにするものであるが、通信を改ざんされた場合には、通信元、通信先等が本物であることの判定が難しく、いわゆる「なりすまし」が可能となることがあった。
【0072】
しかしながら、本実施形態では、事前に管理サーバ4がファイアウォール3の認証を行い、利用者端末5を使用する利用者の認証を行う。そのため、ネットワークカメラ2の映像及び音声の送信元となるファイアウォール3、送信先となる利用者端末5及び利用者端末を使用する利用者が本物であることが保証され、利用者端末5とファイアウォール3との通信の内容を基にした制御で「なりすまし」を防ぐことができる。
【0073】
また、本実施形態の情報管理システム1によれば、保育園に子供を預けている親が保育園での子供の様子についてインターネット等のネットワークを介して確認することができるサービスを提供できる。そして、以下のような問題点を解消することができる。
【0074】
保育園は、当初、保育園の営業日、営業時間内に限り、保育園内に設置したネットワークカメラ2の映像及び音声を確認できるサービスを提供していた。ところが、利用者Aの子供が保育園をお休みしていたにもかかわらず、利用者Aが保育園内のネットワークカメラ2の映像及び音声を確認していたことがわかり、他の利用者から不安な声が聞かれた。そこで、ネットワークカメラ2の映像及び音声の確認を以下のように制限することにした。
【0075】
利用者がネットワークカメラ2の映像及び音声を確認できる条件として、その利用者の子供を保育園に預けている間のみに制限することにした。具体的な方法としては、利用者の子供の保育開始時と保育終了時に利用者カードをスキャンして時間を記録する。利用者の識別IDと保育開始及び保育終了の時間データを連携データとして管理サーバ4にアップロードすることで、利用者は「保育開始から保育終了までの間」のみ、ネットワークカメラ2の映像及び音声を確認できる。利用者の子供が保育園を休んだ場合は、利用者の識別IDと保育開始及び保育終了の時間データが連携データとして管理サーバ4にアップロードされないため、利用者はサービスを利用することができない。また、利用者が退園した場合もサービスを利用できなくなる。
【0076】
(第2実施形態)
本実施形態は、
図5に示すように、情報管理システム1の構成を変更した例である。なお、第1実施形態と同様の構成及び作用効果については説明を省略する。
【0077】
情報管理システム1は、複数のネットワークカメラ2及び複数のファイアウォール3を備えている。本実施形態では、一例として、3つのネットワークカメラ2とこれらに接続された3つのファイアウォール3を備えた構成を示している。このような構成では、例えば、管理サーバ4が利用者端末5に対して複数のネットワークカメラ2への接続を許可した場合、利用者端末5には接続可能な複数のネットワークカメラ2が表示され、利用者は接続するネットワークカメラ2を選択することができる。
【0078】
本実施形態の情報管理システム1について、企業でのサービスを例に説明すると、3つのネットワークカメラ2は、X社の各部署(本社、研究所、工場)に設置されている。利用者である社員Yは、研究所に所属しているが、管理職であり、経営会議等で本社に滞在する時間が長いことから、自らの職場の様子を研究所に設置されたネットワークカメラ2の映像及び音声で確認できるようになっている。例えば、深夜まで残業をしている社員がいる場合には、その社員に業務状況をヒアリングする等して、違法な就業を是正する働きかけを行うこともある。
【0079】
例えば、社員Yが人事異動により本社に異動になった場合、社員Yは、研究所に設置されたネットワークカメラ2の映像及び音声を確認できなくなり、一方で本社に設置されたネットワークカメラ2の映像及び音声を確認できるようになる。また、社員YがX社から退職した場合には、X社のシステム利用ができなくなる。
【0080】
これは、X社の人事異動データを基に生成される連携データ(X社の社員ごとに利用できるネットワークカメラ2の情報を生成したデータ)をアップロードすることで、管理サーバ4の設定管理部43のデータが更新されるためである。
【0081】
(第3実施形態)
本実施形態は、
図6、
図7に示すように、情報管理システム1の構成を変更した例である。なお、第1実施形態と同様の構成及び作用効果については説明を省略する。
【0082】
図6に示すように、ファイアウォール3は、さらに、AI処理部308、ファイアウォール状態管理部309及びIoT連携部310を備えている。
【0083】
AI処理部308は、ネットワークカメラ2の映像・音声(録画・録音された映像・音声も含む)について学習モデルに従いAI(Artificial Intelligence)処理を行う。なお、設定管理部301は、AI処理部308のAI処理に必要な学習モデルに関する情報の管理、学習モデルの登録・更新・削除等を行う。
【0084】
ファイアウォール状態管理部309は、ファイアウォール3の各機能でエラーが発生した場合に、そのエラーログ情報を取得する。また、エラーログ情報の取得を契機に、「エラーログ情報」の他、エラー発生の「日時分秒」、エラーが発生した「ファイアウォールの識別情報」、エラーが発生した「ファイアウォールの機能識別子」等を管理サーバ4に送信する。
【0085】
IoT連携部310は、ファイアウォール3と、ファイアウォール3に接続されたIoT機器(接続機器30)との間の通信を制御する。具体的には、IoT連携部310は、IoT機器で取得した情報をIoT機器から受信したり、利用者端末5から受信したIoT機器の操作情報をIoT機器に送信したりする。
【0086】
図7に示すように、利用者端末5は、さらに、AI連携部508、IoT情報確認部509及びIoT操作部510を備えている。
【0087】
AI連携部508は、ファイアウォール3のAI処理部308のAI処理により検知されたアラートをWebアプリケーションの画面に表示する。また、ファイアウォール3のAI処理部308のAI処理結果に基づく映像や音声をWebアプリケーションで表示・再生する。また、ファイアウォール3のAI処理部308のAI処理に関する操作をWebアプリケーションの画面から行う機能を提供する。
【0088】
IoT情報確認部509は、ファイアウォール3に接続されたIoT機器(接続機器30)から取得された情報をWebアプリケーションの画面に表示する。また、ファイアウォール3のファイアウォール状態管理部309で検知された各機能のエラー発生に関する情報をWebアプリケーションの画面に表示する。必要に応じて、エラーログ情報等も表示する。
【0089】
IoT操作部510は、ファイアウォール3に接続されたIoT機器(接続機器30)をWebアプリケーションの画面から操作する機能を提供する。
【0090】
次に、上記構成の情報管理システム1におけるデータチャネル(ファイアウォール3のデータチャネル処理部307及び利用者端末5のデータチャネル処理部507)の利用例について説明する。
【0091】
<データチャネルの利用例1>
上記第1実施形態において説明したとおり、利用者端末5からネットワークカメラ2の操作情報をファイアウォール3に送信することにより、ネットワークカメラ2を遠隔操作することができる。例えば、ネットワークカメラ2のズーム、首振り等を操作したり、ネットワークカメラ2の撮影モードを変更したりすることができる。
【0092】
<データチャネルの利用例2>
ファイアウォール3内のアプリケーションを更新するためのプログラムファイル等を、システム管理者が利用者端末5からファイアウォール3に転送し、そのプログラムファイル等を起動するような操作を行うことができる。また、システム管理者が利用者端末5からファイアウォール3の設定変更等を遠隔操作することができる。
【0093】
<データチャネルの利用例3>
ファイアウォール3の内部に温度センサ、GPS等を搭載した場合、利用者端末5でネットワークカメラ2の映像を確認する場合に、合わせて、ファイアウォール3の温度、位置情報等を確認することができる。また、ファイアウォール3に外部センサ(接続機器30)を接続した場合に、利用者端末5からファイアウォール3に接続した外部センサの情報を確認することができる。また、外部センサで何らかの情報(例えば、ドアが不正に開けられた等)を検知した場合に、アラートをファイアウォール3から利用者端末5に送信して利用者に通知することができる。
【0094】
<データチャネルの利用例4>
ファイアウォール3にロボットアーム等の機器(接続機器30)を接続した場合に、利用者端末5からネットワークカメラ2の映像を確認しながら、ロボットアーム等の機器を遠隔操作することができる。
【0095】
<データチャネルの利用例5>
ファイアウォール3において、ネットワークカメラ2の映像をAI処理によって解析し、ネットワークカメラ2の映像で何らかの情報(例えば不審者)を検知した場合に、ファイアウォール3から利用者端末5にアラートを送信して利用者に通知することができる。また、利用者にアラートを通知するだけでなく、AI処理によって検知した内容に基づいて、予め定めたルールに従い、ファイアウォール3に接続した接続機器30を動作させることもできる。
【0096】
(その他の実施形態)
本発明は、上記実施形態に何ら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
【0097】
(1)上記実施形態では、撮影機能及び集音機能の少なくとも一方を有する機器としてネットワークカメラ2を用いたが、撮影機能や集音機能を有する機器であれば、その他の種々様々な機器を用いてもよい。また、撮影機能及び集音機能の両方を有する機器であるネットワークカメラ2(集音マイク付きカメラ)を用いたが、撮影機能のみを有する機器や集音機能のみを有する機器を用いてもよい。
【0098】
(2)上記実施形態では、利用者端末5からネットワークカメラ2の映像及び音声の両方を確認できるようにしたが、例えば、ネットワークカメラ等の機器の映像のみを確認できるようにしてもよいし、音声のみを確認できるようにしてもよい。
【0099】
(3)上記実施形態では、ファイアウォール3に録画・録音機能を備えた記憶装置を内蔵し、ネットワークカメラ2の映像・音声を録画・録音する構成としたが、例えば、ネットワークカメラ等の機器に録画機能や録音機能を備えた構成としてもよいし、ネットワークカメラ等の機器とファイアウォールとの間に録画機能や録音機能を有する記録装置(レコーダー)等を配置する構成としてもよい。
【0100】
例えば、ネットワークカメラ等の機器で撮影した映像や集音した音声を記録装置等で録画・録音し、この録画した映像や録音した音声を、ファイアウォールを経由(透過)して利用者端末に送信するようにしてもよい。このような構成とすることで、ネットワークカメラ等の機器単体では、同時に複数の利用者が接続した場合に、映像や音声を送信する能力が不足したり、利用できる利用者数が制限されたりするといった問題を解消することができる。
【0101】
(4)上記実施形態では、ファイアウォール3が独立した機器として構成され、ネットワークカメラ2とファイアウォール3とが別体として構成されているが、例えば、ネットワークカメラ等の機器や上述した記録装置等にファイアウォールの機能が組み込まれ、両者が一体的に構成されていてもよい。また、異なるネットワークを相互に接続するルータ等のネットワーク機器にファイアウォールの機能が組み込まれた構成であってもよい。
【0102】
(5)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【符号の説明】
【0103】
1…情報管理システム、2…ネットワークカメラ、3…ファイアウォール、4…管理サーバ、5…利用者端末、6…ネットワーク、41…接続制御部、42…データ連携部、43…設定管理部
【要約】 (修正有)
【課題】利用者端末から機器への接続を確実に制御でき、安全性を確保した状態で利用者端末から機器の映像や音声を確認できる情報管理システムを提供する。
【解決手段】情報管理システム1は、撮影機能及び集音機能を有するネットワークカメラ2(機器)に接続されるファイアウォール3と、利用者端末5との間で、利用者端末5を使用する利用者を認証する認証処理を行うと共に、利用者端末5がファイアウォール3を介してネットワークカメラ2に接続することを許可する管理サーバ4と、を備えている。情報管理システム1では、管理サーバ4との間で認証処理を行った利用者端末5が、管理サーバ4において定められた接続許可条件に基づいて接続を許可されたネットワークカメラ2から、ネットワークカメラ2が撮影した映像及びネットワークカメラ2が集音した音声を含むメディアデータを、ファイアウォール3を介して取得する。
【選択図】
図1