(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155811
(43)【公開日】2024-10-31
(54)【発明の名称】ハイブリッド360度映像監視カメラ及びそれを用いた映像処理方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20241024BHJP
H04N 23/698 20230101ALI20241024BHJP
H04N 7/18 20060101ALI20241024BHJP
【FI】
H04N23/60 300
H04N23/60 500
H04N23/698
H04N7/18 E
【審査請求】有
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2024066702
(22)【出願日】2024-04-17
(31)【優先権主張番号】10-2023-0051198
(32)【優先日】2023-04-19
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】519053924
【氏名又は名称】ピーエス イノディック カンパニー リミテッド
【氏名又は名称原語表記】PS INODIC CO., LTD.
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】パク イン チョン
(72)【発明者】
【氏名】リ サン チュン
(72)【発明者】
【氏名】リ スン ウォン
【テーマコード(参考)】
5C054
5C122
【Fターム(参考)】
5C054CA04
5C054CC02
5C054DA06
5C054EA01
5C054FD03
5C054FD07
5C054HA19
5C122DA11
5C122FA03
5C122FH11
5C122GC52
5C122GC76
5C122HA75
5C122HB01
(57)【要約】 (修正有)
【課題】デジタル出力及びアナログ出力を併せ持つ360度映像監視カメラを導入することにより、映像受信装置の信号方式に関係なく、また、他の方式への映像受信装置の交換(アナログ方式からデジタル方式又はデジタル方式からアナログ方式への交換)に関係なく、映像を伝送、変換及び処理できるハイブリッド360度映像監視カメラ及びそれを用いた映像処理方法を提供する。
【解決手段】360度オリジナル映像を処理して対応する情報を表出し、システムの情報、ユーザー情報または映像記憶のためのセキュリティ及び暗号化情報を記憶及び管理するメインボードと;処理された映像を受信し、アナログ信号に変換して送信し、アナログカメラの制御情報を送受信及び処理するアナログ処理ボードと;PoEによる電源部への電力供給を処理するPoEインターフェース部と;PoCによる電源部への電力供給を処理するPoCインターフェース部と;を含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
昼夜を問わず周辺の物体の360度映像を取得し、メインボードに伝達するカメラモジュールと、
専用クライアントプログラムやWeb/アプリプログラムの接続によるパケット情報交換により前記カメラモジュールの設定及び制御処理を行い、前記カメラモジュールから360度オリジナル(original)映像を受信して外部のデジタル映像受信装置及びアナログ映像受信装置に伝達する映像を処理及び生成し、前記360度オリジナル映像を分析して人や物、文字やイメージを認識及び処理することで対応する情報を表出し、システム全体のインターフェース処理とシステムの情報、ユーザー情報、または映像の記憶のためのセキュリティ及び暗号化情報を記憶及び管理するメインボードと、
前記メインボードから処理された映像を受信し、アナログ信号に変換して送信し、アナログカメラの制御情報を送受信及び処理するアナログ処理ボードと、
単一のイーサネット(ethernet)回線に基づいて、前記メインボードからのデジタル信号を前記デジタル映像受信装置に伝送したり、デジタル映像受信装置からのデジタル信号を前記メインボードに伝送したりし、PoE(Power over Ethernet、パワーオーバーイーサネット)による電源部への電源供給を処理するPoEインターフェース部と、
単一の同軸ケーブルに基づいて、前記アナログ処理ボードからのアナログ映像信号を前記アナログ映像受信装置に伝送したり、アナログ映像受信装置からのアナログ信号又はデジタル信号を前記アナログ処理ボードに伝送したりし、PoC(Power over Coaxial、パワーオーバー同軸)による電源部への電源供給を処理するPoCインターフェース部と、
前記PoEインターフェース部又はPoCインターフェース部から電源供給を受けた後、前記カメラモジュール、メインボード及びアナログ処理ボードの駆動用電源に変換して、カメラモジュール、メインボード及びアナログ処理ボードにそれぞれ駆動電源を供給する電源部と、
を含む、ハイブリッド360度映像監視カメラ。
【請求項2】
前記メインボードにおける映像処理及び分析に関連してオーディオ信号の入出力を処理するオーディオモジュールをさらに含む、請求項1に記載のハイブリッド360度映像監視カメラ。
【請求項3】
各種IoT(Internet of Things、モノのインターネット)センサー情報の連携により、周辺物体の情報を収集し、出力を処理するセンサーモジュールをさらに含む、請求項1に記載のハイブリッド360度映像監視カメラ。
【請求項4】
スイッチ及びリレーの制御により周辺のIoT機器の動作を制御する制御モジュールをさらに含む、請求項1に記載のハイブリッド360度映像監視カメラ。
【請求項5】
前記カメラモジュールとメインボードは、MIPI(Mobile Industry Processor Interface、モバイルインダストリープロセッサインターフェース)/CSI(Camera Serial interface、カメラシリアルインターフェース)信号を用いて互いに映像信号を送受信するように構成されている、請求項1に記載のハイブリッド360度映像監視カメラ。
【請求項6】
前記メインボードは、
専用クライアントプログラムやWeb/アプリプログラムの接続によるパケット情報交換により前記カメラモジュールの設定及び制御を行い、前記アナログ処理ボードから伝達される制御情報を処理し、カメラモジュール及びユーザー情報の遠隔設定及び制御を行う制御処理部と、
前記カメラモジュールから360度オリジナル(original)映像を受信して、前記デジタル映像受信装置及びアナログ映像受信装置に伝達する映像を処理及び生成し、前記制御処理部に入力されたイメージ及び映像ストリームに関する設定と制御コマンドを受信して、前記カメラモジュール及びシステム関連機能を調整する映像処理部と、
前記360度オリジナル映像を分析して人や物、文字やイメージを認識及び処理することで対応する情報を表出するAI(人工知能)処理部と、
前記カメラモジュール、制御処理部、映像処理部及びAI(人工知能)処理部とモジュールの動作状態、通信状態、設定値などを確認し設定する機能を実行するユーザーインターフェース部と、
カメラシステム全体のインターフェース処理とカメラシステムの情報、ユーザー情報、または映像の記憶のためのセキュリティ及び暗号化情報を記憶及び管理するシステム管理部と、を含んで構成されている、請求項1に記載のハイブリッド360度映像監視カメラ。
【請求項7】
前記映像処理部は、フレーム速度の変化を含む映像信号の形態変換、H.264、H.265を含むコーデック(CODEC)によるデジタル映像への圧縮、デワープ(Dewarp)等の映像の変換、映像の分割、映像の結合、映像の抽出を含む映像処理を行う、請求項6に記載のハイブリッド360度映像監視カメラ。
【請求項8】
前記映像処理部は、360度映像の中から一定角度の映像を抽出したり複数の角度の映像を組み合わせたりして様々なビューを作成することを含む映像の抽出及び組み合わせの処理を行う、請求項6に記載のハイブリッド360度映像監視カメラ。
【請求項9】
前記映像処理部は、デジタル映像受信装置とアナログ映像受信装置に伝達する映像を生成する際に、マルチストリーミングにより、オリジナル映像を複数の異なる形態の映像ストリームとして同時に生成する、請求項6に記載のハイブリッド360度映像監視カメラ。
【請求項10】
前記映像処理部は、映像記憶機能により、カメラに内蔵又は着脱可能な記憶媒体にオリジナル映像及び処理済み映像を記憶する、請求項6に記載のハイブリッド360度映像監視カメラ。
【請求項11】
前記映像処理部及び前記アナログ処理ボードは、MIPI(Mobile Industry Processor Interface)/CSI(Camera Serial interface)信号または一般標準アナログ方式のCCIR(Consultative Committee on International Radio)またはEIA(Electronic Industries Association)信号を用いて互いに映像信号を送受信するように構成されている、請求項6に記載のハイブリッド360度映像監視カメラ。
【請求項12】
前記アナログ処理ボードは、
前記メインボードの映像処理部からデジタル信号又はアナログ信号を受信し、アナログ映像信号に変換して送信するアナログ映像送信部と、
前記アナログ映像受信装置のDVR(Digital Video Recorder、デジタルビデオレコーダ)とカメラとを接続する際、別途の制御線を設けることなく同軸ケーブルのみでカメラを制御できるUTC(up the coax)通信方法を用いてカメラの制御情報を送受信して処理するデータ処理部と、を含んで構成されている、請求項6に記載のハイブリッド360度映像監視カメラ。
【請求項13】
a)映像処理部が、カメラモジュールから映像情報を取得するステップと、
b)映像処理部が、取得した360度オリジナル映像及び変換映像から映像ストリームを生成するステップと、
c)AI(人工知能)処理部が、生成された前記映像ストリームの情報を分析してAI情報を生成するステップと、
d)AI(人工知能)処理部が、前記生成されたAI情報を前記映像ストリームに結合してAI情報付き映像ストリームを生成するステップと、
e)映像処理部が、前記生成されたAI情報付き映像ストリーム(i)をデジタル映像受信装置又はアナログ映像受信装置側に伝送するステップと、
f)制御処理部が、前記映像ストリームが動作設定状態であるか否かを判定するステップと、
g)前記判定において、制御処理部が、前記映像ストリームが動作設定状態である場合、プロセスを前記ステップb)に戻し、前記映像ストリームが動作設定状態でない場合、プロセスを終了するステップと、
を含む、ハイブリッド360度映像監視カメラを用いた映像処理方法。
【請求項14】
前記ステップe)では、映像処理部が、前記生成されたAI情報付き映像ストリーム(i)をデジタル映像受信装置又はアナログ映像受信装置側に伝送するが、
e-1)映像処理部が、一定周期(Ti)で映像ストリーム伝送量と受信側の映像ストリーム受信量とをそれぞれ測定するステップと、
e-2)映像処理部が、前記映像ストリーム伝送量と映像ストリーム受信量との差が所定の設定値(A)よりも大きいか否かを判定するステップと、
e-3)前記判定において、前記映像ストリーム伝送量と映像ストリーム受信量との差が設定値(A)よりも大きい場合、映像処理部が映像伝送形態を変更制御するステップと、をさらに含む、請求項13に記載のハイブリッド360度映像監視カメラを用いた映像処理方法。
【請求項15】
前記ステップe-1)では、映像処理部が、一定周期(Ti)で映像ストリーム伝送量と受信側の映像ストリーム受信量とをそれぞれ測定する際に、映像ストリーム送信側(映像処理部)が、映像ストリーム受信側から一定周期(Ti)の間に受信された映像情報量を受け取り、周期(Ti)における映像情報の伝送量を測定する、請求項14に記載のハイブリッド360度映像監視カメラを用いた映像処理方法。
【請求項16】
前記ステップe-3)では、映像処理部が映像伝送形態を変更制御する際に、映像のイメージのサイズや映像の伝送速度を調整することにより、映像伝送形態を変更制御する、請求項14に記載のハイブリッド360度映像監視カメラを用いた映像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像監視カメラに関し、より詳細には、デジタル出力及びアナログ出力を併せ持つ360度映像監視カメラを導入することにより、映像受信装置の信号方式に関係なく映像を伝送、変換及び処理できるハイブリッド360度映像監視カメラ及びそれを用いた映像処理方法に関する。
【背景技術】
【0002】
セキュリティ監視カメラ(防犯監視カメラ)は、屋内外の様々な場所に設置されて運営されているが、広角または複数の場所を監視するためには、それだけ多数のカメラを設置する必要がある。これは、製品のコスト及び設置工事コストの上昇を伴い、システム構成が複雑になる原因となっている。この問題を解決するための方法として、魚眼(Fisheye)レンズなどを利用して、一般的なカメラよりも広い画角を提供するカメラを使用することができる。このような360度カメラは、一般的なカメラに比べて広い画角を提供することで、複数の一般的な画角のカメラを代替する効果が期待できる。
【0003】
映像監視カメラは、デジタル方式のカメラとアナログ方式のカメラとに分類できる。デジタル方式のカメラは、デジタル映像情報処理とIPパケットによる映像伝送を基本としているため、映像の変形、圧縮、分割などが容易で、様々な機能の融合を実現しやすいが、伝送遅延が発生する場合があり、ネットワーク接続方式のため、アナログ方式のカメラに比べてセキュリティがやや弱い。アナログ方式のカメラは、専用ケーブルを用いて遅延が少なく、安定した映像伝達が可能で、セキュリティに強く、具現が簡単であるという利点がある。
【0004】
一般的に、デジタルカメラは、複雑な機能を実現できるためハイスペックな製品として具現化されおり、アナログカメラは、アナログ信号ベースの同軸ケーブル伝送の制約からロースペックな製品として具現化されている。
【0005】
360度カメラには、ほとんどの場合、様々な映像を変換及び処理できるデジタル方式のカメラが適用される。これは、360度魚眼レンズ(Fisheye)により生成されたオリジナル映像だけでなく、映像のデワープ(De-warp:映像平滑化)処理により平滑化された映像、様々なビューモードを適用した分割映像、一部領域だけを抽出した映像、複数の映像ストリームの同時伝送(マルチストリーム)などが可能であるからである。
【0006】
従来のアナログ方式の360度カメラは、カメラ端では映像伝送のみを担当し、映像の変換や処理は映像受信装置で行うように構成されている。このような従来のアナログ方式の360度カメラでは、映像受信装置の映像処理の負荷が集中する問題が発生し、カメラ端でオリジナル映像全体を伝達するため、アナログ方式で伝送できる映像の品質には制約があり、受信装置で必要な映像品質を確保することが困難であるという問題がある。これらの要因から、アナログ方式での360度カメラの適用には限界がある。
【0007】
360度カメラと映像受信装置間の処理方式(デジタル方式又はアナログ方式)が異なる場合、装置間の接続が難しい。デジタル方式の360度カメラを設置する場合、映像受信装置をも交換しなければならないという問題が発生する。特に、既存のアナログカメラとアナログ方式の映像受信装置を使用する環境で、新たにデジタル方式の360度カメラを設置または増設する場合、接続が煩雑になり、別途信号変換のコストが発生する。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上記事情に鑑みてなされたものであり、デジタル出力及びアナログ出力を併せ持つ360度映像監視カメラを導入することにより、映像受信装置の信号方式に関係なく、また、他の方式への映像受信装置の交換(アナログ方式からデジタル方式又はデジタル方式からアナログ方式への交換)に関係なく、360度映像監視カメラによって撮影された映像を伝送、変換及び処理できるハイブリッド360度映像監視カメラ及びそれを用いた映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明によるハイブリッド360度映像監視カメラは、昼夜を問わず周辺の物体の360度映像を取得し、メインボードに伝達するカメラモジュールと;専用クライアントプログラムやWeb/アプリプログラムの接続によるパケット情報交換により前記カメラモジュールの設定及び制御処理を行い、前記カメラモジュールから360度オリジナル(original)映像を受信して外部のデジタル映像受信装置及びアナログ映像受信装置に伝達する映像を処理及び生成し、前記360度オリジナル映像を分析して人や物、文字やイメージを認識及び処理することで対応する情報を表出し、システム全体のインターフェース処理とシステムの情報、ユーザー情報、または映像の記憶のためのセキュリティ及び暗号化情報を記憶及び管理するメインボードと;前記メインボードから処理された映像を受信し、アナログ信号に変換して送信し、アナログカメラの制御情報を送受信及び処理するアナログ処理ボードと;単一のイーサネット(ethernet)回線に基づいて、前記メインボードからのデジタル信号を前記デジタル映像受信装置に伝送したり、デジタル映像受信装置からのデジタル信号を前記メインボードに伝送したりし、PoE(Power over Ethernet、パワーオーバーイーサネット)による電源部への電源供給を処理するPoEインターフェース部と;単一の同軸ケーブルに基づいて、前記アナログ処理ボードからのアナログ映像信号を前記アナログ映像受信装置に伝送したり、アナログ映像受信装置からのアナログ信号又はデジタル信号を前記アナログ処理ボードに伝送したりし、PoC(Power over Coaxial、パワーオーバー同軸)による電源部への電源供給を処理するPoCインターフェース部と;前記PoEインターフェース部又はPoCインターフェース部から電源供給を受けた後、前記カメラモジュール、メインボード及びアナログ処理ボードの駆動用電源に変換して、カメラモジュール、メインボード及びアナログ処理ボードにそれぞれ駆動電源を供給する電源部と;を含むことを特徴とする。
【0010】
ここで、好ましくは、前記メインボードにおける映像処理及び分析に関連してオーディオ信号の入出力を処理するオーディオモジュールをさらに含んでいてもよい。
【0011】
また、各種IoT(Internet of Things、モノのインターネット)センサー情報の連携により、周辺物体の情報を収集し、出力を処理するセンサーモジュールをさらに含んでいてもよい。
【0012】
また、スイッチ及びリレーの制御により周辺のIoT機器の動作を制御する制御モジュールをさらに含んでいてもよい。
【0013】
また、前記カメラモジュールとメインボードは、MIPI(Mobile Industry Processor Interface、モバイルインダストリープロセッサインターフェース)/CSI(Camera Serial interface、カメラシリアルインターフェース)信号を用いて互いに映像信号を送受信するように構成されていてもよい。
【0014】
また、前記メインボードは、専用クライアントプログラムやWeb/アプリプログラムの接続によるパケット情報交換により前記カメラモジュールの設定及び制御を行い、前記アナログ処理ボードから伝達される制御情報を処理し、カメラモジュール及びユーザー情報の遠隔設定及び制御を行う制御処理部と;前記カメラモジュールから360度オリジナル(original)映像を受信して、前記デジタル映像受信装置及びアナログ映像受信装置に伝達する映像を処理及び生成し、前記制御処理部に入力されたイメージ及び映像ストリームに関する設定と制御コマンドを受信して、前記カメラモジュール及びシステム関連機能を調整する映像処理部と;前記360度オリジナル映像を分析して人や物、文字やイメージを認識及び処理することで対応する情報を表出するAI(人工知能:artificial intelligence)処理部と;前記カメラモジュール、制御処理部、映像処理部及びAI(人工知能)処理部とモジュールの動作状態、通信状態、設定値などを確認し設定する機能を実行するユーザーインターフェース部と;カメラシステム全体のインターフェース処理とカメラシステムの情報、ユーザー情報、または映像の記憶のためのセキュリティ及び暗号化情報を記憶及び管理するシステム管理部と;を含んで構成されていてもよい。
【0015】
ここで、前記映像処理部は、フレーム速度の変化を含む映像信号の形態変換、H.264、H.265等のコーデック(CODEC)によるデジタル映像への圧縮、デワープ(Dewarp)等の映像の変換、映像の分割、映像の結合、映像の抽出等の映像処理を行ってもよい。
【0016】
また、前記映像処理部は、360度映像の中から一定角度の映像を抽出したり複数の角度の映像を組み合わせたりして様々なビューを作成するなど、映像の抽出及び組み合わせの処理を行ってもよい。
【0017】
また、前記映像処理部は、デジタル映像受信装置とアナログ映像受信装置に伝達する映像を生成する際に、マルチストリーミングにより、オリジナル映像を複数の異なる形態の映像ストリームとして同時に生成してもよい。
【0018】
また、前記映像処理部は、映像記憶機能により、カメラに内蔵又は着脱可能な記憶媒体にオリジナル映像及び処理済み映像を記憶してもよい。
【0019】
また、前記映像処理部及び前記アナログ処理ボードは、MIPI(Mobile Industry Processor Interface)/CSI(Camera Serial interface)信号または一般標準アナログ方式のCCIR(Consultative Committee on International Radio)またはEIA(Electronic Industries Association)信号を用いて互いに映像信号を送受信するように構成されていてもよい。
【0020】
また、前記アナログ処理ボードは、前記メインボードの映像処理部からデジタル信号又はアナログ信号を受信し、アナログ映像信号に変換して送信するアナログ映像送信部と;前記アナログ映像受信装置のDVR(Digital Video Recorder、デジタルビデオレコーダ)とカメラとを接続する際、別途の制御線を設けることなく同軸ケーブルのみでカメラを制御できるUTC(up the coax)通信方法を用いてカメラの制御情報を送受信して処理するデータ処理部と;を含んで構成されていてもよい。
【0021】
また、上記目的を達成するために、本発明によるハイブリッド360度映像監視カメラを用いた映像処理方法は、a)映像処理部が、カメラモジュールから映像情報を取得するステップと;b)映像処理部が、取得した360度オリジナル映像及び変換映像から映像ストリームを生成するステップと;c)AI(人工知能)処理部が、生成された前記映像ストリームの情報を分析してAI情報を生成するステップと;d)AI(人工知能)処理部が、前記生成されたAI情報を前記映像ストリームに結合してAI情報付き映像ストリームを生成するステップと;e)映像処理部が、前記生成されたAI情報付き映像ストリームiをデジタル映像受信装置又はアナログ映像受信装置側に伝送するステップと;f)制御処理部が、前記映像ストリームが動作設定状態であるか否かを判定するステップと;g)前記判定において、制御処理部が、前記映像ストリームが動作設定状態である場合、プロセスを前記ステップb)に戻し、前記映像ストリームが動作設定状態でない場合、プロセスを終了するステップと;を含むことを特徴とする。
【0022】
ここで、前記ステップe)では、映像処理部が、前記生成されたAI情報付き映像ストリームiをデジタル映像受信装置又はアナログ映像受信装置側に伝送するが、e-1)映像処理部が、一定周期Tiで映像ストリーム伝送量と受信側の映像ストリーム受信量とをそれぞれ測定するステップと;e-2)映像処理部が、前記映像ストリーム伝送量と映像ストリーム受信量との差が所定の設定値Aよりも大きいか否かを判定するステップと;e-3)前記判定において、前記映像ストリーム伝送量と映像ストリーム受信量との差が設定値Aよりも大きい場合、映像処理部が映像伝送形態を変更制御するステップと;をさらに含んでいてもよい。
【0023】
このとき、前記ステップe-1)では、映像処理部が、一定周期Tiで映像ストリーム伝送量と受信側の映像ストリーム受信量とをそれぞれ測定する際に、映像ストリーム送信側(映像処理部)が、映像ストリーム受信側から一定周期Tiの間に受信された映像情報量を受け取り、周期Tiにおける映像情報の伝送量を測定するようにしてもよい。
【0024】
また、前記ステップe-3)では、映像処理部が映像伝送形態を変更制御する際に、映像のイメージのサイズや映像の伝送速度を調整することにより、映像伝送形態を変更制御するようにしてもよい。
【発明の効果】
【0025】
このような本発明によれば、デジタル映像伝送機能とアナログ映像伝送機能の両方を兼ね備えているため、デジタル方式の映像受信装置又はアナログ方式の映像受信装置に関係なく接続可能であり、デジタル方式とアナログ方式の両方を同時に接続することができるため、近距離ではアナログ方式で、遠距離ではデジタル方式でそれぞれ異なる位置での監視が可能となる。
【0026】
また、既設置された受信装置の種類に関係なく360度カメラの接続が可能であり、既存に設置された映像受信装置を他の方式の映像受信装置に(例えば、アナログ方式の装置をデジタル方式の装置に、または、デジタル方式の装置をアナログ方式の装置に)交換しても、カメラを交換することなく、すぐに360度映像を伝送することができるため、現場での設置に便利であり、これにより運用コストを削減することができる。
【0027】
また、アナログ方式の場合でも、デジタル方式のカメラが提供する全ての機能を提供することができ、映像の変換、結合、分割などの機能と人工知能による映像の分析及び認識技術をもカメラ端で実行した後、アナログ方式で伝送することができ、特に、デジタル360度映像監視カメラが提供する各種デワープ映像や分割映像を、アナログ出力でも同様に供給できるように実現することができる。
【0028】
また、アナログ映像受信装置で別途処理を行うことなく、カメラ端で各種デジタルカメラの機能を実行することができ、これによりアナログ映像受信装置での映像処理及び変換による負荷を最小限に抑えることができ、映像品質の自動制御により、伝送速度の特性変化や劣悪な伝送環境の場合でも、ユーザー側で別途分析や判断することなく、適切な映像を自動的に生成して伝送することができる。
【0029】
また、電源と映像信号線を結合したPoE、PoC方式を適用することで、カメラをシンプルかつ簡単に設置、運用することができ、これにより、電源線と通信線を個別に構成することなく、1本のイーサネット回線でデジタル映像受信装置と接続可能であり、1本の同軸線でアナログ映像受信装置と接続可能であり、その結果、システムの接続構成を簡略化し、設置の利便性を確保することができる。
【図面の簡単な説明】
【0030】
【
図1】本発明によるハイブリッド360度映像監視カメラと外部の映像受信装置との信号送受信関係を示す図である。
【
図2】本発明によるハイブリッド360度映像監視カメラのシステム構成を概略的に示す図である。
【
図3】本発明によるハイブリッド360度映像監視カメラを用いた映像処理方法の実行過程を示すフローチャートである。
【発明を実施するための形態】
【0031】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
【0032】
図1は、本発明の実施形態によるハイブリッド360度映像監視カメラと外部の映像受信装置との信号送受信関係を示す図である。
【0033】
図1を参照すると、本発明によるハイブリッド360度映像監視カメラ200は、PoEインターフェース部(後述)及びイーサネットベースのIPネットワークを介して外部のデジタル映像受信装置110又はWeb/アプリ(Web/App)プログラム130と接続され、PoCインターフェース部(後述)及び同軸ケーブルを介してアナログ映像受信装置120と接続される。
【0034】
デジタル映像受信装置110は、ハイブリッド360度映像監視カメラ200からデジタル信号を受信して映像をユーザーに提供し、双方向通信によりカメラの情報を取得したり設定したりすることができる。アナログ映像受信装置120は、ハイブリッド360度映像監視カメラ200からアナログ信号を受信して映像をユーザーに提供し、同様に双方向通信によりカメラの情報を取得したり設定したりすることができる。
【0035】
デジタル映像受信装置110はIPパケットを介して映像と制御情報を送受信し、アナログ映像受信装置120は同軸ケーブルを介してアナログ映像信号を受信し、UTC(up the coax)方式により制御情報を送受信する。
【0036】
ハイブリッド360度映像監視カメラ200は、それぞれ別の制御線なしで一つの線で映像情報と制御情報を伝達することができ、ハイブリッドカメラのPoE、PoCインターフェースを介して電源を供給される。このように、映像と制御情報、電源の供給がデジタル方式とアナログ方式ともに1本のケーブルで構成されるため、システム構成及び接続が単純化される。
【0037】
デジタル映像受信装置110とアナログ映像受信装置120は、別個の装置として実現されてもよいし、一体型の装置として実現されてもよい。デジタル制御装置とデジタル映像受信装置110は、NVR(Network Video Recorder、ネットワークビデオレコーダ)の形態で実現されてもよく、デジタル制御装置とアナログ映像受信装置120は、DVR(Digital Video Recorder、デジタルビデオレコーダ)の形態で実現されてもよい。
【0038】
ハイブリッド360度映像監視カメラ200は、デジタル方式やアナログ方式でそれぞれ接続可能であり、一方の方式または両方の方式で接続することも可能である。現場ではアナログ方式で専用同軸ケーブルを介して映像監視を行い、遠隔地ではデジタル方式で映像監視を行うことができ、様々なタイプのシステム構成をサポートする柔軟性を提供することができる。
【0039】
図2は、本発明の実施形態によるハイブリッド360度映像監視カメラのシステム構成を概略的に示す図である。
【0040】
図2を参照すると、本発明によるハイブリッド360度映像監視カメラ200は、カメラモジュール210と、メインボード220と、アナログ処理ボード230と、PoEインターフェース部240と、PoCインターフェース部250と、電源部260とを含んで構成される。ここで、本発明で言及される360度映像監視カメラは全方向カメラであり、その他に120度以上の広い画角を有するカメラも本発明の範疇に含まれ得る。
【0041】
カメラモジュール210は、昼夜を問わず周辺の物体の360度映像を取得し、メインボード220に伝達する。このようなカメラモジュール210は、魚眼レンズ、LED、イメージセンサーなどで構成され、昼夜を問わず360度映像を取得し、取得した映像をメインボード220に伝達する。
【0042】
メインボード220は、専用クライアントプログラムやWeb/アプリプログラムの接続によるパケット情報交換により前記カメラモジュール210の設定及び制御処理を行い、前記カメラモジュール210から360度オリジナル(original)映像を受信して外部のデジタル映像受信装置110及びアナログ映像受信装置120に伝達する映像を処理及び生成し、前記360度オリジナル映像を分析して人や物、文字やイメージを認識及び処理することで対応する情報を表出し、システム全体のインターフェース処理とシステムの情報、ユーザー情報、または映像の記憶のためのセキュリティ及び暗号化情報を記憶及び管理する。ここで、前記カメラモジュール210とメインボード220は、MIPI(Mobile Industry Processor Interface)/CSI(Camera Serial interface)信号を用いて互いに映像信号を送受信するように構成され得る。
【0043】
ここで、前記メインボード220は、制御処理部221と、映像処理部222と、AI(人工知能)処理部223と、ユーザーインターフェース部224と、システム管理部225とを含んで構成され得る。
【0044】
制御処理部221は、専用クライアントプログラムやWeb/アプリプログラムの接続によるパケット情報交換により前記カメラモジュール210の設定及び制御を行い、後述するアナログ処理ボード230から伝達される制御情報の処理を処理し、カメラモジュール210及びユーザー情報の遠隔設定及び制御を行う。このような制御処理部221のデジタル制御装置がカメラの情報を取得したりカメラを設定及び制御したりする機能は、クライアントプログラム、Web/アプリプログラムなどにより実現することができる。
【0045】
映像処理部222は、前記カメラモジュール210から360度オリジナル(original)映像を受信して、前記デジタル映像受信装置110及びアナログ映像受信装置120に伝達する映像を処理及び生成し、前記制御処理部221に入力されたイメージ及び映像ストリームに関する設定と制御コマンドを受信して、前記カメラモジュール210及びシステム関連機能を調整する。また、制御処理部221を介して記憶方式や記憶時間などを調整する。
【0046】
ここで、このような映像処理部222は、フレーム速度の変化を含む映像信号の形態変換、H.264、H.265等のコーデック(CODEC)を用いたデジタル映像への圧縮、デワープ(Dewarp)等の映像の変換、映像の分割、映像の結合、映像の抽出等の映像処理を行い得る。また、映像処理部222は、360度映像の中から一定角度の映像を抽出したり複数の角度の映像を組み合わせたりして様々なビュー(view)を作成するなど、映像の抽出及び組み合わせの処理を行い得る。また、映像処理部222は、デジタル映像受信装置110とアナログ映像受信装置120に伝達する映像を生成する際に、マルチストリーミングにより、オリジナル映像を複数の異なる形態(例えば、信号形態、画面サイズ及び伝送フレーム数)の映像ストリームとして同時に生成し得る。すなわち、オリジナル映像、変換映像、ビュー映像とこれらに対して様々な圧縮方式や伝送フレームが適用された変形ストリームなどが生成され得る。複数で生成されたストリームは、ユーザーの選択により、ライブ再生用、記憶用、伝送用などにそれぞれ使用することができる。
【0047】
このとき、デジタル映像ストリームはデジタル映像受信装置110、Web/アプリプログラム130に送信され、アナログ用ストリームはアナログ処理ボード230に伝達され、記憶用ストリームは映像記憶の目的で使用される。
【0048】
また、映像処理部222は、映像記憶機能により、カメラに内蔵または着脱可能な記憶媒体(例えば、メモリ、SDカードなど)にオリジナル映像及び処理済み映像を記憶することができる。
【0049】
さらに、上記のような映像処理部222及びアナログ処理ボード230は、MIPI(Mobile Industry Processor Interface)/CSI(Camera Serial interface)信号または一般標準アナログ方式のCCIR(Consultative Committee on International Radio)またはEIA(Electronic Industries Association)信号を用いて互いに映像信号を送受信するように構成され得る。
【0050】
AI(人工知能)処理部223は、前記360度のオリジナル映像を分析して人や物、文字やイメージを認識及び処理することで対応する情報を表出する。すなわち、AI(人工知能)処理部223は、映像の分析及び認識を処理して、既存のアナログ方式のように映像を伝送してアナログ映像受信装置で分析するのではなく、カメラ端で映像分析により人や物の認識、物の形態や動作の認識、文字やイメージの認識を処理することにより現場で直ちに情報を表出することができる。また、AI(人工知能)処理部223は、後述するセンサーモジュール280、制御モジュール290等により認識された情報を可視化することができ、カメラ端で直ちに認識処理するため、既存の方式とは異なり、リアルタイム性を提供し、受信装置の負荷を最小限に抑えることができる。
【0051】
ユーザーインターフェース部224は、前記カメラモジュール210、制御処理部221、映像処理部222及びAI(人工知能)処理部223とモジュール(カメラモジュール210、後述するオーディオモジュール270、センサーモジュール280、及び制御モジュール290)の動作状態、通信状態、設定値などを確認し設定する機能を実行する。このようなユーザーインターフェース部224は、シリアル通信を通じてメインボード220の機能を監視及び設定する機能を実行する。
【0052】
システム管理部225は、カメラシステム全体のインターフェース処理とカメラシステムの情報、ユーザー情報、または映像の記憶のためのセキュリティ及び暗号化情報を記憶及び管理する。このようなシステム管理部225は、各処理部との通信により状態情報を取得及び管理する。また、後述するオーディオモジュール270、センサーモジュール280、制御モジュール290の情報を送受信処理する。
【0053】
一方、アナログ処理ボード230は、前記メインボード220から処理済み映像を受信してアナログ信号に変換して送信し、アナログカメラの制御情報を送受信及び処理する。ここで、このようなアナログ処理ボード230は、前記メインボード220の映像処理部222からデジタル信号又はアナログ信号を受信し、アナログ映像信号に変換して送信するアナログ映像送信部231と、前記アナログ映像受信装置120のDVR(Digital Video Recorder)とカメラ(すなわち、本発明のハイブリッド360度映像監視カメラ)とを接続する際、別途の制御線を設けることなく同軸ケーブルのみでカメラを制御できるUTC(up the coax)通信方法を用いてカメラの制御情報を送受信して処理するデータ処理部232と、を含んで構成され得る。これにより、既存のデジタル方式と同様に双方向カメラの制御を行い得る。また、アナログカメラの映像及びイメージ設定、伝送方式の制御などを行い得る。
【0054】
PoEインターフェース部240は、単一のイーサネット(ethernet)回線に基づいて、前記メインボード220からのデジタル信号を前記デジタル映像受信装置110に伝送したり、デジタル映像受信装置110からのデジタル信号を前記メインボード220に伝送したりし、PoE(Power over Ethernet)による電源部260(後述)への電源供給を処理する。
【0055】
PoCインターフェース部250は、単一の同軸ケーブルに基づいて、前記アナログ処理ボード230からのアナログ映像信号を前記アナログ映像受信装置120に伝送したり、アナログ映像受信装置120からのアナログ信号又はデジタル信号を前記アナログ処理ボード230に伝送したりし、PoC(Power over Coaxial)による電源部260への電源供給を処理する。
【0056】
以上のような二つのインターフェースは、それぞれ1本の回線で通信と電源供給を処理するため、カメラの接続及び構成を簡略化し、設置を便利にする構造となっている。
【0057】
電源部260は、前記PoEインターフェース部240又はPoCインターフェース部250から電源供給を受けた後、前記カメラモジュール210、メインボード220及びアナログ処理ボード230の駆動用電源に変換して、カメラモジュール210、メインボード220及びアナログ処理ボード230にそれぞれ駆動電源を供給する。このような電源部260は、接続された装置からのPoEやPoCによる電源供給がない場合に、別途の電源供給装置から電源供給されるように構成されている。
【0058】
以上のような構成を有する本発明によるハイブリッド360度映像監視カメラ200は、好ましくは、前記メインボード220における映像処理及び分析に関連してオーディオ信号の入出力を処理するオーディオモジュール270をさらに含み得る。オーディオモジュール270は、オーディオ信号の入力処理とスピーカーを介したオーディオ出力を処理する。
【0059】
また、各種IoT(Internet of Things)センサー情報の連携により、周辺物体の情報を収集し、出力を処理するセンサーモジュール280をさらに含み得る。
【0060】
また、スイッチ及びリレーの制御により周辺のIoT機器の動作を制御する制御モジュール290をさらに含み得る。
【0061】
以上説明したような本発明によるハイブリッド360度映像監視カメラは、360度カメラがアナログ出力をサポートするカメラであり、その機能は、360度デジタルカメラのみがサポートできる機能(例えば、映像の変形、部分画面伝送、AI適用など)をすべて備えているということが最も大きな特徴であり、場合によってはデジタル出力部分を省略することもある。すなわち、デジタル出力及びアナログ出力の両方をサポートするハイブリッドタイプであってもよいし、アナログ出力のみをサポートするタイプであってもよい。
【0062】
以下、以上のような構成を有する本発明によるハイブリッド360度映像監視カメラを用いた映像処理方法について説明する。
【0063】
図3は、本発明の実施形態によるハイブリッド360度映像監視カメラを用いた映像処理方法の実行過程を示すフローチャートである。
【0064】
図3を参照すると、本発明によるハイブリッド360度映像監視カメラを用いた映像処理方法において、まず、メインボード220の映像処理部222は、カメラモジュール210から映像情報を取得する(ステップS301)。
【0065】
その後、映像処理部222は、取得した360度オリジナル映像及び変換映像から映像ストリームを生成する(ステップS302~S304)。すなわち、映像処理部222は、映像情報を取得した後、オリジナル映像だけでなく、デワープ処理等による映像変換、変換後の映像の抽出、複数の抽出映像の組み合わせによってビューを生成し、その後、それぞれの目的に応じた映像ストリームを生成する。このとき、映像ストリーム(i=1,...,n)は、デジタル装置の伝送用、アナログ装置の伝送用、記憶用などに分けられ、それぞれの目的に応じた映像、あるいはユーザー側の初期設定値に応じた映像が生成される。
【0066】
このようにして、映像処理部222により映像ストリームが生成されると、AI(人工知能)処理部223は、生成された前記映像ストリームの情報を分析してAI情報を生成する(ステップS305、S306)。
【0067】
その後、AI(人工知能)処理部223は、前記生成されたAI情報を前記映像ストリームに結合して、AI情報付き映像ストリーム(AI情報が結合された映像ストリーム)を生成する(ステップS307)。このとき、AI情報付き映像ストリームを生成してもよいし、別途の映像情報を生成してもよい。
【0068】
その次、映像処理部222は、前記生成されたAI情報付き映像ストリーム(i)をデジタル映像受信装置110又はアナログ映像受信装置120側に伝送する(ステップS308)。
【0069】
次いで、制御処理部221は、前記映像ストリームが動作設定状態であるか否かを判定する(ステップS312)。
【0070】
前記ステップS312の判定において、制御処理部221は、前記映像ストリームが動作設定状態である場合、プロセスを前記ステップS304に戻し、前記映像ストリームが動作設定状態でない場合、プロセスを終了する。ここで、この点についてさらに説明する。
【0071】
映像ストリーム(ライブ監視、伝送または記憶のために作成される動画)は、基本映像ストリーム(i=1)と共に複数の映像ストリームで構成されており、同時に生成される。映像ストリーム1,2,...,nは、それぞれ異なる形態(オリジナル映像、デワープ処理等により変形された映像、ビューに組み合わせられた映像などの映像の形態が異なっていたり、映像の圧縮方式/伝送フレーム数/サイズ等の映像情報生成技法が異なっていたりするもの)で同時に生成され得る。例えば、ストリーム1はH.264でオリジナル映像を生成し、ストリーム2はH.265でデワープ映像を生成し、ストリーム3はH.264でビュー映像を生成し得る。これらのストリームの特性は、ユーザー側(映像受信装置側)の設定により決定される。
【0072】
ユーザーは、目的に応じてストリームを選択することができる。例えば、
図1において、ユーザーは、Web/アプリプログラム130がストリーム1を受信し、デジタル映像受信装置110がストリーム1とストリーム2を受信し、アナログ映像受信装置120がストリーム3を受信することを選択することができる。
【0073】
基本映像ストリーム(i=1)以外の映像ストリーム(i=2,...,n)は、ユーザーがストリームの動作を選択すると(すなわち、映像ストリームが動作設定状態にある場合)生成され、選択しないと(すなわち、映像ストリームが動作設定状態にない場合)生成されない。例えば、デジタル映像受信装置110を使用しない場合、ストリーム2は生成されなくなる。すなわち、映像ストリーム1~nは、ユーザー(映像受信装置)が使用を終了するまで(換言すれば、映像受信装置が動作を停止するまで)継続して生成される。あるいは、ユーザーの設定により当該機能(デジタル映像受信又はアナログ映像受信)を使用しない場合、映像処理部222は、当該ストリームの生成を停止することになる。
【0074】
ここで、好ましくは、前記ステップS308では、映像処理部222が、前記生成されたAI情報付き映像ストリームiをデジタル映像受信装置110又はアナログ映像受信装置120側に伝送するが、映像処理部222が、一定周期Tiで映像ストリーム伝送量と受信側の映像ストリーム受信量とをそれぞれ測定するステップ(S309)と、映像処理部222が、前記映像ストリーム伝送量と映像ストリーム受信量との差が所定の設定値Aよりも大きいか否かを判定するステップ(S310)と、前記ステップS310の判定において、前記映像ストリーム伝送量と映像ストリーム受信量との差が設定値Aよりも大きい場合、映像処理部222が映像伝送形態を変更制御するステップ(S311)と、をさらに含み得る。
【0075】
このとき、前記ステップS309では、映像処理部222が、一定周期Tiで映像ストリーム伝送量と受信側の映像ストリーム受信量とをそれぞれ測定する際に、映像ストリーム送信側(映像処理部)が、映像ストリーム受信側から一定周期Tiの間に受信された映像情報量を受け取り、周期Tiにおける映像情報の伝送量を測定し得る。
【0076】
また、前記ステップS311では、映像処理部222が映像伝送形態を変更制御する際に、映像のイメージのサイズや映像の伝送速度を調整することにより、映像伝送形態を変更制御し得る。
【0077】
ここで、上記に関連してさらに説明する。
【0078】
映像の生成量(伝送量)と受信側の受信量との間に差が発生すると、可変圧縮方式(VBR)の場合には、伝送量を調整することで自動的に調整できるが、固定圧縮方式(CBR)やアナログ伝送の場合には、映像が壊れたり途切れたりする現象が発生する。このような現象を最小限に抑えるために、本発明の映像処理方法では、映像伝送量と映像受信量との差を確認して自動的に映像の品質を制御する。これは、映像処理部222と受信装置側との間のデータ送受信情報量を交換して行われ、送信側が、受信側から周期Tiの間に受信された映像情報量を受け取り、周期Tiにおける映像情報の伝送量を測定することで実現される。これにより、映像ストリームのうち伝送に使用された映像ストリームiの生成された映像情報量と映像受信量との差を算出することができ、この差分値が一定レベルAを超えると、次の映像生成時に伝送映像の形態を変更する情報として使用される。映像ストリームiは、映像のイメージのサイズを調整する方法や映像の伝送速度を調整する方法の2つの方法で映像の伝送形態を制御することができる。カメラ映像の特性は、初期にユーザーが選択し、映像の画質を重視する場合には映像のサイズを調整することで、映像の動き特性を重視する場合には映像の伝送速度(fps)を調整することで制御する。映像の伝送量と受信量が一定レベルを超えた場合、映像ストリームの特性が画質中心であれば、映像解像度(イメージの大きさ)を維持したまま映像伝送速度を調整し、映像ストリームの特性が動き中心であれば、映像伝送速度は維持したまま映像解像度を調整する。各映像ストリームiは、映像の伝送媒体や使用目的が異なるため、各々の送受信量を測定することで、上記の制御を行う。
【0079】
以上の説明したように、本発明によるハイブリッド360度映像監視カメラ及びそれを用いた映像処理方法は、デジタル出力及びアナログ出力を併せ持つハイブリッド360度映像監視カメラを導入することにより、デジタル方式の映像受信装置又はアナログ方式の映像受信装置に関係なく接続可能であり、デジタル方式とアナログ方式の両方を同時に接続可能であるため、近距離ではアナログ方式で、遠距離ではデジタル方式でそれぞれ異なる位置での監視が可能となる。
【0080】
また、既設置された受信装置の種類に関係なく360度カメラの接続が可能であり、既存に設置された映像受信装置を他の方式の映像受信装置に(例えば、アナログ方式の装置をデジタル方式の装置に、または、デジタル方式の装置をアナログ方式の装置に)交換しても、カメラを交換することなく、すぐに360度映像を伝送することができるため、現場での設置に便利であり、これにより運用コストを削減することができる。
【0081】
また、アナログ方式の場合でも、デジタル方式のカメラが提供する全ての機能を提供することができ、映像の変換、結合、分割などの機能と人工知能による映像の分析及び認識技術をもカメラ端で実行した後、アナログ方式で伝送することができ、特に、デジタル360度映像監視カメラが提供する各種デワープ映像や分割映像を、アナログ出力でも同様に供給できるように実現することができる。
【0082】
また、アナログ映像受信装置で別途処理を行うことなく、カメラ端で各種デジタルカメラの機能を実行することができ、これによりアナログ映像受信装置での映像処理及び変換による負荷を最小限に抑えることができ、映像品質の自動制御により、伝送速度の特性変化や劣悪な伝送環境の場合でも、ユーザー側で別途分析や判断することなく、適切な映像を自動的に生成して伝送することができる。
【0083】
また、電源と映像信号線を結合したPoE、PoC方式を適用することで、カメラをシンプルかつ簡単に設置、運用することができ、これにより、電源線と通信線を個別に構成することなく、1本のイーサネット回線でデジタル映像受信装置と接続可能であり、1本の同軸線でアナログ映像受信装置と接続可能であり、その結果、システムの接続構成を簡略化し、設置の利便性を確保することができる。
【符号の説明】
【0084】
110 デジタル映像受信装置
120 アナログ映像受信装置
200 (本発明)ハイブリッド360度映像監視カメラ
210 カメラモジュール
220 メインボード
221 制御処理部
222 映像処理部
223 AI処理部
224 ユーザーインターフェース部
225 システム管理部
230 アナログ処理ボード
231 アナログ映像送信部
232 データ処理部
240 PoEインターフェース部
250 PoCインターフェース部
260 電源部
270 オーディオモジュール
280 センサーモジュール
290 制御モジュール