IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7562301画像処理装置、画像処理方法およびプログラム
<>
  • 特許-画像処理装置、画像処理方法およびプログラム 図1
  • 特許-画像処理装置、画像処理方法およびプログラム 図2
  • 特許-画像処理装置、画像処理方法およびプログラム 図3
  • 特許-画像処理装置、画像処理方法およびプログラム 図4
  • 特許-画像処理装置、画像処理方法およびプログラム 図5
  • 特許-画像処理装置、画像処理方法およびプログラム 図6
  • 特許-画像処理装置、画像処理方法およびプログラム 図7
  • 特許-画像処理装置、画像処理方法およびプログラム 図8
  • 特許-画像処理装置、画像処理方法およびプログラム 図9
  • 特許-画像処理装置、画像処理方法およびプログラム 図10
  • 特許-画像処理装置、画像処理方法およびプログラム 図11
  • 特許-画像処理装置、画像処理方法およびプログラム 図12
  • 特許-画像処理装置、画像処理方法およびプログラム 図13
  • 特許-画像処理装置、画像処理方法およびプログラム 図14
  • 特許-画像処理装置、画像処理方法およびプログラム 図15
  • 特許-画像処理装置、画像処理方法およびプログラム 図16
  • 特許-画像処理装置、画像処理方法およびプログラム 図17
  • 特許-画像処理装置、画像処理方法およびプログラム 図18
  • 特許-画像処理装置、画像処理方法およびプログラム 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240930BHJP
   G09G 5/38 20060101ALI20240930BHJP
   G09G 5/377 20060101ALI20240930BHJP
   H04N 21/431 20110101ALI20240930BHJP
   H04N 21/442 20110101ALI20240930BHJP
   H04N 21/488 20110101ALI20240930BHJP
【FI】
H04N7/18 D
G09G5/38 100
G09G5/377 100
H04N21/431
H04N21/442
H04N21/488
H04N7/18 K
【請求項の数】 13
(21)【出願番号】P 2020101485
(22)【出願日】2020-06-11
(65)【公開番号】P2021197594
(43)【公開日】2021-12-27
【審査請求日】2023-06-05
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】安達 啓史
【審査官】塚本 丈二
(56)【参考文献】
【文献】特開平04-192895(JP,A)
【文献】特開2011-234237(JP,A)
【文献】特開2007-199311(JP,A)
【文献】中国特許出願公開第102300106(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 21/00-21/858
G09G 5/00-5/42
G06T 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
画像に対する解析処理が行われる処理範囲を識別する第1の識別手段と、
前記画像に対する解析処理が行われる前に前記画像に重畳される重畳情報、を識別する第2の識別手段と、
前記第1の識別手段により識別される前記処理範囲と、前記第2の識別手段により識別される前記重畳情報とが重なる場合、ユーザに対し前記重畳情報が前記解析処理に影響を与えることを示す通知を出力する処理を行う処理手段と
を有することを特徴とする画像処理装置。
【請求項2】
ユーザによる指示を受信する受信手段
前記処理手段は、前記通知を出力した後に前記受信手段により受信される指示に基づいて、前記重畳情報に対し、削除および描画位置の変更のいずれかの処理を行うことを特徴とする請求項に記載の画像処理装置。
【請求項3】
画像に対する解析処理が行われる処理範囲を識別する第1の識別手段と、
前記画像に対する解析処理が行われる前に前記画像に重畳される重畳情報、を識別する第2の識別手段と、
前記第1の識別手段により識別される前記処理範囲と、前記第2の識別手段により識別される前記重畳情報とが重なる場合、前記画像における前記重畳情報を削除する処理を行う処理手段と、
を有することを特徴とする画像処理装置。
【請求項4】
画像に対する解析処理が行われる処理範囲を識別する第1の識別手段と、
前記画像に対する解析処理が行われる前に前記画像に重畳される重畳情報、を識別する第2の識別手段と、
前記第1の識別手段により識別される前記処理範囲と、前記第2の識別手段により識別される前記重畳情報とが重なる場合、前記画像における前記重畳情報の描画位置を変更する処理を行う処理手段と、
を有することを特徴とする画像処理装置。
【請求項5】
画像に対する解析処理が行われる処理範囲を識別する第1の識別手段と、
前記画像に対する解析処理が行われる前に前記画像に重畳される重畳情報、を識別する第2の識別手段と、
前記第1の識別手段により識別される前記処理範囲と、前記第2の識別手段により識別される前記重畳情報とが重なる場合、前記第2の識別手段により識別される重畳情報を前記画像に重畳する重畳処理を行った第1機器に対し、前記重畳処理を行わないように指示することにより、前記重畳処理が行われなかった画像に対して前記解析処理が実行され、
前記解析処理の結果を取得する第2機器に対し、前記第2の識別手段により識別される重畳情報と同じ内容の情報を前記解析処理が実行済みの画像に重畳するように指示することを特徴とする画像処理装置。
【請求項6】
前記重畳情報は、前記画像の撮像時間、撮像場所、前記画像を撮像した撮像装置の名称、および、ロゴを含む画像情報のうち少なくともいずれかを含むことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
【請求項7】
前記解析処理は、画像における物体検出、動体検出、人体検出、顔検出、物体追尾、および、異常検出のうち少なくともいずれかを含むことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
【請求項8】
前記解析処理を実行する解析手段を有することを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
【請求項9】
画像に対する解析処理が行われる処理範囲を識別する第1の識別工程と、
前記画像に対する解析処理が行われる前に前記画像に重畳される重畳情報、を識別する第2の識別工程と、
前記第1の識別工程において識別される前記処理範囲と、前記第2の識別工程において識別される前記重畳情報とが重なる場合、ユーザに対し前記重畳情報が前記解析処理に影響を与えることを示す通知を出力する処理を行う処理工程と
を有することを特徴とする画像処理方法。
【請求項10】
ユーザによる指示を受信する受信工程を有し、
前記処理工程において、前記通知を出力した後に前記受信工程において受信される指示に基づいて、前記重畳情報に対し、削除および描画位置の変更のいずれか処理が行われる
ことを特徴とする請求項に記載の画像処理方法。
【請求項11】
画像に対する解析処理が行われる処理範囲を識別する第1の識別工程と、
前記画像に対する解析処理が行われる前に前記画像に重畳される重畳情報、を識別する第2の識別工程と、
前記第1の識別工程において識別される前記処理範囲と、前記第2の識別工程において識別される前記重畳情報とが重なる場合、前記画像における前記重畳情報を削除する処理を行う処理工程と、
有することを特徴とする画像処理方法。
【請求項12】
画像に対する解析処理が行われる処理範囲を識別する第1の識別工程と、
前記画像に対する解析処理が行われる前に前記画像に重畳される重畳情報、を識別する第2の識別工程と、
前記第1の識別工程において識別される前記処理範囲と、前記第2の識別工程において識別される前記重畳情報とが重なる場合、前記画像における前記重畳情報の描画位置を変更する処理を行う処理工程と、
有することを特徴とする画像処理方法。
【請求項13】
コンピュータを、請求項1乃至のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
監視カメラシステムにおいて、ネットワークカメラで撮像した画像に対して画像解析・認識処理を行うことで、画像中の物体および人物の検出・認識、人数カウント、侵入検知およびいたずら検知などを行う画像処理技術が知られている。
【0003】
このような監視カメラシステムでは、カメラで撮像した画像を録画サーバで保存し、解析サーバは、カメラまたは録画サーバから画像を受信し、画像解析・認識処理を行う。そして、監視カメラシステムは、解析サーバの処理結果を処理対象画像上に重畳して閲覧端末で表示する。
【0004】
また、このような監視カメラシステムを構成する機器は、画像上に時刻およびカメラ名などのテキスト情報やロゴなどの画像情報を重畳するOSD(オンスクリーンディスプレイ)機能を有することがある。この場合、閲覧者は、監視カメラシステムで画像解析処理された画像を閲覧端末上で確認する際に、画像処理結果および時刻・カメラ名などの追加情報が撮像画像上に重畳された画像を見ることになる。なお、ここでのOSDは、撮像画像に追加で重畳された画像情報の表示を示すものとし、時刻・カメラ名の表示などの他に画像解析処理結果等の表示も含むものとする。
【0005】
特許文献1では、OSD情報を表示する際に、表示する画像から人物の顔を認識し、顔の表示エリアを検知する技術が公開されている。この技術では、顔の表示エリアとOSD情報の表示位置とが重なる場合、そのOSD情報が顔の表示エリアと重ならないようにOSD情報の表示位置を移動させ、OSD情報によって画像が見にくくなることを抑制する。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2007-199311号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、録画サーバで記録されている画像はカメラのOSD情報が上書きされた状態で録画されている場合がある。このようなOSD情報が重畳された画像を用いて解析サーバで画像処理を行った場合、解析内容によっては解析結果に影響を与えることがあった。
【0008】
また、既に運用されているネットワークカメラシステムへ画像処理機能を追加する場合、表示画面上には既に何らかのOSDが重畳されていることがある。しかし、画像解析設定を行う設定者にとっては、OSD表示が解析精度に影響を与える場合があることに設定時に気付くことは困難であった。
本発明が解決しようとする課題は、画像に重畳される重畳情報が画像解析に及ぼす影響を低減することである。
【課題を解決するための手段】
【0009】
本発明の1つの態様による画像処理装置は、画像に対する解析処理が行われる処理範囲を識別する第1の識別手段と、前記画像に対する解析処理が行われる前に前記画像に重畳される重畳情報、を識別する第2の識別手段と、前記第1の識別手段により識別される前記処理範囲と、前記第2の識別手段により識別される前記重畳情報とが重なる場合、ユーザに対し前記重畳情報が前記解析処理に影響を与えることを示す通知を出力する処理を行う処理手段とを備える。
【図面の簡単な説明】
【0010】
図1】実施形態に係る画像処理システムの構成例を示すブロック図。
図2図1のネットワークカメラのハードウェア構成例を示すブロック図。
図3図1の画像解析サーバの機能構成例を示すブロック図。
図4図1のクライアントPCの機能構成例を示すブロック図。
図5】実施形態に係る解析設定テーブルの一例を示す図。
図6】実施形態に係る重畳情報管理テーブルの一例を示す図。
図7】実施形態に係る機器管理テーブルの一例を示す図。
図8】実施形態に係る画面表示の一例を説明する図。
図9】実施形態に係るウインドウ表示の一例を示す図。
図10】実施形態に係るウインドウ表示のその他の例を示す図。
図11】実施形態に係るウインドウ表示のその他の例を示す図。
図12】実施形態に係るウインドウ表示のその他の例を示す図。
図13】実施形態に係る画面表示の一例を示す図。
図14】実施形態に係る画面表示のその他の例を示す図。
図15】実施形態に係る画面表示のその他の例を示す図。
図16】実施形態に係るOSD表示の変更処理方法を示すブロック図。
図17】実施形態に係る重畳情報管理情報テーブルの変更例を示す図。
図18図3の画像解析サーバの画像解析処理の一例を示すフローチャート。
図19図3の画像解析サーバの解析設定変更処理の一例を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件(使用条件、使用環境等)によって適宜修正または変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。
【0012】
図1は、実施形態に係る画像処理システムの構成例を示すブロック図である。
図1において、ネットワークカメラシステム10は、少なくとも1つのネットワークカメラ12、16、画像録画サーバ13、画像解析サーバ14およびクライアントパーソナルコンピュータ(PC)15を備える。ネットワークカメラ12、16、画像録画サーバ13、画像解析サーバ14およびクライアントPC15は、ネットワーク11を介して接続され、相互に情報の授受を行う。
【0013】
ネットワーク11は、例えば、Ethernet(登録商標)等の通信規格に準拠する有線LAN(Local Area Network)等の有線ネットワークであってよい。あるいは、ネットワーク11は、無線ネットワークで構成されてもよい。この無線ネットワークは、Bluetooth(登録商標)、ZigBee(登録商標)またはUWB(Ultra Wide Band)等の無線PAN(Personal Area Network)を含んでもよい。また、Wi-Fi(Wireless Fidelity)(登録商標)等の無線LAN(Local Area Network)またはWiMAX(登録商標)等の無線MAN(Metropolitan Area Network)を含んでもよい。さらに、LTE/3G等の無線WAN(Wide Area Network)を含んでもよい。ネットワーク11は、有線ネットワークと無線ネットワークとが混在してもよい。なお、ネットワーク11は、各機器を相互に通信可能に接続できればよく、通信の規格、規模および構成は上記に限定されない。
【0014】
各ネットワークカメラ(以下、単に「カメラ」とも言う。)12、16は、所定の画角で被写体を撮像する監視カメラ等の撮像装置である。各カメラ12、16は、ネットワーク11を介し、撮像画像(以下、単に「画像」とも言う。)を画像録画サーバ13、画像解析サーバ14およびクライアントPC15へ送信することができる。なお、図1では、2つのカメラ12、16を図示したが、ネットワークカメラシステム10を構成するカメラの数は1つ以上であればよく、図示される数に限定されない。
【0015】
画像録画サーバ13、画像解析サーバ14およびクライアントPC15は、例えば、同様のハードウェア構成を備えるパーソナルコンピュータ等の情報処理装置で構成されてもよい。これら情報処理装置の全部または一部は、例えば、ネットワークカメラシステム10を介して広域を監視する監視員等のユーザが操作可能なインタフェースを備える。
なお、図1では、画像録画サーバ13、画像解析サーバ14およびクライアントPC15の3つの情報処理装置を図示したが、画像処理システム1を構成する情報処理装置の数は、図示される数に限定されない。図1の複数の情報処理装置の機能を1つの情報処理装置に実装してもよく、画像録画サーバ13、画像解析サーバ14およびクライアントPC15の機能をそれぞれ複数の情報処理装置に適宜分散させて実装してもよい。
【0016】
画像録画サーバ13は、ネットワークカメラ12から送信される画像データを受信し、画像録画サーバ13がアクセス可能な内部または外部の記憶装置に画像データを格納する。
また、画像録画サーバ13は、画像解析サーバ14およびクライアントPC15から送信される各種要求およびコマンドを受信し、記憶装置に記憶された画像データを要求された画像解析サーバ14およびクライアントPC15等へ送信する。
【0017】
画像解析サーバ14は、画像録画サーバ13から受信した画像の解析処理を実行する。例えば、画像解析サーバ14は、画像録画サーバ13から受信した画像を解析して物体を検出する。この画像解析処理は、画像からの物体検出、動体検出、人体検出、顔検出、物体追尾および異常検出等の少なくとも1つを含む。本実施形態における画像解析処理のフローは、図18および図19を参照して後述する。
【0018】
画像解析処理の処理結果は、物体の検出結果の情報を含み、画像解析サーバ14がアクセス可能な内部または外部の記憶装置に記憶される。画像解析サーバ14は、クライアントPC15からの要求に応答して、記憶装置に記憶された画像解析結果を適宜送信する。なお、画像録画サーバ13は、ネットワークカメラ1で撮像された画像を録画保存し、画像解析サーバ14は、画像録画サーバ13から画像データを受信してもよいし、画像解析サーバ14は、各カメラ12、16から画像データを直接受信してもよい。
【0019】
クライアントPC15は、監視員等のユーザからの各種要求およびコマンドを受け付けて画像解析サーバ14へ送信し、画像解析サーバ14から送信される画像解析結果を受信して取得する。また、クライアントPC15は、ユーザからの各種要求およびコマンドを受け付けて、画像録画サーバ13に対して画像録画制御の指示を送信する。クライアントPC15の機能は、例えばタブレット等の可搬端末装置に実装されてよい。
クライアントPC15は、表示装置(ディスプレイ)を備え、各カメラ12、16から送信される画像データおよび画像解析サーバ14での画像解析結果等を表示装置に表示させる表示制御機能を有する。また、クライアントPC15は、画像解析サーバ14が実行する画像解析処理に関するパラメータ設定操作を行うインタフェースおよび入力機能を有する。画像解析処理に関するパラメータ設定操作は、例えば、監視対象の領域設定および各種閾値設定等である。
【0020】
また、カメラ12、16、画像録画サーバ13、画像解析サーバ14およびクライアントPC15は、重畳情報を画像上に重畳するOSD(オンスクリーンディスプレイ)機能を有する。重畳情報は、例えば、OSD機能によって画像上に重畳されるOSD情報である。OSD情報は、例えば、画像の撮像時刻、画像の撮像場所およびカメラ名などのテキスト情報と、ロゴなどの画像情報である。重畳情報は、画像解析処理結果等の情報も含む。さらに、カメラ12、画像録画サーバ13、画像解析サーバ14およびクライアントPC15は、他の機器に対し自身が画像に対し重畳しているOSD設定情報を出力する機能を有する。さらに、カメラ12、画像録画サーバ13、画像解析サーバ14およびクライアントPC15は、他の機器からのOSD設定情報の入力によるOSD設定の新規作成および変更を可能とする機能を有する。
【0021】
ここで、画像解析サーバ14は、画像の解析処理で用いるパラメータに基づいて、画像の解析に影響のある重畳情報を識別する。画像解析サーバ14は、画像の解析処理で用いるパラメータに基づいて、画像の解析に干渉する重畳情報を識別してもよい。そして、画像解析サーバ14は、画像の解析に影響のある重畳情報についての通知をクライアントPC15に行ったり、画像の解析に影響のある重畳情報についての処理を行ったりする。画像の解析に影響のある重畳情報についての処理は、例えば、画像の解析に影響があると識別された重畳情報の表示状態を、画像の解析に影響がない表示状態に変更する処理である。
【0022】
図2は、図1のネットワークカメラのハードウェア構成例を示すブロック図である。
図2において、カメラ12は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23および外部メモリ24を備える。また、カメラ12は、撮像部25、入力部26、通信I/F(InterFace)27およびシステムバス28を備える。
【0023】
CPU21は、カメラ12における動作を統括的に制御する。このとき、CPU21は、システムバス28を介し、ROM22、RAM23、外部メモリ24、撮像部25、入力部26および通信I/Fを制御する。
ROM22は、CPU21が各種処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。これら制御プログラム等は、外部メモリ24または着脱可能な記憶媒体(不図示)に記憶されていてもよい。
【0024】
RAM23は、CPU21の主メモリおよびワークエリア等として機能する。すなわち、CPU21は、各種処理の実行に際してROM22から必要なプログラム等をRAM23にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【0025】
外部メモリ24は、例えば、CPU21がプログラムを用いた処理を行う際に必要な各種データおよび各種情報等を記憶する。また、外部メモリ24は、例えば、CPU21がプログラム等を用いた処理を行うことにより得られた各種データおよび各種情報等を記憶する。外部メモリ24は、例えば、ハードディスク装置またはSSD(Solid State Drive)である。
【0026】
撮像部25は、レンズおよび撮像素子等を備える。レンズは、撮像される被写体からの入射光を撮像素子に結像するための光学レンズであり、入射光を撮像素子に集光させる。撮像素子は、画素ごとに光を電気信号に変換する。撮像素子は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)等である。
入力部26は、電源ボタンおよび操作ボタンなどを備える。カメラ12のユーザは、入力部26を介してカメラ12に指示を与えることができる。
【0027】
通信I/F27は、ネットワーク11に接続される外部装置(例えば、画像録画サーバ13、画像解析サーバ14およびクライアントPC15)と通信するためのインタフェースであり、例えば、LANインタフェースである。
システムバス28は、CPU21、ROM22、RAM23、外部メモリ24、撮像部25、入力部26および通信I/F27を通信可能に接続する。
図2に示すカメラ12の各部の機能は、CPU21がROM22もしくは外部メモリ24に記憶されたプログラムを実行することで実現される。
【0028】
なお、画像録画サーバ13、画像解析サーバ14およびクライアントPC15は、それぞれ、図2のハードウェア構成において、撮像部25に替えて、表示装置等のハードウェアを備えればよい。表示装置は、液晶ディスプレイ(LCD)等のモニタで構成されてもよい。また、画像録画サーバ13、画像解析サーバ14およびクライアントPC15は、入力部26として、キーボードおよびマウス等のポインティングデバイスを備えてもよい。ユーザは、入力部26を介し、画像録画サーバ13、画像解析サーバ14およびクライアントPC15に対してそれぞれ指示を与えることができる。
【0029】
図3は、図1の画像解析サーバの機能構成例を示すブロック図である。
図3に示す画像解析サーバ14の各機能モジュールのうち、ソフトウェアにより実現される機能については、各機能モジュールの機能を提供するためのプログラムがROM等のメモリに記憶される。そして、そのプログラムをRAMに読み出してCPUが実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。FPGAとは、Field Programmable Gate Arrayの略である。また、FPGAと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASIC(Application Specific Integrated Circuit)により実現するようにしてもよい。なお、図3に示した機能ブロックの構成は一例であり、複数の機能ブロックが1つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。また、図3に示した機能ブロックの全部または一部を画像解析サーバ14に替えてネットワークカメラ12に搭載してもよいし、画像録画サーバ13を含む汎用の情報処理装置(PC)に搭載してもよいし、クライアントPC15に搭載してもよい。
【0030】
図3において、画像解析サーバ14は、画像受信部31、設定パラメータ取得部32、画像解析部33、重畳情報描画部34、重畳情報取得部35、重畳情報識別部36、影響判定部37、通信部38および重畳描画処理部39を備える。
画像解析サーバ14は、画像から人物等を検出する他、映像から人物等を検出することができる。映像から人物を検出する場合、画像解析サーバ14は、ネットワークカメラ12から映像を取得し、映像(動画像)のフレーム1枚ごとに画像に対する画像解析処理と同様の処理を実行すればよい。
【0031】
画像受信部31は、各カメラ12、16により撮像された画像データを画像録画サーバ13経由で受信し、受信した画像データを伸長および復号化して画像を取得する。取得する画像は、動画像であってもよく、静止画像であってもよい。画像受信部31は、取得した画像を画像解析部33へ順次送出する。
なお、画像受信部31に画像を供給する供給元は特に限定されるものではなく、カメラ12、16および画像録画サーバ13以外の有線または無線を介して画像を供給可能なサーバ装置、録画映像管理装置またはカメラ12、16以外の撮像装置であってもよい。あるいは、画像受信部31は、外部メモリ24等の画像解析サーバ14が備えるメモリから画像を取得してもよい。
【0032】
以下、画像受信部31が動画像または静止画像を取得した場合において、画像受信部31が画像解析部33へ1枚の画像を送出する場合を例にとって説明する。画像受信部31が動画像を取得した場合は、1枚の画像が動画像を構成する各フレームに相当し、静止画像を取得した場合は、1枚の画像が静止画像に相当する。
【0033】
設定パラメータ取得部32は、画像解析部33が画像の解析処理を行う際に用いるパラメータを取得する。このパラメータは、画像解析部33が画像の解析処理を行う際の各種閾値、画面内の検出範囲を示す領域、対象カメラおよび検出対象などのパラメータである。このパラメータは、画像解析サーバ14内の記憶装置またはネットワークを介してアクセス可能な不図示のデータベース等で保持される。
画像の解析処理に用いられるパラメータは、その種類によっては変更可能である。新規に解析ルールを作成する場合またはパラメータを変更する場合は、クライアントPC15を用いて設定したパラメータを画像解析サーバ14へ送出し、通信部38で受信し、設定パラメータ取得部32で取得する。パラメータは、クライアントPC15を用いて、画像解析を新規に開始する際に解析ルールを新規作成するか、設定した解析内容を変更する場合などに任意のタイミングで変更可能である。
【0034】
画像解析部33は、図5の解析設定テーブル50から設定パラメータ取得部32で取得した解析設定のパラメータに基づいて、画像受信部31により取得された画像に対して画像解析処理を行う。例えば、画像解析部33は、解析設定テーブル50で設定された解析設定に応じて、動体検出、人体検出、顔認証および検出した検出対象の追尾などの解析処理を行う。
【0035】
図5は、実施形態に係る解析設定テーブルの一例を示す図である。
図5において、解析設定テーブル50は、画像解析サーバ14で実行される画像解析の設定のパラメータ情報を定義する。解析設定テーブル50で定義されるパラメータ情報は、クライアントPC15または画像解析サーバ14などの入力装置等を介し操作者により事前または変更時に入力される。解析設定テーブル50は、カメラID、Type、Source ID、Area、Margin、AttributeおよびActionのフィールドを含む。
【0036】
IDは、解析設定のパラメータ情報を一意に識別する識別子である。Typeは、画像解析の種類を示す。画像解析部33は、Typeに応じて動体検出、人体検出およびいたずら検知等の画像解析処理を行う。Source IDは、画像解析対象の画像供給元となる機器のIDを示す。Source IDは、図7の機器管理テーブル70で管理される機器のIDと共通の識別情報が用いられる。
【0037】
Areaは、画像解析処理の画像における処理範囲を示し、左上座標と右下座標で示される矩形で表される。AreaフィールドがAllの場合は、対象画像の全領域であることを示す。ここで、図5の例では、Areaで示される領域情報は矩形としたが、画面内の領域を表すものであれば、どのような形式でも構わない。例えば、点列のポリゴンで表される多角形としてもよいし、ベクタ情報または三次元的な閉空間情報で表される領域情報であってもよい。
【0038】
Marginは、影響判定部37における影響判定処理で用いるパラメータである。Marginは、図6の重畳情報管理テーブル60で定義されるOSD情報と画像解析範囲の重なり判定を行う際に用いられる。Attributeは、解析設定における検出対象となる物体を示す。例えば、画像解析において、Attributeが人体であれば、人体を対象とした検出処理を示し、動体であれば、動体を対象とした検出処理であることを示す。画像解析部33で検出可能な検出対象であれば、Attributeは、人体および動体だけでなく、顔、車両および動物等のどのような対象であってもよい。Actionは、画像解析での対象検知時の動作を示す。例えば、Actionが通知の場合、対象を検出したら通知(画面表示)処理を行うことを示す。
【0039】
ここで、図3の画像解析部33は、例えば、解析設定テーブル50のTypeが侵入検知、Attributeが人体となっている場合には、画像から人体を検出する。そして画像解析部33は、人体を追尾し、Areaで設定される検知対象エリアへ人体が侵入したことを検知する。
【0040】
このとき、画像解析部33は、画像受信部31により取得された画像から、予め記憶した照合パターン辞書等を用いて人体を検出することができる。この場合、画像解析部33は、画像から人体を検出する機能を有していればよく、人体検出処理はパターン照合処理に限定されず、輝度勾配による特徴量を用いた人体検出処理等であってもよい。
【0041】
また、画像解析部33は、フレーム間での位置関係から同定した人体に固有の人体追尾ID(オブジェクトの識別情報)を付与することで、人体(オブジェクト)の追尾処理を行うことができる。この追尾処理おいて、複数フレームに亘って同じ物体であると判断する方法としては、検出物体の移動ベクトルを用いて物体の移動予測位置と検出した物体位置が一定距離内であれば、同一物体とする方法がある。また、物体の色、形状および大きさ(面積)等を用い、フレーム間で相関の高い物体を関連付ける方法もある。この追尾処理では、複数フレームに渡って同じ物体であると判断し、物体を追尾する処理を行うが、その処理方法は特定の方法に限るものではなく、同様の処理を行う方法であれば、適宜適用可能である。
【0042】
そして、画像解析部33は、追尾処理における人体が検出された領域と、解析設定テーブル50のArea情報を参照し、対象Areaに人体領域が通過または入った際に、人体の通過または侵入を検知する。画像解析部33の検知処理の結果は、図6の重畳情報管理テーブル60へ随時書き込まれ、重畳情報描画部34での重畳情報の描画処理により、画像へ重畳描画される。
【0043】
図6は、実施形態に係る重畳情報管理テーブルの一例を示す図である。
図6において、重畳情報管理テーブル60は、画像に重畳される重畳情報を管理する。重畳情報管理テーブル60は、ID、Source ID、Type、Position、TextString、Font、ColorおよびBackgroundColorのフィールドを含む。
【0044】
IDは、重畳情報を一意に識別する識別子である。Source IDは、重畳情報を付与した機器の識別子である。Typeは、重畳情報の種類である。重畳情報の種類は、重畳する情報のデータの種類を示し、テキスト(Text)、画像(Image)、その他(Extended)のうちいずれかの値を保持する。Positionは、重畳情報の画面内の位置である。重畳情報の画面内の位置は、画面内の重畳情報を描画する領域であり、ここでは左上座標と右下座標からなる矩形で表される。TextStringは、重畳情報の内容である。重畳情報の内容は、描画内容文字列を示し、フォントおよび背景色フィールドの内容で画面上へ描画されることを示す。Fontは、重畳する文字のフォントである。Colorは、重畳する文字の色である。BackgroundColorは、重畳情報の領域の背景色である。背景色のフィールドには透明度を設定可能であり、透明度を100%と設定すると、画面上へは背景が透明で文字等のみが重畳描画される。
【0045】
重畳情報描画部34は、画像解析部33の検出結果と、解析サーバ14に対して重畳情報管理テーブル60で設定されているOSD情報を、画像受信部31が受信した画像に対して重畳して描画する処理を行う。重畳情報描画部34でOSD情報が上書きされた画像は、通信部38でクライアントPC15へ送信される。
【0046】
重畳情報取得部35は、クライアントPC15で最終的に表示される処理結果画像に対して重畳される他の機器で付与されたOSD情報も含め、全ての機器からOSD情報を取得する。重畳情報取得部35が取得した情報は、図6の重畳情報管理テーブル60で管理される。
重畳情報管理テーブル60は、ネットワークカメラシステム10の各機器から他の機器に対してのOSD設定情報の出力と、他の機器からのOSD設定情報の入力を管理する。このため、重畳情報管理テーブル60は、重畳情報取得部35が他機器へOSD設定情報を要求した時に随時作成および変更が行われる。
【0047】
重畳情報取得部35が他機器へOSD設定情報を要求するタイミングは、クライアントPC15の設定者が行う解析設定の新規作成時および変更時であってもよいし、画像解析サーバ14の起動時であってもよい。
【0048】
重畳情報識別部36は、重畳情報管理テーブル60を参照し、重畳情報取得部35で取得された重畳情報のうち、画像解析部33の解析処理結果に影響を及ぼす可能性があると推測される重畳情報を識別する。ここで、重畳情報識別部36は、重畳情報を付与した機器の識別子(Source ID)に基づいて、画像解析部33の解析処理結果に影響を及ぼす可能性があると推測される重畳情報を1次判定する。このとき、重畳情報識別部36は、解析処理対象となる画像に既に描画されているOSDは、画像解析部33の解析処理結果に影響を及ぼす可能性があるOSDと判定する。また、重畳情報識別部36は、解析処理対象となる画像に解析処理後に描画されるOSDは、画像解析部33の解析処理結果に影響がないOSDと判定する。
【0049】
影響判定部37は、重畳情報識別部36が識別したOSDに対し、解析設定テーブル50を参照し、画像の解析に影響があるか否かを2次判定する。このとき、影響判定部37は、画像の解析に干渉するOSDを、画像の解析に影響があるOSDと判定することができる。例えば、影響判定部37は、設定パラメータ取得部32が管理する解析設定パラメータのAreaおよびMarginと、重畳情報識別部36が識別したOSDの領域を用いて影響判定を行う。すなわち、影響判定部37は、OSDの描画領域(Position)と、設定しようとしている解析設定の検知対象領域(Area)を参照し、それらの領域に重なりがあれば、OSDが対象検知処理に影響があると判定する。なお、重なり判定を行う検知対象領域(Area)は、MarginのPixel値分の範囲を拡張した領域で影響判定を行う。この拡張は、動きの速い物体の物体追尾精度および検出物体位置の検出誤差を想定し、任意の値に設定可能である。
【0050】
通信部38は、重畳情報描画部34でOSD情報が上書きされた画像および影響判定部37の判定結果をクライアントPC15へ送信する。また、通信部38は、影響判定部37の判定結果に対する指示をクライアントPC15から受信する。
【0051】
重畳描画処理部39は、影響判定部37で判定されたOSD情報の描画についての処理を行う。例えば、重畳描画処理部39は、画像の解析処理に影響があると識別されたOSD情報の表示状態を、画像の解析処理に影響がない表示状態に変更する。このとき、重畳描画処理部39は、画像の解析処理に影響があると識別された重畳情報を消去してもよいし、画像の解析処理に影響があると識別された重畳情報の表示位置を画像の解析処理に影響がない位置に変更してもよい。あるいは、重畳描画処理部39は、画像の解析処理に影響があると識別された重畳情報の重畳処理を行った第1機器(例えば、カメラ12、16および画像録画サーバ13)でOSD情報の重畳処理が行われないように指示してもよい。また、重畳描画処理部39は、第1機器で重畳処理が行われた重畳情報と同じ内容の情報の重畳処理が、画像の解析処理に影響がない第2機器(例えば、クライアントPC15)で行われるように指示してもよい。
【0052】
図4は、図1のクライアントPCの機能構成例を示すブロック図である。
図4において、クライアントPC15は、画像受信部41、OSD処理部42、設定入力部43、通信部44および出力部45を備える。
画像受信部41は、重畳情報管理テーブル60の設定に従ってOSD情報が上書きされた画像をネットワーク11経由で画像解析サーバ14から受信する。
【0053】
OSD処理部42は、クライアントPC15のOSD設定情報に基づき画像受信部41で受信された画像にOSD情報を上書きする。また、OSD処理部42は、他の機器からのOSD情報取得要求に基づきクライアントPC15で設定されているOSD情報を通信部44経由で送信する。また、OSD処理部42は、通信部44経由で他の機器からOSD情報変更要求を受信し、受信した設定に基づきクライアントPC15で設定されているOSD情報を変更する。
【0054】
設定入力部43は、解析設定テーブル50および機器管理テーブル70に関するパラメータを含むネットワークカメラシステム10の設定入力を行う。設定入力部43は、ネットワークカメラシステム10の各種設定操作を行うためのインタフェースを備える。
通信部44は、ネットワーク11を介し、ネットワークカメラシステム10で接続された各機器との通信を行う。
出力部45は、通信部44で受信した画像、OSD情報、検知結果に関する通知情報および設定画面などの表示を行う。出力部45は、ディスプレイなどの表示装置であってもよいし、表示装置に位置入力装置を組み合わせたタッチパネルであってもよい。
【0055】
図7は、実施形態に係る機器管理テーブルの一例を示す図である。
図7において、機器管理テーブル70は、ネットワークカメラシステム10に接続されている機器構成を示す。機器管理テーブル70は、画像解析処理が行われる前に予めユーザがクライアントPC15の入力部26を用いて登録作業を行うことで作成される。機器管理テーブル70は、クライアントPC15のRAM23に保持させることができる。
【0056】
機器管理テーブル70は、ID、IP、Port、Name、SequenceおよびAnalysisのフィールドを含む。IDは、機器を一意に識別するための識別子である。例えば、ID1は、カメラ12を示し、ID2は、画像録画サーバ13を示し、ID3は、画像解析サーバ14を示し、ID4は、クライアントPC15を示すことができる。IPは、機器のネットワークアドレスである。Portは、機器のポート番号である。Nameは、機器を表す名前である。Sequenceは、画像処理順である。画像処理順は画像を撮像する機器を0とし、画像を送信する順に付与された連番である。Analysisは、解析有無フラグである。解析有無フラグが1の場合は、解析処理を行う機器であることを示す。
【0057】
画像解析サーバ14は、機器管理テーブル70の画像処理順と解析有無フラグを参照することにより、画像解析処理前に画像に対してOSD付与可能な機器を判別することができる。そして、画像解析サーバ14は、重畳情報管理テーブル60を参照し、画像解析処理前に画像に対してOSD付与可能な機器で付与されたOSDを特定することにより、解析処理結果に影響を及ぼす可能性があるOSDを1次判定することができる。
【0058】
図8は、実施形態に係る画面表示の一例を説明する図である。なお、図8(a)は、クライアントPC15で重畳情報管理テーブル60を適用した場合の画面表示の一例を示す。図8(b)は、図8(a)の画面50における5つのOSD情報がそれぞれどの機器で重畳処理されたものかを示す。
図8(a)において、クライアントPC15の出力部45は、画面80を表示する。画面80では、重畳情報管理テーブル60で管理される5つのOSD情報が表示されている。これら5つのOSD情報として、各OSD情報のIDごとに、TextStringで示される内容が、Positionで示される位置に表示される。
【0059】
図8(b)において、画面80に表示されたOSD情報81~85は、重畳情報管理テーブル60のレコード61~65にそれぞれ対応する。重畳情報識別部36は、重畳情報管理テーブル60を参照することにより、個々のOSD情報81~85がどの機器で重畳されたものか判別可能となる。例えば、レコード61のSource IDが1であることから、OSD情報81はカメラ12で画像に描画されたことが判別できる。
【0060】
また、重畳情報識別部36は、重畳情報管理テーブル60と機器管理テーブル70を参照することにより、OSD情報81~85のうち画像解析処理前の機器IDが重畳情報管理テーブル60のSource IDに設定されているレコードを識別する。機器管理テーブル70では、ID1とID2の機器は、解析処理を行うID3の機器よりも前に、画像に対してOSD情報を付与可能である。重畳情報管理テーブル60では、このSource IDは1と2であるので、レコード61~63が該当する。このため、重畳情報識別部36は、図8(b)のOSD情報81~83が画像解析部33の解析処理結果に影響を及ぼす可能性があるOSD情報と1次判定する。
【0061】
また、例えば、設定しようとしている解析設定が侵入検知(解析設定テーブル50のID3)であるとし、侵入検知のArea+Marginの領域がOSD82、83の描画領域と重なりがあるとする。その場合、影響判定部37は、解析処理結果に影響の可能性があると1次判定されたOSD情報81~83のうち、侵入検知領域との重なりがあるOSD82、83が画像解析部33の解析処理結果に影響を及ぼす可能性があるOSD情報と2次判定する。
【0062】
画像解析部33の解析処理結果に影響を及ぼす可能性があるOSD情報82、83が判定されると、通信部38は、OSD情報82、83についての通知をクライアントPC15に行う。クライアントPC15は、画像解析部33の解析処理結果に影響を及ぼす可能性があるOSD情報82、83についてのメッセージをウインドウ表示することができる。
【0063】
図9は、実施形態に係るウインドウ表示の一例を示す図である。
図9において、クライアントPC15は、画像解析部33の解析処理結果に影響を及ぼす可能性があるOSDについての通知に基づいて、ウインドウ90を表示することができる。ウインドウ90の表示では、ユーザが設定しようとしている画像解析設定が既存のOSD表示により影響されることをユーザに通知する。これにより、クライアントPC15は、ユーザに対し、画像解析設定を行う前に影響のあるOSD表示があることを示し、OSD表示の変更を行うことを促すことができる。
【0064】
図10は、実施形態に係るウインドウ表示のその他の例を示す図である。
図10において、クライアントPC15は、画像解析部33の解析処理結果に影響を及ぼす可能性があるOSDについての通知に基づいて、ウインドウ91を表示することができる。ウインドウ91の表示は、図9のウインドウ90の表示に代えて行ってもよいし、図9のウインドウ90の表示後に行ってもよい。ウインドウ91の表示では、ユーザが設定しようとしている画像解析設定が既存のOSD表示により影響されることをユーザへ通知し、影響のあるOSDを表示しないことを選択可能とする。これにより、クライアントPC15は、ユーザに対し、画像解析設定を行う前に影響のあるOSD表示があることを示し、ユーザの指示により影響のあるOSD表示を消去する変更を行うことができる。
【0065】
図11は、実施形態に係るウインドウ表示のその他の例を示す図である。
図11において、クライアントPC15は、画像解析部33の解析処理結果に影響を及ぼす可能性があるOSDについての通知に基づいて、ウインドウ92を表示することができる。ウインドウ92の表示は、図9のウインドウ90、91の表示に代えて行ってもよいし、図10のウインドウ91で「いいえ」が選択された場合に行ってもよい。ウインドウ92の表示では、ユーザが設定しようとしている画像解析設定が既存のOSD表示により影響されることをユーザへ通知し、影響のあるOSDの表示位置を変更することを選択可能とする。これにより、クライアントPC15は、ユーザに対し、画像解析設定を行う前に影響のあるOSD表示があることを示し、ユーザの指示によりOSDの表示位置の変更を行うことができる。
【0066】
図12は、実施形態に係るウインドウ表示のその他の例を示す図である。
図12において、クライアントPC15は、画像解析部33の解析処理結果に影響を及ぼす可能性があるOSDについての通知に基づいて、ウインドウ93を表示することができる。ウインドウ93の表示は、図9のウインドウ90~92の表示に代えて行ってもよいし、図11のウインドウ92で「いいえ」が選択された場合に行ってもよい。ウインドウ93の表示では、ユーザが設定しようとしている画像解析設定が既存のOSD表示により影響されることをユーザへ通知し、影響のあるOSDの表示機器を変更することを選択可能とする。これにより、クライアントPC15は、ユーザに対し、画像解析設定を行う前に影響のあるOSD表示があることを示し、ユーザの指示によりOSDの表示機器の変更を行うことができる。
【0067】
図13は、実施形態に係る画面表示の一例を示す図である。
図13において、クライアントPC15は、解析設定を変更する際のOSD表示変更前に画面101を表示する。画面101には、例えば、解析設定テーブル50のID3の侵入検知設定が行われる場合、解析設定領域100が表示される。また、画面101には、図8(a)の画面80に表示される5つのOSD情報が表示される。
【0068】
図14は、実施形態に係る画面表示のその他の例を示す図である。
図14において、ユーザが図10のウインドウ91で「はい」を選択したものとする。このとき、クライアントPC15は、図13の画面101にOSD表示変更を適用した画面102を表示する。画面102では、影響判定部37の重なり判定により影響があると特定されたOSD82、83の表示が消去され、影響がないと判定されたOSD81の表示は継続される。
【0069】
図14の画面遷移としては、図10のウインドウ91の表示と同時に別ウインドウのプレビュー画面として予めユーザに提示し、図10のウインドウで「はい」を選択時にプレビュー画面のOSD表示変更を適用するのが望ましい。
【0070】
図15は、実施形態に係る画面表示のその他の例を示す図である。
図15において、ユーザが図11のウインドウ92で「はい」を選択したものとする。このとき、クライアントPC15は、図13の画面101にOSD表示変更を適用した画面103を表示する。画面103では、影響判定部37の重なり判定により影響があると特定されたOSD82、83の表示位置が解析設定領域100と重ならない位置へ移動される。これにより、画像解析部33は、OSD82、83の重畳表示による侵入検知処理への影響を回避することができる。
【0071】
図15では、図13の画面101に表示された各OSD82、83を画面103の表示位置104、105に移動させた例を示した。ただし、OSD82、83が解析設定領域100と重ならないようにOSD表示を変更するのであれば、どのような表示変更でも構わない。例えば、OSD表示内容の変更またはフォントの縮小などでも構わない。さらに、OSD移動位置を決定する場合、別途画面内の動体検知領域の履歴情報などを求め、閲覧に影響が少ない(動体の少ない)位置へ移動させるのが望ましい。
【0072】
また、図15では、OSD82、83の表示位置を解析設定領域100と重ならない位置へ移動した例を示した。このとき、重畳情報管理テーブル60において同一のSource IDの検知設定が他にも存在するのであれば、OSD移動位置の決定にあたっては、影響判定部37は、その検知設定の領域との重なりも判定する。同一のSource IDの検知設定が他にも存在するのであれば、他の全ての同一のSource IDの検知設定領域と重ならないように、検知設定領域またはOSDの表示設定を変更するのが望ましい。
【0073】
一方、ユーザが図12のウインドウ93で「はい」を選択したものとする。ここで、前述したように、画像解析に影響のあるOSDは、画像解析処理よりも前に重畳されたOSDである。このため、画像解析サーバ14は、画像解析に影響のあるOSDの表示内容と同等の内容を画像解析後に付与するように、OSDの付与の順番(重畳処理する機器の順番)を変更する。
【0074】
図16は、実施形態に係るOSD表示の変更処理方法を示すブロック図である。
図16において、カメラ12は、例えば、図8(b)のOSD情報81、82を撮像画像に重畳し、OSD情報81、82が撮像画像に重畳された画像111を画像録画サーバ13に送信する。画像録画サーバ13は、図8(b)のOSD情報83を画像111に重畳し、OSD情報83が画像111に重畳された画像112を画像解析サーバ14に送信する。
【0075】
画像解析サーバ14は、画像112を解析処理する。そして、画像解析サーバ14は、解析処理結果に影響の可能性があると1次判定したOSD情報81~83のうち、侵入検知領域との重なりがあるOSD情報82、83が解析処理結果に影響を及ぼす可能性があるOSD情報と2次判定したものとする。このとき、画像解析サーバ14は、OSD情報82の重畳処理を行わないようにカメラ12に指示する。また、画像解析サーバ14は、OSD情報83の重畳処理を行わないように画像録画サーバ13に指示する。
【0076】
カメラ12は、画像解析サーバ14からの指示を受けると、OSD情報81のみを撮像画像に重畳し、OSD情報81のみが撮像画像に重畳された画像114を画像録画サーバ13に送信する。画像録画サーバ13は、画像114へのOSD情報83の重畳処理を停止し、OSD情報83が画像114に重畳されてない画像115を画像解析サーバ14に送信する。
【0077】
このとき、画像解析サーバ14は、解析処理結果に影響を及ぼす可能性があるOSD情報82、83が重畳されてない画像115に対して解析処理を行う。そして、画像解析サーバ14は、図8(b)のOSD情報84を画像115に重畳し、OSD情報84が画像115に重畳された画像116をクライアントPC15に送信する。このとき、画像解析サーバ14は、OSD情報82、83と同じ内容の情報82´、83´を画像116に重畳するようクライアントPC15に指示する。
【0078】
クライアントPC15は、画像解析サーバ14からの指示を受けると、OSD処理部42において、図8(b)のOSD情報85を画像116に重畳するとともに、OSD情報82、83と同じ内容の情報82´、83´を画像116に重畳する。そして、クライアントPC15は、出力部45において、OSD情報85と、OSD情報82、83と同じ内容の情報82´、83´が画像116に重畳された画像117を表示する。
【0079】
図17は、実施形態に係る重畳情報管理情報テーブルの変更例を示す図である。
図17において、ユーザが図12のウインドウ93で「はい」を選択した場合、画像解析サーバ14は、図6の重畳情報管理テーブル60の内容を変更した重畳情報管理テーブル60´を作成する。図16のOSD表示の変更処理では、画像解析サーバ14は、重畳情報管理テーブル60のレコード62、63を、重畳情報管理テーブル60´のレコード62´、63´に変更する。レコード62´では、OSD82のSource IDは、「1」から「4」へ変更され、レコード63´では、OSD83のSource IDは、「2」から「4」へ変更される。
【0080】
このとき、OSD情報82の重畳処理を行う機器は、カメラ12からクライアントPC15に変更される。また、OSD情報83の重畳処理を行う機器は、画像録画サーバ13からクライアントPC15に変更される。
【0081】
このように影響のあるOSD表示の付与機器を変更することで、OSD表示が画像解析処理に影響するのを防止することが可能となるとともに、クライアントPC15などの閲覧端末上でOSD変更表示前とほぼ同等の内容を確認することが可能となる。
【0082】
図18は、図3の画像解析サーバの画像解析処理の一例を示すフローチャートである。
なお、図18の各ステップは、画像解析サーバ14のROM22または外部メモリ24に記憶されたプログラムをCPU21が読み出し、実行することで実現される。また、図18に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASICにより実現するようにしてもよい。
この場合、図18に示すフローチャートにおける各ブロックは、ハードウェアブロックと見做すことができる。なお、複数のブロックをまとめて1つのハードウェアブロックとして構成してもよく、1つのブロックを複数のハードウェアブロックとして構成してもよい。
【0083】
図18において、画像解析サーバ14は、監視カメラの録画映像の読み込みに応じて処理を実行する。あるいは、画像解析サーバ14は、カメラ12、16ごとに一定間隔で処理を実行してもよい。あるいは、画像解析サーバ14は、クライアントPC15からの画像解析処理起動要求の受信を契機に処理を開始してもよい。ただし、図18に示す処理の開始タイミングは上記に限定されない。
【0084】
ステップS11において、画像解析サーバ14の画像受信部31は、カメラ12から送信される画像データを画像録画サーバ13経由で受信し、受信した画像データを伸長および復号化して画像を取得する。画像受信部31は、取得した画像を画像解析部33および重畳情報描画部34に供給する。
次に、ステップS12において、画像解析サーバ14は、クライアントPC15から解析設定変更要求があるか否かを判定する。画像解析サーバ14は、解析設定変更要求があると判定すると(S12:YES)、ステップS13へ進む。画像解析サーバ14は、解析設定変更要求がないと判定すると(S12:NO)、ステップS14へ進む。
【0085】
ステップS13では、画像解析サーバ14は、解析設定変更処理を行う。解析設定変更処理では、必要に応じて解析設定およびOSD表示の変更処理を行う。解析設定変更処理の詳細については、図19を用いて後述する。
ステップS14では、画像解析部33は、解析設定テーブル50の設定内容に基づいて、ステップS11で受信した画像に対して画像解析処理を行う。
【0086】
次に、ステップS15において、画像解析サーバ14は、処理を終了するか否かを判定する。例えば、画像解析サーバ14は、処理の終了指示をユーザから受け付けたか否かに応じて処理を終了するか否かを判定する。画像解析サーバ14は、処理を終了すると判定すると(S15:YES)、処理を終了する。一方、画像解析サーバ14は、処理を終了しないと判定すると(S15:NO)、ステップS11へ戻り、処理を終了すると判定するまで、ステップS11からステップS14の画像処理を繰り返す。
【0087】
図19は、図3の画像解析サーバの解析設定変更処理の一例を示すフローチャートである。
図19のステップS21において、重畳情報取得部35は、ネットワークシステム10へ接続されているOSD制御可能な機器に対し、OSD情報取得要求を送信する。そして重畳情報取得部35は、OSD情報取得要求に対して受信した各機器のOSD情報に基づいて、重畳情報管理テーブル60の内容を更新する。
【0088】
次に、ステップS22において、重畳情報識別部36は、ステップS21で取得したOSD情報のうち、画像解析部33の解析処理結果に影響を及ぼす可能性があると推測されるOSD情報を1次判定する。このとき、重畳情報識別部36は、機器管理テーブル70および重畳情報管理テーブル80の機器識別子に基づいて、画像解析部33の解析処理結果に影響を及ぼす可能性があると推測されるOSD情報を1次判定する。
【0089】
画像解析部33の解析処理結果に影響を及ぼす可能性があるOSD情報とは、解析処理対象となる画像に既に描画されているOSD情報を指す。例えば、図1のネットワークカメラシステム10では、各カメラ12、16と画像録画サーバ13で付与されたOSD情報が該当する。このとき、重畳情報識別部36は、機器管理テーブル70のSequence番号がAnalysisフラグのある機器よりも前の番号の機器を抽出することで、解析処理対象となる画像に既に描画されているOSD情報を識別する。
【0090】
次に、ステップS23において、設定パラメータ取得部32は、クライアントPC15から解析設定変更要求である解析パラメータを取得する。
次に、ステップS24において、影響判定部37は、ステップS23で取得した解析パラメータの適用時に、ステップS22で識別されたOSD情報が、画像解析部33で実行される画像解析処理に影響があるか否かを判定する。
【0091】
影響判定部37は、ステップS23で取得した解析パラメータの解析設定の対象領域が、ステップS22で識別されたOSD情報の描画領域にマージン値を加えた領域と重なりがある場合に、影響ありと判定する。影響判定部37は、画像解析処理に影響があると判定すると(S24:YES)、ステップS25へ進む。影響判定部37は、画像解析処理に影響がないと判定すると(S24:NO)、ステップS29へ進む。
【0092】
ステップS25において、通信部38は、影響判定部37で影響ありと判定された判定結果の通知をクライアントPC15へ送信する。クライアントPC15は、画像解析サーバ14から受け取った通知をクライアントPC15の表示装置で表示する。
【0093】
次に、ステップS26において、画像解析サーバ14は、ステップS25でユーザに対して通知した後、ユーザによるOSD変更指示があるか否かを判定する。
画像解析サーバ14は、ステップS26でOSD変更指示があると判定した場合(S26:YES)、ステップS27へ進む。画像解析サーバ14は、ステップS26でOSD変更指示がないと判定した場合(S26:NO)、ステップS28へ進む。
ステップS27において、画像解析サーバ14は、ステップS26でのユーザによるOSD変更指示に従って、OSD表示変更処理を行う。このとき、重畳情報取得部35は、ユーザによるOSD変更指示に従って、重畳情報管理テーブル60を変更する。また、重畳情報描画部34は、変更された重畳情報管理テーブル60に基づいて、OSDの重畳描画処理を行う。
次に、ステップS29において、画像解析サーバ14は、ステップS23で取得した解析設定指示情報に基づいて、解析設定テーブル50の内容を更新し、解析設定を適用する。
【0094】
一方、ステップS28において、画像解析サーバ14は、解析処理に影響のあるOSDが存在するが(S24:YES)、OSD表示変更が選択されなかった場合(S26:NO)、解析設定変更指示があるか否かを判定する。画像解析サーバ14は、ステップS28で解析設定変更指示があった場合(S28:YES)、ステップS29へ進み、解析設定変更指示を適用した後、ステップS30へ進む。この場合はOSD表示の変更はされないので、解析処理においてOSD表示が何らかの影響を及ぼすことが想定される。
【0095】
画像解析サーバ14は、ステップS28で解析設定変更指示がない場合(S28:NO)、OSD表示および解析設定変更を行わずに、ステップS30へ進む。
なお、画像解析サーバ14は、ステップS28において、ステップS23で指定された解析設定を変更するか否かを判断したが、ステップS28の前に再度解析設定の変更を行うようにユーザ入力させるようにしてもよい。その場合は再度影響判定が必要となるため、ステップS23へ戻る。
【0096】
ステップS30において、画像解析サーバ14は、処理を終了するか否かを判定する。例えば、画像解析サーバ14は、解析設定処理の終了指示をユーザから受け付けたか否かに応じて処理を終了するか否かを判定する。画像解析サーバ14は、処理を終了すると判定すると(S30:YES)、処理を終了する。一方、画像解析サーバ14は、処理を終了しないと判定すると(S30:NO)、ステップS21へ戻り、処理を終了すると判定するまで、ステップS21からステップS29の処理を繰り返す。
【0097】
このように、画像解析サーバ14は、カメラ12、16および録画サーバ13等から画像に重畳されているOSD情報を取得し、検知設定または検知領域設定時に、OSD表示により解析結果に影響があるOSD表示を選別する。そして、画像解析サーバ14は、選別したいずれかのOSD表示が解析処理に影響する可能性がある場合に、その旨を通知したり、OSD表示変更処理を行ったりする。これにより、画像解析サーバ14は、OSD表示が解析処理の妨げになることを未然に防ぐことができる。
【0098】
以上説明したように、上述した実施形態によれば、解析部は、画像の解析処理を行い、取得部は、画像に重畳されている重畳情報を取得する。さらに、識別部は、画像の解析処理で用いるパラメータに基づいて、画像の解析処理に影響のある重畳情報を識別し、通知部は、識別部で識別された重畳情報についての通知を行う。これにより、ユーザは、画像解析に影響を及ぼす重畳情報に気付くことが可能となり、画像に重畳される重畳情報が画像解析に及ぼす影響を低減することができる。
【0099】
<その他の実施形態>
なお、上述した各実施形態は、その複数を組み合わせて実現することが可能である。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)における1つ以上のプロセッサーがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
また、上述した各実施形態を、複数の機器、例えば、ホストコンピュータ、インタフェース機器、撮像装置およびウェブアプリケーション等から構成されるシステムに適用してもよく、1つの機器からなる装置に適用してもよい。
また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるものに限定されない。例えば、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。
【符号の説明】
【0100】
10 ネットワークカメラシステム、11 ネットワーク、12 ネットワークカメラ、13 画像録画サーバ、14 画像解析サーバ、15 クライアントPC、21 CPU、22 ROM、23 RAM、24 外部メモリ、25 撮像部、26 入力部、27 通信I/F、28 システムバス、31 画像受信部、32 設定パラメータ取得部、33 画像解析部、34 重畳情報描画部、35 重畳情報取得部、36 重畳情報識別部、37 影響判定部、38 通信部、39 重畳描画処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19