特表-18122895IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧
再表2018-122895映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム
<>
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000003
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000004
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000005
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000006
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000007
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000008
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000009
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000010
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000011
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000012
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000013
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000014
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000015
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000016
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000017
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000018
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000019
  • 再表WO2018122895-映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム 図000020
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年7月5日
【発行日】2018年12月27日
(54)【発明の名称】映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20181130BHJP
   H04N 5/232 20060101ALI20181130BHJP
   H04N 21/435 20110101ALI20181130BHJP
   H04N 21/431 20110101ALI20181130BHJP
   G06T 19/00 20110101ALI20181130BHJP
【FI】
   H04N7/18 D
   H04N7/18 K
   H04N5/232 930
   H04N21/435
   H04N21/431
   G06T19/00 600
   H04N5/232 190
【審査請求】有
【予備審査請求】未請求
【全頁数】28
【出願番号】特願2017-528863(P2017-528863)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2016年12月26日
(11)【特許番号】特許第6289762号(P6289762)
(45)【特許公報発行日】2018年3月7日
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100083840
【弁理士】
【氏名又は名称】前田 実
(74)【代理人】
【識別番号】100116964
【弁理士】
【氏名又は名称】山形 洋一
(74)【代理人】
【識別番号】100135921
【弁理士】
【氏名又は名称】篠原 昌彦
(72)【発明者】
【氏名】深澤 司
(72)【発明者】
【氏名】岡原 浩平
(72)【発明者】
【氏名】古木 一朗
【テーマコード(参考)】
5B050
5C054
5C122
5C164
【Fターム(参考)】
5B050AA09
5B050BA09
5B050EA13
5B050FA02
5C054CC02
5C054EA05
5C054FC12
5C054FC13
5C054FE09
5C054FE12
5C054HA19
5C122DA11
5C122EA47
5C122FH02
5C122FH10
5C122FH14
5C122FH19
5C122FK23
5C122FK24
5C122FK28
5C122FK41
5C122HA13
5C122HA35
5C122HA75
5C122HB01
5C122HB05
5C122HB09
5C164FA07
5C164MA06S
5C164UB10P
5C164UB88P
(57)【要約】
映像処理装置(10)は、カメラ映像内に存在する着目対象としてのオブジェクト(41)に関連する付加情報をタグとして重畳表示させる装置であって、オブジェクト検出部(12)と、付加情報を格納するデータベースを管理するタグ情報管理部(13)と、検出されたオブジェクト(41)に関連する付加情報を取得する第1の処理と、検出されたオブジェクト(41)を含む検索領域を設定する第2の処理と、検索領域内における背景画領域(すなわち、オブジェクトが占める領域とタグが占める領域とである前景画領域以外の領域)に付加情報としてのタグ(51)を表示することができる表示可能領域がある場合に、タグ(51)の表示位置を表示可能領域内に決定する第3の処理とを行うタグ配置決定部(14)と、カメラ映像にタグ(51)を重畳表示させるタグ重畳部(15)とを有する。
【特許請求の範囲】
【請求項1】
カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有することを特徴とする映像処理装置。
【請求項2】
前記タグ配置決定部は、前記検索領域内における前記背景画領域に前記表示可能領域がない場合に、前記検索領域より大きい拡大された検索領域を設定する第4の処理を行い、前記第4の処理の後に、前記第3の処理を再度実行することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記オブジェクト検出部は、前記カメラ映像の画像解析によって前記オブジェクトを検出することを特徴とする請求項1又は2に記載の映像処理装置。
【請求項4】
前記オブジェクトを検出して検出信号を出力するセンサをさらに有し、
前記オブジェクト検出部は、前記検出信号に基づいて前記オブジェクトを検出する
ことを特徴とする請求項1又は2に記載の映像処理装置。
【請求項5】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報とを格納するデータベースから取得された前記付加情報を前記タグ配置決定部に提供することを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。
【請求項6】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報と表示色情報とを格納する前記データベースから取得された前記付加情報及び前記表示色情報を前記タグ配置決定部に提供し、
前記タグ配置決定部は、前記表示色情報に基づく色で前記タグを表示させる
ことを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。
【請求項7】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報と優先順位情報とを格納する前記データベースから取得された前記付加情報及び前記優先順位情報を前記タグ配置決定部に提供し、
前記タグ配置決定部は、複数のタグが重複する場合に、前記複数のタグの内のより高い優先順位に関連するタグを手前に表示させる
ことを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。
【請求項8】
カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を有することを特徴とする映像処理方法。
【請求項9】
コンピュータに、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理プログラムであって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記コンピュータに、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を実行させる映像処理プログラム。
【請求項10】
被写体を撮影することによってカメラ映像を生成するカメラと、
映像データに基づく映像を表示する表示装置と、
前記カメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、前記表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置と、を有し、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記映像処理装置は、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有することを特徴とする映像監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置においてカメラ映像上にタグとして重畳表示させるための映像処理装置、映像処理方法、及び映像処理プログラム、並びに、前記映像処理装置を含む映像監視システムに関する。
【背景技術】
【0002】
従来、カメラ撮影によって取得された映像データに基づいて表示装置に表示されるカメラ映像(撮影画像)上に、付加情報を重畳表示させるシステムがある。
【0003】
例えば、特許文献1は、舞台を見ている鑑賞者が装着しているヘッドマウントディスプレイに、字幕などの付加情報を表示するシステムを提案している。このシステムは、ユーザーの目線方向に存在する画像から人物像をオブジェクトとして検出し、人物像に関連する付加情報を表示する。
【0004】
また、特許文献2は、カメラの撮影方向が変化したときに、カメラ映像内で位置を変化させるオブジェクトに付加情報を追従させる装置を提案している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2012−108793号公報(例えば、段落0055〜0057)
【特許文献2】特開2014−086988号公報(例えば、段落0035〜0044)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記従来の技術では、表示装置に表示されるカメラ映像(撮影画像)において、あるオブジェクトの上に他のオブジェクトの付加情報が重なって表示されて、又は、あるオブジェクトの付加情報の上に他のオブジェクトの付加情報が重なって表示されて、オブジェクト及び付加情報を監視することが難しい場合があるという問題がある。
【0007】
本発明は、上記のような課題を解決するためになされたものであり、表示装置に表示されるカメラ映像において、オブジェクト及びこれに関連する付加情報としてのタグの監視を容易にすることができる映像処理装置、映像処理方法、及び映像処理プログラム、並びに、前記映像処理装置を含む映像監視システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様に係る映像処理装置は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出するオブジェクト検出部と、前記付加情報を格納するデータベースを管理するタグ情報管理部と、前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部とを有する。
【0009】
本発明の他の態様に係る映像処理方法は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出する検出ステップと、前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップとを有する。
【発明の効果】
【0010】
本発明によれば、表示装置に表示されるカメラ映像において、オブジェクトに関連する付加情報としてのタグを背景画領域に配置するので、他のオブジェクト及びその付加情報の監視が容易になるという効果がある。
【図面の簡単な説明】
【0011】
図1】本発明の実施の形態1に係る映像処理装置の概略構成を示す機能ブロック図である。
図2】実施の形態1に係る映像処理装置のハードウェア構成を示す図である。
図3】実施の形態1におけるタグ情報テーブルDB部に格納されるタグ情報テーブルの一例を表形式で示す図である。
図4】実施の形態1におけるオブジェクト検出部によるオブジェクト検出の一例を示す図である。
図5】(a)から(c)は、実施の形態1におけるタグの他の例を示す図である。
図6】実施の形態1におけるオブジェクト検出部によって作成されたオブジェクト情報リストの一例を表形式で示す図である。
図7】実施の形態1における検索領域を説明するための図である。
図8】実施の形態1における拡大された検索領域を説明するための図である。
図9】実施の形態1における映像受信部の動作を示すフローチャートである。
図10】実施の形態1におけるタグ情報管理部の動作を示すフローチャートである。
図11】実施の形態1におけるオブジェクト検出部の動作を示すフローチャートである。
図12】実施の形態1におけるタグ配置決定部の動作を示すフローチャートである。
図13】実施の形態1におけるタグ重畳部の動作を示すフローチャートである。
図14】実施の形態2に係る映像処理装置のタグ情報テーブルDB部に格納されているタグ情報テーブルの一例を示す図である。
図15】(a)から(c)は、実施の形態2に係る映像処理装置の効果を説明するための図である。
図16】実施の形態3に係る映像処理装置のタグ情報テーブルDB部に格納されているタグ情報テーブルの一例を示す図である。
図17】(a)から(c)は、実施の形態3に係る映像処理装置の効果を説明するための図である。
図18】実施の形態1から3に係る映像処理装置の変形例の概略構成を示す機能ブロック図である。
【発明を実施するための形態】
【0012】
以下に、本発明の実施の形態に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムを、添付図面を参照しながら説明する。実施の形態に係る映像処理装置は、カメラ映像内の着目対象としてのオブジェクト(被写体)に関連する付加情報としてのタグを、カメラ映像上の適切な位置に配置させることができるタグ配置装置である。また、実施の形態に係る映像処理方法及び映像処理プログラムはそれぞれ、カメラ映像内のオブジェクトに関連する付加情報としてのタグをカメラ映像上の適切な位置に配置させるためのタグ配置方法及びタグ配置プログラムである。また、実施の形態に係る映像監視システムは、1台以上のカメラと、映像処理装置と、1台以上の表示装置とを有するシステムである。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
【0013】
《1》実施の形態1
《1−1》構成
図1は、本発明の実施の形態1に係る映像処理装置10の概略構成を示す機能ブロック図である。映像処理装置10は、実施の形態1に係る映像処理方法及び実施の形態1に係る映像処理プログラムを実施することができる装置である。
【0014】
図1において、映像処理装置10は、被写体を撮影する撮影装置としてのカメラ20と、入力される映像データに基づく映像を画面31に表示する表示装置30とに、有線又は無線で、通信可能に接続されている。映像処理装置10とカメラ20の間及び映像処理装置10と表示装置30との間に、インターネットなどのようなネットワークが介在してもよい。また、カメラ20、映像処理装置10、及び表示装置30は、工場などの施設内又は公共エリア内などをカメラ映像によって監視する映像監視システムを構成することができる。また、映像処理装置10に、複数台のカメラが接続されてもよく、複数台のカメラに対応する複数台の表示装置が接続されてもよい。また、映像処理装置10に、複数台のカメラが接続され、表示装置30に複数台のカメラに対応する複数の映像が順に表示されてもよい。
【0015】
映像処理装置10は、カメラ20による撮影によって取得された映像データD1に対応するカメラ映像内に存在する着目対象としてのオブジェクト(被写体)41に関連する付加情報を、表示装置30の画面31におけるカメラ映像上にタグ51として重畳表示させることができる。本出願では、画面31におけるカメラ映像において1又は複数のオブジェクト41が占める領域と1又は複数のタグ51が占める領域とを「前景画領域」と言い、画面31のカメラ映像における前景画領域以外の領域を「背景画領域」と言う。
【0016】
図1に示されるように、映像受信部11と、オブジェクト検出部12と、記憶部に記憶された付加情報としてのタグ情報のデータベース(タグ情報テーブルDB)を管理する付加情報管理部としてのタグ情報管理部13とを備える。映像処理装置10は、タグ情報を記憶する記憶部としてのタグ情報テーブルDB(DataBase)部17を備えてもよい。ただし、タグ情報テーブルDB部17は、映像処理装置10の外部の記憶装置であってもよい。また、映像処理装置10は、付加情報配置決定部としてのタグ配置決定部14と、付加情報重畳部としてのタグ重畳部15と、映像出力部16とを備える。
【0017】
映像受信部11は、カメラ撮影によって生成されたカメラ映像としての映像データD1を受信し、映像データD1に必要な処理を施して、映像データを出力する。映像信号D1が、圧縮符号化データである場合には、映像受信部11は、受信された圧縮符号化データをデコードすることで映像データ(非圧縮の画像データ)として、例えば、RAW画像データD2を生成する。映像受信部11は、RAW画像データD2をオブジェクト検出部12及びタグ重畳部15に提供する。
【0018】
タグ情報管理部13は、オブジェクトを特定する識別情報(ID)であるオブジェクトIDと、このオブジェクトIDによって特定されるオブジェクトのタグ情報とを紐付けし、紐付けされたオブジェクトIDとタグ情報とをタグ情報テーブルDBとして管理する機能を持つ。タグ情報管理部13は、オブジェクト検出部12によって検出されたオブジェクトに基づいて指定されたオブジェクトIDに対応するタグ情報を、タグ配置決定部14に提供する機能を持つ。
【0019】
図1に示される例では、タグ情報管理部13は、映像処理装置10の一部として示されているが、映像処理装置10から分離された外部装置の一部であってもよい。タグ情報管理部13が外部装置の一部である場合には、映像処理装置10と外部装置との各々は、両者間で通信を行うための通信部を備える。映像処理装置10と外部装置と間の通信方式(通信規格)及び通信手段(有線通信又は無線通信、専用線又はネットワーク経由など)は、特に限定されない。タグ情報管理部13によって管理されるタグ情報テーブルDBは、ユーザー操作などによって、オブジェクトIDとタグ情報の追加及び削除が可能なDBである。
【0020】
オブジェクト検出部12は、映像受信部11から受け取ったRAW画像データD2に含まれる人物などのような着目対象としてのオブジェクト41を検出し、検出されたオブジェクトを認識(識別)して、タグ配置決定部14にオブジェクト41に関する情報D3を提供する。オブジェクトは、例えば、公共エリアを歩行する人物、工場内の製造ライン上で移動する生産物などであるが、これらに限定されない。
【0021】
タグ配置決定部14は、オブジェクト検出部12によって検出されたオブジェクト41に関する情報D3を受け取り、タグ情報管理部13から、検出されたオブジェクト41に関連するタグ情報D4を取得する処理(第1の処理)を行う。次に、タグ配置決定部14は、検出されたオブジェクト41を含む検索領域(例えば、オブジェクト41を囲う矩形領域)を設定する処理(第2の処理)を行う。次に、タグ配置決定部14は、設定された検索領域内における背景画領域に第1の処理で取得されたタグ情報をタグ51として表示することができる表示可能領域があるか否かを判断し、表示可能領域があると判断した場合に、タグ51の表示位置をこの表示可能領域内に決定する処理(第3の処理)を行う。
【0022】
タグ配置決定部14は、検索領域内における背景画領域に、タグ51の表示可能領域がない場合に、検索領域を変更する処理(例えば、検索領域を拡大する処理)(第4の処理)を行い、第4の処理の後に、第3の処理を再度行う。
【0023】
タグ重畳部15は、表示装置30の画面31に表示されるカメラ映像にオブジェクト41に関連するタグ情報D5に基づくタグ51を重畳表示させるための合成映像データD6を生成する。
【0024】
映像出力部16は、合成映像データD6に基づく映像データD7を表示装置30に出力する。
【0025】
図2は、実施の形態1に係る映像処理装置10のハードウェア構成を示す図である。図2に示されるように、映像処理装置10は、主要なハードウェア構成として、情報処理部としてのメインプロセッサ101と、情報記憶部としてのメインメモリ102と、カメラインタフェース103と、画像処理用の情報処理部としての画像処理プロセッサ104と、画像処理用の情報記憶部としての画像処理メモリ105と、表示インタフェース106と、入力インタフェース107と、これらの構成101〜107が接続された信号経路108とを備える。
【0026】
カメラ20は、映像処理装置10のカメラインタフェース103と有線又は無線で通信可能に接続されている。また、カメラ20とカメラインタフェース103は、IP(Internet Protocol)ネットワークなどのネットワークを経由して接続されてもよく、又は、同軸ケーブルなどの専用の通信線によって接続されてもよい。このように、カメラ20とカメラインタフェース103との接続方法は、特に限定されない。
【0027】
カメラインタフェース103は、カメラ20から送信されたカメラ映像としての映像データD1を受信する。メインプロセッサ101は、カメラインタフェース103で受信されたカメラ映像に、タグを重畳表示させるための画像処理を行うタグ配置プログラムを実行することができる。
【0028】
メインメモリ102は、メインプロセッサ101によって直接アクセスされる記憶装置である。メインメモリ102には、オブジェクトIDに紐付けられたタグ情報が保持されている。メインメモリ102は、例えば、半導体記憶装置である。メインメモリ102の他に、HDD(ハードディスクドライブ)のような大容量記憶装置を備えてもよい。メインプロセッサ101は、メインメモリ102に記憶されたタグ配置プログラムを読み出して実行することで、図1に示されるオブジェクト検出部12が行う処理、タグ情報管理部13が行う処理、タグ配置決定部14が行う処理、タグ重畳部15が行う処理を実行することができる。
【0029】
画像処理プロセッサ104は、行列演算及び浮動小数点演算を高速に実行することができる画像処理に特化した専用プロセッサである。画像処理メモリ105は、画像処理プロセッサ104によって直接アクセスされる記憶装置である。ただし、メインプロセッサ101が、画像処理プロセッサ104の動作を代行し、メインメモリ102が、画像処理メモリ105の機能を代行する場合には、画像処理プロセッサ104と画像処理メモリ105とを備える必要はない。
【0030】
表示インタフェース106は、表示装置30と接続されており、カメラ映像にタグ51を重畳して表示するための映像データ信号D7を表示装置30に提供する。
【0031】
図3は、実施の形態1におけるタグ情報テーブルDB部17に格納されるタグ情報テーブルの一例を表形式で示す図である。図3に示されるように、タグ情報テーブル17aは、項目番号(項番)ごとに、互いに紐付けされたオブジェクトIDとタグ情報とを有する。オブジェクトIDは、オブジェクト検出部12によって検出され、認識されたオブジェクトに付与されたID(識別情報)である。
【0032】
タグ情報は、オブジェクトに関連する付加情報である。タグ情報の一例は、オブジェクトが会社に帰属する人物(社員)である場合に、オブジェクトとしての人物が所属する会社の社員番号である。タグ情報の他の例は、オブジェクトが工場の生産ラインを移動する工業製品である場合に、オブジェクトとしての工業製品の製造番号である。タグ情報のさらに他の例は、オブジェクトが公共エリアを歩行する人物(不特定の人物)である場合に、オブジェクトとしての人物の特徴を表す情報であるおおよその年齢(年代)及び性別である。図3では、オブジェクトIDに1つのタグ情報が紐付けられたタグ情報テーブルを示しているが、オブジェクトIDに2つ以上のタグ情報が紐付けられたタグ情報テーブルを用いてもよい。
【0033】
図4は、実施の形態1におけるオブジェクト検出部12によるオブジェクト検出の一例を示す図である。オブジェクト検出部12は、映像受信部11から受け取ったカメラ映像としての映像データ(例えば、RAW画像データ)D2からオブジェクト41a,41b,41cを検出する。オブジェクト41a,41b,41cの検出とは、映像受信部11から受け取ったRAW画像データD2におけるオブジェクト41a,41b,41cの位置を取得することである。
【0034】
オブジェクト41a,41b,41cの位置は、例えば、オブジェクト41a,41b,41cを代表する代表点座標(例えば、オブジェクト41a,41b,41cの中心位置の座標)とオブジェクト41a,41b,41cの大きさ(例えば、オブジェクト41a,41b,41cを囲う矩形領域51a,51b,51cの大きさ)とで特定される。
【0035】
オブジェクト41a,41b,41cを囲う領域が、オブジェクト41a,41b,41cの外周に接する枠線の内側の矩形領域である場合には、オブジェクト41a,41b,41cの大きさは、矩形領域51a,51b,51cの4つの頂点の座標(角部座標)を用いて表わすことができる。ただし、オブジェクト41a,41b,41cの大きさを表す指標は、矩形領域51a,51b,51cの4つの角部座標に限定されるものではない。オブジェクト41a,41b,41cの大きさは、矩形領域51a,51b,51cの枠線の対角の2点の角部座標(例えば、左上の角部座標と右下の角部座標)などのような、他の指標で表されてもよい。また、オブジェクト41a,41b,41cを囲う領域は、着目対象であるオブジェクト41a,41b,41cの形状に応じて矩形以外の形状(例えば、三角形、五角以上の多角形、円形、楕円形などの他の形状)とすることも可能である。
【0036】
オブジェクト41a,41b,41cの検出には、例えば、RAW画像データD2から動体を抽出する方法を用いることができる。動体を抽出する方法としては、背景差分(background subtraction)を用いて前景画領域を抽出する方法がある。
【0037】
背景差分とは、観測画像を事前に取得した画像と比較することで、事前に取得した画像に存在しない物体を抽出する処理を指す。観測画像において、事前に取得した画像に存在しない物体が占める領域は、オブジェクトが存在する領域であり、前景画領域に含まれる。ただし、オブジェクトを検出する方法は、背景差分に限られず、他の方法を採用してもよい。
【0038】
図4に示される例では、3つのオブジェクト41a,41b,41cが検出されている。図4における右側のオブジェクト41aの矩形領域51aの左上の角部座標は(1520,350)であり、右下の角部座標は(1570,450)である。図4における中央のオブジェクト41bの矩形領域51bの左上の角部座標は(900,300)であり、右下の角部座標は(950,400)である。図4における左側のオブジェクト41cの左上の矩形領域51cの角部座標は(400,800)であり、右下の角部座標は(450,900)である。
【0039】
また、図4には、検出された3つのオブジェクト41a,41b,41cに関連するタグである矩形領域51a,51b,51cの枠線が表示されている。図4におけるタグは、オブジェクト41a,41b,41cを囲う枠線である。
【0040】
図5(a)から(c)は、実施の形態1におけるタグの他の例を示す図である。図5(a)では、オブジェクト41dから延びる引出し線に付された番号がタグである。図5(b)では、オブジェクト41eの近傍に表示された番号がタグである。図5(c)では、オブジェクト41fの真上に表示されたオブジェクトを向いた矢印がタグである。タグは、表示画面においてオブジェクトを強調することができる表示であれば、他の表示形式であってもよい。
【0041】
オブジェクト検出部12は、オブジェクト41a,41b,41cの位置を取得し、オブジェクト41a,41b,41cごとにオブジェクトの認識を行い、オブジェクト41a,41b,41cの位置(例えば、中心座標)及び大きさと、オブジェクト41a,41b,41cに付与したオブジェクトIDとを紐付ける。オブジェクト検出部12は、オブジェクトの位置(例えば、中心座標)、オブジェクトの大きさ、及びオブジェクトIDを元にオブジェクト情報リストを作成する。
【0042】
図6は、実施の形態1におけるオブジェクト検出部12によって作成されたオブジェクト情報リストの一例を表形式で示す図である。図6に示されるように、オブジェクト情報リストは、例えば、オブジェクトの位置(例えば、中心座標)、オブジェクトの大きさ、及びオブジェクトIDの3項目により構成される。オブジェクト検出部12は、作成したオブジェクト情報リストを、タグ配置決定部14に送信する。
【0043】
タグ配置決定部14は、オブジェクト検出部12からオブジェクト情報リストを受け取り、このオブジェクト情報リストに記載されたオブジェクトIDを用いて、該当オブジェクトIDに関するタグ情報をタグ情報管理部13から取得する。
【0044】
タグ配置決定部14は、オブジェクト検出部12で検出した着目対象であるオブジェクトの中心座標から任意のサイズを検索領域として設定する。ここでいう検索領域のサイズは、必ずしも固定されるものではなく、例えば、オブジェクト41a,41b,41cの大きさ(例えば、縦幅及び横幅)に対して2倍の大きさ(例えば、2倍の縦幅及び2倍の横幅)としてもよい。
【0045】
図7は、実施の形態1における検索領域61a,61b,61cを説明するための図である。図7では、3つのオブジェクト41a,41b,41cが検出されており、3つのオブジェクト41a,41b,41cを含む矩形の検索領域(矩形の破線)61a,61b,61cが設定されている。図7に示される例においては、検索領域61a,61b,61cの横幅は、オブジェクト41a,41b,41cの横幅の約3倍であり、検索領域61a,61b,61cの縦幅は、オブジェクト41a,41b,41cの縦幅の約3倍である。
【0046】
タグ配置決定部14は、設定した検索領域61a,61b,61cの中から前景画領域と背景画領域を区別して、背景画領域と認識した領域からタグを配置可能な領域を検索する。タグ配置決定部14によりオブジェクトに紐付けるタグの大きさは、予め決定されている。タグの大きさは、ユーザー指定で固定として決められているもよいし、タグの情報量に応じて可変であってもよい。ここでは、タグの大きさは、予め決められた固定の大きさである場合を説明する。
【0047】
タグ配置決定部14は、検索領域61a,61b,61cの中で背景画領域と判断された領域において、タグを配置可能な領域が見つかった場合に、タグの配置位置をタグ配置可能領域内に設定する。タグ配置決定部14により設定されたタグが占める領域は、前景画領域として認識される。検索領域61a,61b,61c内にタグを配置する領域が見つからない場合は、タグ配置決定部14は、検索領域を拡大する。
【0048】
図8は、実施の形態1における拡大された検索領域71bを説明するための図である。例えば、図8の中央のオブジェクト41bの検索領域61bにおいて、タグを配置可能な領域が見つからなかった場合は、タグ配置決定部14は、図8のオブジェクト41bにおいて、検索領域61bを拡大した検索領域71b(破線の矩形枠)を設定する。図8に示されるように、拡大された検索領域71bは、拡大前の検索領域61bを囲むように、検索領域61bよりも広い範囲に設定される。
【0049】
タグ配置決定部14は、オブジェクトID、該当するタグ情報、タグを配置する座標(左上の角部座標と右下の角部座標)を持つタグ配置リストをタグ重畳部15に送る。
【0050】
タグ重畳部15は、タグ配置決定部14から受信したタグ配置リストを用いて、映像受信部11から渡されたカメラ映像にタグ情報を重畳させる。タグ重畳部15では、タグ配置リストにあるタグ情報を重畳し、カメラ映像にタグ情報を重畳した映像を映像出力部16に送信する。
【0051】
映像出力部16は、タグ重畳部15から映像データD6を受け取り、映像データD6に基づく映像データD7を表示装置30に出力する。
【0052】
《1−2》動作
図9は、実施の形態1における映像受信部11の動作を示すフローチャートである。図9に示されるように、映像受信部11は、カメラ20から送信されたカメラ映像である映像データD1を受信する(ステップS10)。次に、映像データD1が圧縮符号化データである場合には、映像受信部11は、映像データD1をデコードすることで、デコードされた映像データであるRAW画像データD2を出力する(ステップS11)。
【0053】
例えば、カメラ20からH.264形式で圧縮符号化された映像データD1がストリーミング配信される場合には、映像受信部11は、H.264形式の映像データに対応するデコードを行うことで、例えば、RGBA(Red,Green,Blue,Alpha)32ビットのRAW画像データD2を、オブジェクト検出部12とタグ重畳部15に供給する。デコード後のRAW画像データD2は、RGBA32ビットのRAW画像データに限定されず、非圧縮の画像データであれば、他の形式の画像データであってもよい。
【0054】
図10は、実施の形態1におけるタグ情報管理部13の動作を示すフローチャートである。図10に示されるように、タグ情報管理部13は、タグ配置決定部14によって指定されたオブジェクトIDに紐付けされたタグ情報を、タグ情報テーブルDB部17から取得し(ステップS20)、オブジェクトIDと取得したタグ情報とを含む情報D4をタグ配置決定部14に提供する(ステップS21)。
【0055】
図11は、実施の形態1におけるオブジェクト検出部12の動作を示すフローチャートである。図11に示されるように、オブジェクト検出部12は、映像受信部11から出力されたRAW画像データD2からオブジェクトの検出処理を行う(ステップS30)。オブジェクトの検出処理では、例えば、オブジェクトの中心座標と、オブジェクトのサイズとして左上と右上の角部座標を取得する。
【0056】
オブジェクトの検出処理で1つ以上のオブジェクトが検出された場合(ステップS31においてYES)、オブジェクト検出部12は、検出されたオブジェクトの認識を行う(ステップS32)。オブジェクト検出部12は、オブジェクトが1つも検出できない場合(ステップS31においてNO)は処理を終了し、タグ配置決定部14に処理終了を通知する。
【0057】
オブジェクトの認識(ステップS32)は、一般的に、画像に映っているオブジェクト(例えば、人、動物、物など)を画像解析する機械学習の手法を用いて、行われる。オブジェクトの認識手法は、特に限定されない。続いて、オブジェクト検出部12は、認識したオブジェクトに対してオブジェクトIDを紐付けする(ステップS33)。オブジェクト検出部12は、オブジェクトの中心座標、オブジェクトの大きさ、オブジェクトIDを項目として持つオブジェクト情報リスト(図6)をタグ配置決定部14に提供する(ステップS34)。
【0058】
図12は、実施の形態1におけるタグ配置決定部14の動作を示すフローチャートである。図12に示されるように、タグ配置決定部14は、オブジェクト検出部12から出力されたオブジェクト情報リスト(図6)を用いて、オブジェクトの個数分だけステップS40〜S47の処理を繰り返す。
【0059】
まず、タグ配置決定部14は、該当オブジェクトIDのタグ情報をタグ情報管理部13から取得する(ステップS40)。
【0060】
次に、タグ配置決定部14は、タグ情報管理部13から該当するオブジェクトIDのタグ情報を受け取り、1つのオブジェクトIDに対してタグを配置するための検索領域(図7における領域61a,61b,61cなど)を設定する(ステップS41)。このときの検索領域のサイズは、事前にユーザー指定された大きさであるが、オブジェクトの大きさに対して2倍の長さでの領域を検索領域としてもよい。このように、検索領域のサイズは、必ずしも固定されている必要はなく、オブジェクトのサイズに応じて変えられてもよい。
【0061】
次に、タグ配置決定部14は、設定した検索領域の中で背景画領域と前景画領域を区別する(ステップS42)。ここで、背景画領域とは、前景画領域以外の領域のことをいう。前景画領域は、該当オブジェクトが占める領域と、他のオブジェクトが占める領域と、他のオブジェクトのタグ領域とを含む。なお、事前に複数枚の画像を取得して背景モデルを構築し,その背景モデルと新たに観測された画像の比較により、変化した領域を前景画領域とし、それ以外の領域を背景画領域とすることも可能である。
【0062】
図4を用いて説明すると、該当オブジェクトと他オブジェクトのタグ領域の部分が前景画領域となり、それ以外の部分が背景画領域となる。ここで前景画領域は、該当オブジェクトと他のオブジェクトとオブジェクトのタグ領域とに限るものではない。例えば、カメラ映像上に重畳する映像を、前景画領域と設定することも可能である。
【0063】
次に、タグ配置決定部14は、抽出した背景画領域において、タグ(例えば、図5(a)〜(c)における51d,51e,51f)を配置可能な領域を検索する(ステップS43)。タグ配置決定部14が配置するタグの大きさは、タグ情報の文字数により可変とすることができ、また、固定の大きさとすることもできる。背景画領域におけるタグ配置可能な領域の検索手法として、検索領域の左上を原点として順次タグの配置領域を検索してもよい。タグ配置可能な領域の検索は、予め定められた位置から開始されてもよい。
【0064】
例えば、検索領域を任意サイズの格子状に配列された複数の格子領域に区分し、複数の格子領域の各々について、背景画領域であるか前景画領域であるかを判定し、この判定結果に基づいてタグの配置可能領域を見つけてもよい。その際、複数の格子領域の内のどの格子領域からタグ配置が可能かを検索する検索手順は、特に限定されない。タグ配置決定部14は、設定された検索領域の中でタグ配置可能な領域が見つかった場合(ステップS44においてYES)、タグ配置リストにタグの配置位置とタグ情報を出力する(ステップS45)。
【0065】
タグ配置決定部14は、検索領域の中でタグ配置可能な領域が見つからなかった場合(ステップS44においてNO)、検索領域を拡大してオブジェクトに対する検索領域の再設定(拡大された検索領域の設定)を行う(ステップS46)。検索領域の再設定が可能ならば(ステップS47においてYES)、処理はステップS42に戻り、再設定された検索領域において、前景画領域と背景画領域とを区別する。検索領域の拡大サイズは、固定(予め決められたサイズ)でもよいし、オブジェクトの大きさ又は拡大前の検索領域の大きさなどに応じて動的に変更されてもよい。検索領域の再設定が不可能な場合(ステップS47においてNO)は、タグ配置決定部14は、タグ情報を未取得な他のオブジェクトがあるかを判断し、ある場合には(ステップS48においてYES)、処理をステップS40に戻し、ない場合には(ステップS48においてNO)、タグ重畳部15にタグ情報を出力して、タグ配置決定部14は、動作を終了する。
【0066】
図13は、実施の形態1におけるタグ重畳部15の動作を示すフローチャートである。図13に示されるように、タグ重畳部15は、映像受信部11から出力されたRAW画像データD2に、タグ配置決定部14から出力されたタグ配置リストを用いてタグ情報を重畳する(ステップS50)。
【0067】
オブジェクトとタグ情報の位置が離れている場合は、図5(a)に示されるように、互いの関連性を示すために、オブジェクトとタグを線で結んで表示してもよい。タグ重畳部15は、タグ情報を重畳した画像データD6を映像出力部16に出力する。映像出力部16では、タグ重畳部15から得た画像データD7を表示装置30に出力する。
【0068】
《1−3》効果
以上に説明したように、実施の形態1に係る映像処理装置100、映像処理方法、映像処理プログラム、及び映像監視システムによれば、表示装置30に表示されるカメラ映像において、オブジェクト41に関連する付加情報としてのタグ51を背景画領域に配置することができるので、他のオブジェクト及び他のオブジェクトのタグに重ってタグを設定しない。このため、オブジェクトの監視が容易になるという効果がある。
【0069】
《2》実施の形態2
上記実施の形態1に係る映像処理装置10は、カメラ20から出力された映像データD1に基づくRAW画像データD2から被写体としてオブジェクト41の位置を検出し、オブジェクト41の中心座標を基準位置として検索領域を設定し、検索領域内における背景画領域に、タグ51の配置位置を決定している。
【0070】
しかし、オブジェクトが移動し、このオブジェクトに関連するタグがオブジェクトに追従して移動する場合には、表示装置30の画面31において、複数のオブジェクトが互いに重なったり、複数のタグが互いに近づいたり若しくは重なったりする場合がある。このように、複数のオブジェクトが、互いに接近して又は互いに重なって存在する場合には、画面31を見ている監視者は、関連するオブジェクトとタグとの組が分かり難くなる。
【0071】
そこで、実施の形態2に係る映像処理装置は、複数のタグの色を互いに異なる色で表示できる機能を備えている。さらに、実施の形態2に係る映像処理装置は、複数のオブジェクトの各々の上に、関連するタグの色と同じ色のマークを付すことができる機能を備えてもよい。なお、実施の形態2の説明に際しては、図1をも参照する。
【0072】
図14は、実施の形態2に係る映像処理装置のタグ情報テーブルDB部17に格納されているタグ情報テーブル17bの一例を示す図である。図14に示されるように、タグ情報テーブル17bを持つ実施の形態2に係る映像処理装置は、オブジェクトIDごとに表示色に関する表示色情報を有し、タグ配置決定部14が表示色情報に基づいてタグの表示色を指定する点で、実施の形態1に係る映像処理装置10と相違する。
【0073】
図15(a)から(c)は、実施の形態2に係る映像処理装置の効果を説明するための図である。図15(a)に示されるように、オブジェクト(人物)41gと他のオブジェクト(他の人物)41hとが十分に離れているときには、オブジェクト41gに関連するタグ51gと他のオブジェクト41hに関連するタグ51hとは、互いに十分離れているので、監視者は、タグ51gを参照してオブジェクト41gを容易に把握し、タグ51hを参照してオブジェクト41hを容易に把握することができる。しかし、他のオブジェクト41hが白矢印方向(図15(a)における左方向)に移動して、オブジェクト41gに近づくと、タグ51gとタグ51hが、オブジェクト41gと41hのいずれに関連しているものであるかが、画面上でわかりにくくなる。
【0074】
このとき、図15(b)に比較例として示されるように、タグ51gとタグ51hとが同じ表示色であると仮定すると、監視者は、オブジェクト41gと41hの把握に際し、2つのタグのいずれを参照するべきか容易に判断することができない。
【0075】
そこで、実施の形態2に係る映像処理装置においては、図14に示されるように、タグ情報テーブル17bは、オブジェクトIDごとに表示色に関する表示色情報を有し、タグ配置決定部14はタグ51gと51hの表示色を指定する。このため、実施の形態2においては、オブジェクト51gと51hとが接近した場合であっても、タグ51gと51hとを容易に監視することができる。
【0076】
また、図15(c)に示されるように、タグ配置決定部14はオブジェクト41g上にタグ51gと同じ色のマーク52gを付し、オブジェクト41h上にタグ51hと同じ色のマーク52hを付す機能を備えてもよい。この場合には、図15(c)に示されるように、監視者は、オブジェクトとタグとの関連を色で判断できるので、オブジェクトに関連するタグを誤ることはなくなり、オブジェクトの監視を容易に行うことができる。
【0077】
以上の点を除いて、実施の形態2に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムは、実施の形態1のものと同じである。
【0078】
《3》実施の形態3
上記実施の形態1に係る映像処理装置10は、カメラ20から出力された映像データD1に基づくRAW画像データD2から被写体としてオブジェクト41の位置を検出し、オブジェクト41の中心座標を基準位置として検索領域を設定し、検索領域内における背景画領域に、タグ51の配置位置を決定している。
【0079】
しかし、オブジェクトが移動し、このオブジェクトに関連するタグがオブジェクトに追従して移動する場合には、表示装置30の画面31において、複数のオブジェクトが互いに重なったり、複数のタグが互いに近づいたり若しくは重なったりする場合がある。この場合に、より監視の重要度(優先順位)が高いオブジェクトのタグが監視の重要度が低いオブジェクト又はそのタグに隠れて、表示されなくなることがある。
【0080】
そこで、実施の形態3に係る映像処理装置は、タグ情報テーブルにおいて、オブジェクトIDごとに重要度を示す優先順位情報を持ち、優先順位が高いオブジェクト(例えば、子供、ベビーカー、車いす、不審者など)のタグは、他のオブジェクト又は他のオブジェクトのタグによって隠れないように手前に表示させる機能を持つ。なお、実施の形態3の説明に際しては、図1をも参照する。
【0081】
図16は、実施の形態3に係る映像処理装置のタグ情報テーブルDB部17に格納されているタグ情報テーブル17cの一例を示す図である。図16に示されるように、タグ情報テーブル17cを持つ実施の形態3に係る映像処理装置は、オブジェクトIDごとに優先順位を示す優先順位情報を有し、タグ配置決定部14がタグの優先順位を指定する点で、実施の形態1に係る映像処理装置10と相違する。
【0082】
図17(a)から(c)は、実施の形態3に係る映像処理装置の効果を説明するための図である。図17(a)に示されるように、オブジェクト(大人)41iと優先順位の高い他のオブジェクト(子供)41jとが十分に離れているときには、オブジェクト(大人)41iに関連するタグ51iと他のオブジェクト(子供)41jに関連するタグ51jとは互いに十分離れている。しかし、他のオブジェクト(子供)41jが白矢印方向に移動して、図17(b)の比較例に示されるように、オブジェクト(大人)41iに重なったときに、オブジェクト(子供)41jのタグ51jがオブジェクト(大人)41iの下に隠れると、オブジェクト(子供)41jのタグ51jを、画面上で参照することができなくなる。
【0083】
そこで、実施の形態3に係る映像処理装置おいては、図16に示されるように、タグ情報テーブル17cが、オブジェクトIDごとに優先順位情報を有し、タグ配置決定部14はタグ51iとタグ51jの優先順位を指定する。このため、実施の形態3に係る映像処理装置おいては、優先順位が低いオブジェクト(大人)41iと優先順位が高いオブジェクト(子供)41jとが接近した場合であっても、優先順位の高いオブジェクト(子供)41jのタグ51jを容易に確認することができる。例えば、図17(c)に示されるように、タグ配置決定部14は、オブジェクト(子供)41jのタグ51jを付し、オブジェクト(大人)41iの上(手前)の位置に表示するので、図17(b)の比較例の場合に比べ、オブジェクト41jの監視を容易に行うことができる。
【0084】
以上の点を除いて、実施の形態3に係る映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システムは、実施の形態1のものと同じである。
【0085】
また、実施の形態3の機能を、実施の形態2に適用することも可能である。
【0086】
《4》変形例
図18は、実施の形態1から3に係る映像処理装置の変形例の概略構成を示す機能ブロック図である。図18において、図1に示される構成要素と同じ又は対応する構成要素には、図1に示される符号と同じ符号が付される。図18に示される映像処理装置は、オブジェクトを検出するセンサ21を有し、オブジェクト検出部12aは、センサ21の検出結果に基づいてオブジェクトを検出及び認識する点で、上記実施の形態1から3に係る映像処理装置と相違する。
【0087】
センサ21は、オブジェクトの位置を検出できるものであれば、特に、制限はない。例えば、オブジェクトである人物が、アクティブRFID(radio frequency identifier)を携帯し、センサ21がアクティブRFIDの電波を検出することで、特定人物の位置情報を継続的に追跡する方式が考えられる。また、センサ21のオブジェクト検出と、RAW画像データD2の画像解析に基づく検出との両方に基づいてオブジェクトの検出を行うことも可能である。この場合には、オブジェクトの検出をより正確且つ迅速に行うことができる。
【符号の説明】
【0088】
10 映像処理装置、 11 映像受信部、 12,12a オブジェクト検出部、 13 タグ情報管理部、 14 タグ配置決定部、 15 タグ重畳部、 16 映像出力部、 17 タグ情報テーブルDB部、 17a〜17c タグ情報テーブル、 20 カメラ、 21 センサ、 30 表示装置、 31 画面、 41,41a〜41j オブジェクト(被写体)、 51,51a〜51j タグ、 61a〜61c 検索領域、 71b 拡大された検索領域、 101 メインプロセッサ、 102 メインメモリ、 103 カメラインタフェース、 104 映像処理プロセッサ、 105 映像処理メモリ、 106 表示インタフェース、 107 入力インタフェース、 108 信号経路。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18

【手続補正書】
【提出日】2017年10月13日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有し、
前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像処理装置。
【請求項2】
前記タグ配置決定部は、前記検索領域内における前記背景画領域に前記表示可能領域がない場合に、前記検索領域より大きい拡大された検索領域を設定する第4の処理を行い、前記第4の処理の後に、前記第3の処理を再度実行することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記オブジェクト検出部は、前記カメラ映像の画像解析によって前記オブジェクトを検出することを特徴とする請求項1又は2に記載の映像処理装置。
【請求項4】
前記オブジェクトを検出して検出信号を出力するセンサをさらに有し、
前記オブジェクト検出部は、前記検出信号に基づいて前記オブジェクトを検出する
ことを特徴とする請求項1又は2に記載の映像処理装置。
【請求項5】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報とを格納するデータベースから取得された前記付加情報を前記タグ配置決定部に提供することを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。
【請求項6】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報と表示色情報とを格納する前記データベースから取得された前記付加情報及び前記表示色情報を前記タグ配置決定部に提供し、
前記タグ配置決定部は、前記表示色情報に基づく色で前記タグを表示させる
ことを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。
【請求項7】
前記タグ情報管理部は、互いに関連する前記オブジェクトの識別情報と付加情報と優先順位情報とを格納する前記データベースから取得された前記付加情報及び前記優先順位情報を前記タグ配置決定部に提供し、
前記タグ配置決定部は、複数のタグが重複する場合に、前記複数のタグの内のより高い優先順位に関連するタグを手前に表示させる
ことを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。
【請求項8】
カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を有し、
前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像処理方法。
【請求項9】
コンピュータに、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理プログラムであって、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記コンピュータに、
前記オブジェクトを検出する検出ステップと、
前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップと
を実行させ、
前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する映像処理プログラム。
【請求項10】
被写体を撮影することによってカメラ映像を生成するカメラと、
映像データに基づく映像を表示する表示装置と、
前記カメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、前記表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置と、を有し、
前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、
前記映像処理装置は、
前記オブジェクトを検出するオブジェクト検出部と、
前記付加情報を格納するデータベースを管理するタグ情報管理部と、
前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、
前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部と
を有し、
前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する
ことを特徴とする映像監視システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
本発明の一態様に係る映像処理装置は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理装置であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出するオブジェクト検出部と、前記付加情報を格納するデータベースを管理するタグ情報管理部と、前記オブジェクト検出部によって検出された前記オブジェクトに関連する前記付加情報を前記タグ情報管理部から取得する第1の処理と、前記オブジェクト検出部によって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行うタグ配置決定部と、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成するタグ重畳部とを有し、前記タグ配置決定部は、前記検索領域を、前記オブジェクト検出部で検出された前記オブジェクトの大きさに応じた大きさに設定する
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
本発明の他の態様に係る映像処理方法は、カメラ撮影によって取得されたカメラ映像内に存在する着目対象としてのオブジェクトに関連する付加情報を、表示装置において前記カメラ映像にタグとして重畳表示させる映像処理方法であって、前記カメラ映像において前記オブジェクトが占める領域と前記タグが占める領域とを前景画領域とし、前記カメラ映像における前記前景画領域以外の領域を背景画領域とし、前記オブジェクトを検出する検出ステップと、前記検出ステップによって検出された前記オブジェクトに関連する前記付加情報を、前記付加情報を管理するデータベースから取得する第1の処理と、前記検出ステップによって検出された前記オブジェクトを含む検索領域を設定する第2の処理と、前記検索領域内における前記背景画領域に前記第1の処理で取得された前記付加情報としてのタグを表示することができる表示可能領域がある場合に、前記タグの表示位置を前記表示可能領域内に決定する第3の処理とを行う配置決定ステップと、前記カメラ映像に前記タグを重畳表示させる合成映像データを生成する重畳ステップとを有し、前記配置決定ステップでは、前記検索領域を、前記検出ステップで検出された前記オブジェクトの大きさに応じた大きさに設定する
【国際調査報告】