特開2018-198406(P2018-198406A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ルネサスエレクトロニクス株式会社の特許一覧
特開2018-198406監視カメラシステムおよび画像処理装置
<>
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000003
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000004
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000005
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000006
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000007
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000008
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000009
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000010
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000011
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000012
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000013
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000014
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000015
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000016
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000017
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000018
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000019
  • 特開2018198406-監視カメラシステムおよび画像処理装置 図000020
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-198406(P2018-198406A)
(43)【公開日】2018年12月13日
(54)【発明の名称】監視カメラシステムおよび画像処理装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20181116BHJP
   H04N 5/232 20060101ALI20181116BHJP
   H04N 5/225 20060101ALI20181116BHJP
【FI】
   H04N7/18 D
   H04N5/232 290
   H04N5/225 700
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【全頁数】26
(21)【出願番号】特願2017-103097(P2017-103097)
(22)【出願日】2017年5月24日
(71)【出願人】
【識別番号】302062931
【氏名又は名称】ルネサスエレクトロニクス株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】特許業務法人筒井国際特許事務所
(72)【発明者】
【氏名】新倉 謙太郎
【テーマコード(参考)】
5C054
5C122
【Fターム(参考)】
5C054DA01
5C054DA09
5C054EG00
5C054FC00
5C054FC12
5C054FE12
5C054FF06
5C054GB14
5C122DA11
5C122EA55
5C122EA61
5C122FC01
5C122FC02
5C122FG01
5C122FG03
5C122FG12
5C122FG15
5C122FH11
5C122FH16
5C122HA02
5C122HA88
5C122HB02
5C122HB05
5C122HB10
(57)【要約】
【課題】有益な情報を劣化させずに情報量を削減することが可能な監視カメラシステムを提供する。
【解決手段】監視カメラシステムSSYS_Aは、ピクセルアレイPXARYと、ピクセルアレイPXARYからの各画素値を含むRAWデータに対して各種画像処理を行うイメージシグナルプロセッサISPと、ピクセルアレイPXARYとイメージシグナルプロセッサISPとの間に配置される前段処理ユニットFSPU_Aとを有する。前段処理ユニットFSPU_Aは、ピクセルアレイPXARYからのフレーム毎のRAWデータを受けて、フレームの有効画素領域を、重要領域と非重要領域とに区別する重要領域抽出回路IAEX_Aを有し、重要領域のRAWデータをイメージシグナルプロセッサISPへ送信する。
【選択図】図1
【特許請求の範囲】
【請求項1】
複数の撮像素子によって構成されるピクセルアレイと、
前記ピクセルアレイからの各画素値を含むRAWデータに対して各種画像処理を行うイメージシグナルプロセッサと
前記ピクセルアレイと前記イメージシグナルプロセッサとの間に配置される画像処理部と、
を有する監視カメラシステムであって、
前記画像処理部は、前記ピクセルアレイからのフレーム毎の前記RAWデータを受けて、前記フレームの有効画素領域を、重要領域と非重要領域とに区別する重要領域抽出回路を有し、前記重要領域の前記RAWデータを前記イメージシグナルプロセッサへ送信する、
監視カメラシステム。
【請求項2】
請求項1記載の監視カメラシステムにおいて、
前記画像処理部は、さらに、所定の付加情報と、前記ピクセルアレイからの前記RAWデータとを合成して前記イメージシグナルプロセッサへ送信するデータ合成回路を有し、
前記データ合成回路は、前記重要領域抽出回路からの区別情報に基づき、前記フレームの送信期間内の前記重要領域に該当する期間で、前記重要領域の前記RAWデータを前記イメージシグナルプロセッサへ送信し、前記非重要領域に該当する期間で、前記非重要領域の前記RAWデータの代わりに前記所定の付加情報を前記イメージシグナルプロセッサへ送信する、
監視カメラシステム。
【請求項3】
請求項2記載の監視カメラシステムにおいて、
前記画像処理部は、さらに、前記重要領域の座標情報を、前記フレームの送信期間内のブランキング期間の情報として生成するブランキング期間情報生成回路を有し、
前記データ合成回路は、前記ブランキング期間情報生成回路からの前記重要領域の前記座標情報を、前記ブランキング期間で前記イメージシグナルプロセッサへ送信し、
前記イメージシグナルプロセッサは、前記ブランキング期間で前記重要領域の前記座標情報を認識することで前記重要領域の前記RAWデータと前記所定の付加情報とを区別して取得する、
監視カメラシステム。
【請求項4】
請求項3記載の監視カメラシステムにおいて、
前記データ合成回路は、前記重要領域の前記座標情報を、前記重要領域が存在する水平座標の先頭に位置する水平ブランキング期間で前記イメージシグナルプロセッサへ送信する、
監視カメラシステム。
【請求項5】
請求項2記載の監視カメラシステムにおいて、
前記画像処理部は、さらに、前記所定の付加情報を生成する付加情報生成回路を有し、
前記付加情報生成回路は、前記重要領域抽出回路からの前記区別情報に基づき、前記重要領域の前記RAWデータに対して所定の画像解析を行い、当該解析結果を前記所定の付加情報として生成する、
監視カメラシステム。
【請求項6】
請求項2記載の監視カメラシステムにおいて、
さらに、前記ピクセルアレイ内または前記ピクセルアレイとは別に設けられ、前記ピクセルアレイからの前記フレーム毎の前記RAWデータと並行してセンサデータを出力する所定のセンサを備え、
前記画像処理部は、さらに、前記センサデータを受けて、前記センサデータに基づく情報を前記所定の付加情報として生成する付加情報生成回路を有する、
監視カメラシステム。
【請求項7】
請求項1記載の監視カメラシステムにおいて、
前記重要領域抽出回路は、前回の前記フレームにおける前記RAWデータの前記各画素値と、今回の前記フレームにおける前記RAWデータの前記各画素値との比較に基づいて前記重要領域と前記非重要領域とを区別する、
監視カメラシステム。
【請求項8】
請求項7記載の監視カメラシステムにおいて、
前記重要領域抽出回路は、前記フレームの前記有効画素領域を複数のブロックに分割して管理し、前記複数のブロック毎に、内部に含まれる前記各画素値の積算値または平均値を前回と今回とで比較することで、前記ブロック単位で前記重要領域か前記非重要領域かを判別する、
監視カメラシステム。
【請求項9】
請求項1記載の監視カメラシステムにおいて、
さらに、前記ピクセルアレイ内または前記ピクセルアレイとは別に設けられ、前記ピクセルアレイからの前記フレーム毎の前記RAWデータと並行してセンサデータを出力する所定のセンサを備え、
前記重要領域抽出回路は、前記センサデータに基づいて前記重要領域と前記非重要領域とを区別する、
監視カメラシステム。
【請求項10】
請求項2記載の監視カメラシステムにおいて、
前記ピクセルアレイと前記画像処理部は、同一の半導体チップに搭載される、
監視カメラシステム。
【請求項11】
複数の撮像素子によって構成されるピクセルアレイと、
前記ピクセルアレイからの各画素値を含むRAWデータに対して各種画像処理を行うイメージシグナルプロセッサと
前記イメージシグナルプロセッサの後段に配置される画像処理部と、
を有する監視カメラシステムであって、
前記画像処理部は、前記イメージシグナルプロセッサからのフレーム毎の画像データを受けて、当該フレーム毎の画像領域を重要領域と非重要領域とに区別する重要領域抽出回路を有する、
監視カメラシステム。
【請求項12】
複数の撮像素子によって構成されるピクセルアレイと、前記ピクセルアレイからの各画素値を含むRAWデータに対して各種画像処理を行うイメージシグナルプロセッサとの間に配置される画像処理装置であって、
前記ピクセルアレイからのフレーム毎の前記RAWデータを受けて、前記フレームの有効画素領域を、重要領域と非重要領域とに区別する重要領域抽出回路を有し、前記重要領域の前記RAWデータを前記イメージシグナルプロセッサへ送信する、
画像処理装置。
【請求項13】
請求項12記載の画像処理装置において、
さらに、所定の付加情報と、前記ピクセルアレイからの前記RAWデータとを合成して前記イメージシグナルプロセッサへ送信するデータ合成回路を有し、
前記データ合成回路は、前記重要領域抽出回路からの区別情報に基づき、前記フレームの送信期間内の前記重要領域に該当する期間で、前記重要領域の前記RAWデータを前記イメージシグナルプロセッサへ送信し、前記非重要領域に該当する期間で、前記非重要領域の前記RAWデータの代わりに前記所定の付加情報を前記イメージシグナルプロセッサへ送信する、
画像処理装置。
【請求項14】
請求項13記載の画像処理装置において、
さらに、前記重要領域の座標情報を、前記フレームの送信期間内のブランキング期間の情報として生成するブランキング期間情報生成回路を有し、
前記データ合成回路は、前記ブランキング期間情報生成回路からの前記重要領域の前記座標情報を、前記ブランキング期間で前記イメージシグナルプロセッサへ送信する、
画像処理装置。
【請求項15】
請求項14記載の画像処理装置において、
前記データ合成回路は、前記重要領域の前記座標情報を、前記重要領域が存在する水平座標の先頭に位置する水平ブランキング期間で前記イメージシグナルプロセッサへ送信する、
画像処理装置。
【請求項16】
請求項13記載の画像処理装置において、
さらに、前記所定の付加情報を生成する付加情報生成回路を有し、
前記付加情報生成回路は、前記重要領域抽出回路からの前記区別情報に基づき、前記重要領域の前記RAWデータを対象に所定の画像解析を行い、当該解析結果を前記所定の付加情報として生成する、
画像処理装置。
【請求項17】
請求項13記載の画像処理装置において、
さらに、前記ピクセルアレイ内または前記ピクセルアレイとは別に設けられた所定のセンサからのセンサデータを、前記ピクセルアレイからの前記フレーム毎の前記RAWデータと並行して受け、前記センサデータに基づく情報を前記所定の付加情報として生成する付加情報生成回路を有する、
画像処理装置。
【請求項18】
請求項12記載の画像処理装置において、
前記重要領域抽出回路は、前回の前記フレームにおける前記RAWデータの前記各画素値と、今回の前記フレームにおける前記RAWデータの前記各画素値との比較に基づいて前記重要領域と前記非重要領域とを区別する、
画像処理装置。
【請求項19】
請求項18記載の画像処理装置において、
前記重要領域抽出回路は、前記フレームの前記有効画素領域を複数のブロックに分割して管理し、前記複数のブロック毎に、内部に含まれる前記各画素値の積算値または平均値を前回と今回とで比較することで、前記ブロック単位で前記重要領域か前記非重要領域かを判別する、
画像処理装置。
【請求項20】
請求項12記載の画像処理装置において、
前記重要領域抽出回路は、前記ピクセルアレイ内または前記ピクセルアレイとは別に設けられた所定のセンサからのセンサデータを、前記ピクセルアレイからの前記フレーム毎の前記RAWデータと並行して受け、前記センサデータに基づいて前記重要領域と前記非重要領域とを区別する、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視カメラシステムおよび画像処理装置に関し、例えば、センシング用途としての監視カメラシステムおよび画像処理装置に関する。
【背景技術】
【0002】
特許文献1には、圧縮率を適宜変更しながら生成した画像データを通信路へ送信する圧縮データ送信装置が示される。特許文献2には、画質劣化を抑制しつつ、第三者によって透かし情報の位置を特定され難くする電子透かしの埋め込み方法が示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−278349号公報
【特許文献2】特開2001−333267号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、カメラ(イメージセンサ)等の画像処理分野では、高画素化や高画質化が進んでいる。これに伴い、取り扱うデータ規模が非常に大きくなり、処理・伝送・蓄積に際して大量のリソースを要するようになってきている。このため、カメラシステムやインフラ(通信網、ストレージ、メモリ、CPU(Central Processing Unit)など)等のリソースを低減するための技術が求められる。一方、画像処理分野では、画像全体が必要となる鑑賞用途ではなく、IoT(Internet of Things)向けなどのように、監視・検知・認識といったセンシング用途としての需要が増えている。センシング用途のカメラでは、画像全体は必ずしも必要とされず、用途(目的)に応じて画像内の有益な情報が得られればよい。
【0005】
こうした中、従来の画像処理では、特許文献1に示されるように、画像データ全体を一律に圧縮したり、特許文献2に示されるように、画像データ全体を一律に加工する(劣化させる)ような処理が行われる。このような技術は、汎用性が高い一方で、画像データ全体に一律に処理を施す関係上、用途によっては効率が悪くなる恐れがある。具体的には、有益な情報を劣化させないようにすることと、情報量を削減することとを両立することが困難となり得る。
【0006】
後述する実施の形態は、このようなことを鑑みてなされたものであり、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【0007】
一実施の形態による監視カメラシステムは、ピクセルアレイと、ピクセルアレイからの各画素値を含むRAWデータに対して各種画像処理を行うイメージシグナルプロセッサと、ピクセルアレイとイメージシグナルプロセッサとの間に配置される画像処理部とを有する。画像処理部は、ピクセルアレイからのフレーム毎のRAWデータを受けて、フレームの有効画素領域を、重要領域と非重要領域とに区別する重要領域抽出回路を有し、重要領域のRAWデータをイメージシグナルプロセッサへ送信する。
【発明の効果】
【0008】
前記一実施の形態によれば、監視カメラシステムにおいて、有益な情報を劣化させずに情報量を削減することが可能になる。
【図面の簡単な説明】
【0009】
図1】本発明の実施の形態1による監視カメラシステムの主要部の構成例を示す概略図である。
図2図1のシステムによって得られるデータの一例を示す模式図である。
図3】本発明の実施の形態1による監視カメラシステムにおいて、図1とは異なる主要部の構成例を示す概略図である。
図4】(a)および(b)は、図1または図3の監視カメラシステムにおける重要領域の判別方法の一例を示す概念図である。
図5図1における重要領域抽出回路の構成例を示すブロック図である。
図6図5におけるブランキング期間情報生成回路の動作例を示す図である。
図7図3における重要領域抽出回路の構成例を示すブロック図である。
図8図1および図3における付加情報生成回路の構成例を示すブロック図である。
図9図1および図3におけるデータ合成回路の構成例を示すブロック図である。
図10図8の付加情報生成回路および図9のデータ合成回路の動作例を示す模式図である。
図11】(a)および(b)は、本発明の実施の形態2による監視カメラシステムにおいて、実際のアプリケーションへの適用例を示す概略図である。
図12】本発明の実施の形態2の監視カメラシステムにおいて、実際のアプリケーションへの他の適用例を示す概略図である。
図13】本発明の実施の形態3による監視カメラシステムにおいて、実際のアプリケーションへの適用例を示す概略図である。
図14図13を変形した適用例を示す概略図である。
図15】本発明の実施の形態4による監視カメラシステムにおいて、主要部の構成例および動作例を示す概略図である。
図16図15とは異なる主要部の構成例および動作例を示す概略図である。
図17】(a)は、本発明の比較例となる監視カメラシステムの主要部の構成例を示す概略図であり、(b)は、(a)のシステムによって得られるデータの一例を示す模式図である。
図18図17(a)におけるイメージセンサからイメージシグナルプロセッサへの各出力信号の一例を示すタイミングチャートである。
【発明を実施するための形態】
【0010】
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。
【0011】
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【0012】
また、実施の形態の各機能ブロックを構成する回路素子は、特に制限されないが、公知のCMOS(相補型MOSトランジスタ)等の集積回路技術によって、単結晶シリコンのような半導体基板上に形成される。
【0013】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0014】
(実施の形態1)
《監視カメラシステム(比較例)の概略およびその問題点》
まず、実施の形態による監視カメラシステムの説明に先だって、比較例となる監視カメラシステムについて説明する。図17(a)は、本発明の比較例となる監視カメラシステムの主要部の構成例を示す概略図であり、図17(b)は、図17(a)のシステムによって得られるデータの一例を示す模式図である。図18は、図17(a)におけるイメージセンサからイメージシグナルプロセッサへの各出力信号の一例を示すタイミングチャートである。
【0015】
図17(a)に示す監視カメラシステムは、レンズLNSと、イメージセンサCSENと、後段処理デバイスSSPD’とを備える。イメージセンサCSENは、アレイ状に配置される複数の撮像素子(言い換えればピクセル(画素))によって構成されるピクセルアレイPXARYと、当該ピクセルアレイPXARYを制御する周辺回路PERIとを備える。複数の撮像素子は、例えば、CCD形式やCMOS形式の素子であり、代表的には、2×G(緑)+R(赤)+B(青)に対応する4個の撮像素子を繰り返すように配置される。周辺回路PERIは、一般的に知られているように、各撮像素子の電荷信号を読み出す回路や、当該電荷信号を増幅する回路や、当該増幅されたアナログ信号をディジタル信号に変換するアナログ・ディジタル変換回路等を備える。
【0016】
後段処理デバイスSSPD’は、イメージシグナルプロセッサISP’と、メモリMEMと、通信処理等を行う各種内部回路INCとを備える。イメージシグナルプロセッサISP’は、一般的に知られているように、イメージセンサCSENの制御を担うと共に、メモリMEMを用いながら、ピクセルアレイPXARYからのRAWデータ(各画素毎の単色の画素値を含む生データ)に対して補正等の各種画像処理を行い、RGBやYUV形式の画像データを生成する。また、イメージシグナルプロセッサISP’は、加えて、JPEG等の画像フォーマットへの変換を行う場合もある。
【0017】
イメージシグナルプロセッサISP’は、具体的には、イメージセンサCSENの周辺回路PERIに対してRAWデータの取得方法に関する各種設定を行ったのち、クロック信号CKiを供給する。これに応じて、イメージセンサCSENは、図18に示されるように、画素クロック信号CKpと、各画素の画素値PVと、垂直同期信号VSYNCと、水平同期信号HSYNCとを出力する。
【0018】
垂直同期信号VSYNCは、1フレーム分の画素値PVの送信期間を表す信号であり、この例では、当該期間で‘1’レベル(または、‘H’レベル等)に制御される。水平同期信号HSYNCは、1フレーム内の1ライン分の画素値PVの送信期間を表す信号であり、この例では、当該期間で‘1’レベル(または、‘H’レベル等)に制御される。具体例として、ピクセル(画素)座標を“h(例えば640)×v(例えば480)”とした場合を想定する。
【0019】
この場合、垂直同期信号VSYNCが‘1’レベルに制御されたのち、水平同期信号HSYNCが‘1’レベルに制御された1番目の期間で、画素クロック信号CKpに同期して1行目(v=1)に含まれる“h”個分の画素値PV[1,1]〜PV[h,1]が出力される。また、水平同期信号HSYNCが‘1’レベルに制御された2番目の期間で、2行目(v=2)に含まれる“h”個分の画素値PV[1,2]〜PV[h,2]が出力される。以降同様にして、画素値PV[h,v]までの出力が行われる。
【0020】
各画素の画素値PVは、ピクセルアレイPXARYの構造に応じて、通常、1バイト〜数バイトといったパラレルデータとなる。このように、ピクセルアレイPXARYから周辺回路PERIを介して読み出された状態の各画素の画素値PVは、RAWデータと呼ばれる。また、図18に示されるように、行が切り替わる際には、水平同期信号HSYNCが‘0’レベル(または、‘L’レベル等)に制御される水平ブランキング期間TBhが設けられる。同様に、フレームが切り替わる際にも、垂直同期信号VSYNCが‘0’レベル(または、‘H’レベル等)に制御される垂直ブランキング期間が設けられる。なお、ここでは、垂直同期信号VSYNCに関し、‘1’レベルを活性レベル、‘0’レベルを非活性レベルとしたが、逆に、‘1’レベルを非活性レベル、‘0’レベルを活性レベルとすることも可能である。水平同期信号HSYNCに関しても同様である。
【0021】
イメージシグナルプロセッサISP’は、このようなRAWデータに対して各種画像処理を行うことで、図17(b)に示されるように、RGB形式やYUV形式等の画像データIMDATnを生成し、それをメモリMEMに格納する。ここで、ピクセルアレイPXARYは、通常、図17(b)に示されるように、画像データIMDATnの元となる有効画素領域AReに加えて、その周辺に配置される垂直ブランキング領域(無効画素領域)ARbvおよび水平ブランキング領域(無効画素領域)ARbhを備える。垂直ブランキング領域ARbvおよび水平ブランキング領域ARbhは、それぞれ、図18で述べた垂直ブランキング期間および水平ブランキング期間TBhに対応する領域となる。
【0022】
このように、比較例となる監視カメラシステムでは、イメージシグナルプロセッサISP’は、ピクセルアレイPXARYにおける有効画素領域AReの全領域から画像データIMDATnを生成する。このため、イメージシグナルプロセッサISP’の処理負荷の増大や、メモリMEMで必要とされる容量の増大や、通信網で必要とされる帯域の増大といったリソースの増大が生じ得る。このため、リソースの制約から、ピクセルアレイPXARYの高画素化(画像データの高品質化)も困難となり得る。
【0023】
一方、監視カメラシステムを、IoT向けなどのように、監視・検知・認識といったセンシング用途(防犯やイベント検知等)として用いる場合、有効画素領域AReの全領域の画像データIMDATnは必ずしも必要とされず、用途(目的)に応じて画像データ内の一部に含まれる有益な情報が得られればよい。ここで、画像処理の方式として、特許文献1や特許文献2等のように、画像データ全体を一律に加工する方式が知られている。画像データ全体を一律に加工する場合、情報量の削減を行うと、劣化の程度は調整できるものの、原則的に、削減量に比例して画像データIMDATnに含まれる有益な情報も劣化することになる。
【0024】
また、特許文献1や特許文献2のような方式は、イメージシグナルプロセッサISP’によって生成された画像データIMDATnに対して適用される方式であるため、前述したイメージシグナルプロセッサISP’等のリソースを低減することは困難となる。その結果、有益な情報の劣化をある程度抑制できたとしても、イメージシグナルプロセッサISP’等のリソースを増やさない限り、高画素化等によって有益な情報の価値を更に高めるようなことは困難である。そこで、後述する実施の形態の方式を用いることが有益となる。
【0025】
《監視カメラシステム(実施の形態1)の概略》
図1は、本発明の実施の形態1による監視カメラシステムの主要部の構成例を示す概略図である。図2は、図1のシステムによって得られるデータの一例を示す模式図である。図1に示す監視カメラシステムSSYS_Aは、レンズLNSと、イメージセンサCSEN_Aと、後段処理デバイスSSPDとを備える。後段処理デバイスSSPDは、図17(a)の場合と同様に、イメージシグナルプロセッサISPと、メモリMEMと、各種内部回路INCとを備える。ただし、詳細は後述するが、イメージシグナルプロセッサISPは、図17(a)のイメージシグナルプロセッサISP’とは一部異なる処理を実行する。
【0026】
イメージセンサCSEN_Aは、例えば、一つの半導体チップで構成され、図17(a)の場合と同様のピクセルアレイPXARYおよび周辺回路PERIに加えて、前段処理ユニットFSPU_Aを備える。前段処理ユニット(画像処理部)FSPU_Aは、重要領域抽出回路IAEX_Aと、付加情報生成回路AIGと、データ合成回路DCMとを有する。重要領域抽出回路IAEX_Aは、ピクセルアレイPXARY(厳密には周辺回路PERI)からのフレーム毎のRAWデータを受けて、当該フレームの有効画素領域を、重要領域と非重要領域とに区別する。
【0027】
付加情報生成回路AIGは、所定の付加情報AIを生成する。付加情報AIは、ユーザの用途等に応じた何らかの情報であり、例えば、重要領域のRAWデータに対する画像解析結果等が挙げられる。データ合成回路DCMは、付加情報AIと、ピクセルアレイPXARYからのRAWデータとを合成し、それを後段処理デバイスSSPDのイメージシグナルプロセッサISPへ送信する。
【0028】
具体的には、図2に示されるように、重要領域抽出回路IAEX_Aは、フレームの有効画素領域AReを、その各画素値PVの変化等に基づいて、重要領域IAR1,IAR2と非重要領域NARとに区別する。明細書では、重要領域IAR1,IAR2を総称して重要領域IARと呼ぶ。データ合成回路DCMは、重要領域抽出回路IAEX_Aからの区別情報に基づき、図18に示したようなフレームの送信期間内の重要領域IARに該当する期間で、重要領域IARのRAWデータをイメージシグナルプロセッサISPへ送信する。一方、データ合成回路DCMは、フレームの送信期間内の非重要領域NARに該当する期間では、非重要領域NARのRAWデータの代わりに付加情報AIをイメージシグナルプロセッサISPへ送信する。
【0029】
イメージシグナルプロセッサISPは、汎用的な機能を有することを前提とすると、図18に示したような規定のフォーマットにしたがって、1フレーム分のデータ長が固定であることを前提としてRAWデータを受信する必要がある。そこで、図2に示されるように、前段処理ユニット(画像処理部)FSPU_Aは、規定のフォーマット(1フレーム分のデータ長)を保ちつつ、重要領域IARを通常通りの期間で送信すると共に、付加情報AIを非重要領域NARに対応する残った期間で送信する。
【0030】
一方、イメージシグナルプロセッサISPは、重要領域IARのRAWデータと付加情報AIとが混在する形で受信したデータDATから、重要領域IARと付加情報AIとを区別する必要がある。そこで、重要領域抽出回路IAEX_A(具体的には、その中のブランキング期間情報生成回路(後述))は、自身の区別情報に基づき重要領域IARの座標情報を生成する。そして、データ合成回路DCMは、図2に示されるように、当該重要領域IARの座標情報をブランキング領域(例えば、水平ブランキング領域ARbh)に対応するブランキング期間(図18の水平ブランキング期間TBh)でイメージシグナルプロセッサISPへ送信する。
【0031】
イメージシグナルプロセッサISPは、当該座標情報を認識することで重要領域IARのRAWデータと付加情報AIとを区別して取得する。そして、イメージシグナルプロセッサISPは、図2に示されるように、重要領域IAR1,IAR2のRAWデータに対してそれぞれ各種画像処理を行ったのち、生成した画像データIMDATiをメモリMEMに格納する。また、イメージシグナルプロセッサISPは、図2に示されるように、取得した付加情報AIをメモリMEMに格納する。
【0032】
なお、重要領域IARの座標情報は、水平または垂直ブランキング期間(ARbh,ARbv)に格納されればよく、望ましくは、重要領域IARが出現する前のブランキング期間に格納されればよい。すなわち、イメージシグナルプロセッサISPは、例えば、有効画素領域AReに加えて無効画素領域(すなわちブランキング期間)ARbh,ARbvに含まれるRAWデータを、一旦、メモリMEMに格納したのち、当該メモリMEMを読み出して画像処理を行うような場合がある。この場合、座標情報は、ブランキング期間内の任意の期間に格納されていればよい。
【0033】
これにより、イメージシグナルプロセッサISPは、最初に、メモリMEMから当該座標情報を読み出すことで、メモリMEMから重要領域IARのRAWデータと付加情報AIとを区別して取得することができる。イメージシグナルプロセッサISPは、取得した重要領域IARのRAWデータを対象に画像処理を行えばよいため、画像処理に伴う処理負荷を低減することが可能になる。ただし、この場合、画像全体のRAWデータが、一旦、メモリMEMに格納されるため、メモリMEMで必要とされる容量は大きくなる。
【0034】
一方、重要領域IARが出現する前のブランキング期間に座標情報が格納されている場合、イメージシグナルプロセッサISPは、図18に示したようなRAWデータを受信する過程で座標情報を取得し、それに基づいて、受信処理と並行してリアルタイムで重要領域IARのRAWデータを抽出することができる。この場合、イメージシグナルプロセッサISPは、重要領域IARに絞ったRAWデータをメモリMEMに格納することができる。その結果、リソースの更なる低減が可能となる。
【0035】
図3は、本発明の実施の形態1による監視カメラシステムにおいて、図1とは異なる主要部の構成例を示す概略図である。図3に示す監視カメラシステムSSYS_Bは、イメージセンサCSENと、前段処理デバイスFSPDと、後段処理デバイスSSPDと、センサSENとを備える。イメージセンサCSENは、図17(a)の場合と同様であり、例えば、一つの半導体チップで構成される。後段処理デバイスSSPDは、図1の場合と同様である。前段処理デバイスFSPDは、イメージセンサCSENと後段処理デバイスSSPDの間に設けられ、例えば、一つの半導体チップで構成される。
【0036】
センサSENは、例えば、温度センサや音声センサなどを代表に、様々な種類のものであってよい。前段処理デバイスFSPDは、前段処理ユニット(画像処理部)FSPU_Bとセンサ制御回路SCTLとを備える。センサ制御回路SCTLは、センサSENを制御する。センサSENは、センサ制御回路SCTLによる制御を受けて、ピクセルアレイPXARYからのフレーム毎のRAWデータと並行してセンサデータSDATを出力する。前段処理ユニットFSPU_Bは、図1に示した前段処理ユニットFSPU_Aとほぼ同様である。
【0037】
ただし、図1の場合と異なり、重要領域抽出回路IAEX_Bは、センサデータSDATに基づいて重要領域IARと非重要領域NARとを区別する。また、付加情報生成回路AIGは、図1の場合と同様の画像解析に基づく情報の他に、センサデータSDATに基づく情報を付加情報AIとして生成してもよい。具体的には、付加情報AIは、例えば、センサデータSDAT自体であってもよく、センサデータSDATの解析結果等であってもよい。
【0038】
図4(a)および図4(b)は、図1または図3の監視カメラシステムにおける重要領域の判別方法の一例を示す概念図である。図4(a)の例では、図1の重要領域抽出回路IAEX_Aは、前回のフレームにおけるRAWデータの各画素値PVと、今回のフレームにおけるRAWデータの各画素値PVとの比較に基づいて重要領域IARと非重要領域NARとを区別する。この際に、1個の画素値PV毎に比較を行うと、比較を行う回路の回路規模や処理負荷が大きくなり、また、場合によっては、領域としての境界を定め難くなる恐れがある。
【0039】
そこで、重要領域抽出回路IAEX_Aは、図4(a)に示されるように、ピクセルアレイPXARYa(すなわちフレームの有効画素領域)を複数のブロックBK[1,1]〜BK[3,1],…,BK[1,2]〜BK[3,2],…に分割して管理する。そして、重要領域抽出回路IAEX_Aは、複数のブロック毎に、内部に含まれる各画素値PVの積算値または平均値を前回と今回とで比較することで、ブロック単位で重要領域IARか非重要領域NARかを判別する。
【0040】
図4(a)の例では、ブロックBK[2,1],BK[3,2]において、前回と今回とで画素値PVの積算値(または平均値)の変化が大きくなっている。この場合、重要領域抽出回路IAEX_Aは、ブロックBK[2,1],BK[3,2]を、例えば、何らかの動体が存在する重要領域IARと判別すればよい。また、この例では、ブロックBK[2,1],BK[3,2]に隣接するブロックBK[2,2]においても、前回と今回とで小さい変化が生じている。このような場合、重要領域抽出回路IAEX_Aは、ブロックBK[3,1]を加えたより大きい矩形領域を重要領域IAR’と判別してもよい。
【0041】
図4(b)の例では、図1の重要領域抽出回路IAEX_Aは、ピクセルアレイPXARYbに埋め込まれた温度センサの情報に基づき重要領域IARと非重要領域NARとを区別する。ピクセルアレイPXARYbは、図4(b)に示されるように、所定の間隔毎に熱赤外線を検知する画素を備える場合がある。このようなピクセルアレイPXARYbを用いる場合、図1の重要領域抽出回路IAEX_Aは、熱赤外線画素の情報に基づき、温度が高い領域(例えば、人体が存在する領域等)を認識し、その領域を重要領域IARと判別すればよい。
【0042】
なお、ここでは、ピクセルアレイPXARYb内に温度センサが埋め込まれている場合を例としたが、図3のように、ピクセルアレイPXARYbの外部に温度センサ(SEN)が設けられる場合にも、図3の重要領域抽出回路IAEX_Bは同様の処理を行えばよい。また、重要領域の判別は、このような方法を代表に、用途に応じた様々な方法で行うことができる。例えば、センサSENが位置センサ(変位センサ)等の場合、変位が生じた領域に対応するピクセルアレイPXARYの領域を重要領域IARとして判別すればよい。
【0043】
《重要領域抽出回路の詳細》
図5は、図1における重要領域抽出回路の構成例を示すブロック図である。図6は、図5におけるブランキング期間情報生成回路の動作例を示す図である。図5に示す重要領域抽出回路IAEX_Aは、ブロック座標算出回路AXCと、画素値積算回路PVIと、重要領域区別回路IAJG_Aと、区別情報出力回路JIOと、ブランキング期間情報生成回路ZIGとを備える。重要領域抽出回路IAEX_Aは、前述した図4(a)のように、画素値PVの変化に基づいて重要領域IARを抽出する回路である。
【0044】
ブロック座標算出回路AXCは、画素クロック信号CKp、水平同期信号HSYNCおよび垂直同期信号VSYNCに基づき、現在入力されている画素値PVのピクセル座標(h×v)を認識し、そのピクセル座標が“X×Y”の空間を持つブロックの中のどのブロック座標に属するかを算出する。ブロック座標は、ピクセル座標(h×v)を“X×Y”に圧縮した座標である。ここでは、例えば、“640×480”のピクセル座標を“8×8”のブロック座標に圧縮する場合を想定する。この場合、ピクセル座標における水平座標は“80(=640/8)”毎に分割され、垂直座標は“60(=480/8)”毎に分割され、この“80×60”の空間が1個のブロックに属することになる。
【0045】
ブロック座標算出回路AXCは、具体的には、水平座標算出回路XXCおよび垂直座標算出回路YXCを備える。水平座標算出回路XXCは、図18から判るように、水平同期信号HSYNCと、その後の画素クロック信号CKpカウント数とに基づきピクセル座標(h×v)における水平座標(h)を認識し、例えば、それを下位側に3ビットシフト(1/8)すること等で“X”座標(“A”〜“H”)を算出する。垂直座標算出回路YXCは、図18から判るように、垂直同期信号VSYNCと、その後の水平同期信号HSYNCのカウント数とに基づきピクセル座標(h×v)における垂直座標(v)を認識し、例えば、それを下位側に3ビットシフトすること等で“Y”座標(“1”〜“8”)を算出する。
【0046】
画素値積算回路PVIは、重要領域IARを判別する際の材料を生成する回路であり、2個のカウンタ回路CUNT0,CUNT1と、面切り替え回路PSWとを備える。面切り替え回路PSWは、垂直同期信号VSYNCによってフレームが切り換わる毎に、カウンタ回路CUNT0,CUNT1をカウントイネーブル信号CEN0,CEN1によって交互に活性化する。カウンタ回路CUNT0,CUNT1のそれぞれは、“8(“A”〜“H”)×8(“1”〜“8”)”個の内部カウンタを備え、入力された画素値PVを選択された内部カウンタで積算する。内部カウンタの選択は、カウントイネーブル信号CEN0,CEN1と、ブロック座標算出回路AXCからの“X”座標および“Y”座標によって行われる。
【0047】
例えば、フレームの切り替わりに際し、カウントイネーブル信号CEN0に応じてカウンタ回路CUNT0が選択された場合を想定する。当該フレームにおいて、ピクセル座標([h,v])[1〜80,1〜60]の各画素値PVが入力されている各期間では、“X”座標は“A”となり、“Y”座標は“1”となる。その結果、カウンタ回路CUNT0における[A,1]に対応する内部カウンタは、当該期間で入力された各画素値PVを積算する。また、ピクセル座標[81〜160,1〜60]の各画素値PVが入力されている各期間では、“X”座標は“B”となり、“Y”座標は“1”となる。その結果、カウンタ回路CUNT0における[B,1]に対応する内部カウンタは、当該期間で入力された画素値PVを積算する。
【0048】
このようにして、カウンタ回路CUNT0によって1フレーム分の積算処理が行われたのち、次のフレームへ移行すると、今度は、カウントイネーブル信号CEN1に応じてカウンタ回路CUNT1が選択される。カウンタ回路CUNT1は、当該次のフレームを対象とする積算処理を、カウンタ回路CUNT0の場合と同様にして行う。その後、更に次のフレームへ移行すると、今度は、カウンタ回路CUNT0が再び選択される。
【0049】
重要領域区別回路IAJG_Aは、垂直同期信号VSYNCに応じて(すなわちフレームが切り替わった時点で)、“8×8”個の内部カウンタ毎に、カウンタ回路CUNT0とカウンタ回路CUNT1との差分値を算出する。重要領域区別回路IAJG_Aは、その差分値と、予め定めた閾値Cthとを比較することで、“8×8”個のブロックのそれぞれが重要領域IARであるか、非重要領域NARであるかを区別する。
【0050】
例えば、カウンタ回路CUNT0,CUNT1における[A,1]の各内部カウンタの値をそれぞれC0[A,1]およびC1[A,1]とした場合、重要領域区別回路IAJG_Aは、|C0[A,1]−C1[A,1]|を算出する。重要領域区別回路IAJG_Aは、当該算出結果が閾値Cth以上の場合には、対応するブロック[A,1]を重要領域IARと判別し、閾値Cth未満の場合には、対応するブロック[A,1]を非重要領域NARと判別する。重要領域区別回路IAJG_Aは、その他の63個のブロックに対しても同様の処理を行い、64個のブロック毎に“1”(重要領域IAR)または“0”(非重要領域NAR)を出力する。
【0051】
区別情報出力回路JIOは、64個のブロック[A〜H,1〜8]に対応する64ビットのレジスタREGjgを備える。レジスタREGjgの各ビットは、重要領域区別回路IAJG_Aからの64個のブロック毎の出力(“1”(重要領域IAR)または“0”(非重要領域NAR))を保持する。例えば、重要領域区別回路IAJG_Aからのブロック[A,1]の出力は、レジスタREGjgにおけるビット[A,1]に格納される。
【0052】
区別情報出力回路JIOは、ブロック座標算出回路AXCからの“X”座標および“Y”座標を受けて、レジスタREGjg内の対応するビットが保持している値を区別情報JIとして出力する。例えば、“X”座標が“A”(水平座標(h)が1〜80)、“Y”座標が“1”(垂直座標(v)が1〜60)の場合、区別情報出力回路JIOは、レジスタREGjg内のビット[A,1]の値を区別情報JIとして出力する。その結果、区別情報JIは、現在入力されている画素値PVのピクセル座標が重要領域IARに属しているか、非重要領域NARに属しているかを表す情報となる。
【0053】
なお、より厳密には、画素値積算回路PVIから区別情報出力回路JIOに至る処理の過程で遅延が発生するため、処理対象のフレームに時差が生じることになる。例えば、2つ前のフレームと1つ目のフレームに基づき重要領域IARと非重要領域NARとが区別され、その区別結果が、現在のフレームに対する区別情報JIとして出力されることになる。フレームのレートが十分に早い場合、通常、このような時差は問題とならない。ただし、時差が問題となる場合には、現在のフレームを遅延させる(例えば、図9で入力される画素値PV等を数フレーム分遅延させる)ことで時差を無くしてもよい。
【0054】
ブランキング期間情報生成回路ZIGは、区別情報出力回路JIOのレジスタREGjgの情報に基づき、“Y”座標毎にブランキング期間情報ZIを生成してレジスタREGbkに格納し、それを、ブロック座標算出回路AXCからの“Y”座標に応じて出力する。具体的には、ブランキング期間情報生成回路ZIGは、図6に示されるように、重要領域IARの座標情報(ピクセル座標)を含むブランキング期間情報ZIを、当該重要領域IARが存在する水平座標(h)の先頭に位置する水平ブランキング期間TBhで出力する。
【0055】
図6に示すブランキング期間情報ZIは、例えば、開始符号(ここでは“A”+“D”)と、対象の垂直座標(ライン)に含まれる重要領域IARの数と、その重要領域毎の開始点(水平座標)および開始点からのデータ幅と、誤り検出用符号(例えばCRC(Cyclic Redundancy Check)符号)とを含む。図6の例では、ライン(v)に、2個の重要領域IARが含まれている。重要領域IARの一方は、水平座標(h1)を開始点としデータ幅(w1)を持ち、他方は、水平座標(h2)を開始点としデータ幅(w2)を持つ。
【0056】
また、図5に示されるように、レジスタREGjgにおける“Y”=3の行に“01101110”が格納されている場合を想定する。ピクセル座標(h×v)は、“640×480”である。この場合、ブランキング期間情報生成回路ZIGは、レジスタREGbkの“Y”=3に対応する箇所に、開始符号(“A”+“D”)と、重要領域数“2”と、その一方の開始点“81”およびデータ幅“160”と、他方の開始点“321”およびデータ幅“240”とを格納する。ブランキング期間情報生成回路ZIGは、入力された“Y”座標が“3”の場合(すなわち、垂直方向のピクセル座標(v)が“121〜180”の場合)に、当該レジスタREGjgの“Y”=3の行の保持情報をブランキング期間情報ZIとして出力する。その他の“Y”座標(1,2,4〜8)に関しても同様である。
【0057】
このような構成および動作によって、例えば、図4(a)におけるブロックBK[2,1],ブロックBK[3,2]を重要領域IARとして抽出することが可能になる。また、重要領域区別回路IAJG_Aにおいて、例えば、閾値Cthを複数設けることでブロックBK[2,2]を抽出することも可能であり、さらに、抽出されたブロックを大きなブロックに纏める処理を追加することで、重要領域IAR’を抽出することも可能である。
【0058】
図7は、図3における重要領域抽出回路の構成例を示すブロック図である。図7に示す重要領域抽出回路IAEX_Bは、図5の構成例と比較して、画素値積算回路PVIが削除され、重要領域区別回路IAJG_Bの構成および動作が異なっている。重要領域抽出回路IAEX_Bは、前述した図4(b)の場合と同様に、センサSENからのセンサデータSDATに基づいて重要領域IARを抽出する回路である。
【0059】
重要領域区別回路IAJG_Bは、ブロック座標算出回路AXCからの“X”座標および“Y”座標を受けて、当該座標に対応するセンサデータSDATを取得する。例えば、 “X”=Aおよび“Y”=1の場合、重要領域区別回路IAJG_Bは、センサデータSDAT[A,1]を取得する。重要領域区別回路IAJG_Bは、センサデータSDAT[A,1]が閾値Sth以上の場合には、対応するブロック[A,1]を重要領域IARと判別し、閾値Sth未満の場合には、対応するブロック[A,1]を非重要領域NARと判別する。重要領域区別回路IAJG_Bは、その区別結果を、図5の場合の同様にして、区別情報出力回路JIOのレジスタREGjgに格納する。残りの63個のブロックに関しても同様である。
【0060】
このように、図7の方式では、図5の方式と異なり、画素値PVを用いずに重要領域IARを抽出することができるため、図5で述べたようなフレームの時差を低減することが可能である。なお、ここでは、閾値Sth以上/未満に基づいて重要領域IAR/非重要領域NARの区別が行われたが、この判別基準は、センサSENの種類に応じて適宜異なり得る。また、入力されるセンサデータSDATがブロック情報を含んでいれば、重要領域区別回路IAJG_Bは、ブロック座標算出回路AXCからの座標を受けることなく、画素値の処理とは並行かつ独立した処理によって、レジスタREGjgを更新することが可能である。
【0061】
《付加情報生成回路およびデータ合成回路の詳細》
図8は、図1および図3における付加情報生成回路の構成例を示すブロック図である。図9は、図1および図3におけるデータ合成回路の構成例を示すブロック図である。図10は、図8の付加情報生成回路および図9のデータ合成回路の動作例を示す模式図である。図8に示す付加情報生成回路AIGは、付加情報生成処理回路AIGPと、内部メモリIMEMと、付加情報出力回路AIOとを備える。
【0062】
内部メモリIMEMは、フレーム2個分の付加情報[1]AIa,[2]AIbを保持可能な2面構成のリングバッファ等である。付加情報生成処理回路AIGPは、例えば、垂直同期信号VSYNCと、画素値PVまたはセンサデータSDATとを受けて、各フレーム毎の付加情報AIxを生成し、当該生成した付加情報AIxを、各フレーム毎に格納先の面を切り替えながら、内部メモリIMEMの一方の面に格納する。
【0063】
付加情報AIxは、前述したように、ユーザの用途等に応じた何らかの情報であり、例えば、マーケティングや防犯等、用途に応じて有益となる様々な情報である。具体例として、例えば、重要領域IARの大まかな解析結果(重要領域にどのような動体(人や物)が存在するか、動体が何個存在するか等)などが挙げられる。この場合、付加情報生成回路AIGは、画素値PVおよび垂直同期信号VSYNCに加えて、画素クロック信号CKpおよび水平同期信号HSYNCを受けて対象フレームのRAWデータを認識する。さらに、付加情報生成回路AIGは、図5図7の重要領域抽出回路IAEXからの区別情報JIを受けて重要領域IARのRAWデータを認識し、それに対して画像解析を行う。
【0064】
このような付加情報AIxを生成し、それを、図2に示したように、非重要領域NARに埋め込むことで、イメージシグナルプロセッサISPを含む後段処理部(例えば図1のSSPDおよび更にその後段)の処理負荷を軽減することが可能になる。後段処理部は、通常であれば、所望の情報を得るために画像全体を対象に膨大な解析を行う必要があるが、このような付加情報AIxを利用することで、画像全体の中の一部の領域(重要領域IAR)を対象に、かつ、ある程度の解析が既に完了した状態でその後の詳細な解析を行うことができる。すなわち、付加情報生成回路AIGは、本来の後段処理部の処理内容の一部を代行するような処理を行う。
【0065】
また、付加情報AIxの別の具体例として、センサデータSDTそのものや、あるいは、重要領域IARに関連するセンサデータSDTの解析結果等が挙げられる。この場合、付加情報生成回路AIGは、センサデータSDATおよび垂直同期信号VSYNCや、加えて、図5図7の重要領域抽出回路IAEXからの区別情報JIを受けて、付加情報AIxを生成する。後段処理部は、通常であれば、画素値PVを含むRAWデータとセンサデータSDTとを独立に取得して、必要に応じてRAWデータとセンサデータSDTの関連付け(例えば、画像と音声の同期等)を行う必要がある。このような付加情報AIxを利用することで、後段処理部は、この関連付けが既に行われたデータを得ることができる。
【0066】
さらに、付加情報AIxは、機器制御(例えば、イメージセンサやイメージシグナルプロセッサの設定や制御)に必要な情報であってもよい。例えば、図1のようなシステムの場合、イメージシグナルプロセッサISPは、付加情報AIxとしてイメージセンサCSEN_Aの露光状態の情報(各画素の露出過多(飽和)/露出不足などの情報)を得ることで、イメージセンサCSEN_Aへ適切な露光制御(イメージセンサCSEN_Aへの設定)を行うことが可能になる。
【0067】
一般的に、イメージシグナルプロセッサISPは、このような露光状態の情報を、専用線(イメージセンサCSEN_Aと後段処理デバイスSSPDとを結合するI2C等のシリアル回線)を介してイメージセンサCSEN_Aから能動的に取得している。付加情報AIxを機器制御に必要な情報とすることで、このような専用線を用いた通信処理が不要となり、フレームで得られた前段情報(例えば、イメージセンサの制御に必要な情報)を該当フレームの画像とセットで後段に伝えることが可能になる。
【0068】
付加情報出力回路AIOは、図9のデータ合成回路DCMからのリクエスト信号RQを受けて、内部メモリIMEMの他方の面から情報を読み出し、当該読み出した情報を付加情報AIとして出力する。例えば、付加情報生成処理回路AIGPが現在のフレームに対して付加情報[1]AIaを生成している場合、付加情報出力回路AIOは、一つ前のフレームに対して生成された付加情報[2]AIbを読み出す。
【0069】
図9に示すデータ合成回路DCMは、ブランキング期間判定回路TBJDと、バッファBUFと、有効画素領域用データ生成回路DGENと、データ選択回路DSELとを備える。ブランキング期間判定回路TBJDは、画素クロック信号CKp、水平同期信号HSYNCおよび垂直同期信号VSYNCを受けてブランキング期間(具体的には、図6の水平ブランキング期間TBh)を判定する。ブランキング期間判定回路TBJDは、ブランキング期間では出力信号Qを“1”に制御し、非ブランキング期間では出力信号Qを“0”に制御する。
【0070】
バッファBUFは、図8の付加情報生成回路AIGからの付加情報AIを一時的に蓄える。有効画素領域用データ生成回路DGENは、図5図7の重要領域抽出回路IAEXからの区別情報JIを受けて、区別情報JIが“1”(重要領域IAR)の場合には、画素値PVを選択し、“0”(非重要領域NAR)の場合にはバッファBUFからの付加情報AIを選択する。有効画素領域用データ生成回路DGENは、当該選択した側を出力信号EIとして出力する。また、有効画素領域用データ生成回路DGENは、区別情報JIが“0”の場合に、付加情報生成回路AIGへリクエスト信号RQを順次発行する。これに応じて、付加情報生成回路AIGは、前述したように付加情報AIを順次出力する。
【0071】
データ選択回路DSELは、ブランキング期間判定回路TBJDの出力信号Qを受けて、Q=1の期間(ブランキング期間)では、図5図7の重要領域抽出回路IAEXからのブランキング期間情報ZIを選択し、Q=0の期間(非ブランキング期間)では、有効画素領域用データ生成回路DGENの出力信号EIを選択する。データ選択回路DSELは、当該選択した側をデータDATとして出力する。その結果、データ選択回路DSELは、フレームの送信期間内の重要領域IARに該当する期間では、重要領域IARのRAWデータ(画素値PV)をデータDATとして出力し、非重要領域NARに該当する期間では、付加情報AIをデータDATとして出力する。
【0072】
ここで、各フレーム毎の付加情報AIは、例えば、図10に示されるように、付加情報AIのデータ長Nと、それに続く、付加情報本体とで構成される。図8の付加情報生成処理回路AIGPは、各フレーム毎に付加情報(例えばAIa)を生成し、生成した付加情報の先頭にそのデータ長Nを付加した上で内部メモリIMEM内の対応する面に格納する。図8の付加情報出力回路AIOは、リクエスト信号RQに応じて(すなわち区別情報JIが“0”(非重要領域NAR)の際に)、当該付加情報(AIa)を先頭から順次出力する。その結果、図9のデータ合成回路DCMは、フレームが切り替わったのち、最初に非重要領域NARが出現する期間で、データ長NをデータDATとして出力する。
【0073】
図10に示されるように、有効画素領域AReの先頭が重要領域IARでない場合、データ長Nは、当該有効画素領域AReの先頭に格納されることになる。仮に、有効画素領域AReの先頭が重要領域IARである場合には、データ長Nは、当該重要領域IARが途切れる箇所の水平座標に格納されることになる。また、付加情報AIは、重要領域IARをスキップする形で順次出力されることになる。
【0074】
《実施の形態1の主要な効果》
以上のように、実施の形態1の方式を用いると、各フレーム毎に重要領域IARを抽出して、イメージシグナルプロセッサISP等の後段処理部へ送信することができる。また、重要領域IARの抽出に伴い余った領域に付加情報AIを埋め込んで後段処理部へ送信することができる。その結果、一つ目の効果として、有益な情報を劣化させずに情報量を削減することが可能になる。二つ目の効果として、後段処理部のリソースを低減することが可能になる。三つ目の効果として、従来と比較して、有益な情報の価値(または密度)をより高めることが可能になる。
【0075】
具体的に説明すると、後段処理部において、画像処理の対象を重要領域IARに限定することができるため、処理・蓄積すべきデータ量の低減に伴い、メモリMEMや各種処理回路を縮小することができ、各種処理回路の処理負荷や通信負荷を低減することができる。この際に、有益な情報(すなわち重要領域IARのRAWデータ)に関しては、そのまま維持されるため、特許文献1,2の場合のような、情報量の削減に比例した品質劣化は生じない。
【0076】
また、後段処理部のリソースが一定の場合、無益な情報(すなわち非重要領域NARのRAWデータ)を削除することで、空いたリソースで有益な情報の価値(または密度)を更に高めることができる。例えば、図17(a)のような比較例では、ピクセルアレイPXARYを高画素化すると、その分、情報量が飛躍的に増大するため、高画素化が後段処理部のリソースに制約されてしまう。一方、実施の形態1の方式では、高画素化を行っても、有益な情報のみを抽出することから情報量の増大を抑制でき、後段処理部のリソースに余裕を持たせることができる。その結果、この空いたリソースで、有益な情報を更に高画素で取得するようなことが可能になる。
【0077】
さらに、付加情報AIを用いることでも、後段処理部のリソースの低減や、有益な情報の価値(または密度)を高めることが可能になる。例えば、後段処理部で本来行われる処理の一部を付加情報生成回路AIGに担わせ、その処理結果を付加情報AIとすれば、後段処理部のリソースを低減できる。また、重要領域IARに関連する各種情報(例えば、重要領域の画像解析結果、重要領域に対応するセンサデータ、当該センサデータの解析結果等)を付加情報AIとすることで、単に重要領域IARのRAWデータを受け取る場合よりも情報の価値を高めることができる。
【0078】
(実施の形態2)
《監視カメラシステムの適用例[1]》
図11(a)および図11(b)は、本発明の実施の形態2による監視カメラシステムにおいて、実際のアプリケーションへの適用例を示す概略図である。図11(a)には、図3に示した監視カメラシステムSSYS_Bにおいて、センサSENを赤外線カメラ等の補助カメラとした場合の構成例が示される。監視カメラシステムSSYS_Bと補助カメラは、同じ領域を撮像するように配置される。この場合、監視カメラシステムSSYS_Bは、補助カメラの情報に基づいて重要領域IARを抽出することができる。
【0079】
図11(b)には、図3に示した監視カメラシステムSSYS_Bにおいて、センサSENを、人感センサや、マイク、ビーコン&レシーバなどの各種センシング機器とした場合の構成例が示される。監視カメラシステムSSYS_Bは、例えば、広い領域を撮像した状態で、当該領域内で所定の間隔で配置された複数のセンサSENの一つから検知信号を受信した場合、当該センサSENの配置に基づく領域を重要領域IARとして抽出する。その後、監視カメラシステムSSYS_Bは、例えば、当該重要領域IARにズームして撮像を行うようなことも可能である。
【0080】
図12は、本発明の実施の形態2の監視カメラシステムにおいて、実際のアプリケーションへの他の適用例を示す概略図である。図12には、図1または図3に示した監視カメラシステムSSYSを、通過検知や通過者認識を行うセキュリティゲートに適用した場合の構成例が示される。セキュリティゲートでは、物理カードによる運用に代わって、カードレス化が見込まれている。このような用途で、実施の形態の監視カメラシステムSSYSを用いると、以下のように各種有益な効果が得られる。
【0081】
監視カメラシステムSSYSは、セキュリティゲートを撮像し、PC(Personal Computer)は、監視カメラシステムSSYSの出力データを用いて画像認証(顔認証など)を行うことで、ゲートの通過可否を判定する。通過を禁止する場合、PCは、警告灯等を点灯させる。ここで、図1の監視カメラシステムSSYS_Aを例とすると、ゲートに通過者が存在しない場合、イメージセンサCSEN_Aは動作するが、画素値に変化が無いため、後段処理デバイスSSPD(ひいてはPC)で処理を要するデータは生じない。その結果、この後段処理部において、消費電力を低減することができる。
【0082】
一方、ゲートに通過者が存在する場合、監視カメラシステムSSYS_Aは、画素値の変化が大きい領域(すなわち通過者が存在する領域)を重要領域IARとして抽出し、その画像データをPCへ送信する。PCは、この重要領域IARの画像データを対象に、画像認証や画像データの保存を行えばよいため、各種リソースの低減が可能となる。すなわち、17(a)のような監視カメラシステムを用いる場合、PCは、画像全体のデータを常時受信し、それに対して画像処理を行い、かつ、画像全体をHDD(Hard Disk Drive)等に保存する必要がある。監視カメラシステムSSYS_Aを用いると、このような通信・演算・記録リソースの無駄を無くすことができる。また、PCは、既に対象が限定された画像データを受信できるため、画像処理に要する時間も短縮でき、監視のリアルタイム性を高めることが可能になる。
【0083】
(実施の形態3)
《監視カメラシステムの適用例[2]》
図13は、本発明の実施の形態3による監視カメラシステムにおいて、実際のアプリケーションへの適用例を示す概略図である。図13には、例えば、図1の監視カメラシステムSSYS_Aを、パン・チルト・ズーム(PTZ)型の監視カメラシステムSSYS_A1に適用した場合の構成例が示される。監視カメラシステムSSYS_A1は、イメージセンサCSEN_Aと、イメージシグナルプロセッサISPと、PTZ制御部CTとを備える。
【0084】
イメージシグナルプロセッサISPは、CPUと、フレームメモリFMEMと、プログラムメモリPMEMと、付加情報用メモリAIMEMと、画像パイプライン処理回路IPPとを備える。イメージシグナルプロセッサISPは、イメージセンサCSEN_AからのRAWデータを、一旦、フレームメモリFMEMに格納する。フレームメモリFMEMは、重要領域IARのRAWデータと、付加情報AIと、ブランキング期間情報ZIとを混在した形で保持する。
【0085】
画像パイプライン処理回路IPPは、RAWデータに対する補正等の画像処理や、場合によって、JPEG等の画像フォーマットへの変換処理をハードウェアで実行する。CPUは、プログラムメモリPMEMのプログラムに基づいて、画像パイプライン処理回路IPPの制御や、イメージセンサCSEN_Aの制御等を行う。この例では、CPUは、フレームメモリFMEMの所定のアドレス領域からブランキング期間情報ZIを読み取ることで、重要領域IARのアドレス領域を認識し、この認識したアドレス領域を画像パイプライン処理回路IPPの所定のレジスタに設定する。これに応じて、画像パイプライン処理回路IPPは、フレームメモリFMEMから重要領域IARのRAWデータを読み出し、この重要領域IARのRAWデータを対象に画像処理を実行する。この際に、画像パイプライン処理回路IPPは、フレーム全体のRAWデータに対して画像処理を行う必要がないため、処理負荷の低減が図れる。
【0086】
また、CPUは、フレームメモリFMEMにおけるブランキング期間情報ZIのアドレス領域と重要領域IARのアドレス領域とを除くアドレス領域から読み出したデータを付加情報AIとして付加情報用メモリAIMEMに格納する。この際に、CPUは、図10に示したように、最初に付加情報AIのデータ長Nを読み取り、除外するアドレス領域をスキップしながら、当該データ長N分のデータを付加情報AIとして読み出す。CPUは、この例では、当該付加情報AIに基づいてアラームを発行したり、PTZ制御部CTに対して撮像方向(左右、上下、ズーム)の制御命令を発行する。
【0087】
図14は、図13を変形した適用例を示す概略図である。図14には、図13の場合と同様に、例えば、図1の監視カメラシステムSSYS_Aを、PTZ型の監視カメラシステムSSYS_A2に適用した場合の構成例が示される。ただし、図13とは、イメージシグナルプロセッサISPの構成が異なっている。図14のイメージシグナルプロセッサISPは、画像・付加情報抽出回路IAEXと、付加情報分析回路AIAと、CPUと、画像パイプライン処理回路IPPと、フレームメモリFMEMと、プログラムメモリPMEMと、付加情報用メモリAIMEMとを備える。
【0088】
画像・付加情報抽出回路IAEXは、イメージセンサCSEN_AからのRAWデータを受け、ブランキング期間のブランキング期間情報ZIに基づき重要領域IARの座標情報を認識することで、重要領域IARのRAWデータと付加情報AIとを区別して取得する。画像・付加情報抽出回路IAEXは、取得した重要領域IARのRAWデータをフレームメモリFMEMに格納し、取得した付加情報AIを付加情報用メモリAIMEMに格納する。
【0089】
ここで、画像・付加情報抽出回路IAEXは、図6に示したように、重要領域IARの座標情報を、重要領域IARのRAWデータを受信する前に取得することができ、図10に示したように、付加情報AIのデータ長Nを、受信の開始時に取得することができる。したがって、画像・付加情報抽出回路IAEXは、イメージセンサCSEN_AからのRAWデータを受信しながら、リアルタイムで重要領域IARのRAWデータと付加情報AIとを区別して取得することができる。
【0090】
付加情報分析回路AIAは、付加情報AI内に特定の情報が含まれていたら予め決められた処理を行うなど、脊髄反射的な処理を行う。例えば、付加情報AIに基づいて画像パイプライン処理回路IPPの処理内容を変更したいような場合、付加情報分析部AIAは、画像パイプライン処理回路IPPに対して各種レジスタ設定を行う。このような処理は、CPUが担ってもよいが、ここでは、付加情報分析回路AIAが担うことで画像パイプライン処理回路IPPをより迅速に制御する。その他の回路等に関しては、図13の場合と同様である。
【0091】
図13のイメージシグナルプロセッサISPは、汎用的な構成を想定したものである。このように、汎用的な構成を用いた場合であっても、実施の形態の方式を適用することが可能である。一方、図14のイメージシグナルプロセッサISPは、画像・付加情報抽出回路IAEX(および付加情報分析回路AIA)のように、専用のハードウェアを搭載した構成となっている。専用のハードウェアを搭載すると、例えば、フレームメモリFMEMに重要領域IARのRAWデータのみを保存できることから、フレームメモリFMEMのリソースを低減できる。また、CPUを介さずにある程度の処理を行えるため、各種高速化を図ることも可能である。
【0092】
(実施の形態4)
《監視カメラシステム(応用例)の概略》
図15は、本発明の実施の形態4による監視カメラシステムにおいて、主要部の構成例および動作例を示す概略図である。図16は、図15とは異なる主要部の構成例および動作例を示す概略図である。前述した実施の形態1の方式は、様々な実装形態に応用することが可能である。例えば、図15の監視カメラシステムは、送信機TXと受信機RXとを備える。
【0093】
送信機TXは、図17(a)と同様のイメージセンサCSENと、画像処理デバイスIPDと、センサSENとを備える。画像処理デバイスIPDは、例えば、図3の監視カメラシステムSSYS_Bにおける前段処理デバイスFSPDおよび後段処理デバイスSSPDとほぼ同様の構成を備える。ただし、ここでは、図3の場合と異なり、データ合成回路DCMは、データを合成せずに、重要領域IARのRAWデータのみを出力し、付加情報生成回路AIGは、データ合成回路DCMを介さずに、付加情報AIを独立に出力する。
【0094】
画像処理デバイスIPDは、重要領域IARの画像データと、付加情報AIとをそれぞれ個別に受信機RXへ送信する。この際に、受信機RXが受信するデータは、イメージシグナルプロセッサISPの処理後のデータであるため、図18に示したようなフォーマットである必要はなく、例えば、一般的なシリアル通信等のフォーマットであってよい。そこで、画像処理デバイスIPDは、例えば、画像データに対して、その開始および終了を表す識別子を付加して送信し、同様に、付加情報AIに対しても、その開始および終了を表す別の識別子を付加して送信する。
【0095】
受信器RXは、画像・付加情報分離回路IADVと、画像表示回路DPCと、異常判定回路ERCと、フレームメモリFMEMと、付加情報用メモリAIMEMとを備える。画像・付加情報分離回路IADVは、例えば、前述した識別子等に基づき、重要領域IARの画像データと付加情報AIとを分離し、画像データをフレームメモリFMEMに格納し、付加情報AIを付加情報用メモリAIMEMに格納する。
【0096】
画像表示回路DPCは、フレームメモリFMEMに格納された重要領域IARの画像データをディスプレイDPYに表示する。または、画像表示回路DPCは、予め、背景の画像データを取得しておき、それをテンプレートとして、取得した重要領域IARの画像データを順次重ね合わせるような処理を行ってもよい。異常判別回路ERCは、ここでは、付加情報用メモリAIMEMに格納される付加情報AIに基づき異常の有無を判定し、異常有りの場合には警告灯等を点灯させる。
【0097】
送信機TXから受信機RXへ送信されるデータは、一般的には、画像全体のデータとなるが、図15の方式を用いる場合、重要領域IARの画像データとなる。その結果、送信機TXと受信機RXの間の通信に伴うリソースを低減することが可能になる。また、受信機RXの処理対象も重要領域IARの画像データに絞られるため、受信機RXにおけるリソース(処理負荷やメモリ容量)を低減することが可能になる。
【0098】
図16の監視カメラシステムは、送信機TXを備える。送信機TXは、一般的なカメラシステムCSYS’およびセンサSENに、各種回路を組み合わせたような構成となっている。各種回路の中には、重要領域抽出回路IAEXと、付加情報生成回路AIGと、出力画像生成回路IMGと、通信回路CCとが含まれる。重要領域抽出回路IAEXは、図5図7の場合と同様の機能を備える。
【0099】
ただし、ここでは、重要領域抽出回路IAEXの処理対象は、図5図7の場合のRAWデータと異なり、イメージシグナルプロセッサISPの処理後の画像データ(例えばYUV形式の画像データ)となっている。このため、図5図7におけるブランキング期間情報生成回路ZIGは不要であり、また、重要領域抽出回路IAEXの入出力信号も異なる。このような違いはあるものの、重要領域抽出回路IAEXの概略的な機能に関しては図5図7と同様である。
【0100】
具体的には、重要領域抽出回路IAEXは、画像データから、図5図7の場合と同様の方式を用いて重要領域IARとなるブロックを区別する。出力画像生成回路IMGは、この重要領域抽出回路IAEXからの区別情報に基づいて、重要領域IARの画像データを抽出する。付加情報生成回路AIGは、出力画像生成回路IMGからの重要領域IARの画像データや、センサSENからのセンサデータSDATに基づき付加情報を生成する。例えば、付加情報生成回路AIGは、顔認識や物体認識等を行い、その結果を付加情報としてもよい。通信回路CCは、出力画像生成回路IMGからの重要領域IARの画像データと、付加情報生成回路AIGからの付加情報とを送信する。
【0101】
一般的な監視カメラシステムでは、動画コーデックを使用して連続した動画(画像データ)を出力し続けるが、実施の形態の監視カメラシステムは、画像データを垂れ流す用途ではないため、イベント発生時に重要度の高い領域を検出および切り出して、静止画(例えばJPEGデータ)として出力すればよい。これにより、データ通信の総量を低減することができる。また、通信回路CCは、図15の場合と同様に、例えば、一般的なシリアル通信等のフォーマットで送信を行えばよい。このため、通信回路CCは、例えば、静止画圧縮フォーマット(例えばJPEG)のヘッダ情報内のユーザデータ領域に付加情報を埋め込むことも可能である。
【0102】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0103】
AI 付加情報
AIG 付加情報生成回路
ARbv,ARbh ブランキング領域
ARe 有効画素領域
AXC ブロック座標算出回路
BK ブロック
CSEN イメージセンサ
DCM データ合成回路
FSPD 前段処理デバイス
FSPU 前段処理ユニット(画像処理部)
HSYNC 水平同期信号
IAEX 重要領域抽出回路
IAJG 重要領域区別回路
IAR 重要領域
ISP イメージシグナルプロセッサ
JI 区別情報
JIO 区別情報出力回路
MEM メモリ
NAR 非重要領域
PV 画素値
PXARY ピクセルアレイ
SDAT センサデータ
SEN センサ
SSPD 後段処理デバイス
SSYS 監視カメラシステム
TBh 水平ブランキング期間
VSYNC 垂直同期信号
ZI ブランキング期間情報
ZIG ブランキング期間情報生成回路
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18