特許 6421489 画像処理装置、画像処理システム、表示システム並びに画像処理方法及び画像処理用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6421489

(24)【登録日】2018年10月26日

(45)【発行日】2018年11月14日

(54)【発明の名称】画像処理装置、画像処理システム、表示システム並びに画像処理方法及び画像処理用プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20181105BHJP

   H04N 5/225 20060101ALI20181105BHJP

   H04N 5/232 20060101ALI20181105BHJP

【ＦＩ】

   H04N7/18 D

   H04N5/225

   H04N7/18 A

   H04N5/232

   H04N5/232 290

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2014-162526(P2014-162526)

(22)【出願日】2014年8月8日

(65)【公開番号】特開2016-39536(P2016-39536A)

(43)【公開日】2016年3月22日

【審査請求日】2017年6月27日

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100083839

【弁理士】

【氏名又は名称】石川 泰男

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(72)【発明者】

【氏名】江川 達也

(72)【発明者】

【氏名】大川 拓

(72)【発明者】

【氏名】青山 美明

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１２−１５６７１４（ＪＰ，Ａ）

【文献】 特開２０１２−０８５２２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

複数の画像情報を時系列に沿って取得する第１取得手段と、
各前記取得される画像情報に相当する画像それぞれが撮像された際の撮像条件を示す条件情報を取得する第２取得手段と、
前記取得された条件情報を用いて、当該条件情報により示される前記撮像条件により撮像された前記画像に相当する前記画像情報を補正し、補正画像情報を生成する補正手段と、
前記条件情報の少なくとも一部の欠落を検出する欠落検出手段と、
前記欠落が検出されたとき、当該欠落が検出されたタイミングより前に取得された前記画像情報に相当する前記画像の前記撮像条件のうち、当該欠落した少なくとも一部に対応した前記撮像条件を示す前記条件情報である過去条件情報を、当該過去条件情報を予め記録する記録手段から取得する第３取得手段と、
前記過去条件情報が取得された場合に、前記欠落した少なくとも一部を用いて補正されるべき前記画像情報を、当該取得された過去条件情報を用いて補正して前記補正画像情報を生成するように前記補正手段を制御する制御手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記撮像条件は、前記取得された画像情報に相当する前記画像の撮像時刻を含み、
前記欠落が検出されたとき前記第３取得手段は、前日以前に取得された前記画像情報に相当する前記画像に対応し、且つ前記撮像時刻が同一である前記過去条件情報を前記記録手段から取得することを特徴とする画像処理装置。

【請求項3】

請求項１又は請求項２に記載の画像処理装置において、
前記撮像条件は、前記取得された画像情報に相当する前記画像の撮像時の天候を含み、
前記欠落が検出されたとき前記第３取得手段は、前記天候が同一である前記過去条件情報を前記記録手段から取得することを特徴とする画像処理装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の画像処理装置において、
前記制御手段は、前記欠落が検出された日に近い日に取得された前記画像情報に相当する前記画像の前記過去条件情報ほど重み付けを重くして、前記欠落した少なくとも一部を用いて補正されるべき前記画像情報の補正に用いることを特徴とする画像処理装置。

【請求項5】

請求項１から請求項４のいずれか一項に記載の前記画像処理装置と、
前記撮像条件を取得し、当該取得された撮像条件を示す前記条件情報を生成して前記第２取得手段に出力する撮像条件検出手段と、
を備えることを特徴とする画像処理システム。

【請求項6】

請求項５に記載の画像処理システムと、
前記補正画像情報を取得し、当該補正画像情報に相当する画像を表示する表示手段と、
を備えることを特徴とする表示システム。

【請求項7】

画像処理装置において実行される画像処理方法において、
複数の画像情報を時系列に沿って取得する第１取得工程と、
各前記取得される画像情報に相当する画像それぞれが撮像された際の撮像条件を示す条件情報を取得する第２取得工程と、
前記取得された条件情報を用いて、当該条件情報により示される前記撮像条件により撮像された前記画像に相当する前記画像情報を補正し、補正画像情報を生成する補正工程と、
前記条件情報の少なくとも一部の欠落を検出する欠落検出工程と、
前記欠落が検出されたとき、当該欠落が検出されたタイミングより前に取得された前記画像情報に相当する前記画像の前記撮像条件のうち、当該欠落した少なくとも一部に対応した前記撮像条件を示す前記条件情報である過去条件情報を、当該過去条件情報を予め記録する記録手段から取得する第３取得工程と、
前記過去条件情報が取得された場合に、前記欠落した少なくとも一部を用いて補正されるべき前記画像情報を、当該取得された過去条件情報を用いて補正して前記補正画像情報を生成するように制御する制御工程と、
を含むことを特徴とする画像処理方法。

【請求項8】

画像処理装置に含まれるコンピュータを、
複数の画像情報を時系列に沿って取得する第１取得手段、
各前記取得される画像情報に相当する画像それぞれが撮像された際の撮像条件を示す条件情報を取得する第２取得手段、
前記取得された条件情報を用いて、当該条件情報により示される前記撮像条件により撮像された前記画像に相当する前記画像情報を補正し、補正画像情報を生成する補正手段、
前記条件情報の少なくとも一部の欠落を検出する欠落検出手段、
前記欠落が検出されたとき、当該欠落が検出されたタイミングより前に取得された前記画像情報に相当する前記画像の前記撮像条件のうち、当該欠落した少なくとも一部に対応した前記撮像条件を示す前記条件情報である過去条件情報を、当該過去条件情報を予め記録する記録手段から取得する第３取得手段、及び、
前記過去条件情報が取得された場合に、前記欠落した少なくとも一部を用いて補正されるべき前記画像情報を、当該取得された過去条件情報を用いて補正して前記補正画像情報を生成するように制御する制御手段、
として機能させることを特徴とする画像処理用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、表示システム並びに画像処理方法及び画像処理用プログラムの技術分野に属する。より詳細には、撮像された画像に対する補正処理を施す画像処理装置及び当該画像処理装置を含む画像処理システム及び表示システム、画像処理方法並びに当該画像処理装置用のプログラムの技術分野に属する。

【背景技術】

【0002】

近年、市民生活における安全の確保や犯罪防止の観点から、いわゆる防犯カメラシステムが普及している。一般的な防犯カメラシステムは、防犯対象となる撮像対象が撮像可能な位置に設置されたカメラにより撮像された画像データに対して、例えばコントラスト補正処理等の高画質化処理を施した上で、必要に応じてハードディスク等の記録媒体に記録したり、或いはディスプレイに表示したりする構成とされている。この場合の撮像対象とは、例えば施設の出入口又は一般住宅の玄関等が挙げられる。

【0003】

ここで、上記のコントラスト補正処理に関する先行技術文献として、例えば下記特許文献１が挙げられる。この特許文献１に記載されている技術は、撮像用の上記カメラが設置されている場所の照度に基づいて、撮像結果を表示する画像のコントラスト又は輝度を制御する技術である。具体的には、当該場所の周囲の照度を検出し、その照度に応じて上記画像のコントラストを制御する構成とされている。またこの他に特許文献１には、所定の時間間隔ごとに上記照度を測定し、それらの平均値に基づいて上記画像のコントラストを補正する構成も開示されている。更に特許文献１には、記録部に記録された画像データ等を外部のホストシステム等に無線送信する構成も開示されている。

【0004】

一方、一般に上記カメラは上記の通り屋外に設置される場合が多いが、これに伴って、その設置場所の照度を検出する照度センサも、当該カメラの近傍の屋外に設置される場合が多い。そしてこの場合、例えば配線の取り回しや壁に穴を開けて屋内に必要な線を引き込む等の不便を解消する目的で、当該照度センサにより検出された照度を示す照度データを無線通信により屋内で受信する構成が採用される場合がある。特に、完成された建物に対して上記のような防犯カメラシステムを後から導入し、それに伴って上記カメラの設置場所の照度を検出する場合、対応する照度データを無線により屋内で受信することができれば、壁等に対して別途穴を開ける必要等がなく、防犯カメラシステムとしての利便性及び汎用性が極めて高くなるといえる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−２６７２２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、上述した照度データの授受を無線通信により行う場合、表示される画像に対するコントラストの補正を効果的に実行するためには、上記無線通信の信頼性を向上させる必要がある。

【0007】

ここで一般に、上記信頼性を高めるための方法としては、上記照度センサ自体の数を増やし、いわゆるマルチホッピングすることでそれらとの無線通信の信頼性を向上させる方法がある。しかしながらこの方法の場合、照度センサの数に比例してそれらの管理が困難となるため、小規模な防犯カメラシステムには不向きであるという問題点があった。

【0008】

また他の方法として、無線通信が途絶えた照度センサとの間で、いわゆるポーリングの周期を短くすることで、その照度センサとの間の無線通信の回復を試みる回数を多くする方法もある。しかしながらこの方法の場合、照度センサにおける消費電流が大きくなるため、基本的に電池により駆動することが多い照度センサには不向きであるという問題点がある。

【0009】

そして、これらの方法及びそれらに関する上記各問題点については、上記特許文献１には全く開示がなく、よって特許文献１に開示されている技術では、種々の通信障害等により上記照度データを照度センサから受信できない場合、当該照度に基づいた画像のコントラストの補正ができず、従って防犯カメラシステムの画像として求められる鮮明性を保つことができない場合があるという問題点がある。

【0010】

そこで本発明は、上記の各問題点等に鑑みて為されたもので、その課題の一例は、上記照度データが欠落した場合であっても、表示される画像を正確に補正することが可能な画像処理装置及び当該画像処理装置を含む画像処理システム及び表示システム、画像処理方法並びに当該画像処理装置用のプログラムを提供することにある。

【課題を解決するための手段】

【0011】

上記の課題を解決するために、請求項１に記載の発明は、複数の画像情報を時系列に沿って取得するチャンネルコントローラ等の第１取得手段と、各前記取得される画像情報に相当する画像それぞれが撮像された際の撮像条件を示す条件情報を取得するメインプロセッサ等の第２取得手段と、前記取得された条件情報を用いて、当該条件情報により示される前記撮像条件により撮像された前記画像に相当する前記画像情報を補正し、補正画像情報を生成するコントラスト補正部等の補正手段と、前記条件情報の少なくとも一部の欠落を検出するメインプロセッサ等の欠落検出手段と、前記欠落が検出されたとき、当該欠落が検出されたタイミングより前に取得された前記画像情報に相当する前記画像の前記撮像条件のうち、当該欠落した少なくとも一部に対応した前記撮像条件を示す前記条件情報である過去条件情報を、当該過去条件情報を予め記録する記録部等の記録手段から取得するメインプロセッサ等の第３取得手段と、前記過去条件情報が取得された場合に、前記欠落した少なくとも一部を用いて補正されるべき前記画像情報を、当該取得された過去条件情報を用いて補正して前記補正画像情報を生成するように前記補正手段を制御するメインプロセッサ等の制御手段と、を備える。

【0012】

上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の前記画像処理装置と、前記撮像条件を取得し、当該取得された撮像条件を示す前記条件情報を生成して前記第２取得手段に出力する照度センサ等の撮像条件検出手段と、を備える。

【0013】

上記の課題を解決するために、請求項６に記載の発明は、請求項５に記載の画像処理システムと、前記補正画像情報を取得し、当該補正画像情報に相当する画像を表示するディスプレイ等の表示手段と、を備える。

【0014】

上記の課題を解決するために、請求項７に記載の発明は、画像処理装置において実行される画像処理方法において、複数の画像情報を時系列に沿って取得する第１取得工程と、各前記取得される画像情報に相当する画像それぞれが撮像された際の撮像条件を示す条件情報を取得する第２取得工程と、前記取得された条件情報を用いて、当該条件情報により示される前記撮像条件により撮像された前記画像に相当する前記画像情報を補正し、補正画像情報を生成する補正工程と、前記条件情報の少なくとも一部の欠落を検出する欠落検出工程と、前記欠落が検出されたとき、当該欠落が検出されたタイミングより前に取得された前記画像情報に相当する前記画像の前記撮像条件のうち、当該欠落した少なくとも一部に対応した前記撮像条件を示す前記条件情報である過去条件情報を、当該過去条件情報を予め記録する記録部等の記録手段から取得する第３取得工程と、前記過去条件情報が取得された場合に、前記欠落した少なくとも一部を用いて補正されるべき前記画像情報を、当該取得された過去条件情報を用いて補正して前記補正画像情報を生成するように制御する制御工程と、を含む。

【0015】

上記の課題を解決するために、請求項８に記載の発明は、画像処理装置に含まれるコンピュータを、複数の画像情報を時系列に沿って取得する第１取得手段、各前記取得される画像情報に相当する画像それぞれが撮像された際の撮像条件を示す条件情報を取得する第２取得手段、前記取得された条件情報を用いて、当該条件情報により示される前記撮像条件により撮像された前記画像に相当する前記画像情報を補正し、補正画像情報を生成する補正手段、前記条件情報の少なくとも一部の欠落を検出する欠落検出手段、前記欠落が検出されたとき、当該欠落が検出されたタイミングより前に取得された前記画像情報に相当する前記画像の前記撮像条件のうち、当該欠落した少なくとも一部に対応した前記撮像条件を示す前記条件情報である過去条件情報を、当該過去条件情報を予め記録する記録部等の記録手段から取得する第３取得手段、及び、前記過去条件情報が取得された場合に、前記欠落した少なくとも一部を用いて補正されるべき前記画像情報を、当該取得された過去条件情報を用いて補正して前記補正画像情報を生成するように制御する制御手段、として機能させる。

【0016】

請求項１又は請求項５乃至請求項８のいずれか一項に記載の発明によれば、条件情報の少なくとも一部の欠落が検出されたとき、当該少なくとも一部に対応した過去条件情報を記録手段から取得し、過去条件情報が取得された場合に、当該少なくとも一部を用いて補正されるべき画像情報を、当該取得した過去条件情報を用いて補正して補正画像情報を生成する。よって、過去条件情報を用いて画像情報を補正することで、条件情報の少なくとも一部が欠落した場合であっても、各画像情報を正確に補正して補正画像情報を生成することができる。

【0017】

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記撮像条件は、前記取得された画像情報に相当する前記画像の撮像時刻を含み、前記欠落が検出されたとき前記第３取得手段は、前日以前に取得された前記画像情報に相当する前記画像に対応し、且つ前記撮像時刻が同一である前記過去条件情報を前記記録手段から取得するように構成される。

【0018】

請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、画像の撮像時刻が撮像条件に含まれている。そしてその欠落が検出されたとき、撮像時刻が同一である過去条件情報を記録手段から取得し、欠落した条件情報を用いて補正されるべき画像情報の補正に用いる。よって、撮像条件が近い過去条件情報を用いることで、各画像情報をより正確に補正して補正画像情報を生成することができる。

【0019】

上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の画像処理装置において、前記撮像条件は、前記取得された画像情報に相当する前記画像の撮像時の天候を含み、前記欠落が検出されたとき前記第３取得手段は、前記天候が同一である前記過去条件情報を前記記録手段から取得するように構成される。

【0020】

請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、画像の撮像時の天候が撮像条件に含まれている。そしてその欠落が検出されたとき、天候が同一である過去条件情報を記録手段から取得し、欠落した条件情報を用いて補正されるべき画像情報の補正に用いる。よって、撮像条件が近い過去条件情報を用いることで、各画像情報をより正確に補正して補正画像情報を生成することができる。

【0021】

上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の画像処理装置において、前記制御手段は、前記欠落が検出された日に近い日に取得された前記画像情報に相当する前記画像の前記過去条件情報ほど重み付けを重くして、前記欠落した少なくとも一部を用いて補正されるべき前記画像情報の補正に用いるように構成される。

【0022】

請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、条件情報の欠落が検出された日に近い日に取得された画像情報に相当する画像の過去条件情報ほど重み付けを重くして、当該欠落した条件情報を用いて補正されるべき画像情報の補正に用いるので、より撮像条件が近い過去条件情報を用いて正確に画像情報を補正することができる。

【発明の効果】

【0023】

本発明によれば、条件情報の少なくとも一部の欠落が検出されたとき、当該少なくとも一部に対応した過去条件情報を記録手段から取得し、過去条件情報が取得された場合に、当該少なくとも一部を用いて補正されるべき画像情報を、当該取得した過去条件情報を用いて補正して補正画像情報を生成する。

【0024】

従って、過去条件情報を用いて画像情報を補正することで、条件情報の少なくとも一部が欠落した場合であっても、各画像情報を正確に補正して補正画像情報を生成することができる。

【図面の簡単な説明】

【0025】

【図1】実施形態に係るカメラシステムの概要構成を示すブロック図である。

【図2】実施形態に係る照度データの内容を例示する図である。

【図3】実施形態に係るコントラスト補正処理を例示する図であり、（ａ）は当該コントラスト補正処理の第１例を示す図であり、（ｂ）は当該コントラスト補正処理の第２例を示す図である。

【図4】実施形態に係るコントラスト補正処理を示すフローチャートであり、（ａ）は当該コントラスト補正処理の全体を示すフローチャートであり、（ｂ）は当該コントラスト補正処理における照度データの補完処理の細部を示すフローチャートである。

【図5】実施形態に係るコントラスト補正処理を示す図であり、（ａ）は照度データの欠落を例示する図であり、（ｂ）は実施形態に係る照度データの補完処理に用いられる照度データを例示するであり、（ｃ）は実施形態に係る重み付け処理を例示する図である。

【発明を実施するための形態】

【0026】

次に、本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、対象物を撮像して得られる画像データに対して施されるコントラスト補正処理に対して、本発明を適用した場合の実施形態である。

【0027】

（Ｉ）実施形態
初めに本発明に係る実施形態について、図１乃至図５を用いて説明する。なお以下に説明する実施形態は、二台以上のカメラによりそれぞれ撮像された画像データを順次取得し、当該取得した画像データに対してコントラストの補正処理を施して記録する防犯用のカメラシステムに対して、本発明を適用した場合の実施の形態である。

【0028】

また、図１は実施形態に係るカメラシステムの概要構成を示すブロック図であり、図２は実施形態に係る照度データの内容を例示する図であり、図３は実施形態に係るコントラスト補正処理を例示する図である。更に、図４は当該コントラスト補正処理を示すフローチャートであり、図５は当該コントラスト補正処理を示す図である。

【0029】

図１に示すように、実施形態に係るカメラシステムＳは、第１カメラＣ１乃至第４カメラＣ４と、デコーダＤ１乃至デコーダＤ４及びデコーダ７と、本発明に係る「第１取得手段」の一例としてのチャンネルコントローラ１と、本発明に係る「補正手段」の一例としてのコントラスト補正部２と、例えばＪＰＥＧ（Joint Photographic Experts Group）方式による圧縮処理等の画像処理を行う画像処理プロセッサ３と、本発明に係る「第２取得手段」、「第３取得手段」、「制御手段」及び「欠落検出手段」それぞれの一例としてのメインプロセッサ４と、例えばカード型の記録媒体ＣＤに対して画像データ等を記録するライタ５と、図示しない揮発性領域及び不揮発性領域をそれぞれ含むメモリ６と、液晶ディスプレイ等からなり且つ本発明に係る「表示手段」の一例に相当するディスプレイ８と、タイマ９と、実施形態に係る過去照度データ１０Ａ等を不揮発性に記録するハードディスクドライブ等からなる記録部１０と、本発明に係る「撮像条件検出手段」の一例としての照度センサ１１及び送信部１２からなる照度センサユニットＳＣと、送信部１２との間での後述する無線による照度データの授受が可能な例えば屋内の位置に配置された受信部１３と、により構成されている。このとき、一台のカメラは一般に一つの「チャンネル」を構成している。そして実施形態に係るカメラシステムＳの場合、第１カメラＣ１及びデコーダＤ１により第１チャンネルＣＨ１を構成し、第２カメラＣ２及びデコーダＤ２により第２チャンネルＣＨ２を構成している。また第３カメラＣ３及びデコーダＤ３により第３チャンネルＣＨ３を構成し、第４カメラＣ４及びデコーダＤ４により第４チャンネルＣＨ４を構成している。なお以下の説明において、上記第１チャンネルＣＨ１乃至第４チャンネルＣＨ４に共通の事項について説明する場合には、単に「チャンネルＣＨ」と称する。また、上記第１カメラＣ１乃至第４カメラＣ４に共通の事項について説明する場合には、単に「カメラＣ」と称する。そして各カメラＣは、カメラシステムＳとしての防犯に係る撮像対象たる建物の屋外の位置を撮像範囲として設置されており、それぞれの撮像対象には、例えば当該建物の入口や通用口等が含まれている。

【0030】

この構成において、第１カメラＣ１乃至第４カメラＣ４からそれぞれ出力された画像データは、各カメラＣに一対一に対応するデコーダＤ１乃至デコーダＤ４によりそれぞれ復号され、チャンネルコントローラ１に出力される。

【0031】

そしてチャンネルコントローラ１は、メインプロセッサ４の制御の下、各チャンネルＣＨからそれぞれ出力された（復号後の）画像データを、例えば数秒乃至数十秒おきに順次切り換え、一つの画像データたる出力画像データとしてコントラスト補正部２に出力する。このときチャンネルコントローラ１は、例えば、第１チャンネルＣＨ１→第２チャンネルＣＨ２→第３チャンネルＣＨ３→第４チャンネルＣＨ４→第１チャンネルＣＨ１→第２チャンネルＣＨ２→…の順で、各チャンネルＣＨのそれぞれから出力された画像データを切り換え、上記出力画像データとしてコントラスト補正部２に出力する。

【0032】

これらによりコントラスト補正部２は、メインプロセッサ４の制御の下、実施形態に係るコントラスト補正処理を上記出力画像データに対して施し、当該コントラスト補正処理後の出力画像データを画像処理プロセッサ３に出力する。このコントラスト補正処理については、後ほど詳述する。

【0033】

次に画像処理プロセッサ３は、メインプロセッサ４の制御の下、コントラスト補正処理後の出力画像データに対して、例えば予め設定された例えば上記ＪＰＥＧ方式を用いた圧縮処理等を施し、記録用の圧縮画像データをライタ５に、表示用の圧縮画像データをデコーダ７に、それぞれ出力する。

【0034】

そしてデコーダ７は、メインプロセッサ４の制御の下、画像処理プロセッサ３から出力された圧縮画像データに対して所定の復号処理を施し、これをディスプレイ８に出力して表示させる。これにより、カメラシステムＳを用いて防犯を行おうとする使用者（例えば上記建物の管理者等）は、第１チャンネルＣＨ１から第４チャンネルＣＨまで順次に切り換えられる画像を見て、当該防犯のための監視等を行う。一方ライタ５は、上記圧縮画像データを、必要に応じて記録媒体ＣＤに記録する。

【0035】

他方、実施形態に係る照度センサユニットＳＣは、実施形態に係るコントラスト補正処理を実行するために必要な照度を検出することができる位置（例えば、各カメラＣの撮像範囲にある上記建物の入口や通用口等の位置）に設置されている。そして照度センサ１１は、当該位置における照度（より具体的には当該入口等の位置近辺全体の照度）を検出し、当該照度を示す照度データを生成して照度センサユニットＳＣ内の送信部１２に出力する。これにより送信部１２は、照度データＤを無線により受信部１３に向けて送信する。そして受信部１３は、当該照度データＤを受信してメインプロセッサ４に出力する。このとき、送信部１２と受信部１３との間の照度データＤの無線通信は、例えば送信部１２と受信部１３との間に遮蔽物（例えば予期しない人や荷物）が移動してくること等の原因により遮断されることがある。更にタイマ９は、現在時刻を示す時刻データを生成してメインプロセッサ４に出力する。

【0036】

これらによりメインプロセッサ４は、必要なデータ等をメモリ６に記憶させつつ、上記チャンネルコントローラ１における画像データの切り換えを制御すると共に、上記照度データ及び時刻データ並びに過去照度データ１０Ａを用いた実施形態に係るコントラスト補正処理を制御し、更にカメラシステムＳ全体を統括制御する。

【0037】

次に、上記記録部１０に不揮発性に記録されている、実施形態に係る過去照度データ１０Ａについて、具体的に図２を用いて例示しつつ説明する。

【0038】

後述するように、実施形態に係るコントラスト補正処理では、例えば照度センサユニットＳＣと受信部１３との間の上記無線による通信の途絶等に起因して照度データＤがメインプロセッサ４において取得できない場合、過去に照度センサユニットＳＣから取得した照度データＤを用いて当該照度データＤの欠落を補完する。このとき、過去に照度センサユニットＳＣから取得した照度データＤが、過去照度データ１０Ａとして記録部１０に不揮発性に記録されている。

【0039】

即ち図２に例示するように、実施形態に係る過去照度データ１０Ａとしては、例えば現在時刻が属する日より前３０日間に受信部１３において受信された照度データＤが、その受信日を示す受信日データ２０、その受信時刻を示す時刻データ２１、当該受信日の太陽の南中高度を示す南中高度データ２２、及び当該受信日の天候を示す天候データ２３にそれぞれ対応付けられて、記録部１０に不揮発性に記録されている。図２に示す例では、現在時刻が属する日が１２月５日であり、その日より前３０日間（即ち１１月５日までの３０日間）の照度データＤが上記受信日データ２０乃至天候データ２３にそれぞれ対応付けられて記録されている。なお各照度データＤの単位は例えばルクス（lx）である。また上記受信日データ２０及び時刻データ２１は、上記タイマ９からの上記時刻データに基づいて対応付けられる。更に上記南中高度データ２２は、例えば国立天文台のホームページ等から、上記天候データ２３は例えば気象庁のホームページ等から、それぞれインターネット等の図示しないネットワークを介して取得され、照度データＤに対応付けられる。このような過去照度データ１０Ａとして記録されている照度データＤが、後述するように、実施形態に係るコントラスト補正処理における照度データＤの補完に用いられる。

【0040】

次に、上記コントラスト補正部２において実行されるコントラスト補正処理の全体的な特性について説明する。下記のような全体的な特性を踏まえた上で、実施形態に係るコントラスト補正処理が実行される。

【0041】

即ち、実施形態に係るコントラスト補正部２は、実際のコントラスト補正処理として、二つのパラメータ、即ち「ストレングス」と「（図示しない）リミットアンプの増幅度の最低値」を変更することで、コントラストの補正の度合いを変更する。このとき上記「ストレングス」とは、コントラストの補正の際の輝度等の増幅度を示すパラメータであり、その値が大きいほど、当該増幅度が大きくなる。一方上記「リミットアンプの増幅度の最低値」とは、コントラスト補正処理の対象となる画像における「暗い部分」に対する増幅度等を制御するパラメータである。即ち、当該暗い部分に対してコントラストの補正を過度に施すと結果的にノイズ成分が目立つこととなるため、その暗い部分に対するコントラストの補正における増幅度等に制限を設けることで、コントラスト補正処理後の画像における視覚的な上記ノイズ成分を抑制する。

【0042】

ここで、上記リミットアンプの増幅度の最低値について、図３を用いて更に詳説する。なお図３の各図はそれぞれ、チャンネルコントローラ１から入力されてくる出力画像データの入力レベル（横軸に８ビットで示す）と上記リミットアンプにおける増幅度（縦軸に示す）との関係を示す図である。また、図３（ａ）は上記リミットアンプの増幅度の最低値を「１６」とした場合の出力画像データの入力レベルとリミットアンプにおける増幅度との関係を示す図であり、図３（ｂ）は上記リミットアンプの増幅度の最低値を「４８」とした場合の出力画像データの入力レベルとリミットアンプにおける増幅度との関係を示す図である。更に図３の各図において、ハッチング部分がコントラスト補正のための増幅が実際に行われる範囲を示している。

【0043】

図３各図にそれぞれ示すように、上記リミットアンプの増幅度の最低値を図３（ａ）に例示するように低く設定してコントラスト補正処理を実行すれば、当該最低値を図３（ｂ）に例示するように高く設定する場合に比して、出力画像データの入力レベルが低い部分（即ち、画像として暗い部分）における増幅を抑制してノイズ成分を抑えることができる。よって実施形態に係るコントラスト補正処理でも、出力画像データの入力レベルが低い部分については、リミットアンプの増幅度の最低値を低く抑える。

【0044】

またコントラスト補正部２では、コントラストの補正全体としての強度を、例えば「強」、「中」及び「弱」とする場合、当該強度が「強」のときには上記ストレングスの値が例えば「２５５」と設定され、上記リミットアンプの増幅度の最低値が例えば「６３」と設定される。また当該強度が「中」のときには上記ストレングスの値が例えば「９６」と設定され、上記リミットアンプの増幅度の最低値が例えば「１２」と設定される。更に当該強度が「弱」のときには上記ストレングスの値が例えば「６４」と設定され、上記リミットアンプの増幅度の最低値が「１０」と設定される。なおこのとき、コントラストの補正量は、基本的に照度が高いほど上記ストレングスが低く設定される。またコントラスト補正部２では、上記に例示した値の他に、ストレングスについては「０」から「２５５」の範囲で任意に設定可能であり、リミットアンプの増幅度の最低値については「０」〜「６３」の間で任意に設定可能である。

【0045】

次に、カメラシステムＳのコントラスト補正部２及びメインプロセッサ４により主として実行される、実施形態に係るコントラスト補正処理について、図４及び図５を用いて具体的に説明する。

【0046】

図４（ａ）に示すように、例えばカメラシステムＳ全体の電源がオンとされることにより当該カメラシステムＳによる撮像対象の監視が開始されると、その一環としての実施形態に係るコントラスト補正処理としてメインプロセッサ４は、チャンネルコントローラ１からの上記出力画像データがコントラスト補正部２において取得されると（ステップＳ１）、当該出力画像データに相当する画像データがいずれかのカメラＣで撮像されたタイミングにおける照度データＤを、照度センサユニットＳＣ及び受信部１３を介して取得する（ステップＳ２）。このときメインプロセッサ４は、例えば５秒ごとの定期的に照度データＤを取得する（図２参照）。

【0047】

次にメインプロセッサ４は、本来は例えば５秒おきに連続して取得されるべき照度データＤについて、例えば図５（ａ）に例示するような欠落（図５（ａ）において「エラー」と示している）が発生していないかを判定する（ステップＳ３）。ステップＳ３の判定において当該欠落がないと判定された場合（ステップＳ３；ＮＯ）、メインプロセッサ４は、例えば５秒おきに取得される照度データＤを、上記受信日データ２０等と対応付けて、図２に例示する過去照度データ１０Ａとして記録部１０に記録する（ステップＳ５）。

【0048】

次にメインプロセッサ４は、上記照度データＤを用いて例えば図３を用いて説明したコントラスト補正処理を行うためのコントラスト補正データを算出し、その算出したコントラスト補正データをコントラスト補正部２に出力する。これによりコントラスト補正部２は、上記ステップＳ１において取得した出力画像データに対するコントラストの補正処理を、上記コントラスト補正データを用いて実行する（ステップＳ６）。その後メインプロセッサ４は、実施形態に係るコントラスト補正処理後の出力画像データに相当する画像をディスプレイ８に表示する等の処理により、上記コントラスト補正処理を含むカメラシステムＳを用いた監視を行う（ステップＳ７）。次にメインプロセッサ４は、カメラシステムＳ全体の上記電源がオフとされたか否かを判定する（ステップＳ８）。ステップＳ８の判定において当該電源がオフとされていない場合（ステップＳ８；ＮＯ）、メインプロセッサ４は上記ステップＳ１に戻り、上述してきた一連のコントラスト補正処理を改めて実行する。他方ステップＳ８の判定において当該電源がオフとされた場合（ステップＳ８；ＹＥＳ）、メインプロセッサ４は実施形態に係るコントラスト補正処理を含むカメラシステムＳとしての処理を終了する。

【0049】

一方、上記ステップＳ３の判定において照度データＤの欠落があると判定された場合（ステップＳ３；ＹＥＳ）、メインプロセッサ４は、記録部１０に記録されている過去照度データ１０Ａを用いて、実施形態に係る照度データＤの当該欠落の補完処理を実行する（ステップＳ４）。その後メインプロセッサ４は、ステップＳ４の処理により欠落が補完された照度データを用いて、上述したステップＳ６のコントラスト補完処理を実行し、その後上記ステップＳ７以降の処理に移行する。

【0050】

次に、上記ステップＳ４に係る補完処理について、図４（ｂ）及び図５を用いて説明する。当該補完処理では、図４（ａ）に示すステップＳ３の判定において、図５（ａ）に例示する照度データＤの欠落が発生していると判定された場合（ステップＳ３；ＹＥＳ）、メインプロセッサ４は図４（ｂ）に示すように、当該欠落が発生した時刻に対応した天候及び時刻それぞれを示すデータを、例えば気象庁のホームページ等及びタイマ９からそれぞれ取得する（ステップＳ４０）。次にメインプロセッサ４は、記録部１０に記録されている過去照度データ１０Ａにおいて、ステップＳ４０により取得された各データにより示される天候及び時刻それぞれと一致する内容の天候データ２３及び時刻データ２１に対応付けられている照度データＤを検索する（ステップＳ４１）。例えば図５（ａ）に例示する欠落がある場合には、天候が「晴れ」の日の時刻「１８：００：４５」、時刻「１８：００：５０」及び時刻「１８：００：５５」にそれぞれ対応付けられている照度データＤを過去照度データ１０Ａにおいて検索する。この場合、過去複数年に渡って同一の日の過去照度データ１０Ａが記録部１０に記録されている場合は、それら複数年に渡る過去照度データ１０Ａ内にまで検索範囲を拡げてもよい。

【0051】

ステップＳ４１の判定において、天候及び時刻共に一致する照度データＤが過去照度データ１０Ａにおいて検索された場合（ステップＳ４１；ＹＥＳ）、メインプロセッサ４は、当該照度データＤを取得し（ステップＳ４３）、それを用いて、欠落した照度データＤを補完するための推定照度データを生成する（ステップＳ４４）。一方、ステップＳ４１の判定において、天候及び時刻共に一致する照度データＤが過去照度データ１０Ａにおいて検索されなかった場合（ステップＳ４１；ＮＯ）、メインプロセッサ４は次に、ステップＳ４０により取得された各データにより示される天候及び時刻のうち時刻のみに一致する内容の時刻データ２１に対応付けられている照度データＤを過去照度データ１０Ａにおいて検索して取得する（ステップＳ４２）。例えば図５（ａ）に例示する欠落がある場合には、天候とは無関係に、時刻「１８：００：４５」、時刻「１８：００：５０」及び時刻「１８：００：５５」のみに対応付けられている照度データＤを過去照度データ１０Ａにおいて検索して取得する。この場合もステップＳ４３と同様に、過去複数年に渡る過去照度データ１０Ａ内にまで検索範囲を拡げてもよい。またステップＳ４２の場合、天候は無関係となるので、いずれかの日の欠落が発生した時刻に対応付けられている照度データＤが過去照度データ１０Ａ内において検索できることになる。その後メインプロセッサ４は、ステップＳ４２において取得された照度データＤを用いた推定照度データの生成に移行する（ステップＳ４４）。

【0052】

次に、ステップＳ４４の推定照度データの生成方法を含む上記ステップＳ４０乃至ステップＳ４４について、具体的に例示しつつ説明する。

【0053】

先ず、図４（ａ）ステップＳ３及び図４（ｂ）ステップＳ４０において、照度データＤの欠落が発生した時の環境が以下の通りであったとする（図５（ａ）参照）。

【0054】

天気：晴れ
欠落発生時刻：２０１４／５／１の１８：００：４５〜１８：００：５５
この場合メインプロセッサ４は、過去照度データ１０Ａ（この場合の記録範囲は２０１４／４／１から２０１４／４／３１までであることになる）において、天候データ２３が「晴れ」で且つ時刻データ２１が「１８：００：４５」から「１８：００：５５」である照度データＤを検索する（図４（ｂ）ステップＳ４１参照）。そして当該検索の結果、例えば図５（ｂ）に例示する四日分の照度データＤが取得できたとする（図４（ｂ）ステップＳ４３参照）。ここで説明の便宜上、図５（ｂ）に例示する２０１４／４／２９の照度データを「データｄ０」とし、同４／１８の照度データＤを「データｄ１」とし、同４／１０の照度データＤを「データｄ２」とし、同４／８の照度データＤを「データｄ３」とする。なお図５（ｂ）に例示する場合、照度データＤの欠落が発生した２０１４／５／１との日数差（以下のデータ構造において「diff」と示す）は、同４／２９が２日、同４／１８が１３日、同４／１０が２１日、同４／８が２３日であることになる。そしてこれらの場合、例えば上記データｄ０は以下のデータ構造を有する。

【0055】

d0 {
diff : 2
18:00:45 : 120
18:00:50 : 100
18:00:55: 80
}
ここで一般に、照度データＤの欠落が発生した日に近い日の照度データＤほど、実施形態に係る推定照度データとしての重要性は大きいと考えるべきである。そこでメインプロセッサ４は、照度データＤの欠落が発生した日に近い日の照度データＤほどその重み付けを重くした上で、推定照度データの生成に用いる（ステップＳ４４）。より具体的にメインプロセッサ４は、欠落が発生した日との日数差を要素とする配列（ｄays）を以下のように生成する。

【0056】

ｄays＝[d0[diff], d1[diff], d2[diff], d3[diff]]
このとき、図５（ｂ）に例示する場合は、
ｄays＝[2, 13, 21, 23]
となる。

【0057】

次にメインプロセッサ４は、上記配列ｄaysに格納されている各要素を逆順にし、逆配列（ｄaysI）を以下のように生成する。

【0058】

ｄaysI＝[d3[diff], d2[diff], d1[diff], d0[diff]]
このとき、図５（ｂ）に例示する場合は、
ｄaysI＝[23, 21, 13, 2]
となる。次にメインプロセッサ４は、配列の各要素の総和（この場合は、２＋１３＋２１＋２３＝５９）で各要素を除して、重み付け配列ωを以下のように生成する。

【0059】

ω＝[23/59, 21/59, 13/59, 2/59]
次にメインプロセッサ４は、生成された重み配列ωを用いて、例えば図５（ａ）に例示さえる18:00:45時点の推定照度データAns(lx)を以下で算出する（図４（ｂ）ステップＳ４４参照）。

【0060】

Ans(lx)
＝ω[23/59]×d0[18:00:45]＋ω[21/59]×d1[18:00:45]＋ω[13/59]×d2[18:00:45]＋ω[2/59]×d3[18:00:45]
＝120×0.39＋160×0.36＋134×0.22＋135×0.03
＝46.8＋57.6＋29.5＋4
＝137.9
なお、照度データＤが欠落した他の時刻についても、同様にして推定照度データAns(lx)が算出される（図４（ｂ）ステップＳ４４参照）。

【0061】

その後メインプロセッサ４は、ステップＳ４４により生成された推定照度データAns(lx)を欠落した照度データＤと見なして、図４（ａ）に示すステップＳ６以降の処理を実行する。

【0062】

なお、図４（ｂ）に示すステップＳ４１の判定において、天候及び時刻共に一致する照度データＤが過去照度データ１０Ａにおいて検索されなかった場合（ステップＳ４１；ＮＯ）にメインプロセッサ４は、上記時刻のみ一致する内容の時刻データ２１に対応付けられている照度データＤを用いて、上述した一連の処理と同様の処理により推定照度データの生成する（図４（ｂ）ステップＳ４４参照）。

【0063】

以上説明したように、実施形態に係るコントラスト補正処理によれば、照度データＤの少なくとも一部の欠落が検出されたとき、欠落した照度データＤに対応した過去の照度データＤ（以下、当該過去の照度データＤを単に「過去照度データ」と称する）を記録部１０から取得し、欠落した照度データＤを用いてコントラストが補正されるべき出力画像データを、取得した過去照度データを用いて補正する。よって、過去照度データを用いて出力画像データのコントラストを補正することで、照度データＤの少なくとも一部が欠落した場合であっても、各出力画像データを正確に補正することができる。

【0064】

また、撮像条件として時刻データ２１が含まれており、照度データＤの欠落が検出されたとき、撮像時刻が同一である過去照度データを検索し、欠落した照度データＤを用いてコントラストが補正されるべき出力画像データの補正に用いる。更に、撮像条件として天候データ２３が含まれており、照度データＤの欠落が検出されたとき、天候が同一である過去照度データを取得し、欠落した照度データＤを用いて補正されるべき出力画像データの補正に用いる。よってこれらによれば、撮像条件が近い過去照度データを用いることで、各出力画像データをより正確に補正することができる。

【0065】

更にまた、照度データＤの欠落が検出された日に近い日に取得された出力画像データに相当する過去照度データほど重み付けを重くして、当該欠落した照度データＤを用いて補正されるべき出力画像データの補正に用いるので、より撮像条件が近い過去照度データＤを用いて正確に出力画像データを補正することができる。

【0066】

また、従来のように照度センサを増やして無線による照度データＤの授受の信頼性を向上させる場合に比して照度センサの数を減らすことができ、結果としてカメラシステムＳとしての初期コストや保守コストを下げることができる。

【0067】

（II）変形形態
次に、本発明に係る変形形態について説明する。

【0068】

上述した実施形態では、欠落した照度データＤの補完に当たって時刻データ２１及び天候データ２３を用いたが、これらに加えて、南中高度データ２２をも参照して、撮像条件がより近い過去照度データ１０Ａを用いるように構成してもよい。なお、実施形態に係る照度データＤの補完処理のように南中高度データ２２を用いない場合、過去照度データ１０Ａとしても南中高度データ２２を取得して記録しておく必要はない。

【0069】

また、送信部１２と受信部１３との間における無線通信の遮断が復旧された際に、当該遮断された旨（換言すれば、照度センサユニットＳＣの異常）をメインプロセッサ４に画像データと同時に送信するように構成すれば、メインプロセッサ４においても迅速に当該異常を認識することができる。

【0070】

更に、図４に示したフローチャートに対応するプログラムを例えばインターネット等のネットワークを介して取得しておき、或いは光ディスク等の記録媒体に記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該マイクロコンピュータ等を実施形態に係るメインプロセッサ４として機能させることも可能である。

【産業上の利用可能性】

【0071】

以上それぞれ説明したように、本発明は画像処理装置の分野に利用することが可能であり、特に照度を用いてコントラストを補正して画像の高画質化を図る分野に適用すれば特に顕著な効果が得られる。

【符号の説明】

【0072】

１ チャンネルコントローラ
２ コントラスト補正部
３ 画像処理プロセッサ
４ メインプロセッサ
５ ライタ
６ メモリ
８ ディスプレイ
９ タイマ
１０ 記録部
１０Ａ 過去照度データ
１１ 照度センサ
１２ 送信部
１３ 受信部
２０ 受信日データ
２１ 時刻データ
２２ 南中高度データ
２３ 天候データ
Ｓ カメラシステム
Ｃ１ 第１カメラ
Ｃ２ 第２カメラ
Ｃ３ 第３カメラ
Ｃ４ 第４カメラ
７、Ｄ１、Ｄ２、Ｄ３、Ｄ４ デコーダ
ＣＤ 記録媒体
ＳＣ 照度センサユニット
ＣＨ１ 第１チャンネル
ＣＨ２ 第２チャンネル
ＣＨ３ 第３チャンネル
ＣＨ４ 第４チャンネル
Ｄ 照度データ

【図1】

【図2】

【図3】

【図4】

【図5】