特開 2024-47931 撮像装置、画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024047931

(43)【公開日】2024-04-08

(54)【発明の名称】撮像装置、画像処理装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240401BHJP

   H04N 23/56 20230101ALI20240401BHJP

   G03B 7/091 20210101ALI20240401BHJP

   G06T 5/94 20240101ALI20240401BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 300

H04N5/225 600

G03B7/091

G06T5/00 735

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022153709

(22)【出願日】2022-09-27

(71)【出願人】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】勝呂 健太郎

【テーマコード（参考）】

2H002

5B057

5C122

【Ｆターム（参考）】

2H002EB09

2H002FB38

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE11

5B057DA16

5B057DA17

5B057DB02

5B057DB09

5B057DC30

5C122EA12

5C122FH01

5C122FH09

5C122FH11

5C122FH14

5C122GA34

5C122GG01

5C122HA01

5C122HA88

5C122HB01

(57)【要約】

【課題】２次元画像における局所的な暗部補正を自動的かつ適正に行う。
【解決手段】この撮像装置１においては、撮像部１０が撮像する領域と共通の領域内の３次元形状を認識する３次元形状認識部３０が設けられる。更に、撮像の対象となる領域に対する照明光の光源の位置情報も、記憶部４０に記憶される。暗部領域推定部５０は、３次元形状認識部３０が認識した３次元形状と光源の位置関係より、この３次元形状がこの光源で照射された際の陰になる領域（暗部領域）を、３次元空間中において推定することができる。暗部領域２次元変換部６０は、撮像情報より、前記のように推定された３次元形状中の暗部領域を、撮像によって得られた２次元画像中の領域に変換する。このように２次元画像中において認識された暗部領域が、暗部補正を要する領域となる。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象となる領域を撮像することによって得られた２次元画像を出力する撮像装置であって、
前記領域を撮像して前記２次元画像に対応する映像信号を出力する撮像部と、
前記領域の３次元形状を認識する３次元形状認識部と、
前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、
前記３次元形状と前記光源の位置関係より、前記３次元形状の表面における、前記照明光が照射されない領域である３次元暗部領域を認識する暗部領域推定部と、
前記撮像装置の位置情報、及び前記２次元画像が取得された際の視野より、前記２次元画像中における前記３次元暗部領域に対応した２次元暗部領域を算出する暗部領域２次元変換部と、
を具備し、前記映像信号と共に前記２次元画像中における前記２次元暗部領域を特定する情報を出力することを特徴とする撮像装置。

【請求項2】

対象となる領域を撮像することによって得られた２次元画像を出力する撮像装置であって、
前記領域を撮像して前記２次元画像に対応する映像信号を出力する撮像部と、
前記領域の３次元形状を認識する３次元形状認識部と、
前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、
前記３次元形状と前記光源の位置関係より、前記３次元形状の表面における、前記照明光が照射されない領域である３次元暗部領域を認識する暗部領域推定部と、
前記撮像装置の位置情報、及び前記２次元画像が取得された際の視野より、前記２次元画像中における前記３次元暗部領域に対応した２次元暗部領域を算出する暗部領域２次元変換部と、
前記２次元画像中の前記２次元暗部領域において局所的に暗部補正を行った映像信号を出力する信号処理部と、
を具備することを特徴とする撮像装置。

【請求項3】

前記信号処理部は、前記２次元画像における前記２次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記２次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用することを特徴とする請求項２に記載の撮像装置。

【請求項4】

対象となる領域を撮像部が撮像することによって得られた２次元画像において、局所的に輝度が低くなった一定の領域に対する暗部補正を行った上で出力する画像処理装置であって、
前記領域の３次元形状と、前記領域に対する照明光を発する光源の位置情報と、を認識し、前記３次元形状と前記光源の位置関係より、前記３次元形状の表面における、前記照明光が照射されない領域である３次元暗部領域を認識する暗部領域推定部と、
前記２次元画像が撮像された際の前記撮像部の位置情報、及び視野より、前記２次元画像中における前記３次元暗部領域に対応した２次元暗部領域を算出する暗部領域２次元変換部と、
前記２次元画像における前記２次元暗部領域において局所的に暗部補正を行って出力する信号処理部と、
を具備することを特徴とする画像処理装置。

【請求項5】

前記信号処理部は、前記２次元画像における前記２次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記２次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用することを特徴とする請求項４に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象の撮像を行って得られた映像、２次元画像を出力する撮像装置、画像処理装置にに関する。

【背景技術】

【0002】

地上における１点に設置されて対象となる領域を監視するために、撮像装置が用いられる。一般的に監視は常時行われ、これにより得られた映像は、離間した場所にあるモニタでリアルタイムで見ることができる、あるいは一旦不揮発性メモリ等に映像信号として記憶されてから、必要に応じて後で見ることができる。

【0003】

この際、撮像される環境の照度は時々刻々変化し、例えば昼間は太陽光で撮像対象となる領域全体が明るくなるのに対して、夜間は１点に固定された街灯が発した照明光のみによって照らされ、全体的に輝度は低くなる。こうした状況下でも、対象となる領域の明瞭な映像を得ることが要求される。このためには、輝度の低い領域における明暗の階調を補正する、暗部補正の技術が用いられている。

【0004】

特許文献１には、暗部補正として、露光量（シャッター速度）が異なる同一対象に対する２つのフレーム映像を取得し、この２つのフレーム映像を合成することによって、映像の明暗のダイナミックレンジを広げる技術が記載されている。また、特許文献２には、画素毎に輝度等を認識し、輝度が低い（一定の閾値よりも低い）領域を暗部補正すべき領域であると認識し、これに対して階調補正を行うことによって、この領域に対しても適正な映像が得られるように補正を行う技術が記載されている。特に、閾値を適正に設定することによって、暗部補正をすべき領域を適正に認識することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平７－１３５５９９号公報

【特許文献2】特開２００８－１１８３８３号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の技術においては、２つのフレーム映像を用いて補正後における１つのフレーム映像が形成されるため、時間分解能が低下した。このため、例えば対象となる領域に動きのある物体がある場合には、これを適切に認識できない場合があった。

【0007】

また、特許文献２に記載の技術においては、輝度が低い領域における輝度が高くなるように暗部補正された。これに対して、本来は、輝度が低いために補正を行うべき領域は、例えば照明光が照射されないために陰になった領域であり、このような領域は、必ずしも実際に得られた輝度のみより識別できるものではない。例えば、照明光が充分にあたっているが色が黒い領域の輝度は低くなるが、このような領域に暗部補正を行うことは適切ではない。このように、この技術においては、補正前において適正な映像が得られていたために補正は不要である領域に対しても、補正が行われる場合があった。

【0008】

このため、２次元画像における暗部補正を自動的かつ適正に行う技術が望まれた。

【0009】

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、対象となる領域を撮像することによって得られた２次元画像を出力する撮像装置であって、前記領域を撮像して前記２次元画像に対応する映像信号を出力する撮像部と、前記領域の３次元形状を認識する３次元形状認識部と、前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、前記３次元形状と前記光源の位置関係より、前記３次元形状の表面における、前記照明光が照射されない領域である３次元暗部領域を認識する暗部領域推定部と、前記撮像装置の位置情報、及び前記２次元画像が取得された際の視野より、前記２次元画像中における前記３次元暗部領域に対応した２次元暗部領域を算出する暗部領域２次元変換部と、を具備し、前記映像信号と共に前記２次元画像中における前記２次元暗部領域を特定する情報を出力する。
本発明は、対象となる領域を撮像することによって得られた２次元画像を出力する撮像装置であって、前記領域を撮像して前記２次元画像に対応する映像信号を出力する撮像部と、前記領域の３次元形状を認識する３次元形状認識部と、前記撮像装置の位置情報と、前記領域に対する照明光を発する光源の位置情報を記憶する記憶部と、前記３次元形状と前記光源の位置関係より、前記３次元形状の表面における、前記照明光が照射されない領域である３次元暗部領域を認識する暗部領域推定部と、前記撮像装置の位置情報、及び前記２次元画像が取得された際の視野より、前記２次元画像中における前記３次元暗部領域に対応した２次元暗部領域を算出する暗部領域２次元変換部と、前記２次元画像中の前記２次元暗部領域において局所的に暗部補正を行った映像信号を出力する信号処理部と、を具備する。
前記信号処理部は、前記２次元画像における前記２次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記２次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用してもよい。
本発明は、対象となる領域を撮像部が撮像することによって得られた２次元画像において、局所的に輝度が低くなった一定の領域に対する暗部補正を行った上で出力する画像処理装置であって、前記領域の３次元形状と、前記領域に対する照明光を発する光源の位置情報と、を認識し、前記３次元形状と前記光源の位置関係より、前記３次元形状の表面における、前記照明光が照射されない領域である３次元暗部領域を認識する暗部領域推定部と、前記２次元画像が撮像された際の前記撮像部の位置情報、及び視野より、前記２次元画像中における前記３次元暗部領域に対応した２次元暗部領域を算出する暗部領域２次元変換部と、前記２次元画像における前記２次元暗部領域において局所的に暗部補正を行って出力する信号処理部と、を具備する。
前記信号処理部は、前記２次元画像における前記２次元暗部領域の輪郭を構成する境界線を含む境界線周囲の領域において、前記２次元暗部領域からみた前記境界線の外側の領域から内側の領域にかけて、前記暗部補正の程度が段階的に強くなるように、前記境界線周囲の領域における画素に対して前記暗部補正を適用してもよい。

【発明の効果】

【0011】

本発明によると、２次元画像における局所的な暗部補正を自動的かつ適正に行うことができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態に係る撮像装置の構成を示す図である。

【図2】実施の形態に係る撮像装置において暗部補正をすべき領域を推定する原理を説明する図である。

【図3】実施の形態に係る撮像装置の動作を示すフローチャートである。

【図4】実施の形態に係る画像処理装置の構成を示す図である。

【発明を実施するための形態】

【0013】

次に、本発明を実施するための形態を図面を参照して具体的に説明する。図１は、本発明の実施の形態に係る撮像装置１の構成を示すブロック図である。この撮像装置１は、地上における１点において固定され、特定の領域を撮像して映像信号（２次元画像）を出力する。この撮像装置１においては、対象となる領域の３次元形状を映像とは別に認識し、この３次元形状を基にして２次元画像中の暗部となる領域を推定する。

【0014】

図１において、光学系や固体撮像素子（イメージセンサ）を具備する撮像部１０で、この撮像が行われる。この映像信号は、信号処理部（暗部補正部）２０によって後述するような処理（暗部補正）が行われた状態で、外部に映像信号として出力される。この際の撮像部１０における各種条件の調整（ゲイン調整や光学系（レンズ）調整等による視野範囲（画角）の調整）は、撮像制御部１１によって行われる。また、撮像装置１（撮像部１０）の視野方向は、この撮像装置１の基台に設けられたモータ等の駆動によって機械的に制御され、この制御のために視野方向制御部１２が設けられる。以上の内容は、信号処理部２０における暗部補正以外については、周知の撮像装置（監視カメラ）と変わるところがない。

【0015】

ここで、この撮像装置１においては、撮像部１０が撮像する領域と共通の領域内の３次元形状を認識する３次元形状認識部３０が設けられる。３次元形状認識部３０は、例えば自身から測定（撮像）対象の各点（測定点）までの距離を認識することによって、各画素と距離を対応させた２次元の画像である距離画像を得る距離画像取得部３１と、得られた距離画像からこの領域内の３次元形状を認識する３Ｄ情報処理部３２を具備する。３次元形状認識部３０が３次元形状を認識する対象となる領域は、撮像部１０が撮像する領域と等しい必要はなく、対応関係が判明していれば、撮像部１０が撮像する領域、あるいは撮像する領域内において特に注目すべき領域（特定の物体、建造物等）が定まっていればこの領域が、３次元形状認識部３０が３次元形状を認識した領域に含まれていればよい。

【0016】

撮像部１０では通常の光学系とイメージセンサ（ＣＣＤ、ＣＭＯＳセンサ）が用いられたのに対し、距離画像取得部３１では、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ＬＩＤＡＲ（レーザーレーダー）等が用いられる。ＴＯＦカメラ、ＬＩＤＡＲのどちらにおいても、自身が発した光の対象からの反射光を受光することによって、この対象までの距離が測定点毎に測定される。

【0017】

撮像部１０と距離画像取得部３１は隣接して共通の筐体に固定され、視野方向制御部１２による視野の制御に際しては、各々の視野は連動して変化する。このため、撮像部１０が撮像する領域等が、３次元形状認識部３０が３次元形状を認識する対象となる領域に常時含まれるようにすることは容易である。この際、撮像部１０においては、例えばこの映像による監視の目的に応じた解像度が必要となるが、後述するように、距離画像取得部３１の解像度は、対象となる領域中の物体の全体形状が把握できる程度でもよく、撮像部１０に要求される解像度よりも低くともよい。３Ｄ情報処理部３２は、この距離画像より、撮像された領域、あるいはこの領域中の物体の３次元形状を認識する。この３次元形状を特定するデータは、後述するように、距離が測定された複数の測定点の３次元空間内での位置情報で構成され、暗部補正すべき領域を推定するために用いられる。この撮像装置１（撮像部１０、距離画像取得部３１）の視野方向は撮像制御部１１によって認識され、この視野方向が特定されれば、３Ｄ情報処理部３２は、このような各測定点の位置情報を認識することができる。

【0018】

撮像部１０で得られた映像信号と、３次元形状認識部３０で得られた３次元形状データは、ハードディスクや不揮発性メモリで構成された記憶部４０に記憶される。また、記憶部４０には、暗部補正に用いる各種の補正用のパラメータ等も記憶されている。

【0019】

また、記憶部４０には、撮像された領域を３次元空間中で特定するために必要となる撮像情報も記憶される。撮像情報としては、撮像部１０の視野方向、視野範囲（画角）、撮像装置１自身の位置情報がある。このうち、視野方向、視野範囲はこの撮像装置１の使用時に変更される場合があるが、視野方向は視野方向制御部１２によって、視野範囲（画角）は撮像制御部１１によって、現在の値がそれぞれ認識される。撮像装置１自身の位置情報は、この撮像装置１の設置時に予め記憶される。

【0020】

更に、撮像の対象となる領域に対する照明光の光源（例えば街灯）の位置情報も、記憶部４０に記憶される。例えばこの撮像装置１が監視カメラとして用いられ、この光源が街灯である場合には、この光源の位置は変わらず、光源位置情報は撮像装置１の初期設定時に記憶させることができる。

【0021】

暗部領域推定部５０は、３次元形状認識部３０が認識した３次元形状と光源の位置関係より、この３次元形状がこの光源で照射された際の陰になる領域（暗部領域）を、３次元空間中において推定することができる。

【0022】

暗部領域２次元変換部６０は、撮像情報（撮像装置１の位置情報、２次元画像が取得された際の撮像部１０の視野）より、撮像された領域と上記のように認識された３次元形状との間の対応関係を認識することができ、前記のように推定された３次元形状中の暗部領域を、撮像によって得られた２次元画像中の領域に変換することができる。このように２次元画像中において認識された暗部領域が、暗部補正を要する領域となる。

【0023】

信号処理部２０は、この２次元画像中において、暗部領域として推定された領域に対してのみ局所的に暗部補正、すなわち、明暗の階調補正を行って、新たな映像信号として出力する。この暗部補正の内容は、例えば特許文献１に記載の方法と同様であるため、詳細は省略する。なお、この処理は、撮像部１０で得られた映像信号における１フレーム毎の２次元画像に対して行われる。この際、映像信号における各フレームに対応して前記の３次元形状データ、これを用いた暗部領域を得る必要はなく、後述するように、必要に応じて３次元形状データ、暗部領域を得ればよい。

【0024】

以下に、この撮像装置１において得られた２次元画像中における暗部領域を推定する動作について説明する。図２（ａ）は、撮像部１０によって撮像された１フレーム分の２次元画像の例であり、ここでは、円柱形状の物体Ａのみが存在するものとし、この物体Ａがやや上面側から撮像されている。この２次元画像中における暗部領域が推定される。

【0025】

一方、図２（ｂ）は、これに対応して３次元形状認識部３０で得られた３次元形状データを図２（ａ）に対応させて平面的に示した例である。図２（ａ）は実際に２次元画像であるのに対して、図２（ｂ）は実際には３次元の図であり、ここでは便宜上２次元画像として示されている。また、ここでは、撮像によって得られた図２（ａ）の領域と３次元形状が得られた図２（ｂ）の領域は等しいものとしている。この場合、図２（ｂ）は、図２（ａ）と同じ方向、視野でみた物体Ａの距離画像と考えることもでき、ここでは、距離が測定された測定点が黒点で示されている。物体Ａの表面上の複数の点が測定点となり、この各測定点を頂点とする多面体として物体Ａの３次元物体形状Ａ０が認識される。なお、ここでは便宜上物体Ａ上の測定点のみが示されているが、実際には図２（ｂ）における他の箇所にも測定点は同様に存在するが、物体Ａ以外の箇所は暗部領域とは無関係であるためにその記載は省略されている。３次元形状データは、このように３次元物体形状Ａ０を含む全ての測定点の位置情報からなる点群データとして、３Ｄ情報処理部３２で認識され、記憶部４０に記憶される。図２（ａ）の２次元画像、図２（ｂ）における３次元形状データのどちらにおいても、撮像装置１側から見た視線方向で、物体Ａに遮られる部分（視線方向で、より手前側に物体Ａの一部が存在するような部分）は認識されない。

【0026】

暗部領域推定部５０は、光源の位置情報より、図２（ｂ）において、認識された３次元形状形状と光源Ｐとの間の位置関係を認識する。図２（ｃ）においては、光源Ｐは物体Ａ（３次元物体形状Ａ０）の左側上方に位置するものとする。また、光源Ｐは点光源であるものとし、照明光は光源Ｐから全方位にわたり放射状に発せられる。

【0027】

次に、暗部領域推定部５０は、光源Ｐと図２（ｃ）における各測定点を直線で結んだ線分において、図２（ｂ）（ｃ）で認識された３次元物体形状Ａ０で遮られる部分があるか否かを認識する。図２（ｄ）においては、この状況が示され、遮られることがない線分が破線、この場合の測定点が黒丸で、遮られる線分が点線、この場合の測定点が白丸で、それぞれ示されている。白丸となった測定点に対応する物体Ａ上の１点は、この光源Ｐで照射される場合に陰になる（暗部となる）と推定される。このため、図２（ｅ）に示されるように、白丸となった測定点で構成される、ハッチングされた３次元物体形状Ａ０の一部の領域は、３次元物体形状Ａ０中における暗部領域（３次元暗部領域Ｃ３）であると推定される。

【0028】

暗部領域２次元変換部６０は、撮像情報における視野方向、視野範囲より、図２（ｅ）における３次元暗部領域Ｃ３を、図２（ａ）の２次元画像中における領域に変換し、図２（ｆ）に示されるように、図２（ａ）の２次元画像中における２次元暗部領域Ｃ２として認識する。

【0029】

信号処理部２０は、図２（ｆ）における、２次元暗部領域Ｃ２内の画素のみに対して、この中での明暗が明瞭となるような暗部補正を行う。具体的には、輝度の低い画素の輝度が、明暗の階調（コントラスト）を適正に保った上で高められるような補正が行われる。

【0030】

この場合においては、２次元暗部領域Ｃ２は、物体Ａの３次元形状と光源Ｐの位置から合理的に推定され、２次元暗部領域Ｃ２においては暗部補正が行われると共に、輝度が小さいが本来暗部補正が不要であるような他の領域には暗部補正は行われない。このため、より適正に暗部補正が行われる。図２の例では、３次元形状が測定された領域（図２（ｂ））と、撮像された領域（図２（ａ））が等しいものとされたが、前記の通り、これらが一致している必要はなく、撮像された領域あるいはこの中で特に特に注目すべき領域が、３次元形状が測定された領域に含まれていればよい。

【0031】

例えば図２に示されたように、動きがない大きな物体Ａの表面の詳細な部分の時間的な変化を認識するために暗部補正が必要となる場合がある。これに対して、上記のように、暗部領域の発生には、前記のような物体Ａの全体的な形状は影響するが、一般的にはこのような詳細な部分は影響しない。この場合、暗部領域を判定するために用いられる図２（ｂ）の３次元物体形状Ａ０の空間分解能（測定点の密度）は、物体Ａの全体形状が認識できる程度であればよく、撮像部１０の分解能より低くてもよい。

【0032】

また、撮像部１０の視野方向、視野範囲が一定であり、かつ物体Ａに動きがない状態においては、これによる２次元画像に対して適用される３次元形状データ（３次元物体形状Ａ０）の時間的変化はない。この場合には、映像信号中における異なるフレームの２次元画像に対しても、共通の３次元物体形状Ａ０を用いることができる。このため、図２（ｂ）のように３次元形状データを取得する作業は、記憶部４０に記憶されている３次元形状データが２次元画像に対して適用できなくなった場合等においてのみ行えばよい。この場合、３次元暗部領域Ｃ３を特定するデータ（暗部領域情報）を記憶部４０に記憶させておけば、光源Ｐの位置が変わっても、図２（ｄ）以降の作業のみを行い、２次元暗部領域Ｃ２を算出すればよい。

【0033】

更に、撮像部１０の視野方向、視野範囲が一定であり、光源Ｐの位置にも変化がなければ、３次元暗部領域Ｃ３、２次元暗部領域Ｃ２は変わらない。この場合には、前記の３次元暗部領域Ｃ３を特定するデータの代わりに、２次元暗部領域Ｃ２を特定するデータ暗部領域情報として記憶部４０に記憶させ、これを異なる２次元画像に対して共通に適用することもできる。

【0034】

特に、この撮像装置１が監視カメラとして用いられる場合には、通常はその位置は地上における１点に固定されて不変であり、光源Ｐが街灯である場合には、光源Ｐの位置も不変である。撮像部１０の視野方向、視野範囲については、例えば携帯型の撮像装置と比べて、一般的にはその変動は小さく、かつ、撮像制御部１１、視野方向制御部１２によってこれを正確に認識することができる。このため、特にこの撮像装置１を監視カメラとして用いる場合には、３次元形状データを取得する頻度は少なくても、図２（ｆ）において暗部補正が必要となる領域を適正に認識することができるため、上記の構成は有効である。

【0035】

図３は、上記のような暗部補正に関わる動作を示すフローチャートである。ここでは、この暗部補正が映像信号の１フレーム毎にリアルタイムで行われ、補正後の映像信号が出力されるものとする。この際、前記のように映像信号は連続的に得られるのに対して、３次元形状データ（３次元物体形状Ａ０）や光源Ｐの位置情報は、記憶部４０に記憶されたものが適正であると考えられる場合にはこれらを用い、適正でないと考えられる場合には更新されるものとする。

【0036】

ここでは、まず、信号処理部２０は、撮像部１０によって得られた補正前の映像信号から、１フレーム分の２次元画像を、処理の対象として認識すると共に、これに対応した撮像情報も認識する（Ｓ１）。次に、信号処理部２０は、現在記憶部４０に記憶されている３次元形状データを記憶部４０から読み出し（Ｓ２）、この３次元形状データがこの２次元画像に対応しているか否かを認識する（Ｓ３）。この際、信号処理部２０は、撮像情報から認識した２次元画像の範囲が、認識された３次元形状データの中に含まれない場合には、この３次元形状データはこの２次元画像に対応していないと判定することができる。また、例えば、前回の処理後に撮像装置１の視野方向が視野方向制御部１２によって変更された場合には、対応していないと推定することもできる。あるいは、例えば、２次元画像中において特に着目すべき領域が定まっている場合には、この領域についてのみ明瞭な２次元画像を得るために、この領域が３次元形状データの中に含まれている場合には、対応していると推定することもできる。

【0037】

３次元形状データがこの２次元画像に対応していると判定された場合（Ｓ３：Ｙｅｓ）には、この３次元形状データがそのまま使用される。一方、３次元形状データがこの２次元画像に対応してないと判定された場合（Ｓ３：Ｎｏ）には、信号処理部２０は、３次元形状認識部３０を用いて、この２次元画像に対応する最新の３次元形状データを入手し（Ｓ４）、記憶部４０に記憶させ、以降の処理ではこれを用いる。

【0038】

光源Ｐの位置情報についても同様であり、信号処理部２０は、現在記憶部４０に記憶されている光源Ｐの位置情報に前回の処理時からの変更があったか否かを判定する（Ｓ５）。変更がない場合（Ｓ５：Ｎｏ）には、以降の処理でこの位置情報がそのまま使用される。一方、変更があった場合（Ｓ５：Ｙｅｓ）には、信号処理部２０は、光源Ｐの位置情報を更新し（Ｓ６）、以降の処理ではこれを用いる。

【0039】

次に、暗部領域推定部５０は、このように認識された３次元形状データ、光源Ｐの位置情報を用いて、図２（ｄ）（ｅ）に示されたように、３次元暗部領域Ｃ３を算出する（Ｓ７）。その後、暗部領域２次元変換部６０は、撮像情報を用いてこの３次元暗部領域Ｃ３を２次元暗部領域Ｃ２に変換し（Ｓ８）、信号処理部２０は、この２次元暗部領域Ｃ２に対して暗部補正を行う（Ｓ９）。

【0040】

上記の処理は、映像信号における各フレーム毎の２次元画像に対して行われる。ただし、例えば映像の開始時から終了時までに撮像装置１の視野に変更がなく、かつ光源の位置にも変化がない場合には、全ての２次元画像に対して、共通の２次元暗部領域Ｃ２を用いることができ、これを記憶部４０に記憶させておけば、上記のＳ２～Ｓ８の工程は不要となる。特にこの撮像装置１が監視カメラとして用いられる場合には、このような場合が多くなる。

【0041】

上記の例では、暗部補正の動作は、映像の各フレーム毎にリアルタイムで行われるものとした。しかしながら、例えば補正前の映像信号とこれに対応した撮像情報、３次元形状データ等を一旦記憶部４０に記憶させておけば、後でこれらを読み出すことによって、元の映像信号に対して上記と同様の暗部補正を施すこともできる。すなわち、上記の処理を撮像の際にリアルタイムで行う必要はない。

【0042】

また、上記のような２次元暗部領域Ｃ２の算出とは別に、例えば図２（ａ）に示された２次元画像に対してパターン認識技術を適用し、物体Ａの画像から、例えば輝度が一様に小さな一定の領域を認識することもできる。この場合、この領域と、上記のように認識された２次元暗部領域Ｃ２とを比較し、両者は細かい点で異なるが大部分で共通である場合には、実際に暗部補正をすべき領域は、より正確にはこのように認識された輝度が一様に小さな一定の領域であると推定することもできる。３次元形状データの空間分解能（測定点の密度）が低いために２次元暗部領域Ｃ２の空間分解能が低い場合には、このような推定をすることがより合理的である。すなわち、上記のように推定された２次元暗部領域Ｃ２を、直接暗部補正すべき領域とはせずに、暗部補正をすべき領域を定めるための指針として用いてもよい。

【0043】

また、上記の例では、光源Ｐは点光源であるとされた。しかしながら、光源が例えば点光源とはみなせず一定の広がりをもつ場合においては、この光源を点光源の集合と考え、この場合の個々の点光源に対して上記と同様の処理を行うことにより、同様に３次元暗部領域Ｃ３、２次元暗部領域Ｃ２を算出することができる。

【0044】

また、上記の例では、図２（ｆ）における２次元暗部領域Ｃ２の外側では暗部補正を全く行わず、２次元暗部領域Ｃ２の内部でのみ一様に暗部補正が行われた。この場合には、これらの境界となる部分が不自然な線状に強調される場合がある。このような場合には、２次元暗部領域Ｃ２の輪郭を構成する境界線付近で、このような暗部補正の程度が徐々に変化するような暗部補正を行えばよい。この場合には、例えば、この境界線を含む境界線周囲の領域において、境界線外側の領域から境界線内側の領域にかけて、暗部補正の程度が段階的に強くなるように、各画素に対して暗部補正を行えばよく、これによって、より自然な表示を行うことができる。

【0045】

上記の撮像装置１においては、対象が撮像されると共に、上記のように局所的に暗部補正が行われた映像信号が出力された。一般的には、この撮像装置１から出力された映像信号は、離間した箇所における表示装置（ディスプレイ）で映像とされて表示される。この際、暗部補正の処理用の例えば明暗の階調の調整用のパラメータは、作業者が実際の画像をみた上で設定することが好ましい場合がある。

【0046】

このため、上記の信号処理部２０の機能（暗部補正）を、撮像装置側ではなく、例えば表示装置側で行ってもよい。この場合においては、図１において、信号処理部２０が暗部補正済みの映像信号を出力する代わりに、補正前の映像信号と、これに対応した２次元暗部領域領域Ｃ２を特定するための情報（２次元暗部領域情報）を共に表示装置側に出力すればよい。この場合においても、上記の構成によって暗部補正を行うべき領域が自動的に特定されるため、利便性が高まる。

【0047】

あるいは、図１において、カメラとして機能する撮像部１０、撮像制御部１１、視野方向制御部１２を設けず、かつ３次元形状を測定するための３次元形状認識部３０も設けず、映像信号と、これに対応した３次元形状のデータ、撮像情報、光源位置情報、距離画像情報を入手し、映像信号に対して暗部補正を行って出力する画像処理装置を得ることも可能である。

【0048】

図４は、このような画像処理装置２の構成を示す図である。ここでは、映像信号（補正前）、撮像情報、光源位置情報、３次元形状、距離画像情報が外部から入力し、前記の記憶部４０、暗部領域推定部５０、暗部領域２次元変換部６０、信号処理部（暗部補正部）２０とそれぞれ同様の、記憶部１４０、暗部領域推定部１５０、暗部領域２次元変換部１６０、信号処理部（暗部補正部）１２０が設けられる。前記のように、３次元形状が時間的に変化しないものとした場合には、この画像形成装置２においてリアルタイムで入手する必要があるのは映像信号のみである。このため、この画像処理装置２の構成は単純となる。

【0049】

また、例えば撮像部１０、３次元形状認識部３０等を別体として監視用に屋外等に監視カメラとして設け、コンピュータで図４の画像処理装置２を構成してこれと離間して設けることができる。

【0050】

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0051】

１ 撮像装置
２ 画像処理装置
１０ 撮像部
１１ 撮像制御部
１２ 視野方向制御部
２０、１２０ 信号処理部（暗部補正部）
３０ ３次元形状認識部
３１ 距離画像取得部
３２ ３Ｄ情報処理部
４０、１４０ 記憶部
５０、１５０ 暗部領域推定部
６０、１６０ 暗部領域２次元変換部
Ａ 物体
Ａ０ ３次元物体形状
Ｃ２ ２次元暗部領域
Ｃ３ ３次元暗部領域（暗部領域）
Ｐ 光源

【図1】

【図2】

【図3】

【図4】