特許 7576095 撮像装置及び付着物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】撮像装置及び付着物検出方法

(51)【国際特許分類】

   H04N 23/695 20230101AFI20241023BHJP

   G03B 15/00 20210101ALI20241023BHJP

   G03B 17/18 20210101ALI20241023BHJP

【ＦＩ】

H04N23/695

G03B15/00 T

G03B17/18

【請求項の数】 4

(21)【出願番号】P 2022547535

(86)(22)【出願日】2021-09-02

(86)【国際出願番号】 JP2021032263

(87)【国際公開番号】W WO2022054679

(87)【国際公開日】2022-03-17

【審査請求日】2023-02-09

(31)【優先権主張番号】P 2020152658

(32)【優先日】2020-09-11

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】澁谷 拓洋

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１１－１２４８３０（ＪＰ，Ａ）

【文献】特開２００２－２０９１４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９５

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

撮影方向を変動可能に配備された撮像装置において、
レンズ面が被写界深度に含まれるようにレンズを絞り、且つ、絞り分の光量を補えるように露光時間を長くした状態で、露光時間中に被写体の輝度レベルが高い部分が画面全体に満遍なく走査されるように撮影方向を変動させながら撮影を行うよう制御することで、撮像素子から出力される画像の画面全体に被写体の残像を発生させる撮影制御処理と、
前記制御の下での撮影によって前記撮像素子から出力された画像からエッジ成分を検出し、検出されたエッジ成分に基づいて、前記レンズ面に対する付着物を検出する付着物検出処理とを行い、
前記付着物検出処理において、前記画像から検出されたエッジ成分に基づいてエッジのかたまりの大きさを算出し、該エッジのかたまりの大きさが所定値未満の場合には、該エッジのかたまりは付着物でないと判断することを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
前記撮影制御処理では、露光時間中に撮影方向を複数の方向に変動させながら撮影を行うよう制御することを特徴とする撮像装置。

【請求項3】

撮影方向を変動可能に配備された撮像装置のレンズ面に対する付着物を検出する付着物検出方法であって、
レンズ面が被写界深度に含まれるようにレンズを絞り、且つ、絞り分の光量を補えるように露光時間を長くした状態で、露光時間中に被写体の輝度レベルが高い部分が画面全体に満遍なく走査されるように撮影方向を変動させながら撮影を行うよう撮像装置を制御することで、撮像素子から出力される画像の画面全体に被写体の残像を発生させる撮影制御処理と、
前記制御の下での撮影によって前記撮像素子から出力された画像からエッジ成分を検出し、検出されたエッジ成分に基づいて、前記レンズ面に対する付着物を検出する付着物検出処理とを行い、
前記付着物検出処理において、前記画像から検出されたエッジ成分に基づいてエッジのかたまりの大きさを算出し、該エッジのかたまりの大きさが所定値未満の場合には、該エッジのかたまりは付着物でないと判断することを特徴とする付着物検出方法。

【請求項4】

請求項３に記載の付着物検出方法において、
前記撮影制御処理では、露光時間中に撮影方向を複数の方向に変動させながら撮影を行うよう制御することを特徴とする付着物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影方向を変動可能に配備された撮像装置に関する。

【背景技術】

【0002】

監視カメラ等に使用される撮像装置は、人の目に代わる監視手段として種々の場面で使用されている。例えば、雲台に搭載されて建物の屋内外や河川の監視等に使用されるほか、自動車や鉄道車両に搭載されて車内外の監視や運行状況の監視等に使用される。しかしながら、運用を継続していく中で撮像装置のレンズ面に土埃などの汚れが付着し、視認性が低下する場合がある。この問題はレンズ面の清掃を行うことで解消できるが、一つのシステムで多くの撮像装置が使用されることもあるため、メンテナンスの負担増加に繋がってしまう。このため、レンズ面の清掃を効率化する仕組みが求められている。

【0003】

ここで、撮像装置の付着物の検出に関して、これまでに種々の発明が提案されている。例えば、特許文献１には、空方向に向けた状態で撮影された画像データと固定パターンの画像データとの差分から塵埃の画像の位置を検出する技術が開示されている。また、特許文献２には、白色ＬＥＤを照射した状態で撮像された画像データと固定パターンの画像データとの差分から塵埃の画像の位置を検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－０５７９３３号公報

【文献】特開２００７－０３６９５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術では、空方向に向けて撮影する必要があるため、天候、時間帯、設置位置が付着物検出に対して及ぼす影響が大きいという問題がある。また、特許文献２の技術では、白色ＬＥＤを照射する必要があるため、ハードウェアの追加が必要であり、装置コストが増大してしまうという課題がある。

【0006】

本発明は、上記のような従来の事情に鑑みて為されたものであり、撮像装置のレンズ面の付着物を精度よく検出できる仕組みを低コストで提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、本発明では、撮像装置を以下のように構成した。
すなわち、撮影方向を変動可能に配備された撮像装置において、レンズ面が被写界深度に含まれるようにレンズを絞り、且つ、絞り分の光量を補えるように露光時間を長くした状態で、撮影方向を変動させながら撮影を行うよう制御する撮影制御処理と、前記制御の下で撮影された画像に含まれるエッジ成分に基づいて、レンズ面に対する付着物を検出する付着物検出処理とを行うことを特徴とする。

【0008】

また、本発明は、以下のような付着物検出方法として実現することもできる。
すなわち、撮影方向を変動可能に配備された撮像装置のレンズ面に対する付着物を検出する付着物検出方法であって、レンズ面が被写界深度に含まれるようにレンズを絞り、且つ、絞り分の光量を補えるように露光時間を長くした状態で、撮影方向を変動させながら撮影を行うよう撮像装置を制御する撮影制御処理と、上記制御の下で撮像装置により撮影された画像に含まれるエッジ成分に基づいて、レンズ面に対する付着物を検出する付着物検出処理とを行うことを特徴とする。

【0009】

ここで、上記の撮像装置及び付着物検出方法において、撮影制御処理では、撮影方向を複数の方向に変動させながら撮影を行うよう制御してもよい。

【発明の効果】

【0010】

本発明によれば、撮像装置のレンズ面の付着物を精度よく検出できる仕組みを低コストで提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態に係る撮像装置の構成例を示す図である。

【図2】付着物検出処理のフローチャート例を示す図である。

【図3】撮影画像の例を示す図である。

【図4】本発明の第２実施形態に係る付着物検出システムの概要を示す図である。

【発明を実施するための形態】

【0012】

本発明の一実施形態について、図面を参照して説明する。図１には、本発明の第１実施形態に係る撮像装置の構成例を示してある。図１の撮像装置１は、レンズ１１、撮像素子１２、映像信号処理部１３、レンズ制御部１４、露光制御部１５、エッジ検出部１６、ＣＰＵ（Central Processing Unit）部１７、撮影制御データ記憶部１８、雲台１９を備えている。

【0013】

レンズ１１は、被写体からの入射光を撮像素子１２の撮像面に結像する。撮像素子１２は、撮像面に結像された被写体の光学像を電気信号に光電変換する。映像信号処理部１３は、撮像素子１２により得られた映像信号に対して各種の映像信号処理（例えば、ガンマ補正、ニー補正、輪郭補正、色補正など）を施し、ＨＤ－ＳＤＩ（High Definition Serial Digital InterfaceHH）信号を生成して外部に出力する。なお、映像信号処理部１３から出力する映像信号はＨＤ－ＳＤＩに限定するものではなく、圧縮や暗号化の方式も問わない。

【0014】

レンズ制御部１４は、レンズ１１の絞り、ズーム、フォーカス等を制御する。露光制御部１５は、撮像素子１２の露光時間を制御する。エッジ検出部１６は、映像信号処理部１３による処理前又は処理後の映像信号からエッジ成分を検出する。雲台１９は、撮影方向を調整するために、撮像装置１のパン・チルト動作を制御する。本例の雲台１９は、撮像装置１を水平方向に３６０度回転させることができ、更に、撮像装置１を垂直方向に仰角約１８０度程度まで回転させることができる。ＣＰＵ１７は、撮像装置１の各部の動作を制御する。撮影制御データ記憶部１８は、付着物検出を行う際の撮影制御のために使用される撮影制御データを記憶する。

【0015】

撮影制御データは、レンズ絞り、露光時間、パン・チルト動作を設定したデータであり、予め設定されている。ＣＰＵ部１７は、撮影制御データ記憶部１８から撮影制御データを読み出し、その設定値に応じた制御をレンズ制御部１４、露光制御部１５、雲台１９に指示する。これにより、レンズ絞り、露光時間、パン・チルト動作を自動的に制御することができる。

【0016】

次に、撮像装置１のレンズ面に対する付着物（ゴミや飛沫など）を検出する際の動作について、図２のフローチャート例を参照して説明する。ここで、本明細書における「レンズ面」とは、付着物の付着が懸念されるレンズ外側面を指し、レンズが保護ガラス等によりカバーされている場合には、そのようなカバー物の外側面を含むものとする。

【0017】

撮像装置１は、予め設定されたタイミング、又は利用者が所定の操作をしたタイミングで、ＣＰＵ部１７の制御の下で撮影制御処理及び付着物検出処理を開始する。このタイミングは、撮像装置１の運用に支障がないタイミングが好ましい。

【0018】

撮影制御処理ではまず、レンズ制御部１４が、撮影制御データに従って、レンズ１１の絞りを極限（羽が閉じきる寸前）まで絞る（ステップＳ１１）。これにより、ピンホールカメラのような状態となり、被写界深度が非常に深くなるため、焦点が合っていないレンズ面に付いた付着物も暈けることなくはっきりと映るようになる。

【0019】

次に、露光制御部１５が、撮影制御データに従って、撮像素子１２の露光時間を通常より極端に長くする（ステップＳ１２）。具体的には、数秒から十数秒程度の露光時間とする。これは、レンズ１１の絞りを絞った分で減少した光量を補うとともに、付着物を検出する際の残像を発生させる効果がある。

【0020】

この長時間の露光期間中に、雲台１９が、撮影制御データに従って、撮像装置１が撮影している画角（撮影方向）が大きく変化するようにパン・チルトを動かす（ステップＳ１３）。このとき、より精度よく付着物を検出できるように、被写体の輝度レベルが高い部分が画面全体に満遍なく走査されるようにパン・チルトを動かして、被写体を遮る付着物が顕著に映るようにすることが望ましい。なお、屋外に撮像装置が設置されている場合は、日中の空を撮影するのが最も簡単である。

【0021】

上記のように露光期間中にパン・チルトを動かすことで、画面全体に強い残像が発生して暈けた画像が撮影されることとなる。その一方で、レンズ面に付いた付着物だけは残像が発生せずにはっきりと映るので、その部分のエッジ成分が多くなる。何故ならば、付着物は撮像装置１のパン・チルト動作に連れて移動する（つまり、画像中で動かない）唯一の被写体であるためである。

【0022】

撮像装置１は、このような撮影制御処理を行いながら、付着物検出処理を行う。付着物検出処理では、エッジ検出部１６が、映像信号中のエッジ成分を検出し、エッジ成分が閾値以上か否かを判定する（ステップＳ１４）。その結果、エッジ成分が閾値以上の場合には、レンズ面に付着物が付いていると判断し、アラートを発報して利用者に報せた後に、レンズ絞り、露光時間、パン・チルト位置を元に戻す（ステップＳ１５，Ｓ１６）。一方、エッジ成分が閾値未満の場合には、アラートの発報は行わずに、レンズ絞り、露光時間、パン・チルト位置を元に戻す（ステップＳ１６）。

【0023】

上述した撮影制御処理によって撮影される画像について、通常時の画像と比較して説明する。通常時、すなわち、レンズ絞り及び露光時間が普通の状態では、図３（ａ）に示すような画像が撮影される。この場合、レンズ面に付着物が付いていたとしても、レンズ面は完全にフォーカス外のために視認し難い。これは、レンズのフォーカスは数十ｍｍ以上であり、ゼロ距離には合わせられないためである。なお、回折により被写体の映像を撮影できるが、付着物が少なからず影響を及ぼしている。

【0024】

これに対し、レンズ絞りを限りなく絞り、且つ、露光時間を極長にした状態では、図３（ｂ）に示すような画像が撮影される。このように、レンズ絞りを極限まで絞ることで被写界深度が非常に深くなり、レンズ面に付いた付着物（図中の黒点）もはっきりと映るようになる。また、レンズ絞りによって光量が減少した分は、電子シャッタにより露光時間を長くして輝度レベルを上げることで補うことができるので、付着物を検出し易くなる。一般に、露光時間を極端に長くした場合にはフレーム数が下がり、残像が多く発生するが、付着物検出を行う際はフレーム数が下がっても特に問題はなく、レンズ面の付着物は移動しないので残像の発生もない。

【0025】

この状態で雲台により撮影方向を変動させながら撮影を行うことで、図３（ｃ）に示すような画像が撮影される。このように、長露光期間中に撮影画角を動かすことで敢えて画面全体に残像を発生させ、疑似的にレンズ面の付着物のみにフォーカスを合わせることが可能となる。これは、付着物は撮影方向の変動と同様に移動する唯一の被写体であるため、撮影方向を変動させても付着物の残像が発生しないためである。本発明では、残像の発生を逆利用することで、被写体の映像に依らない付着物検出を実現している。

【0026】

以上のように、本例の撮像装置１は、レンズ１１の絞りをレンズ制御部１４により極限まで絞り、且つ、撮像素子１２の露光時間を露光制御部１５により極端に長くした状態で、雲台１９により撮影方向を変動させながら撮影を行うよう制御する撮影制御処理と、撮影された画像に含まれるエッジ成分に基づいて、レンズ面に対する付着物を検出する付着物検出処理とを行うように構成されている。

【0027】

このような構成により、撮像装置のレンズ面の付着物に付いている場合には、その付着物のみにフォーカスを合わせたような画像を撮影できるので、付着物を精度よく検出することが可能である。また、従来技術のように白色ＬＥＤなどのハードウェアを付着物検出のために追加する必要が無く、精度のよい付着物検出を低コストで実現することが可能である。

【0028】

ここで、被写体が一定方向に延びる線状の物体の場合には、これと同じ方向に撮影方向を変動させてしまうと、被写体のエッジが残った画像が撮影されてしまうので、付着物の検出がうまくいかない可能性がある。そこで、付着物のエッジをより適切に検出できるように、撮影制御処理では、撮影方向を複数の方向に変動させながら撮影を行うよう制御してもよい。この場合、パン動作による水平（左右）移動と、チルト動作による垂直（上下）移動の２方向の制御だけでもよいが、パン動作とチルト動作を同時に行って斜め方向の撮影も加えることが好ましい。また、あらゆる方向のエッジをより適切に検出できるような方向制御（例えば、円軌道を描くような方向制御）を行ってもよい。

【0029】

なお、本例では、レンズ絞りを極限まで絞っているが、レンズ面が被写界深度に含まれる程度に絞られればよい。また、本例では、撮像素子の露光時間を極端に長い設定（例えば、数秒から十数秒程度）にしているが、レンズ絞りの絞り分の光量を補える程度の露光時間であればよい。

【0030】

また、本例では、撮影画像から検出されたエッジ成分を閾値と比較することで付着物の有無を判定しているだけだが、付着物の位置や範囲などの更なる情報を得るようにしてもよい。また、エッジのかたまりの大きさを算出し、大きさが所定値未満の場合には付着物ではないと判定するようにしてもよい。また、本例では、付着物が検出された場合に、アラートを発報して利用者に報せるだけだが、付着物検出後に撮影された画像について、付着物の範囲に対する補正処理を加えるようにしてもよい。

【0031】

ここで、本発明は、第１実施形態のように撮像装置自身が付着物検出を行う構成だけでなく、撮像装置とは別の装置が付着物検出を行う構成として実現することもできる。
図４には、本発明の第２実施形態に係る付着物検出システムの概要を示してある。本例の付着物検出システムは、複数であるＮ台の撮像装置１－１～１－Ｎと、付着物検出装置２を備えている。撮像装置１－１～１－Ｎと付着物検出装置２は、ネットワーク回線を通じて通信可能に接続されている。なお、以下では、第２実施形態に特有の部分に着目して説明し、第１実施形態と同様な部分については説明を省略する。

【0032】

付着物検出装置２は、付着物検出の対象となるｎ番目の撮像装置１－ｎと通信して、そのレンズ面に対する付着物の検出を行う。すなわち、付着物検出装置２が、レンズ面が被写界深度に含まれるようにレンズを絞り、且つ、絞り分の光量を補えるように露光時間を長くした状態で、雲台により撮影方向を変動させながら撮影を行うよう撮像装置１－ｎを制御する撮影制御処理と、上記制御の下で撮像装置１－ｎにより撮影された画像に含まれるエッジ成分に基づいて、レンズ面に対する付着物を検出する付着物検出処理とを行うように構成されている。

【0033】

具体的には、付着物検出装置２は、撮像装置１－ｎに対して、上述したような制御の下での撮影を指示する撮影指示信号を送信し、これに応じて撮像装置１－ｎから送信される画像に含まれるエッジ成分に基づいて、撮像装置１－ｎのレンズ面に対する付着物を検出する。なお、上記制御に用いる撮影制御データは、付着物検出装置２が撮影指示信号と共に送信してもよいし、それぞれの撮像装置１に予め記憶させておいてもよい。

【0034】

以上、本発明について幾つかの実施形態に基づいて説明したが、本発明はここに記載された構成に限定されるものではなく、他の構成の装置やシステムに広く適用することができることは言うまでもない。例えば、雲台に搭載された撮像装置ではなく、移動体に固定して搭載された撮像装置を用い、移動体の移動により撮影方向を変動させるようにしてもよい。
また、本発明は、例えば、上記の処理に関する技術的手順を含む方法や、上記の処理をプロセッサにより実行させるためのプログラム、そのようなプログラムをコンピュータ読み取り可能に記憶する記憶媒体などとして提供することも可能である。

【0035】

なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。更に、本発明の範囲は、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。

【産業上の利用可能性】

【0036】

本発明は、撮影方向を調整するための雲台を備えた撮像装置に利用することができる。

【符号の説明】

【0037】

１：撮像装置、 ２：付着物検出装置、 １１：レンズ、 １２：撮像素子、 １３：映像信号処理部、 １４：レンズ制御部、 １５：露光制御部、 １６：エッジ検出部、
１７：ＣＰＵ部、 １８：撮影制御データ、 １９：雲台

【図1】

【図2】

【図3】

【図4】