IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アクシス アーベーの特許一覧

<>
  • 特許-監視カメラの接近した物体の検知 図1
  • 特許-監視カメラの接近した物体の検知 図2
  • 特許-監視カメラの接近した物体の検知 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-24
(45)【発行日】2025-04-01
(54)【発明の名称】監視カメラの接近した物体の検知
(51)【国際特許分類】
   G06T 7/586 20170101AFI20250325BHJP
   H04N 23/56 20230101ALI20250325BHJP
   H04N 23/60 20230101ALI20250325BHJP
   G08B 25/00 20060101ALI20250325BHJP
【FI】
G06T7/586
H04N23/56
H04N23/60
G08B25/00 510M
【請求項の数】 14
【外国語出願】
(21)【出願番号】P 2020204765
(22)【出願日】2020-12-10
(65)【公開番号】P2021108116
(43)【公開日】2021-07-29
【審査請求日】2023-09-15
(31)【優先権主張番号】19217076
(32)【優先日】2019-12-17
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】502208205
【氏名又は名称】アクシス アーベー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ルンドベリ, ステファン
(72)【発明者】
【氏名】ヒェルムストレム, ヨナス
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開2012-084009(JP,A)
【文献】米国特許出願公開第2016/0165101(US,A1)
【文献】国際公開第2018/225666(WO,A1)
【文献】特開2011-049793(JP,A)
【文献】特開2003-169321(JP,A)
【文献】特開2015-012567(JP,A)
【文献】古賀陸樹 外1名,食品表面上の毛髪検知装置の技術と動向,計測技術,日本,日本工業出版株式会社,2013年01月05日,第41巻 第1号,pp.40~47
【文献】Xiong Biao et al.,“Dust Removal with Boundary and Spatial Constraint for Videos Captured in Car”,2017 IEEE 14th International Conference on e-Business Engineering (ICEBE)[online],IEEE,2017年,pp.312-317,[検索日 2024.6.27], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8119169&tag=1>,DOI: 10.1109/ICEBE.2017.57
【文献】Iizuka et al.,“Divergence-Ratio Axi-Vision Camera (Divcam) a distance mapping camera”,2007 IEEE Antennas and Propagation Society International Symposium[online],IEEE,2007年,pp.3984-3987,[検索日 2024.6.27], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4396413>,DOI: 10.1109/APS.2007.4396413
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 - 21/01
G01N 21/17 - 21/61
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
G08B 23/00 - 31/00
H04N 23/00
H04N 23/40 - 23/76
H04N 23/90 - 23/959
CSDB(日本国特許庁)
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
シーンを監視する画像取り込みデバイス(300)のレンズ(301)に接近した物体の存在を判定するための方法であって、
第1の角度から前記シーンを照明するように配置された第1の赤外線照明光源(302)を活性化することと、
前記画像取り込みデバイス(300)によって第1の画像(304)を取得することと、
前記第1の赤外線照明光源(302)を不活性化し、第2の角度から前記シーンを照明するように配置された第2の赤外線照明光源(306)を活性化することと、
前記画像取り込みデバイス(300)によって第2の画像(306)を取得することと、
前記第1の画像(304)の強度情報と前記第2の画像(306)の強度情報を比較して、前記レンズ(301)に接近した物体の前記存在を判定することと
を含み、
前記強度情報を比較することが、
前記第1の画像(304)と前記第2の画像(308)の間の全体的な強度差を補償することと、
何らかの局所的強度差が残っているかどうかを判定することと、
前記局所的強度差があるとの肯定的な判定に応答して、前記レンズに接近した物体の前記存在の指示を提供することと
を含む方法。
【請求項2】
前記第1の赤外線照明光源(302)および前記第2の赤外線照明光源(306)が基本的に等しい強度および波長で前記物体を照明するように配置されている、請求項1に記載の方法。
【請求項3】
前記第1の赤外線照明光源(302)および前記第2の赤外線照明光源(306)がそれぞれ1つまたは複数の赤外線発光ダイオードを備える、請求項1または2に記載の方法。
【請求項4】
前記第2の赤外線照明光源(306)を不活性化し、第3の角度から前記シーンを照明するように配置された第3の赤外線照明光源を活性化することと、
第3の画像を取得することと、
前記第1の画像(304)の強度情報と、前記第2の画像(308)の強度情報と、前記第3の画像の強度情報とを比較して、前記レンズに接近した物体の前記存在を判定することとをさらに含む請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記第1の赤外線照明光源(302)と第3の赤外線照明光源を一緒に活性化/不活性化することと、
前記第2の赤外線照明光源(306)と第4の赤外線照明光源を一緒に活性化/不活性化することと
をさらに含み、
前記第1の赤外線照明光源および前記第3の赤外線照明光源が、前記第2の赤外線照明光源および前記第4の赤外線照明光源から基本的に垂直に配置されている、請求項1から3のいずれか一項に記載の方法。
【請求項6】
局所的強度差パターンを参照強度差パターンと比較することと、
前記局所的強度差パターンと前記参照強度差パターンの間に一致があるとき、前記レンズ(301)に接近した物体の前記存在の指示を提供することと
をさらに含む請求項1から5のいずれか一項に記載の方法。
【請求項7】
ニューラルネットワークを使用して前記局所的強度差を評価し、前記レンズ(301)に接近した物体の存否を判定することをさらに含む請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記第1の赤外線照明光源(302)と前記第2の赤外線照明光源(306)の両方を使用して前記第1の画像を取り込む前に、最初の画像を取り込むことと、
前記第1の赤外線照明光源(302)と前記第2の赤外線照明光源(306)の両方を使用して前記第2の画像を取り込んだ後に、最後の画像を取り込むことと、
前記最初の画像の強度情報と前記最後の画像の強度情報を比較して、前記シーンの中に動きがあるかどうかを判定することと、
前記シーンの中に動きがないとの判定に応答して、前記レンズ(301)に接近した物体の前記存在の前記判定を検証することと
をさらに含む請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記レンズ(301)に接近した物体があると判定したことに応答して、カメラ技士に通知を送ること
をさらに含む請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記物体が、クモ、昆虫、クモの付属物、および昆虫の付属物のうちの1つまたは複数である、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記画像取り込みデバイスによって前記第1の画像(304)を取得し、前記画像取り込みデバイス(300)によって前記第2の画像(308)を取得することが、いくつかの短期間の露光画像を取得して、前記短期間の露光画像をそれぞれ前記第1の画像(304)および前記第2の画像(308)へと組み合わせることを含む、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記画像取り込みデバイス(300)によって最初の画像を取得し、前記画像取り込みデバイス(300)によって最後の画像を取得することのそれぞれが、いくつかの短期間の露光画像を取得することと、前記短期間の露光画像をそれぞれ前記最初の画像および前記最後の画像へと組み合わせることとを含む、請求項7から11のいずれか一項に記載の方法。
【請求項13】
シーンを監視する画像取り込みデバイス(300)のレンズ(301)に接近した物体の存在を判定するためのシステムであって、
メモリと、
画像取り込みデバイス(300)と、
第1の赤外線照明光源(302)と、
第2の赤外線照明光源(306)と、
プロセッサと
を備え、
前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されたとき、前記プロセッサに
第1の角度から前記シーンを照明するように配置された前記第1の赤外線照明光源(302)を活性化することと、
前記画像取り込みデバイス(300)によって第1の画像(304)を取得することと、
前記第1の赤外線照明光源(302)を不活性化し、第2の角度から前記シーンを照明するように配置された前記第2の赤外線照明光源(306)を活性化することと、
前記画像取り込みデバイス(300)によって第2の画像(308)を取得することと、
前記第1の画像(304)の強度情報と前記第2の画像(308)の強度情報を比較して、前記レンズ(301)に接近した前記物体の前記存在を判定することとを含み、
前記強度情報を比較することが、
前記第1の画像(304)と前記第2の画像(308)の間の全体的な強度差を補償することと、
何らかの局所的強度差が残っているかどうかを判定することと、
前記局所的強度差があるとの肯定的な判定に応答して、前記レンズに接近した物体の前記存在の指示を提供することと
を含む方法を実施させる、システム。
【請求項14】
シーンを監視する画像取り込みデバイス(300)のレンズ(301)に接近した物体の存在を判定するためのプログラム命令を有する非一時的なコンピュータ可読記憶媒体であって、前記プログラム命令は、
第1の角度から前記シーンを照明するように配置された第1の赤外線照明光源(302)を活性化することと、
前記画像取り込みデバイス(300)によって第1の画像(304)を取得することと、
前記第1の赤外線照明光源(302)を不活性化し、第2の角度から前記シーンを照明するように配置された第2の赤外線照明光源(306)を活性化することと、
第2の画像(308)を取得することと、
前記第1の画像(304)の強度情報と前記第2の画像(308)の強度情報を比較して、前記レンズ(301)に接近した前記物体の前記存在を判定することとを含み、
前記強度情報を比較することが、
前記第1の画像(304)と前記第2の画像(308)の間の全体的な強度差を補償することと、
何らかの局所的強度差が残っているかどうかを判定することと、
前記局所的強度差があるとの肯定的な判定に応答して、前記レンズに接近した物体の前記存在の指示を提供することと
を含む方法を実施するようにプロセッサによって実行可能である、コンピュータ可読記憶媒体
【発明の詳細な説明】
【技術分野】
【0001】
本発明はカメラに関し、より詳細には、カメラのレンズに近接近した物体の検知に関する。
【背景技術】
【0002】
特に、それぞれのカメラの状態を手作業で監視するのが実質的に不可能な何百または何千ものカメラを含み得る大きな監視システムにおいて、カメラの健全性管理が普及しつつある。室内環境と室外環境の両方で監視カメラに生じる共通問題の1つには、カメラの中に組み込まれることが多い赤外線にクモや昆虫が引き寄せられることがある。
【0003】
昆虫(たとえば蝶、蛾など)やクモは、それ自体がレンズにとまるかまたは近接近することにより、カメラの視界を遮って、カメラが監視するシーンに生じるイベントを検知するカメラの能力を低下させることがある。昆虫またはクモがレンズまたは視界を横切って動くと、カメラの分析ソフトウェアが、これを、レンズの近接近における動きまたはレンズ上の動きではなくシーンにおける動きと解釈して、偽警報が誘発されることがある。
【0004】
さらに、特にクモは(一部の昆虫も)、レンズの前に「付属物」を残すことがある。そのような付属物の一例にはクモの巣がある。小さい昆虫やクモは、カメラの赤外線によって引き寄せられるので、レンズの前に付属物を残す傾向がある。クモの巣などの付属物がカメラの光によって照明されると、特に付属物に水滴があるときには光の大部分が付属物によって反射されてカメラセンサに返され、付属物が除去されるまでカメラの監視能力がある程度低下する。人間によって、不法な目的のために、たとえばある種の物体をレンズの近接近に置いてレンズを不明瞭にすることによってカメラが不正に変更される状況もあり得る。
【0005】
少なくともこれらの理由のために、偽警報を防止し得るように、かつ/またはカメラに対する何らかの処置(たとえば障害物の除去)が必要であるという指示を得るために、レンズに接近した物体を自動的に検知するやり方を得るのが望ましい。
【発明の概要】
【0006】
本発明は、第1の態様によれば、コンピュータシステムにおいて、シーンを監視する画像取り込みデバイスのレンズに接近した物体の存在を判定するための方法に関する。この方法は、
・第1の角度からシーンを照明するように配置された第1の赤外線照明光源を活性化することと、
・画像取り込みデバイスによって第1の画像を取得することと、
・第1の赤外線照明光源を不活性化し、第2の角度からシーンを照明するように配置された第2の赤外線照明光源を活性化することと、
・画像取り込みデバイスによって第2の画像を取得することと、
・第1の画像の強度情報と第2の画像の強度情報を比較して、レンズに接近した物体の存在を判定することとを含む。
【0007】
この方法は、従来のカメラが一般的には異なる角度からシーンを照明するように制御され得る照明器を有するような、カメラのハードウェアセットアップに対する修正を大抵の場合は必要とすることなく、レンズに接近した物体を検知するための技術を改善するやり方を提供するものである。物体がレンズに接近して存在しているかどうかを自動的に判定することができるので、偽警報の回数を減少させることができ、カメラに対して何か手入れが必要な場合には適切な警報を生成することができる。この方法は、個々のカメラフィードの手動介入および監視の必要性を低減し、したがってカメラシステムの維持に関する経費の節約にも寄与し得るものである。
【0008】
一実施形態によれば、第1の赤外線照明光源と第2の赤外線照明光源は、基本的に等しい強度および波長で物体を照明するように配置される。両側から照明するための等しい強度および波長を有することにより、照明の点で可能な限り類似した状態をもたらし、異なる波長に対して異なる反射特性を有する照明された物体から生じ得る差異を取り除く。これによって画像の比較も容易になり、純粋に2つの異なる角度から物体を照明することによって生じる差異をより明瞭に識別することがより簡単になる。
【0009】
一実施形態によれば、第1の赤外線照明光源および第2の赤外線照明光源は、それぞれ1つまたは複数の赤外線発光ダイオードを備える。発光ダイオード(LED)はほとんどのカメラにおいて標準的な要素であり、既存の構成要素を使用することによって、カメラのハードウェアに対する大きな修正が不要になる。それぞれの照明光源においてLEDの数も多様であり得る。場合によっては、それぞれの光源において1つのLEDで十分であり得、他の事例ではそれぞれの照明光源において複数のLEDが必要なこともある。
【0010】
一実施形態によれば、この方法は、第2の赤外線照明光源を不活性化し、第3の角度からシーンを照明するように配置された第3の赤外線照明光源を活性化することと、第3の画像を取得することと、第1の画像の強度情報と、第2の画像の強度情報と、第3の画像の強度情報とを比較して、レンズに接近した物体の存在を判定することとをさらに含む。2つよりも多くの赤外線照明光源を使用することができるので、より多くの画像が取得され得、しかも3つの画像の間の一対比較が可能になるため、物体の存在に関するより優れた判定が可能になり得る。これによって、レンズに接近した物体の存在が、より確実に判定される。
【0011】
一実施形態によれば、この方法は、第1の赤外線照明光源と第3の赤外線照明光源を一緒に活性化/不活性化することと、第2の赤外線照明光源と第4の赤外線照明光源を一緒に活性化/不活性化することとをさらに含み、第1の赤外線照明光源および第3の赤外線照明光源は、第2の赤外線照明光源および第4の赤外線照明光源から基本的に垂直に配置されている。互いに対して基本的に垂直に配置された照明光源の2つのグループを使用すると、優れた照明がもたらされるばかりでなく、レンズに接近して配置された物体によって生じ得る強度差が強化され、これによって、そのような物体の検知の精度が改善される。
【0012】
一実施形態によれば、強度情報を比較することは、第1の画像と第2の画像の間の全体的な強度差を補償することと、何らかの局所的強度差が残っているかどうかを判定することと、局所的強度差があるとの肯定的な判定に応答して、レンズに接近した物体の存在の指示を提供することとを含む。強度比較は計算上低コストの比較であり、最初に全体的な強度差を補償することにより、画像比較において局所的強度差がより明瞭に現れることになり、したがって、レンズに接近した物体の存在を簡単に判定することができる。
【0013】
一実施形態によれば、この方法は、局所的強度差パターンを参照強度差パターンと比較することと、局所的強度差パターンと参照強度差パターンの間に一致があるとき、レンズに接近した物体の存在の指示を提供することとを含む。異なる参照強度パターンがあると、レンズに接近した物体を検知し得るばかりでなく、物体が何であるかを少なくともある程度識別することも可能になり得る。たとえば、蝶は、クモの巣と比較して、または誰かがカメラを不正に変更したものと比較して、異なる強度パターンをもたらし得、異なるタイプの処置を行うことが必要となり得る。したがって、最も可能性の高い物体は何であるかということに基づいて、異なるタイプの警報が生成され得る。
【0014】
一実施形態によれば、この方法は、ニューラルネットワークを使用して局所的強度差を評価し、レンズに接近した物体の存否を判定することを含むことができる。上記で説明されたことに類似して、ニューラルネットワークは、特定の物体をその強度プロファイルに基づいて自動的に識別するように教示され得る。
【0015】
一実施形態によれば、この方法は、レンズに接近した物体があると判定することに応答して、カメラ技士に通知を送ることを含むことができる。前述のように、この通知は検知の結果に基づいて自動的に生成され得る。通知にも様々なタイプがあり得、または物体が何であり得るかということに基づいて異なるタイプの人員に通知され得る。たとえば、クモの巣が検知された状況と比較して、カメラが不正に変更された状況に対処するのはより緊急であり得る。
【0016】
一実施形態によれば、物体は、クモ、昆虫、クモの付属物、または昆虫の付属物であり得る。これらは、監視カメラが据え付けられている環境における問題の一般的な原因となる、様々な昆虫および「付属物」のいくつかの実例である。
【0017】
一実施形態によれば、画像取り込みデバイスによって第1の画像を取得し、画像取り込みデバイスによって第2の画像を取得することは、いくつかの短期間の露光画像を取得して、これらをそれぞれ第1の画像および第2の画像へと組み合わせることを含む。これは、カメラが波のある水面を見渡すとき、または背景にある樹木の枝や葉が風で動くときなど、カメラが監視するシーンに多くの動きが含まれる状況において有効であり得る。この種のいくつかの短期間の露光画像を加えるかまたは平均をとることにより、そのような動きが一様にされ得、レンズに接近した物体がより正確に識別され得る。
【0018】
一実施形態によれば、画像取り込みデバイスによって最初の画像を取得し、画像取り込みデバイスによって最後の画像を取得することは、いくつかの短期間の露光画像を取得して、これらをそれぞれ最初の画像および最後の画像へと組み合わせることを含む。最初の画像および最後の画像に関して、前の段落で説明されたものと類似の利点を得ることができる。
【0019】
本発明は、第2の態様によれば、シーンを監視する画像取り込みデバイスのレンズに接近した物体の存在を判定するためのシステムに関する。メモリが命令を含み、命令は、プロセッサによって実行されたとき、プロセッサに
・第1の角度からシーンを照明するように配置された第1の赤外線照明光源を活性化することと、
・画像取り込みデバイスによって第1の画像を取得することと、
・第1の赤外線照明光源を不活性化し、第2の角度からシーンを照明するように配置された第2の赤外線照明光源を活性化することと、
・画像取り込みデバイスによって第2の画像を取得することと、
・第1の画像の強度情報と第2の画像の強度情報を比較して、レンズに接近した物体の存在を判定することとを含む方法を実施させる。
【0020】
システムの利点は方法の利点に相当し、同様に変化され得る。
【0021】
本発明は、第4の態様によれば、シーンを監視する画像取り込みデバイスのレンズに接近した物体の存在を判定するためのコンピュータプログラムに関する。コンピュータプログラムは、
・第1の角度からシーンを照明するように配置された第1の赤外線照明光源を活性化するステップと、
・画像取り込みデバイスによって第1の画像を取得するステップと、
・第1の赤外線照明光源を不活性化し、第2の角度からシーンを照明するように配置された第2の赤外線照明光源を活性化するステップと、
・画像取り込みデバイスによって第2の画像を取得するステップと、
・第1の画像の強度情報と第2の画像の強度情報を比較して、レンズに接近した物体の存在を判定するステップとに対応する命令を含みている。
【0022】
コンピュータプログラムは、方法の利点に相当する利点を含みており、同様に変化され得る。
【0023】
以下の添付図面および説明において、本発明の1つまたは複数の実施形態の詳細が明らかにされる。本発明の他の特徴および利点は、説明および図面ならびに特許請求の範囲から明らかになるはずである。
【図面の簡単な説明】
【0024】
図1】一実施形態による、レンズに接近した物体が存在するかどうかを判定するための方法100を示す流れ図である。
図2】一実施形態による、レンズに接近した物体が存在するかどうかを判定するための方法200を示す流れ図である。
図3】一実施形態による、個別のIR照明光源と、カメラによって取り込まれた画像と、画像分析構成要素を有するカメラ300とを示す概略図である。
【発明を実施するための形態】
【0025】
様々な図面において類似の参照記号は類似の要素を示す。
【0026】
上記で説明されたように、本発明の様々な実施形態の目標の1つは、偽警報が防止され得るように、レンズに接近した物体を自動的に検知できること、かつ/またはカメラに対する何らかの処置(たとえば障害物の除去)が必要であるという指示が得られることである。本発明は、カメラのレンズに接近した物体は異なって見える、すなわち、異なる角度から照明されるとき、画像の中で異なる強度を有することになるという一般的原理に由来するものである。したがって、2つの画像がカメラによって記録され、画像が異なる角度からのIR照明を使用して取り込まれるとき、画像の中の物体は異なって見える(すなわち、取得された画像の中で異なる強度を有する)ことになる。したがって、取得された画像を比較して、特に取得した画像間の局所的強度差を探すことにより、レンズに接近した物体があるかどうかを結論付けることができる。「接近した」物体と見なされるものは、当面の特定の状況に依拠して変化し得るが、一般的ガイドラインとして、この文脈におけるカメラに「接近した」物体は、カメラから約0.5メートル以内、望ましくはカメラのレンズから0.2メートル以内にあるものを指す。物体の検知に応答して、問題に対処するために適切な警報が生成され得る。次に、例として、様々な実施形態を、図を参照しながらより詳細に説明する。
【0027】
図1は、一実施形態による、レンズに接近して物体が存在するかどうかを判定するための方法100を示す流れ図である。方法100は、レンズに接近して配置された物体を効率的に検知するために、必要に応じて様々な間隔で自動的に実行され得る。図1に見られるように、方法100は、第1の赤外線照明光源を活性化することによって始まる(ステップ102)。これは図3において概略的に示されており、図3は第1の赤外線照明光源302が活性化された状況で監視カメラ300を概略的に示すものである。一般的には、赤外線照明光源に含まれるいくつかのIR LEDは、シーンを監視するために使用されるほとんどのカメラにおいて普通のものである。しかしながら、本発明とともに使用され得るタイプの照明器は、IR LEDばかりでなく、レーザダイオードなどの他のタイプの照明器も使用され得る。
【0028】
次に、ステップ104において第1の画像が取り込まれる。この画像は、図3において、画像#1、304として概略的に示されている。画像は、一般的には、たとえばCMOSセンサをロールシャッタ技術と組み合わせて使用して、カメラ300によって、通常の動作中に使用されるのと同一のタイプの画像取り込みを使用して取り込まれる。
【0029】
第1の画像が取り込まれると、第1の赤外線照明光源302がオフにされ、第2の赤外線照明光源306がオンにされる(ステップ106)。一般的には、第1の赤外線照明光源302と第2の赤外線照明光源306は、2つの逆の角度から物体を照明し得るように、レンズ301の反対側(たとえば頂部と底部または左側と右側など)に配置される。しかしながら、これは必要条件ではなく、第1の赤外線照明光源302と第2の赤外線照明光源306の間のより小さい角距離があり得ることに留意されたい。1つまたは複数のIR LEDは、第1のグループ302と第2のグループ306の両方の一部でもあり得る。さらに、図3では第1の赤外線照明光源302と第2の赤外線照明光源306はカメラ300の中で一体化されているように示されているが、カメラ300自体の外側(たとえば両側)に置かれた別個のユニットでもあり得ることに留意されたい。第1の画像304が取得されたのと同様に、第2の赤外線照明光源をオンにした状態で第2の画像308が取得される(ステップ108)。
【0030】
最後に、レンズに接近して物体が存在するかどうかを判定するために画像分析310が実施される(ステップ110)。この画像分析310は物体自体の実際の奥行きには関係せず、レンズに接近して物体があるかどうかを判定することにのみ関するものであることに留意されたい。奥行き判定には一般的にはかなりのデータ処理が必要とされるので、これは重要な利点である。本発明の様々な実施形態のために必要なコンピューティングリソースは比較的小さいので、たとえばカメラ自体など、大きなコンピューティングリソースを利用することができない環境でも本発明を実施することが可能になる。加えて、コンピューティングリソース要件が低いので、カメラの全体的な消費電力の低減が可能になる。これは、熱を低減するためばかりでなく、カメラの電力供給がイーサネット規格に従って利用可能な電力によって制限されるので、LEDが夜間に使用されるときにも重要なことである。
【0031】
一実施形態では、画像分析310は以下のように作動する。最初に、2つの画像間の全体的な強度差が計算され、かつ補償される。そのような全体的な強度差は、たとえば露光差またはIR LEDの強度差に起因し得るものである。この全体的な強度差は画像におけるすべての画素に関して同一であり、全体的な強度差を一様にするために画像の一方に全体的な強度差を加算することによって補償され得る。
【0032】
次に、第1の画像304と第2の画像308の間に何らかの局所的強度差パターンがあるかどうかが判定される。違った風に表現すれば、画像間で、いくつかの領域において強度が他の領域と異なるかどうかが判定される。そのような局所的パターンが存在する場合には、これは接近した物体の存在の指示である。いくつかの実施形態では、この分析だけで、接近した物体が存在すると判定され得る。他の実施形態では、この分析は、より高度な分析が必要であり得るという指示として働き得、たとえば、物体のタイプを識別するために、判定された局所的パターンが参照強度差パターンと比較される。この画像分析に基づいて、カメラシステムのユーザまたは何人かの整備班に対して警報が生成され得る。あるいは、警報は、たとえばレンズに接近した領域からクモの巣を除去するために、ワイパ、振動、ノイズなど、自動システムに対するトリガとして働くことができる。多くのそのような変形形態は当業者によって構想され得るものである。
【0033】
多くのカメラにおいて、(大抵の場合、家屋の日除けが窓の上に突き出るのに類似して)カメラのハウジングの一部がレンズの上および/または横に一定距離だけ突出し、天候保護として働く。全体的に、このカメラハウジングの突起は、レンズによって取り込まれた画像には示されない。しかしながら、第1の赤外線照明光源および第2の赤外線照明光源が照らされるとき、光が突起からはね返ることがあり、これによって、第1の照明光源および第2の照明光源が活性化された状況で記録された2つの画像の間に、弱いが安定した強度差が生じる。この差は、完全な暗室の中で、レンズに接近した物体なしで各照明光源を活性化して2つの較正画像を記録し、次いでこれらの較正画像をカメラに保存することによって対処され得る。後にこのカメラが使用されて第1の画像および第2の画像を登録するとき、上記で説明された画像処理を実行する前に、最初に、それぞれの画像からこれら2つの較正画像の各々が差し引かれ得る。このように、カメラハウジングの構成の結果として生じる強度差を考慮に入れることができる。
【0034】
図2は、異なる実施形態による、レンズに接近して物体が存在するかどうかを判定するための方法200を示す流れ図である。図2では、ステップ201において、まず第1に最初の画像が取り込まれる。シーンが暗いとき(たとえば夜間)は両方のIR照明光源をオンにして、シーンが明るいとき(たとえば昼間)は両方のIR照明光源をオフにして、最初の画像が取り込まれる。次いで、図1を参照しながら上記で説明されたステップ102~108に対応するやり方で、ステップ202~208が実行される。ステップ208において第2の画像を取得した後に、ステップ209において最後の画像が取得される。この最後の画像も、最初の画像と同様に、シーンが暗いか明るいかということに依拠して、両方のIR照明光源をオンまたはオフにして取り込まれる。
【0035】
ステップ210の画像分析はステップ110の画像分析に類似であるが、重要な差異が1つある。ステップ201で取り込まれた最初の画像は、ステップ110において説明された画像分析に加えて、ステップ209で取り込まれた最後の画像と比較される。両方のIR照明光源をオンまたはオフにして取り込まれたこれらの画像が互いに異なる場合には、これは第1の画像および第2の画像の取り込み中にシーンに恐らく動きがあったという指示である。すなわち、第1の画像と第2の画像を比較したとき検知された何らかの差は、恐らく、実際にレンズに接近した物体によるものではなく、カメラが取り込んだシーンにおける動きによるものである。したがって第1の画像と第2の画像の取り込みの両側で最初の画像と最後の画像を取り込んで比較することは、第1の画像と第2の画像を比較することが実際に有効であるとき、取得された結果の、優れた追加の「検証」として役立ち得る。
【0036】
説明は2つの画像および2つのIR照明光源に的を絞っているが、同一の概念が任意数の画像および任意数のIR照明光源に拡張され得ることに留意されたい。所与の状況においていくつの画像またはIR照明光源を使用するべきかの正確な選択は、当業者の技量の範囲内に十分に入るものである。
【0037】
さらに、前述のように単一の第1の画像、単一の第2の画像などと取り込むのではなく、いくつかの実装形態では、複数の短期間の露光画像が取り込まれ、次いで互いに加算されて第1の画像および第2の画像をそれぞれ形成する。これは、画像の中の考慮に入れるべき動きによる強度差を認めるという点で有益である。たとえば、カメラが海を見渡しているか、またはカメラの視野の範囲内で樹木が風で動いている可能性がある。これらのタイプの動きの影響はこのタイプのセットアップで軽減され得、この場合、単一の画像ではなくいくつかの短期間の露光画像が採用される。
【0038】
当業者には認識されるように、本発明の態様は、システム、方法またはコンピュータプログラム製品として具現され得るものである。それゆえに、本発明の態様は、全面的にハードウェアの実施形態、全面的にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形を採用してよく、これらのすべてが、本明細書では、一般に「回路」、「モジュール」または「システム」として参照されることがある。その上、本発明の態様は、コンピュータ可読プログラムコードを組み入れた1つまたは複数のコンピュータ可読媒体の中に具現されたコンピュータプログラム製品の形態を採用することがある。
【0039】
1つまたは複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体でよい。コンピュータ可読記憶媒体は、これだけではないが、たとえば、電子、磁気、光、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、あるいは上記のものの任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)は、1つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラム可能読取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクを使う読取り専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記のものの任意の適切な組合せを含むことになる。この文献の文脈では、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、またはデバイスによって、またはこれらに関連して使用されるプログラムを含むかまたは記憶することができる任意の有形の媒体であり得る。
【0040】
コンピュータ可読信号媒体が含み得る伝播されるデータ信号には、たとえばベースバンドにおいて、または搬送波の一部として、コンピュータ可読プログラムコードが具現されている。そのような伝播される信号は、これだけではないが、電磁気、光、またはこれらの任意の適切な組合せを含む種々の形態のうち任意のものを採用し得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体でなく、命令を実行するシステム、装置、またはデバイスによって、またはこれらに関連して使用されるプログラムを、通信する、伝播させる、または搬送することができる任意のコンピュータ媒体でよい。
【0041】
コンピュータ可読媒体に組み入れられたプログラムコードは、無線、ワイヤ線、光ファイバケーブル、RFなど、または上記の任意の適切な組合せを含むがこれらには限定されない任意の適切な媒体を使用して伝送され得る。本発明の態様に関する動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++等のオブジェクト指向のプログラム言語、および「C」プログラム言語または類似のプログラム言語など従来の手続き型プログラミング言語を含む1つまたは複数のプログラム言語の任意の組合せで書かれてよい。プログラムコードは、全面的にユーザのコンピュータで、部分的にユーザのコンピュータで、スタンドアロンのソフトウェアパッケージとして実行してよく、部分的にユーザのコンピュータで、また部分的に遠隔コンピュータで、あるいは全面的に遠隔コンピュータまたはサーバで実行してもよい。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてよく、または(たとえばインターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータに接続されてもよい。
【0042】
本発明の態様は、本発明の実施形態による方法、装置(システム)およびコンピュータプログラム製品の流れ図および/またはブロック図を参照しながら説明される。流れ図および/またはブロック図のそれぞれのブロック、ならびに流れ図および/またはブロック図におけるブロックの組合せは、コンピュータプログラム命令によって実施され得る。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される命令が、流れ図および/またはブロック図における1つまたは複数のブロックで明示された機能/行為を実施するための手段を生成するように、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、マシンを生成する。
【0043】
これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶された命令が、流れ図および/またはブロック図における1つまたは複数のブロックで明示された機能/行為を実施する命令を含む製品を生成するように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに対して特定のやり方で機能するように指令することができるコンピュータ可読媒体にも記憶され得る。
【0044】
これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブル装置で実行される命令が、流れ図および/またはブロック図における1つまたは複数のブロックで明示された機能/行為を実施するためのプロセスをもたらすように、コンピュータ、他のプログラマブル装置、または他のデバイスで実施される一連の動作ステップをもたらすために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにもロードされ得て、コンピュータで実施されるプロセスを生成する。
【0045】
図における流れ図およびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態の構成、機能性、および動作を図示するものである。この点に関して、流れ図またはブロック図における各ブロックは、命令のモジュール、セグメント、または一部を表し得、これらは、明示された論理機能を実施するための1つまたは複数の実行可能命令を含む。いくつかの代替実装形態では、ブロックにおいて示された機能が、図において示された順序から外れることがある。たとえば、連続して示された2つのブロックが、実際には実質的に同時に実行されることがあり、または包含されている機能性に依拠して時には逆順で実行されることもある。ブロック図および/または流れ図の各ブロックならびにブロック図および/または流れ図におけるブロックの組合せは、明示された機能または行為を実施するかあるいは専用ハードウェアとコンピュータ命令の組合せを実行する専用のハードウェアベースのシステムによって実施され得ることにも留意されたい。
【0046】
本発明の様々な実施形態の説明は解説のために提示されたものであるが、網羅的であることまたは開示された実施形態に限定されることは意図されていない。多くの修正形態および変形形態が、説明された実施形態の範囲および精神から逸脱することなく、当業者には明らかになるはずである。したがって、特許請求の範囲に含まれる他の多くの変形形態が当業者によって構想され得る。
【0047】
本明細書で使用した専門用語は、実施形態の原理、市場で見いだされた技術に対する実際の用途または技術的な改善について最もよく説明するように、または他の当業者が本明細書で開示された実施形態を理解することを可能にするように選択されたものである。
【符号の説明】
【0048】
300 カメラ
301 レンズ
302 第1の赤外線照明光源
304 第1の画像
306 第2の赤外線照明光源
308 第2の画像
310 画像分析
図1
図2
図3