(58)【調査した分野】(Int.Cl.,DB名)
撮影装置によって撮影領域を撮影して取得された撮影画像データを対象画像データとして、前記対象画像データと、記憶装置に記憶された背景画像データとの類似度を示す背景類似度を計算する類似度計算部と、
基準期間に取得された撮影画像データについて前記類似度計算部によって計算された前記背景類似度を2分割する背景閾値を計算する閾値計算部と、
前記閾値計算部によって計算された前記背景閾値よりも前記類似度計算部によって計算された前記背景類似度が高いか否かを判定する閾値判定部と、
前記閾値判定部によって前記背景閾値よりも前記背景類似度が高いと判定された場合に、前記対象画像データによって前記背景画像データを更新する背景更新部と
を備える画像判定装置。
前記閾値計算部は、前記基準期間に計算された前記背景類似度を、前記対象画像データに対象物が含まれている場合の値と、含まれていない場合の値とに2分割する背景閾値を計算する
請求項1又は2に記載の画像判定装置。
類似度計算部が、撮影装置によって撮影領域を撮影して取得された撮影画像データを対象画像データとして、前記対象画像データと、記憶装置に記憶された背景画像データとの類似度を示す背景類似度を計算し、
閾値計算部が、基準期間に取得された撮影画像データについての前記背景類似度を2分割する背景閾値を計算し、
閾値判定部が、前記背景閾値よりも前記背景類似度が高いか否かを判定し、
背景更新部が、前記背景閾値よりも前記背景類似度が高いと判定された場合に、前記対象画像データによって前記背景画像データを更新する画像判定方法。
撮影装置によって撮影領域を撮影して取得された撮影画像データを対象画像データとして、前記対象画像データと、記憶装置に記憶された背景画像データとの類似度を示す背景類似度を計算する類似度計算処理と、
基準期間に取得された撮影画像データについて前記類似度計算処理によって計算された前記背景類似度を2分割する背景閾値を計算する閾値計算処理と、
前記閾値計算処理によって計算された前記背景閾値よりも前記類似度計算処理によって計算された前記背景類似度が高いか否かを判定する閾値判定処理と、
前記閾値判定処理によって前記背景閾値よりも前記背景類似度が高いと判定された場合に、前記対象画像データによって前記背景画像データを更新する背景更新処理と
を行う画像判定装置としてコンピュータを機能させる画像判定プログラム。
【発明の概要】
【発明が解決しようとする課題】
【0004】
太陽光等の影響により、撮影装置によって得られる撮影画像データに変化が起こる場合がある。この場合、撮影画像データと背景画像データとの比較により、対象物が存在しないのに存在すると判定する場合や対象物が存在するのに存在しないと判定する可能性が出てくる。そのため、特許文献1に記載された技術のように背景画像データとの比較により判定を行う技術では、適切な判定ができない可能性がある。
この発明は、背景画像データとの比較による判定の精度を高くすることを目的とする。
【課題を解決するための手段】
【0005】
この発明に係る画像判定装置は、
撮影装置によって撮影領域を撮影して取得された撮影画像データを対象画像データとして、前記対象画像データと、記憶装置に記憶された背景画像データとの類似度を示す背景類似度を計算する類似度計算部と、
基準期間に取得された撮影画像データについて前記類似度計算部によって計算された前記背景類似度を2分割する背景閾値を計算する閾値計算部と、
前記閾値計算部によって計算された前記背景閾値よりも前記類似度計算部によって計算された前記背景類似度が高いか否かを判定する閾値判定部と、
前記閾値判定部によって前記背景閾値よりも前記背景類似度が高いと判定された場合に、前記対象画像データによって前記背景画像データを更新する背景更新部と
を備える。
【0006】
前記画像判定装置は、さらに、
前記対象画像データの前の撮影画像データである前画像データと前記背景画像データとの類似度を示す前類似度よりも前記背景類似度が基準値以上低いか否かを判定する前回値判定部
を備え、
前記背景更新部は、前記背景閾値よりも前記背景類似度が高いと判定され、かつ、前記前回値判定部によって前記前類似度よりも前記背景類似度が基準値以上小さくないと判定された場合に、前記対象画像データによって前記背景画像データを更新する。
【0007】
前記閾値計算部は、前記基準期間に計算された前記背景類似度を、前記対象画像データに対象物が含まれている場合の値と、含まれていない場合の値とに2分割する背景閾値を計算する。
【0008】
前記閾値計算部は、大津の二値化フィルタにより前記背景閾値を計算する。
【0009】
前記類似度計算部は、前記対象画像データと前記背景画像データとについて位相限定相関法により相関値を前記背景類似度として計算する。
【0010】
この発明に係る画像判定方法は、
類似度計算部が、撮影装置によって撮影領域を撮影して取得された撮影画像データを対象画像データとして、前記対象画像データと、記憶装置に記憶された背景画像データとの類似度を示す背景類似度を計算し、
閾値計算部が、基準期間に取得された撮影画像データについての前記背景類似度を2分割する背景閾値を計算し、
閾値判定部が、前記背景閾値よりも前記背景類似度が高いか否かを判定し、
背景更新部が、前記背景閾値よりも前記背景類似度が高いと判定された場合に、前記対象画像データによって前記背景画像データを更新する。
【0011】
この発明に係る画像判定プログラムは、
撮影装置によって撮影領域を撮影して取得された撮影画像データを対象画像データとして、前記対象画像データと、記憶装置に記憶された背景画像データとの類似度を示す背景類似度を計算する類似度計算処理と、
基準期間に取得された撮影画像データについて前記類似度計算処理によって計算された前記背景類似度を2分割する背景閾値を計算する閾値計算処理と、
前記閾値計算処理によって計算された前記背景閾値よりも前記類似度計算処理によって計算された前記背景類似度が高いか否かを判定する閾値判定処理と、
前記閾値判定処理によって前記背景閾値よりも前記背景類似度が高いと判定された場合に、前記対象画像データによって前記背景画像データを更新する背景更新処理と
を行う画像判定装置としてコンピュータを機能させる。
【発明の効果】
【0012】
この発明では、背景閾値よりも背景類似度が高いと判定された場合に、対象画像データによって背景画像データが更新される。これにより、太陽光の当たり方といった状況が変化した場合にも、適切な背景画像データを用いた判定を行うことが可能になり、判定の精度を高くすることが可能である。
特に、この発明では、背景閾値についても更新される。これにより、適切な背景閾値に基づき背景画像データを更新するか否かが判定される。そのため、対象物の映り込みがあるような対象画像データによって背景画像データが更新されるといったことを防止可能である。
【発明を実施するための形態】
【0014】
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る画像判定装置10の構成を説明する。
画像判定装置10は、コンピュータである。
画像判定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0015】
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
【0016】
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
【0017】
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
【0018】
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High−Definition Multimedia Interface)のポートである。
【0019】
画像判定装置10は、通信インタフェース14を介して、監視カメラといった撮影装置41と接続されている。
【0020】
画像判定装置10は、機能構成要素として、画像取得部21と、類似度計算部22と、閾値計算部23と、閾値判定部24と、背景更新部25と、対象判定部26とを備える。画像判定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、画像判定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、画像判定装置10の各機能構成要素の機能が実現される。
【0021】
ストレージ13は、背景記憶部31の機能を実現する。背景記憶部31には、背景画像データ32が記憶されている。背景画像データ32は、撮影領域に対象物が存在しない状態で撮影装置41によって得られた撮影画像データである。初期の背景画像データ32は、画像判定装置10の設定時に管理者等によって設定される。
【0022】
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
【0023】
***動作の説明***
図2から
図4を参照して、実施の形態1に係る画像判定装置10の動作を説明する。
実施の形態1に係る画像判定装置10の動作手順は、実施の形態1に係る画像判定方法に相当する。また、実施の形態1に係る画像判定装置10の動作を実現するプログラムは、実施の形態1に係る画像判定プログラムに相当する。
【0024】
図2を参照して、実施の形態1に係る画像判定装置10の全体的な動作を説明する。
(ステップS11:画像取得処理)
画像取得部21は、通信インタフェース14を介して、撮影領域を撮影装置41によって撮影することにより得られた最新のフレームの撮影画像データを対象画像データとして取得する。画像取得部21は、対象画像データをメモリ12に書き込む。
【0025】
(ステップS12:背景更新判定処理)
画像判定装置10は、ステップS11で取得された対象画像データにより、背景記憶部31に記憶された背景画像データ32を更新するか否かを判定する。
画像判定装置10は、背景画像データ32を更新すると判定された場合には、処理をステップS13に進める。一方、画像判定装置10は、背景画像データ32を更新しないと判定された場合には、処理をステップS14に進める。
背景更新判定処理について詳しくは後述する。なお、背景更新判定処理において、背景類似度と、背景閾値とが計算される。背景類似度は、対象画像データと、背景画像データとの類似度を示す。背景閾値は、対象画像データに対象物が含まれる場合と、含まれていない場合との区別する基準となる値である。
【0026】
(ステップS13:背景更新処理)
背景更新部25は、ステップS11で取得された対象画像データにより、背景記憶部31に記憶された背景画像データ32を更新する。つまり、背景更新部25は、対象画像データで背景画像データ32を上書きする。
【0027】
(ステップS14:背景非更新処理)
背景更新部25は、背景記憶部31に記憶された背景画像データ32を更新せず、元の背景画像データ32のままにする。
【0028】
(ステップS15:対象判定処理)
対象判定部26は、ステップS12で計算された背景閾値よりも、ステップS12で計算された背景類似度が低いか否かを判定する。
対象判定部26は、背景閾値よりも背景類似度が低い場合には、処理をステップS16に進める。一方、対象判定部26は、そうでない場合には、処理をステップS17に進める。
【0029】
(ステップS16:存在判定処理)
対象判定部26は、対象画像データに対象物が含まれていると判定する。
【0030】
(ステップS17:不存在判定処理)
対象判定部26は、対象画像データに対象物が含まれていないと判定する。
【0031】
ステップS16又はステップS17の処理が終わると、画像判定装置10は、処理をステップS11に戻す。そして、画像判定装置10は、新たなフレームの撮影画像データを対象画像データとして処理を行う。
【0032】
図3を参照して、実施の形態1に係る背景更新判定処理を説明する。
(ステップS21:類似度計算処理)
類似度計算部22は、ステップS11で取得された対象画像データと、背景記憶部31に記憶された背景画像データ32との類似度を示す背景類似度を計算する。
具体的には、類似度計算部22は、対象画像データをメモリ12から読み出す。また、類似度計算部22は、背景画像データ32を背景記憶部31から読み出す。類似度計算部22は、対象画像データと背景画像データ32とを入力として、位相限定相関法(POC,Phase Only Correlation)により得られる相関値を背景類似度として計算する。なお、対象画像データと背景画像データ32との背景類似度を計算する方法は、位相限定相関法に限らず、他の方法であってもよい。類似度計算部22は、背景類似度を、ステップS11で対象画像データが取得された取得時刻と関連付けてメモリ12に書き込む。
【0033】
(ステップS22:閾値計算処理)
閾値計算部23は、基準期間にステップS11で取得された撮影画像データについてステップS21で計算された背景類似度を2分割する背景閾値を計算する。
具体的には、閾値計算部23は、対応付けされた取得時刻が基準期間に含まれる背景類似度をメモリ12から読み出す。閾値計算部23は、読み出された背景類似度を入力として、大津の二値化フィルタにより背景類似度を2分割する背景閾値を計算する。なお、背景閾値を計算する方法は、大津の二値化フィルタに限らず、例えば基準期間に計算された背景類似度の平均値を背景閾値とするといった他の方法であってもよい。閾値計算部23は、背景閾値をメモリ12に書き込む。
【0034】
ここで、基準期間は、対象物が含まれる撮影画像データと、対象物が含まれない撮影画像データとの両方が取得される期間が設定される。例えば、対象物が列車であるとする。この場合には、列車の運行本数が多い都市部では、基準期間は短く設定され、列車の運行本数が少ない郊外では、基準期間は長く設定される。基準期間は、列車の時刻表のデータに基づき、設定されてもよい。基準期間は長くし過ぎない方が直近の状況に適した背景閾値が計算される。
【0035】
アクシデントにより列車の運行が停止した場合等には、基準期間において、対象物が含まれる撮影画像データだけが取得される場合と、対象物が含まれない撮影画像データだけが取得される場合とが起こる可能性がある。基準期間に対象物が含まれる撮影画像データだけが取得される場合と、対象物が含まれない撮影画像データだけが取得される場合とには、適切な背景閾値を計算することができない。
そこで、閾値計算部23は、計算された背景閾値が高すぎる又は低すぎる場合には、採用しないようにしてもよい。つまり、閾値計算部23は、計算された背景閾値が高すぎる又は低すぎる場合には、計算された背景閾値をメモリ12に更新せず、直前にメモリ12に書き込まれた背景閾値を継続して用いるようにしてもよい。計算された背景閾値が高すぎるか否かの判定は、上限の閾値よりも計算された背景閾値が高いか否かによって判定すればよい。同様に、計算された背景閾値が低すぎるか否かの判定は、下限の閾値を設定し、下限の閾値よりも計算された背景閾値が低いか否かによって判定すればよい。
【0036】
図4を参照して、背景閾値について説明する。
図4の時刻51の場合には、期間52が基準期間になる。期間52では、対象物が含まれる撮影画像データと、対象物が含まれない撮影画像データとの両方が取得される。撮影画像データに対象物が含まれない場合には、背景類似度は高い値になり、撮影画像データに対象物が含まれる場合には、背景類似度は低い値になる。したがって、例えば、大津の二値化フィルタにより背景類似度を2分割する背景閾値を計算すれば、撮影画像データに対象物が含まれない場合の背景類似度と、撮影画像データに対象物が含まれる場合の背景類似度とを分ける基準となる背景閾値が計算される。
図4の時刻51の場合には、背景閾値53が計算される。
また、対象物が含まれるか否かだけでなく、太陽光の当たり方の変化といった他の要因によっても背景類似度は変化する。
図4の時刻54の場合には、期間55が基準期間になる。期間55では、対象物が含まれる撮影画像データと、対象物が含まれない撮影画像データとの両方が取得される。しかし、期間52に取得される撮影画像データに比べ、期間55に取得される撮影画像データは、全体的に背景類似度が低い。そのため、時刻51の場合の背景閾値53に比べ、時刻54の場合の背景閾値56は低くなる。
なお、
図2に示す処理は、新しいフレームの撮影画像データが取得される度に実行される。そのため、背景閾値は、フレームの取得間隔57毎に再計算される。
【0037】
(ステップS23:閾値判定処理)
閾値判定部24は、ステップS22で計算された背景閾値よりも、対象画像データについてステップS21で計算された背景類似度が高いか否かを判定する。
閾値判定部24は、背景閾値よりも背景類似度が高い場合には、対象画像データにより背景画像データ32を更新すると判定する。一方、閾値判定部24は、そうでない場合には、対象画像データにより背景画像データ32を更新しないと判定する。
【0038】
***実施の形態1の効果***
以上のように、実施の形態1に係る画像判定装置10は、背景閾値よりも背景類似度が高いと判定された場合に、対象画像データによって背景画像データ32を更新する。これにより、太陽光の当たり方による、影、反射光、彩度または輝度といった状況が変化した場合にも、適切な背景画像データを用いた判定を行うことが可能になり、判定の精度を高くすることが可能である。
特に、実施の形態1に係る画像判定装置10は、撮影画像データが取得される度に背景閾値についても更新する。これにより、適切な背景閾値に基づき背景画像データを更新するか否かが判定される。そのため、対象物の映り込みがあるような対象画像データによって背景画像データが更新されるといったことを防止可能である。
【0039】
***他の構成***
<変形例1>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例1として、各機能構成要素はハードウェアで実現されてもよい。この変形例1について、実施の形態1と異なる点を説明する。
【0040】
図5を参照して、変形例1に係る画像判定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、画像判定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
【0041】
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
【0042】
<変形例2>
変形例2として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0043】
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0044】
実施の形態2.
実施の形態2では、背景類似度の変化の仕方を考慮して、背景画像データを更新するか否かを判定する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
【0045】
***構成の説明***
図6を参照して、実施の形態2に係る画像判定装置10の構成を説明する。
画像判定装置10は、機能構成要素として、前回値判定部27を備える点が
図1に示す画像判定装置10と異なる。前回値判定部27は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって構成される。
【0046】
***動作の説明***
図7を参照して、実施の形態2に係る画像判定装置10の動作を説明する。
実施の形態2に係る画像判定装置10の動作手順は、実施の形態2に係る画像判定方法に相当する。また、実施の形態2に係る画像判定装置10の動作を実現するプログラムは、実施の形態2に係る画像判定プログラムに相当する。
【0047】
図7を参照して、実施の形態2に係る背景更新判定処理を説明する。
ステップS31からステップS33の処理は、
図3のステップS21からステップS23の処理と同じである。但し、ステップS33では、背景閾値よりも背景類似度が高い場合には、閾値判定部24は処理をステップS34に進める。
【0048】
(ステップS34:前回値判定処理)
前回値判定部27は、対象画像データの1つ前のフレームの撮影画像データである前画像データと背景画像データとの類似度を示す前類似度よりも、ステップS31で計算された背景類似度が基準値以上低いか否かを判定する。
具体的には、前回値判定部27は、前類似度と背景類似度とをメモリ12から読み出す。前類似度は、1つ前のフレームの撮影画像データを対象画像データとしてステップS31で計算された背景類似度である。前回値判定部27は、前類似度よりも背景類似度が基準値以上低いか否かを判定する。基準値は、具体例としては、0.1といった値である。基準値は、背景類似度を計算する方法等に応じて決定される。
前回値判定部27は、前類似度よりも背景類似度が基準値以上低くない場合には、対象画像データにより背景画像データ32を更新すると判定する。一方、前回値判定部27は、そうでない場合には、対象画像データにより背景画像データ32を更新しないと判定する。
【0049】
図8に示すように、対象物が徐々に撮影領域に入ってくると、背景類似度は徐々に低くなる。例えば、対象物が列車であり、撮影領域が駅のプラットホームである場合には、列車がプラットホームに入ってくると、徐々に撮影画像データに含まれる列車の領域が大きくなり、背景類似度が低くなってくる。
そのため、ステップS33で背景閾値よりも背景類似度が高いと判定した場合であっても、ステップS34で前類似度よりも背景類似度が基準値以上低いと判定した場合には、前回値判定部27は、対象物が徐々に撮影領域に入ってくる場合であると判定する。そして、前回値判定部27は、対象画像データにより背景画像データ32を更新しないと判定する。
【0050】
***実施の形態2の効果***
以上のように、実施の形態2に係る画像判定装置10は、背景類似度の変化の仕方を考慮して、背景画像データを更新するか否かを判定する。これにより、対象物の映り込みがあるような対象画像データによって背景画像データが更新されるといったことをより適切に防止可能である。
【0051】
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【解決手段】類似度計算部22は、対象画像データと背景画像データとの類似度を示す背景類似度を計算する。閾値計算部23は、基準期間に取得された撮影画像データについての背景類似度を2分割する背景閾値を計算する。閾値判定部24は、背景閾値よりも背景類似度が高いか否かを判定する。背景更新部25は、背景閾値よりも背景類似度が高いと判定された場合に、対象画像データによって背景画像データを更新する。