(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述のような微細信号を受信して撮像を行う撮像装置は、受信する信号が微細であるがゆえに信号を大きく増幅しなくてはならず、必然的にノイズ信号も大きく増幅され、結果的にS/N(signal/noise)比が悪くなってしまう。したがって、実際にはミリ波をあまり放射していない、被写体である人など以外の部分(背景等)からミリ波が放射されているように誤検出してしまうという問題があった。
【0005】
本発明はこのような点に鑑みてなされたものであり、被写体である人など以外の部分(背景部分)からミリ波が放射されているように誤検出してしまうことを防止することができるマスキング処理装置、その処理方法、その処理プログラム、および所持物検出装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明では上記問題を解決するために、撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理装置において、前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段と、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段とを備えることを特徴とするマスキング処理装置が提供される。
【0007】
これにより、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行う。
【0008】
また、本発明では、撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理方法において、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断するステップと、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うステップとを含むことを特徴とするマスキング処理方法が提供される。
【0009】
これにより、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行う。
【0010】
また、本発明では、撮像対象から発せられる微細信号を受信して撮像を行う撮像装置に用いられるマスキング処理プログラムにおいて、コンピュータを、前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段、および前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段として機能させることを特徴とするマスキング処理プログラムが提供される。
【0011】
これにより、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行う。
また、本発明では、撮像対象から発せられる微細信号を受信して撮像を行う撮像装置を用いて、人の所持物を自動で検出する所持物検出装置において、前記撮像装置の撮像範囲に撮像対象がいるかを判断する対象存在判断手段と、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うマスキング処理手段とを備えることを特徴とする所持物検出装置が提供される。
【0012】
これにより、対象存在判断手段が、前記撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、前記対象存在判断手段が前記撮像範囲に撮像対象がいると判断すると、前記撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行う。
【発明の効果】
【0013】
本発明のマスキング処理装置、その処理方法、その処理プログラム、および所持物検出装置によれば、対象存在判断手段が、撮像装置の撮像範囲に撮像対象がいるかを判断し、マスキング処理手段が、対象存在判断手段が撮像範囲に撮像対象がいると判断すると、撮像対象の背景部分をマスクするための背景マスクを生成し、マスキング処理を行うので、被写体である人など以外の部分(背景部分)からミリ波が放射されているように誤検出してしまうことを防止することができる。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は、本発明の形態に適用される発明のブロック図である。
図1に示すように、本実施の形態に係るミリ波パッシブ撮像装置100は、振動リフレクタ部110、ラインセンサ120、同期・アドレス生成部130、変換部140、および画像処理部150を備える。
【0016】
振動リフレクタ部110は、首振り動作を行う振動リフレクタ111と、首振り動作のタイミングを伝えるための水平同期パルスを発するパルス生成部112を備えている。
【0017】
ラインセンサ120は、人10などの撮影対象が発するミリ波を振動リフレクタ111を介して受信する。ラインセンサ120は、水平方向に撮像素子が並ぶように配置されており、振動リフレクタ111が上下の首振り動作を行うことにより、人10などの撮影対象の各部が走査され、適宜ラインセンサ120によってミリ波が受信される。
【0018】
人10などの撮影対象の背後には電波吸収体11を設ける。これは撮影対象の背後方向から放射されてくるミリ波を遮断し、撮像対象方向から放射されてくるミリ波を吸収することにより外来ノイズがラインセンサ120によって受信されないようにするためである。
【0019】
同期・アドレス生成部130は、パルス生成部112から水平同期パルスを受け取ると、ラインセンサ120とフレームメモリ142に同期信号およびメモリアドレスを生成して送信する。ラインセンサ120は、受け取った同期信号に基づいて変換部140に受信したミリ波に基づくアナログ電圧を出力する。
【0020】
変換部140は、A/D変換回路141とフレームメモリ142を備え、ラインセンサ120から出力されたアナログ電圧がA/D変換回路141によりデジタル化され、同期・アドレス生成部130が生成したメモリアドレスに基づいてフレームメモリ142に記憶される。これによって、振動リフレクタ111が首振り動作して走査され、ラインセンサ120が撮像した各水平ラインのデータが2次元画像データとしてフレームメモリ142に記憶される。
【0021】
画像処理部150は、背景差分人体切出し処理部151、人体切出しマスクメモリ152、マスキング処理部153、および出力合成処理部154を備えている。
【0022】
背景差分人体切出し処理部151は、フレームメモリ142に記憶された2次元画像データと、光学カメラ20が撮像した光学画像から背景マスクを生成し、生成した背景マスクを人体切出しマスクメモリ152に記憶・更新する。
【0023】
マスキング処理部153は、人体切出しマスクメモリ152に記憶された背景マスクに基づいてフレームメモリ142に記憶された画像データに対してマスキング処理を行い、出力合成処理部154を介してモニタ30などの表示装置に出力される。
これにより、リアルタイムに適宜補正された画像データが出力されて表示される。
【0024】
次に、ミリ波パッシブ撮像装置100が行う撮影処理およびそれに伴う画像処理部150が行う画像処理について説明する。
図2は、マスキング処理の概要を示す図であり、
図2(A)は、ミリ波画像を示す図であり、
図2(B)は、光学画像から作成した背景マスクを示す図であり、
図2(C)は、背景マスクを用いてミリ波画像から背景をマスクして人物を切り出した人物切出し画像を示す図である。
【0025】
図2(A)に示すミリ波画像に対して、
図2(B)に示す光学画像から作成した背景マスクによって背景部分をマスクした状態が
図2(C)に示されている。このような背景マスクを用いてミリ波画像の背景をマスクするマスキング処理を行って、人10の部分を切り出すことにより、背景部分にノイズが存在しても無視することが可能となり、結果としてそのノイズを誤検出しないようにすることができる。
【0026】
背景マスクは
図2(B)に示すように光学画像から作成される。ミリ波パッシブ撮像装置100は、ミリ波画像を撮像する装置とともに光学カメラ20を備えており、同一の撮像対象をミリ波画像と光学画像とで撮像するようになっている。これにより、同一の人10などの撮像対象を撮像した光学画像を元に背景マスクを作成し、その作成された背景マスクを用いてミリ波画像のマスキング処理を行う。なお、なぜ光学画像を用いて背景マスクを作成するかについては後述する。
【0027】
図3は、背景マスクの位置ずれ修正の概要を示す図である。
上述の通り、ミリ波パッシブ撮像装置100は、同一の撮像対象をミリ波画像と光学画像とで撮像するようになっているが、同一範囲を撮像するように設定しているつもりでも若干の位置ずれがどうしても生じてしまう。そこで、光学画像で作成した背景マスクの位置ずれを修正し、ミリ波画像に適用する。
【0028】
図3(A)は、人10をミリ波画像で撮像したときの図であり、
図3(B)は、人10を光学画像で撮像したときの図であり、それぞれの画像において水平・垂直方向のプロファイルを作成する。
【0029】
図3(A)のミリ波画像において、XLが、人10の向かって左端の位置を示し、XRが人10の向かって右端の位置を示す。また、ppが、人10の肩の高さを示し、Ymが、人10の向かって左側の手の端部の高さを示し、Ytが、人10の高さを示す。
【0030】
同様に、
図3(B)の光学画像において、xLが、人10の向かって左端の位置を示し、xRが人10の向かって右端の位置を示す。また、pp’が、人10の肩の高さを示し、ymが、人10の向かって左側の手の端部の高さを示し、ytが、人10の高さを示す。
【0031】
たとえば、人10の向かって左手の左下端部を基準点としたとき、光学画像の基準点の位置をミリ波画像の基準点の位置に合うように修正することにより、光学画像を元に作成された背景マスクをミリ波画像のマスキング処理に用いることができるようになる。
【0032】
次に、フローチャートを用いて上述のマスキング処理の内容を具体的に説明する。
図4は、ミリ波パッシブ撮像装置100が行う撮影処理に伴う画像処理部150(特に、背景差分人体切出し処理部151)が行うマスキング処理の手順を示すフローチャートである。以下、
図4に示す処理をステップ番号に沿って説明する。
【0033】
〔ステップS11〕背景差分人体切出し処理部151は、フレームメモリ142に記憶されているミリ波画像の画像データを取得する。
【0034】
〔ステップS12〕背景差分人体切出し処理部151は、光学カメラ20で撮像されている光学画像の画像データを取得する。
【0035】
〔ステップS13〕背景差分人体切出し処理部151は、あらかじめ光学カメラ20によって撮像され、記憶されている背景範囲に撮像対象が入っていない光学画像の画像データである光学画像背景を読み出す。
【0036】
〔ステップS14〕背景差分人体切出し処理部151は、取得した光学画像データと光学画像背景との差分データである光学画像背景差分を算出する。
【0037】
〔ステップS15〕背景差分人体切出し処理部151は、算出した光学画像背景差分と一定の固定しきい値から二値化画像を作成する。
【0038】
〔ステップS16〕背景差分人体切出し処理部151は、作成した二値化画像における上述のしきい値以上と判断された部分が占める面積Sを算出する。
【0039】
〔ステップS17〕背景差分人体切出し処理部151は、算出した面積Sがあらかじめ設定された面積しきい値thより大きいか否かを判断する。算出した面積Sが面積しきい値thより大きいときは取得した光学画像データには人が映っている、つまり撮像範囲に撮像対象である人10などが入っていると判断し、処理をステップS18へ進める。算出した面積Sが面積しきい値th以下のときは取得した光学画像データには人が映っていない、つまり撮像範囲に撮像対象である人10などが入っていないと判断し、処理を終了する。
【0040】
ステップS17における判断は、撮像範囲内に撮像対象の人10がいるかを判断するために行うものであり、ステップS15の二値化処理はステップS17における判断を行うためになされるものである。したがって、ステップS15の二値化処理におけるしきい値は人10とそれ以外の部分を識別することができる値に設定される。
【0041】
〔ステップS18〕背景差分人体切出し処理部151は、撮像範囲からステップS15のしきい値以上と判断された部分を切り抜いた背景マスクを作成する。
【0042】
〔ステップS19〕背景差分人体切出し処理部151は、光学画像における水平方向のプロファイルを算出する。
【0043】
〔ステップS20〕背景差分人体切出し処理部151は、光学画像における垂直方向のプロファイルを算出する。
【0044】
〔ステップS21〕背景差分人体切出し処理部151は、ミリ波画像における水平方向のプロファイルを算出する。
【0045】
〔ステップS22〕背景差分人体切出し処理部151は、ミリ波画像における垂直方向のプロファイルを算出する。
【0046】
〔ステップS23〕背景差分人体切出し処理部151は、光学X座標変換を行う。すなわち、下記式(1)に基づいて、ミリ波画像と光学画像のX座標方向のズレを検出し、検出したズレを座標変換を行うことによって修正する。
【0047】
((XR−XL)/(xR−xL))(p’−xL)+XL………………………(1)
【0048】
〔ステップS24〕背景差分人体切出し処理部151は、光学Y座標変換を行う。すなわち、下記式(2)に基づいて、ミリ波画像と光学画像のY座標方向のズレを検出し、検出したズレを、座標変換を行うことによって修正する。
【0049】
((Ym−Yt)/(ym−yt))(pp’−yt)+Yt……………………(2)
【0050】
ステップS19〜22において光学・ミリ波画像の水平・垂直プロファイルを算出し、ステップS23,24においてその算出したプロファイルを用いて光学画像とミリ波画像のX,Y方向のズレを修正している。これは、ミリ波パッシブ撮像装置100においてミリ波を受信して撮像するカメラと光学カメラ20の2つを用いて撮像するため、同じ撮像対象を撮像しても位置ずれが生じてしまうからである。
【0051】
また、ミリ波画像は、物質が自ら発するミリ波を受信したものを画像化したものであり、たとえば撮像対象である人10が所持している物がミリ波を発しているときは、通常人10よりも温度が低いことから所持物のミリ波強度は人10が発するミリ波強度より弱い。よって、ミリ波画像を二値化するときに人10とそれ以外の部分をしきい値としてしまうと必然的に人10の部分よりもミリ波の受信強度が低い所持物部分も二値化画像には反映されずマスクされてしまう。したがって、所持物部分がマスクされてしまうとミリ波画像によって所持物を検出できなくなってしまうのを防ぐために光学カメラ20が撮像した光学画像を用いて背景マスクを作成することとしている。
【0052】
〔ステップS25〕背景差分人体切出し処理部151は、ミリ波画像の切出し部=0を入れる。これにより、光学画像とミリ波画像の各画像におけるあらかじめ決められた共通の基準点が設定され、その基準点から光学画像を用いて作成されたマスクによってマスキング処理がなされる。この基準点とは、たとえば人10において検出しやすく、かつ撮像時における人10における一番動きが少ない部分が選ばれる。つまり、人10の向かって左の肩などがその基準点となる。よって、光学画像とミリ波画像における人10の向かって左の肩にそれぞれ切出し部=0が設定され、その基準点を基準としてマスキング処理が行われる。
【0053】
〔ステップS26〕背景差分人体切出し処理部151は、作成した背景マスクを人体切出しマスクメモリ152に保存する。なお、古い背景マスクが保存されれている場合には更新する。
【0054】
以上のような処理により、光学画像を用いて背景マスクを作成し、ミリ波画像における背景部分をマスキング処理することにより、被写体である人など以外の部分(背景部分)からミリ波が放射されているように誤検出してしまうことを防止することができる。このような誤検出を防止できると、たとえば一定値以上の範囲に一定値のミリ波強度の固まりが存在するときに所持物があると検出するような自動所持物検出装置に本実施の形態に係る発明を適用しても有用である。
【0055】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、マスキング処理装置が有すべき機能の処理内容を記述したマスキング処理プログラムが提供される。そのマスキング処理プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したマスキング処理プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、HDD、FD、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録装置には、MO(Magneto
Optical disk)などがある。
【0056】
マスキング処理プログラムを流通させる場合には、たとえば、そのマスキング処理プログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのマスキング処理プログラムを転送することもできる。
【0057】
マスキング処理プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたマスキング処理プログラムもしくはサーバコンピュータから転送されたマスキング処理プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からマスキング処理プログラムを読み取り、マスキング処理プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接マスキング処理プログラムを読み取り、そのマスキング処理プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからマスキング処理プログラムが転送される毎に、逐次、受け取ったマスキング処理プログラムに従った処理を実行することもできる。
【0058】
なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
【0059】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。