【実施例1】
【0015】
[原理説明]
以下、本発明の画像監視装置およびそれを用いたエレベーター監視装置の一実施例を説明する。
図1は、実施例1の撮像部の設置態様を示す例と撮像部で得られる画像の例である。
図1(a)は斜視図であって、実施例1の撮像部3の設置態様を示す図である。
図1(a)では、例えば床などのある面上の閉じた領域1a(空間第一領域)を破線で示している。領域1a(空間第一領域)は平面でも曲面でもよい。また、三次元空間上で、領域1aの鉛直上方にあたる空間を領域2a(空間第二領域)として、斜線で示す。そして、領域2aの空間内にある撮像部3は領域1aを俯瞰するように設置されている。
【0016】
図1(b)は、撮像部3で得られる画像の例である。破線で示す領域1bは領域1aが映っている領域である。そして、斜線領域2bは領域2aが映っている領域である。この画像において、領域2bは領域1bも含んでいるものとする。領域2bは画像第二領域といい、領域1bは画像第一領域ともいう。
【0017】
図2は、人物が領域1a内外に居る場合の斜視図と、撮像部で得られる画像の例である。
図2(a1)は、人物5が領域1a外に居る場合の斜視図で、
図2(b1)は、人物5が領域1a内に居る場合の斜視図を示している。また、
図2(a2)は、
図2(a1)の状況を撮像部3で撮影した画像で、
図2(b2)は、
図2(b1)の状況を撮像部3で撮影した画像である。既に説明した通り、本明細書では人物5は人および人以外の立体物を含むものであり、
図2では人の場合を示している。矩形で示した6は、領域2b内において、人の頭部など人物5の一部を示す特徴部を検出して保持している状態を示していて、第一特徴部6と表記する。人物5が人以外のものであっても、立体物で有れば曲線または折れ線を有する輪郭が生じるので、この場合はこれが第一特徴部6となる。曲線で示した7は、領域1b内において、人物5が領域1aに居るために発生する、人物5の脚部による領域1aの部分的な遮蔽または影または映り込みなどである。これを領域1b内において人物5により生じた第二特徴部7という。そして、第一特徴部6と第二特徴部7とが検出された(第一特徴部6と第二特徴部7とが同時に存在する)場合に、領域1a(領域2a)内に人物5が存在すると判定することができる。このように、第一特徴部6と第二特徴部7とが発生するか否かを計測すれば、人物5の頭部から足下までの全身を連結して切り出せなくても、領域1a(領域2a)内に人物が存在するか否かを正確に判断することができる。
【0018】
ここで、
図16に領域1a、領域2a、領域1b、領域2b、第一特徴部6および第二特徴部7の関係をまとめる。領域1aは3次元空間に存在する領域で、空間第一領域とも表し、床や地面がこれに当たる。領域1aを撮像部3で撮影して2次元空間化したものは領域1bであり、画像第一領域とも表す。また、第二特徴部7は、人または立体物が領域1b上に生じさせる遮蔽や影、映り込みが形成する輪郭である。一方、領域2aは3次元空間に存在する領域で、空間第二領域とも表し、床または地面の上方にある空間がこれに当たる。領域2aを撮像部3で撮影して2次元空間化したものは領域1bであり、画像第二領域とも表す。また、第一特徴部6は、人物頭部やその他立体物が形成する曲線または折れ線状の輪郭が領域2bに生じたものである。
【0019】
図3は、撮像部によるエレベーターかご内の画像の例である。
図3は、エレベーターかごの床8を領域1a、エレベーターかご内の空間を領域2aとし、領域2a内に領域1aを俯瞰して設置した撮像部3による画像である。撮像部3としては例えば監視カメラを用いる。エレベーターかごは、床8と天井と4つの壁9から壁12で構成されている。そして、壁10には出入り口であるドア16がある。ここで、壁9と壁10の交線を13、壁10と壁11の交線を14、壁11と壁12の交線を15とする。壁9と壁12がなす交線と天井は
図3に示す画像の視野外である。実空間上では、ドア16は長方形であって、ドア16の鉛直方向に延びる左右の二辺と、交線13から15は、エレベーターの昇降路の長手方向(以下、昇降路方向と称する)に延びる平行な線分であるが、
図3に示す画像では、透視変換により平行には表れていない。しかし、上記に述べた線分は、実空間上では、互いに平行で昇降路方向に一致している。このため、
図3の画像上では、例えば交線13と交線14を延長して交わる点17は、昇降路方向の無限遠点であり消失点17になっている。本明細書では、撮像部3で得られる画像において、この消失点17を、エレベーターの昇降路の長手方向の消失点17と称することする。
【0020】
領域2bは、撮像部3で得られた画像全体としてもよいが、他の例として、消失点17から床8に向けて任意の半直線を引いたとき、半直線が通り得る範囲(すなわち
図3の画像の中から壁9と壁12を除外した領域)を、領域2bとしてもよい。その理由は、次の通りである。まず、エレベーターかごの上方向は天井で制限されている。ここで、天井は床8と同一の四角形であって、撮像部3が天井の四隅の中の一に設置されていれば、消失点17と撮像部直下であって視野外の床隅は画面上で一致する。そうすると、死角となっている領域も含めて床8上に鉛直に立つ人物は、
図3に示す画像上の壁9と壁12の範囲に表れることはできない。したがって、この場合、画像第二領域(領域2b)は、
図3の画像の中から壁9と壁12を除外した領域としてもよい。これにより、壁9と壁12に現れるノイズにより誤判定してしまう可能性を防ぐことができる。また、画像第一領域(領域1b)は、死角部分を除いた床8の領域である。尚、既に説明した通り、画像第二領域(領域2b)には、床8の領域も含まれる。
【0021】
図4は、エレベーターかご内に人が居る場合と居ない場合の例である。
図4(a)は、エレベーターかご内に人物5が居る場合の画像で、
図4(b)は、エレベーターかご内に人物5が居ない場合の画像である。いずれの画像においても画像内に人物5が存在し、第一特徴部6も画像内に存在する。しかし、
図4(a)においては床8上に人物5の足下が床8の一部を遮蔽または床8に影を落としまたは床8上に映り込みを生じる等により第二特徴部7が生じている。したがってこの場合は、人物5はエレベーターかご内に存在すると判定することができる。一方、
図4(b)では床8上に第二特徴部7が無いので、人物5はエレベーターかご外に存在すると判定することができる。
【0022】
[装置構成の説明]
図5にエレベーター監視装置の一構成例を示す。エレベーター監視装置は、撮像部3と、画像処理部18と、領域設定ツール19とを有している。そして画像処理部18は、画像監視装置として機能し、第一特徴部検出部20と、かご内構造マップ保持部21と、第二特徴部検出部22と、判定出力部23とを有している。尚、領域設定ツール19は常時必要ではなく、撮像部3の設置時に、撮像部3と接続してかご内構造マップを作成して、かご内構造マップ保持部21に保持させておけばよい。あるいは、画像処理部18内に画像を一時記憶するメモリを設けて撮像部3の取得した画像を記憶してから、領域設定ツール19を画像処理部18に接続してかご内構造マップを作成してもよい。
【0023】
ここで、かご内構造マップは、撮像部3で取得する画像の中で、画像第一領域(領域1b)と画像第二領域(領域2b)の範囲を定めた画像である。
【0024】
エレベーター監視装置の監視動作においては、撮像部3で得たエレベーターかご内の画像は第一特徴部検出部20と第二特徴部検出部22で解析される。
【0025】
第一特徴部検出部20は、かご内構造マップ保持部21の保持するかご内構造マップを参照して、領域2b、すなわち、床8と、ドア16を含む壁10と、壁11に該当する領域において、人物5の一部を示す第一特徴部6を検出し、撮像部3から順次送られる連続的な画像系列において第一特徴部6の位置の変化をトラッキングする。人物5の第一特徴部6としては、輪郭線の曲線部または折れ線部を用いることができる。射光や、開閉するドア縁の輪郭の多くは単純な直線で形成されるのに対して、床8上の立体物である人物5の輪郭には曲線部または折れ線部が含まれるからである。第一特徴部としては、例えば頭部や肩など、人物5の一部を検出すればよく、全身を検出する必要はないので、必ず全身を検出しなければならない方式に比べて検出精度を上げることができる。
【0026】
第二特徴部検出部22は、同じくかご内構造マップを参照して、領域1b、すなわち、床8上の人物5に対応する痕跡、例えば、人物5が床8上に存在することによって生じる床8の部分的な遮蔽または影または映り込みを示す第二特徴部7検出する。より具体的には、人物5が無いことが保証されている時に撮影した床8の画像を基準として有し、撮像部3が新たに取得した画像との輝度分布の差、若しくは輪郭の差異を第二特徴部7とする。尚、第二特徴部7として、輪郭を用いると、画像の輝度変化の影響を受け難くなる。第二特徴部7は、領域1b内における人物5の足下等の痕跡を示すものともいえる。第二特徴部7は、第一特徴部6と連続した領域として検出される必要はないので、必ず全身を検出しなければならない方式に比べて検出精度を上げることができる。
【0027】
尚、かご内構造マップ保持部21は、第一特徴部検出部20または第二特徴部検出部22に内蔵されていてもよい。
【0028】
判定出力部23は、第一特徴部検出部20で検出された人物5の第一特徴部6と、第二特徴部検出部22で検出された第二特徴部7の有無を確認し、これらが同時に存在する場合はエレベーターかご内に人物が存在すると判定し、同時に存在しない場合はエレベーターかご内には人物は存在しないと判定する。そして判定結果として有人信号あるいは無人信号を出力する。
【0029】
尚、判定出力部23は、第一特徴部6と第二特徴部7とが検出される(すなわち、両者が同時に存在する)という条件に加えて、さらにこれらの発生場所の整合性の確認を行うようにしてもよい。
【0030】
図6は、判定出力部において、第一特徴部と第二特徴部の発生場所の整合性の確認を行う場合の例である。判定出力部23において、第一特徴部6と第二特徴部7の発生場所の整合性の確認を行う場合は次のようにする。例えば、
図6(a)と
図6(b)に示すように、第一特徴部検出部20による第一特徴部6の中心から消失点17を結んだ線分24の範囲内に、第二特徴部検出部22による第二特徴部7が存在する場合には、第二特徴部7は第一特徴部6に対応するものであるということができ、両者の位置は整合が取れているということができ、エレベーターかご内に人物が存在すると判定することができる。ここで、線分24は第一特徴部6から昇降路の延びる方向、すなわち、実空間で鉛直な方向を示す線分である。尚、ここではる第一特徴部6の中心から消失点17を結んだ線分24を想定したが、第一特徴部6の中心に限られず、第一特徴部6の任意の場所から消失点17を結んだ線分24を用いて判断してもよい。
【0031】
図7は、人物がエレベーターかご内には存在しない判定例である。
図7(a)の例では、第一特徴部6と消失点17を結ぶ線分24の範囲外に、日射等の照明25による反射26が発生し、この反射26を第二特徴部26として検出している。この場合は、第一特徴部6と第二特徴部26とが対応しておらず、整合が取れていないので、人物5はかご内には存在しないと判定することができる。
図7(b)の例では、日射等の照明27により壁11が局所的に明るくなって、第一特徴部28が検出されたとしても、線分24の範囲に第二特徴部7が無いので、第一特徴部検出部20と第二特徴部検出部22により検出された特徴は対応しないので整合せず、したがって、エレベーターかご内には人物5は存在しないと判定することができる。
【0032】
尚、エレベーターかご内への外部からの日射が無いエレベーターの場合には、判定出力部23による整合性の確認は省略することができる。このような環境下では、第二特徴部7が検出された場合には、エレベーターかご内の人物5によるものと確信的に決定することができる。この場合には、上記のような線分24の範囲か否かの判定を省略して、第一特徴部6が検出されて、かつ、床8の領域内に第二特徴部7が有ればエレベーターかご内に人物5が存在すると判定することができる。すなわち、第一特徴部6と第二特徴部7とが検出されれば、第一特徴部6と第二特徴部7との位置関係を問わずエレベーターかご内に人物5が存在すると判定することができる。
【0033】
この場合、第二特徴部7の有無の指標は、床8の領域内において、無人の時の基準画像と現画像との画素毎の輝度差を算出し、所定のしきい値以上に差異のある画素の数を計数し、計数値が所定のしきい値を超えたことをもって、第二特徴部7が有るとすることができる。
【0034】
また、他の第二特徴部7の有無の指標として、現画像から検出された輪郭であって、基準画像に無い輪郭の量を計数し、所定のしきい値を超えることをもって、第二特徴部7が有るとすることができる。輪郭の量とは、例えば、基準画像および現画像に対してソーベルフィルタ等の画素間の差分若しくは微分によってエッジ(輪郭とも言う)を強調してから二値化して、エッジに該当する領域であって二値化しきい値を超える画素数を輪郭の量とすることができる。
【0035】
このように、本発明のエレベーター監視装置は、第一特徴部6が存在して、かつ、第二特徴部7が生じていることを、エレベーターかご内に人物5が存在すると判定するための必要条件としている。このため、単に床上に足が検出されるか否かで人の有無を判定する方式よりも、第二特徴部7の検出方法を単純化して検出しやすくすることができるので失報が減らせ、良好に動作させることができる。また、足下候補と認定する条件を上記のようにエッジの画素数を指標とするなどのような単純化をした結果、床8に対する若干の反射等のノイズに対して第二特徴部7の誤検出(過検出)があっても、第一特徴部6とともに最終判断を行うので、人物5の誤検出(過検出)による誤報を抑制できる。
【0036】
更に、上記のように、消失点17を基準として第一特徴部6と第二特徴部7の位置的整合を取るようにすると、日射等による強い反射に対しても誤報を抑制することができる。
【0037】
また、実施例1のエレベーター監視装置では、
図15に示すように、判定出力部23での判定結果が入力されエレベーターを制御する図示しないエレベーター制御部を有するようにしてもよい。
【0038】
次に、
図5に示されるポイント指示部29とマップ作成部30とを有する領域設定ツール19の説明をする。領域設定ツール19は、本発明のエレベーター監視装置に常時組み込まれている必要は無く、例えば、ハンディパソコンなど、モニタ(図示せず)と、キー入力デバイスやポインティングデバイスなどの入力インタフェース(図示せず)と、演算器(図示せず)と、メモリ(図示せず)を備える携帯端末に構築することができる。
【0039】
図8は、エレベーターかご内の領域設定の例である。エレベーターかご内に撮像部3を設置した後に、少なくとも一回、領域設定ツール19を撮像部3に接続する。そうすると、例えば
図8に示すようなエレベーターかご内の映像が得られる、これを領域設定ツール19のモニタに表示する。そして、ポイント指示部29の入力インタフェースを使って、ドア16の四隅であるポイント31から34を順次指示し、画像における各ポイントの座標値をマップ作成部30のメモリに取得する。ここで、ドア16は、本来は長方形であるが、撮像部3の結像作用で透視変換されていて、上述のように昇降路下方に向かって幅が狭くなっていく。次にマップ作成部30の演算器でポイント31とポイント34を結ぶ直線と、ポイント32とポイント33を結ぶ直線の交点を算出し、これが消失点17となる。
【0040】
図9は、天井隅とやや中央よりに撮像部を設置して取得した画像の例である。
【0041】
図8の例ではエレベーターの天井は正方形または長方形であって、ドア16のある壁10に対向する壁12と、その隣りの壁9と、天井とが作る角に撮像部3が設置されている。このような場合、天井と同形の床の隅は少なくも三点は画像の視野内にあるので、これらの三点をそれぞれ、ポイント35から37として、ポイント指示部29の入力インタフェースを使って順次指示して、メモリに取得する。このように直方体のエレベーターかごの天井隅に撮像部3を設置して取得した画像において、画像視野から外れる床の隅は消失点17に一致する。これを
図9(a)に示す。すなわち、前記画像視野から外れた四つ目の隅は消失点17に一致する。ドットパターンで示した領域である40は、撮像部3の死角領域40である。透視投影変換により死角領域40が実際よりも大きく拡大される。また、消失点17とポイント35を結んだ直線が画像視野の枠と交わるポイントを41とし、消失点17とポイント37を結んだ直線が画像視野の枠と交わるポイントを42とする。以上の設定処理により、ポイント41、消失点17、ポイント42が成す角の内側で、かつ、画像外にある死角領域40を除く領域が、領域2bとなり、床8の領域が領域1bとなる。尚、領域2bには、床8の領域も含まれている。床8の領域は、消失点17、ポイント35から37が形成する四角形の中で、画像外にある死角領域40を除く領域である。前述の通り、壁9と壁12は領域2bから外れる。
【0042】
また、撮像部3を前記天井の隅よりも中央方向に移動させた位置に設置して画像を得ると、
図9(b)のようになる。この場合、ポイント31から34から算出される消失点17と死角領域40にある床隅の一つは一致しない。そのため、死角領域40にある床隅の一つを示すポイント43を画像の視野外に想定してその位置を構成できるようにしなければならない。この場合、ポイント43の位置を調整して、ポイント35とポイント43を結ぶ線分を床縁38に一致させ、ポイント37とポイント43を結ぶ線分を床縁39に一致させるようにしなければならない。そして、
図9(a)に基づいて説明した時と同様に、領域2bと領域1bが決まる。ただし、この場合は壁9と壁12の領域を消失点17を利用して除外するのは困難なので、領域2bは画面全体とする。
【0043】
現実の撮像部3では、レンズの樽型歪によって、
図3や
図9のような作図とは完全に一致することは無い。しかし、樽型歪を補正してから画像処理すればこのような不一致は解消できる。しかし、本実施例のエレベーター監視装置に用いる多くの場合、樽型歪みによって生じる作図とのずれが検出精度に与える影響はあまり大きくないので、樽型歪で作図が多少ずれていても問題はない。
【0044】
以上説明した領域設定ツール19の作用によりかご内構造マップが作成される。かご内構造マップの作成後に、領域設定ツール19を一時的にかご内構造マップ保持部21に接続して保存させることができる。第一特徴部検出部20と第二特徴部検出部22にとっては、領域2bと領域1b以外の領域は処理対象外の領域である。したがって、これらのいずれにも属さない壁9と壁12内に、射光に基づく輪郭が発生しても第一特徴部検出部20と第二特徴部検出部22と判定出力部23には何ら影響を与えず、誤検出は起こさない。
【0045】
[処理フローの説明とかご内構造マップの例]
図10は、エレベーター監視装置の動作のフローチャートの例である。以上説明した構成による本実施例のエレベーター監視装置の動作を
図10のフローチャートで説明する。本実施例のエレベーター監視装置の一例は、電源投入によって処理を開始し、メモリ初期化処理(ステップs40)をする。次にかご内構造マップ作成(ステップs41)をするが、これは領域設定ツール19が作成した各ポイント(ポイント31から37、消失点17、ポイント41、ポイント42)の座標データをダウンロードしてこれに基づいてかご内構造マップを作成しても良いし、あるいは、領域設定ツール19が作成したかご内構造マップをダウンロードしても良い。かご内構造マップは、例えば、
図11に示すデジタル画像とすることができる。ここで、例えば、無地白色の領域には0が、斜線領域には196が、ドット領域には255の数値が割りつけられていて、255の領域が領域1bで、196以上の領域(255の領域を含む)が領域2bである。
【0046】
以上のステップが前処理ステップであり、実稼働においては、動画のサイクル毎に、ステップs42からステップs48の動作を繰り返し、ステップs49にて、電源のオフや終了割込みが検出された場合に限り終了することとし、それ以外の場合は画像取得(ステップs42)に戻る。第一特徴部検出(ステップs43)と第二特徴部検出(ステップs44)はそれぞれ、第一特徴部検出部20と第二特徴部検出部22で行うが、パソコン等ソフトウェアで順次行う場合には何れを先に実施するようにも設計することができる。第一特徴部検出と第二特徴部検出が終わってから、判定出力部23で第一特徴部6と第二特徴部7の検出結果に基づいて有人であるかを総合判定し、第一特徴部6と第二特徴部7との両方が検出された場合、あるいは、さらに必要に応じて消失点17を用いて両者の位置的整合性まで検証して有人と判定された場合は‘真’として有人判定となる(ステップs47)。一方、第一特徴部6または第二特徴部7が検出されない場合、あるいは、さらに必要に応じて両者が検出されたものの位置的整合まで検証して整合が取れない場合は、無人と判定して無人判定となる(ステップs46)。判定出力部23は、判定出力(ステップs48)において、前段のステップs47又はステップs46の結果を出力する。
【0047】
[第一特徴部と第二特徴部の検出例]
次に、第一特徴部検出部20において人物を検出して、第一特徴部を保持する一例を説明する。
図12は、第一特徴部検出の一例であり、人物検出の一例を表す概念図である。
図12(a1)、
図12(a2)、
図12(a3)は、人物44A、44B、44Cがエレベーター入口から搭乗するときの時系列デジタル画像の例であって、
図12(a1)から
図12(a3)に向けて時間が経過していく。
図12(a1)から
図12(a3)に表れる人物は同一人物であるが、時間経過に伴って輝度パターンが変化していくので、説明の都合上44A、44B、44Cと命名する。
【0048】
図12(b1)は、
図12(a1)の画像(フレームともいう)と
図12(a2)の画像の画素毎の輝度差分絶対値からなる画像であって、いわゆるフレーム間差分画像である。破線で示す人物44Aと実線で示す人物44Bと、フレーム間差分の領域(格子パターン領域)の関係を示している。同様に、
図12(b2)は、
図12(a2)の画像と
図12(a3)の画像のフレーム間差分画像であって、破線で示す人物44Bと実線で示す人物44Cと、フレーム間差分の領域(格子パターン領域)の関係を示している。
図12(b1)と
図12(b2)はグレースケール画像でもよく、適当なしきい値で二値化した後であってもよい。適当なしきい値としては、
図12(b1)と
図12(b2)に表れる人物において、必ずしも全身が連結して検出される必要はない。しかし、頭部、肩部、腰部等の曲線または折れ線の輪郭が分裂しすぎて曲線または折れ線と認められなくなるほど細分化されない程度には固まって検出できる値としてしきい値を定めた方がよい。以後、これを不適当な程に細分化されないで検出されるしきい値と表現する。人物の輪郭線よりも内側のパターンに輝度の差異が乏しい場合には、二値化後の
図12(b1)と
図12(b2)のパターンに穴が開くことがあるが、本実施例での検出においては影響は無い。
【0049】
図12(c1)の抽出パターン44Dと
図12(c2)の抽出パターン44Eは、それぞれ、
図12(b1)と
図12(b2)の抽出パターン(格子パターン領域で示した領域)に膨張処理または最大値処理を加えたものである。
図12(b1)と
図12(b2)が二値化後であれば膨張処理が行われるし、グレースケール画像の場合は最大値処理が行われる。
【0050】
図13は、処理カーネルが3×3の場合の例である。膨張処理は、例えば
図13に示すような処理カーネルで隣接画素を参照して行われる。
図13は処理カーネルが3×3の場合で、元の画像に対して、注目画素Cに隣接する画素(1〜8を付した画素)を参照して、これらの値に応じて、変換後の画像における注目画素Cの値を決める。いわゆる4連結膨張処理の場合は、注目画素Cが0(非物体)であって、これに隣接する2、4、6、8のいずれかの番号を付した画素に一つでも255(物体)があれば、注目画素Cを255(物体)に置き換える処理である。また、いわゆる8連結膨張処理の場合は、注目画素Cが0(非物体)であって、これに隣接する1、2、3、4、5、6、7、8いずれかの番号を付した画素に一つでも255(物体)があれば、注目画素Cを255(物体)に置き換える処理である。
【0051】
最大値処理も
図13に示すような隣接画素を参照して行われる。いわゆる4連結最大値処理の場合は、注目画素Cとこれに隣接する2、4、6、8のいずれかの番号を付した画素の最大輝度値を注目画素Cの値とする変換処理である。また、いわゆる8連結最大値処理の場合は、注目画素Cとこれに隣接する1、2、3、4、5、6、7、8いずれかの番号を付した画素の中の最大値を注目画素Cの値とする変換処理である。膨張処理や最大値処理により、物体とその周辺の輝度値が大きく膨らむ。
【0052】
尚、この255(物体)の画素は、何らかの物体が存在する画素であることを意味しており、人物候補である。
【0053】
膨張処理または最大値処理に続いて、画像間論理積処理または画像間最小値処理をする。
【0054】
図12(c1)と
図12(c2)が二値化された画像のときは画像間論理積処理をして、グレースケール画像のときは画像間最小値処理をする。画像間論理積とは、
図12(c1)と
図12(c2)の対応する画素が双方とも255(物体)の場合のみ、当該画素を255(物体)とし、それ以外は0(非物体)とする処理で、出力される画像は二値画像である。画像間最小値処理とは、
図12(c1)と
図12(c2)の対応する画素の輝度の小さい方の値で変換する処理で、出力画像はグレースケールである。この場合は更に、適当なしきい値で二値化する必要がある。ここで、適当なしきい値とは判別分析法で求めたしきい値でもよく、その他上述のように不適当な程に細分化されないで検出されるしきい値を選んでもよい。
【0055】
図12(d1)の格子パターン領域は、
図12(c1)の抽出パターン44Dと
図12(c2)の抽出パターン44Eの画像間論理積処理または画像間最小値処理後の二値化画像である。
図12(d1)の格子パターン領域を作る際の適当なしきい値とは、
図12(d1)に表れる物体が不適当な程に細分化されず、また、低すぎてノイズに埋もれない程度の値とすることが好ましく、例えば判別分析法で選んでもよい。以上の処理により出力は二値画像となっており、続いてラベル処理を行う。
【0056】
ラベル処理は二値化された画像に対してする処理であり、4連結または8連結の条件を満たす画素群を一つの物体と見なして一つのラベルを付す処理である。ラベル処理により物体(人物)に外接する外接矩形を描くことができる。
図12(d2)における矩形45は以上説明した一連の処理の結果検出された物体(人物)の外接矩形である。こうして検出された物体(人物)は、
図12(d3)に示すように、
図12(a1)から
図12(a3)の3つの時系列画像の中間の画像である
図12(a2)の物体(人物)の位置と概ね一致する。
【0057】
以上、第一特徴部検出部20が、第一特徴部を有する人物候補を検出する一例を示した。次いで、検出された人物候補から、頭部、肩部、腰部等の曲線または折れ線状の輪郭を有する部分を検出する。そして更に第一特徴部を、進行していく時系列画像に亘って保持していくために、第一特徴部をテンプレートとするパターンマッチング技術を用いる。パターンマッチング技術としては周知の相関演算を用いるもの(正規化相関法)や、対応する画素値の差異絶対値の総和が最小になるように探査するものがある。
【0058】
図14は、テンプレートの取得例である。
図14(a)は外接矩形45の人物において、第一特徴部として検出し、保持する領域である矩形46(テンプレート取得範囲)が検出された例である。矩形46の有する座標に基づいて、
図14(b)に示す時系列画像からテンプレートとして取得する画像は、
図14(b)において、破線矩形46で示す部分画像である。矩形46の定め方は、例えば頭部を検出するために、外接矩形45の上部の所定の面積と予め決めておいてもよい。あるいは、人物の輪郭が密に集中する領域を選択するようにしてもよい。
図14(b)の人物44Bは表現の都合上格子パターンで示しているが、実際は被写体の凹凸や色彩に起因する濃淡画像である。そこで、よく知られた輪郭検出処理を施すと、例えば、
図14(c)に示すような曲線部または折れ線部の多い輪郭が抽出される。この輪郭が密な部分を中心に、予め決めておいた大きさの画像をテンプレートとして取得するようにしてもよい。エレベーターかご内の画像は、撮像部3で上方から撮影することと、上方から照明していることにより、一般的に、足下よりも頭部の方が精細でコントラストがよく、したがって、輪郭も密に抽出しやすい。輪郭を検出するフィルタとして、例えば、
図14(d)に示すソーベルフィルタがある。これらのフィルタを順次施して、得られた輪郭の論理和をとると、濃淡画像の輪郭が、45度間隔で8通り360度方向の近似輪郭が得られる。
【0059】
矩形46は第一特徴部に該当するため、第一特徴部検出部20は、人物の一部を示す第一特徴部46の検出の有無や、第一特徴部46の座標などの位置情報を出力する。以上、搭乗しようとする人物を例にとって、第一特徴部検出部20がする処理の具体例を説明した。
【0060】
第二特徴部検出部22の処理については、画像第一領域(領域1b)すなわち、床8の範囲に、例えばソーベルフィルタ等を使って、人物の存在によって生じる遮蔽、影、映り込み等によって現われる輪郭を検出する。これが第二特徴部となる。第二特徴部検出部22は、第二特徴部の検出の有無や、第二特徴部の座標などの位置情報を出力する。