(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022014735
(43)【公開日】2022-01-20
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G06T 7/254 20170101AFI20220113BHJP
B66B 13/26 20060101ALI20220113BHJP
B66B 3/00 20060101ALI20220113BHJP
【ＦＩ】
G06T7/254 A
B66B13/26 F
B66B3/00 M
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2020117254
(22)【出願日】2020-07-07
(71)【出願人】
【識別番号】000112705
【氏名又は名称】フジテック株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】端 宏晃
(72)【発明者】
【氏名】谷口 友宏
【テーマコード（参考）】
3F303
3F307
5L096
【Ｆターム（参考）】
3F303CB27
3F303CB31
3F307DA11
5L096AA02
5L096AA06
5L096BA02
5L096CA04
5L096EA02
5L096EA03
5L096EA06
5L096EA33
5L096EA43
5L096FA32
5L096FA54
5L096FA66
5L096FA67
5L096FA69
5L096FA77
5L096GA04
5L096GA08
5L096GA51
5L096GA55
5L096HA04
5L096HA05
(57)【要約】
【課題】明るさの不十分な乗場を撮像した画像中に、互いに異なる方向に移動する複数の移動物体に対応する像が含まれていても、当該画像中の複数の移動物体のそれぞれに対応する像を抽出できる技術を提供する。
【解決手段】画像処理装置（３０）は、第１の輝度差分演算部（３３０）によって平滑化処理を用いて生成した、画像における動きの有る移動領域に関する移動領域情報と、各画素のオプティカルフローを分類した画素方向情報と、を用いて、乗場に存在する移動物体（１）に対応する像を画像中にて示す移動物体領域（ＭＯＡ）を決定する決定処理部（３３４）を備えている。
【選択図】図１Ａ
【解決手段】画像処理装置（３０）は、第１の輝度差分演算部（３３０）によって平滑化処理を用いて生成した、画像における動きの有る移動領域に関する移動領域情報と、各画素のオプティカルフローを分類した画素方向情報と、を用いて、乗場に存在する移動物体（１）に対応する像を画像中にて示す移動物体領域（ＭＯＡ）を決定する決定処理部（３３４）を備えている。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
エレベータの乗場をカメラにて撮像した画像を取得する画像取得部と、
所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算部と、
前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算部と、
前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理部と、を備えていることを特徴とする画像処理装置。
所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算部と、
前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算部と、
前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理部と、を備えていることを特徴とする画像処理装置。
【請求項2】
２枚の前記画像について前記平滑化処理を用いることなく輝度の差分に基づく演算処理を行うことにより前記移動領域情報を生成する第２の輝度差分演算部をさらに備え、
前記決定処理部は、（ｉ）前記第１の輝度差分演算部により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、および（ｉｉ）前記第２の輝度差分演算部により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、のいずれか一方によって、前記移動物体領域を決定することを特徴とする請求項１に記載の画像処理装置。
前記決定処理部は、（ｉ）前記第１の輝度差分演算部により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、および（ｉｉ）前記第２の輝度差分演算部により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、のいずれか一方によって、前記移動物体領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
複数の前記乗場にて前記カメラにより前記画像が撮像される場面のそれぞれに対して前記乗場の明るさが十分であるか否かを対応付けた、撮像場面ごと明るさ情報が予め記憶されており、
前記乗場を撮像するに際して、前記画像を撮像した前記乗場の場面に関する撮像場面情報を取得し、
前記撮像場面情報と前記撮像場面ごと明るさ情報とに基づいて、前記乗場の明るさが不十分であるか否か判定し、
前記乗場の明るさが不十分と判定された場合には前記第１の輝度差分演算部を起動して前記移動領域情報を生成し、
前記乗場の明るさが十分と判定された場合には前記第２の輝度差分演算部を起動して前記移動領域情報を生成することを特徴とする請求項２に記載の画像処理装置。
前記乗場を撮像するに際して、前記画像を撮像した前記乗場の場面に関する撮像場面情報を取得し、
前記撮像場面情報と前記撮像場面ごと明るさ情報とに基づいて、前記乗場の明るさが不十分であるか否か判定し、
前記乗場の明るさが不十分と判定された場合には前記第１の輝度差分演算部を起動して前記移動領域情報を生成し、
前記乗場の明るさが十分と判定された場合には前記第２の輝度差分演算部を起動して前記移動領域情報を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記撮像場面ごと明るさ情報は、前記エレベータの設置されている建物における複数の階床のそれぞれに対して前記乗場の明るさが十分か否かを対応付けたものであり、
前記撮像場面情報は、前記エレベータのかごが到着した階床の情報であることを特徴とする請求項３に記載の画像処理装置。
前記撮像場面情報は、前記エレベータのかごが到着した階床の情報であることを特徴とする請求項３に記載の画像処理装置。
【請求項5】
前記撮像場面ごと明るさ情報は、複数の時間帯のそれぞれに対して前記乗場の明るさが十分か否かを対応付けたものであり、
前記撮像場面情報は、前記エレベータのかごが前記乗場に到着した時刻の情報であることを特徴とする請求項３に記載の画像処理装置。
前記撮像場面情報は、前記エレベータのかごが前記乗場に到着した時刻の情報であることを特徴とする請求項３に記載の画像処理装置。
【請求項6】
前記撮像場面ごと明るさ情報は、前記移動物体が存在しないときの前記乗場を撮像した前記画像における全画素の輝度の平均値を求め、前記平均値が所定の閾値を超える場合、当該乗場の明るさが十分であり、前記平均値が所定の閾値以下である場合、当該乗場の明るさが不十分であると判定した結果に基づいて、設定されていることを特徴とする請求項３～５のいずれか１項に記載の画像処理装置。
【請求項7】
前記第１の輝度差分演算部は、
２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行う、ことを特徴とする請求項１に記載の画像処理装置。
２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行う、ことを特徴とする請求項１に記載の画像処理装置。
【請求項8】
前記第１の輝度差分演算部は、前記二値化処理により生成される二値化画像について膨張処理および収縮処理を行うようになっており、
前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されていることを特徴とする請求項７に記載の画像処理装置。
前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されていることを特徴とする請求項７に記載の画像処理装置。
【請求項9】
前記第１の輝度差分演算部は、
２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行い、
前記第２の輝度差分演算部は、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第３の差分画像に対して二値化処理を行う、ことを特徴とする請求項２～６のいずれか１項に記載の画像処理装置。
２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行い、
前記第２の輝度差分演算部は、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第３の差分画像に対して二値化処理を行う、ことを特徴とする請求項２～６のいずれか１項に記載の画像処理装置。
【請求項10】
前記第１の輝度差分演算部で行われる二値化処理で用いる閾値は、前記第２の輝度差分演算部で行われる二値化処理で用いる閾値よりも大きい、ことを特徴とする請求項９に記載の画像処理装置。
【請求項11】
前記第１の輝度差分演算部および前記第２の輝度差分演算部は、前記二値化処理により生成される二値化画像について膨張処理および収縮処理を行うようになっており、
下記（１）または（２）のように設定されていることを特徴とする請求項９または１０に記載の画像処理装置；
（１）前記第１の輝度差分演算部は、前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されている、
（２）前記第１の輝度差分演算部で行われる膨張処理の回数は、前記第２の輝度差分演算部で行われる膨張処理の回数よりも多い。
下記（１）または（２）のように設定されていることを特徴とする請求項９または１０に記載の画像処理装置；
（１）前記第１の輝度差分演算部は、前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されている、
（２）前記第１の輝度差分演算部で行われる膨張処理の回数は、前記第２の輝度差分演算部で行われる膨張処理の回数よりも多い。
【請求項12】
前記第１の輝度差分演算部は、前記平滑化処理においてガウシアンフィルタを用いることを特徴とする請求項１～１１のいずれか１項に記載の画像処理装置。
【請求項13】
前記移動領域は、２枚の前記画像について輝度差が所定の閾値以上である画素が連続している領域であり、
前記移動領域情報は、画像中の各画素について、画像中における何れの前記移動領域に属している画素か、または前記移動領域に属していない画素か、を示す情報であることを特徴とする請求項１～１２のいずれか１項に記載の画像処理装置。
前記移動領域情報は、画像中の各画素について、画像中における何れの前記移動領域に属している画素か、または前記移動領域に属していない画素か、を示す情報であることを特徴とする請求項１～１２のいずれか１項に記載の画像処理装置。
【請求項14】
エレベータの乗場をカメラにて撮像した画像を取得する画像取得ステップと、
所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算ステップと、
前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算ステップと、
前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理ステップと、を含むことを特徴とする画像処理方法。
所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算ステップと、
前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算ステップと、
前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理ステップと、を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像中の移動物体に対応する像を示す領域を特定する画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
従来、エレベータのかごに乗車しようとする利用者をセンサ等により検出し、その検出結果を用いてエレベータのドアの開閉動作を制御する技術が知られている。
【0003】
例えば、特許文献１には、以下のようなエレベータの乗車検知システムが記載されている。この乗車検知システムでは、先ず、エレベータの乗場を撮像した複数枚の画像についてブロック単位で輝度を比較することにより、動きが有ると判定されたブロックの中からエレベータのドアに最も近いブロックを利用者の足元位置として推定する。そして、推定した足元位置の時系列変化に基づいて上記利用者が乗車意思を有すると判定された場合、ドアの戸開状態を継続する、または戸閉動作を中断して戸開動作を行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－１２４８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、エレベータの乗場において生じ得る状況は様々である。例えば、エレベータの乗場を撮像した画像中において、或る人物の像と、別方向に移動する別の人物の像とが重なっているような場合があり得る。
【0006】
そのような場合、特許文献１に記載の技術では、画像中における複数の人物の像が重なっている部分について、それぞれの人物の像を分離して抽出することが困難であり得る。
【0007】
また、明るさが不十分な乗場を撮像した画像について、当該画像中の移動物体に対応する像を検出する処理を行う場合、実際には人物が存在しない部分にまで膨れた像として検出されてしまうという問題が発生する。
【0008】
本発明は、明るさの不十分な乗場を撮像した画像中に、互いに異なる方向に移動する複数の移動物体に対応する像が含まれていても、当該画像中の複数の移動物体のそれぞれに対応する像を抽出できる技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、エレベータの乗場をカメラにて撮像した画像を取得する画像取得部と、所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算部と、前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算部と、前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理部と、を備えている。
【0010】
また、上記の課題を解決するために、本発明の一態様に係る画像処理方法は、エレベータの乗場をカメラにて撮像した画像を取得する画像取得ステップと、所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算ステップと、前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算ステップと、前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理ステップと、を含む。
【発明の効果】
【0011】
本発明の一態様によれば、平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより移動領域を抽出する。そのため、明るさの不十分な乗場を撮像した画像からでも、誤検出を防止して、移動物体に見合った的確な移動領域を抽出することができる。ここで、誤検出とは、移動物体よりも過大に移動領域を検出すること、および、実際には乗場に移動物体が存在しないにも関わらず移動領域を検出することである。
【0012】
そして、誤検出を防止しつつ検出した移動領域の各画素に、画素方向情報を対応付けることによって移動物体領域を決定する。これにより、移動方向が異なる複数の移動物体を１つの移動領域として検出するような場合であっても、移動領域として検出された複数の移動物体を、複数の移動物体領域に分割して認識することができる。
【図面の簡単な説明】
【0013】
以下の図１Ａ～１６は、実施形態１を示す図である。
【図1A】乗車検知システムの要部構成の一例を示すブロック図である。
【図1B】乗車検知システムが備える、移動物体決定部を含む画像処理装置の要部構成の一例を示すブロック図である。
【図2】乗車検知システムの概要構成の一例を示す概略図である。
【図3A】乗車検知システムによる乗車検知および戸開閉動作制御の処理の流れの一例を示すフローチャートである。
【図3B】画像処理装置を含む乗車検知システムによる乗車検知および戸開閉動作制御の処理の流れの一例を示すフローチャートである。
【図4A】（ａ）は第１の輝度差分演算部が実行する処理の流れの一例を示すフローチャートであり、（ｂ）は第１の輝度差分演算部による処理後の画像の一例について、各画素の値を可視化して全画素を一望するように示す図である。
【図4B】第２の輝度差分演算部が実行する処理の流れの一例を示すフローチャートである。
【図5】（ａ）はカメラによる撮像画像の一例を示す図であり、（ｂ）は所定の基準角度規則について説明するための図である。
【図6】２枚の撮像画像を用いて算出したオプティカルフローに基づいて分類処理を行った結果を示す画像の一例について、各画素に対応付けられた画素方向情報を可視化して全画素を一望するように示す図である。
【図7】物体候補領域設定部による処理後の画像の一例について、各画素に対応付けられた移動領域情報に基づいて何れかの移動領域に属していると識別された複数の画素を対象として、画素方向情報の分布状況を一望するように可視化して示す図である。
【図8】移動物体・方向決定処理の流れの一例を示すフローチャートである。
【図9】決定処理部による処理後の画像の一例について、移動物体領域の各画素に対応付けられた物体方向情報を可視化して、物体方向情報の分布状況を一望するように示す図である。
【図10】物体追跡部における処理の概要について説明するための図である。
【図11】物体追跡部が実行する追跡処理の流れの一例を示すフローチャートである。
【図12】時点［ｔ＋１］における移動物体領域について移動方向の無を解消する解消処理の一例を示すフローチャートである。
【図13】時点［ｔ］の移動物体領域に対応する時点［ｔ＋１］の移動物体領域を特定する特定処理の一例を示すフローチャートである。
【図14】変動係数演算部における処理の一例について説明するための図である。
【図15】意思推定部が実行する乗車意思推定処理の一例を示すフローチャートである。
【図17】乗車検知システムにおける動作制御部が実行する戸開閉動作の制御において用いられる広範判定領域について説明するための図である。
【図18】かご戸が戸開状態の場合における、動作制御部が実行する戸開閉動作の制御の一例について説明するための図である。
【図20】エレベータの乗場の明るさが不十分である場合において撮像される画像の一例を示す図である。
【発明を実施するための形態】
【0014】
【0015】
（本実施形態における乗車検知システム１０の構成の概要）
本実施形態におけるエレベータの乗車検知システム１０の構成について、図１Ａおよび図２を参照して説明する。図１Ａは、乗車検知システム１０の要部構成の一例を示すブロック図である。図２は、乗車検知システム１０の概要構成の一例を示す概略図である。
本実施形態におけるエレベータの乗車検知システム１０の構成について、図１Ａおよび図２を参照して説明する。図１Ａは、乗車検知システム１０の要部構成の一例を示すブロック図である。図２は、乗車検知システム１０の概要構成の一例を示す概略図である。
【0016】
【0017】
かご２０は、昇降路（図示省略）内を昇降して、建物の各階の乗場２へ移動する。かご２０の出入口にはかご戸２２が設けられており、かご戸２２は、ドア開閉路２４（図１６参照）に沿って開閉する。かご戸２２の上方の幕板（トランサム）２３の近傍にカメラ２１が設置されている。カメラ２１は、所定の撮像視野にて乗場２を撮像可能となっており、例えば、奥行がかご戸２２の開閉路から乗場２の方向に数ｍであり、幅がかご２０の横幅以上の撮像視野となっている。カメラ２１は、例えば広角レンズを有する小型の監視カメラであり、具体的な性能および設置位置は特に限定されない。例えば、幕板２３の内部にカメラ２１が設けられていてもよい。
【0018】
なお、カメラ２１は、かご２０内に設けられていることに限定されない。例えば、乗場２の天井に設けられたカメラを利用してもよい。すなわち、カメラ２１における所定の撮像視野は、乗場２の天井から床に向けた撮像視野であってもよく、その他の方向から乗場２に向けた撮像視野であってもよい。そのような配置のカメラ２１を用いる場合であっても、以下の説明を参照して、本実施形態における乗車検知システム１０の処理を行うことができる。
【0019】
乗場２には、かご２０の到着に合わせて開閉する乗場戸３が設置されている。乗場戸３はかご戸２２に連動するようになっており、例えばかご戸２２が戸開動作する場合、かご戸２２に追従して乗場戸３も戸開動作する。
【0020】
乗場２には移動物体１が存在し得る。この移動物体１は、典型的には人物である。そのため、以下では、移動物体１として、歩行する人物（利用者）を例示して説明する。なお、移動物体１は歩行する人物に限定されない。本発明の一態様における乗車検知システム１０は、例えば、車いすで移動している人物、荷物を載せた台車等の運搬物体、自動走行機器（例えば走行ロボット）、等の種々の移動物体に適用することもできる。乗車検知システム１０は、そのような各種の移動物体について、後述するように乗車意思を推定する処理を行うとともに、推定結果に応じて戸開閉動作を制御する。
【0021】
画像処理装置３０は、カメラ２１と通信可能に接続されており、カメラ２１から受信した撮像画像に対して所定の処理を行う。この処理について詳しくは後述する。
【0022】
画像処理装置３０は、画像取得部３１、記憶部３２、移動物体決定部３３、物体追跡部３４、および変動係数演算部３５を備えており、これらの各部はシステムバス３９に接続されている。
【0023】
移動物体決定部３３、物体追跡部３４、および変動係数演算部３５は、概して以下のような処理を行う。移動物体決定部３３は、記憶部３２から読み出した、または画像取得部３１から取得した複数枚の撮像画像を用いて、画像中の移動物体およびその移動方向を示す移動物体領域を決定する処理を行う。物体追跡部３４は、移動物体決定部３３によって決定された移動物体領域について追跡処理を行う。変動係数演算部３５は、画像中に含まれる１つ以上の移動物体領域のそれぞれについて、かご２０への乗車意思を推定する対象とすべきか否かを判定する指標となる、移動物体領域における変動係数を算出する処理を行う。
【0024】
移動物体決定部３３には、第１の輝度差分演算部３３０、オプティカルフロー演算部３３２、および決定処理部３３４が含まれている。決定処理部３３４には、物体候補領域設定部３３４Ａおよび領域選定部３３４Ｂが含まれている。物体追跡部３４には、図形設定部３４１、重なり度算出部３４２、および追跡処理部３４３が含まれている。
【0025】
制御装置４０は、画像処理装置３０および戸開閉装置５０と通信可能に接続されており、画像処理装置３０から受信した情報に基づいて、戸開閉装置５０を用いてかご２０の戸開閉動作を制御する。制御装置４０が実行する処理について、詳しくは後述するが、制御装置４０は、概略的には、或る移動物体領域についてかご２０への乗車意思の推定処理を行い、その結果に応じてかご戸２２の戸開閉動作（戸開状態の延長等）の制御を行う。
【0026】
制御装置４０は、記憶部４１および制御部４２を備えている。記憶部４１には、判定領域データ４１１および意思推定条件データ４１２が含まれている。制御部４２には、意思推定部４２１および動作制御部４２２が含まれている。
【0027】
戸開閉装置５０は、かご戸２２を開閉動作させるためのモータおよびモータ制御部等を備え、制御装置４０から受信した指令に基づいてかご戸２２の開閉動作を制御する。戸開閉装置５０としては、公知の装置を適用すればよく、詳細な説明は省略する。
【0028】
以上に概略を説明した画像処理装置３０、制御装置４０、および戸開閉装置５０は、典型的にはかご２０の天板上（かご上ステーション）に設置されている。但し、これらの設置位置は特に限定されない。例えば、画像処理装置３０は、幕板２３内部に収納されていてもよく、カメラ２１と一体化して設置されていてもよい。また、例えば、画像処理装置３０および制御装置４０は、エレベータにおける機械室（図示省略）に設置されていてもよく、制御盤（図示省略）における一機能として実現されていてもよい。
【0029】
これらの各部の詳細について、本実施形態における乗車検知システム１０が実行する処理の流れと合わせて以下に説明する。図３Ａは、乗車検知システム１０による乗車検知および戸開閉動作制御の処理の流れの一例を示すフローチャートである。
【0030】
図３Ａに示すように、先ず、かご２０が任意の階の乗場２に到着すると、戸開閉装置５０は、動力機構（ドアモータ）を制御してかご戸２２を戸開する（ステップ１；以下、Ｓ１のように略記する）。かご２０に設けられたカメラ２１は、所定の間隔（例えば３０コマ／秒）にて乗場２を撮像し、撮像画像を画像処理装置３０に送信する。カメラ２１からの撮像画像の出力サイズ（以下、第１の画素数と称することがある）は特に限定されない。第１の画素数は、例えば、動画像を撮像する一般的な監視カメラ等における性能（出力サイズ）に対応する。
【0031】
次いで、画像処理装置３０内の画像取得部３１は、カメラ２１から送信された撮像画像を順次取得する（Ｓ２：画像取得ステップ）。画像取得部３１がカメラ２１から複数の撮像画像を順次取得するタイミングについて、或る時点を［ｔ］と称し、時点［ｔ］よりも１フレーム前の時点を［ｔ－１］、時点［ｔ］よりも１フレーム後の時点を［ｔ＋１］と称する。例えば、画像取得部３１が３０（コマ／秒）の速度にて複数の撮像画像を順次取得する場合、時点［ｔ］と時点［ｔ－１］との間の時間間隔は１／３０（秒）である。画像取得部３１は、エレベータの乗場２をカメラ２１にて撮像した動画像を構成する複数の撮像画像を取得し、取得した撮像画像を、システムバス３９を通じて記憶部３２に順次保存する。また、画像取得部３１は、取得した撮像画像を移動物体決定部３３に順次送信してもよい。
【0032】
記憶部３２は、揮発性または不揮発性の記憶装置である。記憶部３２は、画像処理装置３０の各部の処理に用いられるデータおよび処理後のデータを保存するために適宜用いられる。
【0033】
その後、乗車検知システム１０は、概略的には以下のような処理を行う。すなわち、移動物体決定部３３は、第１の輝度差分演算部３３０とオプティカルフロー演算部３３２とにおける処理結果を用いて、決定処理部３３４が、乗場２に存在する移動物体１の像を画像中にて示す移動物体領域を決定する（Ｓ３Ａ、Ｓ３Ｂ、Ｓ４、Ｓ５）。
【0034】
そして、物体追跡部３４は、２つの異なる時点にて撮像した２枚の画像について、時間的に前の第１の画像中の或る移動物体領域にて像が示されている移動物体１に対応する、時間的に後の第２の画像中の移動物体領域を特定する処理を行う（Ｓ６）。また、変動係数演算部３５は、移動物体領域における変動係数（詳しくは後述）を算出する処理を行う（Ｓ７）。意思推定部４２１は、上記Ｓ６の結果および上記Ｓ７の結果を用いて、移動物体領域に対応する移動物体１の乗車意思を推定する処理を行う（Ｓ８）。動作制御部４２２は、意思推定部４２１における処理の結果を用いて、かご戸２２の戸開閉動作を制御する（Ｓ９）。乗車検知システム１０は、かご戸２２が戸閉状態となった場合（Ｓ１０でＹＥＳ）には処理を終了し、戸閉状態となっていない場合（Ｓ１０でＮＯ）には上記Ｓ２からの処理を再度行う。
【0035】
以下では、先ず、移動物体決定部３３に関して詳細に説明し、その後、物体追跡部３４、変動係数演算部３５、意思推定部４２１、および動作制御部４２２に関して詳細に説明する。
【0036】
移動物体決定部３３に関する詳細な説明は、構成例１～構成例４に分けて述べる。
【0037】
（構成例１）
以下、図１Ａの例における移動物体決定部３３の各部が実行する処理の一例（Ｓ３Ａ、Ｓ３Ｂ、Ｓ４、Ｓ５）について、図３Ａ、図４Ａ、および図５～図９を用いて説明する。図１Ａの例では、移動物体決定部３３には、第１の輝度差分演算部３３０、オプティカルフロー演算部３３２、および決定処理部３３４が含まれている。
以下、図１Ａの例における移動物体決定部３３の各部が実行する処理の一例（Ｓ３Ａ、Ｓ３Ｂ、Ｓ４、Ｓ５）について、図３Ａ、図４Ａ、および図５～図９を用いて説明する。図１Ａの例では、移動物体決定部３３には、第１の輝度差分演算部３３０、オプティカルフロー演算部３３２、および決定処理部３３４が含まれている。
【0038】
移動物体決定部３３は、先ず、第１の輝度差分演算部３３０と、オプティカルフロー演算部３３２と、が互いに並列に処理を行う（Ｓ３Ａ、Ｓ３Ｂ）。第１の輝度差分演算部３３０は、撮像画像について、平滑化処理を用いて輝度の差分に基づく演算処理を行う。Ｓ３ＡおよびＳ３Ｂの処理について詳しくは後述する。
【0039】
そして、決定処理部３３４における物体候補領域設定部３３４Ａは、第１の輝度差分演算部３３０の処理結果、および、オプティカルフロー演算部３３２の処理結果を用いて、画像中の物体候補領域を設定する（Ｓ４）。次いで、決定処理部３３４における領域選定部３３４Ｂは、上記設定した物体候補領域について所定の判定処理を行うことにより、乗場２に存在する移動物体１の像を画像中にて示す移動物体領域を決定する（Ｓ５）。
【0040】
（構成例１その１ Ｓ３Ａ：輝度差分演算）
第１の輝度差分演算部３３０は、所定の時間差を有する２つの時点のそれぞれにて画像を撮像して得られた２枚の撮像画像について、平滑化処理を用いて輝度の差分に基づく演算処理を実行する。そして、２枚の撮像画像間で輝度差が所定の閾値以上である画素が連続している領域であって、前記画像における動きの有る領域（移動領域）を検出する（Ｓ３Ａ：第１の輝度差分演算ステップ）。この演算処理について、図４Ａを用いて以下に説明する。図４Ａの（ａ）は、第１の輝度差分演算部３３０が実行する処理の流れの一例を示すフローチャートである。
第１の輝度差分演算部３３０は、所定の時間差を有する２つの時点のそれぞれにて画像を撮像して得られた２枚の撮像画像について、平滑化処理を用いて輝度の差分に基づく演算処理を実行する。そして、２枚の撮像画像間で輝度差が所定の閾値以上である画素が連続している領域であって、前記画像における動きの有る領域（移動領域）を検出する（Ｓ３Ａ：第１の輝度差分演算ステップ）。この演算処理について、図４Ａを用いて以下に説明する。図４Ａの（ａ）は、第１の輝度差分演算部３３０が実行する処理の流れの一例を示すフローチャートである。
【0041】
図４Ａの（ａ）に示すように、第１の輝度差分演算部３３０は、画像取得部３１から直接か、または記憶部３２を経由して、２枚の撮像画像（カラー画像）を取得し、２枚のグレー画像を生成する（Ｓ３Ａ１）。
【0042】
なお、上記Ｓ３Ａの処理においては、縮小処理によって前述の第１の画素数（カメラ２１の出力サイズ）よりも縮小した第２の画素数を有する画像を用いる。例えば画像取得部３１からデータを取得後に縮小処理が行われてもよい。また、画像取得部３１にて縮小処理が行われて記憶部３２に保存されていたデータを、第１の輝度差分演算部３３０が取得して用いてもよい。これにより、第１の輝度差分演算部３３０による処理効率を向上させることができる。このような縮小処理は、公知の手法を用いて行うことができる。
【0043】
例えば、上記第２の画素数は上記第１の画素数の４分の１である。第１の輝度差分演算部３３０における処理に適した画素数（処理に要求される情報量）となるように、撮像画像に対して縮小処理を適宜行うことによって、第１の輝度差分演算部３３０の処理効率を効果的に向上させることができる。
【0044】
上記Ｓ３Ａ１の処理における、第１の輝度差分演算部３３０が２枚の撮像画像を取得する段階について説明する。第１の輝度差分演算部３３０が画像取得部３１から撮像画像を直接取得した場合、時点［ｔ］における撮像画像Ｐ（ｔ）と、時点［ｔ－１］における撮像画像Ｐ（ｔ－１）とを、以降の処理対象である２枚の撮像画像とする。
【0045】
第１の輝度差分演算部３３０が記憶部３２を経由して撮像画像を取得した場合、時点［ｔ］における撮像画像Ｐ（ｔ）と、時点［ｔ－ｎ］における撮像画像Ｐ（ｔ－ｎ）とを、以降の処理対象である２枚の撮像画像とする。上記ｎは、１以上「２０～３０」以下の範囲内の整数であることが好ましい。
【0046】
したがって、所定の時間差は、画像取得部３１におけるカメラ２１からの撮像画像の取得間隔が例えば１／３０（秒）であれば、１／３０の１倍～「２０～３０」倍であることが好ましい。
【0047】
上記Ｓ３Ａ１の処理における、２枚のグレー画像を生成する段階について説明する。画像取得部３１にて取得された撮像画像は、通常、カラー画像である。本実施形態における第１の輝度差分演算部３３０は、画像取得部３１にて取得された撮像画像をグレースケールに変換する処理を行う。時点［ｔ］における撮像画像Ｐ（ｔ）をグレースケールに変換後の画像をグレー画像ＧＰ（ｔ）と称する。同様に、第１の輝度差分演算部３３０は、時点［ｔ－１］における撮像画像Ｐ（ｔ－１）をグレースケールに変換する処理を行い、時点［ｔ－１］におけるグレー画像ＧＰ（ｔ－１）を生成する。
【0048】
グレースケールに変換するとは、画像データから輝度データを抽出することである。輝度データの抽出とは、例えば、ＲＧＢ色空間のＲ成分、Ｇ成分、Ｂ成分からＹＵＶ色空間のＹ成分へ変換することである。あるいは、ＨＳＬ色空間のＬ成分への変換、ＨＳＶ色空間のＶ成分への変換等を用いてもよい。
【0049】
上述のＲ成分、Ｇ成分、Ｂ成分、および、輝度データのＹ成分（あるいはＬ成分、Ｖ成分）は、例えば２５６階調（０～２５５）で表される。このことは本明細書における以下の説明においても同様である。
【0050】
次いで、第１の輝度差分演算部３３０は、平滑化フィルタを用いてグレー画像ＧＰ（ｔ－１）およびグレー画像ＧＰ（ｔ）に平滑化フィルタ処理（平滑化処理）を行う（Ｓ３Ａ２）。第１の輝度差分演算部３３０は、グレー画像ＧＰ（ｔ－１）およびグレー画像ＧＰ（ｔ）の全ての画素について平滑化フィルタを用いた演算処理を行い、平滑化処理を行ったグレー画像ＳＧＰ（ｔ－１）および平滑化処理を行ったグレー画像ＳＧＰ（ｔ）を生成する。上記平滑化フィルタとしては、例えば、ガウシアンフィルタ、移動平均フィルタ、メディアンフィルタ、またはバイラテラルフィルタ等が挙げられるが、これらに限定されない。また、上記平滑化フィルタのサイズとしては、例えば３×３サイズが挙げられるが、これに限定されない。本明細書において、平滑化処理を施した画像を平滑化画像と称する。
【0051】
平滑化フィルタの一例として、平滑化処理に３×３サイズのガウシアンフィルタを用いた場合について説明する。第１の輝度差分演算部３３０は、上記Ｓ３Ａ２の処理において、画像中の或る座標（ｘ、ｙ）に存在する画素（注目画素）ＦＰの輝度ＬＡを以下の式（１）によって算出される数値ＬＢに補正する。
ＬＢ（ｘ、ｙ）＝［４×ＬＡ（ｘ、ｙ）＋２×｛ＬＡ（ｘ、ｙ－１）＋ＬＡ（ｘ－１、ｙ）＋ＬＡ（ｘ＋１、ｙ）＋ＬＡ（ｘ、ｙ＋１）｝＋ＬＡ（ｘ－１、ｙ－１）＋ＬＡ（ｘ＋１、ｙ－１）＋ＬＡ（ｘ－１、ｙ＋１）＋ＬＡ（ｘ＋１、ｙ＋１）］／１６・・・（１）。
ＬＢ（ｘ、ｙ）＝［４×ＬＡ（ｘ、ｙ）＋２×｛ＬＡ（ｘ、ｙ－１）＋ＬＡ（ｘ－１、ｙ）＋ＬＡ（ｘ＋１、ｙ）＋ＬＡ（ｘ、ｙ＋１）｝＋ＬＡ（ｘ－１、ｙ－１）＋ＬＡ（ｘ＋１、ｙ－１）＋ＬＡ（ｘ－１、ｙ＋１）＋ＬＡ（ｘ＋１、ｙ＋１）］／１６・・・（１）。
【0052】
なお、ガウシアンフィルタでは、ガウス分布を用いて注目画素ＦＰの近傍画素値に重み付けを行うことにより、注目画素ＦＰから距離が近いほど重みの値が大きくなり、距離が遠いほど重みの値が小さくなるように、平滑化処理を行う。そのため、画像を平滑化（ノイズ除去）しつつ、エッジ（輝度の勾配強度が局所的に最大となる点）も残りやすい特徴がある。そのため、平滑化処理においてガウシアンフィルタを用いることが好ましい。
【0053】
次いで、第１の輝度差分演算部３３０は、平滑化処理を行ったグレー画像ＳＧＰ（ｔ－１）と平滑化処理を行ったグレー画像ＳＧＰ（ｔ）との差分画像を生成する（Ｓ３Ａ３）。時点［ｔ］に関して生成した差分画像であって、平滑化処理を行ったグレー画像を用いて第１の輝度差分演算部３３０により生成された差分画像を、差分画像ＤＰ１（ｔ）（第１の差分画像）と称する。具体的には、この差分画像ＤＰ１（ｔ）は、平滑化処理を行ったグレー画像ＳＧＰ（ｔ－１）と平滑化処理を行ったグレー画像ＳＧＰ（ｔ）とについて画素毎に輝度差を算出し、算出した輝度差が各画素に対応付けられて表される。
【0054】
次いで、第１の輝度差分演算部３３０は、差分画像ＤＰ１（ｔ）における各画素について、二値化処理を行う（Ｓ３Ａ４）。具体的には、或る画素における輝度差が所定の閾値（第１の二値化閾値）以上である場合、当該画素の画素値を「１」（例えば白）とし、上記閾値未満である場合に当該画素の画素値を「０」（例えば黒）とする。差分画像ＤＰ１（ｔ）について二値化処理を行うことにより生成した画像を二値化画像ＢＰ１（ｔ）と称する。
【0055】
次いで、第１の輝度差分演算部３３０は、二値化画像ＢＰ１（ｔ）について膨張処理および収縮処理を実行する（Ｓ３Ａ５）。例えば、膨張処理は、３×３のマトリクスの中心画素について、該中心画素の周囲の８個の画素のうち、「１」の画素値を有する画素が１個でも存在する場合、該中心画素の画素値を「１」とする処理である。例えば、収縮処理は、３×３のマトリクスの中心画素について、該中心画素の周囲の８個の画素のうち、「０」の画素値を有する画素が１個でも存在する場合、該中心画素の画素値を「０」とする処理である。
【0056】
上記膨張処理および上記収縮処理は複数回行われてもよい。例えば、膨張処理の回数が連続２回行われた後、収縮処理が１回行われるということにしてもよい。
【0057】
上記膨張処理および上記収縮処理におけるフィルタサイズ（上記マトリクスの大きさ）は、例えば３×５と３×５の組合せとしたり、３×５と３×３の組合せとしたりしてもよい。上記膨張処理のフィルタサイズと、上記収縮処理のフィルタサイズとは、互いに同じであってもよく、互いに異なっていてもよい。
【0058】
そして、第１の輝度差分演算部３３０は、上記膨張処理および上記収縮処理後の画像について、補間処理を実行する（Ｓ３Ａ６）。この補間処理とは、例えば以下のような処理である。すなわち、例えば「１」の画素値を有する画素が連続（隣接）している領域を領域ａ１とし、画像中の領域ａ１内において「０」の画素値を有する画素からなる領域ａ２が部分的に存在するとする。この領域ａ２は、換言すれば、領域ａ１の画素にて囲まれている狭小領域である。この場合、領域ａ２を形成する画素について画素値が「１」となるように補間処理を行う。これにより、領域ａ１中の抜けとなっている領域ａ２を埋めることができる。第１の輝度差分演算部３３０は、以上のような処理を行うことにより、第１の処理後画像ＴＰ１１を生成する。第１の処理後画像ＴＰ１１とは、第１の輝度差分演算部３３０による処理後の画像である。第１の処理後画像ＴＰ１１では、各画素の値が「１」または「０」となっている。
【0059】
第１の処理後画像ＴＰ１１の一例について、画素値が「１」を「白」、画素値が「０」を「黒」で表して、全画素を一望するように可視化（図示）したものを図４Ａの（ｂ）に示す。図４Ａの（ｂ）に示すように、第１の処理後画像ＴＰ１１は、第１の輝度差分演算部３３０による処理によって抽出された領域であって、輝度差分が比較的大きく、移動物体を示す蓋然性の高い領域（移動領域ＭＡ）を含む。本実施形態では、移動領域ＭＡは、第１の処理後画像ＴＰ１１において「１」の画素値を有する画素が連続（隣接）している領域である。本明細書において、画像中の各画素について、どの（何れの）移動領域ＭＡに属している画素か、またはどの移動領域にも属していない画素か、を示す情報を、移動領域情報と称することがある。図４Ａの（ｂ）に示す第１の処理後画像ＴＰ１１は、４つの移動領域ＭＡを含む。
【0060】
（構成例１その２ Ｓ３Ｂ：オプティカルフロー演算）
上記輝度差分演算処理と並行して、オプティカルフロー演算部３３２は、２枚の撮像画像を用いて、オプティカルフロー演算処理を実行し、画像中の各画素のオプティカルフローを算出する（Ｓ３Ｂ：オプティカルフロー演算ステップ）。オプティカルフロー演算部３３２は、２枚の撮像画像として、前述の輝度差分演算処理と時間的に対応する時点のデータを用いる。オプティカルフロー演算部３３２は、例えば、第１の輝度差分演算部３３０によって生成したグレー画像ＧＰ（ｔ）およびグレー画像ＧＰ（ｔ－１）を用いる。
上記輝度差分演算処理と並行して、オプティカルフロー演算部３３２は、２枚の撮像画像を用いて、オプティカルフロー演算処理を実行し、画像中の各画素のオプティカルフローを算出する（Ｓ３Ｂ：オプティカルフロー演算ステップ）。オプティカルフロー演算部３３２は、２枚の撮像画像として、前述の輝度差分演算処理と時間的に対応する時点のデータを用いる。オプティカルフロー演算部３３２は、例えば、第１の輝度差分演算部３３０によって生成したグレー画像ＧＰ（ｔ）およびグレー画像ＧＰ（ｔ－１）を用いる。
【0061】
なお、上記Ｓ３Ｂの処理においては、前述の第１の画素数（カメラ２１の出力サイズ）よりも縮小した第３の画素数を有する画像を用いる。例えば画像取得部３１からデータを取得後に縮小処理が行われてもよい。また、画像取得部３１にて縮小処理が行われて記憶部３２に保存されていたデータを、オプティカルフロー演算部３３２が取得して用いてもよい。記憶部３２には、或る撮像画像に対応して、第１の輝度差分演算部３３０にて用いられるデータと、オプティカルフロー演算部３３２にて用いられるデータと、の両方が保存されていてもよい。上記第３の画素数は、上記Ｓ３Ａにて用いた画像における前述の第２の画素数よりも小さい。これにより、オプティカルフロー演算部３３２による処理効率を向上させることができる。
【0062】
例えば、上記第２の画素数は上記第１の画素数の４分の１であり、上記第３の画素数は上記第２の画素数の４分の１である。このように、オプティカルフロー演算部３３２における処理に適した画素数（処理に要求される情報量）となるように縮小処理を適宜行うことによれば、オプティカルフロー演算部３３２の処理効率を効果的に向上させることができる。
【0063】
オプティカルフローとは、２枚の画像を用いてオプティカルフロー演算処理を行うことにより得られる、画素毎の動きの向き（方向）および大きさを表した見掛け上のベクトルデータである。換言すれば、２枚の画像データにおける類似パターンの移動量および移動方向に基づいてオプティカルフローが算出される。このようなオプティカルフローを算出する演算処理としては、公知の手法（例えばGunnar-Farneback法、Horn-Schunck法、等）を用いることができる。したがって、オプティカルフローを算出する演算処理の詳細については、記載の冗長化を避けるために説明を省略する。
【0064】
ここで、オプティカルフロー演算部３３２は、所定の基準角度規則に基づいて、オプティカルフローにおける「（動きの）方向」を示す値を算出する。この所定の基準角度規則について、図５を用いて以下に説明する。図５の（ａ）は、カメラ２１による撮像画像の一例を示す図である。撮像画像Ｐ０は、乗場２の方向にレンズを向けてエレベータのかご２０内に設けられたカメラ２１により撮像された画像であり、画像における下側にかご２０が位置するような向きで置かれている。図５の（ｂ）は、所定の基準角度規則について説明するための図である。
【0065】
図５の（ａ）では、乗場２に移動物体が存在しない状態の撮像画像Ｐ０を示しており、そのため、撮像画像Ｐ０は、上述の時点［ｔ］における撮像画像Ｐ（ｔ）とは乗場２の状況が異なっている。この撮像画像Ｐ０を例示して、所定の基準角度規則について説明する。
【0066】
先ず、ドア開閉路２４（図１６を参照）に対応する、撮像画像Ｐ０上の線分を「開閉範囲線分」と規定する。なお、撮像画像Ｐ０上でドア開閉路２４が多少湾曲している場合、直線状となるように近似して得られた線分を開閉範囲線分とすればよい。
【0067】
そして、図５の（ｂ）に示すように、開閉範囲線分の中心点を原点Ｏ、開閉範囲線分に沿った直線をｘ軸と規定する。また、開閉範囲線分に垂直かつ原点Ｏを通る直線をｙ軸と規定する。
【0068】
原点Ｏからかご２０内に向かう方向をｙ軸の正方向とし、原点Ｏから乗場２に向かう方向をｙ軸の負方向とする。そして、ｙ軸の正方向に対し、時計回りに９０°回転した方向をｘ軸の正方向とする。また、ｙ軸の正方向に対し、反時計回りに９０°回転した方向をｘ軸の負方向とする。
【0069】
以下、本明細書において、繰り返して定義しないが、開閉範囲線分、ｘ軸、ｙ軸、および原点Ｏは、格別の記載が無い限り上記のことと同様の意味にて使用する。
【0070】
本実施形態における所定の基準角度規則は、ｘ軸の正方向を０°の角度とし、反時計回りに３６０°の角度を規定する。すなわち、ｙ軸の正方向が９０°、ｘ軸の負方向が１８０°、ｙ軸の負方向が２７０°の角度となっている。
【0071】
オプティカルフロー演算部３３２は、このような基準角度規則を用いて、画像における各画素について「（動きの）方向」を示す値（以下、オプティカルフロー方向値と称することがある）を決定する。これにより、画像における各画素にオプティカルフローが対応付けられる。本明細書において、オプティカルフローは、「（動きの）大きさ」を示す値および角度で表されたオプティカルフロー方向値にて表される。なお、オプティカルフロー方向値を決定する処理においては、画像中の各画素について、処理対象とする画素を原点Ｏであるとして上記基準角度規則を適用する。換言すれば、本実施形態における所定の基準角度規則は、極座標における始線（０°方向）を上記ｘ軸の正方向に固定し、画像中の各画素を原点Ｏ（極）として、各画素の動きの方向を示す偏角をオプティカルフロー方向値として求めるように規定されている。本実施形態において、オプティカルフロー方向値は、画素における「（動きの）方向」が、上記基準角度規則に基づいて１°の角度の分解能で角度の値として表されたものである。なお、オプティカルフロー方向値は、例えば数°の角度の分解能にて表されていてもよく、この場合、例えば１°以上３°未満のように表されていてもよい。
【0072】
そして、オプティカルフロー演算部３３２は、画像における各画素について、オプティカルフローを分類し、画素方向情報（詳しくは後述）を対応付ける。ここで、上記画素方向情報は、各画素について、画素が本来有する画素値とは別の情報として対応付けられる。各画素について、上記画素方向情報を対応付ける具体的な方法は特に限定されない。
【0073】
具体的には、オプティカルフロー演算部３３２は、画像中の各画素について、オプティカルフローに基づいて５種類の値（無方向Ｇｒ０、近方向Ｇｒ１、右方向Ｇｒ２、離方向Ｇｒ３、左方向Ｇｒ４）のいずれかを画素方向情報として対応付ける。
【0074】
この分類処理およびその結果について図６を用いて以下に説明する。撮像画像Ｐ（ｔ）および撮像画像Ｐ（ｔ－１）を用いて算出したオプティカルフローに基づいて分類処理を行った結果、全画素のそれぞれに画素方向情報を対応付けた画像を第２の処理後画像ＴＰ２と称する。第２の処理後画像ＴＰ２は、画素方向情報として、下記の５種類の値の何れかが各画素に対応付けられている。第２の処理後画像ＴＰ２の一例について、各画素に対応付けられた画素方向情報の値の分布状況を一望するように（全画素を一望するように）可視化（図示）したものを図６に示す。「可視化（図示）」とは、例えばディスプレイに表示させたり、紙に印刷したりすることを意味する。
【0075】
無方向Ｇｒ０：オプティカルフロー演算部３３２は、画素のオプティカルフローにおける「（動きの）大きさ」を示す値が「０」または「所定値以下」の場合、動きの無い（非常に少ない）画素であることから、該画素に画素方向情報として無方向Ｇｒ０を対応付ける。この所定値（所定の動きの大きさ基準値）は、極めて小さい値に設定されていてもよい。図６において、無方向Ｇｒ０の画素方向情報が対応付けられた画素が連続して存在する領域を「黒」で示している。
【0076】
また、画素のオプティカルフローにおける「（動きの）大きさ」を示す値の大きさが所定値を超える場合、該画素は、オプティカルフロー方向値に基づいて以下の４種類の値（近方向Ｇｒ１、右方向Ｇｒ２、離方向Ｇｒ３、左方向Ｇｒ４）のいずれかが画素方向情報として対応付けられる。
【0077】
近方向Ｇｒ１：オプティカルフロー演算部３３２は、画素のオプティカルフロー方向値が３０°以上１５０°未満の場合、乗場２からかご２０に向かう移動方向のオプティカルフローを有する画素であることから、該画素に画素方向情報として近方向Ｇｒ１を対応付ける。換言すれば、オプティカルフロー演算部３３２は、上記移動方向（第１の方向）に相当する角度範囲内にある場合、オプティカルフローを上記第１の方向を示す画素方向情報（近方向Ｇｒ１）に分類する。図６において、近方向Ｇｒ１の画素方向情報が対応付けられた画素が連続して存在する領域を「４５°クロス形」のハッチングで示している。
【0078】
右方向Ｇｒ２：オプティカルフロー演算部３３２は、画素のオプティカルフロー方向値が１５０°以上２１０°未満の場合、乗場２を右に通過する（乗場２においてかご２０の前を横切るようにｘ軸の負方向に通過する）移動方向のオプティカルフローを有する画素であることから、該画素に画素方向情報として右方向Ｇｒ２を対応付ける。換言すれば、オプティカルフロー演算部３３２は、上記移動方向（第３の方向）に相当する角度範囲内にある場合、オプティカルフローを上記第３の方向を示す画素方向情報（右方向Ｇｒ２）に分類する。図６において、右方向Ｇｒ２の画素方向情報が対応付けられた画素が連続して存在する領域を「不規則縞形」のハッチングで示している。
【0079】
離方向Ｇｒ３：オプティカルフロー演算部３３２は、画素のオプティカルフロー方向値が２１０°以上３３０°未満の場合、かご２０から離れる（かご２０から乗場２に向かう）移動方向のオプティカルフローを有する画素であることから、該画素に画素方向情報として離方向Ｇｒ３を対応付ける。換言すれば、オプティカルフロー演算部３３２は、上記移動方向（第２の方向）に相当する角度範囲内にある場合、オプティカルフローを上記第２の方向を示す画素方向情報（離方向Ｇｒ３）に分類する。図６において、離方向Ｇｒ３の画素方向情報が対応付けられた画素が連続して存在する領域を「斜線形」のハッチングで示している。
【0080】
左方向Ｇｒ４：オプティカルフロー演算部３３２は、画素のオプティカルフロー方向値が３３０°以上３６０°未満、または０°以上３０°未満の場合、乗場２を左に通過する（乗場２においてかご２０の前を横切るようにｘ軸の正方向に通過する）移動方向を有する画素であることから、該画素に画素方向情報として左方向Ｇｒ４を対応付ける。換言すれば、オプティカルフロー演算部３３２は、上記移動方向（第４の方向）に相当する角度範囲内にある場合、オプティカルフローを上記第４の方向を示す画素方向情報（左方向Ｇｒ４）に分類する。図６において、左方向Ｇｒ４の画素方向情報が対応付けられた画素が連続して存在する領域を「ドット形」のハッチングで示している。
【0081】
以上のようなオプティカルフロー演算部３３２による処理の結果、得られる第２の処理後画像ＴＰ２は、画素方向情報として上述の５種類の値の何れかが各画素に対応付けられている。
【0082】
なお、画素方向情報は、画像中の各画素についてオプティカルフロー演算部３３２により算出したオプティカルフローを、「（動きの）大きさ」を示す値に基づいて分類した情報であるとともに、「（動きの）方向」についてオプティカルフロー方向値よりも大きい角度の分解能にて分類した情報であればよく、具体的な態様は特に限定されない。
【0083】
（構成例１その３ Ｓ４：物体候補領域設定）
再び図１Ａおよび図３Ａを参照して、Ｓ３ＡおよびＳ３Ｂの処理が行われた後、物体候補領域設定部３３４Ａは、以下のような処理を行うことにより物体候補領域を設定する（Ｓ４：物体候補領域設定ステップ）。
再び図１Ａおよび図３Ａを参照して、Ｓ３ＡおよびＳ３Ｂの処理が行われた後、物体候補領域設定部３３４Ａは、以下のような処理を行うことにより物体候補領域を設定する（Ｓ４：物体候補領域設定ステップ）。
【0084】
物体候補領域設定部３３４Ａは、第１の処理後画像ＴＰ１１を縮小処理した画像ＴＰ１’と、第２の処理後画像ＴＰ２とを重ね合わせることにより、１つの画像として生成する。この生成した画像を第３の処理後画像ＴＰ３と称する。
【0085】
なお、上記画像ＴＰ１’は、前述の第１の画素数または前述の第２の画素数を有する画像をさらに縮小した画像であって、前述の第３の画素数を有する。物体候補領域設定部３３４Ａは、上記第３の画素数を有する、画像ＴＰ１’および第２の処理後画像ＴＰ２を重ね合わせることにより、上記第３の画素数を有する第３の処理後画像ＴＰ３を生成する。このように、物体候補領域設定部３３４Ａにおける処理に適した画素数（処理に要求される情報量）となるように縮小処理を適宜行うことによれば、物体候補領域設定部３３４Ａによる処理効率を効果的に向上させることができる。
【0086】
第３の処理後画像ＴＰ３は、全画素のそれぞれに、移動領域情報および画素方向情報（無方向Ｇｒ０～左方向Ｇｒ４）が対応付けられた画像である。第３の処理後画像ＴＰ３の一例について、各画素に対応付けられた移動領域情報に基づいて何れかの移動領域に属していると識別された複数の画素を対象として、画素方向情報の値の分布状況を一望するように可視化（図示）したものを図７に示す。図７では、どの移動領域にも属していない画素については、画素方向情報の分布状況を可視化しておらず、黒塗りにて表している。
【0087】
以下、図７を参照して、第３の処理後画像ＴＰ３に含まれる物体候補領域について説明する。物体候補領域は、画像中の各移動領域について、該移動領域に含まれる各画素に画素方向情報が対応付けられたものである。この例では、第３の処理後画像ＴＰ３は、画像中の左から右に向かって順に、４つの物体候補領域ＯＣＡ１～ＯＣＡ４を含む。そして、物体候補領域設定部３３４Ａは、各物体候補領域ＯＣＡについて、以下のように部分領域を特定する。
【0088】
すなわち、物体候補領域設定部３３４Ａは、物体候補領域ＯＣＡにおいて、無方向以外の同一の画素方向情報を有する画素が連続する領域を部分領域ＰＡとして設定する。本明細書において、各部分領域ＰＡに対応付けられる方向情報を部分方向情報と称する。物体候補領域設定部３３４Ａは、例えば、或る部分領域ＰＡを構成する複数の画素が有する画素方向情報（値）を、該部分領域ＰＡの部分方向情報（値）にコピーする。
【0089】
例えば、物体候補領域ＯＣＡ２は、画像中で比較的大きい領域（画素数）を占める離方向Ｇｒ３の部分方向情報を有する部分領域ＰＡ２１、比較的狭い領域（画素数）を占める左方向Ｇｒ４の部分方向情報を有する部分領域ＰＡ２２、等を含む。また、物体候補領域ＯＣＡ４は、画像中で比較的大きい領域（画素数）を占める、離方向Ｇｒ３の部分方向情報を有する部分領域ＰＡ４１および左方向Ｇｒ４の部分方向情報を有する部分領域ＰＡ４２を含む。
【0090】
なお、Ｓ４以降の処理において、上記第３の画素数を有する画像を用いることが好ましい。これにより、Ｓ４以降の、画像処理装置３０および制御装置４０の各部にて行われる処理の効率を向上させることができる。
【0091】
（構成例１その４ Ｓ５：移動物体・方向決定）
次いで、決定処理部３３４における領域選定部３３４Ｂは、各物体候補領域ＯＣＡ１～４について、各物体候補領域ＯＣＡに含まれる部分領域ＰＡの数および大きさ、並びに物体候補領域ＯＣＡに含まれる画素の画素方向情報の分布状態に基づいて、物体候補領域ＯＣＡおよび部分領域ＰＡのいずれか一方を、画像中に含まれる移動物体の像を示すとともに、該移動物体の移動方向を示す情報を有する移動物体領域として決定する処理（移動物体・方向決定処理）を行う（Ｓ５：決定処理ステップ）。この処理について、図８を用いて以下に説明する。図８は、移動物体・方向決定処理の流れの一例を示すフローチャートである。領域選定部３３４Ｂにより実行される処理は、領域選定部３３４Ｂを含む決定処理部３３４によって実行される処理とも表現できるため、以下では、処理を実行する主体を決定処理部３３４として説明する。
次いで、決定処理部３３４における領域選定部３３４Ｂは、各物体候補領域ＯＣＡ１～４について、各物体候補領域ＯＣＡに含まれる部分領域ＰＡの数および大きさ、並びに物体候補領域ＯＣＡに含まれる画素の画素方向情報の分布状態に基づいて、物体候補領域ＯＣＡおよび部分領域ＰＡのいずれか一方を、画像中に含まれる移動物体の像を示すとともに、該移動物体の移動方向を示す情報を有する移動物体領域として決定する処理（移動物体・方向決定処理）を行う（Ｓ５：決定処理ステップ）。この処理について、図８を用いて以下に説明する。図８は、移動物体・方向決定処理の流れの一例を示すフローチャートである。領域選定部３３４Ｂにより実行される処理は、領域選定部３３４Ｂを含む決定処理部３３４によって実行される処理とも表現できるため、以下では、処理を実行する主体を決定処理部３３４として説明する。
【0092】
図８に示すように、先ず、決定処理部３３４は、処理対象とする物体候補領域ＯＣＡを選択し（Ｓ５０）、選択した物体候補領域ＯＣＡに含まれる画素数が所定値Ｖ１（第１の大きさ基準値）よりも小さい場合（Ｓ５１でＮＯ）、該物体候補領域ＯＣＡは移動物体を示すものではないと判定する（Ｓ５２）。この所定値Ｖ１としては、適宜設定されてよい。第３の処理後画像ＴＰ３は、比較的小さい上記第３の画素数を有する。所定値Ｖ１は、このような第３の処理後画像ＴＰ３において、例えば、カメラ２１から或る程度遠方に位置する子供の像を抽出できるような大きさ（画素数）に設定されることが好ましい。所定値Ｖ１は、本明細書において後述する乗車意思の判定領域の大きさに対応して適切な値に設定されてもよい。
【0093】
また、決定処理部３３４は、選択した物体候補領域ＯＣＡに含まれる画素数が所定値Ｖ１以上の場合（Ｓ５１でＹＥＳ）において、下記（ｉ）～（ｉｉｉ）のような３通りの処理を行う。
【0094】
（ｉ）物体候補領域ＯＣＡに所定値Ｖ２（第２の大きさ基準値）以上の大きさ（画素数）の部分領域ＰＡが含まれていない場合（Ｓ５３で０個）、決定処理部３３４は、該物体候補領域ＯＣＡについて、移動物体を示す領域（以下、移動物体領域ＭＯＡと称する）であると決定する。そして、該移動物体領域ＭＯＡにて示される移動物体の実空間における移動方向が特定されないと判定し、該移動物体領域ＭＯＡの有する方向情報として無方向Ｇｒ０を対応付ける（Ｓ５４）。本明細書において、移動物体領域ＭＯＡに対応付けられる方向情報を「物体方向情報」と称する。ここでは、決定処理部３３４は、物体候補領域ＯＣＡに含まれる部分領域ＰＡの部分方向情報（値）に関わらず、移動物体領域ＭＯＡに無方向Ｇｒ０の物体方向情報を対応付ける（設定する）。
【0095】
なお、上記所定値Ｖ２と、上記所定値Ｖ１とは同じ値であってよく、互いに異なっていてもよい。所定値Ｖ２についても、上記所定値Ｖ１と同様の観点から、適切な大きさに設定される。
【0096】
（ｉｉ）物体候補領域ＯＣＡが所定値Ｖ２以上の大きさの部分領域ＰＡを１個のみ含んでいる場合（Ｓ５３で１個）、決定処理部３３４は、該物体候補領域ＯＣＡを移動物体領域ＭＯＡであると決定するとともに、所定値Ｖ２以上の大きさの部分領域ＰＡの部分方向情報をコピーして、該移動物体領域ＭＯＡの物体方向情報とする（Ｓ５５）。
【0097】
（ｉｉｉ）物体候補領域ＯＣＡが所定値Ｖ２以上の部分領域ＰＡを２個以上含んでいる場合（Ｓ５３で２個以上）、決定処理部３３４は、以下の処理を行う。すなわち、先ず、該物体候補領域ＯＣＡに含まれる全画素について、同じ画素方向情報を有する画素の数を算出する。次いで、処理の対象とする物体候補領域ＯＣＡの全画素数に対する、物体候補領域ＯＣＡ中の同じ画素方向情報を有する画素の数、の比を各画素方向情報（本実施形態では近方向Ｇｒ１～左方向Ｇｒ４のそれぞれ）について算出する。ここで、物体候補領域ＯＣＡ中の同じ画素方向情報を有する画素の数を算出する場合、孤立した画素、異なる部分領域ＰＡに分散した画素、等に関わらず、物体候補領域ＯＣＡ中に含まれる全画素について算出する。
【0098】
算出した上記比が所定の割合Ｒ１以上となる画素方向情報（近方向Ｇｒ１～左方向Ｇｒ４のいずれか）が存在する場合（Ｓ５６でＹＥＳ）、該物体候補領域ＯＣＡの全体を１つの移動物体領域ＭＯＡであると決定するとともに、上記比が所定の割合Ｒ１以上である画素方向情報をコピーして、該移動物体領域ＭＯＡの物体方向情報とする（Ｓ５７）。具体的には、例えば、物体候補領域ＯＣＡに含まれる全画素に対する、近方向Ｇｒ１の画素方向情報を有する画素の数の比が所定の割合Ｒ１以上である場合、該物体候補領域ＯＣＡの全体を、近方向Ｇｒ１の物体方向情報を有する移動物体領域ＭＯＡであると決定する。なお、上記所定の割合Ｒ１の具体的な値は、特に限定されないが、例えば０．５よりも大きい値である。
【0099】
或いは、算出した上記比が所定の割合Ｒ１以上となる画素方向情報が存在しない場合（Ｓ５６でＮＯ）、所定値Ｖ２以上の大きさの部分領域ＰＡをそれぞれ個別の移動物体領域ＭＯＡであると決定する（Ｓ５８）。そして、移動物体領域ＭＯＡの物体方向情報として、該移動物体領域ＭＯＡに対応する部分領域ＰＡの部分方向情報をコピーする。なお、上記の処理によれば、「所定値Ｖ２未満の大きさの部分領域ＰＡ」および「孤立した画素」については、移動物体領域ＭＯＡであると決定されない。
【0100】
次いで、決定処理部３３４は、全ての物体候補領域ＯＣＡについて処理を行っていない場合（Ｓ５９でＮＯ）、未処理の物体候補領域ＯＣＡについて上記Ｓ５０からの処理を実行する。決定処理部３３４は、全ての物体候補領域ＯＣＡについて処理を行った場合（Ｓ５９でＹＥＳ）、移動物体・方向決定処理を終了する。
【0101】
決定処理部３３４による処理後の画像を第４の処理後画像ＴＰ４と称し、第４の処理後画像ＴＰ４中における移動物体の像を示す領域を移動物体領域ＭＯＡと称する。第４の処理後画像ＴＰ４の一例について、各画素に対応付けられた物体方向情報の値の分布状況を一望するように可視化したものを図９に示す。図９では、どの移動物体領域ＭＯＡにも属していない画素については、物体方向情報を有していないため、黒塗りにて表している。
【0102】
図９に示すように（図７も参照）、例えば、移動物体領域ＭＯＡ２は、処理前の物体候補領域ＯＣＡ２に対応し、部分領域ＰＡ２１における離方向Ｇｒ３の部分方向情報がコピーされた物体方向情報を有している。また、移動物体領域ＭＯＡ４は、処理前の物体候補領域ＯＣＡ４における離方向Ｇｒ３の部分方向情報を有する部分領域ＰＡ４１に対応し、離方向Ｇｒ３の物体方向情報を有している。移動物体領域ＭＯＡ５は、処理前の物体候補領域ＯＣＡ４における左方向Ｇｒ４の部分方向情報を有する部分領域ＰＡ４２に対応し、左方向Ｇｒ４の物体方向情報を有している。例えば、前述の第１の処理後画像ＴＰ１１において、物体候補領域ＯＣＡ４に対応する移動領域ＭＡ（図４の（ｂ）における右側の移動領域ＭＡ）は、異なる方向に移動する２つの移動物体が重なった状態を示す撮像画像に対して第１の輝度差分演算部３３０による処理が行われて、部分領域ＰＡ４１および部分領域ＰＡ４２を含む１つの移動領域ＭＡとして検出された蓋然性が高い。
【0103】
本実施形態の乗車検知システム１０における移動物体決定部３３は、第１の輝度差分演算部３３０にて平滑化処理を行った第１の処理後画像ＴＰ１１を用いる。
【0104】
（構成例１その５ Ｓ３Ａの平滑化処理について）
上述の平滑化処理（Ｓ３Ａ２）の効果について、具体例を示しつつ以下に説明する。図２０は、エレベータの乗場の明るさが不十分である場合において撮像される画像の一例を示す図である。
上述の平滑化処理（Ｓ３Ａ２）の効果について、具体例を示しつつ以下に説明する。図２０は、エレベータの乗場の明るさが不十分である場合において撮像される画像の一例を示す図である。
【0105】
先ず、平滑化処理（上記Ｓ３Ａ２）を行うことなく二値化画像を生成する場合について図２２を用いて説明する。図２２は、図２０で示す撮像画像に対して平滑化処理を用いることなく処理した後の画像の一例について、各画素の値を可視化して全画素を一望するように示す図である。
【0106】
例えば、図２０で示す撮像画像を時点［ｔ］における画像とする。図２０で示す撮像画像と、図示を省略する時点［ｔ－１］における撮像画像とを用いて、グレー画像を生成し（上記Ｓ３Ａ１）、平滑化処理を行うことなく差分画像を生成する（上記Ｓ３Ａ３）。そして、二値化処理を行う（上記Ｓ３Ａ４）。この場合、図２２に示すように、実際の移動物体に比べて、二値化画像において移動領域が過大に検出されてしまうことがある。
【0107】
ここで、図２２のような現象が生じる要因について説明すれば以下のとおりである。カメラ２１は、一般に、乗場２の明るさを感知する機能を有しており、乗場２の明るさが減少するにつれてゲインを上げるようになっている。カメラ２１のゲインが上昇すると、上記Ｓ３Ａ１で取得した撮像画像に含まれるノイズが増大する。ノイズとは、撮像画像におけるチラつきのことである。
【0108】
撮像画像に含まれるノイズが増大すると、平滑化処理を行うことなく差分画像を生成し二値化処理を行うことにより検出される移動領域は、移動物体１に比べて過大になる（図２２を参照）。
【0109】
次に、本実施形態の移動物体決定部３３における第１の輝度差分演算部３３０によって、平滑化処理（上記Ｓ３Ａ２）を行って二値化画像を生成する場合について図２１を用いて説明する。図２１は、図２０で示す撮像画像に対して平滑化処理を用いて処理した後の画像の一例について、各画素の値を可視化して全画素を一望するように示す図である。
【0110】
図２０で示す撮像画像について、上記Ｓ３Ａ１～上記Ｓ３Ａ４の処理を行い、二値化画像を生成する場合、撮像画像に含まれるノイズを、平滑化処理（上記Ｓ３Ａ２）を行うことによって除去することができ、図２１に示すように、実際の移動物体の像に即した移動領域を検出することができる。
【0111】
撮像画像に含まれるノイズが増大すると、実際の移動物体に比べて、移動領域が過大に検出されてしまう場合だけでなく、移動物体が存在しないのに、移動領域を検出してしまう場合もある。このような誤検出が生じる可能性を、第１の輝度差分演算部３３０によって低減することができる。
【0112】
（構成例２）
本構成例における移動物体決定部３３は、第１の輝度差分演算部３３０の実行する各種の処理にて用いられるフィルタサイズを限定する点で、前記構成例１と異なっている。
本構成例における移動物体決定部３３は、第１の輝度差分演算部３３０の実行する各種の処理にて用いられるフィルタサイズを限定する点で、前記構成例１と異なっている。
【0113】
本構成例では、第１の輝度差分演算部３３０の実行する処理において、上記Ｓ３Ａ５の膨張処理にて用いられるフィルタ（膨張処理フィルタ）および収縮処理にて用いられるフィルタ（収縮処理フィルタ）のサイズは、平滑化フィルタのサイズよりも大きいか、または平滑化フィルタのサイズと同じであるように設定されている。
【0114】
一例では、膨張処理にて用いられるフィルタサイズが５×７、収縮処理にて用いられるフィルタサイズが５×５であり、平滑化フィルタのサイズが３×５である。
【0115】
例えば、本構成例における第１の輝度差分演算部３３０は、グレー画像ＧＰ（ｔ－１）およびグレー画像ＧＰ（ｔ）の全ての画素について平滑化フィルタ（サイズが３×５）を用いて平滑化処理を行うことにより２枚の平滑化画像（グレー画像ＳＧＰ（ｔ－１）およびグレー画像ＳＧＰ（ｔ））を生成する。そして、第１の輝度差分演算部３３０は、これら２枚の平滑化画像を用いて生成した差分画像ＤＰ１（ｔ）に対して二値化処理を行った後、膨張処理（フィルタサイズ：５×７）および収縮処理（フィルタサイズ：５×５）を行う。これにより、第１の処理後画像ＴＰ１１を生成する。
【0116】
また、別の例では、第１の輝度差分演算部３３０は、撮像画像Ｐ（ｔ）および撮像画像Ｐ（ｔ－１）の組、並びに、グレー画像ＧＰ（ｔ－１）およびグレー画像ＧＰ（ｔ）の組、のいずれか一方の組を用いて差分画像（第２の差分画像）を生成する。そして、当該差分画像の全ての画素について平滑化フィルタ（サイズが３×５）を用いて平滑化処理を行うことにより、差分画像ＤＰ１（ｔ）を生成する。次いで、差分画像ＤＰ１（ｔ）に対して二値化処理を行った後、膨張処理（フィルタサイズ：５×７）および収縮処理（フィルタサイズ：５×５）を行う。これにより、第１の処理後画像ＴＰ１１を生成する。
【0117】
上述のような、平滑化処理および膨張・収縮処理のフィルタサイズについての関係は、以下に述べるテスト１とテスト２を順に実施することで得られたものである。
【0118】
平滑化処理および膨張・収縮処理のフィルタサイズについて、さまざまな組合せを試してみて、次のような不適な現象１となる組合せは採用しないことにするのがテスト１であり、不適な現象２となる組合せは採用しないことにするのがテスト２である。
【0119】
不適な現象１：移動物体が実際に存在していない乗場を撮像した撮像画像に対して、移動物体決定部３３による処理を行った場合、誤検出（移動物体領域を検出）してしまう。
【0120】
不適な現象２：移動物体が実際に存在する、下記（ｉ）～（ｉｖ）のような乗場を撮像した撮像画像に対して、移動物体決定部３３による処理を行った場合、移動物体領域の抽出に漏れが生じてしまう。移動物体領域の抽出に漏れが生じてしまうとは、乗場に実際には存在する移動物体のうち少なくとも１つの移動物体が、移動物体領域として検出されない現象が生じてしまうことを意味する。
（ｉ）移動物体１の輝度と背景の輝度との差が小さい（例えば人の服装と背景の色とが類似している）。背景としては、乗場における設置物または床面を含む。
（ｉｉ）移動物体１の大きさが小さい。
（ｉｉｉ）移動物体１の移動速度が小さい。
（ｉｖ）カメラ２１の撮影範囲の中で、かご２０から最も遠い領域に移動物体１が存在している。
（ｉ）移動物体１の輝度と背景の輝度との差が小さい（例えば人の服装と背景の色とが類似している）。背景としては、乗場における設置物または床面を含む。
（ｉｉ）移動物体１の大きさが小さい。
（ｉｉｉ）移動物体１の移動速度が小さい。
（ｉｖ）カメラ２１の撮影範囲の中で、かご２０から最も遠い領域に移動物体１が存在している。
【0121】
本構成例２によれば、平滑化処理を用いることに伴って生じる抽出漏れ（後述の構成例３を参照）の可能性を低減することができる。
【0122】
（構成例３）
前記構成例１では、乗場２の明るさが不十分である場合に誤検出が発生し易いという問題を鑑み、平滑化処理を含めるように処理を行う第１の輝度差分演算部３３０を備える移動物体決定部３３について説明した。
前記構成例１では、乗場２の明るさが不十分である場合に誤検出が発生し易いという問題を鑑み、平滑化処理を含めるように処理を行う第１の輝度差分演算部３３０を備える移動物体決定部３３について説明した。
【0123】
ここで、前記構成例１における移動物体決定部３３においては、第１の輝度差分演算部３３０を導入したことによって、以下のような副作用が生じ得る。
【0124】
すなわち、前述のような誤検出が生じ得る状況とは反対に、乗場２の明るさが十分な場合、誤検出が発生し易いという問題はない。その一方で、明るさが十分な乗場２を撮像した撮像画像に対して、平滑化処理を含めるように処理を行うことにより、抽出漏れが発生してしまうことがある。抽出漏れとは、撮像画像中に移動物体１の像が含まれているにもかかわらず二値化画像において移動領域が無いと検出されてしまうことである。このような抽出漏れの発生を抑制する対策としては、乗場２の明るさが十分な場合、平滑化処理を行わないことが挙げられる。
【0125】
したがって、或る１基のエレベータがサービスする階床の中に、明るさが不十分な階床と、明るさが十分な階床とがある場合、上記の問題を解決するには、明るさが不十分な階床では平滑化処理を用い、明るさが十分な階床では平滑化処理を用いないことにすればよい。
【0126】
このような処理を実現するために、乗場２の明るさが不十分であるか否かについて、所定の判定処理を行う。これにより、平滑化処理を用いることに伴って乗場２の明るさが十分な場合に抽出漏れが生じ得る、という問題の発生を避けることができる。
【0127】
以下、構成例３の移動物体決定部３３Ｂについて、図１Ｂ、図３Ｂ、および図４Ｂを参照して説明する。図１Ｂは、移動物体決定部３３Ｂを含む画像処理装置３０の要部構成の一例を示すブロック図である。図１Ｂに示すように、移動物体決定部３３Ｂには、第１の輝度差分演算部３３０、第２の輝度差分演算部３３１、オプティカルフロー演算部３３２、決定処理部３３４、および判定部３３５が含まれている。移動物体決定部３３Ｂは、第２の輝度差分演算部３３１および判定部３３５を含む点で、前述の移動物体決定部３３と異なっている。以下では、説明の便宜上、前記構成例１に関する説明にて参照した図面（図１Ａ、図３Ａ、図４Ａ）に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【0128】
（構成例３その１ 移動物体決定部３３Ｂにおける処理の全体）
移動物体決定部３３Ｂが実行する処理の流れについて、図３Ｂを参照して以下に説明する。図３Ｂは、移動物体決定部３３Ｂを含む乗車検知システム１０による乗車検知および戸開閉動作制御の処理の流れの一例を示すフローチャートである。本構成例の移動物体決定部３３Ｂは、Ｓ３０Ａ、Ｓ３Ｂ、Ｓ４、Ｓ５の処理を実行する。以降では、Ｓ３０Ａ、Ｓ３Ｂ、Ｓ４の処理について述べる。
移動物体決定部３３Ｂが実行する処理の流れについて、図３Ｂを参照して以下に説明する。図３Ｂは、移動物体決定部３３Ｂを含む乗車検知システム１０による乗車検知および戸開閉動作制御の処理の流れの一例を示すフローチャートである。本構成例の移動物体決定部３３Ｂは、Ｓ３０Ａ、Ｓ３Ｂ、Ｓ４、Ｓ５の処理を実行する。以降では、Ｓ３０Ａ、Ｓ３Ｂ、Ｓ４の処理について述べる。
【0129】
図３Ｂに示すように、移動物体決定部３３Ｂは、先ず、（ｉ）第１の輝度差分演算部３３０または第２の輝度差分演算部３３１と、（ｉｉ）オプティカルフロー演算部３３２と、が互いに並列に処理を行う（Ｓ３０Ａ、Ｓ３Ｂ）。
【0130】
Ｓ３０Ａの処理において、先ず、判定部３３５は、乗場２の明るさが不十分であるか否か判定する処理（Ｓ３１Ａ）を実行する。移動物体決定部３３Ｂは、Ｓ３１Ａの判定結果がＹＥＳ（乗場２の明るさが不十分）である場合には第１の輝度差分演算部３３０を起動して処理（Ｓ３Ａ）を実行する。また、移動物体決定部３３Ｂは、Ｓ３０Ａの処理において、Ｓ３１Ａの判定結果がＮＯ（乗場２の明るさが十分）である場合には第２の輝度差分演算部３３１を起動して処理（Ｓ３２Ａ）を実行する。上記Ｓ３Ａについては、図３Ａを参照して前述したことと同様であるため、以降では、Ｓ３１Ａ、Ｓ３２Ａの処理について述べる。但し、Ｓ３１Ａについては後述する。
【0131】
（構成例３その２ Ｓ３２Ａ：第２の輝度差分演算部３３１による輝度差分演算）
平滑化処理を用いることなく実行される第２の輝度差分演算部３３１の処理（Ｓ３２Ａ）について、図４Ｂを用いて説明する。図４Ｂは、第２の輝度差分演算部３３１が実行する処理の流れの一例を示すフローチャートである。
平滑化処理を用いることなく実行される第２の輝度差分演算部３３１の処理（Ｓ３２Ａ）について、図４Ｂを用いて説明する。図４Ｂは、第２の輝度差分演算部３３１が実行する処理の流れの一例を示すフローチャートである。
【0132】
前述のように第１の輝度差分演算部３３０では、上記Ｓ３Ａ２（平滑化処理）および上記Ｓ３Ａ３（差分画像生成）の出力に対して上記Ｓ３Ａ４（二値化処理）を行っていた（図４Ａを参照）。これに対して、図４Ｂに示すように、第２の輝度差分演算部３３１は、平滑化処理を行うことなく差分画像を生成し、二値化処理を実行する。
【0133】
より詳しくは、第２の輝度差分演算部３３１は、第１の輝度差分演算部３３０における上記Ｓ３Ａ１と同様の処理を行い、２枚のグレー画像を生成する（Ｓ３２Ａ１）。例えば、第２の輝度差分演算部３３１は、グレー画像ＧＰ（ｔ－１）およびグレー画像ＧＰ（ｔ）を生成する。そして、第２の輝度差分演算部３３１は、平滑化処理を行うことなく、差分画像を生成する処理（Ｓ３２Ａ２）を行い、その後、二値化処理（Ｓ３２Ａ３）、膨張処理および収縮処理（Ｓ３２Ａ４）、補間処理（Ｓ３２Ａ５）を実行する。これらＳ３２Ａ２～Ｓ３２Ａ５の処理は、それぞれ、第１の輝度差分演算部３３０が実行するＳ３Ａ３～Ｓ３Ａ６の処理と同様であるので、詳細な説明を省略する。
【0134】
なお、第２の輝度差分演算部３３１により、上記Ｓ３２Ａ２にて生成された差分画像（第３の差分画像）を、差分画像ＤＰ２（ｔ）と称する。具体的には、差分画像ＤＰ２（ｔ）は、グレー画像ＧＰ（ｔ－１）とグレー画像ＧＰ（ｔ）とについて画素毎に輝度差を算出し、算出した輝度差が各画素に対応付けられて表される。また、差分画像ＤＰ２（ｔ）について二値化処理を行うことにより、上記Ｓ３２Ａ３にて生成した画像を二値化画像ＢＰ２（ｔ）と称する。
【0135】
第２の輝度差分演算部３３１は、以上のような処理を行うことにより、第１の処理後画像ＴＰ１２を生成する。第１の処理後画像ＴＰ１２とは、第２の輝度差分演算部３３１による処理後の画像である。第１の処理後画像ＴＰ１２では、各画素の値が「１」または「０」となっている。第１の処理後画像ＴＰ１２における移動領域ＭＡおよび移動領域情報については、前述した第１の輝度差分演算部３３０による処理後の画像（第１の処理後画像ＴＰ１１）に関して説明したことと同様である。
【0136】
（構成例３その３ Ｓ３Ｂ：オプティカルフロー演算）
移動物体決定部３３Ｂが実行するＳ３Ｂの処理については、前述の移動物体決定部３３と同様である。オプティカルフロー演算部３３２は、２枚の撮像画像として、上記Ｓ３Ａまたは上記Ｓ３２Ａの輝度差分演算処理と時間的に対応する時点のデータを用いる。つまり、オプティカルフロー演算部３３２は、下記（ｉ）または（ｉｉ）のように処理を行う。
（ｉ）上記Ｓ３１Ａにおける判定の結果、第１の輝度差分演算部３３０を起動して上記Ｓ３Ａの処理が実行される場合、第１の輝度差分演算部３３０が用いる撮像画像と時間的に対応する撮像画像を用いて、オプティカルフロー演算処理を実行する。
（ｉｉ）上記Ｓ３１Ａにおける判定の結果、第２の輝度差分演算部３３１を起動して上記Ｓ３２Ａの処理が実行される場合、第２の輝度差分演算部３３１が用いる撮像画像と時間的に対応する撮像画像を用いて、オプティカルフロー演算処理を実行する。
移動物体決定部３３Ｂが実行するＳ３Ｂの処理については、前述の移動物体決定部３３と同様である。オプティカルフロー演算部３３２は、２枚の撮像画像として、上記Ｓ３Ａまたは上記Ｓ３２Ａの輝度差分演算処理と時間的に対応する時点のデータを用いる。つまり、オプティカルフロー演算部３３２は、下記（ｉ）または（ｉｉ）のように処理を行う。
（ｉ）上記Ｓ３１Ａにおける判定の結果、第１の輝度差分演算部３３０を起動して上記Ｓ３Ａの処理が実行される場合、第１の輝度差分演算部３３０が用いる撮像画像と時間的に対応する撮像画像を用いて、オプティカルフロー演算処理を実行する。
（ｉｉ）上記Ｓ３１Ａにおける判定の結果、第２の輝度差分演算部３３１を起動して上記Ｓ３２Ａの処理が実行される場合、第２の輝度差分演算部３３１が用いる撮像画像と時間的に対応する撮像画像を用いて、オプティカルフロー演算処理を実行する。
【0137】
（構成例３その４ Ｓ３Ａ、Ｓ３２Ａ、Ｓ３Ｂに関連する縮小処理について）
上記Ｓ３Ａ、上記Ｓ３２Ａ、および上記Ｓ３Ｂに関連する縮小処理に関して説明すれば以下のとおりである。
上記Ｓ３Ａ、上記Ｓ３２Ａ、および上記Ｓ３Ｂに関連する縮小処理に関して説明すれば以下のとおりである。
【0138】
上記Ｓ３Ａの処理が実行される場合、または上記Ｓ３２Ａの処理が実行される場合、以下のいずれかのように処理を行う。
・画像取得部３１からデータを取得後に縮小処理（上記第１の画素数→上記第２の画素数）を行う。
・画像取得部３１にて縮小処理（上記第１の画素数→上記第２の画素数）が行われて記憶部３２に保存されていたデータを、第１の輝度差分演算部３３０または第２の輝度差分演算部３３１が取得して用いる。
・画像取得部３１からデータを取得後に縮小処理（上記第１の画素数→上記第２の画素数）を行う。
・画像取得部３１にて縮小処理（上記第１の画素数→上記第２の画素数）が行われて記憶部３２に保存されていたデータを、第１の輝度差分演算部３３０または第２の輝度差分演算部３３１が取得して用いる。
【0139】
上記Ｓ３Ｂの処理では、以下のいずれかのように処理を行う。
・画像取得部３１からデータを取得後に縮小処理（上記第１の画素数→上記第３の画素数）を行う。
・画像取得部３１にて縮小処理（上記第１の画素数→上記第３の画素数）が行われて記憶部３２に保存されていたデータを、オプティカルフロー演算部３３２が取得して用いる。
・画像取得部３１からデータを取得後に縮小処理（上記第１の画素数→上記第３の画素数）を行う。
・画像取得部３１にて縮小処理（上記第１の画素数→上記第３の画素数）が行われて記憶部３２に保存されていたデータを、オプティカルフロー演算部３３２が取得して用いる。
【0140】
（構成例３その５ Ｓ４：物体候補領域設定）
上記Ｓ３０ＡおよびＳ３Ｂの処理が行われた後、物体候補領域設定部３３４Ａは、以下のような処理を行う。
上記Ｓ３０ＡおよびＳ３Ｂの処理が行われた後、物体候補領域設定部３３４Ａは、以下のような処理を行う。
【0141】
決定処理部３３４における物体候補領域設定部３３４Ａは、（ｉ）第１の輝度差分演算部３３０若しくは第２の輝度差分演算部３３１の処理結果、並びに（ｉｉ）オプティカルフロー演算部３３２の処理結果を用いて、画像中の物体候補領域を設定する（Ｓ４）。
【0142】
具体的には、上記Ｓ３０Ａにおいて上記Ｓ３Ａを実行した場合、物体候補領域設定部３３４Ａは、上記Ｓ３Ａにおける出力である第１の処理後画像ＴＰ１１と、上記Ｓ３Ｂにおける出力である第２の処理後画像ＴＰ２とを重ね合わせることにより、１つの画像として生成する。一例では、物体候補領域設定部３３４Ａは、第１の処理後画像ＴＰ１１を縮小処理した第３の画素数を有する上記画像ＴＰ１’と、第３の画素数を有する第２の処理後画像ＴＰ２とを重ね合わせる。これにより、前述の第３の処理後画像ＴＰ３を生成し、物体候補領域を設定する。
【0143】
或いは、上記Ｓ３０Ａにおいて上記Ｓ３２Ａを実行した場合、物体候補領域設定部３３４Ａは、上記Ｓ３２Ａにおける出力である第１の処理後画像ＴＰ１２と、上記Ｓ３Ｂにおける出力である第２の処理後画像ＴＰ２とを重ね合わせることにより、１つの画像として生成する。一例では、物体候補領域設定部３３４Ａは、第１の処理後画像ＴＰ１２を縮小処理した第３の画素数を有する上記画像ＴＰ１’と、第３の画素数を有する第２の処理後画像ＴＰ２とを重ね合わせる。これにより、前述の第３の処理後画像ＴＰ３を生成し、物体候補領域を設定する。
【0144】
（構成例３その６ Ｓ３１Ａの一例）
本構成例の移動物体決定部３３Ｂにおける判定部３３５の処理Ｓ３１Ａについて、以下に説明する。
本構成例の移動物体決定部３３Ｂにおける判定部３３５の処理Ｓ３１Ａについて、以下に説明する。
【0145】
判定部３３５は、エレベータのかご２０が或る階床に到着した場合、以下のように判定処理を行う。
【0146】
ここで、一構成例では、かご２０の到着した階床の情報が、制御装置４０（またはかご２０の昇降動作の制御を行う、乗車検知システム１０の外部の装置等）から、画像処理装置３０に送信されている。また、エレベータの設置されている建物における複数の階床のそれぞれについて、乗場２の明るさが十分な階床には値「１」、乗場２の明るさが不十分な階床には値「０」が対応付けられて構成されたテーブル（各階床について判定結果が対応付けられたデータセット）が、例えば移動物体決定部３３Ｂの記憶部（不図示）に格納されている。
【0147】
上記テーブルは、例えば、エレベータの設置されている建物における複数の階床のそれぞれの乗場２の明るさが十分であるか否かを予め評価した結果に基づいて、人が予め作成することができる。上記テーブルの作成方法について、詳しくは後述する。
【0148】
判定部３３５は、上記テーブルを参照して、かご２０の到着した階床に値「０」が対応付けられている場合、乗場２の明るさが不十分であると判定する（Ｓ３１ＡでＹＥＳ）。
【0149】
一方、判定部３３５は、かご２０の到着した階床の情報を用いて、上記テーブルを参照して、かご２０の到着した階床に値「１」が対応付けられている場合、乗場２の明るさが十分であると判定する（Ｓ３１ＡでＮＯ）。
【0150】
なお、判定部３３５は、カメラ２１によって撮像される場面（階床、時間帯、等）に対して、乗場２の明るさが十分であるか否かを対応付けた情報を用いることができ、このような情報を「撮像場面ごと明るさ情報」と称する。上記したテーブルは撮像場面ごと明るさ情報の一例である。
【0151】
また、乗場２を撮像するに際して取得される、画像を撮像される場面（階床、時刻等）に関する情報を「撮像場面情報」と称する。
【0152】
判定部３３５は、（ｉ）上記Ｓ３０Ａにて処理を行おうとしている画像に対応する上記撮像場面情報と、（ｉｉ）上記撮像場面ごと明るさ情報と、に基づいて、上記Ｓ３１Ａの判定を行えばよい。
【0153】
（構成例３その７ Ｓ３１Ａの他の一例）
なお、判定部３３５は、例えば、時間に基づいて判定を行ってもよい。具体的には、撮像場面情報は、乗場２を撮像した時刻（処理対象とする画像を撮像した時刻）の情報であってもよい。一構成例では、かご２０が或る階床に到着してかご戸２２が開いた際に、例えば移動物体決定部３３Ｂの内部に備えた計時用ＩＣ（リアルタイムクロック等）から、その時点における時刻（現在時刻）を読み出す。
なお、判定部３３５は、例えば、時間に基づいて判定を行ってもよい。具体的には、撮像場面情報は、乗場２を撮像した時刻（処理対象とする画像を撮像した時刻）の情報であってもよい。一構成例では、かご２０が或る階床に到着してかご戸２２が開いた際に、例えば移動物体決定部３３Ｂの内部に備えた計時用ＩＣ（リアルタイムクロック等）から、その時点における時刻（現在時刻）を読み出す。
【0154】
また、一構成例では、撮像場面ごと明るさ情報として、一日をいくつかの時間帯に分割し、複数の時間帯のそれぞれに、明るさ十分（例えば値「１」）か、明るさ不十分（例えば値「０」）か、を対応付けたテーブルを予め作成する。当該テーブルは、例えば移動物体決定部３３Ｂの記憶部（不図示）に格納されている。上記複数の時間帯は、特に限定されないが、例えば下記（ｉ）～（ｉｉｉ）のように３つの時間帯を設定することができる；
（ｉ）０時（０時００分を含む）から５時まで（５時００分を含まない）、
（ｉｉ）５時（５時００分を含む）から１８時まで（１８時００分を含まない）、
（ｉｉｉ）１８時（１８時００分を含む）から２４時まで（２４時００分を含まない）。
（ｉ）０時（０時００分を含む）から５時まで（５時００分を含まない）、
（ｉｉ）５時（５時００分を含む）から１８時まで（１８時００分を含まない）、
（ｉｉｉ）１８時（１８時００分を含む）から２４時まで（２４時００分を含まない）。
【0155】
判定部３３５は、乗場２を撮像した時刻の情報を用いて、上記テーブルを参照して、処理対象とする画像を撮像した時刻が、値「０」が対応付けられている時間帯に含まれている場合、乗場２の明るさが不十分であると判定する（Ｓ３１ＡでＹＥＳ）。
【0156】
一方、判定部３３５は、乗場２を撮像した時刻の情報を用いて、上記テーブルを参照して、処理対象とする画像を撮像した時刻が、値「１」が対応付けられている時間帯に含まれている場合、乗場２の明るさが十分であると判定する（Ｓ３１ＡでＮＯ）。
【0157】
（構成例３その８ Ｓ３１Ａのさらに他の一例）
乗車検知システム１０に例えば乗場２の明るさを検出するための照度センサが含まれていてもよく、この場合、照度センサにて検出された検出値を前述の撮像場面情報として用いることができる。また、この場合、前述の撮像場面ごと明るさ情報に代替して、判定部３３５における判定に用いられる基準値が予め設定されていればよい。
乗車検知システム１０に例えば乗場２の明るさを検出するための照度センサが含まれていてもよく、この場合、照度センサにて検出された検出値を前述の撮像場面情報として用いることができる。また、この場合、前述の撮像場面ごと明るさ情報に代替して、判定部３３５における判定に用いられる基準値が予め設定されていればよい。
【0158】
一構成例では、かご２０が或る階床に到着してカメラ２１によって乗場２の撮像が開始された際に、移動物体決定部３３Ｂは、上記照度センサの検出値を取得する。判定部３３５は、取得した検出値と、予め設定された基準値とを比較する。例えば、検出値が基準値以下の場合、乗場２の明るさが不十分であると判定する（Ｓ３１ＡでＹＥＳ）。
【0159】
一方、判定部３３５は、検出値が基準値を超える場合、乗場２の明るさが十分であると判定する（Ｓ３１ＡでＮＯ）。
【0160】
（構成例３その９ Ｓ３１Ａ使用テーブルの作成方法１）
撮像場面ごと明るさ情報の一例としての上記テーブルを予め作成する方法について以下に説明する。ここでは、上述のような、乗場２の明るさが十分な階床には値「１」、乗場２の明るさが不十分な階床には値「０」が対応付けられて構成されたテーブルの作成方法について説明する。
撮像場面ごと明るさ情報の一例としての上記テーブルを予め作成する方法について以下に説明する。ここでは、上述のような、乗場２の明るさが十分な階床には値「１」、乗場２の明るさが不十分な階床には値「０」が対応付けられて構成されたテーブルの作成方法について説明する。
【0161】
一例では、移動物体１が存在しないときのエレベータの乗場２をカメラ２１により撮像した画像を用いて、乗場の明るさが不十分であるか否かを判定する。移動物体１が存在しないときのエレベータの乗場２をカメラ２１により撮像した画像を標準画像ＳＰと称する。カメラ２１により撮像した標準画像ＳＰは、例えば記憶部３２に格納される。この標準画像ＳＰは、カメラ２１（典型的にはカメラの機種）と紐付けられる。カメラ２１によって標準画像ＳＰを撮像する作業は、例えば、エレベータが利用されていないとき、またはエレベータの利用を一時的に停止した状態にて行うことができる。
【0162】
例えば、画像処理装置３０内に演算装置（図１Ｂにおいて不図示）を設け、エレベータが利用されていないとき、またはエレベータの利用を一時的に停止した状態で、以下を実行させる。
・移動物体１が存在しないときのエレベータの乗場２をカメラ２１により撮像する。
・撮像した標準画像ＳＰをグレースケールに変換し、グレー画像ＧＳＰを生成する。
・グレー画像ＧＳＰに含まれる全画素の輝度の平均値ＧＬＡＶを予め算出する。
・算出された上記平均値ＧＬＡＶが平均輝度閾値を超える階床であるか、算出された上記平均値ＧＬＡＶが平均輝度閾値以下の階床であるかを判定した結果に基づいて、上記テーブルを作成する。
・移動物体１が存在しないときのエレベータの乗場２をカメラ２１により撮像する。
・撮像した標準画像ＳＰをグレースケールに変換し、グレー画像ＧＳＰを生成する。
・グレー画像ＧＳＰに含まれる全画素の輝度の平均値ＧＬＡＶを予め算出する。
・算出された上記平均値ＧＬＡＶが平均輝度閾値を超える階床であるか、算出された上記平均値ＧＬＡＶが平均輝度閾値以下の階床であるかを判定した結果に基づいて、上記テーブルを作成する。
【0163】
この平均輝度閾値は、例えば、平滑化処理を用いることによって誤検出を防止できる点と、平滑化処理を用いないことによって抽出漏れを防止できる点とを勘案して、妥当な値として決定される。
【0164】
平均輝度閾値は、例えば、以下のように決定されてよい。様々な乗場（照度、設置物、または床面の色、等を変化させた乗場）について標準画像ＳＰを撮像し、標準画像ＳＰについて移動物体決定部３３Ｂによる処理を行い、誤検出が発生するか否かを調査する。具体的には、標準画像ＳＰから抽出される移動領域ＭＡが所定値Ｖ１以上であるか否かを評価する。
【0165】
そして、誤検出が発生したすべての標準画像ＳＰについて、それぞれ平均値ＧＬＡＶを算出し、算出した平均値ＧＬＡＶの中で最も大きかった値を、平均輝度閾値として決定する。
【0166】
（構成例３その１０ Ｓ３１Ａ使用テーブルの作成方法２）
なお、グレースケールへの変換を行うことなく、カラー画像から直接、平均輝度を算出することもできる。移動物体決定部３３または移動物体決定部３３Ｂがカラー画像を用いて処理を行う場合、標準画像ＳＰに含まれる全画素の輝度の平均値ＬＡＶは、演算装置を用いて例えば以下のように算出される。
なお、グレースケールへの変換を行うことなく、カラー画像から直接、平均輝度を算出することもできる。移動物体決定部３３または移動物体決定部３３Ｂがカラー画像を用いて処理を行う場合、標準画像ＳＰに含まれる全画素の輝度の平均値ＬＡＶは、演算装置を用いて例えば以下のように算出される。
【0167】
演算装置を用いて、標準画像ＳＰに含まれるすべての画素が有する３つの成分のそれぞれについて平均値を求める。具体的には、画像が３つの画素Ｐｉｘ１、Ｐｉｘ２、Ｐｉｘ３からなるとすると、演算装置を用いて、画素Ｐｉｘ１のＲ成分、画素Ｐｉｘ２のＲ成分、および画素Ｐｉｘ３のＲ成分の平均値Ｒ´を算出する。
【0168】
同様に、演算装置を用いて、Ｇ成分およびＢ成分についてもそれぞれ平均値Ｇ´および平均値Ｂ´を算出する。そして、算出したＲ成分の平均値Ｒ´、Ｂ成分の平均値Ｂ´、およびＧ成分の平均値Ｇ´を用いて、下記式（２）に基づいて、標準画像ＳＰに含まれる全画素の輝度の平均値ＬＡＶを算出する。
０．２９９×Ｒ´＋０．５８７×Ｇ´＋０．１１４×Ｂ´＝ＬＡＶ ・・・（２）
なお、上記の方法に限定されず、その他の方法を用いて標準画像ＳＰに含まれる全画素の輝度の平均値ＬＡＶを算出してもよい。
０．２９９×Ｒ´＋０．５８７×Ｇ´＋０．１１４×Ｂ´＝ＬＡＶ ・・・（２）
なお、上記の方法に限定されず、その他の方法を用いて標準画像ＳＰに含まれる全画素の輝度の平均値ＬＡＶを算出してもよい。
【0169】
例えば、演算装置を用いて、平均値Ｒ´、平均値Ｂ´および平均値Ｇ´のうちの最大値と最小値との平均値を、標準画像ＳＰに含まれる全画素の輝度の平均値ＬＡＶとして算出してもよい。
【0170】
或いは、演算装置を用いて、平均値Ｒ´、平均値Ｂ´および平均値Ｇ´のうちの最大値を、標準画像ＳＰに含まれる全画素の輝度の平均値ＬＡＶとして算出してもよい。
【0171】
（構成例４）
本構成例における移動物体決定部３３Ｂは、第１の輝度差分演算部３３０の実行する各種の処理にて用いられる次のパラメータを限定する点で、前記構成例３と異なっている。
・膨張および収縮処理のフィルタサイズ
・膨張処理の回数
・二値化処理の閾値
これらのパラメータを以下述べるように限定することで、平滑化処理を用いることに伴って生じる抽出漏れの可能性を低減することができる。
本構成例における移動物体決定部３３Ｂは、第１の輝度差分演算部３３０の実行する各種の処理にて用いられる次のパラメータを限定する点で、前記構成例３と異なっている。
・膨張および収縮処理のフィルタサイズ
・膨張処理の回数
・二値化処理の閾値
これらのパラメータを以下述べるように限定することで、平滑化処理を用いることに伴って生じる抽出漏れの可能性を低減することができる。
【0172】
一例では、第１の輝度差分演算部３３０の実行する上記Ｓ３Ａにおいて用いられる膨張処理フィルタおよび収縮処理フィルタのサイズは、第１の輝度差分演算部３３０にて用いられる平滑化フィルタのサイズよりも大きいか、または平滑化フィルタのサイズと同じであるように設定されている。
【0173】
一例では、第１の輝度差分演算部３３０の実行する上記Ｓ３Ａにおいて、膨張処理にて用いられるフィルタサイズが５×７、収縮処理にて用いられるフィルタサイズが５×５であり、第１の輝度差分演算部３３０にて用いられる平滑化フィルタのサイズが３×５である。
【0174】
一例では、第１の輝度差分演算部３３０の実行する上記Ｓ３Ａ５（図４Ａを参照）の膨張処理の回数と、第２の輝度差分演算部３３１の実行する上記Ｓ３２Ａ４（図４Ｂを参照）の膨張処理の回数と、は互いに同じであってもよい。
【0175】
また、上記Ｓ３Ａ５の膨張処理の回数は、上記Ｓ３２Ａ４の膨張処理の回数よりも多いことが好ましい。なぜならば、平滑化処理を行う方が、平滑化処理を行わない場合よりも画像が滑らかとなり、二値化処理後の画素値が「１」（例えば白）となる画素が出にくくなる。そのことを是正するために、膨張処理の回数を多くすることが好ましいからである。
【0176】
第１の輝度差分演算部３３０の実行する上記Ｓ３Ａ４における第１の二値化閾値と、第２の輝度差分演算部３３１の実行する上記Ｓ３２Ａ３における第２の二値化閾値とは互いに同じであってもよい。
【0177】
また、第１の二値化閾値は、第２の二値化閾値よりも小さいことが好ましい。なぜならば、平滑化処理を行う方が、平滑化処理を行わない場合よりも画像が滑らかとなり、二値化処理後の画素値が「１」（例えば白）となる画素が出にくくなる。そのことを是正するために、第１の二値化閾値を小さくすることが好ましいからである。
【0178】
（変形例１）
（変形例１その１ 背景画像を用いる輝度差分演算処理について）
上述の実施形態では、異なる時点における２枚の撮像画像を用いる例について説明したが、これに限定されない。一変形例では、上記Ｓ３Ａ（Ｓ３Ａ１）および上記Ｓ３２Ａ（Ｓ３２Ａ１）にて以下のように処理を行ってもよい。
（変形例１その１ 背景画像を用いる輝度差分演算処理について）
上述の実施形態では、異なる時点における２枚の撮像画像を用いる例について説明したが、これに限定されない。一変形例では、上記Ｓ３Ａ（Ｓ３Ａ１）および上記Ｓ３２Ａ（Ｓ３２Ａ１）にて以下のように処理を行ってもよい。
【0179】
第１の輝度差分演算部３３０または第２の輝度差分演算部３３１は、時点［ｔ］における撮像画像Ｐ（ｔ）と、予め撮像した背景画像とを用いて処理を行ってもよい。この場合、第１の輝度差分演算部３３０または第２の輝度差分演算部３３１は、背景差分法、統計的背景差分法、等を用いて、第１の処理後画像ＴＰ１１，１２から移動領域ＭＡを抽出する。背景差分法を用いる場合の背景画像は、例えば、事前に準備した、カメラ２１の撮像視野において無人の状態（移動物体が存在しない状態）の乗場を、カメラ２１により撮像した画像である。また、統計的背景差分法を用いる場合、複数の画像から統計的に判定して得られる背景画像（背景モデル）を用いればよい。
【0180】
（変形例１その２ 縮小処理について）
本変形例は、上記Ｓ３Ａ（Ｓ３Ａ１）、上記Ｓ３２Ａ（Ｓ３２Ａ１）、上記Ｓ３Ｂ、および上記Ｓ４に関連する。
本変形例は、上記Ｓ３Ａ（Ｓ３Ａ１）、上記Ｓ３２Ａ（Ｓ３２Ａ１）、上記Ｓ３Ｂ、および上記Ｓ４に関連する。
【0181】
（ａ）上記Ｓ３Ａ等の処理において、縮小処理は、処理効率の向上を図るために行われ得るものであって必須の処理ではない。そのため、上記Ｓ３Ａ等の処理において縮小処理が行われなくてもよい。具体的には、以下のとおりである。
【0182】
すなわち、画像取得部３１は、２枚の撮像画像を取得した際に、上記第１の画素数を有する画像に対して縮小処理を行わなくてもよい。そして、上記Ｓ３Ａの処理において、第１の輝度差分演算部３３０は、縮小処理を行うことなく、前述の第１の画素数を有する２枚の画像を対象として、平滑化処理を用いて輝度の差分に基づく演算処理を実行してもよい。また、上記Ｓ３２Ａの処理において、第２の輝度差分演算部３３１は、縮小処理を行うことなく、前述の第１の画素数を有する２枚の画像を対象として、平滑化処理を用いることなく輝度の差分に基づく演算処理を実行してもよい。
【0183】
また、上記Ｓ３Ｂの処理において、オプティカルフロー演算部３３２は、縮小処理を行うことなく、前述の第１の画素数を有する画像を対象として、オプティカルフロー演算処理を実行してもよい。
【0184】
（ｂ）上記Ｓ４の処理において、物体候補領域設定部３３４Ａは、第１の処理後画像ＴＰ１１の画素数と、第２の処理後画像ＴＰ２の画素数と、が互いに異なる場合、少なくとも一方の画像について縮小処理を行う。物体候補領域設定部３３４Ａは、第１の処理後画像ＴＰ１１および第２の処理後画像ＴＰ２の少なくとも一方に縮小処理を行うことによって、同じ画素数を有する２つの画像とし、当該２つの画像を互いに重ね合わせることにより、第３の処理後画像ＴＰ３を生成すればよい。
【0185】
（変形例１その３ 平滑化処理の順序について）
本変形例は、上記Ｓ３Ａ（Ｓ３Ａ２～Ｓ３Ａ３）に関連する。
本変形例は、上記Ｓ３Ａ（Ｓ３Ａ２～Ｓ３Ａ３）に関連する。
【0186】
第１の輝度差分演算部３３０は、上記Ｓ３Ａ１と上記Ｓ３Ａ４との間の処理において、以下のように順序にて処理を行ってもよい。
【0187】
すなわち、第１の輝度差分演算部３３０は、差分画像を生成する処理（Ｓ３Ａ３、図４Ａ参照）の後に、生成した差分画像に対して上記平滑化処理（Ｓ３Ａ２）を行ってもよい。すなわち、例えば、グレー画像ＧＰ（ｔ－１）とグレー画像ＧＰ（ｔ）との差分画像（第２の差分画像）の全ての画素について平滑化フィルタを用いて平滑化処理を行うことにより、差分画像ＤＰ１（ｔ）を生成してもよい。本明細書において、このように生成した差分画像ＤＰ１（ｔ）についても平滑化画像と称する。
【0188】
（変形例１その４ カラー画像を処理対象画像とする場合について）
本変形例は、上記Ｓ３Ａ（Ｓ３Ａ２～Ｓ３Ａ３）に関連する。
本変形例は、上記Ｓ３Ａ（Ｓ３Ａ２～Ｓ３Ａ３）に関連する。
【0189】
判定部３３５、第１の輝度差分演算部３３０、および第２の輝度差分演算部３３１は、グレースケール変換処理を行うことなく、カラー画像である撮像画像Ｐ（ｔ）および撮像画像Ｐ（ｔ－１）を用いて処理を行うようになっていてもよい。この場合、例えば以下のように処理を行うことができる。以下の説明では、カラーの画像に含まれる画素は、Ｒ、Ｇ、Ｂの３つの成分を有するとする。
【0190】
移動物体決定部３３または移動物体決定部３３Ｂがカラー画像を用いて処理を行う場合、第１の輝度差分演算部３３０は、グレースケール処理を行う前の撮像画像Ｐ（ｔ）（および撮像画像Ｐ（ｔ－１））に対して平滑化処理を行う。例えば、カラー画像に対して、以下のようにガウシアンフィルタ処理を行う。ここでは、３×３サイズのガウシアンフィルタを用いる場合を例示する。
【0191】
第１の輝度差分演算部３３０は、撮像画像（ｔ）に含まれる画素のうち注目画素ＦＰのＲＧＢ各成分について、注目画素ＦＰおよび注目画素ＦＰの周囲の８個の画素のそれぞれにおけるＲＧＢ各成分を用いて、前述の式（１）によって値を算出する。そして、ＲＧＢ成分それぞれについて算出した値を、注目画素ＦＰにおけるフィルタ処理後のＲＧＢ成分の値とする。
【0192】
第１の輝度差分演算部３３０は、撮像画像Ｐ（ｔ）および撮像画像Ｐ（ｔ－１）の全ての画素について上述の演算を行い、平滑化処理を行った撮像画像Ｐ（ｔ－１）および平滑化処理を行った撮像画像Ｐ（ｔ）を生成する。
【0193】
そして、第１の輝度差分演算部３３０は、以下のように差分画像を生成する処理を行う。ここでは、説明の平明化のために、画像中の或る１つの画素ＰｉｘＡに着目して説明する。
【0194】
平滑化処理を行った撮像画像Ｐ（ｔ－１）に含まれる画素ＰｉｘＡ（ｔ－１）のＲ成分と、平滑化処理を行った撮像画像Ｐ（ｔ）に含まれる、画素ＰｉｘＡ（ｔ－１）に対応する位置の画素ＰｉｘＡ（ｔ）のＲ成分と、の差を算出する。そして、当該差の値を、差分画像ＤＰ１（ｔ）における上記画素ＰｉｘＡの有するＲ成分とする。第１の輝度差分演算部３３０は、上記画素ＰｉｘＡのＧ成分およびＢ成分についても同様に処理を行う。
【0195】
次いで、第１の輝度差分演算部３３０は、差分画像ＤＰ１（ｔ）における上記画素ＰｉｘＡに対して、二値化処理を行う。例えば、第１の輝度差分演算部３３０は、差分画像ＤＰ１（ｔ）における上記画素ＰｉｘＡのＲＧＢ各成分の全てが予め設定された所定の閾値以上であれば、二値化処理後の画像における画素ＰｉｘＡの画素値を「１」（例えば白）とする。一方、差分画像ＤＰ１（ｔ）における画素ＰｉｘＡのＲＧＢ各成分のうち少なくともいずれか１つが所定の閾値未満であれば、二値化処理後の画像における画素ＰｉｘＡの画素値を「０」（例えば黒）とする。
【0196】
なお、上記の二値化方法に限定されず、その他の方法を用いて二値化処理を行ってもよい。例えば、第１の輝度差分演算部３３０は、差分画像ＤＰ１（ｔ）における上記画素ＰｉｘＡのＲＧＢ各成分のうち少なくともいずれか１つが予め設定された所定の閾値以上であれば、二値化処理後の画像における画素ＰｉｘＡの画素値を「１」としてもよい（この場合、ＲＧＢ各成分の全てが所定の閾値未満の場合は「０」とする）。
【0197】
また、例えば、第１の輝度差分演算部３３０は、差分画像ＤＰ１（ｔ）における上記画素ＰｉｘＡのＲＧＢ各成分の輝度値の平均値を算出し、当該平均値に基づいて二値化処理を行ってもよい。具体的には、上記平均値が所定の閾値以上であれば二値化処理後の画像における画素ＰｉｘＡの画素値を「１」とし、上記平均値が所定の閾値未満であれば二値化処理後の画像における画素ＰｉｘＡの画素値を「０」としてもよい。
【0198】
第１の輝度差分演算部３３０は、上述の処理を差分画像ＤＰ１（ｔ）に含まれる全ての画素について行い、二値化画像ＢＰ１（ｔ）を生成する。
【0199】
なお、前述のように、第１の輝度差分演算部３３０は、差分画像を生成する処理の後に平滑化処理を行ってもよく、この場合においても以上に説明したことと同様に処理を行うことができる。
【0200】
具体的には、第１の輝度差分演算部３３０は、撮像画像Ｐ（ｔ）に含まれる全ての画素のそれぞれのＲＧＢ各成分と、撮像画像Ｐ（ｔ）に含まれる全ての画素のそれぞれのＲＧＢ各成分との差を算出する。これに得られた差の値を各画素に対応付けることにより差分画像ＤＰ１（ｔ）を生成する。そして、生成した差分画像ＤＰ１（ｔ）に対して平滑化処理を行う。平滑化処理を行った差分画像ＤＰ１（ｔ）の各画素におけるＲＧＢ成分について前述のように所定の規則に基づいて二値化処理を行い、二値化画像ＢＰ１（ｔ）を生成する。
【0201】
（変形例１その５ 膨張・収縮処理および補間処理について）
本変形例は、上記Ｓ３Ａ（Ｓ３Ａ５、Ｓ３Ａ６）および上記Ｓ３２Ａ（Ｓ３２Ａ４、Ｓ３２Ａ５）に関連する。
本変形例は、上記Ｓ３Ａ（Ｓ３Ａ５、Ｓ３Ａ６）および上記Ｓ３２Ａ（Ｓ３２Ａ４、Ｓ３２Ａ５）に関連する。
【0202】
第１の輝度差分演算部３３０または第２の輝度差分演算部３３１は、処理全体の中で、膨張処理、収縮処理、および補間処理については、二値化画像ＢＰにおいて移動領域ＭＡの輪郭を明確化するのが主目的である。そのため、補間処理は省略してもよい。さらには、膨張処理および収縮処理も省略することができる。これらの処理を省略した場合であっても、決定処理部３３４は、第１の輝度差分演算部３３０または第２の輝度差分演算部３３１により生成した二値化画像ＢＰを用いて、移動領域ＭＡの輪郭を抽出することが可能だからである。
【0203】
（小括１）
［１］以上のように、構成例１における画像処理装置３０は、エレベータの乗場２をカメラ２１にて撮像した画像を取得する画像取得部３１と、所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算部３３０と、前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算部３３２と、前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域ＭＯＡを決定する決定処理部３３４と、を備えていることを特徴とする。
［１］以上のように、構成例１における画像処理装置３０は、エレベータの乗場２をカメラ２１にて撮像した画像を取得する画像取得部３１と、所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算部３３０と、前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算部３３２と、前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域ＭＯＡを決定する決定処理部３３４と、を備えていることを特徴とする。
【0204】
上記構成によれば、平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより移動領域を抽出する。そのため、明るさの不十分な乗場２を撮像した画像からでも、誤検出を防止して、移動物体１に見合った的確な移動領域ＭＡを抽出することができる。そして、誤検出を防止しつつ検出した移動領域ＭＡの各画素に、画素方向情報を対応付けることによって移動物体領域ＭＯＡを決定する。これにより、移動方向が異なる複数の移動物体１を１つの移動領域ＭＡとして検出するような場合であっても、移動領域ＭＡとして検出された複数の移動物体１を、適切に、複数の移動物体領域ＭＯＡに分割して認識することができる。
【0205】
［２］構成例１に、２枚の前記画像について前記平滑化処理を用いることなく輝度の差分に基づく演算処理を行うことにより前記移動領域情報を生成する第２の輝度差分演算部３３１を追加して、構成例３としてもよい。構成例３における決定処理部３３４は、（ｉ）第１の輝度差分演算部３３０により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、および（ｉｉ）第２の輝度差分演算部３３１により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、のいずれか一方によって、移動物体領域ＭＯＡを決定する。
【0206】
上記構成によれば、画像処理装置３０は、例えば乗場２の明るさが不十分な場合は撮像画像に対して平滑化処理を用いて輝度の差分に基づく演算処理を行い、乗場２の明るさが十分な場合は撮像画像に対して平滑化処理を用いることなく輝度の差分に基づく演算処理を行う。これにより、平滑化処理を用いることに伴って乗場２の明るさが十分な場合に抽出漏れが生じ得る、という問題の発生を避けることができる。
【0207】
［３］構成例３における画像処理装置３０において、複数の乗場２にてカメラ２１により前記画像が撮像される場面のそれぞれに対して乗場２の明るさが十分であるか否かを対応付けた、撮像場面ごと明るさ情報が予め記憶されている。そして、画像処理装置３０は、乗場２を撮像するに際して、前記画像を撮像した乗場２の場面に関する撮像場面情報を取得し、前記撮像場面情報と前記撮像場面ごと明るさ情報とに基づいて、乗場２の明るさが不十分であるか否か判定する。画像処理装置３０は、乗場２の明るさが不十分と判定された場合には第１の輝度差分演算部３３０を起動して前記移動領域情報を生成し、乗場２の明るさが十分と判定された場合には第２の輝度差分演算部３３１を起動して前記移動領域情報を生成する。
【0208】
［４］構成例３における画像処理装置３０において、前記撮像場面ごと明るさ情報は、エレベータの設置されている建物における複数の階床のそれぞれに対して乗場２の明るさが十分か否かを対応付けたものであり、前記撮像場面情報は、前記エレベータのかご２０が到着した階床の情報であってもよい。
【0209】
［５］構成例３における画像処理装置３０において、前記撮像場面ごと明るさ情報は、複数の時間帯のそれぞれに対して乗場２の明るさが十分か否かを対応付けたものであり、前記撮像場面情報は、前記エレベータのかごが前記乗場に到着した時刻の情報であってもよい。
【0210】
［６］構成例３における画像処理装置３０において、前記撮像場面ごと明るさ情報は、移動物体１が存在しないときの乗場２を撮像した前記画像における全画素の輝度の平均値を求め、前記平均値が所定の閾値を超える場合、当該乗場２の明るさが十分であり、前記平均値が所定の閾値以下である場合、当該乗場２の明るさが不十分であると判定した結果に基づいて、設定されていてもよい。
【0211】
［７］構成例１における画像処理装置３０において、第１の輝度差分演算部３３０は、２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行ってもよい。
【0212】
［８］構成例１からの追加点として、第１の輝度差分演算部３３０を以下のように設定することで構成例２としてもよい。構成例２における第１の輝度差分演算部３３０は、前記二値化処理により生成される二値化画像について膨張処理および収縮処理を行うようになっており、前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されている。
【0213】
上記構成によれば、平滑化処理を用いることに伴って生じる抽出漏れの可能性を低減することができる。
【0214】
［９］構成例３における画像処理装置３０において、第１の輝度差分演算部３３０は、２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行い、第２の輝度差分演算部３３１は、２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第３の差分画像に対して二値化処理を行ってもよい。
【0215】
［１０］構成例３からの追加点として、第１の輝度差分演算部３３０および第２の輝度差分演算部３３１を以下のように設定することで構成例４としてもよい。構成例４における画像処理装置３０では、前記第１の輝度差分演算部で行われる二値化処理で用いる閾値は、前記第２の輝度差分演算部で行われる二値化処理で用いる閾値よりも大きい。
【0216】
［１１］構成例４における画像処理装置３０において、前記第１の輝度差分演算部および前記第２の輝度差分演算部は、前記二値化処理により生成される二値化画像について膨張処理および収縮処理を行うようになっており、下記（１）または（２）のように設定されていてもよい；
（１）前記第１の輝度差分演算部は、前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されている、
（２）前記第１の輝度差分演算部で行われる膨張処理の回数は、前記第２の輝度差分演算部で行われる膨張処理の回数よりも多い。
（１）前記第１の輝度差分演算部は、前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されている、
（２）前記第１の輝度差分演算部で行われる膨張処理の回数は、前記第２の輝度差分演算部で行われる膨張処理の回数よりも多い。
【0217】
上記［１０］または［１１］の構成によれば、平滑化処理を用いることに伴って生じる抽出漏れの可能性を低減することができる。
【0218】
［１２］構成例１における画像処理装置３０において、前記第１の輝度差分演算部は、前記平滑化処理においてガウシアンフィルタを用いてもよい。
【0219】
［１３］構成例１における画像処理装置３０において、前記移動領域は、２枚の前記画像について輝度差が所定の閾値以上である画素が連続している領域であり、前記移動領域情報は、画像中の各画素について、画像中における何れの前記移動領域に属している画素か、または前記移動領域に属していない画素か、を示す情報であってもよい。
【0220】
［１４］構成例１は、画像処理装置について述べているだけでなく、画像処理方法についても述べている。
【0221】
構成例１における画像処理方法は、エレベータの乗場をカメラにて撮像した画像を取得する画像取得ステップと、所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算ステップと、前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算ステップと、前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理ステップと、を含むことを特徴とする。
【0222】
（追跡）
ここまで、画像処理装置３０の移動物体決定部３３が実行する、移動物体領域ＭＯＡを決定する処理について説明してきた。以下では、物体追跡部３４が実行する、移動物体領域ＭＯＡをフレーム間（時系列的に連続する画像間）で追跡する処理について説明する。なお、本実施形態では、図３におけるＳ１～Ｓ５の処理に引き続いて物体追跡部３４が実行する処理について説明するが、本発明の一態様における画像処理装置３０はこれに限定されない。つまり、公知の方法（例えば各種のセンサを利用する方法等）を用いて画像中の移動物体の像を示す領域を決定する処理を行った結果に基づいて、以下に説明する物体追跡部３４の処理を適用することも可能である。この場合、以下の記載における移動物体領域ＭＯＡを、公知の方法にて決定した領域に読み替えればよい。
ここまで、画像処理装置３０の移動物体決定部３３が実行する、移動物体領域ＭＯＡを決定する処理について説明してきた。以下では、物体追跡部３４が実行する、移動物体領域ＭＯＡをフレーム間（時系列的に連続する画像間）で追跡する処理について説明する。なお、本実施形態では、図３におけるＳ１～Ｓ５の処理に引き続いて物体追跡部３４が実行する処理について説明するが、本発明の一態様における画像処理装置３０はこれに限定されない。つまり、公知の方法（例えば各種のセンサを利用する方法等）を用いて画像中の移動物体の像を示す領域を決定する処理を行った結果に基づいて、以下に説明する物体追跡部３４の処理を適用することも可能である。この場合、以下の記載における移動物体領域ＭＯＡを、公知の方法にて決定した領域に読み替えればよい。
【0223】
上記公知の方法として、例えば、測距離型センサ（レーザレーダやミリ波レーダ等）により人物を検知した情報を使用して、画像中の人物の場所を特定する方法が知られている（例えば特許第５４７３８０１号を参照）。
【0224】
再び図１および図３を参照して、移動物体決定部３３によるＳ５の処理（移動物体決定ステップ）が行われた後、次いで、物体追跡部３４は、以下のような処理を行うことにより、移動物体領域ＭＯＡにて示される移動物体を追跡する処理を行う（Ｓ６：追跡処理ステップ）。具体的には、物体追跡部３４は、移動物体決定部３３にて決定した移動物体領域ＭＯＡを追跡対象として、或るフレームにて追跡対象とした移動物体領域ＭＯＡが、所定時間後のフレームにおける何れの移動物体領域ＭＯＡに対応するかを判定する。より詳しくは、時点［ｔ］における画像中の或る１つの移動物体領域ＭＯＡ（第１の移動物体領域）にて像が示される移動物体を処理対象物体とし、時点［ｔ＋１］における画像中の、前記処理対象物体と同一の移動物体に対応する像を示す移動物体領域ＭＯＡ（第２の移動物体領域）を対応物体領域として、物体追跡部３４は、前記対応物体領域を特定する処理を行う。
【0225】
図１０は、物体追跡部３４における処理の概要について説明するための図である。図１０に示すように、物体追跡部３４に含まれる図形設定部３４１は、時点［ｔ］における移動物体領域ＭＯＡを囲う矩形の対応図形Ｓ１（ｔ）を設定するとともに、時点［ｔ＋１］における移動物体領域ＭＯＡを囲う矩形の対応図形Ｓ１（ｔ＋１）を設定する。そして、重なり度算出部３４２は、時点［ｔ］および時点［ｔ＋１］の画像を重ね合わせるとともに、対応図形Ｓ１（ｔ）と対応図形Ｓ１（ｔ＋１）との重なり度を算出する。そして、追跡処理部３４３は、重なり度算出部３４２にて算出した重なり度に基づいて、時点［ｔ］における或る移動物体領域ＭＯＡ（ｔ）に対応する、時点［ｔ＋１］における移動物体領域ＭＯＡ（ｔ＋１）を判定する処理を行う。これにより、フレーム間で移動物体領域ＭＯＡを追跡する処理を行う。上記重なり度は、典型的には、対応図形Ｓ１（ｔ）に対し対応図形Ｓ１（ｔ＋１）が重なっている画素数にて表される。なお、重なり度は画素数に必ずしも限定されず、重なり度を表すために用いられる公知の手法を適用してもよい。本実施形態では、２つの図形間で重複する画素数を重なり度とする手法を用いる例について説明する。
【0226】
【0227】
図１１に示すように、先ず、図形設定部３４１は、時点［ｔ］における画像（第１の画像）および時点［ｔ＋１］における画像（第２の画像）に含まれる複数の移動物体領域（以下、移動物体領域群と称することがある）のそれぞれについて、例えば外接矩形を設定する（Ｓ６０：図形設定ステップ）。この外接矩形とは、移動物体領域ＭＯＡを囲うとともに、該移動物体領域ＭＯＡの外縁に４辺が接する矩形である。例えば、図１０に示された対応図形Ｓ１（ｔ）および対応図形Ｓ１（ｔ＋１）に示すような外接矩形を設定する。
【0228】
図形設定部３４１は、時点［ｔ］における画像中に含まれる複数の移動物体領域（第１の移動物体領域）にそれぞれ対応する複数の対応図形（第１の対応図形）を設定する。また、図形設定部３４１は、時点［ｔ＋１］における画像中に含まれる複数の移動物体領域（第２の移動物体領域）にそれぞれ対応する複数の対応図形（第２の対応図形）を設定する。
【0229】
本実施形態では、時点［ｔ］における画像に含まれる移動物体領域群（ｔ）は、例えば４つの移動物体領域ＭＯＡを含む。以下、説明の便宜上、これら４つの移動物体領域ＭＯＡをそれぞれ移動物体領域ＭＯＡａ（ｔ）、移動物体領域ＭＯＡｂ（ｔ）、移動物体領域ＭＯＡｃ（ｔ）、移動物体領域ＭＯＡｄ（ｔ）と称することとする。同様に、時点［ｔ＋１］における画像に含まれる移動物体領域群（ｔ＋１）には、４つの移動物体領域ＭＯＡとして、移動物体領域ＭＯＡａ（ｔ＋１）、移動物体領域ＭＯＡｂ（ｔ＋１）、移動物体領域ＭＯＡｃ（ｔ＋１）、移動物体領域ＭＯＡｄ（ｔ＋１）が含まれているとする。また、以下の説明において、これら移動物体領域ＭＯＡａ（ｔ＋１）、・・・移動物体領域ＭＯＡｄ（ｔ＋１）のいずれかを示すように記載する場合、移動物体領域ＭＯＡｘ（ｔ＋１）と称することがある。
【0230】
図形設定部３４１は、移動物体領域ＭＯＡａ（ｔ）～移動物体領域ＭＯＡｄ（ｔ）および移動物体領域ＭＯＡａ（ｔ＋１）～移動物体領域ＭＯＡｄ（ｔ＋１）のそれぞれについて、対応図形として外接矩形を設定する。
【0231】
重なり度算出部３４２は、時点［ｔ］における画像に含まれる移動物体領域群（ｔ）の中から、処理対象とする１つの移動物体領域ＭＯＡａ（ｔ）を選択する（Ｓ６１）。そして、重なり度算出部３４２は、時点［ｔ＋１］における画像に含まれる移動物体領域群（ｔ＋１）の中から、処理対象とする１つの移動物体領域ＭＯＡａ（ｔ＋１）を選択する（Ｓ６２）。
【0232】
次いで、重なり度算出部３４２は、上記Ｓ６１にて選択した移動物体領域ＭＯＡａ（ｔ）の外接矩形（第１の対応図形）に対し、上記Ｓ６２にて選択した移動物体領域ＭＯＡａ（ｔ＋１）の外接矩形（第２の対応図形）が重なっている画素数を互いの重なり度として算出する（Ｓ６３：重なり度算出ステップ）。
【0233】
追跡処理部３４３は、算出した重なり度が所定の基準値α１（単位は例えばｐｉｘ）未満の場合（Ｓ６４でＮＯ）、後述するＳ６５およびＳ６６の処理を行うことなく、Ｓ６７の処理を実行する。上記基準値α１の具体的な値は特に限定されず、適宜設定されてよい。
【0234】
追跡処理部３４３は、算出した重なり度が所定の基準値α１以上の場合（Ｓ６４でＹＥＳ）、以下の処理を行う。
【0235】
（物体方向情報が無方向Ｇｒ０であることを解消する処理）
移動物体領域ＭＯＡａ（ｔ＋１）について、物体方向情報が無方向Ｇｒ０の値を有する場合に、物体方向情報が無方向Ｇｒ０となっていることを解消する解消処理を実行する（Ｓ６５）。この解消処理について、図１２を用いて以下に説明する。図１２は、上記解消処理の一例を示すフローチャートである。
移動物体領域ＭＯＡａ（ｔ＋１）について、物体方向情報が無方向Ｇｒ０の値を有する場合に、物体方向情報が無方向Ｇｒ０となっていることを解消する解消処理を実行する（Ｓ６５）。この解消処理について、図１２を用いて以下に説明する。図１２は、上記解消処理の一例を示すフローチャートである。
【0236】
図１２に示すように、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報が無方向Ｇｒ０以外の場合、換言すれば近方向Ｇｒ１～左方向Ｇｒ４のいずれかである場合（Ｓ６５１でＮＯ）、上記Ｓ６５の解消処理を終了する。
【0237】
一方で、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報が無方向Ｇｒ０である場合（Ｓ６５１でＹＥＳ）には、以下の処理を行う。
【0238】
追跡処理部３４３は、時点［ｔ］における画像に含まれる移動物体領域ＭＯＡａ（ｔ）の物体方向情報が無方向Ｇｒ０である場合（Ｓ６５２でＹＥＳ）には、上記Ｓ６５の解消処理を終了する。その一方で、移動物体領域ＭＯＡａ（ｔ）の物体方向情報が無方向Ｇｒ０以外の場合、換言すれば近方向Ｇｒ１～左方向Ｇｒ４のいずれかである場合（Ｓ６５２でＮＯ）、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報を移動物体領域ＭＯＡａ（ｔ）の物体方向情報に変更するかどうか以下のように判定する。ここで、移動物体領域ＭＯＡａ（ｔ）の物体方向情報をＭＤａ（ｔ）とする。なお、これは一例であって、上記Ｓ６５２では、移動物体領域ＭＯＡａ（ｔ）の物体方向情報が、（ｉ）無方向の特性を持つ種類の第２種の物体方向情報（無方向Ｇｒ０）および（ｉｉ）有方向の特性を持つ種類の第１種の物体方向情報（近方向Ｇｒ１～左方向Ｇｒ４）、の何れであるかという判定を行うようになっていればよい。
【0239】
追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ＋１）において、「移動物体領域ＭＯＡａ（ｔ＋１）の全画素数」に対する「画素方向情報がＭＤａ（ｔ）である画素数」の比が所定値α２以上である場合（Ｓ６５３でＹＥＳ）、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報を、移動物体領域ＭＯＡａ（ｔ）の物体方向情報に変更する（Ｓ６５４）。例えば、移動物体領域ＭＯＡａ（ｔ）の物体方向情報が近方向Ｇｒ１であった場合、移動物体領域ＭＯＡａ（ｔ＋１）の物体方向情報を無方向Ｇｒ０から近方向Ｇｒ１に変更する。なお、上記所定値α２の具体的な値は特に限定されず、適宜設定されてよい。
【0240】
一方で、上記Ｓ６５３にて、「移動物体領域ＭＯＡａ（ｔ＋１）の全画素数」に対する「画素方向情報がＭＤａ（ｔ）である画素数」の比が所定値α２未満の場合（Ｓ６５３でＮＯ）、上記Ｓ６５における解消処理を終了する。
【0241】
再び図１１を参照して、上記Ｓ６５における処理の後、追跡処理部３４３は、上記Ｓ６４にて選択した移動物体領域ＭＯＡａ（ｔ＋１）を、「仮のリスト」に追加する（Ｓ６６）。なお、本実施形態における追跡処理部３４３は、上記Ｓ６４でＹＥＳであれば、上記Ｓ６５における処理内容に関わらず、必ず上記Ｓ６６を実行する。
【0242】
次いで、時点［ｔ＋１］における画像中の移動物体領域群（ｔ＋１）の全てを追跡処理の対象にし終わっていない場合（Ｓ６７でＮＯ）、上記Ｓ６２からの処理を実行する。例えば、移動物体領域ＭＯＡａ（ｔ）と移動物体領域ＭＯＡｂ（ｔ＋１）とについて上記Ｓ６２からの処理を行う。一方で、Ｓ６７でＹＥＳの場合、追跡処理部３４３は、Ｓ６１にて追跡処理の対象として選択した移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）を特定する処理を行う（Ｓ６８：特定処理ステップ）。
【0243】
（特定処理）
追跡処理部３４３が実行する特定処理について、図１３を用いて以下に説明する。図１３は、移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）を特定する特定処理の一例を示すフローチャートである。
追跡処理部３４３が実行する特定処理について、図１３を用いて以下に説明する。図１３は、移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）を特定する特定処理の一例を示すフローチャートである。
【0244】
図１３に示すように、追跡処理部３４３は、「仮のリスト」中に移動物体領域ＭＯＡｘ（ｔ＋１）が無い場合（Ｓ６８１でＮＯ）、移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡ（ｔ＋１）が移動物体領域群（ｔ＋１）中に存在しないと判定する（Ｓ６８５）。この場合、移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡ（ｔ＋１）が存在しないこととなり（追跡不可であり）、以降の処理対象とすることが不適となり得る。そのため、記憶部３２から移動物体領域ＭＯＡａ（ｔ）に関するデータを消去してもよい。また、以降の処理において当該データを使用しないように設定してもよい。
【0245】
上記に対して、Ｓ６８１でＹＥＳの場合において、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ）と同じ物体方向情報を有する移動物体領域ＭＯＡｘ（ｔ＋１）が「仮のリスト」中に有れば（Ｓ６８２でＹＥＳ）、移動物体領域ＭＯＡａ（ｔ）と同じ物体方向情報を有する移動物体領域ＭＯＡｘ（ｔ＋１）の中で「重なり度」が最大のものを移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）として特定する（Ｓ６８３）。
【0246】
一方で、Ｓ６８２でＮＯの場合、「仮のリスト」中に含まれる移動物体領域ＭＯＡｘ（ｔ＋１）の中で「重なり度」が最大のものを移動物体領域ＭＯＡａ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）として特定する（Ｓ６８４）。
【0247】
本明細書において、上記Ｓ６８３またはＳ６８４にて特定した移動物体領域ＭＯＡｘ（ｔ＋１）を、移動物体領域ＭＯＡａ（ｔ）に対応する対応物体領域と称する。
【0248】
（Ｓ６の補記事項）
本実施形態における追跡処理部３４３は、移動物体領域群（ｔ）に含まれる移動物体領域ＭＯＡａ（ｔ）～ＭＯＡｄ（ｔ）のそれぞれについて上記Ｓ６０～Ｓ６８の処理を行うことにより、各移動物体領域ＭＯＡａ（ｔ）～ＭＯＡｄ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）を特定する。或いは、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ）～ＭＯＡｄ（ｔ）のそれぞれについて上記Ｓ６０～上記Ｓ６７の処理を行った後、各移動物体領域ＭＯＡａ（ｔ）～ＭＯＡｄ（ｔ）について上記Ｓ６８の処理を行うようになっていてもよい。
本実施形態における追跡処理部３４３は、移動物体領域群（ｔ）に含まれる移動物体領域ＭＯＡａ（ｔ）～ＭＯＡｄ（ｔ）のそれぞれについて上記Ｓ６０～Ｓ６８の処理を行うことにより、各移動物体領域ＭＯＡａ（ｔ）～ＭＯＡｄ（ｔ）に対応する移動物体領域ＭＯＡｘ（ｔ＋１）を特定する。或いは、追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ）～ＭＯＡｄ（ｔ）のそれぞれについて上記Ｓ６０～上記Ｓ６７の処理を行った後、各移動物体領域ＭＯＡａ（ｔ）～ＭＯＡｄ（ｔ）について上記Ｓ６８の処理を行うようになっていてもよい。
【0249】
（小括２）
以上のように、本実施形態における画像処理装置３０は、エレベータの乗場２をカメラ２１にて撮像した画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示す移動物体領域ＭＯＡを決定する移動物体決定部３３とを備えている。また、画像処理装置３０は、前記画像であって、時点［ｔ］における画像および時点［ｔ＋１］における画像（所定の時間差を有する第１の画像および第２の画像）について、時点［ｔ］における画像中に含まれる複数の移動物体領域ＭＯＡｘ（ｔ）にそれぞれ対応する複数の第１の対応図形、および、時点［ｔ＋１］における画像中に含まれる複数の移動物体領域ＭＯＡｘ（ｔ＋１）にそれぞれ対応する複数の第２の対応図形を設定する図形設定部３４１を備えている。そして、画像処理装置３０は、複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出部３４２を備えている。さらに、画像処理装置３０は、時点［ｔ］における画像中において、或る１つの前記第１の対応図形に対応する移動物体領域ＭＯＡａ（ｔ）にて像が示される移動物体１を処理対象物体とし、時点［ｔ＋１］における画像中において、乗場２に存在する、前記処理対象物体と同一の移動物体１に対応する像を示す移動物体領域ＭＯＡｘ（ｔ＋１）を対応物体領域として、前記重なり度が所定の基準値α１以上であることに基づいて前記対応物体領域を特定する追跡処理部３４３を備えている。
以上のように、本実施形態における画像処理装置３０は、エレベータの乗場２をカメラ２１にて撮像した画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示す移動物体領域ＭＯＡを決定する移動物体決定部３３とを備えている。また、画像処理装置３０は、前記画像であって、時点［ｔ］における画像および時点［ｔ＋１］における画像（所定の時間差を有する第１の画像および第２の画像）について、時点［ｔ］における画像中に含まれる複数の移動物体領域ＭＯＡｘ（ｔ）にそれぞれ対応する複数の第１の対応図形、および、時点［ｔ＋１］における画像中に含まれる複数の移動物体領域ＭＯＡｘ（ｔ＋１）にそれぞれ対応する複数の第２の対応図形を設定する図形設定部３４１を備えている。そして、画像処理装置３０は、複数の前記第１の対応図形のうちの或る１つと、複数の前記第２の対応図形のそれぞれとの互いの重なり度を算出する重なり度算出部３４２を備えている。さらに、画像処理装置３０は、時点［ｔ］における画像中において、或る１つの前記第１の対応図形に対応する移動物体領域ＭＯＡａ（ｔ）にて像が示される移動物体１を処理対象物体とし、時点［ｔ＋１］における画像中において、乗場２に存在する、前記処理対象物体と同一の移動物体１に対応する像を示す移動物体領域ＭＯＡｘ（ｔ＋１）を対応物体領域として、前記重なり度が所定の基準値α１以上であることに基づいて前記対応物体領域を特定する追跡処理部３４３を備えている。
【0250】
ここで、従来、異なるフレームの２枚の画像を用いて、一方の画像における或る移動物体領域と、他方の画像に含まれる各移動物体領域との重心（または中心）のユークリッド距離を算出し、算出したユークリッド距離が閾値以下でありかつ最小となる移動物体領域同士を、フレーム間で同一の移動物体領域であると判定する技術が知られている。
【0251】
ところで、或る移動物体１が、時点［ｔ］から時点［ｔ＋１］までの間に移動する距離（移動距離）には、通常、限界がある。そのため、上限値（移動距離上限値）があると言うことができる。そのため、上記のように「ユークリッド距離」を求めた場合にも、通常、「ユークリッド距離上限値」があることになる。
【0252】
上記「移動距離上限値」については、移動物体１がカメラ２１からどれだけの距離に存在するかに関係なく一定値でよいが、「ユークリッド距離上限値」は、移動物体１がカメラ２１からどれだけの距離に存在するかに応じて（つまり、移動物体領域が画像上のどこに位置しているかに応じて）変動させる必要がある。換言すれば、移動物体１がカメラ２１から遠ければ遠いほど、「ユークリッド距離上限値」を小さい値（反対に、カメラ２１に近ければ近いほど大きい値）とする必要がある。そのようにして「ユークリッド距離上限値」を決定しなければならないことは、煩雑である。
【0253】
これに対して、本実施形態における画像処理装置３０では、時点［ｔ］での移動物体領域と、時点［ｔ＋１］での移動物体領域とで、それぞれの「外接矩形」の間の「重なり度」（重複画素数）を求める。ここで、「外接矩形」は、上記第１の対応図形および上記第２の対応図形の一例である。また、上記第１の対応図形および上記第２の対応図形の重なり度の一例である画素数に基づいて評価する。
【0254】
この場合、「移動距離上限値」に対応するものとして、一定の「重なり度下限値」（所定の基準値α１）を設ければよい。このように「重なり度下限値」を一定値にしても問題がない理由は以下のとおりである。すなわち、「重なり度下限値」と比較する「外接矩形の大きさ（画素数）」は、移動物体１の存在する位置がカメラ２１から遠ければ遠いほど小さくなる（反対に、位置が近ければ近いほど「外接矩形の大きさ（画素数）」が大きくなる）。そのため、「ユークリッド距離上限値」を移動物体１の存在する位置がカメラ２１から遠ければ遠いほど小さい値（近ければ近いほど大きい値）とすることと同じ効果を持つことになる。
【0255】
したがって、本実施形態の画像処理装置３０では、上記の従来技術のような煩雑な処理が不要となる。
【0256】
また、本実施形態の画像処理装置３０では、追跡処理部３４３は、重なり度が所定の基準値以上である複数の移動物体領域ＭＯＡｘ（ｔ＋１）の中から、前記対応物体領域を、前記重なり度が最も大きいことに基づいて特定する。
【0257】
上記の構成によれば、時点［ｔ］における画像中の或る移動物体領域ＭＯＡａ（ｔ）が、時点［ｔ＋１］における画像中のどの移動物体領域ＭＯＡｘ（ｔ＋１）に対応するかを、重なり度算出部３４２にて算出した重なり度が最も大きいことに基づいて特定することができる。そのため、移動物体領域ＭＯＡの追跡精度を高めることができる。
【0258】
また、移動物体領域ＭＯＡは、移動物体１の移動方向に関する物体方向情報を有している。追跡処理部３４３は、前記対応物体領域を、前記物体方向情報が互いに同一であり、かつ前記重なり度が最も大きいことに基づいて特定することが好ましい。
【0259】
一般に、移動物体１が急激な方向転換を行う可能性は低いと考えられる。上記の構成によれば、移動物体領域の追跡処理において、時点［ｔ］と時点［ｔ＋１］とで物体方向情報が互いに同じである移動物体領域を優先的に対応物体領域と特定することができる。そのため、移動物体領域の追跡精度を高めることができる。
【0260】
また、本実施形態の画像処理装置３０における追跡処理部３４３は、移動物体領域ＭＯＡａ（ｔ）の有する前記物体方向情報が有方向の特性を持つ第１種の物体方向情報であり、かつ、移動物体領域ＭＯＡｘ（ｔ＋１）の有する前記物体方向情報が無方向の特性を持つ第２種の物体方向情報である場合、移動物体領域ＭＯＡｘ（ｔ＋１）の有する前記物体方向情報を、移動物体領域ＭＯＡａ（ｔ）の有する前記物体方向情報に一致させるようになっていることが好ましい。
【0261】
上記の構成によれば、追跡処理部３４３は、例えば、時点［ｔ＋１］において移動物体１が一時的に立ち止まった等の理由によって、第２の対応図形に対応する移動物体領域ＭＯＡ（ｔ＋１）が無方向Ｇｒ０の物体方向情報（第２種の物体方向情報）を有する場合、以下の処理を行う。すなわち、第２の対応図形に対応する移動物体領域ＭＯＡ（ｔ＋１）の物体方向情報を、時点［ｔ］における移動物体領域ＭＯＡ（ｔ）の物体方向情報に変更（更新）する。そのため、時点［ｔ＋１］において移動物体１が一時的に立ち止まった等により移動物体領域ＭＯＡ（ｔ＋１）の物体方向情報が無方向Ｇｒ０となったとしても、時点［ｔ］における物体方向情報（第１種の物体方向情報）を引き継ぐことができる。その結果、物体方向情報を含めて移動物体領域ＭＯＡを追跡することができる。
【0262】
以上のような画像処理装置３０にて行われる処理を含む、画像処理方法についても本発明の範疇に入る。
【0263】
（変形例２）
（２ａ）上記実施形態では、図形設定部３４１は、移動物体領域ＭＯＡを囲う矩形の対応図形を設定し、その例として外接矩形を挙げたが、これに限定されない。例えば、他の一実施形態では、図形設定部３４１は、外接しない矩形を設定してもよい。すなわち、矩形の４辺と移動物体領域ＭＯＡの外縁との間に多少の間隔が存在しても構わない。
（２ａ）上記実施形態では、図形設定部３４１は、移動物体領域ＭＯＡを囲う矩形の対応図形を設定し、その例として外接矩形を挙げたが、これに限定されない。例えば、他の一実施形態では、図形設定部３４１は、外接しない矩形を設定してもよい。すなわち、矩形の４辺と移動物体領域ＭＯＡの外縁との間に多少の間隔が存在しても構わない。
【0264】
なお、図形設定部３４１は、矩形以外の形状の対応図形を設定してもよい。例えば、図形設定部３４１は、楕円形の対応図形を設定してもよい。
【0265】
（２ｂ）図形設定部３４１は、移動物体１の存在する位置がカメラ２１から遠ければ遠いほど対応図形の大きさ（画素数）が小さくなるように（反対に、近ければ近いほど大きくなるように）、対応図形の大きさを設定するようになっていてもよい。このように対応図形の大きさを設定するようになってさえいれば、対応図形の大きさは特に限定されるものではない。
【0266】
（Ｓ７について）
ここまで、画像処理装置３０の物体追跡部３４における、画像中の移動物体の像（移動物体領域）をフレーム間で追跡する処理について説明してきた。以下では、移動物体領域ＭＯＡについて、変動係数を算出する処理について説明する。なお、本実施形態では、図３におけるＳ１～Ｓ６の処理に引き続いて、またはＳ１～Ｓ５の処理の後に上記Ｓ６と並行して、変動係数演算部３５が変動係数を算出する処理について説明するが、本発明の一態様における画像処理装置３０および制御装置４０はこれに限定されない。つまり、公知の方法を用いて画像中の移動物体１を決定する処理または追跡する処理を行った結果に基づいて、以下に説明する変動係数演算部３５の処理を適用することも可能である。
ここまで、画像処理装置３０の物体追跡部３４における、画像中の移動物体の像（移動物体領域）をフレーム間で追跡する処理について説明してきた。以下では、移動物体領域ＭＯＡについて、変動係数を算出する処理について説明する。なお、本実施形態では、図３におけるＳ１～Ｓ６の処理に引き続いて、またはＳ１～Ｓ５の処理の後に上記Ｓ６と並行して、変動係数演算部３５が変動係数を算出する処理について説明するが、本発明の一態様における画像処理装置３０および制御装置４０はこれに限定されない。つまり、公知の方法を用いて画像中の移動物体１を決定する処理または追跡する処理を行った結果に基づいて、以下に説明する変動係数演算部３５の処理を適用することも可能である。
【0267】
再び図１および図３を参照して、物体追跡部３４によるＳ６の処理が行われた後、次いで、変動係数演算部３５は、以下のような処理を行うことにより移動物体領域ＭＯＡについて変動係数を算出する処理を行う（Ｓ７）。この変動係数の情報と、物体追跡部３４における追跡処理（上記Ｓ６）の結果とを、後述する意思推定処理にて用いることにより、乗車検知システム１０の検知精度向上を図る。具体的には、後述のＳ８に示されるように、制御装置４０の意思推定部４２１は、移動物体領域ＭＯＡに示される移動物体の乗車意思を推定する処理を行う。なお、画像処理装置３０および制御装置４０の両方を含む装置を情報処理装置と表現することもできる。
【0268】
（戸閉中のかご戸を判別する必要性）
移動物体決定部３３によって決定された移動物体領域ＭＯＡのうち、物体方向情報が近方向Ｇｒ１である移動物体領域ＭＯＡは、乗車意思ありと推定される移動物体１の像を示している蓋然性が高い、一方で、そのような移動物体領域ＭＯＡの中には、乗車意思ありと推定されることが不適切である移動物体１の像を示している可能性がある移動物体領域ＭＯＡも存在し得る。例えば、撮像画像に、閉戸動作中のかご戸２２（ドア）が映っている場合を考える。通常、かご戸２２は、移動物体決定部３３によって、右方向Ｇｒ２または左方向Ｇｒ４の物体方向情報を有する移動物体領域ＭＯＡとして決定される。一方で、外光等の影響により、移動物体決定部３３は、かご戸２２を近方向Ｇｒ１の物体方向情報を有する移動物体領域ＭＯＡとして決定する場合もある。このため、撮像画像中において、かご戸２２を判別することが必要である。後述するように、本実施形態では、かご戸２２の判別のために、変動係数を算出することが必要である。
移動物体決定部３３によって決定された移動物体領域ＭＯＡのうち、物体方向情報が近方向Ｇｒ１である移動物体領域ＭＯＡは、乗車意思ありと推定される移動物体１の像を示している蓋然性が高い、一方で、そのような移動物体領域ＭＯＡの中には、乗車意思ありと推定されることが不適切である移動物体１の像を示している可能性がある移動物体領域ＭＯＡも存在し得る。例えば、撮像画像に、閉戸動作中のかご戸２２（ドア）が映っている場合を考える。通常、かご戸２２は、移動物体決定部３３によって、右方向Ｇｒ２または左方向Ｇｒ４の物体方向情報を有する移動物体領域ＭＯＡとして決定される。一方で、外光等の影響により、移動物体決定部３３は、かご戸２２を近方向Ｇｒ１の物体方向情報を有する移動物体領域ＭＯＡとして決定する場合もある。このため、撮像画像中において、かご戸２２を判別することが必要である。後述するように、本実施形態では、かご戸２２の判別のために、変動係数を算出することが必要である。
【0269】
そこで、以下に述べるように、本実施形態の画像処理装置３０では、変動係数演算部３５が、移動物体領域ＭＯＡについて変動係数を算出する処理を行い、算出した変動係数を該移動物体領域ＭＯＡに対応付ける。
【0270】
（勾配方向および勾配強度の算出）
図１４は、変動係数演算部３５の処理の一例について説明するための図である。変動係数演算部３５は、画像取得部３１からデータを取得後に縮小処理（上記第１の画素数→上記第３の画素数）を行い、その後、グレースケールに変換する。または、画像取得部３１にて縮小処理（上記第１の画素数→上記第３の画素数）が行われて記憶部３２に保存されていたデータを、変動係数演算部３５が取得し、グレースケールに変換して用いてもよい。これにより、縮小されたグレー画像である画像ＧＰｒ（ｔ）（第３の画素数）を得る。変動係数演算部３５は、当該画像ＧＰｒ（ｔ）を用いて、各移動物体領域ＭＯＡの勾配方向および勾配強度を算出する。図１４の例では、撮像画像の画素値（輝度）は２５６階調（０～２５５）で表されている。
図１４は、変動係数演算部３５の処理の一例について説明するための図である。変動係数演算部３５は、画像取得部３１からデータを取得後に縮小処理（上記第１の画素数→上記第３の画素数）を行い、その後、グレースケールに変換する。または、画像取得部３１にて縮小処理（上記第１の画素数→上記第３の画素数）が行われて記憶部３２に保存されていたデータを、変動係数演算部３５が取得し、グレースケールに変換して用いてもよい。これにより、縮小されたグレー画像である画像ＧＰｒ（ｔ）（第３の画素数）を得る。変動係数演算部３５は、当該画像ＧＰｒ（ｔ）を用いて、各移動物体領域ＭＯＡの勾配方向および勾配強度を算出する。図１４の例では、撮像画像の画素値（輝度）は２５６階調（０～２５５）で表されている。
【0271】
具体的には、変動係数演算部３５は、移動物体領域ＭＯＡにおいて、画像ＧＰｒ（ｔ）の各画素における輝度の勾配方向および勾配強度を算出する。図１４では、かご戸２２の所定の１つの画素（注目画素）について、勾配方向および勾配強度を算出する場合が例示されている。より具体的には、変動係数演算部３５は、０°～１８０°の勾配方向を算出する。
【0272】
変動係数演算部３５によって、注目画素の勾配方向および勾配強度を算出する場合を例示する。
【0273】
まず、ドア開閉路２４に対応する、撮像画像Ｐ０上の線分である開閉範囲線分に平行な方向をＸ方向とし、垂直な方向をＹ方向とする。Ｙの正方向は、かご２０内に向かう方向とし、Ｘの正方向は、Ｙの正方向に対して反時計回りに９０°回転した方向とする。変動係数演算部３５は、注目画素のＸ方向の値およびＹ方向の値を算出する。なお、以下の例において、Ｘの正方向およびＹの正方向はそれぞれ、図１４の例における画像ＧＰｒ（ｔ）の右方向および下方向に対応する。
【0274】
変動係数演算部３５は、まず、注目画素を中心画素とする３×３の画素マトリクスを取得する。そして、変動係数演算部３５は、図１４に示されるように、例えばＳｏｂｅｌフィルタを上記画素マトリクスに適用することにより、勾配方向（以下、Ｇθ）および勾配強度（以下、ＧＤ）を算出する。
【0275】
変動係数演算部３５は、上記画素マトリクスに横方向のＳｏｂｅｌフィルタを適用することにより、Ｘ方向の値を導出する。図１４の例では、変動係数演算部３５は、
９７×（－１）＋５７×０＋２３×１
＋２１１×（－２）＋１８６×０＋７４×２
＋２４３×（－１）＋１７９×０＋１６７×１
＝－４２４＝－Ｘ
として、Ｘ方向の値を導出する。Ｘは、Ｘ方向の絶対値を表すものとする。このため、Ｘ方向の値については、Ｘまたは－Ｘとして表するものとする。
９７×（－１）＋５７×０＋２３×１
＋２１１×（－２）＋１８６×０＋７４×２
＋２４３×（－１）＋１７９×０＋１６７×１
＝－４２４＝－Ｘ
として、Ｘ方向の値を導出する。Ｘは、Ｘ方向の絶対値を表すものとする。このため、Ｘ方向の値については、Ｘまたは－Ｘとして表するものとする。
【0276】
また、変動係数演算部３５は、上記画素マトリクスに縦方向のＳｏｂｅｌフィルタを適用することにより、Ｙ方向の値を導出する。図１４の例では、変動係数演算部３５は、
９７×１＋５７×２＋２３×１
＋２１１×０＋１８６×０＋７４×０
＋２４３×（－１）＋１７９×（－２）＋１６７×（－１）
＝－５３４＝－Ｙ
として、Ｙ方向の値を導出する。Ｙは、Ｙ方向の絶対値を表すものとする。このため、Ｙ方向の値については、Ｙまたは－Ｙとして表するものとする。
である。
９７×１＋５７×２＋２３×１
＋２１１×０＋１８６×０＋７４×０
＋２４３×（－１）＋１７９×（－２）＋１６７×（－１）
＝－５３４＝－Ｙ
として、Ｙ方向の値を導出する。Ｙは、Ｙ方向の絶対値を表すものとする。このため、Ｙ方向の値については、Ｙまたは－Ｙとして表するものとする。
である。
【0277】
続いて、変動係数演算部３５は、上述のＸおよびＹに対して、下記のようにＧθを算出する。
【0278】
（Ｘ、Ｙ）に対しては、Ｇθ＝ａｔａｎ（Ｙ／Ｘ）
（－Ｘ、－Ｙ）に対しても、Ｇθ＝ａｔａｎ（Ｙ／Ｘ）
（Ｘ、－Ｙ）に対しては、Ｇθ＝１８０°－ａｔａｎ（Ｙ／Ｘ）
（－Ｘ、Ｙ）に対しても、Ｇθ＝１８０°－ａｔａｎ（Ｙ／Ｘ）。
（－Ｘ、－Ｙ）に対しても、Ｇθ＝ａｔａｎ（Ｙ／Ｘ）
（Ｘ、－Ｙ）に対しては、Ｇθ＝１８０°－ａｔａｎ（Ｙ／Ｘ）
（－Ｘ、Ｙ）に対しても、Ｇθ＝１８０°－ａｔａｎ（Ｙ／Ｘ）。
【0279】
すなわち、勾配方向が同一直線に乗れば同じ方向であるとして、直線上の順方向と逆方向とを同一視し、Ｇθを０°～１８０°の値にする。
【0280】
【0281】
【0282】
（変動係数の算出）
変動係数演算部３５は、移動物体領域ＭＯＡごとに、画像ＧＰｒ（ｔ）の各画素をＧθに応じて複数のグループに分類する。そして、変動係数演算部３５は、各グループに属する画素の数を算出する。以下、１つの移動物体領域ＭＯＡに対する処理を説明する。
変動係数演算部３５は、移動物体領域ＭＯＡごとに、画像ＧＰｒ（ｔ）の各画素をＧθに応じて複数のグループに分類する。そして、変動係数演算部３５は、各グループに属する画素の数を算出する。以下、１つの移動物体領域ＭＯＡに対する処理を説明する。
【0283】
以下の例では、上記分類のために、Ｇθは、２０°ごとに区分されるものとする。この場合、変動係数演算部３５は、第１勾配方向グループ（勾配方向０°～２０°のグループ）～第９勾配方向グループ（勾配方向１６０°～１８０°のグループ）の９通りのグループに、各画素を分類する。そして、変動係数演算部３５は、第ｉ勾配方向グループに属する画素の数Ｎｉを算出する。但し、１≦ｉ≦９である。換言すれば、変動係数演算部３５は、移動物体領域ごとに、各勾配方向グループの画素数の分布を示すヒストグラムを生成する。
【0284】
但し、ＧＤ＝０の画素は、変動係数の計算においては考慮しないことが好ましいため、どのグループにも属さないものとして取り扱われる（つまり、読み捨てられる）。一例として、かご戸２２のドアパネル先端面（略称：先端面）に外光が影響することにより、所定の注目画素では、３×３の上記画素マトリクスの輝度は、全て２５５となる。
【0285】
変動係数演算部３５は、移動物体領域ＭＯＡごとに、上記ヒストグラムに基づき変動係数（以下、ＣＶ）を算出する（Ｓ７）。以下、１つの移動物体領域ＭＯＡに対する処理を説明する。まず、変動係数演算部３５は、Ｎ１～Ｎ９の平均値（より厳密には、算術平均）Ｎｍを算出する。また、変動係数演算部３５は、Ｎ１～Ｎ９の標準偏差σを算出する。そして、変動係数演算部３５は、
ＣＶ＝σ／Ｎｍ
として、ＣＶを算出する。ＣＶは、相対標準偏差とも称される。
ＣＶ＝σ／Ｎｍ
として、ＣＶを算出する。ＣＶは、相対標準偏差とも称される。
【0286】
（戸閉中のかご戸を変動係数によって判別できること）
かご戸２２の像を示す移動物体領域ＭＯＡのＣＶは、比較的大きい値（例：１よりも有意に大きい値）となる。一例として、発明者らによる実験の結果、かご戸２２の像を示す移動物体領域ＭＯＡのＣＶは、１．５～２程度の値となることが確認された。一方、ユーザまたは台車等の像を示す移動物体領域ＭＯＡのＣＶは、比較的小さい値（例：１以下の値）となる。このように、ユーザまたは台車等の像を示す移動物体領域ＭＯＡでは、かご戸２２の像を示す移動物体領域ＭＯＡに比べて、ＣＶの値が有意に小さい。
かご戸２２の像を示す移動物体領域ＭＯＡのＣＶは、比較的大きい値（例：１よりも有意に大きい値）となる。一例として、発明者らによる実験の結果、かご戸２２の像を示す移動物体領域ＭＯＡのＣＶは、１．５～２程度の値となることが確認された。一方、ユーザまたは台車等の像を示す移動物体領域ＭＯＡのＣＶは、比較的小さい値（例：１以下の値）となる。このように、ユーザまたは台車等の像を示す移動物体領域ＭＯＡでは、かご戸２２の像を示す移動物体領域ＭＯＡに比べて、ＣＶの値が有意に小さい。
【0287】
このようにして、移動物体領域ＭＯＡが、「かご戸２２の像でありそう」か、あるいは、「ユーザまたは台車等の像でありそうか」を、「ＣＶ≧ＣＶｔｈ」または「ＣＶ＜ＣＶｔｈ」のいずれの条件が満たされるかによって振り分ける（区別する）ことができる。ＣＶｔｈとは、このように振り分けるための閾値であり、例えばＣＶｔｈ＝１とすることができる。但し、ＣＶｔｈの値は任意に設定されてよく、上記の例に限定されない。
【0288】
ＣＶは、１つの移動物体領域において勾配方向の分布の偏りを示す指標である。かご戸２２の像とは、ドアパネル先端面が、画像上の移動物体領域に映った像である。先端面は、細長い長方形であるが、当該先端面が映った移動物体領域は、細長い台形となる。そして、長方形の長辺どうしは平行であるが、対応する台形の脚どうしもほぼ平行である。この台形に含まれる各画素の勾配方向は、一方の脚に垂直な方向から、他方の脚に垂直な方向までの、狭い角度範囲に集中する傾向を有している。つまり、このような狭い角度範囲の中に、勾配方向の分布が偏っていることになる。なお、上記先端面が映った移動物体領域は、台形から若干歪んだ図形として映る場合（台形の脚が少し湾曲したり、少し折れ曲ったりするような場合）もある。但し、この場合にも、勾配方向の分布が偏るという傾向が大きく外れることはない。一方、ユーザまたは台車等の像では、当該像が様々な勾配方向を有する。当該勾配方向では、特定の角度範囲に分布が偏ることが少ない傾向を有している。
【0289】
なお、かご戸２２が左右のドアパネルで構成される両開きタイプの場合、左パネル先端面が映った画像上の台形の角度は、４０°～８０°程度となり、右パネル先端面が映った画像上の台形の角度は、１１０°～１４０°程度となる。ただし、戸閉動作のどの段階であるか（戸閉直後、戸閉途中、および戸閉完了直前）に応じて、上記第形の角度は、このような角度範囲の中でも、より狭い角度範囲に属する。ここで左とはＸの負方向を、右とはＸの正方向をそれぞれ指す。そして、左パネルに対応する勾配方向は、４０°～８０°の垂直方向である１３０°～１７０°となり、右パネルに対応する勾配方向は、１１０°～１４０°の垂直方向である２０°～５０°となる。
【0290】
（変形例３）
（３ａ）変動係数演算部３５は、Sobelフィルタではなく、例えば微分フィルタまたはPrewittフィルタ等を用いて勾配方向と勾配強度とを算出してもよい。
（３ａ）変動係数演算部３５は、Sobelフィルタではなく、例えば微分フィルタまたはPrewittフィルタ等を用いて勾配方向と勾配強度とを算出してもよい。
【0291】
（３ｂ）変動係数演算部３５において、読み捨てられる画素はＧＤ＝０に限定されない。勾配強度の閾値（Ｄｔｈ：０より大）を設けてもよい。この場合、ＧＤ≦Ｄｔｈの画素を読み捨てるように処理を行えばよい。なお、前述したように、ドアパネル先端面の長方形が映った、移動物体領域の台形については、その垂直方向に勾配方向が偏るという傾向がある。但し、移動物体領域中のＧＤが「０」に近い画素については、そのような傾向から外れてしまう性質がある。そこで、このような画素を除外してＣＶを算出することにより、ＣＶｔｈとの比較による、かご戸と当該かご戸以外の判別を、安定させることができる。
【0292】
（Ｓ８について）
再び図１および図３を参照して、物体追跡部３４における追跡処理（上記Ｓ６）の結果および変動係数演算部３５による変動係数の算出処理（上記Ｓ７）の結果を用いて、制御装置４０の意思推定部４２１は、移動物体領域ＭＯＡに示される移動物体の乗車意思を推定する処理を行う（Ｓ８：意思推定ステップ）。なお、本実施形態では、図３におけるＳ１～Ｓ７の処理に引き続いて意思推定部４２１が実行する処理について説明するが、本発明の一態様における画像処理装置３０および制御装置４０はこれに限定されない。つまり、公知の方法を用いて、画像中の移動物体領域を追跡する処理を行った結果、および移動物体領域の変動係数を算出した結果に基づいて、以下に説明する意思推定部４２１の処理を適用することも可能である。
再び図１および図３を参照して、物体追跡部３４における追跡処理（上記Ｓ６）の結果および変動係数演算部３５による変動係数の算出処理（上記Ｓ７）の結果を用いて、制御装置４０の意思推定部４２１は、移動物体領域ＭＯＡに示される移動物体の乗車意思を推定する処理を行う（Ｓ８：意思推定ステップ）。なお、本実施形態では、図３におけるＳ１～Ｓ７の処理に引き続いて意思推定部４２１が実行する処理について説明するが、本発明の一態様における画像処理装置３０および制御装置４０はこれに限定されない。つまり、公知の方法を用いて、画像中の移動物体領域を追跡する処理を行った結果、および移動物体領域の変動係数を算出した結果に基づいて、以下に説明する意思推定部４２１の処理を適用することも可能である。
【0293】
本実施形態における意思推定部４２１は、上記Ｓ８において、画像中の或る移動物体領域について後述の条件１Ａ・２Ａの両者が満たされるとともに、後述の条件１Ｂ～３Ｂのうちの１つ以上が満たされる場合に、「移動物体領域にて示される移動物体が乗車意思を有している」と判定する。
【0294】
図１５は、Ｓ８の処理の一例を示すフローチャートである。以下、乗車意思を有している移動物体を示す領域を乗車意思あり物体領域と称する。これに対し、乗車意思を有していない移動物体を示す領域を、乗車意思なし物体領域と称する。
【0295】
図１５に示すように、先ず、意思推定部４２１は、或るフレーム（例：ＧＰ（ｔ））にについて、物体追跡部３４による追跡処理結果を示す情報を取得する（Ｓ８１）。
【0296】
ここで、上記Ｓ８１に続く意思推定部４２１による処理の説明に先立って、意思推定部４２１が用いる意思推定条件の前段部である条件１Ａ・２Ａについて説明する。ここで、連続する第１フレーム数について、条件１Ａ・２Ａは設定される。第１フレーム数は、フレームレートに基づいて適宜設定されてよい。本実施形態における第１フレーム数の設定値については、以下に述べる。
【0297】
（条件１Ａ）「或る時点［ｔ］における或る移動物体領域ＭＯＡｘ（ｔ）について、物体方向情報の値が近方向Ｇｒ１であり、追跡処理結果を示す情報によって該移動物体領域ＭＯＡｘ（ｔ）に対応すると特定された過去７フレームの移動物体領域ＭＯＡｘ（ｔ－１）、ＭＯＡｘ（ｔ－２）・・・ＭＯＡｘ（ｔ－７）の全てにおける物体方向情報の値が近方向Ｇｒ１である」。
【0298】
本実施形態では、或る時点［ｔ］のフレームと、その過去７フレームとを併せた、連続する８フレームの画像について、このフレーム数である「８個」を、第１フレーム数と呼ぶこととする。
【0299】
（条件２Ａ）「第１フレーム数の連続する複数の画像のうち、ＣＶがＣＶｔｈ未満である画像が、所定の第２フレーム数以上ある」。
【0300】
上述のように、本実施形態では、上記第１フレーム数は８個に設定されている。第２フレーム数は、第１フレーム数以下の任意のフレーム数である。本例では、第２フレーム数は、４フレームであるとする。つまり、第２フレーム数は、第１フレーム数の半分として設定されている。
【0301】
なお、これらの条件１Ａ・２Ａは意思推定条件の前段部の一例であって、意思推定条件は、任意に設定されてよく、これらに限定されない。上記第１フレーム数および第２フレーム数は、記憶部４１に意思推定条件データ４１２として記憶されている。或いは、これらの意思推定条件は意思推定部４２１に予め設定されていてもよい。上記第１フレーム数および第２フレーム数の具体的な値は、特に限定されない。
【0302】
上記Ｓ８１の後、意思推定部４２１は、条件１Ａが満たされているか否かを判定する（Ｓ８２）。条件１Ａが満たされていない場合（Ｓ８２でＮＯ）、「上記移動物体領域に示される移動物体１は、乗車意思を有していない」と判定する（Ｓ８６）。
【0303】
他方、条件１Ａが満たされている場合（Ｓ８２でＹＥＳ）、意思推定部４２１は、或る時点［ｔ］のフレームおよび連続する過去７個のフレームのそれぞれについて、上記Ｓ７における変動係数の算出結果を示す情報を取得する（Ｓ８３）。そして、意思推定部４２１は、或る時点［ｔ］のフレームおよび連続する過去７個のフレームのそれぞれにおいて、上記移動物体領域のＣＶに基づいて、条件２Ａが満たされているか否かを判定する（Ｓ８４）。条件２Ａが満たされていない場合（Ｓ８４でＮＯ）、Ｓ８７に進む。
【0304】
他方、条件２Ａが満たされている場合（Ｓ８４でＹＥＳ）、図１５の処理の流れによれば、条件１Ａ・２Ａの両者が満たされていることとなる。この場合、意思推定部４２１は、次に、条件１Ｂ～３Ｂについて判定を行う。
【0305】
ここで、条件１Ａ・２Ａを用いることによれば、乗車意思の推定を高精度に行うことができる点について、以下に説明する。
【0306】
（条件１Ａについて）
本来であれば右方向Ｇｒ２または左方向Ｇｒ４の物体方向情報を有する移動物体領域ＭＯＡにて示されるべき移動物体（例えば人物）が、あるフレームにおいて、近方向Ｇｒ１を有する移動物体領域ＭＯＡであると分類される場合がある。多くの場合、人は、歩行中に腕の振り降ろし動作を行う。従って、当該人が実際には右方向（または左方向）に向かって歩いていたとしても、動画像中において、腕がかご２０に近づく方向に動く場合がある。このような腕の動きに起因して、或る１フレームにおいて近方向Ｇｒ１を有する移動物体領域ＭＯＡであると分類される場合があり、この場合に、該移動物体領域ＭＯＡが乗車意思あり物体領域であると判定されることは適切ではない。上述のとおり、該移動物体領域ＭＯＡによって示される人は、実際には乗車意思を有していないためである。
本来であれば右方向Ｇｒ２または左方向Ｇｒ４の物体方向情報を有する移動物体領域ＭＯＡにて示されるべき移動物体（例えば人物）が、あるフレームにおいて、近方向Ｇｒ１を有する移動物体領域ＭＯＡであると分類される場合がある。多くの場合、人は、歩行中に腕の振り降ろし動作を行う。従って、当該人が実際には右方向（または左方向）に向かって歩いていたとしても、動画像中において、腕がかご２０に近づく方向に動く場合がある。このような腕の動きに起因して、或る１フレームにおいて近方向Ｇｒ１を有する移動物体領域ＭＯＡであると分類される場合があり、この場合に、該移動物体領域ＭＯＡが乗車意思あり物体領域であると判定されることは適切ではない。上述のとおり、該移動物体領域ＭＯＡによって示される人は、実際には乗車意思を有していないためである。
【0307】
そこで、乗車意思の推定処理をより適切に行うべく、条件１Ａが導入されている。一般に、腕の振り降ろし動作の開始から終了までの期間は、約２３０ｍｓ（ミリ秒）程度であると考えられる。そこで、２３０ｍｓ（０．２３秒）よりもある程度長い期間のフレーム数に亘って連続して、或る移動物体領域ＭＯＡの物体方向情報が近方向Ｇｒ１であれば、当該移動物体領域ＭＯＡにて示される移動物体は人の腕ではない（例：移動物体は実際にかご２０に向かって歩いてくる人である）可能性が高い。この点を踏まえ、この例では、条件１Ａにおいて、「２３０ｍｓ以上」という時間的な条件が規定されている。この時間的な条件を、フレーム数に換算して表すことを考えた場合、「８フレーム以上」に相当する。以下、この点について述べる。
【0308】
或る移動物体領域ＭＯＡについて、物体方向情報が近方向Ｇｒ１である状態が８個のフレームにおいて連続したときの最低の経過時間は、「フレーム間の間隔時間」が７回（第１フレーム数から１減算した数の回数）分経過した時間となる。
【0309】
ここで、「フレーム間の間隔時間」は、フレームレートの逆数で表され、例えばフレームレートが１秒あたり３０フレームだとすると、フレーム間の間隔時間は１／３０（秒）である。
【0310】
そのため、「フレーム間の間隔時間」が７回分は、約２３３ｍｓとなり、本実施形態において、フレームレートが１秒あたり３０フレームであり第１フレーム数が８個とすることで、第１フレーム数から１減算した数を前記動画像における１秒あたりのフレーム数で割算した結果の秒数が２３０ｍｓ以上という条件を満たしている。
【0311】
（条件２Ａについて）
条件２Ａによれば、ＣＶをさらに考慮することにより、条件１Ａを満たす各物体から、不適切な移動物体領域ＭＯＡを除外できる。また、動画像の一時的なノイズの影響を排除するために、条件２Ａにおいても、「４フレーム数以上」という条件が規定されている。一例として、第１フレーム数の連続する複数の画像のうち、ＣＶがＣＶｔｈ未満である画像が、第２フレーム数以上あれば、上記ノイズの影響を効果的に排除できると考えられる。
条件２Ａによれば、ＣＶをさらに考慮することにより、条件１Ａを満たす各物体から、不適切な移動物体領域ＭＯＡを除外できる。また、動画像の一時的なノイズの影響を排除するために、条件２Ａにおいても、「４フレーム数以上」という条件が規定されている。一例として、第１フレーム数の連続する複数の画像のうち、ＣＶがＣＶｔｈ未満である画像が、第２フレーム数以上あれば、上記ノイズの影響を効果的に排除できると考えられる。
【0312】
（条件１Ａ・２Ａの補記事項）
なお、上記の例において、条件２Ａは必ずしも意思推定条件に含まれていなくともよい。例えば、条件１Ａのみを意思推定条件の前段部として用いて、意思推定部４２１による判定処理が行われていてもよい。従って、ＣＶの算出は必須の処理ではない。このため、画像処理装置３０から、変動係数演算部３５を割愛することもできる。
なお、上記の例において、条件２Ａは必ずしも意思推定条件に含まれていなくともよい。例えば、条件１Ａのみを意思推定条件の前段部として用いて、意思推定部４２１による判定処理が行われていてもよい。従って、ＣＶの算出は必須の処理ではない。このため、画像処理装置３０から、変動係数演算部３５を割愛することもできる。
【0313】
なお、意思推定部４２１は、条件１Ａおよび条件２Ａとして、連続する第１フレーム数の画像に代えて、所定の判定期間内における複数の画像の全て、を用いて判定を行ってもよい。この所定の判定期間は、上述の理由から、２３０ｍｓ以上と設定されることが好ましい。この場合においても、上記第２フレーム数を設定し、条件２Ａの判定を行うことができる。
【0314】
（条件１Ｂ～３Ｂについて）
Ｓ８４でＹＥＳの場合、意思推定部４２１は、次に、意思推定条件の後段部である条件１Ｂ～３Ｂについて判定を行う。
Ｓ８４でＹＥＳの場合、意思推定部４２１は、次に、意思推定条件の後段部である条件１Ｂ～３Ｂについて判定を行う。
【0315】
本例では、移動物体領域の位置に基づいて、条件１Ｂ～３Ｂにより乗車意思の有無が判定される。また、上記Ｓ８２における８フレーム目を解析対象として、乗車意思の有無が判定される。
【0316】
図１６は、意思推定部４２１が実行する乗車意思推定処理の一例について説明するための図である。意思推定部４２１は、移動物体領域ＭＯＡに像が示される移動物体１の乗車意思の判定のための複数の判定領域（以下、ＡＲ）を、撮像画像中に設定する。当該判定領域は、撮像画像中に設定される仮想的な領域である。
【0317】
図１６の例では、ＡＲ１（第１判定領域，左判定領域）、ＡＲ２（第２判定領域，中央判定領域）、およびＡＲ３（第３判定領域，右判定領域）の、３つの判定領域が設定されている。図１６の（ａ）では、ＡＲ１～ＡＲ３が概略図として示されている。これに対し、図１６の（ｂ）では、ＡＲ１～ＡＲ３が、撮像画像中に設定された様子が示されている。
【0318】
図１６の例では、ＡＲ１～ＡＲ３はいずれも、矩形上の領域として設定されている。
【0319】
前述したように、画像上において、ドア開閉路２４に対応する開閉範囲線分、原点Ｏ、ｘ軸およびその正負方向、ｙ軸およびその正負方向を規定する。
【0320】
ＡＲ２は、ドア開閉路２４の中央部に対応する判定領域であり、前記ｙ軸を含み前記ｙ軸の負方向に広がる。より具体的には、ＡＲ２は、前記ｙ軸を対称軸として線対称となるように設定されている。ＡＲ２は、詳しくは後述するように、前記ｙ軸の正方向を対称軸として所定の中央判定角度幅にて左右対称に広がる角度範囲である第２有効進入角度範囲θ２Ａが設定されている。
【0321】
これに対し、ＡＲ１は、撮像画像の左側（ｘ軸の正方向側）においてＡＲ２と隣接し、前記ｙ軸を含まない。ＡＲ１は、詳しくは後述するように、前記ｙ軸の正方向から反時計回りに所定の左傾き角度にて傾いた方向を対称軸として所定の左判定角度幅にて左右対称に広がる角度範囲である第１有効進入角度範囲θ１Ａが設定されている。
【0322】
また、ＡＲ３は、撮像画像の右側（ｘ軸の負方向側）においてＡＲ２と隣接し、前記ｙ軸を含まない。ＡＲ３は、詳しくは後述するように、前記ｙ軸の正方向から時計回りに所定の右傾き角度にて傾いた方向を対称軸として所定の右判定角度幅にて左右対称に広がる角度範囲である第３有効進入角度範囲θ３Ａが設定されている。
【0323】
図１６の例では、ＡＲ１～ＡＲ３のｙ方向の長さはいずれも等しく設定されている。これに対し、ＡＲ２のｘ方向の長さは、ＡＲ１およびＡＲ３のそれぞれのｘ方向の長さに比べて短く設定されている。一例として、ＡＲ１およびＡＲ３のそれぞれのｘ方向の長さは、ＡＲ２のｘ方向の長さの２倍以上に設定されている。図１６の例では、ＡＲ１とＡＲ３とは、互いに、前記ｙ軸を対称軸として線対称の位置関係となるように設定されている。
【0324】
（平均角度について）
本例では、上記Ｓ８２における８フレーム目の移動物体領域ＭＯＡの平均角度（以下、θｍ）に着目して、乗車意思が推定される。ここで、平均角度θｍの求め方について以下に説明する。
本例では、上記Ｓ８２における８フレーム目の移動物体領域ＭＯＡの平均角度（以下、θｍ）に着目して、乗車意思が推定される。ここで、平均角度θｍの求め方について以下に説明する。
【0325】
画像中の移動物体領域ＭＯＡに含まれる各画素には、オプティカルフローおよび画素方向情報が対応付けられている。また、移動物体領域ＭＯＡには物体方向情報が対応付けられている。これらの情報は例えば記憶部３２に記憶されている。意思推定部４２１は、例えば記憶部３２から読み出した情報を用いて、或る移動物体領域ＭＯＡについて以下のように平均角度θｍを算出する。例えば、図９に示す例における移動物体領域ＭＯＡ３（近方向Ｇｒ１の物体方向情報を有する領域）について、画素方向情報の値が近方向Ｇｒ１である画素の全てについて、各画素のオプティカルフロー方向値（この例では３０°～１５０°の範囲内の角度値）を平均することにより、当該移動物体領域ＭＯＡ３の平均角度θｍを求める。本実施形態では、移動物体１が乗場２からかご２０に向かう移動方向を、「乗車移動方向」と称する。
【0326】
（条件１Ｂ～３Ｂの具体例）
図１５に示す上記Ｓ８４に続いて、意思推定部４２１は、意思推定条件の後段である以下の条件１Ｂ～３Ｂに基づいて、乗車意思を推定する処理を実行する（Ｓ８５）。具体的には、本例では、意思推定部４２１は、「条件１Ｂ～３Ｂのうちの１つ以上が満たされている」場合（Ｓ８５でＹＥＳ）に、「移動物体領域ＭＯＡにて像が示される移動物体１が乗車意思を有している」と判定する。より具体的には、意思推定部４２１は、「移動物体領域ＭＯＡは、乗車意思あり物体領域（乗車意思を有する移動物体を示す領域）である」と判定する（Ｓ８６）。一方で、意思推定部４２１は、条件１Ｂ～３Ｂをいずれも満たさない場合（Ｓ８５でＮＯ）、「移動物体領域ＭＯＡにて像が示される移動物体１は、乗車意思を有していない」と判定する。より具体的には、意思推定部４２１は、「移動物体領域ＭＯＡは、乗車意思なし物体領域（乗車意思を有していない移動物体を示す領域）である」と判定する（Ｓ８７）。
図１５に示す上記Ｓ８４に続いて、意思推定部４２１は、意思推定条件の後段である以下の条件１Ｂ～３Ｂに基づいて、乗車意思を推定する処理を実行する（Ｓ８５）。具体的には、本例では、意思推定部４２１は、「条件１Ｂ～３Ｂのうちの１つ以上が満たされている」場合（Ｓ８５でＹＥＳ）に、「移動物体領域ＭＯＡにて像が示される移動物体１が乗車意思を有している」と判定する。より具体的には、意思推定部４２１は、「移動物体領域ＭＯＡは、乗車意思あり物体領域（乗車意思を有する移動物体を示す領域）である」と判定する（Ｓ８６）。一方で、意思推定部４２１は、条件１Ｂ～３Ｂをいずれも満たさない場合（Ｓ８５でＮＯ）、「移動物体領域ＭＯＡにて像が示される移動物体１は、乗車意思を有していない」と判定する。より具体的には、意思推定部４２１は、「移動物体領域ＭＯＡは、乗車意思なし物体領域（乗車意思を有していない移動物体を示す領域）である」と判定する（Ｓ８７）。
【0327】
なお、本実施形態では、移動物体領域ＭＯＡと判定領域ＡＲｘとが、「共通の画素を有していない状態」から「共通の画素を有している状態」へと遷移したことを、「移動物体領域ＭＯＡが、判定領域ＡＲｘに進入した」と称する。ＡＲｘは、ＡＲ１～ＡＲ３のいずれか１つを指す。
【0328】
（条件１Ｂ）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ１に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第１有効進入角度範囲内にある」
（条件２Ｂ）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ２に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第２有効進入角度範囲内にある」
（条件３Ｂ）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ３に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第３有効進入角度範囲内にある」。
（条件２Ｂ）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ２に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第２有効進入角度範囲内にある」
（条件３Ｂ）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ３に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第３有効進入角度範囲内にある」。
【0329】
なお、移動物体領域ＭＯＡが複数の領域（例えばＡＲ１およびＡＲ２）にまたがって位置する場合は、ＡＲ１の有効進入角度範囲（図１６の例では、６０°～１５０°）だけでなく、ＡＲ２の有効進入角度範囲（図１６の例では、３０°～１５０°）も見ることになり、意思推定部４２１は、両方を包含した範囲（図１６の例では、３０°～１５０°）に基づいて乗車意思の判定を行えばよい。
【0330】
第１～第３有効進入角度範囲とは、それぞれ、ＡＲ１～ＡＲ３に対して設定されるθｍの範囲である。以下、図１６の（ｃ）～（ｅ）を参照し、これらの条件について述べる。図１６の（ｃ）～（ｅ）はそれぞれ、各角度範囲について説明するための図である。まず、条件２Ｂについて述べる。
【0331】
（条件２Ｂについて）
図１６の（ｄ）に示されるように、本例では、第２有効進入角度範囲θ２Ａは、３０°～１５０°として設定されている。このため、意思推定部４２１は、物体方向情報の値が近方向Ｇｒ１である移動物体領域であって、ＡＲ２内に含まれる画素が１つ以上存在し、かつθｍが３０°～１５０°である移動物体領域について、乗車意思あり物体領域であると判定する。移動物体領域がＡＲ２内に位置している場合には、当該移動物体領域がＡＲ１またはＡＲ３内に位置している場合に比べて、当該移動物体領域に示される移動物体がかご２０に乗り込もうとする（ドア開閉路２４の左端部から右端部までの範囲内に向けて進入しようとする）場合の角度範囲が広いと考えられる。このため、第２有効進入角度範囲θ２Ａは、以下に述べる第１有効進入角度範囲θ１Ａおよび第３有効進入角度範囲θ３Ａに比べて、広く設定されている。
図１６の（ｄ）に示されるように、本例では、第２有効進入角度範囲θ２Ａは、３０°～１５０°として設定されている。このため、意思推定部４２１は、物体方向情報の値が近方向Ｇｒ１である移動物体領域であって、ＡＲ２内に含まれる画素が１つ以上存在し、かつθｍが３０°～１５０°である移動物体領域について、乗車意思あり物体領域であると判定する。移動物体領域がＡＲ２内に位置している場合には、当該移動物体領域がＡＲ１またはＡＲ３内に位置している場合に比べて、当該移動物体領域に示される移動物体がかご２０に乗り込もうとする（ドア開閉路２４の左端部から右端部までの範囲内に向けて進入しようとする）場合の角度範囲が広いと考えられる。このため、第２有効進入角度範囲θ２Ａは、以下に述べる第１有効進入角度範囲θ１Ａおよび第３有効進入角度範囲θ３Ａに比べて、広く設定されている。
【0332】
なお、ＡＲ１～ＡＲ３のレイアウトを考慮すると、第２有効進入角度範囲θ２Ａは、９０°を基準（角度中心）とする所定の角度範囲として設定されることが好ましい。本例では、第２有効進入角度範囲θ２Ａは、９０°±６０°という角度範囲として設定されている。
【0333】
図１６の（ｄ）から理解されるように、ＡＲ２には、ｙ軸の正方向（９０°）を対称軸として左右対称に所定の中央判定角度幅が設定されている。上記の「６０°」という角度は、中央判定角度幅の一例である。
【0334】
（条件１Ｂについて）
これに対して、図１６の（ｃ）に示されるように、第１有効進入角度範囲θ１Ａは、６０°～１５０°として設定されている。
これに対して、図１６の（ｃ）に示されるように、第１有効進入角度範囲θ１Ａは、６０°～１５０°として設定されている。
【0335】
このため、意思推定部４２１は、物体方向情報の値が近方向Ｇｒ１でありＡＲ１内に含まれる画素が１つ以上存在する移動物体領域について、θｍが３０°～６０°（以下、第１無効進入角度範囲θ１Ｂ）の場合には、乗車意思なし物体領域であると判定する。第１有効進入角度範囲θ１Ａは、第２有効進入角度範囲θ２Ａから、第１無効進入角度範囲θ１Ｂを除外した角度とも表現できる。
【0336】
θｍが第１無効進入角度範囲θ１Ｂ内にある場合には、θｍが第１有効進入角度範囲θ１Ａ内にある場合に比べて、移動物体領域に示される移動物体がかご２０に乗り込もうとする場合の角度範囲が狭いと考えられる。より具体的には、θｍが第１無効進入角度範囲θ１Ｂ内にある場合には、移動物体領域に示される移動物体は、撮像画像の左側に向かって移動中である可能性が高いと考えられる。この点を踏まえ、第１有効進入角度範囲θ１Ａは、第２有効進入角度範囲θ２Ａに比べて狭く設定されている。
【0337】
なお、ＡＲ１～ＡＲ３のレイアウトを考慮すると、第１有効進入角度範囲θ１Ａの下限値は、９０°よりもある程度小さい値（例：６０°）として設定されることが好ましい。ＡＲ１の右端部に位置している移動物体がドア開閉路２４の左端部に向けて進入しようとする場合、θｍは９０°よりもある程度小さくなると考えられるためである。
【0338】
図１６の（ｃ）から理解されるように、ＡＲ１には、ｙ軸の正方向からｘ軸の負方向に所定の左傾き角度にて傾いた方向を対称軸として左右対称に、所定の左判定角度幅が設定されている。本実施形態では、第１有効進入角度範囲θ１Ａは、６０°～１５０°（１０５°±４５°）の角度範囲であって、ｙ軸の正方向（９０°）から反時計回りに１５°（所定の左傾き角度）傾いた１０５°の方向を対称軸として、４５°の角度幅（所定の左判定角度幅）にて左右対称に広がっている。
【0339】
（条件３Ｂについて）
また、図１６の（ｅ）に示されるように、第３有効進入角度範囲θ３Ａは、３０°～１２０°として設定されている。このため、意思推定部４２１は、物体方向情報の値が近方向Ｇｒ１でありＡＲ３内に含まれる画素が１つ以上存在する移動物体領域について、θｍが１２０°～１５０°（以下、第３無効進入角度範囲θ３Ｂ）の場合には、乗車意思なし物体領域であると判定する。
また、図１６の（ｅ）に示されるように、第３有効進入角度範囲θ３Ａは、３０°～１２０°として設定されている。このため、意思推定部４２１は、物体方向情報の値が近方向Ｇｒ１でありＡＲ３内に含まれる画素が１つ以上存在する移動物体領域について、θｍが１２０°～１５０°（以下、第３無効進入角度範囲θ３Ｂ）の場合には、乗車意思なし物体領域であると判定する。
【0340】
このように、第３有効進入角度範囲θ３Ａも、第２有効進入角度範囲θ２Ａよりも狭く設定されている。第３有効進入角度範囲θ３Ａは、第２有効進入角度範囲θ２Ａから、第３無効進入角度範囲θ３Ｂを除外した角度とも表現できる。より具体的には、第３無効進入角度範囲θ３Ｂは、第１無効進入角度範囲θ１Ｂと対になる角度範囲として設定されている。
【0341】
従って、条件１Ｂの例と同様に、θｍが第３無効進入角度範囲θ３Ｂ内にある場合には、θｍが第３有効進入角度範囲θ３Ａ内にある場合に比べて、移動物体領域に示される移動物体がかご２０に乗り込もうとしている可能性が低いと考えられる。より具体的には、θｍが第３無効進入角度範囲θ３Ｂ内にある場合には、移動物体領域に示される移動物体は、撮像画像の右側に向かって移動中である可能性が高いと考えられる。
【0342】
なお、ＡＲ１～ＡＲ３のレイアウトを考慮すると、第３有効進入角度範囲θ３Ａの上限値は、９０°よりもある程度大きい値（例：１２０°）として設定されることが好ましい。ＡＲ３の左端部に位置している推定対象物体がドア開閉路２４の右端部に向けて進入しようとする場合、θｍは９０°よりもある程度大きくなると考えられるためである。
【0343】
図１６の（ｄ）から理解されるように、ＡＲ３には、ｙ軸の正方向からｘ軸の正方向に所定の右傾き角度にて傾いた方向を対称軸として左右対称に、所定の右判定角度幅が設定されている。本実施形態では、第３有効進入角度範囲θ３Ａは、３０°～１２０°（７５°±４５°）の角度範囲であって、ｙ軸の正方向（９０°）から時計回りに１５°（所定の右傾き角度）傾いた７５°の方向を対称軸として、４５°の角度幅（所定の右判定角度幅）にて左右対称に広がっている。
【0344】
（条件１Ｂ・２Ｂ・３Ｂの補記事項）
なお、上記条件１Ｂ～３Ｂは意思推定条件の後段部の一例である。条件１Ｂ～３Ｂに係る各角度範囲は、任意に設定されてよく、これらに限定されない。上記第１有効進入角度範囲、第２有効進入角度範囲、第３有効進入角度範囲は、記憶部４１に意思推定条件データ４１２として記憶されている。また、複数の判定領域ＡＲ（例えばＡＲ１～ＡＲ３）を規定するパラメータ群（画像中における判定領域の４隅の座標等）は、記憶部４１に判定領域データ４１１として記憶されている。或いは、これらの意思推定条件は意思推定部４２１に予め設定されていてもよい。
なお、上記条件１Ｂ～３Ｂは意思推定条件の後段部の一例である。条件１Ｂ～３Ｂに係る各角度範囲は、任意に設定されてよく、これらに限定されない。上記第１有効進入角度範囲、第２有効進入角度範囲、第３有効進入角度範囲は、記憶部４１に意思推定条件データ４１２として記憶されている。また、複数の判定領域ＡＲ（例えばＡＲ１～ＡＲ３）を規定するパラメータ群（画像中における判定領域の４隅の座標等）は、記憶部４１に判定領域データ４１１として記憶されている。或いは、これらの意思推定条件は意思推定部４２１に予め設定されていてもよい。
【0345】
（その他の構成）
前述の決定処理ステップＳ５（図３を参照）における移動物体領域ＭＯＡを決定する処理にて用いられる所定値Ｖ１は、以下のように設定されてよい。すなわち、前述の第３の画素数を有する画像において、複数の判定領域ＡＲ（例えばＡＲ１～ＡＲ３）のそれぞれにおけるかご２０から遠い側の境界付近に例えば子供が存在するような場合に、該子供を検出できるような値となるように所定値Ｖ１を設定する。これにより、意思推定部４２１は、子供のような比較的小さな移動物体１についても、乗車意思を適切に推定することができる。
前述の決定処理ステップＳ５（図３を参照）における移動物体領域ＭＯＡを決定する処理にて用いられる所定値Ｖ１は、以下のように設定されてよい。すなわち、前述の第３の画素数を有する画像において、複数の判定領域ＡＲ（例えばＡＲ１～ＡＲ３）のそれぞれにおけるかご２０から遠い側の境界付近に例えば子供が存在するような場合に、該子供を検出できるような値となるように所定値Ｖ１を設定する。これにより、意思推定部４２１は、子供のような比較的小さな移動物体１についても、乗車意思を適切に推定することができる。
【0346】
（Ｓ９・Ｓ１０について）
再び図１および図３を参照して、意思推定部４２１によるＳ８の処理の結果、判定領域ＡＲ１～ＡＲ３の１つ以上に乗車意思あり物体領域が存在すると判定された場合、意思推定部４２１は、その旨の情報を動作制御部４２２に送信する。動作制御部４２２は、意思推定部４２１における処理の結果を用いて、かご戸２２の戸開閉動作を制御する（Ｓ９）。
再び図１および図３を参照して、意思推定部４２１によるＳ８の処理の結果、判定領域ＡＲ１～ＡＲ３の１つ以上に乗車意思あり物体領域が存在すると判定された場合、意思推定部４２１は、その旨の情報を動作制御部４２２に送信する。動作制御部４２２は、意思推定部４２１における処理の結果を用いて、かご戸２２の戸開閉動作を制御する（Ｓ９）。
【0347】
動作制御部４２２は、かご戸２２が戸開状態の場合、かご戸２２を戸閉動作させる指令（戸閉指令）を戸開閉装置５０に送信するまでの時間、という制御変数を有しており、例えば以下のように制御する。
【0348】
上記制御変数の初期値をゼロとし、かご戸２２が戸開状態になった時点で、第１所定時間にセットする。そして、時間経過に応じて、上記制御変数をカウントダウンし、ゼロになった時点で、戸開閉装置５０に戸閉指令を送信する。
【0349】
本実施形態における動作制御部４２２は、意思推定部４２１から乗車意思あり物体領域が存在する旨の情報を受信した時点において、かご戸２２が戸開状態の場合、かご戸２２に戸閉指令を送信するまでの時間を増加させる、すなわち、上記制御変数に第２所定時間を加算する。その後、時間経過に応じて上記制御変数をカウントダウンし、ゼロになった時点で、戸開閉装置５０に戸閉指令を送信する。
【0350】
なお、上記第１所定時間および上記第２所定時間は任意に設定されてよく、具体的な値は特に限定されない。また、動作制御部４２２は、意思推定部４２１から乗車意思あり物体領域が存在する旨の情報を受信した時点において、かご戸２２が戸開状態の場合、上記制御変数に第１所定時間を再セットするようになっていてもよい。
【0351】
また、動作制御部４２２は、意思推定部４２１から乗車意思あり物体領域が存在する旨の情報を受信した時点において、かご戸２２が戸閉動作中の場合、かご戸２２の戸閉動作を中止して戸開動作を実行する旨の戸開指令を戸開閉装置５０に送信する。
【0352】
その後、かご戸２２が戸閉状態となっていない場合（Ｓ１０でＮＯ）、本実施形態における乗車検知システム１０は、上記Ｓ２からの処理を再度行う。かご戸２２が戸閉状態となった場合（Ｓ１０でＹＥＳ）、乗車検知システム１０は処理を終了する。
【0353】
（変形例４）
上記実施形態では、ＡＲ１～ＡＲ３として矩形の判定領域を設定した例について説明したが、これに限定されない。例えば、ＡＲ１およびＡＲ３は、それぞれ扇形の判定領域として設定されてもよい。また、ＡＲ１およびＡＲ３は、扇形の弧が楕円の一部となっている形状の判定領域として設定されてもよい。
上記実施形態では、ＡＲ１～ＡＲ３として矩形の判定領域を設定した例について説明したが、これに限定されない。例えば、ＡＲ１およびＡＲ３は、それぞれ扇形の判定領域として設定されてもよい。また、ＡＲ１およびＡＲ３は、扇形の弧が楕円の一部となっている形状の判定領域として設定されてもよい。
【0354】
（小括３）
以上のように、本実施形態における乗車検知システム１０（画像処理装置３０および制御装置４０）は、エレベータの乗場２をカメラ２１にて撮像した動画像を構成する複数の画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示すとともに、該移動物体１の移動方向に関する物体方向情報を有する移動物体領域ＭＯＡを決定する移動物体決定部３３と、前記動画像の所定の期間内における複数の前記画像の全てにおいて同一の移動物体１に対応する像を示していると追跡された移動物体領域ＭＯＡの有する前記物体方向情報が、前記複数の画像の全てにおいて互いに同一であるか否かに基づき、当該移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する意思推定部４２１と、を備えている。
以上のように、本実施形態における乗車検知システム１０（画像処理装置３０および制御装置４０）は、エレベータの乗場２をカメラ２１にて撮像した動画像を構成する複数の画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示すとともに、該移動物体１の移動方向に関する物体方向情報を有する移動物体領域ＭＯＡを決定する移動物体決定部３３と、前記動画像の所定の期間内における複数の前記画像の全てにおいて同一の移動物体１に対応する像を示していると追跡された移動物体領域ＭＯＡの有する前記物体方向情報が、前記複数の画像の全てにおいて互いに同一であるか否かに基づき、当該移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する意思推定部４２１と、を備えている。
【0355】
例えば、動画像において人物が乗場２を横切る方向に歩行している場合、移動物体決定部３３は、当該人物の腕の振り降ろし動作によって、当該腕を、かご２０に近づく方向に動いている移動物体であると検出することが有り得る。意思推定部４２１は、このような分類に基づいて推定処理を行う場合、上記人物について誤った推定処理を行い得る。
【0356】
そこで、本実施形態における制御装置４０の意思推定部４２１は、所定の期間（例えば２３０ｍｓ以上）、同一の移動物体１に対応する像を示していると追跡された移動物体領域ＭＯＡについて、前記所定の期間内の複数の画像の全てにおいて該移動物体領域ＭＯＡの物体方向情報が互いに同一か否かに基づいて、該移動物体領域ＭＯＡに示される移動物体１の乗車意思を推定するようになっている。
【0357】
上記の構成によれば、意思推定部４２１は、或る移動物体１に対応する像を示す移動物体領域ＭＯＡの物体方向情報が例えば近方向Ｇｒ１である状態が、所定の期間以上、時間的に継続する場合に、該移動物体領域ＭＯＡにて像が示される移動物体１は乗車意思を有していると判定する。そのため、意思推定部４２１は、かご２０の前を通り過ぎる人物の腕の振り降ろし動作に起因して、当該腕をかご２０に近づく方向に動いている移動物体１であると検出したことに基づいて、上記人物が乗車意思を有していると判定することが抑制される。したがって、意思推定部４２１は、移動物体決定部３３における分類結果に基づき上記人物の乗車意思を誤って推定することを抑制して、乗車意思の推定を高精度に行うことができる。
【0358】
また、本実施形態の乗車検知システム１０は、前記複数の画像のそれぞれにおける移動物体領域ＭＯＡに含まれる各画素について算出した輝度の勾配方向を用いて、当該移動物体領域ＭＯＡに含まれる全画素を複数の勾配方向グループに分類し、前記勾配方向グループ毎の画素数の分布について平均値および標準偏差を算出するとともに、前記平均値に対する前記標準偏差の比である変動係数を算出する変動係数演算部３５をさらに備えている。意思推定部４２１は、さらに、移動物体領域ＭＯＡの前記変動係数に基づいて、当該移動物体領域ＭＯＡにて像が示される移動物体１が乗車意思を有していると判定することが好ましい。
【0359】
変動係数は、或る移動物体領域ＭＯＡの、勾配方向グループ毎の画素数の分布の偏り度合いを示す指標の１つである。かご戸２２では、一部のグループにのみ、勾配方向の分布が偏る傾向にある。一方で、人物等の移動物体の場合、かご戸２２の場合に比べ、勾配方向の分布の偏りが有意に小さい。このような変動係数の違いを捉えるために、例えば所定の閾値（例えば１以上）を設定することができる。これにより、かご戸２２と人等の移動物体との変動係数の違いに基づいて、乗車意思の推定対象として不適切な移動物体の像が示されている移動物体領域ＭＯＡを除外して、乗車意思の推定をより適切に行うことができる。
【0360】
本実施形態の乗車検知システム１０における意思推定部４２１は、前記動画像のうち連続する第１フレーム数の前記画像の全てにおいて同一の移動物体１に対応する像を示していると追跡された移動物体領域ＭＯＡの有する物体方向情報が、前記第１フレーム数の画像の全てにおいて互いに同一であるか否かに基づき、当該移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定してもよい。
【0361】
上記の構成によれば、意思推定部４２１は、或る移動物体１に対応する像を示す移動物体領域ＭＯＡの物体方向情報が例えば近方向Ｇｒ１の物体方向情報を有する状態が第１フレーム数の画像の全てにおいて継続している場合、当該移動物体領域ＭＯＡにて像が示される移動物体１が乗車意思を有していると推定する。意思推定部４２１は、移動物体決定部３３に分類結果に基づき上記人物の乗車意思を誤って推定することを抑制して、乗車意思の推定を高精度に行うことができる。
【0362】
また、意思推定部４２１は、さらに、前記第１フレーム数の連続する複数の画像のうち、移動物体領域ＭＯＡの前記変動係数が前記所定の閾値未満である画像が第２フレーム数以上ある場合に、前記移動物体領域にて像が示される移動物体１が乗車意思を有していると判定することが好ましい。上記の構成によれば、乗車検知システム１０は、意思推定部４２１によって、乗車意思の推定をより高精度に行うことができる。
【0363】
以上のように乗車検知システム１０の各部にて行われる処理（特に意思推定部４２１による意思推定ステップ）を含む、移動物体１の乗車意思を推定する乗車検知方法についても本発明の範疇に入る。
【0364】
（小括４）
以上のように、本実施形態における乗車検知システム１０（画像処理装置３０および制御装置４０）は、エレベータの乗場２をカメラ２１にて撮像した動画像を構成する複数の画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示すとともに、該移動物体１の移動方向に関する物体方向情報を有する移動物体領域ＭＯＡを決定する移動物体決定部３３と、移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する意思推定部４２１と、を備えている。ここで、前記画像における仮想的な複数の判定領域ＡＲ１～ＡＲ３、および複数の前記判定領域のそれぞれに対応する所定の有効進入角度範囲が予め設定されている。意思推定部４２１は、前記画像中にて移動物体領域ＭＯＡと前記判定領域ＡＲ１～ＡＲ３とが共通の画素を有する状態となった場合に、当該判定領域に対応する前記有効進入角度範囲に基づいて、当該移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する。
以上のように、本実施形態における乗車検知システム１０（画像処理装置３０および制御装置４０）は、エレベータの乗場２をカメラ２１にて撮像した動画像を構成する複数の画像を取得する画像取得部３１と、前記画像における、乗場２に存在する移動物体１に対応する像を示すとともに、該移動物体１の移動方向に関する物体方向情報を有する移動物体領域ＭＯＡを決定する移動物体決定部３３と、移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する意思推定部４２１と、を備えている。ここで、前記画像における仮想的な複数の判定領域ＡＲ１～ＡＲ３、および複数の前記判定領域のそれぞれに対応する所定の有効進入角度範囲が予め設定されている。意思推定部４２１は、前記画像中にて移動物体領域ＭＯＡと前記判定領域ＡＲ１～ＡＲ３とが共通の画素を有する状態となった場合に、当該判定領域に対応する前記有効進入角度範囲に基づいて、当該移動物体領域ＭＯＡにて像が示される移動物体１の前記エレベータのかご２０への乗車意思の有無を推定する。
【0365】
上記の構成によれば、意思推定部４２１は、複数の判定領域のいずれかへ移動物体領域ＭＯＡが進入した状態となった場合、該複数の判定領域のそれぞれに設定された有効進入角度範囲に基づいて、移動物体１の乗車意思を推定する。
【0366】
上記有効進入角度範囲については、例えば、移動物体１がかご２０に向き合っている方向と、上記複数の判定領域のそれぞれにおけるかご２０との位置関係と、に応じて設定することができる。
【0367】
これにより、前記画像中における移動物体領域ＭＯＡの位置に対応するように、かご２０への乗車意思の有無を推定することができる。そのため、乗車意思の有無を推定する精度を高めることができる。
【0368】
また、本実施形態における乗車検知システム１０では、前記画像において、実空間での前記エレベータのドア開閉路２４（かご戸の開閉路）に対応する線分を開閉範囲線分、前記開閉範囲線分の中心点を原点Ｏ、前記開閉範囲線分に沿った直線をｘ軸、前記開閉範囲線分に垂直かつ原点Ｏを通る直線をｙ軸、原点Ｏからかご２０内に向かう方向をｙ軸の正方向、原点Ｏから乗場２に向かう方向をｙ軸の負方向、前記ｙ軸の負方向に対して９０°反時計回りの方向をｘ軸の正方向、前記ｙ軸の負方向に対して９０°時計回りの方向をｘ軸の負方向、と規定する。そして、複数の前記判定領域として、ドア開閉路２４の中央部に対応する判定領域であり、前記ｙ軸を含み前記ｙ軸の負方向に広がる判定領域ＡＲ２（中央判定領域）と、前記ｘ軸の正方向（左方向）において判定領域ＡＲ２に隣接する判定領域であり前記ｙ軸を含まずに前記ｙ軸の負方向に広がる判定領域ＡＲ１（左判定領域）と、前記ｘ軸の負方向（右方向）において判定領域ＡＲ２に隣接する判定領域であり前記ｙ軸を含まずに前記ｙ軸の負方向に広がる判定領域ＡＲ３（右判定領域）と、が設定されている。一例では、判定領域ＡＲ２（中央判定領域）は、前記開閉範囲線分よりも短い範囲にて前記ｘ軸の正方向および負方向に広がっている。判定領域ＡＲ１（左判定領域）は、前記開閉範囲線分の一端を超えて前記ｘ軸の正方向に広がっている。判定領域ＡＲ３（右判定領域）は、前記開閉範囲線分の一端を超えて前記ｘ軸の負方向に広がっている。
【0369】
判定領域ＡＲ２は、前記ｙ軸の正方向を対称軸として所定の中央判定角度幅にて左右対称に広がる角度範囲が、所定の第２有効進入角度範囲θ２Ａとして設定されている。判定領域ＡＲ１は、前記ｙ軸の正方向から反時計回りに所定の左傾き角度にて傾いた方向を対称軸として所定の左判定角度幅にて左右対称に広がる角度範囲が、所定の第１有効進入角度範囲θ１Ａとして設定されている。判定領域ＡＲ３は、前記ｙ軸の正方向から時計回りに所定の右傾き角度にて傾いた方向を対称軸として所定の右判定角度幅にて左右対称に広がる角度範囲が、所定の第３有効進入角度範囲θ３Ａとして設定されている。
【0370】
上記の構成によれば、「中央判定領域」では「ｙ軸の正方向」を中心とし、「左判定領域」では「ｙ軸の正方向からｘ軸の負方向へ傾いた方向」を中心とし、「右判定領域」では「ｙ軸の正方向からｘ軸の正方向へ傾いた方向」を中心とする有効進入角度範囲がそれぞれ設定されている。そのため、移動物体領域のｘ軸方向の位置および移動方向に応じて的確に、かごの前を通り過ぎる人物に誤認することを回避して、移動物体の乗車意思を推定することができる。
【0371】
また、以上のような乗車検知システム１０の各部にて行われる処理を含む、移動物体１の乗車意思を推定する乗車検知方法についても本発明の範疇に入り、この乗車検知方法は以下のように整理することができる。
【0372】
すなわち、本実施形態における乗車検知方法は、エレベータの乗場をカメラにて撮像した動画像を構成する複数の画像を取得する画像取得ステップと、前記画像における、前記乗場に存在する移動物体に対応する像を示すとともに、該移動物体の移動方向に関する物体方向情報を有する移動物体領域を決定する移動物体決定ステップと、前記画像における仮想的な複数の判定領域、および複数の前記判定領域のそれぞれに対応する所定の有効進入角度範囲が予め設定されており、前記画像中にて前記移動物体領域と前記判定領域とが共通の画素を有する状態となった場合に、当該判定領域に対応する前記有効進入角度範囲に基づいて、当該移動物体領域に示される前記移動物体の前記エレベータのかごへの乗車意思の有無を推定する意思推定ステップと、を含む。
【0373】
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部位と同じ機能を有する部位については、同じ符号を付記し、その説明を繰り返さない。
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部位と同じ機能を有する部位については、同じ符号を付記し、その説明を繰り返さない。
【0374】
前記実施形態１では、意思推定部４２１は、意思推定条件の後段として判定領域ＡＲ１～ＡＲ３それぞれに適用される条件１Ｂ～３Ｂに基づいて乗車意思あり物体領域を判定し、その結果を用いて動作制御部４２２が、かご戸２２の戸開閉動作を制御していた。そして、前記実施形態１では、乗車意思あり物体領域が存在すると判定された場合、かご戸２２の状態に応じて、下記（Ａ）および（Ｂ）のようにかご戸２２の戸開閉動作を制御していた。
【0375】
（Ａ）かご戸２２が戸開状態の場合、かご戸２２に戸閉指令を送信するまでの時間を増加させる。
【0376】
（Ｂ）かご戸２２が戸閉動作中の場合、かご戸２２の戸閉動作を中止して戸開動作を実行する旨の戸開指令を戸開閉装置５０に送信する。
【0377】
ここで、前記実施形態１では、乗車意思あり物体領域が存在すると判定された場合、乗車意思あり物体領域が、ＡＲ１～ＡＲ３のいずれに進入したか、またはＡＲ１～ＡＲ３の２つ以上を含む組のうちいずれに進入したか、に関わらず、かご戸２２の戸開閉動作として上記（Ａ）および（Ｂ）の両方を適用していた。これに対して、本実施形態における乗車検知システム１０Ｂでは、意思推定部４２１における推定結果に基づいて、動作制御部４２２が、乗車意思あり物体領域の存在する位置に応じて、上記（Ａ）および（Ｂ）の両方を適用する場合と、上記（Ａ）のみを適用する場合とを切り替えるように制御を行う。すなわち、乗車意思あり物体領域が、ＡＲ１１（後述）とＡＲ１２（後述）とのいずれに進入したかに応じて、かご戸２２の戸開閉動作の制御が変化する点が異なっている。
【0378】
（本実施形態の乗車検知システム）
本実施形態では、前記実施形態１にて説明した図３におけるＳ１～Ｓ８の処理に引き続いて制御装置４０が実行する処理について説明する。本実施形態における意思推定部４２１は、画像中の或る移動物体領域ＭＯＡについて、前記実施形態１にて説明した意思推定条件における条件１Ａおよび条件２Ｂを満足すれば乗車意思あり物体領域として判定する。そして、動作制御部４２２は、以下のような処理を行うことにより、かご戸２２の戸開閉動作を制御する（Ｓ９：動作制御ステップ）。
本実施形態では、前記実施形態１にて説明した図３におけるＳ１～Ｓ８の処理に引き続いて制御装置４０が実行する処理について説明する。本実施形態における意思推定部４２１は、画像中の或る移動物体領域ＭＯＡについて、前記実施形態１にて説明した意思推定条件における条件１Ａおよび条件２Ｂを満足すれば乗車意思あり物体領域として判定する。そして、動作制御部４２２は、以下のような処理を行うことにより、かご戸２２の戸開閉動作を制御する（Ｓ９：動作制御ステップ）。
【0379】
なお、意思推定部４２１は、移動物体領域が条件１Ａおよび条件２Ａを満足し、かつ、条件２Ｂ－１（後述）および条件２Ｂ－２（後述）のいずれかを満足すれば乗車意思あり物体領域として判定するようになっていてもよい。また、本発明の一態様における乗車検知システム１０Ｂは以下に説明する構成に限定されず、画像中の移動物体の像について公知の方法を用いて画像処理することにより該移動物体の乗車意思を推定する処理を行った結果に基づいて、以下に説明する動作制御部４２２の処理を適用することも可能である。
【0380】
図１７は、本実施形態における戸開閉動作の制御において用いられる広範判定領域について説明するための図である。前記実施形態１におけるＡＲ１～ＡＲ３の判定領域と区別するために、本実施形態において規定する判定領域を広範判定領域と称することとする。
【0381】
本例では、撮像画像中に２つの広範判定領域を設定する。具体的には、図１７の例では、ＡＲ１１（第１の判定領域）およびＡＲ１２（第２の判定領域）の、２つの広範判定領域が設定されている。図１７の（ａ）では、ＡＲ１１およびＡＲ１２が概略図として示されている。図１７の（ｂ）では、ＡＲ１１およびＡＲ１２が、撮像画像中に設定された様子が示されている。ＡＲ１１およびＡＲ１２は、画像における仮想的な領域である。
【0382】
ここで、ＡＲ１１およびＡＲ１２に対応して、前述の条件２Ｂは以下のように変形される。
【0383】
（条件２Ｂ－１）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ１１に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第２有効進入角度範囲内にある」
（条件２Ｂ－２）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ１２に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第２有効進入角度範囲内にある」。
（条件２Ｂ－２）「物体方向情報の値が近方向Ｇｒ１である移動物体領域ＭＯＡが、ＡＲ１２に進入し、かつ、該移動物体領域ＭＯＡにおけるθｍが第２有効進入角度範囲内にある」。
【0384】
図１７の例では、ＡＲ１１は、ドア開閉路２４周辺に相当する矩形上の領域として設定されている。ＡＲ１２は、実空間上でＡＲ１１に対応する領域よりもドア開閉路２４（かご２０の出入口）に対して遠い領域であって、ＡＲ１１を含まない、ＡＲ１１の周辺の領域として設定されている。このような、ＡＲ１１およびＡＲ１２を規定するパラメータ群（画像中における広範判定領域の４隅の座標等）は、記憶部４１に判定領域データ４１１として記憶されている。或いは、これらのパラメータ群は動作制御部４２２に予め設定されていてもよい。
【0385】
本実施形態の意思推定部４２１は、或る移動物体領域ＭＯＡについて乗車意思あり物体領域である（条件１Ａを満足し、かつ、条件２Ｂ－１および条件２Ｂ－２のいずれかを満足する）と判定された時点において、ＡＲ１２への進入有無と、ＡＲ１１への進入有無とを確認する。具体的には、乗車意思あり物体領域について、以下の（β）～（δ）の３つの状態が考えられる。
【0386】
（β）乗車意思あり物体領域が、ＡＲ１２にのみ進入している（ＡＲ１１には進入していない）。
【0387】
（γ）乗車意思あり物体領域が、ＡＲ１２およびＡＲ１１のいずれにも進入している。
【0388】
（δ）乗車意思あり物体領域が、ＡＲ１１にのみ進入している（ＡＲ１２には進入していない）。
【0389】
上記（γ）または（δ）は、乗車意思あり物体領域が、少なくともＡＲ１１に進入した状態であるといえる。上記（β）は、乗車意思あり物体領域が、ＡＲ１２にのみ進入した状態であるといえる。
【0390】
意思推定部４２１は、「上記移動物体領域ＭＯＡがＡＲ１２にのみ進入したのではない状態」から「該移動物体領域ＭＯＡがＡＲ１２にのみ進入した状態」への状態遷移が生じたと判定した場合、その判定結果を示す情報を動作制御部４２２に送信する。また、意思推定部４２１は、「上記移動物体領域ＭＯＡ少なくともＡＲ１１に進入したのではない状態」から「該移動物体領域ＭＯＡが少なくともＡＲ１１に進入した状態」への状態遷移が生じたと判定した場合、その判定結果を示す情報を動作制御部４２２に送信する。
【0391】
動作制御部４２２は、乗車意思あり物体領域とＡＲ１１およびＡＲ１２との位置関係、およびかご戸２２の開閉状態に応じて、具体的には以下のように、かご戸２２の開閉する機構を有する戸開閉装置５０に対して指令を送信する。
【0392】
（ケース１：戸開状態かつＡＲ１２内で検出された場合）
図１８は、かご戸２２が戸開状態の場合における、動作制御部４２２が実行する戸開閉動作の制御の一例について説明するための図である。ここで、下記のケース１～４が考えられるが、図１８ではケース１を例にしている。このことは、後述する図１９を用いた説明においても同様である。ケース２～４についての説明は、後述する。
図１８は、かご戸２２が戸開状態の場合における、動作制御部４２２が実行する戸開閉動作の制御の一例について説明するための図である。ここで、下記のケース１～４が考えられるが、図１８ではケース１を例にしている。このことは、後述する図１９を用いた説明においても同様である。ケース２～４についての説明は、後述する。
【0393】
（ケース１）戸開状態かつＡＲ１２内で検出された場合。すなわち、ＡＲ１２にのみ進入した状態に遷移したと同時に、乗車意思なし物体領域から乗車意思あり物体領域へ切り替わり、そのとき戸開状態だった場合。
【0394】
（ケース２）戸開状態かつＡＲ１１内で検出された場合。すなわち、少なくともＡＲ１１に進入した状態に遷移したと同時に、乗車意思なし物体領域から乗車意思あり物体領域へ切り替わり、そのとき戸開状態だった場合。
【0395】
（ケース３）戸閉動作中かつＡＲ１２内で検出された場合。すなわち、ＡＲ１２にのみ進入した状態に遷移したと同時に、乗車意思なし物体領域から乗車意思あり物体領域へ切り替わり、そのとき戸閉動作中だった場合。
【0396】
（ケース４）戸閉動作中かつＡＲ１１内で検出された場合。すなわち、少なくともＡＲ１１に進入した状態に遷移したと同時に、乗車意思なし物体領域から乗車意思あり物体領域へ切り替わり、そのとき戸閉動作中だった場合。
【0397】
図１８の（ａ）に示すように、画像上で移動物体１の像を示す移動物体領域ＭＯＡがＡＲ１２の外側に存在するとともにかご戸２２が戸開状態であり、移動物体１がかご２０に乗り込もうと近づいてくる場合を例示して説明する。この移動物体１の像を示す移動物体領域ＭＯＡは、上述のように乗車意思あり物体領域であると判定されているとする。
【0398】
動作制御部４２２は、かご戸２２が戸開状態であり、かつ移動物体１の像を示す移動物体領域ＭＯＡが上記（β）ではない状態から（β）の状態に遷移した場合（図１８の（ｂ））、前記実施形態１にて説明したことと同様に、戸閉指令を戸開閉装置５０に送信するまでの時間（制御変数）に第２所定時間を加算する、または制御変数に第１所定時間を再セットする。
【0399】
なお、ケース１～４において、「ＡＲ１２（あるいはＡＲ１１）にのみ進入した状態に遷移したと同時に」を、「ＡＲ１２（あるいはＡＲ１１）にのみ進入した状態に遷移していた後で」に置き換えた場合も考えられる。この場合にも、ケース１～４と同様の開閉制御が行われる。
【0400】
そして、図１８の（ｃ）に示すように、移動物体１の像を示す移動物体領域ＭＯＡが、ＡＲ１１に進入した後、図１８の（ｄ）に示すように、該移動物体領域ＭＯＡはかご２０内へと移動する。その後、所定時間が経過し、ＡＲ１２内に別の移動物体１の像を示す移動物体領域ＭＯＡが存在（進入）しない場合、動作制御部４２２は、上記制御変数がゼロとなった時点で戸閉指令を戸開閉装置５０に送信し、戸開閉装置５０は、かご戸２２の戸閉動作を実行する。
【0401】
なお、本実施形態における乗車検知システムでは、上述の動作制御部４２２による処理の対象となった乗車意思あり物体領域が上記（γ）ではない状態から上記（γ）の状態に遷移した場合、または、上記（δ）ではない状態から上記（δ）の状態に遷移した場合において、動作制御部４２２は格別の処理（例えば制御変数の加算）を行わない。これにより、かご戸２２が戸開状態となっている時間が不要に長大化することを抑制することができる。
【0402】
（ケース２：戸開状態かつＡＲ１１内で検出された場合）
動作制御部４２２は、かご戸２２が戸開状態であり、かつ乗車意思あり物体領域（移動物体１の像を示す移動物体領域ＭＯＡ）がＡＲ１１内にて初めて検出された場合、上記と同様に、かご戸２２の戸閉指令を戸開閉装置５０に送信するまでの時間（制御変数）に第２所定時間を加算する、または制御変数に第１所定時間を再セットする。
動作制御部４２２は、かご戸２２が戸開状態であり、かつ乗車意思あり物体領域（移動物体１の像を示す移動物体領域ＭＯＡ）がＡＲ１１内にて初めて検出された場合、上記と同様に、かご戸２２の戸閉指令を戸開閉装置５０に送信するまでの時間（制御変数）に第２所定時間を加算する、または制御変数に第１所定時間を再セットする。
【0403】
（ケース３：戸閉動作中かつＡＲ１２内で検出された場合）
図１９は、かご戸２２が戸閉動作中の場合における、動作制御部４２２が実行する戸開閉動作の制御の一例について説明するための図である。
図１９は、かご戸２２が戸閉動作中の場合における、動作制御部４２２が実行する戸開閉動作の制御の一例について説明するための図である。
【0404】
図１９の（ａ）に示すように、画像上で移動物体１の像を示す移動物体領域ＭＯＡ（乗車意思あり物体領域）がＡＲ１２の外側に存在するとともにかご戸２２が戸閉動作中であり、移動物体１がかご２０に乗り込もうと近づいてくる場合を例示して説明する。
【0405】
動作制御部４２２は、図１９の（ｂ）に示すように、かご戸２２が戸閉動作中であり、かつ移動物体１の像を示す移動物体領域ＭＯＡが上記（β）ではない状態から（β）の状態へ遷移した場合、格別の処理（例えば制御変数の加算）を行わない。これにより、かご戸２２から比較的遠い位置にて乗車意思あり物体領域が検出された場合に、戸閉動作中のかご戸２２は、停止動作および戸開動作することなく、そのまま戸閉状態となる。
【0406】
なお、動作制御部４２２は、画像上で移動物体１の像を示す移動物体領域ＭＯＡが上記（β）ではない状態から（β）の状態へ遷移した場合において、かご戸２２の戸閉動作の初期段階であれば、戸開指令Ｃを戸開閉装置５０に送信して、かご戸２２の戸閉動作を中止するように制御をおこなってもよい。
【0407】
（ケース４：戸閉動作中かつＡＲ１１内で検出された場合）
動作制御部４２２は、かご戸２２が戸閉動作中であり、かつ乗車意思あり物体領域（移動物体１）が上記（γ）ではない状態から上記（γ）の状態に遷移した場合、または、上記（δ）ではない状態から上記（δ）の状態に遷移した場合、図１９の（ｃ）に示すように、かご戸２２の戸閉動作を中止して戸開動作を実行する旨の戸開指令Ｃを戸開閉装置５０に送信する。戸開閉装置５０は、戸開指令Ｃを受信すると、かご戸２２の戸閉動作を中止して、戸開動作を再度実行する。
動作制御部４２２は、かご戸２２が戸閉動作中であり、かつ乗車意思あり物体領域（移動物体１）が上記（γ）ではない状態から上記（γ）の状態に遷移した場合、または、上記（δ）ではない状態から上記（δ）の状態に遷移した場合、図１９の（ｃ）に示すように、かご戸２２の戸閉動作を中止して戸開動作を実行する旨の戸開指令Ｃを戸開閉装置５０に送信する。戸開閉装置５０は、戸開指令Ｃを受信すると、かご戸２２の戸閉動作を中止して、戸開動作を再度実行する。
【0408】
（小括５）
従来、かご２０のかご戸２２の開閉動作の制御としては、一つの検出ゾーンを定め、その検出ゾーン内に人物等が検出されているか否かを基準とする制御が考えられる。この制御では、ドアが閉動作中に検出ゾーン内に人物等が検出されると、ドアの閉動作を一旦停止し、反転して開動作を行うことになる。また、この制御では、ドアが戸開状態にある場合に、検出ゾーン内に人物等が検出されると、戸開状態が維持される。このような従来の制御では、次のような問題があった。
従来、かご２０のかご戸２２の開閉動作の制御としては、一つの検出ゾーンを定め、その検出ゾーン内に人物等が検出されているか否かを基準とする制御が考えられる。この制御では、ドアが閉動作中に検出ゾーン内に人物等が検出されると、ドアの閉動作を一旦停止し、反転して開動作を行うことになる。また、この制御では、ドアが戸開状態にある場合に、検出ゾーン内に人物等が検出されると、戸開状態が維持される。このような従来の制御では、次のような問題があった。
【0409】
すなわち、かご２０から遠い位置の乗車意思ありの人物についても、かご戸２２の閉動作を一旦停止し反転して開動作を行う対象としてかご２０への乗車を許す場合、当該人物（個々の利用者）を優遇してエレベータ・サービスをすることになる。その結果、エレベータの利用者全体（例えばかご２０内に既に乗り込んでいる利用者、別の階でかご２０を呼び出している利用者、等）に対する考慮が不十分となり、エレベータの運行効率が阻害される結果を招く。
【0410】
そこで、以上のように、本実施形態における制御装置４０は、エレベータの乗場２をカメラ２１にて撮像した画像において、エレベータのかご２０への乗車意思を有する移動物体１に対応する像を示す乗車意思あり物体領域を抽出する意思推定部４２１を備えている。そして、前記画像における仮想的な領域であって、（ｉ）ドア開閉路２４（かご２０の出入口）周辺に相当する判定領域ＡＲ１１（第１の判定領域）、および（ｉｉ）実空間上で判定領域ＡＲ１１に対応する領域よりもドア開閉路２４に対して遠い領域に相当する、判定領域ＡＲ１１を含まない判定領域ＡＲ１２（第２の判定領域）が予め設定されている。本実施形態における制御装置４０は、前記乗車意思あり物体領域がＡＲ１２にのみ進入した状態となった場合と、前記乗車意思あり物体領域が少なくともＡＲ１１に進入した状態となった場合とで、かご戸（ドア）２２が閉動作中のときのかご戸２２の開閉動作の制御を異ならせるようにかご戸２２の開閉動作を制御する動作制御部４２２を備えている。
【0411】
従来技術においても判定領域ＡＲ１１は設定され得るが、本実施形態における制御装置４０では、判定領域ＡＲ１１に加えて、さらに判定領域ＡＲ１１の外側に判定領域ＡＲ１２を設定している。これにより、上述した、従来技術において検出ゾーンを拡大する場合のような問題が生じにくい。本実施形態の制御装置４０では、かご戸２２の閉動作を開始するまでの時間を増やす制御の判定条件に用いられる判定領域の範囲を拡大させつつ、かご戸２２の閉動作を中止して反転開動作を行う制御の判定条件に用いられる判定領域の範囲はそのままとすることができる。
【0412】
具体的には、例えば、移動物体１（人物等）が、かご２０の出入口から遠い判定領域ＡＲ１２に進入し判定領域ＡＲ１１には進入していない状態において、かご戸２２の閉動作の開始前であれば、該閉動作を開始するまでの時間を増やすことにより、乗車意思を有する移動物体１に対してサービス性を確保することができる。
【0413】
また、例えば、上記状態においてかご戸２２が閉動作中の場合、かご戸２２の閉動作を継続させる。これにより、乗車意思を有するが、かご戸２２が閉まり切るまでに乗り込むことが難しそうな移動物体１を優遇することに起因してエレベータの運行効率が低下する事態の発生を防止することができる。
【0414】
したがって、移動物体１に対してかご２０への乗込みを許すことによるサービス性の確保と、かご２０への乗込みを断念させることによる運行効率の確保との、どちらを優先するかについて、移動物体１の位置とドア開閉路２４との遠近関係に応じてバランスをとることができる。その結果、個々の利用者に対するサービス性の確保と、利用者全体を考慮したエレベータの運行効率の確保とを両立させて、エレベータをより円滑に運行させることができる。
【0415】
以上のように制御装置４０が行う処理（特に動作制御部４２２による動作制御ステップ）を含む、エレベータのかご戸２２の開閉動作を制御するエレベータドアの制御方法についても本発明の範疇に入る。
【0416】
（変形例５）
（５ａ）判定領域データ４１１は、画像中の像の移動スピードに応じて、第１および第２の判定領域の大きさを変化させるように設定されていてもよい。例えば、移動物体のスピードが速いほど、第１および第２の判定領域の大きさを拡大するように設定されていてもよい。
（５ａ）判定領域データ４１１は、画像中の像の移動スピードに応じて、第１および第２の判定領域の大きさを変化させるように設定されていてもよい。例えば、移動物体のスピードが速いほど、第１および第２の判定領域の大きさを拡大するように設定されていてもよい。
【0417】
（５ｂ）判定領域データ４１１は、かご戸２２の閉まり具合に応じて、第１および第２の判定領域の大きさを変化させるように設定されていてもよい。例えば、かご戸２２が閉まっていくほど、第１の判定領域の大きさを縮小するように設定されていてもよい。
【0418】
（５ｃ）本発明の他の一態様における乗車検知システムでは、カメラの撮像画像に替えて、各種のセンサの検出結果を利用して、乗車意思あり物体領域を判定してもよい。例えば、特許第５４７３８０１号に開示された手法を用いて、乗車意思あり物体領域を判定してもよい。上記センサとして、例えば、測距センサ（例：レーザレーダまたはミリ波レーダ）を用いることができる。あるいは、上記センサとしては、感熱センサを用いることもできる。
【0419】
（その他の構成）
乗車検知システム１０の一態様では、移動物体決定部３３、物体追跡部３４、または変動係数演算部３５は、制御装置４０に含まれていてもよい。乗車検知システム１０の別の一態様では、意思推定部４２１は、画像処理装置３０に含まれていてもよい。
乗車検知システム１０の一態様では、移動物体決定部３３、物体追跡部３４、または変動係数演算部３５は、制御装置４０に含まれていてもよい。乗車検知システム１０の別の一態様では、意思推定部４２１は、画像処理装置３０に含まれていてもよい。
【0420】
〔ソフトウェアによる実現例〕 画像処理装置３０の制御ブロック（特に移動物体決定部３３、物体追跡部３４、および変動係数演算部３５）並びに制御装置４０の制御ブロック（特に制御部４２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0421】
後者の場合、画像処理装置３０および制御装置４０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0422】
〔附記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0423】
１：移動物体 ２：乗場 ３：乗場戸 １０、１０Ｂ：乗車検知システム ２１：カメラ ２２：かご戸（ドア） ２３：幕板 ２４：ドア開閉路 ３０：画像処理装置（情報処理装置） ３１：画像取得部 ３３：移動物体決定部 ３３Ｂ：移動物体決定部 ３４：物体追跡部 ３５：変動係数演算部 ３９：システムバス ４０：制御装置（情報処理装置） ４１：記憶部 ４２：制御部 ５０：戸開閉装置 ３３０：第１の輝度差分演算部 ３３１：第２の輝度差分演算部 ３３２：オプティカルフロー演算部 ３３４：決定処理部 ３３４Ａ：物体候補領域設定部 ３３４Ｂ：領域選定部 ３３５：判定部 ３４１：図形設定部 ３４２：重なり度算出部 ３４３：追跡処理部 ３５２：対象物体判定部 ４１１：判定領域データ ４２１：意思推定部 ４２２：動作制御部 ＭＯＡ２、ＭＯＡ４、ＭＯＡ５：移動物体領域 ＯＣＡ１、ＯＣＡ２、ＯＣＡ４：物体候補領域 ＰＡ２１、ＰＡ２２、ＰＡ４１、ＰＡ４２：部分領域 Ｓ１：対応図形 ＴＰ１１：第１の処理後画像 ＴＰ１２：第１の処理後画像 ＴＰ２：第２の処理後画像 ＴＰ３：第３の処理後画像 ＴＰ４：第４の処理後画像 θ１Ａ：第１有効進入角度範囲 θ１Ｂ：第１無効進入角度範囲 θ２Ａ：第２有効進入角度範囲 θ３Ａ：第３有効進入角度範囲 θ３Ｂ：第３無効進入角度範囲
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【手続補正書】
【提出日】2021-11-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
エレベータの乗場をカメラにて撮像した画像を取得する画像取得部と、
所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算部と、
前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算部と、
前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理部と、を備え、
前記決定処理部は、
前記移動領域情報と、前記画素方向情報と、を用いて、前記移動領域内の各画素に画素方向情報が対応付けられてなる物体候補領域を設定し、
前記物体候補領域において、同一の前記画素方向情報を有する画素が連続する領域を部分領域とし、前記物体候補領域および前記部分領域のいずれか一方を、前記移動物体領域として決定することを特徴とする画像処理装置。
所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算部と、
前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算部と、
前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理部と、を備え、
前記決定処理部は、
前記移動領域情報と、前記画素方向情報と、を用いて、前記移動領域内の各画素に画素方向情報が対応付けられてなる物体候補領域を設定し、
前記物体候補領域において、同一の前記画素方向情報を有する画素が連続する領域を部分領域とし、前記物体候補領域および前記部分領域のいずれか一方を、前記移動物体領域として決定することを特徴とする画像処理装置。
【請求項2】
２枚の前記画像について前記平滑化処理を用いることなく輝度の差分に基づく演算処理を行うことにより前記移動領域情報を生成する第２の輝度差分演算部をさらに備え、
前記決定処理部は、（ｉ）前記第１の輝度差分演算部により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、および（ｉｉ）前記第２の輝度差分演算部により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、のいずれか一方によって、前記移動物体領域を決定することを特徴とする請求項１に記載の画像処理装置。
前記決定処理部は、（ｉ）前記第１の輝度差分演算部により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、および（ｉｉ）前記第２の輝度差分演算部により生成された前記移動領域情報の各画素に前記画素方向情報を対応付けること、のいずれか一方によって、前記移動物体領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
複数の前記乗場にて前記カメラにより前記画像が撮像される場面のそれぞれに対して前記乗場の明るさが十分であるか否かを対応付けた、撮像場面ごと明るさ情報が予め記憶されており、
前記乗場を撮像するに際して、前記画像を撮像した前記乗場の場面に関する撮像場面情報を取得し、
前記撮像場面情報と前記撮像場面ごと明るさ情報とに基づいて、前記乗場の明るさが不十分であるか否か判定し、
前記乗場の明るさが不十分と判定された場合には前記第１の輝度差分演算部を起動して前記移動領域情報を生成し、
前記乗場の明るさが十分と判定された場合には前記第２の輝度差分演算部を起動して前記移動領域情報を生成することを特徴とする請求項２に記載の画像処理装置。
前記乗場を撮像するに際して、前記画像を撮像した前記乗場の場面に関する撮像場面情報を取得し、
前記撮像場面情報と前記撮像場面ごと明るさ情報とに基づいて、前記乗場の明るさが不十分であるか否か判定し、
前記乗場の明るさが不十分と判定された場合には前記第１の輝度差分演算部を起動して前記移動領域情報を生成し、
前記乗場の明るさが十分と判定された場合には前記第２の輝度差分演算部を起動して前記移動領域情報を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記撮像場面ごと明るさ情報は、前記エレベータの設置されている建物における複数の階床のそれぞれに対して前記乗場の明るさが十分か否かを対応付けたものであり、
前記撮像場面情報は、前記エレベータのかごが到着した階床の情報であることを特徴とする請求項３に記載の画像処理装置。
前記撮像場面情報は、前記エレベータのかごが到着した階床の情報であることを特徴とする請求項３に記載の画像処理装置。
【請求項5】
前記撮像場面ごと明るさ情報は、複数の時間帯のそれぞれに対して前記乗場の明るさが十分か否かを対応付けたものであり、
前記撮像場面情報は、前記エレベータのかごが前記乗場に到着した時刻の情報であることを特徴とする請求項３に記載の画像処理装置。
前記撮像場面情報は、前記エレベータのかごが前記乗場に到着した時刻の情報であることを特徴とする請求項３に記載の画像処理装置。
【請求項6】
前記撮像場面ごと明るさ情報は、前記移動物体が存在しないときの前記乗場を撮像した前記画像における全画素の輝度の平均値を求め、前記平均値が所定の閾値を超える場合、当該乗場の明るさが十分であり、前記平均値が所定の閾値以下である場合、当該乗場の明るさが不十分であると判定した結果に基づいて、設定されていることを特徴とする請求項３～５のいずれか１項に記載の画像処理装置。
【請求項7】
前記第１の輝度差分演算部は、
２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行う、ことを特徴とする請求項１に記載の画像処理装置。
２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行う、ことを特徴とする請求項１に記載の画像処理装置。
【請求項8】
前記第１の輝度差分演算部は、前記二値化処理により生成される二値化画像について膨張処理および収縮処理を行うようになっており、
前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されていることを特徴とする請求項７に記載の画像処理装置。
前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されていることを特徴とする請求項７に記載の画像処理装置。
【請求項9】
前記第１の輝度差分演算部は、
２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行い、
前記第２の輝度差分演算部は、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第３の差分画像に対して二値化処理を行う、ことを特徴とする請求項２～６のいずれか１項に記載の画像処理装置。
２枚の前記画像、および２枚の前記画像をそれぞれグレースケール変換した２枚のグレー画像、のいずれか一方の組に対して前記平滑化処理を行うことにより２枚の平滑化画像を生成し、２枚の前記平滑化画像を用いて生成した第１の差分画像に対して二値化処理を行う、または、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第２の差分画像に対して前記平滑化処理を行うとともに二値化処理を行い、
前記第２の輝度差分演算部は、
２枚の前記画像、および２枚の前記グレー画像、のいずれか一方の組を用いて生成した第３の差分画像に対して二値化処理を行う、ことを特徴とする請求項２～６のいずれか１項に記載の画像処理装置。
【請求項10】
前記第１の輝度差分演算部で行われる二値化処理で用いる閾値は、前記第２の輝度差分演算部で行われる二値化処理で用いる閾値よりも大きい、ことを特徴とする請求項９に記載の画像処理装置。
【請求項11】
前記第１の輝度差分演算部および前記第２の輝度差分演算部は、前記二値化処理により生成される二値化画像について膨張処理および収縮処理を行うようになっており、
下記（１）または（２）のように設定されていることを特徴とする請求項９または１０に記載の画像処理装置；
（１）前記第１の輝度差分演算部は、前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されている、
（２）前記第１の輝度差分演算部で行われる膨張処理の回数は、前記第２の輝度差分演算部で行われる膨張処理の回数よりも多い。
下記（１）または（２）のように設定されていることを特徴とする請求項９または１０に記載の画像処理装置；
（１）前記第１の輝度差分演算部は、前記膨張処理および前記収縮処理にて用いられるフィルタサイズが、前記平滑化処理にて用いられる平滑化フィルタのサイズよりも大きくなる、または前記平滑化フィルタのサイズと同じになるように設定されている、
（２）前記第１の輝度差分演算部で行われる膨張処理の回数は、前記第２の輝度差分演算部で行われる膨張処理の回数よりも多い。
【請求項12】
前記第１の輝度差分演算部は、前記平滑化処理においてガウシアンフィルタを用いることを特徴とする請求項１～１１のいずれか１項に記載の画像処理装置。
【請求項13】
前記移動領域は、２枚の前記画像について輝度差が所定の閾値以上である画素が連続している領域であり、
前記移動領域情報は、画像中の各画素について、画像中における何れの前記移動領域に属している画素か、または前記移動領域に属していない画素か、を示す情報であることを特徴とする請求項１～１２のいずれか１項に記載の画像処理装置。
前記移動領域情報は、画像中の各画素について、画像中における何れの前記移動領域に属している画素か、または前記移動領域に属していない画素か、を示す情報であることを特徴とする請求項１～１２のいずれか１項に記載の画像処理装置。
【請求項14】
エレベータの乗場をカメラにて撮像した画像を取得する画像取得ステップと、
所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算ステップと、
前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算ステップと、
前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理ステップと、を含み、
前記決定処理ステップでは、
前記移動領域情報と、前記画素方向情報と、を用いて、前記移動領域内の各画素に画素方向情報が対応付けられてなる物体候補領域を設定し、
前記物体候補領域において、同一の前記画素方向情報を有する画素が連続する領域を部分領域とし、前記物体候補領域および前記部分領域のいずれか一方を、前記移動物体領域として決定することを特徴とする画像処理方法。
所定の時間差を有する２つの時点のそれぞれにて前記画像を撮像して得られた２枚の前記画像について平滑化処理を用いて輝度の差分に基づく演算処理を行うことにより、前記画像における動きの有る移動領域に関する移動領域情報を生成する第１の輝度差分演算ステップと、
前記移動領域情報に対応する前記２つの時点における２枚の前記画像についてオプティカルフロー演算処理を行うことにより、前記画像中の各画素のオプティカルフローを算出するオプティカルフロー演算ステップと、
前記画像中の各画素の前記オプティカルフローを分類した画素方向情報を、前記移動領域の各画素に対応付けることによって、前記乗場に存在する移動物体に対応する像を前記画像中にて示す移動物体領域を決定する決定処理ステップと、を含み、
前記決定処理ステップでは、
前記移動領域情報と、前記画素方向情報と、を用いて、前記移動領域内の各画素に画素方向情報が対応付けられてなる物体候補領域を設定し、
前記物体候補領域において、同一の前記画素方向情報を有する画素が連続する領域を部分領域とし、前記物体候補領域および前記部分領域のいずれか一方を、前記移動物体領域として決定することを特徴とする画像処理方法。