特許第6134641号(P6134641)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧
<>
  • 特許6134641-画像認識機能を備えたエレベータ 図000005
  • 特許6134641-画像認識機能を備えたエレベータ 図000006
  • 特許6134641-画像認識機能を備えたエレベータ 図000007
  • 特許6134641-画像認識機能を備えたエレベータ 図000008
  • 特許6134641-画像認識機能を備えたエレベータ 図000009
  • 特許6134641-画像認識機能を備えたエレベータ 図000010
  • 特許6134641-画像認識機能を備えたエレベータ 図000011
  • 特許6134641-画像認識機能を備えたエレベータ 図000012
  • 特許6134641-画像認識機能を備えたエレベータ 図000013
  • 特許6134641-画像認識機能を備えたエレベータ 図000014
  • 特許6134641-画像認識機能を備えたエレベータ 図000015
  • 特許6134641-画像認識機能を備えたエレベータ 図000016
  • 特許6134641-画像認識機能を備えたエレベータ 図000017
  • 特許6134641-画像認識機能を備えたエレベータ 図000018
  • 特許6134641-画像認識機能を備えたエレベータ 図000019
  • 特許6134641-画像認識機能を備えたエレベータ 図000020
  • 特許6134641-画像認識機能を備えたエレベータ 図000021
  • 特許6134641-画像認識機能を備えたエレベータ 図000022
  • 特許6134641-画像認識機能を備えたエレベータ 図000023
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6134641
(24)【登録日】2017年4月28日
(45)【発行日】2017年5月24日
(54)【発明の名称】画像認識機能を備えたエレベータ
(51)【国際特許分類】
   B66B 3/00 20060101AFI20170515BHJP
   B66B 1/14 20060101ALI20170515BHJP
   G06T 1/00 20060101ALI20170515BHJP
   G06T 7/20 20170101ALI20170515BHJP
【FI】
   B66B3/00 L
   B66B1/14 G
   G06T1/00 340Z
   G06T7/20 B
【請求項の数】10
【全頁数】17
(21)【出願番号】特願2013-264801(P2013-264801)
(22)【出願日】2013年12月24日
(65)【公開番号】特開2015-120573(P2015-120573A)
(43)【公開日】2015年7月2日
【審査請求日】2016年7月13日
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(73)【特許権者】
【識別番号】000232955
【氏名又は名称】株式会社日立ビルシステム
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール特許業務法人
(72)【発明者】
【氏名】弓場 竜
(72)【発明者】
【氏名】山口 勝美
(72)【発明者】
【氏名】酒井 亮一
(72)【発明者】
【氏名】薛 祺
(72)【発明者】
【氏名】三好 雅則
【審査官】 井上 信
(56)【参考文献】
【文献】 特開2006−151533(JP,A)
【文献】 特開2004−191083(JP,A)
【文献】 特開2012−191354(JP,A)
【文献】 特開2010−63001(JP,A)
【文献】 特開2013−113824(JP,A)
【文献】 特開2004−272756(JP,A)
【文献】 特開2007−131382(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B66B 3/00
B66B 1/14
G06T 1/00
G06T 7/20
(57)【特許請求の範囲】
【請求項1】
対象物を撮像すると共に前記対象物までの距離値を計測する距離画像センサと、
前記距離画像センサから前記距離値を有する距離画像を取得する距離画像取得部を有し、前記距離画像に基づいて乗客を認識する画像認識装置と、
を有する画像認識機能を備えたエレベータにおいて、
前記距離画像取得部は時系列で複数の距離画像を取得し、
前記画像認識装置は、前記複数の距離画像に基づいて前記乗客を抽出すると共に、取得時刻が異なる前記複数の距離画像から前記乗客の位置を抽出して追跡し、別の乗客に遮蔽されることで発生する前記乗客の欠損を検出し、前記欠損を含めて前記乗客を認識することを特徴とする画像認識機能を備えたエレベータ。
【請求項2】
請求項1において、
前記画像認識装置は、前記距離画像を俯瞰画像に変換し、前記俯瞰画像から前記乗客を抽出すると共に、位置的にエレベータのかごのドアから出ていないはずの追跡している乗客が現時刻において対応するものがなく消えた場合、かつ、追跡で消えた前記乗客の消える前の過去の位置が現時刻で前記俯瞰画像の可視領域の範囲外である場合に、別の乗客に遮蔽されて欠損していると判断することを特徴とする画像認識機能を備えたエレベータ。
【請求項3】
請求項1において、
前記画像認識装置は、位置的にエレベータのかごのドアから出ていないはずの追跡している乗客が現時刻において対応するものがなく消えた場合、かつ、追跡で消えた前記乗客の消える前の過去の距離画像における乗客の距離値と現時刻における距離画像の同じ座標における距離値とを比較して現時刻の方が距離値が小さい場合に、別の乗客に遮蔽されて欠損していると判断することを特徴とする画像認識機能を備えたエレベータ。
【請求項4】
請求項1から3のいずれか一項において、
前記画像認識装置は、前記距離画像を俯瞰画像に変換し、前記俯瞰画像における可視領域が前記エレベータのかごの床面の全領域を覆った場合、前記エレベータのかご内に乗客が一人も居ないと判断することを特徴とする画像認識機能を備えたエレベータ。
【請求項5】
請求項1ないし4のいずれか一項において、
前記画像認識装置は、
前記欠損を含む乗客数から、あるいは前記欠損の面積を含む乗客の面積から混雑度を計算する乗客認識部と、
前記混雑度に応じて、エレベータの運行制御あるいはエレベータ機器の動作の制御を行う制御部と、
を備えることを特徴とする画像認識機能を備えたエレベータ。
【請求項6】
対象物を撮像すると共に前記対象物までの距離値を計測する距離画像センサと、
前記距離画像センサから前記距離値を有する距離画像を取得する距離画像取得部を有し、前記距離画像に基づいて乗客を認識する画像認識装置と、
を有する画像認識機能を備えたエレベータにおいて、
前記画像認識装置は、前記距離画像に基づいて前記乗客を抽出すると共に、前記距離画像において前記乗客が前記距離画像の縁に接する場合に前記乗客の欠損を検出することを特徴とする画像認識機能を備えたエレベータ。
【請求項7】
請求項6において、
前記画像認識装置は、前記距離画像を俯瞰画像に変換し、前記俯瞰画像から前記乗客を抽出すると共に、前記俯瞰画像において、前記距離画像の前記縁に対応する領域が前記乗客と接する場合に前記欠損を検出することを特徴とする画像認識機能を備えたエレベータ。
【請求項8】
請求項6または7において、
前記画像認識装置は、
前記距離画像の縁に接することで欠損した乗客の面積を欠損していない状態における本来の面積に補正し、前記本来の面積を用いて混雑度を計算する乗客認識部と、
前記混雑度に応じて、エレベータの運行制御あるいはエレベータ機器の動作の制御を行う制御部と、
を備えることを特徴とする画像認識機能を備えたエレベータ。
【請求項9】
請求項6ないし8のいずれか一項において、
前記画像認識装置は、
抽出された前記乗客の距離画像および前記欠損に基づいて、前記乗客の種類を分類する乗客認識部と、
分類された前記乗客の前記種類に応じて、エレベータ機器の動作の制御を行う制御部と、
を備えることを特徴とする画像認識機能を備えたエレベータ。
【請求項10】
請求項9において、
エレベータのかご内に通常の運転盤と車椅子利用者用の運転盤とを備え、
前記制御部は、前記乗客認識部において車椅子であると分類された乗客が存在する場合には、前記車椅子利用者用の運転盤が操作された時に、前記通常の運転盤が操作された場合よりも、前記かごが開いている時間を長くするか、前記かごのドアが閉じる速度を低下させるとともに、前記乗客認識部において車椅子であると分類された乗客が存在しない場合には、前記車椅子利用者用の運転盤が操作されても、前記通常の運転盤が操作された場合と同様の制御を行うことを特徴とする画像認識機能を備えたエレベータ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、乗客を画像認識する画像認識機能を備えたエレベータに関する。
【背景技術】
【0002】
エレベータ内の乗客を画像認識し、認識結果を利用して動作するエレベータが普及しつつある。例えば、エレベータ内の乗客が占める面積を計算し、乗客が占める面積から求めたエレベータのカゴ内の混雑度が高く、ドアを開けても新たな乗客が乗車できない場合には、目的階まで途中階でのドア開をスキップする運行制御が代表例である。
【0003】
人の混雑度を高精度で計算する技術として、特許文献1に記載の技術が知られている。本技術においては、ステレオカメラ等を用いて監視空間内の三次元データを計測し、三次元データ中の局所の領域毎に床面からの高さを求めた時に、床面よりも高い位置にある領域を物体として検出し、それら物体の面積の総和から混雑度を算出する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−34883号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術を応用してエレベータのカゴ内の混雑度を計測するためには、カゴ内の乗客を欠損することなく三次元データを計測する必要がある。カゴ内にステレオカメラ等を取り付ける設置位置として、天井の中央付近は照明装置が既設であるために不適であり、他に既設装置が無い天井の隅やドアの天枠といったカゴ内の端部が適する。しかし、カゴ内の端部にステレオカメラ等を設置した時に、三次元データ中で奥側の乗客が手前の乗客に遮蔽されて欠損した場合、乗客の面積が欠損することで混雑度が過剰に小さくなってしまう。
【0006】
また、ステレオカメラ等の特殊な光学系ではカゴ内全てを見渡せるのに十分大きな視野角を持つことは困難なために、視野角の端部に乗客が居ると視野外にはみ出ることで一部が欠損してしまい、視野角の端部に居る乗客の面積が一部欠損することで混雑度が過剰に小さくなってしまう。
【0007】
そこで、本発明は、画像データ中において乗客が欠損する場合であっても、高い精度でエレベータのカゴ内の乗客を画像認識できる画像認識機能を備えたエレベータを提供する。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明による画像認識機能を備えたエレベータは、対象物を撮像すると共に対象物までの距離値を計測する距離画像センサと、距離画像センサから距離値を有する距離画像を取得する距離画像取得部を有して、距離画像に基づいて乗客を認識する画像認識装置とを有するものであって、距離画像取得部は時系列で複数の距離画像を取得し、画像認識装置は、複数の距離画像に基づいて乗客を抽出すると共に、取得時刻が異なる複数の距離画像から乗客の位置を抽出して追跡し、別の乗客に遮蔽されることで発生する乗客の欠損を検出し、欠損を含めて乗客を認識する。
【0009】
また、上記課題を解決するために、本発明による画像認識機能を備えたエレベータは、対象物を撮像すると共に対象物までの距離値を計測する距離画像センサと、距離画像センサから距離値を有する距離画像を取得する距離画像取得部を有して、距離画像に基づいて乗客を認識する画像認識装置とを有するものであって、画像認識装置は、距離画像に基づいて乗客を抽出すると共に、距離画像において乗客が距離画像の縁に接する場合に乗客の欠損を検出する。
【発明の効果】
【0010】
本発明によれば、乗客の欠損も含めて乗客を画像認識できるので、エレベータの乗客の画像認識の精度が向上する。
【0011】
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0012】
図1】本発明の実施例1であるエレベータの装置構成を示す。
図2】実施例1における画像認識装置の機能構成図を示す。
図3】かご内に乗客が居る場合の距離画像例である。
図4】かご内に乗客が居る場合の俯瞰画像例である。
図5】乗客の欠損が有る場合の距離画像例である。
図6】乗客の欠損が有る場合の俯瞰画像例である。
図7】かご内に乗客が居ない時の距離画像例である。
図8】かご内に乗客が居ない時の俯瞰画像例である。
図9】欠損検出部の処理フローを示す。
図10図9におけるステップS1の詳細な処理フローを示す。
図11】実施例2における画像認識装置の機能構成図を示す。
図12】貨物の一部が欠損する場合の距離画像例である。
図13】貨物の一部が欠損する場合の俯瞰画像例である。
図14】距離画像センサの視野のモデルを示す、かご内の垂直断面図である。
図15】実施例3における画像認識装置の機能構成図を示す。
図16】乗客認識部が分類する乗客の種類の一例である。
図17】乗客認識部の処理フローを示す。
図18】三次元データ変換を説明するための図である。
図19】直上変換部における直上変換を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について、図面を参照しながら説明する。
【実施例1】
【0014】
図1は、本発明の実施例1である、画像認識機能を備えたエレベータの装置構成を示す。また、図2は、本実施例における画像認識装置の機能構成図を示す。処理装置54は図2の画像認識装置を構成するものであって、図2中の各機能は処理装置54内の信号処理で実現される。まず概要を説明すると、距離画像取得部2は距離画像センサ52から所定の時間間隔で、すなわち時系列で複数の距離画像を取得する。直上変換部3は、取得された距離画像を仮想視点から見下ろした俯瞰画像に変換する。乗客抽出部4は、俯瞰画像中から個別の乗客を抽出する。欠損検出部5は、異なる時刻すなわち時系列に取得された複数の距離画像またはこれらの距離画像から変換された俯瞰画像中の前記乗客を前記距離画像の距離値を基に比較することで、乗客の位置を抽出して追跡し、実際にはかご51内に居るが別の乗客に遮蔽されて距離画像中に映らない欠損した乗客を検出する。乗客認識部6は、乗客抽出部4で抽出した乗客と、欠損検出部5が検出した欠損した乗客を合わせて、かご51内の混雑度を計測する。制御部8は、計測された混雑度に応じて、かご51の運行を制御する。
【0015】
図1が示すように、エレベータのかご51内におけるかごドア53側の天井の隅あるいはかごドア53の天枠に、距離画像センサ52が設置される。距離画像センサ52の出力信号は、ケーブルを介して、かご51上に設置される処理装置54に伝送される。
【0016】
かご51には、Oおよび(X,Y,Z)をそれぞれ原点および座標軸とする座標系59が定義されている。座標系59の原点Oは、距離画像センサ52から鉛直下方向に伸ばした仮想線と床面の交点である。距離画像センサ52は、俯角θ,方位角φ,ロール角ρの設置角度で取り付けられている。なお、俯角θと方位角φは、距離画像センサ52がZ軸方向を見るときに共に0°であり、このとき俯角θ,方位角φ,ロール角ρの回転軸はそれぞれX軸,Y軸,Z軸と一致する。
【0017】
処理装置54は本実施例に必要な信号処理を行う計算機であり、任意の計算機を適用できる。図1では、処理装置54を1台の計算機としたが、処理装置54を2つ以上の計算機から構成しても良い。また、距離画像センサ52が内蔵する処理装置を処理装置54としても良い。
【0018】
距離画像センサ52は、監視カメラと同様の画像の撮像面を有しており、撮像面中の各画素において、各画素に対応した空間中の物体までの距離を計測する。計測手段としては、例えば、Time Of Flightと呼ばれる公知の計測手段が用いられる。本計測手段では、距離画像センサ内部に近赤外の発光体を有し、近赤外光を発光してから、その近赤外光が視野角内の物体に反射してから戻ってくるまでの時間を計測することで、距離画像センサから物体までの距離を計測する。このようにして画像中の各画素の距離値が計測された画像を、以下、「距離画像」と記載する。
【0019】
この距離画像のデータが各画素の距離値から三次元データに変換できることを、図18を用いて説明する。図18において、151は距離画像を示し、150は距離画像中の画素を示し、50は画素150に対応した空間中の対応点を示し、69は距離画像センサ52を基準とした座標系であり、i(u,v)は画素150の距離画像151上の座標である。I(X,Y,Z)は、距離画像センサ52を座標系の基準とした、すなわち座標系69における座標で表される三次元データである。座標系69の原点Oは距離画像センサ52の投影の中心であり、座標軸X,Y,Zは距離画像センサ52から見てそれぞれ左,上,奥にあたる。従って、Iの要素中のZsが、画素150の距離値に等しい。距離画像センサ52の投影モデルをピンホールモデルで近似し、距離画像センサ52の焦点距離をλとすると、Iの要素中で残るX,Yはそれぞれ式(1),式(2)で計算できる。
【0020】
【数1】
【0021】
【数2】
【0022】
距離画像センサ52は、距離画像151を所定の周期で撮像する。距離画像センサ52としては、Time Of Flight以外にも、画像中の各画素の距離値を三次元データに変換できる手段、例えばステレオカメラやレーザレーダ等を適用できる。
【0023】
以下、図2中の各機能の詳細を説明する。
【0024】
距離画像取得部2は距離画像センサ52から所定の時間間隔で距離画像を取得する。もしくは距離画像センサ52から所定の時間間隔で三次元データを取得しても良い。
【0025】
直上変換部3が、鉛直上方向の無限遠の仮想視点から見下ろした様に直上変換することにより距離画像151から俯瞰画像を取得する機能を、図19を用いて説明する。図19において、82は鉛直上方向の無限遠にある仮想視点を示し、251は俯瞰画像であり、250は俯瞰画像251中の画素である。直上変換部3では、まず距離画像151中の各画素150において、式(1),式(2)から三次元データIを求める。次に、式(3)を用いて、Iをかご51内の座標系59で定義した三次元データI(X,Y,Z)に変換する。
【0026】
【数3】
【0027】
式(3)において、位置(X,Y,Z)は座標系59における距離画像センサ52の設置位置、角度(θ,φ,ρ)は図1に示す様に座標系59における距離画像センサ52の設置角度である。これらの設置位置や設置角度のデータは事前に計測しておいて直上変換部3に記録しておく。次に、仮想視点82から対応点50を平行投影して、俯瞰画像251上の画素250の座標j(X,Z)を取得する。この対応点50を介して、画素151から画素250を取得する変換が、「直上変換」である。画素250では、座標jと共に、高さYも求めておく。直上変換部3では、距離画像151中の全ての画素を俯瞰画像251上に直上変換する。
【0028】
乗客抽出部4が、距離画像に基づいて、すなわち本実施例では、直上変換部3が出力した俯瞰画像中から、乗客を抽出する処理について、図3図4を用いて説明する。
【0029】
図3において、距離画像151aにおける130aと131aは乗客である。図4において、俯瞰画像251aは距離画像151aを直上変換した俯瞰画像であり、230aと231aはそれぞれ乗客130aと131aを直上変換した乗客を示し、210aは距離画像151a中のいずれかの画素が直上変換された可視領域を示す。俯瞰画像251aにおいて乗客230aおよび231aの後ろの部分(白抜き部)が、距離画像センサ52の可視領域210aの外側に位置するのは、距離画像151a中において、乗客130aと131aの後ろ側の床面が乗客130aおよび131aによって遮蔽されて欠損しているからである。
【0030】
乗客230aおよび231aは、可視領域210a中において高さYがかご51の床面よりも所定値以上の領域を求めることで抽出できる。もしくは、事前に乗客が映らない状態のカゴ内の距離画像151から背景画像を取得しておき、距離画像151aと背景画像を比較して距離値が変化した部分を直上変換する等の他の方法で求めても良い。
【0031】
欠損検出部5における欠損の検出の機能を、図3から図10を用いて説明する。ここで、図3および図5は、時間的にこの順に時系列で取得された距離画像を示し、図4および図6は、それぞれ図3および図5を直上変換した俯瞰画像である。
【0032】
図5の距離画像151bでは、図3の距離画像151a中の乗客131aと同一人物の乗客131bと、新たに乗車した乗客132bが映っている。図7は全ての乗客が降車した後の距離画像151cを示している。図6および図8において、俯瞰画像251bおよび251cはそれぞれ距離画像151bおよび151cを直上変換した俯瞰画像であり、210bおよび210cは、それぞれ距離画像151bおよび151c中のいずれかの画素が変換された可視領域を示し、231bおよび232bは乗客131bおよび132bの直上変換を示す。図6において、図4の乗客230aに対応する領域は、可視領域210b外に位置している。すなわち、図6において、乗客230aは手前の乗客232bに遮蔽されて、全身が欠損している。
【0033】
図9のステップS1からS2は欠損検出部5の処理フロー、図10図9のステップS1の詳細な処理フローを示す。以下、時間的に図3図5の距離画像151a,151bが、この順に時系列で取得された場合における欠損検出処理について説明する。
【0034】
欠損検出部5では、乗客抽出部4が抽出した俯瞰画像上の乗客を時系列で履歴に蓄えておき、現時刻のデータを参照して履歴を更新する。履歴には俯瞰画像上の乗客の位置の情報を含む。まず、履歴中の乗客の取捨を選択する(S1)。ステップS1では、履歴中の全ての乗客において(S11からS19までのループ)、まずその乗客が別の乗客に遮蔽されて現時刻で欠損しているか否かを判定する(S12)。ここで、1時刻前を図3、現時刻を図5とすると、履歴中には乗客230aおよび231aの位置が登録された状態にある。俯瞰画像251b上において、乗客230aの位置は別の乗客232bに遮蔽されて可視領域210bの範囲外である。従って、乗客230aは欠損していると判定され(S12でYes)、残留すなわち履歴から削除せずに登録したままとする(S13)。一方、乗客231aの位置は可視領域210bの範囲内なので、乗客231aは欠損していないと判定され(S12でNo)、履歴から削除する(S14)。欠損検出部5では、次に現時刻の乗客のデータすなわち乗客231bと232bを位置情報とともに履歴に追加する(S2)。尚、1時刻前を図3、現時刻を図5とすると、図6において乗客232bが乗客230aとは別の乗客なのか、図4における乗客230aが図6の乗客232bの位置まで移動したものなのか区別がつかなくなる可能性があるので、1時刻分の刻みをもっと小さくし、乗客230aと乗客232bとが同時に可視領域210bに存在する状態が発生するように1時刻分の刻みを設定し、乗客を追跡し、別の乗客に遮蔽されて欠損しているか否かを判別することが望ましい。例えば、ステップS12において、位置的にドアから出ていないはずの追跡している乗客が現時刻において対応するものがなく消えた場合、かつ、消える前の過去(例えば1時刻前)の位置が現時刻で可視領域210bの範囲外である場合に、別の乗客に遮蔽されて欠損していると判断して、ステップS13で履歴に残留させる。
【0035】
欠損検出部5において、現時刻のかご51内が図7の様な乗客が一人も居ない無人状態である時には、図8において可視領域210cはかご51の床面の全範囲を覆う。この時、ステップS1では履歴中の全ての乗客の履歴を削除する。これにより、無人時において確実に乗客の履歴を空にできる。
【0036】
欠損検出部5において、ステップS12の判定を複数時刻にわたって行っても良い。例えば、N時刻の時系列にわたってステップS12の判定を実行し、ステップS12の判定がYes(欠損する)となった回数がM(M≦N)回以上の乗客を残留とし、残りの乗客を削除とする。この様な複数時刻にわたる判定を実行することで、距離画像151の距離値が瞬間的に乱れても、正確に乗客の履歴の取捨ができる。なお、複数時刻にわたってステップS12を実行する場合には、ステップS2で同じ乗客を履歴に複数回登録しないように、各乗客の位置を追跡しておき、新たに出現した乗客のみを乗客の履歴に追加する。
【0037】
欠損検出部5において、ステップS12の欠損の判定は、可視領域210b等を求めずに他の方法で代替しても良い。例えば、図4の乗客230aと共に距離画像151aおよび乗客130aの領域を保持しておき、距離画像151aにおける乗客130aの領域と距離画像151b中の乗客130aと同じ座標の領域における距離値の大小(距離値が小さい程、距離画像センサ52から見て手前側にある)を比較することで、欠損の判定を行ってもよい。また、この場合も、複数時刻にわたって判断してもよい。尚、この方法の場合も、これだけでは1時刻前にいた位置の画素が現時刻において距離が変化しているか否かしかわからないので、既に説明したように例えば追跡を行っている途中で消えたことも判断材料にして、別の乗客に遮蔽されて欠損したものであるかを判断する。例えば、ステップS12において、位置的にドアから出ていないはずの追跡している乗客が現時刻において対応するものがなく消えた場合、かつ、消える前の過去(例えば1時刻前)の距離画像における乗客の距離値と現時刻における距離画像の同じ座標における距離値とを比較して現時刻の方が距離値が小さい(距離画像センサ52に近い)場合に、別の乗客に遮蔽されて欠損していると判断して、ステップS13で履歴に残留させる。
【0038】
乗客認識部6は、欠損判定部5において更新される乗客の履歴が示す乗客の数から混雑度を計測する。この混雑度は、かご51の最大乗員数に対する現在の乗客の数の比率で計算する。この混雑度の計算では、上述したように欠損した乗客が乗客の履歴に残るので、俯瞰画像251bに示した乗客230aの様に、手前の乗客に遮蔽されて欠損した乗客の数も反映できる。
【0039】
以上説明した乗客認識部6では、乗客の数以外にも、各乗客の面積の総和から混雑度を計算しても良い。各乗客の面積の総和から混雑度を計算する場合、かご51の床面積に対する乗客の面積の総和の比率で混雑度を計算する。乗客の面積は、俯瞰画像210a上の乗客230aを例に挙げると、乗客抽出部4が出力する俯瞰画像中の乗客データと欠損検出部5が出力する乗客の履歴を用いて、乗客230aの外接矩形の面積や、乗客230aに含まれる画素数や乗客230aの外接矩形といった面積の画像特徴から求めることができる。
【0040】
ここで、乗客230aの表側は可視領域210a内にあるが、乗客230aの背面は可視領域210aの外に位置するために、面積の画像特徴は乗客230aの全身から求めるよりも小さくなることを考慮して、かご51の床面積をかご51の最大乗員数で除算することで標準面積を求めて置き、乗客の面積の画像特徴と標準面積の中で大きな方を乗客の面積としても良い。乗客の面積の画像特徴は乗客130aがショッピングカートの様な床面積が大きな貨物である場合には特に大きな値をとるので、大きな貨物が頻繁に搭乗するエレベータでは、乗客の面積の総和から混雑度を計測することにより正確に混雑度を計測できる。
【0041】
尚、本明細書においては、通常の人間や車椅子に乗った人間だけでなく、ショッピングカート、家具等の人間以外の貨物も、乗客に含めて扱うこととする。
【0042】
制御部8では、乗客認識部6によって計測される混雑度が所定値よりも高い時には、行先階の中間階で乗場からの呼びがあっても、この中間階で降車する乗客がいなければ、中間階ではドアを開けずに通過するように運行制御を行う。また、制御部8は、混雑度が所定値よりも小さい場合であっても、かご51内の乗客の位置の分布に偏りが有るためにかご51に新たな乗客が乗車しにくい状況では、偏りが改善するように、かご51内のスピーカを使って乗客に対してアナウンスを放送する。例えば、ドア53付近の乗客の位置の分布が密で、かご51の奥側が乗客の位置の分布が疎な場合には、かご51の奥側に詰めるようなアナウンスを放送する。ここで制御部8では、俯瞰画像251bにおける乗客231b等の可視領域210b内の乗客に、乗客230aの様な可視領域210b外で欠損した乗客を混雑度の計算の対象に含めて、アナウンスを適切なタイミングで放送することができる。なお、かご内における乗客の偏りは、例えば、俯瞰画像中の乗客の分布に基づいて判定することができる。
【0043】
上述したように、実施例1によれば、距離画像内で乗客間の遮蔽で欠損した乗客を検出できるので、乗客の画像認識の精度が向上する。これにより、欠損した乗客を含めて混雑度を計測することが可能となり、高精度で、混雑度に基づくエレベータの運行制御を行うことが可能になる。
【実施例2】
【0044】
本発明の実施例2である、画像認識機能を備えたエレベータの画像認識装置の機能構成図を図11に示す。図11の概要を述べると、欠損検出部5bと乗客認識部6b以外の機能は、実施例1と共通である。また、装置構成は、図1に示したものと同様である。欠損検出部5bは、距離画像センサ52の可視領域から部分的にはみ出した欠損部を、距離画像に基づいて、または距離画像から変換された俯瞰画像を用いて、もしくは距離画像取得部2の三次元データの視野のモデルを用いて検出する。乗客認識部6bは、一部欠損している乗客の本来の面積(欠損していない状態における本来の面積)を、一部欠損している乗客の可視領域における面積に欠損部の面積を加えることで求め、一部欠損部を補って補正した面積(欠損していない状態における本来の面積)を使って混雑度を計算する。
【0045】
図12図13図14を用いて、欠損検出部5bの機能を説明する。
【0046】
図12において、151dは距離画像であり、134は貨物であり、161は距離画像151dの縁である。貨物134は、距離画像151d上においてはみ出ることで一部の欠損がある。縁161は、距離画像151dの視野の端部に相当する。貨物134は引っ越し時に運搬される家具の様な大きな貨物である。この貨物134の一部は距離画像151dの視野の外にはみ出ている。なお、本実施例では、貨物134も、乗客の1種類とし、乗客に含める。図12が示すように、距離画像151d中で、貨物134が距離画像の縁161に接している場合、貨物134に欠損部が有ることが検出される。
【0047】
図13において、251dは距離画像151dの俯瞰画像であり、234は貨物134を直上変換した貨物であり、261は縁161を直上変換した縁(俯瞰画像251d上において距離画像151d中における縁161の貨物134と接する部分の画素を直上変換した画像)であり、244は貨物134の縁161よりも外側の部分が距離画像151d上に補足された領域が仮に得られた時に、補足された領域を直上変換した欠損部である。貨物134が距離画像151上で手前側にあって、縁161の外にはみ出無い時の俯瞰画像251d上の面積は、可視領域210d中の貨物234の面積と可視領域210d外の欠損部244の面積の和に等しい。
【0048】
図13が示すように、俯瞰画像251d上で、貨物234が縁261に接している。すなわち、縁261が貨物234の領域内に位置する。このような場合、貨物234に欠損部が有ることが検出される。さらに、図13に示すように、縁261は俯瞰画像251d上の床面の上端Tから離れている。この点も考慮すれば、確実に欠損を検出できる。なお、俯瞰画像上における床面上端Tと縁261の距離の閾値を設定し、閾値以下ならば欠損なし、閾値を超えたら欠損有と判定しても良い。
【0049】
図14は、かご51内の垂直断面図であり、欠損部244が発生する状況を説明するための、距離画像センサ52の視野のモデルを示している。55は距離画像センサ52の視野角の境界線を示し、ωは距離画像センサ52の垂直視野角を示し、34は貨物であり、点K,点L,点Mはそれぞれ貨物34の最も手前の点,視野角の境界線55と貨物34の天井面の交点,貨物34の最も奥側の点である。ここで俯瞰画像251dにおける貨物234および欠損部244の図13中縦方向の長さの比は、図14における辺KLと辺LMの比に等しい。
【0050】
欠損検出部5bでは、以下の手段で貨物234の欠損部を検出することができる。
【0051】
先ず、上述したように、距離画像151dもしくは俯瞰画像251dに基づいて、貨物234中に欠損部の存在を検出できる。
【0052】
さらに、図14中の垂直断面図中の幾何的な関係を使って、欠損部の存在を検出することもできる。すなわち、距離画像センサ52の設置位置(X,Y,Z)および設置角度(θ,φ,ρ)および垂直視野角ωを事前に求めておき、貨物34の高さに応じて点Lを求め、点Lがかご51内に位置するか否かを判定する。そして、点Lがかご51内に位置すると判定された場合に、欠損部が存在すると判断する。ここで、貨物34の高さは、俯瞰画像251d上における貨物234の領域中のY座標の最大値、もしくは貨物234の領域中のY座標のヒストグラムを求めた時の上位タイル値で求められる。
【0053】
貨物234中に欠損部244が存在すると検出されたとき、欠損検出部5bはかご51の垂直断面図(図14)に示す視野のモデルを使って欠損部244の領域を求める。具体的には、縁261から俯瞰画像251d上の床面の上端Tまでの領域を欠損部244の領域として求める。この場合、図14の垂直断面図において、点Lから奥は見えないために貨物34の最も奥側の点Mはかご51の端部よりも手前にあるかもしれないが、縁261から俯瞰画像251d上の床面の上端までの領域を欠損部244の領域とすれば、欠損部244を過小に見積もることは回避できる。なお、俯瞰画像251d上の床面の上端Tを求める為に用いられるかご51の床面の範囲は、かご51内に乗客が居ない時の可視領域210dもしくはかご51の設計値から取得できる。
【0054】
また、欠損部244の領域を時系列によって求めてもよい。この場合、欠損検出部5bは、各時刻において貨物234等の全ての乗客を追跡しておく。この追跡の処理では、各時刻における乗客の外接矩形を保持しておく。そして、追跡の過程で過去に欠損部が無い時刻の外接矩形を用いて、欠損部の領域を求める。例えば、俯瞰画像251d中の貨物234の場合、過去の時刻で貨物234が全て可視領域210d内にあって欠損部244が無い時刻の貨物234の外接矩形を事前に求めておき、欠損部244が無い時刻の貨物234の外接矩形から、俯瞰画像251d中の貨物234の外接矩形を差し引けば欠損部244の外接矩形が求まる。もしくは貨物234が追跡を通じて常に欠損してしまう場合には、最も貨物234の面積が大きな時刻の外接矩形を、欠損部244が無い時刻の貨物234の外接矩形の代わりとして利用すればよい。
【0055】
乗客認識部6bは、乗客抽出部4が出力する俯瞰画像中の乗客データと欠損検出部5bが出力する欠損部領域データを用いて、乗客の面積と欠損部の面積を計算し、これらの面積からかご内の混雑度を計算する。乗客の面積は、実施例1の説明で述べた乗客認識部6と同様にして求める。欠損部の面積は、視野外にはみ出た乗客各々から欠損部244を求め、それら欠損部244の領域の面積の総和で求める。混雑度は、乗客の面積と欠損部の面積の総和を、かご51の床面の面積で除算することによって求める。これに限られず、乗客認識部6bは、乗客の偏り防止などの実施例1の説明で述べた乗客認識部6の他の機能を実施するようにしてもよい。
【0056】
上述したように、実施例2によれば、乗客の一部が視野外にはみ出て欠損する部分を検出できるので、乗客の画像認識の精度が向上する。これにより、視野からはみ出た乗客の欠損部を含めて混雑度を計測することが可能となり、高精度で、混雑度に基づくエレベータの運行制御を行うことが可能になる。
【実施例3】
【0057】
本発明の実施例3である、画像認識機能を備えたエレベータの画像認識装置の機能構成図を図15に示す。図15において、乗客認識部6cと制御部8c以外の各機能は実施例1,2と同様の機能を有する。また、装置構成は、図1に示したものと同様である。本実施例3において、欠損検出部5bは実施例2と同じ機能を有し、乗客認識部6cは、実施例1,2と同様の機能に加え、視野外へのはみ出しの影響を考慮して、かご51内の乗客の種類を判別する機能を有する。さらに、制御部8cは、かご51内の乗客の種類に応じて、かごドア53等のエレベータ機器の動作を制御する。
【0058】
図16に、乗客認識部6cが分類する乗客の種類の一例を示す。図16では、大人,子供,車椅子のカテゴリで乗客の種類を分類する。図16では、面積と高さを乗客のカテゴリの分類の基準としていて、面積が通常の大人の乗客よりも有意に大きな乗客を車椅子と分類し、高さが通常の大人の乗客よりも有意に小さな乗客を子供と分類する。
【0059】
図17は、乗客認識部6cにおける乗客の分類の処理フローを示す。ここでは、俯瞰画像251d上の貨物234を対象とする場合を例に挙げて説明する。なお、貨物234は乗客の一例としているが、この場合、「大人」,「子供」の分類は、例えば、「大きな貨物」,「小さな貨物」に相当する。
【0060】
まず、図13において、貨物234の可視領域210d内の面積が閾値Tを超過するかを判定し(S21)、超過すれば車椅子と判定し(S25)、超過しなければ欠損部244を含めた時の面積が閾値Tを超過するかを判定する(S22)。ここで、貨物234および欠損部244の面積は実施例2と同様にして求められる。ステップS22では、面積Tを超過すれば欠損部244を含めない時(S21)と含めた時(S22)とで判定結果が食い違う為に、欠損部244の影響で乗客の種類を判別不可能であるとして、乗客の種類を不明とする(S28)。
【0061】
ステップS22において、面積が閾値T以下の場合は、欠損部244を考慮してもステップS21と判定結果が同じであるため、有効な判定結果としてステップS23に移る。ステップS23では乗客の高さが閾値T以上かを判定し、閾値T以上であれば乗客の種類を大人と判別し(S26)、閾値T未満であればS24に移る。
【0062】
ステップS24では欠損部244が有るかを判定し、欠損部244が無ければ乗客の種類を子供と判別し(S27)、欠損部244が有ればその乗客の身長の高い部分が欠損していることが原因でステップS23の判定がNoとなった可能性を考慮して乗客の種類を不明と判別する(S28)。
【0063】
なお、乗客認識部6cが認識する乗客の種類は、図16に示したものに限るものではない。例えば、図16の乗客のカテゴリに、「貨物」を加えても良い。この場合、「大人」および「子供」は、人である通常の乗客のカテゴリとなる。また、図16に示す面積と高さは、乗客のカテゴリの分類の基準の一例であって、これに限るものではない。例えば、面積の代わりに、貨物234等の乗客の外接矩形の高さや幅を乗客のカテゴリの分類の基準に使うことができる。他にも例えば、俯瞰画像251d等において貨物234等の領域内に、車椅子に乗っている人の頭部を示す円形状が含まれることを、車椅子に分類する条件にしても良い。また、可視領域210d内の貨物234の面積が小さく、かつ欠損部244が存在する場合、円形状が見つからない場合には、欠損部244内に円形状が存在する可能性を考慮して乗客の種類を不明(図17のステップS28)と判断してもよい。
【0064】
制御部8cは、乗客認識部6cが出力する乗客の種類に応じて、かごドア53等のエレベータ機器の動作を制御する。例えば、制御部8cは、「車椅子」や「子供」と分類された乗客がかご51内に一人でも居る場合には、車椅子利用者や子供が、かごドア53を通過するために、比較的長い時間を要する可能性があることを考慮して、ドア53が閉じる速度を通常より低下させたり、かごドア53が開放している時間を通常よりも長くしたりする。
【0065】
本実施例3では、欠損検出部5bにおいて時刻間で各乗客の追跡を行い、かつ図15に点線で示したように乗客認識部6cの乗客の種類の判別結果を乗客の追跡に反映しても良い。乗客の追跡を行うことで、図17のステップS28で不明と判別された乗客の種類を、過去の時刻で判別された乗客の種類から判別することができる。
【0066】
更に、本実施例3では、実施例1の欠損検出部5と同様に乗客間の遮蔽で欠損した乗客を乗客の追跡の対象に含めても良い。これによって、制御部8cは、乗客間の遮蔽で欠損した乗客の種類を含めて、かごドア53等のエレベータ機器の動作を制御することができる。例えば、車椅子が混雑時に乗客間の遮蔽で欠損した場合でも、かごドア53が閉じる速度を低下させる制御やかごドア53を開放する時間を通常よりも長くする制御が可能となる。
【0067】
また、かご51が通常の運転盤とともに車椅子利用者用の運転盤を備え、かつ制御部8cは、この運転盤が操作された時に通常の運転盤が操作された場合よりもかご53が開いている時間を長くすることや、かごドア53が閉じる速度を低下することの少なくとも一方を行う場合、制御部8cは、乗客間の遮蔽で欠損した乗客を含めて車椅子がかご51内に全く居ない時には、車椅子用の運転盤が操作されても、通常の運転盤が操作された場合と同様の制御を行う(かごドア53が開放される時間を長くすることやかごドア53が閉じる速度を低下することを行わない)ようにしても良い。
【0068】
なお、本発明は前述した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前述した各実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、さらに、ある実施例の構成に他の実施例の構成を加えることも可能である。さらにまた、各実施例の構成の一部について、他の構成の追加・削除・置き換えをすることが可能である。
【0069】
例えば、上記各実施例において、距離画像センサ52の設置位置をかご51内からエレベータホール内に移動すれば、距離画像151を取得する範囲をかご51の内部から、エレベータホール内のかご51と同程度の広さの領域に置換えることができる。この置換えをしたとき、画像認識装置は、エレベータホール内におけるかご51と同程度の広さの領域における乗客の混雑度もしくは乗客の種類の少なくとも一つを、エレベータホール内におけるかご51と同程度の広さの領域における乗客の欠損を含めて認識して、かご51の運行の制御もしくはかご51内の機器の動作を制御する。ここで、距離画像センサ52は、エレベータがサービスする複数階床の各々に設けても良い。
【0070】
本置き換えによれば、例えば、エレベータホールの混雑度をかご51がサービスする各階で求め、エレベータホールから十分な数の乗客が乗車できないような混雑度である場合には、当該階床が目的階でなければ、当該階床のエレベータホールで呼びが登録されても、当該階床には停止せずに通過するような運行制御ができる。
【0071】
また、同じ階床で隣り合う複数のエレベータの各々について、エレベータホール内のかご51と同程度の広さの領域における混雑度を計算すれば、各エレベータ前でかごの到着を待つ乗客の各混雑度に応じて、複数のエレベータの運行制御を群管理することができる。
【0072】
また、エレベータホール内のかご51と同程度の広さの領域に子供や車椅子利用者が居る時には、かご51が停車してかごドア53が開く前に、かご51内のスピーカを使って、かご51内の乗客に対し、降車の際に子供や車椅子利用者に配慮するようにアナウンスすることができる。さらに、エレベータホールでエレベータを待つ乗客の分類に応じて、複数のエレベータ号機を群管理制御しても良い。これにより、例えば、車椅子利用者や子供に対して優先的にかごを配車することができる。
【0073】
なお、上記各実施例における画像認識手段は、エレベータ以外にも、距離画像センサの設置条件から距離画像中の人物が欠損し得る状況のもとで、それら人物の認識を要する用途に適用できる。
【符号の説明】
【0074】
2 … 距離画像取得部
3 … 直上変換部
4 … 乗客抽出部
5,5b … 欠損検出部
6,6b,6c … 乗客認識部
8,8c … 制御部
51 … かご
52 … 距離画像センサ
53 … かごドア
54 … 処理装置
55 … 視野角の境界線
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19