特許 6693627 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6693627

(24)【登録日】2020年4月20日

(45)【発行日】2020年5月13日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   B66B 11/02 20060101AFI20200427BHJP

   B66B 3/00 20060101ALI20200427BHJP

   G06T 7/80 20170101ALI20200427BHJP

【ＦＩ】

   B66B11/02 P

   B66B3/00 P

   G06T7/80

【請求項の数】7

【全頁数】18

(21)【出願番号】特願2019-93079(P2019-93079)

(22)【出願日】2019年5月16日

【審査請求日】2019年5月16日

(73)【特許権者】

【識別番号】390025265

【氏名又は名称】東芝エレベータ株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】特許業務法人スズエ国際特許事務所

(72)【発明者】

【氏名】木村 紗由美

(72)【発明者】

【氏名】田村 聡

(72)【発明者】

【氏名】野田 周平

(72)【発明者】

【氏名】横井 謙太朗

【審査官】 羽月 竜治

(56)【参考文献】

【文献】 特開２００９−２８０３６２（ＪＰ，Ａ）

【文献】 特開２０１７−１２６１８６（ＪＰ，Ａ）

【文献】 特開２０１８−１６２１１８（ＪＰ，Ａ）

【文献】 特開２０１８−１６２１１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６６Ｂ １１／００−１１／０８

Ｂ６６Ｂ ３／００− ３／０２

Ｇ０６Ｔ ７／８０

(57)【特許請求の範囲】

【請求項1】

乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能な画像処理装置であって、
前記乗りかごの床面および前記乗場の床面と区別可能なマーカが設置された状態で撮影された画像を前記カメラから取得する取得手段と、
前記カメラの取り付けに関する仕様値に基づいて、前記取得された画像上で前記マーカが映ると推測される関心領域を設定する設定手段と、
前記設定された関心領域に含まれる画素群に関する統計量に基づいて、前記カメラのパラメータを調整する調整手段と、
前記パラメータの調整後に撮影された画像を前記カメラから取得し、当該取得された画像から前記マーカを認識し、当該認識されたマーカに基づいて、前記カメラの取り付け位置のずれを検知する検知手段と、
を具備する、画像処理装置。

【請求項2】

前記仕様値は、
前記カメラの取り付け角度と、前記カメラと前記マーカとの位置関係と、を含む、請求項１に記載の画像処理装置。

【請求項3】

前記マーカは、
前記乗りかごのドアの開閉をガイドするためのシルの両端部に沿うようにして、前記乗りかご内の床面に設置される、請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記調整手段は、
前記統計量が予め設定された基準値になるように、前記カメラのパラメータを調整する、請求項１〜請求項３のいずれか１項に記載の画像処理装置。

【請求項5】

前記画素群に関する統計量は、
前記画素群の平均輝度値である、請求項１〜請求項４のいずれか１項に記載の画像処理装置。

【請求項6】

前記カメラのパラメータは、
前記カメラのシャッタースピードおよびゲインの少なくとも一方を含む、請求項１〜請求項５のいずれか１項に記載の画像処理装置。

【請求項7】

乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能な画像処理装置であって、
前記乗りかごの床面および前記乗場の床面と区別可能なマーカが設置される前記乗りかご内の明るさと、前記カメラのパラメータとが対応づけられた調整テーブルを格納する格納手段と、
前記乗りかごのドアが全閉状態の時に自動露光モードに設定された前記カメラのパラメータを取得する取得手段と、
前記取得されたパラメータに基づいて、前記乗りかご内の現在の明るさを推測する推測手段と、
前記推測された乗りかご内の現在の明るさと、前記調整テーブルとに基づいて、前記カメラのパラメータを調整する調整手段と、
前記パラメータの調整後に、前記マーカが設置された状態で撮影された画像を前記カメラから取得し、当該取得された画像から前記マーカを認識し、当該認識されたマーカに基づいて、前記カメラの取り付け位置のずれを検知する検知手段と、
を具備する、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置に関する。

【背景技術】

【0002】

近年、エレベータのかごドアに人や物が挟まれるのを防ぐために、様々な技術が考案されている。例えば、カメラを用いてエレベータに向かって移動している利用者を検知し、当該エレベータのドアの戸開時間を延長する技術が考案されている。

【0003】

このような技術においては、カメラによって撮影される画像から、エレベータに向かって移動している利用者を精度良く検知する必要がある。しかしながら、カメラの取り付け位置にずれが生じてしまった場合、カメラによって撮影される画像が回転したり、左右方向にずれたりするため、上記した利用者の検知精度を低下させてしまう可能性がある。

【0004】

このため、カメラの取り付け位置にずれが生じた場合に、当該ずれを検知可能な技術が開発され、当該技術の精度向上が望まれている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−１４３７２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の実施形態が解決しようとする課題は、カメラの取り付け位置のずれの検知精度を向上させ得る画像処理装置を提供することである。

【課題を解決するための手段】

【0007】

一実施形態によれば、画像処理装置は、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能である。前記画像処理装置は、取得手段、設定手段、調整手段および検知手段を具備する。前記取得手段は、前記乗りかごの床面および前記乗場の床面と区別可能なマーカが設置された状態で撮影された画像を前記カメラから取得する。前記設定手段は、前記カメラの取り付けに関する仕様値に基づいて、前記取得された画像上で前記マーカが映ると推測される関心領域を設定する。前記調整手段は、前記設定された関心領域に含まれる画素群に関する統計量に基づいて、前記カメラのパラメータを調整する。前記検知手段は、前記パラメータの調整後に撮影された画像を前記カメラから取得し、当該取得された画像から前記マーカを認識し、当該認識されたマーカに基づいて、前記カメラの取り付け位置のずれを検知する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係るエレベータシステムの概略構成例を示す図である。

【図2】図２は、エレベータシステムに含まれる画像処理装置のハードウェア構成例を示す図である。

【図3】図３は、カメラの取り付け位置にずれがない場合に撮影された画像を示す図である。

【図4】図４は、カメラの取り付け位置にずれがある場合に撮影された画像を示す図である。

【図5】図５は、カメラの撮影範囲内に設置されるマーカの一例を示す図である。

【図6】図６は、画像処理装置の機能構成例を示すブロック図である。

【図7】図７は、キャリブレーション機能における画像処理装置の処理手順の一例を示すフローチャートである。

【図8】図８は、図７に示すフローチャートを補足的に説明するための図であって、カメラにより撮影された画像を示す図である。

【図9】図９は、カメラの露光調整前に撮影された画像の一例を示す図である。

【図10】図１０は、露光調整機能における画像処理装置の処理手順の一例を示すフローチャートである。

【図11】図１１は、カメラの露光調整後に撮影された画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施の形態について図面を参照して説明する。開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

【0010】

図１は、実施形態に係るエレベータシステムの概略構成例を示す図である。
乗りかご１１の出入口上部にカメラ１２が設置されている。具体的には、乗りかご１１の出入口上部を覆う幕板１１ａの中にカメラ１２のレンズ部分を、乗りかご１１内および乗場１５が共に映る方向に向けて設置されている。カメラ１２は、例えば車載カメラ等の小型の監視用カメラであり、広角レンズを有し、１秒間に数コマ（例えば、３０コマ／秒）の画像を連続的に撮影する。

【0011】

カメラ１２は、常時オンであり、常に撮影を行うとしても良いし、所定のタイミングでオンになり撮影を開始し、所定のタイミングでオフになり撮影を終了するとしても良い。例えば、カメラ１２は、乗りかご１１の移動速度が所定値未満の時にオンになり、乗りかご１１の移動速度が所定値以上の時にオフになるとしても良い。この場合、カメラ１２は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になるとオンになり撮影を開始し、乗りかご１１が当該所定階とは別の階に向かうために加速を開始し、移動速度が所定値以上になるとオフになり撮影を終了する。つまり、カメラ１２による撮影は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になってから、乗りかご１１が当該所定階に停止している間中も含めて、乗りかご１１が当該所定階から別の階に向かうために加速を開始し、移動速度が所定値以上になるまで継続して行われる。

【0012】

カメラ１２の撮影範囲はＬ１＋Ｌ２に設定されている（Ｌ１≧Ｌ２）。Ｌ１は乗場１５側の撮影範囲であり、かごドア１３から乗場１５に向けて設定される。Ｌ１は乗りかご１１側の撮影範囲であり、かごドア１３からかご背面に向けて設定される。なお、Ｌ１，Ｌ２は奥行方向の範囲であり、幅方向（奥行方向と直交する方向）の範囲については、少なくとも乗りかご１１の横幅よりも大きいものとする。

【0013】

各階の乗場１５において、乗りかご１１の到着口には乗場ドア１４が開閉自在に設置されている。乗場ドア１４は、乗りかご１１の到着時にかごドア１３に係合して開閉動作する。なお、動力源（ドアモータ）は乗りかご１１側にあり、乗場ドア１４はかごドア１３に追従して開閉するだけである。以下の説明においては、かごドア１３が戸開している時には乗場ドア１４も戸開しており、かごドア１３を戸閉している時には乗場ドア１４も戸閉しているものとする。

【0014】

カメラ１２によって連続的に撮影された各画像（映像）は、画像処理装置２０によってリアルタイムに画像処理される。具体的には、画像処理装置２０は、予め設定されたエリア（以下、検知エリアと表記する）における画像の輝度値の変化に基づいてかごドア１３に最も近い利用者（の動き）を検知し、検知された利用者が乗りかご１１に乗車する意思を有しているか否かの判定や、検知された利用者の手や腕が戸袋に引き込まれる可能性があるか否かの判定等を行う。画像処理装置２０による画像処理の結果は、必要に応じて、エレベータ制御装置３０による制御処理（主に、戸開閉制御処理）に反映される。

【0015】

エレベータ制御装置３０は、乗りかご１１が乗場１５に到着した時のかごドア１３の戸開閉を制御する。詳しくは、エレベータ制御装置３０は、乗りかご１１が乗場１５に到着した時にかごドア１３を戸開し、所定時間経過後に戸閉する。

【0016】

但し、画像処理装置２０により乗りかご１１に乗車する意思のある利用者が検知された場合には、エレベータ制御装置３０は、かごドア１３の戸閉動作を禁止して戸開状態を維持する（かごドア１３の戸開時間を延長する）。また、画像処理装置２０により手や腕が戸袋に引き込まれる可能性のある利用者が検知された場合には、エレベータ制御装置３０は、かごドア１３の戸開動作を禁止するまたはかごドア１３の戸開速度を通常時よりも遅くする、あるいはかごドア１３から離れることを促す旨のメッセージを乗りかご１１内に流す等して、手や腕が戸袋に引き込まれる可能性があることを当該利用者に対して通知する。

【0017】

なお、図１では便宜的に、画像処理装置２０を乗りかご１１から取り出して示しているが、実際には画像処理装置２０はカメラ１２と共に幕板１１ａの中に収納されている。また、図１では、カメラ１２と画像処理装置２０とが別々に設けられている場合を例示しているが、カメラ１２と画像処理装置２０とは１つの装置として一体化されて設けられても良い。さらに、図１では、画像処理装置２０とエレベータ制御装置３０とが別々に設けられている場合を例示しているが、画像処理装置２０の機能はエレベータ制御装置３０に搭載されるとしても良い。

【0018】

図２は、画像処理装置２０のハードウェア構成の一例を示す図である。
図２に示すように、画像処理装置２０においては、バス２１に、不揮発性メモリ２２、ＣＰＵ２３、メインメモリ２４および通信デバイス２５等が接続されている。

【0019】

不揮発性メモリ２２は、例えばオペレーティングシステム（ＯＳ）等を含む各種プログラムを格納する。なお、不揮発性メモリ２２に格納されているプログラムには、上記した画像処理（より詳しくは、後述する利用者検知処理）を実行するためのプログラムや、後述するキャリブレーション機能を実現するためのプログラム（以下、キャリブレーションプログラムと表記する）が含まれる。

【0020】

ＣＰＵ２３は、例えば不揮発性メモリ２２に格納されている各種プログラムを実行するプロセッサである。なお、ＣＰＵ２３は、画像処理装置２０全体の制御を実行する。

【0021】

メインメモリ２４は、例えばＣＰＵ２３が各種プログラムを実行する際に必要とされるワークエリア等として使用される。

【0022】

通信デバイス２５は、有線または無線により、例えばカメラ１２やエレベータ制御装置３０等の外部装置と実行される通信（信号の送受信）を制御する機能を有する。

【0023】

ここで、上記したように、画像処理装置２０は、予め設定された検知エリアにおける画像の輝度値の変化に基づいてかごドア１３に最も近い利用者を検知する利用者検知処理を実行する。この利用者検知処理では、予め設定された検知エリアにおける画像の輝度値の変化に注目するため、当該検知エリアは、画像上の決まった位置に常に設定される必要がある。

【0024】

しかしながら、エレベータシステムの運用中に例えば乗りかご１１やカメラ１２に対する衝撃等によって、カメラ１２の取り付け位置（取り付け角度）にずれが生じてしまうと、上記した検知エリアにもずれが生じてしまうため、画像処理装置２０は、実際に注目したいエリアとは異なるエリアの画像の輝度値の変化に注目してしまい、その結果、本来であれば検知する必要のある利用者（や物体）を検知できない、あるいは、本来であれば検知する必要のない利用者（や物体）を誤検知してしまう、等の可能性がある。

【0025】

図３は、カメラ１２の取り付け位置にずれがない場合に撮影された画像の一例を示す。なお、図１においては示されていないが、乗りかご１１側には、かごドア１３の開閉をガイドするためのシル（敷居）（以下、かごシルと表記する）１３ａが設けられている。同様に、乗場１５側には、乗場ドア１４の開閉をガイドするためのシル（以下、乗場シルと表記する）１４ａが設けられている。また、図３中の斜線部分は、画像上に設定された検知エリアｅ１を示している。ここでは一例として、乗場１５にいる利用者を検知するために、検知エリアｅ１が、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から、乗場１５側に向けて所定の範囲を有して設定される場合を想定する。なお、検知エリアは、手や腕の戸袋への引き込まれを抑止するために乗りかご１１側に設定されても良いし、乗場１５側および乗りかご１１側の双方に複数設定されても良い。

【0026】

一方、図４は、カメラ１２の取り付け位置にずれがある場合に撮影された画像の一例を示す。なお、図４中の斜線部分は、図３同様に、画像上に設定された検知エリアｅ１を示す。

【0027】

図４に示すように、カメラ１２の取り付け位置にずれがあると、カメラ１２によって撮影された画像は、図３に示す場合に比べて、例えば回転した画像（傾いた画像）となる。しかしながら、検知エリアｅ１は、図３同様、画像上の決まった位置に設定されるため、本来であれば図３に示すように、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から、乗場１５側に所定の範囲を有して設定されるにも関わらず、図４に示すように、長方形状のかごシル１３ａの長辺とは全く関係のない位置から所定の範囲を有して設定されてしまうことになる。これによれば、上記したように、本来であれば検知する必要のある利用者を検知できなかったり、検知する必要のない利用者を誤検知してしまったりする可能性がある。なお、図４では、カメラ１２の取り付け位置のずれに起因して、画像が回転してしまった場合を例示したが、カメラ１２の取り付け位置のずれに起因して、画像が左右方向にずれてしまった場合も同様の可能性がある。

【0028】

そこで、本実施形態に係る画像処理装置２０は、カメラ１２の取り付け位置にずれが生じているか否かを検知し、ずれが生じている場合には、当該ずれにあわせて適切な位置に検知エリアを設定可能なキャリブレーション機能を有している。以下では、このキャリブレーション機能について詳しく説明する。

【0029】

なお、キャリブレーション機能を実現するにあたっては、例えば図５に示すようなマーカｍがカメラ１２の撮影範囲内に設置される必要がある。マーカｍは、例えばエレベータシステムの保守点検を行う保守員により設置される。ここでは、マーカｍが正方形状であり、４つの黒い丸印を模様として含むものとしたが、マーカｍは４つの角が全て直角である四角形であって、カメラ１２の撮影範囲内に含まれる他の物体（例えば、乗りかご１１や乗場１５の床面）と区別可能な模様を含むものであれば、どのようなものであっても構わない。

【0030】

図６は、本実施形態に係る画像処理装置２０の機能構成の一例を示すブロック図である。ここでは、上記したキャリブレーション機能に関する機能構成について主に説明する。

【0031】

画像処理装置２０は、図６に示すように、格納部２０１、画像取得部２０２、ずれ検知部２０３、設定処理部２０４および通知処理部２０５、等を含む。ずれ検知部２０３は、図６に示すように、認識処理部２３１、算出処理部２３２および検知処理部２３３、等をさらに含む。

【0032】

本実施形態においては、これら各部２０２〜２０５が、例えば図２に示すＣＰＵ２３（つまり、画像処理装置２０のコンピュータ）が不揮発性メモリ２２に格納されているキャリブレーションプログラムを実行すること（つまり、ソフトウェア）により実現されるものとして説明するが、上記した各部２０２〜２０５は、ハードウェアにより実現されても良いし、ソフトウェアおよびハードウェアの組み合わせにより実現されても良い。また、本実施形態において、格納部２０１は、例えば図２に示す不揮発性メモリ２２または他の記憶装置等によって構成される。

【0033】

格納部２０１には、キャリブレーション機能に関する設定値が格納されている。キャリブレーション機能に関する設定値は、基準点に対するマーカの相対位置を示す値（以下、第１設定値と表記する）を含む。基準点とは、カメラ１２の取り付け位置にずれが生じているか否かを検知するための指標となる位置であり、例えば、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の中央がこれに相当する。なお、基準点は、上記した長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の中央ではなく、カメラ１２の取り付け位置にずれが生じていない場合に当該カメラ１２の撮影範囲内に含まれる位置であれば任意の位置が基準点に設定されて構わない。

【0034】

また、キャリブレーションに関する設定値には、カメラ１２の取り付け位置にずれが生じていない場合の画像（基準画像）に含まれる基準点に対するカメラ１２の相対位置を示す値（以下、第２設定値と表記する）が含まれる。

【0035】

さらに、キャリブレーションに関する設定値には、基準点に対するかごシル１３ａの各頂点（四隅）の相対位置を示す値（以下、第３設定値と表記する）が含まれる。なお、本実施形態においては、検知エリアが長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から乗場１５側に所定の範囲を有して設定される場合を想定しているため、上記した第３設定値として、基準点に対するかごシル１３ａの各頂点の相対位置を示す値が含まれるとしているが、これに限定されず、第３設定値には、検知エリアを設定すべき領域に応じた値が設定される。例えば、検知エリアが手や腕の戸袋への引き込まれを抑止することを目的として、戸袋近辺に設定される場合、第３設定値として、基準点に対する戸袋の各特徴点の相対位置を示す値が含まれるとしても良い。

【0036】

また、キャリブレーションに関する設定値には、乗りかご１１の床面からカメラ１２までの高さと、当該カメラ１２の画角（焦点距離）とを示す値（以下、カメラ設定値と表記する）が含まれる。

【0037】

なお、格納部２０１には、カメラ１２の取り付け位置にずれがない場合に撮影された画像（基準画像）が格納されていても良い。

【0038】

画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態でカメラ１２により撮影された画像（以下、撮影画像と表記する）を取得する。なお、本実施形態においては、複数のマーカｍが、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の両端部にそれぞれ沿うようにして、乗りかご１１内の床面に設置される（以下では、単にかごシル１３ａの両端部に設置すると表記する）場合を想定するが、複数のマーカｍは基準点（本実施形態の場合、かごシル１３ａの中央）との相対位置を特定可能な位置であれば、乗場１５側の床面に設置されても良いし、かごシル１３ａや乗場シル１４ａ上に設置されても良い。また、画像取得部２０２は、複数のマーカｍが設置された状態でカメラ１２により撮影された画像を取得すれば良く、かごドア１３の状態はどのような状態であっても構わない。例えば、画像取得部２０２は、複数のマーカｍが設置され、かつ、かごドア１３が全開の状態で撮影された画像を撮影画像として取得しても良いし、複数のマーカｍが設置され、かつ、かごドア１３が全閉の状態で撮影された画像を撮影画像として取得しても良いし、複数のマーカｍが設置され、かつ、かごドア１３が半開き（あるいは半閉り）の状態で撮影された画像を撮影画像として取得するとしても良い。

【0039】

ずれ検知部２０３は、画像取得部２０２により取得された撮影画像に対して認識処理を実行し、当該撮影画像に含まれる複数のマーカｍを認識（抽出）する。撮影画像に含まれるマーカｍの認識は、例えばマーカｍに含まれる模様、本実施形態の場合、正方形の中に含まれる４つの黒い丸印を模様として含む物体を、マーカｍとして認識することを予め設定しておくことで実現するとしても良いし、その他の公知の画像認識技術を用いて実現するとしても良い。

【0040】

なお、本実施形態において、複数のマーカｍを認識するとは、複数のマーカｍの撮影画像上での座標値を算出することを含む。本実施形態においては、マーカｍとして認識された物体に含まれる４つの黒い丸印の中心点を結ぶことで形成される四角形の中心点（重心）をマーカｍとみなして、複数のマーカｍの撮影画像上での座標値が算出される場合を想定する。なお、ここでは、マーカｍとして認識された物体に含まれる４つの黒い丸印の中心点を結ぶことで形成される四角形の重心をマーカｍとみなすとするが、マーカｍとして認識された物体のどの部分をマーカｍとみなすかは任意に設定されて構わない。

【0041】

ずれ検知部２０３は、上記した認識処理の結果に基づいて、カメラ１２の取り付け位置のずれを検知する。なお、ずれ検知部２０３に含まれる認識処理部２３１、算出処理部２３２および検知処理部２３３の機能については、フローチャートの説明と共に後述するため、ここではこれらの詳しい説明を省略する。

【0042】

設定処理部２０４は、ずれ検知部２０３によりカメラ１２の取り付け位置にずれが生じていることが検知された場合、画像取得部２０２により取得された撮影画像のうちの当該ずれにあわせた適切な位置に検知エリアを設定する。これによれば、カメラ１２の取り付け位置のずれを考慮した検知エリアが撮影画像上に設定される。なお、ずれにあわせて適切な位置に設定された検知エリアの座標値は、格納部２０１に格納されても良い。

【0043】

通知処理部２０５は、ずれ検知部２０３によりカメラ１２の取り付け位置にずれが生じていることが検知された場合、エレベータシステムの運用状態等を監視する監視センタ（の管理者）や、マーカｍを設置してエレベータシステムの保守点検を行う保守員（が所持する端末）に対して、カメラ１２の取り付け位置にずれが生じていること（異常が生じていること）を通知する。なお、この通知は、例えば通信デバイス２５を介して行われる。

【0044】

次に、図７のフローチャートを参照して、本実施形態におけるキャリブレーション機能における画像処理装置２０の処理手順について説明する。なお、図７に示す一連の処理は、例えば定期メンテナンス時に実行される他、エレベータシステムの運用前等に実行されても良い。

【0045】

まず、画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態で撮影された画像（撮影画像）をカメラ１２から取得する（ステップＳ１）。ここでは一例として、図８に示す撮影画像ｉ１が画像取得部２０２により取得された場合を想定する。撮影画像ｉ１には、図８に示すように、かごシル１３ａの両端部に設置された２つのマーカｍ１，ｍ２が含まれている。

【0046】

続いて、ずれ検知部２０３に含まれる認識処理部２３１は、画像取得部２０２により取得された撮影画像に対して認識処理を実行し、当該撮影画像に含まれる複数のマーカｍを認識（抽出）する（ステップＳ２）。上記したように、ステップＳ１において撮影画像ｉ１が取得されている場合、認識処理部２３１は、図８に示す撮影画像ｉ１に対して認識処理を実行し、当該撮影画像ｉ１に含まれるマーカｍ１，ｍ２を認識（抽出）する。

【0047】

次に、認識処理部２３１は、格納部２０１に設定値として格納されているカメラ設定値（カメラ１２の高さおよびカメラ１２の画角）に基づいて、ステップＳ２の認識処理の結果として得られる複数のマーカｍに対するカメラ１２の各相対位置と、カメラ１２の３軸の角度（カメラ１２の取り付け角度）とを算出する（ステップＳ３）。上記したように、ステップＳ２において撮影画像ｉ１からマーカｍ１，ｍ２が認識されている場合、認識処理部２３１は、複数のマーカｍに対するカメラ１２の相対位置として、マーカｍ１に対するカメラ１２の相対位置と、マーカｍ２に対するカメラ１２の相対位置とをそれぞれ算出する。なお、図８では、点ｐ１がマーカｍ１とみなされる部分に相当し、点ｐ２がマーカｍ２とみなされる部分に相当する。

【0048】

ずれ検知部２０３に含まれる算出処理部２３２は、認識処理部２３１により算出された複数のマーカｍに対するカメラ１２の各相対位置と、格納部２０１に設定値として格納されている第１設定値とに基づいて、基準点に対するカメラ１２の相対位置を算出する（ステップＳ４）。

【0049】

上記したように、ステップＳ３においてマーカｍ１，ｍ２に対するカメラ１２の相対位置が算出されている場合、算出処理部２３２は、マーカｍ１に対するカメラ１２の相対位置と、第１設定値である基準点に対するマーカｍ１の相対位置とを合成することにより、基準点に対するカメラ１２の相対位置を算出する。同様に、算出処理部２３２は、マーカｍ２に対するカメラ１２の相対位置と、第１設定値である基準点に対するマーカｍ２の相対位置とを合成することにより、基準点に対するカメラ１２の相対位置を算出する。なお、図８では、点ｐ３が基準点に相当する。

【0050】

続いて、ずれ検知部２０３に含まれる検知処理部２３３は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、格納部２０１に設定値として格納されている第２設定値とに基づいて、カメラ１２の取り付け位置にずれが生じているか否かを判定する（ステップＳ５）。具体的には、検知処理部２３３は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、第２設定値である基準点に対するカメラ１２の相対位置とが一致しているか否かを判定して、カメラ１２の取り付け位置にずれが生じているか否かを検知する。

【0051】

基準点に対するカメラ１２の相対位置が一致し、カメラ１２の取り付け位置にずれが生じていないと判定された場合（ステップＳ５のＹＥＳ）、検知処理部２３３は、カメラ１２の取り付け位置にずれはなく、検知エリアの再設定は必要ないと判定し、ここでの一連の処理を終了させる。

【0052】

一方で、基準点に対するカメラ１２の相対位置が一致せず、カメラ１２の取り付け位置にずれが生じていると判定された場合（ステップＳ５のＮＯ）、設定処理部２０４は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、格納部２０１に設定値として格納されている第３設定値およびカメラ設定値とに基づいて、画像取得部２０２により取得された撮影画像のうちのカメラ１２の取り付け位置のずれにあわせた適切な位置に検知エリアを設定する（ステップＳ６）。

【0053】

本実施形態においては、かごシル１３ａから乗場１５側に所定の範囲を有する検知エリアを設定する場合を想定しているので、まず、設定処理部２０４は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、第３設定値である基準点に対するかごシル１３ａの各頂点の相対位置とを合成することにより、カメラ１２に対するかごシル１３ａの各頂点の相対位置を算出する。なお、図８では、点ｐ４〜点ｐ７がかごシル１３ａの各頂点に相当する。

【0054】

その後、設定処理部２０４は、算出されたカメラ１２に対するかごシル１３ａの各頂点の相対位置と、認識処理部２３１により算出されたカメラ１２の３軸の角度と、格納部２０１にカメラ設定値として格納されているカメラ１２の画角とに基づいて、検知エリアを設定する。

【0055】

これによれば、画像取得部２０２により取得された撮影画像ｉ１には、図８の斜線部分に示されるように、カメラ１２の取り付け位置のずれにあわせた検知エリアｅ１、つまり、かごシル１３ａの長辺のうちの乗りかご１１側の長辺から乗場１５側に所定の範囲を有する検知エリアｅ１が設定される。

【0056】

しかる後、通知処理部２０５は、カメラ１２の取り付け位置にずれが生じていることを、通信デバイス２５を介して、監視センタ（の管理者）や保守員（の端末）に通知し（ステップＳ７）、ここでの一連の処理を終了させる。

【0057】

なお、図７に示すステップＳ５においては、撮影画像に含まれる基準点に対するカメラ１２の相対位置と、基準画像に含まれる基準点に対するカメラ１２の相対位置とが一致するか否かに応じて、カメラ１２の取り付け位置にずれが生じているか否かが判定（検知）されるものとしたが、カメラ１２の取り付け位置にずれが生じている場合であっても、当該ずれが上記した利用者検知処理の精度に影響を与えない程度であれば、検知エリアの再設定を行わない構成であっても良い。すなわち、撮影画像に含まれる基準点に対するカメラ１２の相対位置と、基準画像に含まれる基準点に対するカメラ１２の相対位置との差（乖離度）が予め設定された範囲内であるか否かに基づいてステップＳ５の処理が実行され、当該乖離度が予め設定された範囲内にない場合に、カメラ１２の取り付け位置にずれが生じていると判定されても良い。

【0058】

また、本実施形態における検知エリアの設定が、既に設定された検知エリアの再設定を指す場合、検知エリアの設定は、検知エリアの補正と表現されても構わない。この場合、基準点に対するカメラ１２の相対位置は、上記したカメラ１２の３軸の角度と共に、検知エリアの補正を実現するために必要な値であるため、補正値と表現されても構わない。

【0059】

以上説明したキャリブレーション機能によれば、カメラ１２の取り付け位置のずれにあわせた検知エリアｅ１を撮影画像ｉ１に対して設定することが可能となる一方で、当該キャリブレーション機能を実行するにあたっては、以下に示す問題を解消する必要がある。

【0060】

上記したキャリブレーション機能においては、図７のステップＳ１，Ｓ２に示したように、乗りかご１１内の床面にマーカｍが設置された状態の撮影画像をカメラ１２から取得し、当該撮影画像からマーカｍを認識する必要がある。しかしながら、撮影時の周囲の環境によっては、図９に示すように、撮影画像に白とびや黒つぶれが発生し、この白とびや黒つぶれの発生に起因して、かごシル１３ａの両端部に設置されたマーカｍを認識することができない可能性がある。これによれば、上記したキャリブレーション機能が正常に機能しない可能性がある。なお、撮影画像に影響を及ぼす（つまり、白とびや黒つぶれを発生させる）周囲の環境の一例としては、乗場１５側から入射する外光や、乗りかご１１内に設置された照明意匠による光等が一例として挙げられる。

【0061】

このため、本実施形態に係る画像処理装置２０は、キャリブレーション機能の１つとして、マーカｍの設置位置近辺における撮影画像上での白とびや黒つぶれの発生を抑制可能な露光調整機能をさらに有している。以下では、この露光調整機能について詳しく説明する。

【0062】

露光調整機能を実現するにあたって、格納部２０１には、上記した第１〜第３設定値およびカメラ設定値に加えて、カメラ１２の取り付け位置にずれが生じていないと仮定した場合におけるカメラ１２の３軸の角度（カメラ１２の取り付け角度）と、マーカｍに対するカメラ１２の相対位置（カメラ１２とマーカｍとの位置関係）とを示す値（換言すると、カメラ１２の取り付けに関する仕様値、以下、単に仕様値と表記する）が、キャリブレーションに関する設定値（詳しくは、露光調整に関する設定値）としてさらに含まれている。なお、本実施形態においては、マーカｍがかごシル１３ａの両端部に設置される場合を想定するため、マーカｍに対するカメラ１２の相対位置は、かごシル１３ａの両端部に対するカメラ１２の相対位置と同義である。

【0063】

画像取得部２０２は、図７に示した一連の処理が実行されるより前に、露光調整機能に関する処理を実行する。詳細についてはフローチャートの説明と共に後述するが、撮影画像上でマーカｍが映ると推測される領域を関心領域（ROI: Region Of Interest）として設定し、当該関心領域に含まれる画素群の統計量に基づいて、カメラ１２固有のカメラパラメータを調整する。

【0064】

ここで、図１０のフローチャートを参照して、本実施形態における露光調整機能における画像処理装置２０の処理手順について説明する。なお、図１０に示す一連の処理は、例えば、図７に示した一連の処理が実行されるより前に実行される。つまり、図１０に示す一連の処理は、例えば、図７に示した一連の処理の前処理として実行される。

【0065】

まず、画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態で撮影された画像（撮影画像）をカメラ１２から取得する（ステップＳ１１）。上記したように、本実施形態においては、マーカｍ１，ｍ２がかごシル１３ａの両端部にそれぞれ設置されている場合を想定する。また、ここでは、ステップＳ１１を実行した結果、図９に示す撮影画像ｉ２が画像取得部２０２により取得された場合を想定する。つまり、この時点においては、図９に示すように、撮影画像ｉ２には白とびや黒つぶれが発生し、ずれ検知部２０３（認識処理部２３１）が、かごシル１３ａの両端部にそれぞれ設置されたマーカｍ１，ｍ２を認識できない状態にある。

【0066】

続いて、画像取得部２０２は、格納部２０１に設定値として格納されている仕様値およびカメラ設定値に基づいて、複数のマーカｍが映ると推測される関心領域ｒを設定する（ステップＳ１２）。上記したように、マーカｍ１，ｍ２がかごシル１３ａの両端部に設置されている場合、画像取得部２０２は、マーカｍ１，ｍ２に対するカメラ１２の相対位置（換言すると、かごシル１３ａの両端部に対するカメラ１２の相対位置）と、カメラ１２の３軸の角度と、カメラ１２の画角とに基づいて、撮影画像ｉ２上に関心領域ｒを設定する。

【0067】

これによれば、画像取得部２０２により取得された撮影画像ｉ２には、図９の一点鎖線で示されるように、マーカｍ１が映ると推測される関心領域ｒ１と、マーカｍ２が映ると推測される関心領域ｒ２とが設定される。なお、ここでは、マーカｍ１が映ると推測される関心領域ｒ１と、マーカｍ２が映ると推測される関心領域ｒ２とを別々に設定するとしたが、これに限定されず、例えば、マーカｍ１，ｍ２の両方が映ると推測される１つの関心領域ｒが設定されるとしても良い。

【0068】

次に、画像取得部２０２は、関心領域ｒに含まれる画素群に関する統計量を算出する（ステップＳ１３）。上記したように、ステップＳ１２において２つの関心領域ｒ１，ｒ２が設定されている場合、画像取得部２０２は、関心領域ｒ１に含まれる画素群に関する統計量と、関心領域ｒ２に含まれる画素群に関する統計量とをそれぞれ算出する。なお、ここでは、関心領域ｒに含まれる画素群に関する統計量として、関心領域ｒに含まれる画素群の平均輝度値（画素値の平均値）が算出される場合を想定する。但し、関心領域ｒに含まれる画素群に関する統計量は、画素値の平均値に限定されず、例えば、画素値の中央値や最頻値、最大値、最小値、等が関心領域ｒに含まれる画素群に関する統計量として算出されても構わない。

【0069】

しかる後、画像取得部２０２は、算出された関心領域ｒに含まれる画素群に関する統計量が予め設定された基準値（目標値）になるように、カメラ１２固有のカメラパラメータを調整（設定）し（ステップＳ１４）、ここでの一連の処理を終了させる。この調整は、例えば、カメラパラメータを設定するための指示信号が通信デバイス２５を介して画像取得部２０２からカメラ１２に送信されることにより行われる。

【0070】

上記したように、ステップＳ１３において２つの関心領域ｒ１，ｒ２について画素群に関する統計量が算出されている場合、画像取得部２０２は、どちらの統計量も基準値になるように、カメラ１２固有のカメラパラメータを調整する。なお、調整対象となるカメラパラメータには、カメラ１２のシャッタースピード（露光時間）およびカメラ１２のゲイン（感度）のうちの少なくとも一方が含まれる。

【0071】

なお、関心領域ｒに含まれる画素群に関する統計量に対して予め設定される基準値は、上記した露光調整に関する設定値の１つとして、格納部２０１に予め格納される。上記したように、関心領域ｒに含まれる画素群に関する統計量が、関心領域ｒに含まれる画素群の平均輝度値であって、カメラ１２による撮影画像ｉ２が、色の濃淡をグレースケールで表現する画像である場合、上記した基準値は、グレースケールの０（黒：最小輝度値）とグレースケールの２５５（白：最大輝度値）との平均値である１２７に設定されるとしても良い。この場合、画像取得部２０２は、関心領域ｒに含まれる画素群の平均輝度値が１２７になるように、カメラ１２固有のカメラパラメータを調整する。

【0072】

以上説明した露光調整機能によれば、マーカｍが映ると推測される関心領域ｒを撮影画像上に設定し、当該関心領域ｒにおける白とびや黒つぶれの発生を抑制するように、カメラ１２の露光調整を行うことが可能となる。

【0073】

図１１は、図１０に示す一連の処理が実行された後に撮影された画像、つまり、露光調整が行われた後に撮影された画像の一例を示す。図１１に示す露光調整後の撮影画像ｉ３には、図９に示す露光調整前の撮影画像ｉ２とは異なり、マーカｍ１，ｍ２の設置位置近辺に白とびや黒つぶれが発生していないため、認識処理部２３１が、かごシル１３ａの両端部にそれぞれ設置されたマーカｍ１，ｍ２を認識できる状態にある。これによれば、図７のステップＳ２が正常に実行され、上記したキャリブレーション機能を正常に機能させることが可能となる。

【0074】

なお、マーカｍ１，ｍ２の設置位置近辺における白とびや黒つぶれの発生を抑制するようにカメラパラメータを調整した影響で、図１１に示す撮影画像ｉ３には、マーカｍ１，ｍ２の設置位置近辺以外の部分（図１１中の斜線部分）に白とびや黒つぶれが発生してしまっている。しかしながら、上記したキャリブレーション機能においては、マーカｍ１，ｍ２を認識することが重要であり、その他の部分を認識できないことはさしたる問題ではないため、マーカｍ１，ｍ２の設置位置近辺以外の部分に白とびや黒つぶれが発生したとしても、上記したキャリブレーション機能を正常に機能させることが可能である。

【0075】

なお、本実施形態においては、図１０に示す一連の処理が、図７に示す一連の処理の前処理として実行される場合について説明したが、図１０に示す一連の処理を実行するタイミングはこれに限定されず、例えば、図７に示すステップＳ２において、認識処理部２３１がマーカｍを正常に認識することができなかった場合に、マーカｍを正常に認識することができなかった撮影画像を用いて、図１０に示す一連の処理が実行されるとしても良い。

【0076】

図１０に示す一連の処理は、マーカｍを利用したキャリブレーション機能を正常に機能させるために実行される。このため、図１０のステップＳ１１において取得される撮影画像には、マーカｍが含まれていることが望ましい。つまり、キャリブレーション時にマーカｍを設置する位置にマーカｍが設置された状態の撮影画像が取得されることが望ましい。これによれば、マーカｍを構成する画素の輝度値を考慮した露光調整を実行することができるので、マーカｍを利用したキャリブレーション機能に則した露光調整を実現することが可能となる。

【0077】

本実施形態においては、カメラ１２から撮影画像を取得し、取得された撮影画像上に関心領域ｒを設定し、当該関心領域ｒに含まれる画素群に関する統計量に基づいてカメラパラメータを調整するとしたが、カメラパラメータの調整は、以下に示す方法により実行されても良い。

【0078】

上記したように、撮影画像に白とびや黒つぶれを発生させる主な要因は、乗場１５側から入射する外光や、乗りかご１１内に設置された照明意匠による光であり、乗りかご１１内の明るさ（マーカｍが設置される位置近辺の明るさ）と、白とびや黒つぶれの発生とには関係性がある。このため、乗りかご１１内の明るさと、乗りかご１１内の明るさが対応づけられた明るさの場合にマーカｍの設置位置近辺における白とびや黒つぶれの発生を抑制可能なカメラ１２固有のカメラパラメータとを含む調整テーブルを予め用意しておくことで、画像取得部２０２は、カメラパラメータの調整を実現するとしても良い。

【0079】

この方法の場合、乗りかご１１内の明るさを精度良く推測する必要があるので、かごドア１３は全閉状態であることが望ましい。これによれば、乗場１５側からの外光の入射を防ぐことができ、白とびや黒つぶれの発生を精度良く抑制することが可能となる。
このため、まず画像処理装置２０は、エレベータ制御装置３０を介してかごドア１３の状態を確認し、かごドア１３が開いている状態（例えば、全開状態または半開き状態）にある場合、かごドア１３を全閉状態にするようエレベータ制御装置３０に指示する。

【0080】

続いて、かごドア１３が全閉状態になったことを確認すると、画像処理装置２０はカメラ１２の設定を自動露光（AE: Automatic Exposure）モードに変更した上で、カメラ１２に撮影を実行させる。自動露光モードとは、カメラ１２が撮影環境に応じて当該カメラ１２固有のカメラパラメータ（シャッタースピードおよびゲイン）を自動的に調整して、撮影を行うことが可能なモードである。なお、撮影を実行しなくても、自動露光モード時のカメラパラメータを取得可能な場合、ここでは撮影を実行せずに、カメラ１２の設定を自動露光モードに変更するだけで良い。

【0081】

次に、画像処理装置２０は、自動露光モードにより調整されたカメラパラメータの値（撮影時のカメラパラメータの値）を取得し、取得されたカメラパラメータの値に基づいて、乗りかご１１内の現在の明るさを推測する。その後、画像処理装置２０は、推測された乗りかご１１内の現在の明るさと、格納部２０１に予め用意された調整テーブルとに基づいて、乗りかご１１内の現在の明るさに好適なカメラパラメータを決定する。より詳しくは、画像処理装置２０は、予め用意された調整テーブルにおいて、推測された乗りかご１１内の現在の明るさに対応づけられているカメラパラメータを、乗りかご１１内の現在の明るさに好適なカメラパラメータに決定する。

【0082】

続いて、画像処理装置２０は、カメラ１２固有のカメラパラメータを、決定されたカメラパラメータに調整する。その後、画像処理装置２０は、調整後のカメラパラメータを利用して撮影された画像であって、設置されたマーカｍを適切に認識可能な状態の画像をカメラ１２から取得し、上記したキャリブレーション機能における一連の処理を実行する。この方法によれば、関心領域ｒの設定、関心領域ｒに含まれる画素群に関する統計量の算出、等を実行しなくても、格納部２０１に予め格納された調整テーブルと、乗りかご１１内の現在の明るさとに基づいて、マーカｍの設置位置近辺における白とびや黒つぶれの発生を抑制するように、カメラ１２固有のカメラパラメータを調整することが可能であり、図１０に示した一連の処理が実行された場合と同様の効果を得ることが可能である。また、この方法によれば、自動露光モード時のシャッタースピードおよびゲインに基づいて乗りかご１１内の現在の明るさを推測可能であるので、乗りかご１１内の現在の明るさを測定するための照度センサ等を取り付ける必要がなく、照度センサの取り付けにかかる手間やコストを削減することも可能である。

【0083】

以上説明した本実施形態において、画像処理装置２０は、乗りかご１１の床面および乗場１５の床面と区別可能なマーカｍが設置された状態で撮影された画像をカメラ１２から取得し、取得された画像からマーカｍを認識し、認識されたマーカｍに基づいて、カメラ１２の取り付け位置のずれを検知し、カメラ１２の取り付け位置のずれが検知された場合には、画像処理（利用者検知処理）に関する設定値を設定する。この画像処理に関する設定値は、撮影画像に対して設定されたかごドア１３に最も近い利用者を検知するための検知エリア（の座標値）を含む。

【0084】

このような構成によれば、カメラ１２の取り付け位置にずれが生じた場合であっても、当該カメラ１２によって撮影された画像（例えば、回転した画像、左右方向にずれた画像）に対して、適切な検知エリアを設定することが可能となるため、利用者の検知精度の低下を抑止することが可能となる。

【0085】

さらに本実施形態において、画像処理装置２０は、乗りかご１１の床面および乗場１５の床面と区別可能なマーカｍが設置された状態で撮影された画像をカメラ１２から取得し、カメラ１２の取り付けに関する仕様値に基づいて、取得された画像上に関心領域ｒを設定し、関心領域ｒに含まれる画素群に関する統計量に基づいて、カメラ１２固有のカメラパラメータを調整し、この調整後の画像に基づいて、カメラ１２の取り付け位置のずれを検知する。

【0086】

このような構成によれば、マーカｍの設置位置近辺における白とびや黒つぶれの発生を抑制することが可能となり、ひいては、カメラ１２の取り付け位置のずれを検知するにあたって、マーカｍを認識することができずに、キャリブレーション機能を正常に機能させることができないという事態の発生を抑制することが可能となる。

【0087】

以上説明した一実施形態によれば、カメラ１２の取り付け位置のずれの検知精度を向上させ得る画像処理装置２０を提供することが可能となる。

【0088】

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0089】

１１…乗りかご、１１ａ…幕板、１２…カメラ、１３…かごドア、１３ａ…かごシル、１４…乗場ドア、１４ａ…乗場シル、１５…乗場、２０…画像処理装置、３０…エレベータ制御装置、２０１…格納部、２０２…画像取得部、２０３…ずれ検知部、２０４…設定処理部、２０５…通知処理部、２３１…認識処理部、２３２…算出処理部、２３３…検知処理部、ｅ１…検知エリア、ｉ１，ｉ２，ｉ３…撮影画像、ｍ，ｍ１，ｍ２…マーカ、ｒ，ｒ１，ｒ２…関心領域。

【要約】

【課題】カメラの取り付け位置のずれの検知精度を向上させること。
【解決手段】一実施形態によれば、画像処理装置は、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能である。画像処理装置は、取得手段、設定手段、調整手段および検知手段を備える。取得手段は、記乗りかごの床面および乗場の床面と区別可能なマーカが設置された状態で撮影された画像をカメラから取得する。設定手段は、カメラの取り付けに関する仕様値に基づいて、取得された画像上でマーカが映ると推測される関心領域を設定する。調整手段は、関心領域に含まれる画素群に関する統計量に基づいて、カメラのパラメータを調整する。検知手段は、パラメータの調整後に撮影された画像をカメラから取得し、当該画像からマーカを認識し、認識されたマーカに基づいて、カメラの取り付け位置のずれを検知する。
【選択図】図１０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】