IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧

特開2024-165375保守装置、保守システム及び保守プログラム
<>
  • 特開-保守装置、保守システム及び保守プログラム 図1
  • 特開-保守装置、保守システム及び保守プログラム 図2
  • 特開-保守装置、保守システム及び保守プログラム 図3
  • 特開-保守装置、保守システム及び保守プログラム 図4
  • 特開-保守装置、保守システム及び保守プログラム 図5
  • 特開-保守装置、保守システム及び保守プログラム 図6
  • 特開-保守装置、保守システム及び保守プログラム 図7
  • 特開-保守装置、保守システム及び保守プログラム 図8
  • 特開-保守装置、保守システム及び保守プログラム 図9
  • 特開-保守装置、保守システム及び保守プログラム 図10
  • 特開-保守装置、保守システム及び保守プログラム 図11
  • 特開-保守装置、保守システム及び保守プログラム 図12
  • 特開-保守装置、保守システム及び保守プログラム 図13
  • 特開-保守装置、保守システム及び保守プログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024165375
(43)【公開日】2024-11-28
(54)【発明の名称】保守装置、保守システム及び保守プログラム
(51)【国際特許分類】
   B66B 5/00 20060101AFI20241121BHJP
【FI】
B66B5/00 G
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023081524
(22)【出願日】2023-05-17
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】松井 一真
(72)【発明者】
【氏名】緒方 邦臣
(72)【発明者】
【氏名】栗山 哲
【テーマコード(参考)】
3F304
【Fターム(参考)】
3F304BA02
3F304BA26
3F304EA22
3F304ED06
3F304ED13
(57)【要約】
【課題】 高精度で、より簡易な構成で且つ低コストでエレベーターの保守点検が可能となる保守装置を提供する。
【解決手段】 本発明は、エレベーターの保守点検時に撮影装置により撮影された昇降路の画像データを取得する保守装置であり、昇降路の画像データから保守点検で解析対象となる解析用画像データを抽出する画像処理部を備え、画像処理部は、保守点検時のエレベーターの乗りかごの走行状況に関する駆動情報を取得し、駆動情報に基づいて、昇降路の画像データから解析用画像データを抽出することを特徴とする。
【選択図】 図4
【特許請求の範囲】
【請求項1】
エレベーターの保守点検時に撮影装置により撮影された昇降路の画像データを取得する保守装置において、
前記昇降路の画像データから保守点検で解析対象となる解析用画像データを抽出する画像処理部を備え、
前記画像処理部は、前記保守点検時の前記エレベーターの乗りかごの走行状況に関する駆動情報を取得し、当該駆動情報に基づいて、前記昇降路の画像データから前記解析用画像データを抽出する
ことを特徴とする保守装置。
【請求項2】
前記画像処理部は、
前記駆動情報に基づいて、前記解析用画像データの抽出開始を示す開始トリガ信号を生成し、当該開始トリガ信号を出力する抽出トリガ信号生成部と、
前記抽出トリガ信号生成部から出力された前記開始トリガ信号に基づき、前記解析用画像データの抽出を開始する画像抽出部と、を有する
ことを特徴とする請求項1に記載の保守装置。
【請求項3】
前記抽出トリガ信号生成部は、前記解析用画像データの抽出終了を示す終了トリガ信号を生成し、当該終了トリガ信号を出力し、
前記画像抽出部は、前記抽出トリガ信号生成部から出力された前記終了トリガ信号に基づき、前記解析用画像データの抽出を終了する
ことを特徴とする請求項2に記載の保守装置。
【請求項4】
前記昇降路の画像データは、動画データであり、
前記解析用画像データの抽出開始タイミングは、前記昇降路の画像データの撮影開始タイミングより後であり、前記解析用画像データの抽出終了タイミングは、前記昇降路の画像データの撮影終了タイミングより前である
ことを特徴とする請求項1に記載の保守装置。
【請求項5】
前記昇降路の画像データは、動画データであり、
前記解析用画像データの抽出開始タイミングは、前記昇降路の画像データの撮影開始タイミングと同じであり、前記解析用画像データの抽出終了タイミングは、前記昇降路の画像データの撮影終了タイミングと同じである
ことを特徴とする請求項1に記載の保守装置。
【請求項6】
エレベーターの保守点検時に昇降路の画像データを撮影する撮影部を備える保守システムにおいて、
前記昇降路の画像データから保守点検で解析対象となる解析用画像データを抽出する画像処理部と、
前記画像処理部で抽出された前記解析用画像データに基づいて、所定の保守点検対象の解析を行う画像解析部と、
前記画像解析部で行われた解析の結果を表示する表示部と、をさらに備え、
前記画像処理部は、前記保守点検時の前記エレベーターの乗りかごの走行状況に関する駆動情報を取得し、当該駆動情報に基づいて、前記昇降路の画像データから前記解析用画像データを抽出する
ことを特徴とする保守システム。
【請求項7】
前記撮影部で撮影する前記画像データは、動画データであり、
前記撮影部のフレームレートは、前記駆動情報のサンプリングレートより小さい
ことを特徴とする請求項6に記載の保守システム。
【請求項8】
前記駆動情報を検出するセンサを有する駆動情報検出部をさらに備える
ことを特徴とする請求項7に記載の保守システム。
【請求項9】
前記画像処理部は、前記乗りかごへの走行指令を含む制御情報を出力する駆動制御システムから出力された前記制御情報を前記駆動情報として取得する
ことを特徴とする請求項6に記載の保守システム。
【請求項10】
前記画像処理部と、前記画像解析部及び前記表示部とは、別体で構成され、
前記画像処理部で抽出された前記解析用画像データは、通信により前記画像解析部に送信される
ことを特徴とする請求項6に記載の保守システム。
【請求項11】
オペレーターにより操作可能であり、前記オペレーターによる操作に対応する操作信号を出力する入力部をさらに備え、
前記表示部に表示される前記解析の結果の表示内容は、前記入力部への前記オペレーターの操作により指定された内容に対応する前記操作信号に基づいて変更される
ことを特徴とする請求項6に記載の保守システム。
【請求項12】
エレベーターの保守点検時に撮影装置により撮影された昇降路の画像データを取得する保守装置に実装して実行させる保守プログラムにおいて、
前記保守装置が備える画像処理部が、前記保守点検時の前記エレベーターの乗りかごの走行状況に関する駆動情報を取得する処理と、
前記画像処理部が、前記駆動情報に基づいて、前記昇降路の画像データから保守点検で解析対象となる解析用画像データを抽出する処理と、を前記保守装置に実装して実行させる
ことを特徴とする保守プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、保守装置、保守システム及び保守プログラムに関する。
【背景技術】
【0002】
従来、エレベーターの昇降路を点検するための各種システムが提案されている(例えば、特許文献1参照)。特許文献1では、エレベーターの昇降路内、かごの上部及び下部等に複数のカメラを設置し、カメラで撮影された現在の昇降路の画像と、過去に撮影された昇降路の画像とを比較して、メンテナンスの要否を判断するシステムが提案されている。このようなシステムを採用した場合、高層ビル等の目視点検が困難なビルであっても、自動で異常箇所の有無の点検が可能となる。また、オペレーターが現地を訪問しなくても、昇降路内の状態を確認できることから、保守作業の負荷も大きく減らすことができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】欧州特許出願公開第3409629号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のように、従来、エレベーターの昇降路内の様子をカメラで撮影して、昇降路内の変化を検知するシステムが提案されている。このようなシステムにおいて、例えば、昇降路内の小さな異物、機器の外観変化等を精度良く検出するためには、カメラでの撮影点(撮影位置)を精度良く制御する必要がある。例えば、上記特許文献1に開示のシステムでは、現在の昇降路の画像の撮影点と、過去の昇降路の画像の撮影点との位置合わせを精度良く行うため、塗装等により形成された物理的な位置合わせマークを用いる方法が採用されている。
【0005】
しかしながら、上記特許文献1に開示のシステムでは、例えば、経年劣化や汚れの蓄積などにより位置合わせマーク自体が劣化した場合には、位置合わせ自体が困難になる。また、上記特許文献1に開示のシステムでは、複数のカメラの設置位置にそれぞれ対応した複数の位置合わせマークを設置する必要があり、特に高層ビルを適用対象とした場合には、その設置にかかるコストも大きくなる。そこで、従来、エレベーターの昇降路内の様子をカメラで撮影して保守点検を行うシステムにおいて、高精度で、より簡易な構成で且つ低コストで保守点検が可能となる技術の開発が求められている。
【0006】
本発明は、上記課題を解決するためになされたものある。本発明の目的は、エレベーターの昇降路内の様子をカメラで撮影して保守点検を行う保守装置及び保守システムにおいて、高精度で、より簡易な構成で且つ低コストで保守点検が可能となる技術を提供することである。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の保守装置は、エレベーターの保守点検時に撮影装置により撮影された昇降路の画像データを取得する保守装置であり、昇降路の画像データから保守点検で解析対象となる解析用画像データを抽出する画像処理部を備える。また、画像処理部は、保守点検時のエレベーターの乗りかごの走行状況に関する駆動情報を取得し、駆動情報に基づいて、昇降路の画像データから解析用画像データを抽出する。
【0008】
また、上記課題を解決するために、本発明の保守システムは、エレベーターの保守点検時に昇降路の画像データを撮影する撮影部を備える保守システムである。また、本発明の保守システムは、前記本発明の保守装置が備える画像処理部と、画像解析部と、画像解析部で行われた解析の結果を表示する表示部と、をさらに備える。
【0009】
さらに、上記課題を解決するために、本発明の保守プログラムは、前記本発明の保守装置が備える画像処理部が行う処理を、保守装置に実装して実行させる保守プログラムである。
【発明の効果】
【0010】
上記構成の本発明によれば、エレベーターの昇降路内の様子をカメラで撮影して保守点検を行う保守装置及び保守システムにおいて、高精度で、より簡易な構成で且つ低コストで保守点検が可能になる。
【図面の簡単な説明】
【0011】
図1】本発明の一実施形態に係るエレベーターの保守システムのブロック構成図である。
図2】本発明の一実施形態に係るエレベーターの保守システムで利用可能なエレベーターの駆動監視部の各種構成例を示す図である。
図3】本発明の一実施形態に係るエレベーターの保守システムを構成する情報処理装置及び携帯端末装置のハードウェアの構成図である。
図4】本発明の一実施形態に係るエレベーターの保守システムの機能ブロック図である。
図5】本発明の一実施形態に係るエレベーターの保守システムにおける乗りかごの駆動パターンと、昇降路の画像の撮影動作と、画像の抽出動作との関係性を示す図である。
図6】本発明の一実施形態に係るエレベーターの保守システムによる昇降路内の異物検知の手法を説明するための図である。
図7】本発明の一実施形態に係るエレベーターの保守システムによる昇降路内の装置・部品の寸法計測の手法を説明するための図である。
図8】本発明の一実施形態に係るエレベーターの保守システムによる昇降路内の異物検知で行われる第1の画像解析の手順を示すフローチャートである。
図9】本発明の一実施形態に係るエレベーターの保守システムによる昇降路内の異物検知で行われる第2の画像解析の手順を示すフローチャートである。
図10】本発明の一実施形態に係るエレベーターの保守システムの表示部において表示される異物検知の画像解析結果の一例を示す図である。
図11】本発明の一実施形態に係るエレベーターの保守システムで取得した現在画像の撮影点と参照画像のそれとのずれ量の算出手法を説明するための図である。
図12】本発明の一実施形態に係るエレベーターの保守システムの表示部において表示される昇降路内の装置・部品の寸法計測の画像解析結果の一例を示す図である。
図13】本発明の一実施形態に係るエレベーターの保守システムの表示部において表示される異物検知の画像解析結果の実施例を示す図である。
図14】本発明の一実施形態に係るエレベーターの保守システムの表示部において表示される異物検知の画像解析結果の比較例を示す図である。
【発明を実施するための形態】
【0012】
以下に、本発明の一実施形態に係るエレベーターの保守装置及び保守システムについて、図面を参照しながら具体的に説明する。なお、本発明の保守システムにより得られる保守作業員の負荷軽減の度合いは、建屋の階床数が大きくなるほど大きくなる。それゆえ、以下に説明する実施形態では、6階床以上の建屋にエレベーターが据え付けられている場合を想定している。
【0013】
[エレベーターの保守システムの構成]
図1は、本発明の一実施形態に係るエレベーターの保守システムのブロック構成図である。なお、ここでは、説明を簡略化するため、エレベーターの昇降路の保守点検において行われる、画像撮影、画像解析、解析結果の表示等の制御に関わる構成部のみを示す。
【0014】
保守システム10は、図1に示すように、保守装置1と、携帯端末装置2と、駆動監視部3(駆動情報検出部)とを備える。また、保守装置1は、カメラ4(撮影部,撮影装置)と、ライト5と、情報処理装置6とを有する。なお、カメラ4及びライト5は、保守装置1の構成部として新規に設置されるものであってもよいし、エレベーターや建屋に既に設置されているものであってもよい。
【0015】
なお、本実施形態の保守システム10では、情報処理装置6及び携帯端末装置2間は、無線及び/又は有線の通信回線(通信経路に広域通信網も含み得る)で接続される。また、情報処理装置6及び駆動監視部3間、情報処理装置6及びカメラ4間、並びに、情報処理装置6及びライト5間は、無線又は有線の通信回線で接続される。
【0016】
カメラ4は、エレベーターの昇降路の画像(動画/静止画)を撮影する。本実施形態では、カメラ4として、魚眼レンズを備えたカメラとするが、本発明はこれに限定されない。例えば、昇降路内全体の様子を撮影可能な画角のレンズ(広角レンズ)であれば任意の画角のレンズを使用することができる。また、後述するように、保守点検で昇降路20内に設けられた各種装置・部品等の寸法計測(後述の図7参照)を行う場合には、計測対象の装置や部品を拡大して撮影できることが好ましい。それゆえ、カメラ4のレンズとして、画角(焦点距離)の異なる複数種のレンズを設け、保守点検の対象項目(以下、「保守点検対象」と称する)に応じて使用レンズを適切な画角のレンズに切り替える機能を設けてもよい。また、カメラ4のレンズとして、例えば、焦点距離を変更できるズームレンズを使用してもよい。
【0017】
また、カメラ4としては、例えば、可視光カメラ、赤外線カメラ等を用いることができる。なお、カメラ4として可視光カメラを用いた場合には、赤色(R),緑色(G),青色(B)の多次元の情報を含む画像データが得られるため、保守点検において、より高精度な判定が可能になる。
【0018】
また、カメラ4で撮影する画像の種類(動画又は静止画)は、保守点検対象に応じて適宜変更可能である。例えば、保守点検対象を後述する昇降路内の異物検知とする場合、カメラ4で撮影する画像は、動画であってもよいし、連続撮影された静止画であってもよい。また、例えば、保守点検対象を後述する昇降路内の装置・部品の寸法計測とする場合には、カメラ4で撮影される画像は、動画でもよいし、静止画(1枚画像)でもよい。さらに、保守点検対象によっては、カメラ4で撮影された動画から静止画を抽出する構成にしてもよい。
【0019】
本実施形態では、カメラ4は、エレベーターの例えば乗りかごの下面に設置されるが(後述の図2A及び図2B参照)、乗りかごの上面や側面に設置されていてもよい。また、カメラ4は、必ずしも乗りかご側に設置される必要はなく、例えば、保守点検対象となる昇降路内の装置・部品の撮影に適した位置に設置してもよい。
【0020】
ライト5は、通常、非常に暗い環境である昇降路内を照らすために設けられる。ライト5は、カメラ4の近傍に設置される。ライト5としては、使用するカメラ4の波長帯域に適した光を照射するライトを用いる。カメラ4が可視光カメラである場合には、可視光を照射できる可視光ライトを使用し、カメラ4が赤外線カメラである場合には、赤外光を照射できる赤外光ライトを使用する。
【0021】
なお、カメラ4として可視光カメラを用いた場合にはライト5として可視光ライトを使用するので、乗場ドアにビジョンガラスが設けられていると、エレベーターの保守点検作業中に昇降路内を照らしているライト5の光が建屋側にも届くことになる。この場合、乗りかごがライト5を照らして走行している様子が、乗客にも観測されてしまう可能性があり、乗客視点では、乗りかごがライト5を照らして走行している様子が不可解に思われる可能性がある。一方、カメラ4として赤外線カメラを用いた場合にはライト5として赤外光ライトを使用するので、エレベーターの保守点検作業中にライト5の光が乗客に観測されず、上述したような事態を避けることができる。
【0022】
情報処理装置6は、例えばタブレット、ノートパソコン等の演算機能及び通信機能を備えた演算処理装置で構成される。なお、本実施形態では、情報処理装置6は、エレベーターが設置された建屋内の所定場所に配置されるが、エレベーターに設置されていてもよい。
【0023】
情報処理装置6は、カメラ4で撮影された画像(動画/静止画)データ、及び、駆動監視部3で検出された乗りかごの走行状況に関する情報(以下、「駆動情報」と称する)を取得する。そして、情報処理装置6は、取得した駆動情報に基づいて、カメラ4で撮影された画像データから、昇降路の保守点検で必要となる画像データを抽出する。すなわち、本実施形態の保守システム10では、乗りかごの駆動情報と連携して、保守点検で必要となる昇降路の画像データを抽出する。なお、この画像データの抽出手法については、後で図面を参照しながら詳述する。
【0024】
また、情報処理装置6は、抽出した画像データを携帯端末装置2に送信する。さらに、情報処理装置6は、保守点検の実行時には、カメラ4に対して撮影開始及び撮影終了の指示信号を送信するとともに、ライト5に対して点灯及び消灯の指示信号を送信する。
【0025】
携帯端末装置2は、エレベーターの保守作業員等のオペレーターが携帯又は管理する、例えばスマートフォン、タブレット、ノートパソコン等の演算機能及び通信機能を備えた演算処理装置で構成される。携帯端末装置2は、保守装置1から送信された昇降路の画像データを解析して、その解析結果を画面に表示する。これにより、オペレーターは、現場に足を運ぶことなく、手元の端末上において、昇降路内の異物の有無や、昇降路内の各種装置・部品等の外観変化など、あらゆる保守点検項目の確認を行うことが可能になる。なお、携帯端末装置2による昇降路の画像データの解析手法、解析結果の表示態様等については、後で図面を参照しながら詳述する。
【0026】
駆動監視部3は、エレベーターの乗りかごの例えば位置情報、加速度情報、速度情報等の各種駆動情報を取得する。駆動監視部3で取得した乗りかごの駆動情報は、情報処理装置6がカメラ4で撮影された画像データから昇降路の保守点検で必要となる画像データを抽出する際に、その抽出タイミングを検出するために使用される。
【0027】
駆動監視部3の第1の構成態様としては、例えば、乗りかごの位置、加速度、速度等を検出可能なセンサ群を含むセンサボックスを、乗りかごに新たに配置する構成が考えられる。このような構成では、駆動監視部3は、可搬式センサ部として構成されるので、例えば既に設置されているエレベーターへの増設が容易になり、保守システムへの導入が簡便になる。
【0028】
また、駆動監視部3の第2の構成態様としては、例えば、エレベーターが設置された建屋等に既に設置済みであり、乗りかごへの走行指令等の制御情報を出力する駆動制御システムを利用する構成が考えられる。この構成では、乗りかごへの走行指令等の制御情報と連携して、乗りかごの駆動情報を検出する態様となる。
【0029】
さらに、駆動監視部3の第3の構成態様としては、例えば、エレベーターシステムや建屋に予め備え付けられている各種センサを利用する構成が考えられる。例えば、乗りかご21の位置情報を検出可能な、ポジテクタ(登録商標)及び遮蔽板、階床補正センサ、特定距離感知装置、かご位置検出装置等を利用して乗りかごの駆動情報を取得する構成が考えられる。上述した駆動監視部3の第2及び第3の構成態様では、乗りかごの駆動情報を得るため、新しいセンサを追加する必要がないので、低コストで駆動監視部3を構成することができる。
【0030】
ここで、上述した駆動監視部3の第1及び第2の構成態様の具体的な構成例を説明する。図2Aは、駆動監視部3の第1の構成態様を示す図であり、図2Bは、駆動監視部3の第2の構成態様を示す図である。図2A及び図2Bでは、昇降路20内を昇降可能なエレベーターの乗りかご21が、1階の乗場ドア22の高さで停止している状態を示す。また、図2A及び図2Bでは、説明を簡略化するため、ライト5の図示を省略する。
【0031】
駆動監視部3の第1の構成態様では、図2Aに示すように、カメラ4が、乗りかご21の下面に取りつけられ、駆動監視部3としてセンサボックス3aが、乗りかご21の上面に取り付けられる。センサボックス3a内には、乗りかご21の駆動状態を計測可能な様々なかご駆動監視センサが設けられる。具体的には、センサボックス3a内には、例えば、乗りかご21の加減速を検出可能な加速度センサ、乗りかご21の高さを検出可能な気圧センサ、周辺磁場を計測して自己位置推定可能な磁気センサ等が、かご駆動監視センサとして設けられる。そして、これらのかご駆動監視センサで検出された検出信号は、情報処理装置6に送信される。なお、検出信号を受信した情報処理装置6では、検出信号に基づいて、保守点検で必要となる昇降路20の画像データを抽出する。
【0032】
なお、駆動監視部3の第1の構成態様では、例えば、気圧センサと加速度センサとを組み合わせ、加速度センサで走行開始時の加減速を捉え、気圧センサで走行中の乗りかご21の位置(高さ)を計測する方式を採用してもよい。また、例えば、複数のセンサデータを用いて、カルマンフィルタやαβフィルタ等のシステムの状態推定アルゴリズムを用いて、より正確に乗りかご21の高さを推定してもよい。
【0033】
駆動監視部3の第2の構成態様では、図2Bに示すように、エレベーターが設置された建屋(昇降路等)等に既に設置済みである、乗りかご21への走行指令等の制御情報を出力する駆動制御システム3bを駆動監視部3として利用する。なお、駆動監視部3の第2の構成態様においても、カメラ4は乗りかご21の下面に取りつけられる。そして、駆動監視部3の第2の構成態様では、駆動制御システム3bで生成された制御情報は、情報処理装置6に送信され、制御情報を受信した情報処理装置6では、制御情報に基づいて、保守点検で必要となる昇降路20の画像データを抽出する。
【0034】
[情報処理装置及び携帯端末装置のハードウェアの構成]
本実施形態の保守システム10では、保守装置1内に設けられた情報処理装置6、及び、携帯端末装置2は、コンピューター装置等の演算処理装置で構成することができる。図3は、情報処理装置6及び携帯端末装置2として適用可能なコンピューター装置100のハードウェア構成の例を示すブロック図である。
【0035】
コンピューター装置100は、バスライン108に接続されたCPU(Central Processing Unit)101、ROM(Read Only Memory)102及びRAM(Random Access Memory)103を備える。また、コンピューター装置100は、バスライン108に接続された不揮発性ストレージ104、ネットワークI/F(インターフェース)105、入力部106及び表示部107を備える。なお、図3には示さないが、コンピューター装置100は、外部機器との間で各種データ(各種情報)の入出力処理を実行する際に使用される各種インターフェースも備える。
【0036】
CPU101は、情報処理装置6及び携帯端末装置2のそれぞれが備える各種処理機能を実現するためのソフトウェアのプログラムコードをROM102からRAM103に読み出して実行する。この際、RAM103には、演算処理の途中に発生した変数やパラメータなども一時的に書き込まれる。
【0037】
不揮発性ストレージ104は、例えば、HDD(Hard disk drive)、SSD(Solid State Drive)、フレキシブルディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリなどで構成することができる。不揮発性ストレージ104には、OS(Operating System)、各種のパラメータの他に、コンピューター装置100を情報処理装置6及び携帯端末装置2として機能させるためのプログラムが記憶される。なお、情報処理装置6及び携帯端末装置2が備える各機能を実現するプログラム、テーブル、ファイル等の情報(データ)は、ROM102や不揮発性ストレージ104以外に、例えば、ICカード、SDカード、DVD等の記録媒体に格納されていてもよい。
【0038】
ネットワークI/F105は、例えば、NIC(Network Interface Card)等で構成され、無線通信を介して接続される各装置との間で、各種データを送受信する。
【0039】
入力部106は、例えば、キーやボタンなどで構成され、オペレーターによって入力された操作内容に応じた操作信号を生成して該操作信号をCPU101に供給する。表示部107は、例えば、液晶パネルなどで構成され、文字や画像などを画面に表示する。なお、表示部107をタッチパネルで構成してもよく、その場合には、表示部107と入力部106とが一体的に構成される。また、情報処理装置6では、入力部106及び/又は表示部107を備えない場合もある。
【0040】
[カメラのサンプリングレートと駆動監視部のサンプリングレートとの関係]
上述のように、本実施形態の保守システム10では、駆動監視部3で取得した乗りかご21の駆動情報と連携して、情報処理装置6がカメラ4で撮影された画像データから昇降路20の保守点検で必要な画像データを抽出する。そして、抽出された画像データに基づいて、昇降路20の保守点検対象について画像解析が行われる。それゆえ、画像データに基づいて昇降路20の保守点検を高精度に行うためには、カメラ4の撮影タイミング(撮影点)だけでなく、画像データの抽出タイミングも高精度で制御することが好ましい。
【0041】
例えば、後述の昇降路20内の異物検知では、例えば乗りかご21を走行させた状態で、カメラ4で動画撮影を行い、動画撮影で得られた現在の昇降路20の画像と、それに対応する過去の昇降路20の画像とを比較する。なお、以下では、比較対象となる、現在の昇降路20の画像を「現在画像」と称し、現在画像に対応する過去の昇降路20の画像を「参照画像」と称する。この場合、昇降路20内の異物検知を高精度で行うためには、現在画像の撮影点(撮影位置)と参照画像のそれとの位置合わせの精度を上げる必要がある。具体的には、昇降路20内の異物検知では、現在画像の撮影点と参照画像のそれとの間のずれが1フレームも発生しないように制御することが好ましい。この制御を実現するためには、カメラ4での撮影点(撮影位置)を、数cm以下(例えば3cm以下)の高精度で制御する必要がある。
【0042】
そこで、本実施形態の保守システム10では、カメラ4での撮影点を高精度で制御するため、駆動監視部3のサンプリングレート(センサの検出周期)を、カメラ4のサンプリングレート(フレームレート)よりも高くする。例えば、一般にカメラ4のフレームレートは30fps程度であるので、駆動監視部3のサンプリングレートを30Hzより高い値とする。なお、後述する本実施形態の各種解析例(後述の図5A図5B図10図14)では、カメラ4のフレームレートを30fpsとし、駆動監視部3のサンプリングレートを200Hzとしている。
【0043】
[保守システムの機能ブロック構成]
図4は、保守システム10の機能ブロック構成図である。なお、ここでは、説明を簡略化するため、保守点検時に保守システム10で行われる昇降路20の画像撮影処理、画像抽出処理、画像解析処理及び解析結果の表示処理等の制御に関わる機能ブロック部のみを示す。
【0044】
(1)情報処理装置の構成
保守装置1内の情報処理装置6は、図4に示すように、画像処理部30と、報知部33と、記憶部34とを有する。画像処理部30は、駆動区間検出部31(抽出トリガ信号生成部)及び現在画像抽出部32(画像抽出部)を有する。また、記憶部34は、現在駆動情報記憶部34a及び元画像記憶部34bを有する。なお、図4では、図示を省略するが、情報処理装置6は、駆動監視部3から送信された乗りかご21の駆動情報(位置、加速度等の情報)を受信するための駆動情報受信部、及び、カメラ4から送信された画像データを受信するための画像受信部を有する。
【0045】
情報処理装置6内では、処理機能上、駆動区間検出部31は、現在画像抽出部32及び現在駆動情報記憶部34aに接続され、現在画像抽出部32は、元画像記憶部34b及び報知部33に接続される。また、現在駆動情報記憶部34aは、駆動情報受信部(不図示)を介して、無線又は有線の通信回線で駆動監視部3に接続され、元画像記憶部34bは、画像受信部(不図示)を介して、無線又は有線の通信回線でカメラ4に接続される。なお、報知部33は、無線及び/又は有線の通信回線で、携帯端末装置2内の後述の受信部41に接続される。
【0046】
駆動区間検出部31は、まず、保守点検中に、駆動監視部3から遂次送信される駆動中の乗りかご21の駆動情報(位置、加速度等の情報)を、現在駆動情報記憶部34aを介してリアルタイムで遂次取得する。次いで、駆動区間検出部31は、取得した乗りかご21の駆動情報に基づいて、撮影中の画像データから昇降路20の保守点検で必要な画像データを抽出するための抽出開始タイミングを示すトリガ信号及び抽出終了タイミングを示すトリガ信号を生成する。そして、駆動区間検出部31は、生成した抽出開始タイミングを示すトリガ信号(以下、「開始トリガ」と称する)、及び、抽出終了タイミングを示すトリガ信号(以下、「終了トリガ」と称する)をそれぞれ対応するタイミングで現在画像抽出部32に出力する。
【0047】
現在画像抽出部32は、まず、保守点検中に、カメラ4から遂次送信される昇降路20の画像(動画/静止画)データ(以下、「元画像データ」と称する)を、元画像記憶部34bを介してリアルタイムで遂次取得する。次いで、現在画像抽出部32は、駆動区間検出部31から開始トリガが入力されると、元画像データから昇降路20の保守点検で必要となる画像データ(以下、「現在画像データ」と称する)の抽出処理を開始する。なお、この現在画像データの抽出処理は、駆動区間検出部31から終了トリガが入力されるまで継続される。次いで、現在画像抽出部32は、駆動区間検出部31から終了トリガが入力されると、現在画像データの抽出処理を終了する。これにより、昇降路20の保守点検で必要となる現在画像データが元画像データから抽出される。そして、現在画像抽出部32は、現在画像データ(解析用画像データ)を記憶部34内の図示しない現在画像データの保存部に一旦保存し、該保存された現在画像データを報知部33に出力する。なお、現在画像データを保存先は、元画像記憶部34bであってもよい。
【0048】
報知部33は、現在画像抽出部32で抽出された昇降路20の現在画像データ(動画/静止画)を、携帯端末装置2内の後述の受信部41に送信するインターフェースである。また、本実施形態では、報知部33は、保守点検中に、現在駆動情報記憶部34aで遂次記憶された乗りかご21の駆動情報も携帯端末装置2内の後述の受信部41に送信する。
【0049】
現在駆動情報記憶部34aは、保守点検中に、駆動監視部3から遂次送信される駆動中の乗りかご21の駆動情報(位置、加速度等の情報)を、リアルタイムで遂次記憶する。また、元画像記憶部34bは、保守点検中に、カメラ4から遂次送信される昇降路20の元画像データ(動画/静止画)を、リアルタイムで遂次記憶する。
【0050】
上述した画像処理部30(駆動区間検出部31及び現在画像抽出部32)の各種処理は、図3中のCPU101により制御される。それゆえ、画像処理部30(駆動区間検出部31及び現在画像抽出部32)は、機能上、図3中のCPU101に含まれる。また、上述した画像処理部30(駆動区間検出部31及び現在画像抽出部32)による各種処理機能は、ソフトウェア、すなわち、プロセッサ(CPU101)がそれぞれの機能を実現するためのプログラムを解釈して実行することにより制御される。また、記憶部34(現在駆動情報記憶部34a及び元画像記憶部34b)は、機能上、図3中のRAM103に含まれ、報知部33は、図3中のネットワークI/F105に含まれる。なお、上記機能ブロック部のうちの一部又は全ては、ハードウェアで構成されてもよい。
【0051】
(2)携帯端末装置の構成
携帯端末装置2は、図4に示すように、受信部41と、画像解析部42と、表示部43と、入力部44と、記憶部45とを有する。また、記憶部45は、現在画像記憶部45a、現在駆動情報記憶部45b、参照画像記憶部45c及び参照駆動情報記憶部45dを有する。なお、図4では、図示を省略するが、携帯端末装置2は、参照画像データベース46から送信される参照画像データを受信する参照画像受信部と、参照駆動情報データベース47から送信される参照駆動情報を受信する参照駆動情報受信部とを有する。また、記憶部45は、機能上、図3中のRAM103に含まれる。
【0052】
携帯端末装置2内では、処理機能上、受信部41は、記憶部45に接続される。画像解析部42は、処理機能上、表示部43、入力部44及び記憶部45に接続される。参照画像記憶部45cは、参照画像受信部(不図示)を介して、無線及び/又は有線の通信回線(通信経路に広域通信網も含み得る)で参照画像データベース46に接続される。また、参照駆動情報記憶部45dは、参照駆動情報受信部(不図示)を介して、無線及び/又は有線の通信回線で参照駆動情報データベース47に接続される。
【0053】
受信部41は、情報処理装置6内の報知部33から送信された昇降路20の現在画像データ(動画/静止画)、及び、保守点検時の乗りかご21の駆動情報(位置、加速度等の情報)を受信するインターフェースである。そして、受信部41は、受信した現在画像データ(動画/静止画)を、現在画像記憶部45aに出力する。また、受信部41は、受信した乗りかご21の駆動情報を、現在駆動情報記憶部45bに出力する。なお、受信部41は、図3中のネットワークI/F105に含まれる。
【0054】
画像解析部42は、各種保守点検対象に応じて必要となる各種情報(画像データ及び駆動情報)を記憶部45から取得し、取得した各種情報に基づいて、保守点検対象について画像解析を行う。そして、画像解析部42は、保守点検対象の画像解析結果を表示部43に出力する。
【0055】
上述した画像解析部42の各種処理は、図3中のCPU101により制御される。それゆえ、画像解析部42は、機能上、図3中のCPU101に含まれる。また、上述した画像解析部42による各種処理機能は、ソフトウェア、すなわち、プロセッサ(CPU101)がそれぞれの機能を実現するためのプログラムを解釈して実行することにより制御される。なお、画像解析部42の各種処理機能のうちの一部又は全ては、ハードウェアで構成されてもよい。
【0056】
表示部43は、図3中の表示部107に対応する構成部であり、画像解析部42で行われた保守点検対象の画像解析結果を表示する。表示部43で表示される画像解析結果の項目は、保守点検対象の種別に応じて変化するが、後述のように、例えば、現在画像と参照画像との差分画像や、昇降路20内の所定部品の拡大画像、所定部品の寸法などが表示部43に表示される。
【0057】
入力部44は、図3中の入力部106に対応する構成部であり、キーやボタンなどの操作手段へのオペレーターの操作が検出された場合に、当該操作に対応する操作信号を画像解析部42に出力する。なお、携帯端末装置2の表示部43(図3中の表示部107)がタッチパネルで構成されている場合には、表示部43及び入力部44が一体的に構成される。
【0058】
なお、画像解析部42で解析される保守点検対象の選択や、例えば、どの撮影位置の画像解析結果を表示させるか、といった画像解析結果の表示内容の決定は、例えば、入力部44へのオペレーターの入力操作により行われる。具体的には、例えば、オペレーターが希望する保守点検対象及びその画像解析結果の表示内容を、入力部44を介して指定すると、その指定信号が画像解析部42に入力される。そして、画像解析部42は、指定された保守点検対象の画像解析を行い、その結果が指定された表示内容で表示部43に表示されるように表示部43を制御する。
【0059】
現在画像記憶部45aは、受信部41で受信された現在画像データ(動画/静止画)を記憶する。また、現在駆動情報記憶部45bは、受信部41で受信された乗りかご21の駆動情報(位置、加速度等の情報)を記憶する。
【0060】
参照画像記憶部45cは、現在画像記憶部45aに記憶された現在画像データ(動画/静止画)に対応する参照画像データ(動画/静止画)を記憶する。また、参照駆動情報記憶部45dは、現在駆動情報記憶部45bに記憶された乗りかご21の駆動情報(以下、「現在駆動情報」と称する)に対応する参照駆動情報(位置、加速度等の情報)を記憶する。なお、参照画像記憶部45cに記憶される参照画像データ(動画/静止画)は、参照画像データベース46から抽出され、参照駆動情報記憶部45dに記憶される参照駆動情報は、参照駆動情報データベース47から抽出される。
【0061】
参照画像データベース46から現在画像データに対応する参照画像データを抽出して参照画像記憶部45cに記憶する処理の制御は、現在駆動情報(駆動パターン)に基づき、画像解析部42により行われる。また、参照駆動情報データベース47から現在駆動情報に対応する参照駆動情報を抽出して参照駆動情報記憶部45dに記憶する処理の制御も、現在駆動情報(駆動パターン)に基づき、画像解析部42により行われる。
【0062】
(3)参照画像データベース及び参照駆動情報データベースの構成
参照画像データベース46には、予め、正常状態にあるエレベーターの昇降路20において、保守点検時に想定されるあらゆる駆動パターンで乗りかご21を駆動してカメラ4で撮影された画像データが、駆動パターン毎に記憶される。なお、参照画像データベース46に記憶される画像データは、情報処理装置6の現在画像抽出部32で行われる後述の現在画像データの抽出方法と同様にして、元画像データから抽出された画像データである。また、参照駆動情報データベース47には、予め、正常状態にあるエレベーターの昇降路20において、保守点検時に想定されるあらゆる駆動パターンで乗りかご21を駆動して取得された乗りかご21の駆動情報が、駆動パターン毎に記憶される。なお、各データベース内での各データのグループ分けでは、駆動パターン毎のデータグループをさらに、撮影条件(露光条件)で細分化してもよい。
【0063】
なお、参照画像データベース46及び参照駆動情報データベース47に記憶される各種データは、これらの各種データを取得するためだけの専用のエレベーターの運用を予め行って取得されてもよい。また、例えば、過去の保守点検で正常状態であったときに取得された各種データを、参照画像データベース46及び参照駆動情報データベース47に記憶してもよい。また、例えば、過去のエレベーターの通常運用時で且つ正常状態であったときに取得された各種データであってもよい。さらに、上述した3つの取得手法の少なくとも2つの手法を採用して取得した各種データを、参照画像データベース46及び参照駆動情報データベース47に記憶してもよい。
【0064】
また、参照画像データベース46に記憶されている各参照画像データと、参照駆動情報データベース47に記憶されている各参照駆動情報との間では、乗りかご21の駆動パターンが同じであるもの同士が紐付けられている。なお、参照駆動情報と参照画像データとの間の紐付け条件は、駆動パターンが同じであり、且つ、昇降路20の撮影条件(露光条件)が同じである場合としてもよい。
【0065】
参照画像データベース46及び参照駆動情報データベース47は、保守システム10の外部に設けられていてもよいし、保守システム10の内部に設けられていてもよい。前者の場合には、参照画像データベース46及び参照駆動情報データベース47を、例えば、建屋の所定場所、昇降機メーカーのサーバー、クラウド等に設けてもよい。また、後者の場合には、参照画像データベース46及び参照駆動情報データベース47を、例えば、図3中の不揮発性ストレージ104内に配置してもよいし、保守装置1及び携帯端末装置2とは別個に設けられたデータベース部内に配置してもよい。
【0066】
[現在画像データの抽出手法]
次に、保守点検時に情報処理装置6(現在画像抽出部32)で行われる、元画像データから現在画像データを抽出する手法を説明する。本実施形態の保守システム10では、現在画像データの抽出手法として2つの手法が設けられる。
【0067】
図5Aは、現在画像抽出部32で行われる現在画像データの第1の抽出手法の原理を示す図であり、第1の抽出手法における、乗りかご21の駆動パターンと、昇降路20の画像の撮影動作と、画像の抽出動作との関係性を示す図である。また、図5Bは、現在画像抽出部32で行われる現在画像データの第2の抽出手法の原理を示す図であり、第2の抽出手法における、乗りかご21の駆動パターンと、昇降路20の画像の撮影動作と、画像の抽出動作との関係性を示す図である。
【0068】
図5A及び図5Bには、保守点検の例として、20階床の建屋において乗りかご21を1階から20階に上昇させ、その間、カメラ4で昇降路20内を撮影する例を示す。また、この例では、カメラ4のフレームレートが30fpsであり、駆動監視部3(加速度センサ)のサンプリングレートが200Hzである例を説明する。なお、このような乗りかご21の駆動動作及びカメラ4の撮影動作は、後述するように、例えば、昇降路20内に異物や落とし物が無いか否かの点検(異物検知)を行う際に行われる。また、乗りかご21の走行指令は、建屋に設けられた駆動制御システム3b(図2B参照)から出される。
【0069】
図5A及び図5Bの各図中の最上部に記載の信号波形は、保守点検の開始時から終了時までの乗りかご21の加速度の変化を示す波形である。この加速度信号は、駆動監視部3に設けられた加速度センサにより検出される。加速度信号では、乗りかご21が1階から上昇開始する時に加速度が一旦上がり、その後、定速運転に移行すると加速度は0に戻る。そして、乗りかご21が20階に到達して停止する際には、加速度が一旦下がり、乗りかご21が停止すると加速度は0に戻る。
【0070】
図5A及び図5Bの各図中の真ん中に記載の信号波形は、駆動区間検出部31から現在画像抽出部32に出力される開始トリガの信号波形である。駆動区間検出部31は、乗りかご21が1階から上昇開始するタイミング(動き出すタイミング)を検出してパルス状のトリガ信号(開始トリガ)を現在画像抽出部32に出力する。それゆえ、開始トリガの信号波形では、加速度信号が最初に高くなるタイミングで開始トリガ(パルス信号)が発生する。
【0071】
図5A及び図5Bの各図中の最下部に記載の信号波形は、駆動区間検出部31から現在画像抽出部32に出力される終了トリガの信号波形である。駆動区間検出部31は、乗りかご21が20階に到達して停止するタイミングを検出してパルス状のトリガ信号(終了トリガ)を現在画像抽出部32に出力する。それゆえ、終了トリガの信号波形では、開始トリガの出力後、加速度信号が一旦低くなり、その後、加速度が0に戻るタイミングで終了トリガ(パルス信号)が発生する。
【0072】
現在画像抽出部32で行われる現在画像データの第1の抽出手法では、図5Aに示すように、カメラ4による昇降路20の撮影動作を保守点検作業の開始時から終了時までの期間行う。すなわち、第1の抽出手法では、昇降路20の撮影開始タイミングが、乗りかご21が1階から上昇開始するタイミング(開始トリガの発生タイミング)より前になる。また、昇降路20の撮影終了タイミングが、乗りかご21が20階に到達して停止するタイミング(終了トリガの発生タイミング)より後になる。
【0073】
そして、現在画像データの第1の抽出手法では、現在画像抽出部32は、まず、駆動区間検出部31からの開始トリガの入力を契機として、昇降路20の現在画像データの抽出動作を開始する。次いで、現在画像抽出部32は、駆動区間検出部31からの終了トリガの入力を契機として、昇降路20の現在画像データの抽出動作を終了する。すなわち、現在画像データの抽出開始タイミングは、元画像データの撮影開始タイミングより後になり、現在画像データの抽出終了タイミングは、元画像データの撮影終了タイミングより前になる。それゆえ、第1の抽出手法では、現在画像抽出部32で抽出された現在画像データの容量は、カメラ4で撮影された元画像データの容量より小さくなる。
【0074】
一方、現在画像抽出部32で行われる現在画像データの第2の抽出手法では、図5Bに示すように、現在画像抽出部32による現在画像データの抽出動作の開始タイミング及び終了タイミングを、カメラ4による元画像データの撮影動作のそれらと同じにする。具体的には、第2の抽出手法では、まず、乗りかご21の上昇開始時に、駆動区間検出部31からの開始トリガの入力を契機として、カメラ4の撮影動作及び現在画像抽出部32の抽出動作を同時に開始する。そして、乗りかご21の停止時に、駆動区間検出部31からの終了トリガの入力を契機として、カメラ4の撮影動作及び現在画像抽出部32の抽出動作を同時に終了する。それゆえ、第2の抽出手法では、現在画像抽出部32で抽出された現在画像データの容量は、カメラ4で撮影された元画像データの容量と同じになる。
【0075】
上述のように、現在画像抽出部32で行われる現在画像データの第2の抽出手法では、第1の抽出手法に比べて、元画像データの容量を減らすことができる。それゆえ、本実施形態では、例えば、情報処理装置6(保守装置1)のメモリ容量や画像データの容量等を考慮して、現在画像抽出部32による現在画像データの抽出手法として、第1又は第2の抽出手法が適宜選択される。
【0076】
なお、第2の抽出手法では、カメラ4での撮影開始及び撮影終了の動作タイミングと、現在画像データの抽出開始及び抽出終了の動作タイミングとを同時に行うが、この場合、ノイズ等の影響により、両者の動作タイミングが若干ずれてしまう可能性が考えられる。この場合には、現在画像データのフレーム数が、参照画像データのそれと若干異なることがある。しかしながら、上記第1の抽出手法では、カメラ4での撮影開始及び撮影終了の動作タイミングと、現在画像データの抽出開始及び抽出終了の動作タイミングとが異なるので、上述したノイズの影響を軽減することができる。
【0077】
[画像解析部での画像解析手法]
次に、画像解析部42で行われる画像解析手法の内容を説明する。ここでは、保守点検対象として、エレベーターの昇降路20内の異物検知、及び、各階のドアロック駆動機構の掛かり代の寸法計測を例に挙げ、各例における画像解析部42での画像解析手法の内容を説明する。
【0078】
(1)昇降路内の異物検知
昇降路20内の異物検知では、例えば、乗りかご21を1階から最上階に上昇させ、その間、カメラ4で昇降路20内の様子を撮影し、エレベーターの昇降路20内に異物や落とし物が無いか否かの点検を行う。なお、昇降路20内の異物検知では、例えば、乗りかご21を最上階から1階に下降させて、その間、カメラ4で昇降路20内の様子を撮影してもよい。
【0079】
図6Aは、乗り場側から見た1階の乗場ドア22の模式図である。図6B及び図6Cは、乗りかご21が1階の乗場ドア22より少し高い位置に移動(上昇)した際にカメラ4で撮影された昇降路20の画像の模式図である。それゆえ、図6B及び図6Cの各図では、1階の乗場ドア22及びピット(底部)の様子も撮影される。
【0080】
図6Bに示す画像は、昇降路20内に異物50が存在しない場合(正常時)の画像であり、この画像は、画像解析部42が参照画像データベース46から取得する参照画像に対応する。一方、図6Cに示す画像は、現在実行中の保守点検で撮影された昇降路20の画像であり、この画像は、画像解析部42が保守装置1から取得する現在画像に対応する。なお、図6Cに示す例では、昇降路20内に複数の異物50(図中の三角印)が存在する例を示す。また、図6Cに示す現在画像の撮影点(撮影位置)は、図6Bに示す参照画像のそれと同じである。
【0081】
そして、図6Bに示す参照画像及び図6Cに示す現在画像を取得した画像解析部42では、両者の差分画像が算出される。この際、現在画像の撮影点(撮影位置)は、参照画像のそれと同じであるので、差分画像では、複数の異物50の画像のみが抽出される。
【0082】
上述した画像解析部42による昇降路20内の異物検知を高精度で実現するためには、現在画像の撮影点(撮影位置)を参照画像のそれと正確に揃える必要がある。本実施形態の保守システム10では、上述のように、保守装置1において、乗りかご21の駆動情報と連携して、具体的には、駆動区間検出部31で生成されたトリガ信号に基づいて、保守点検で必要となる現在画像データを取得する。また、参照画像データについても、現在画像データと同様にして、乗りかご21の駆動情報と連携して取得される。
【0083】
その結果、本実施形態では、原理上、画像解析部42で比較対象となる現在画像データ(動画)のフレーム数は、参照画像データ(動画)のフレーム数と同じになる。また、現在画像データ内において先頭のフレーム位置にある現在画像の撮影点(撮影位置)は、参照画像データ内において先頭のフレーム位置にある参照画像の撮影点と同じになる。さらに、現在画像データ内において先頭から所定のフレーム位置にある現在画像の撮影点(撮影位置)も、参照画像データ内において先頭から所定のフレーム位置にある参照画像の撮影点と同じになる。
【0084】
すなわち、本実施形態では、原理上、現在画像データ内における所定のフレーム番号の現在画像の撮影点(撮影位置)は、参照画像データ内における所定のフレーム番号の参照画像の撮影点と同じになる。また、ノイズ等の影響を多少受けたとしても、現在画像データ内における所定のフレーム番号の現在画像の撮影点は、参照画像データ内における所定のフレーム番号の参照画像の撮影点と非常に近くなる。したがって、画像解析部42による昇降路20内の異物検知では、同じフレーム番号同士の現在画像と参照画像との差分画像を算出するだけで、異物50の画像のみを精度良く抽出することができる。
【0085】
(2)各階のドアロック駆動機構の掛かり代の寸法計測
本実施形態の保守システム10では、画像解析部42での画像解析により、昇降路20内に設けられた各種装置・部品等の寸法計測も可能である。ここでは、その一例として、保守点検時に、各階のドアロック駆動機構の掛かり代の寸法を画像解析部42の画像解析により計測する例を説明する。
【0086】
通常、エレベーターシステムでは、昇降路20内において各階の乗場ドア22の上部に設けられたドアロック駆動機構は、乗場ドア22が締まっている状態では常にロックが掛かった状態である。そして、乗りかご21が各階に到着した際に、ドアロック駆動機構のロックが機械的に解除される構成になっている。
【0087】
図7は、保守点検において、乗りかご21の下面に設置されたカメラ4で撮影されたドアロック駆動機構の先端部(ロック機能部60)の画像(現在画像)の模式図である。なお、この画像は、保守点検時に、ドアロック駆動機構のロック機能部60がカメラ4の撮影範囲(画角)に入る所定位置に、乗りかご21が移動したタイミングで撮影された画像である。また、この画像は、カメラ4で撮影した現在画像からドアロック駆動機構のロック機能部60の画像のみを抽出したものである。なお、図7に示す現在画像は、乗りかご21を移動させながら撮影した動画データの中から抽出されたロック機能部60の撮影位置に対応するフレーム番号の画像であってもよい。また、図7に示す現在画像は、乗りかご21がロック機能部60の撮影位置に移動した際に、乗りかご21を停止して撮影した静止画であってもよい。
【0088】
ドアロック駆動機構のロック機能部60は、図7に示すように、カギ部61と、フック部62とを有し、ロック(ドア閉)時には、施錠位置において、カギ部61がフック部62と係合する。なお、ロック時には、カギ部61がコイルばね(不図示)に引っ張られて施錠位置にあり、ドアパネルが開かないように施錠されている。
【0089】
通常時(正常時)には、施錠位置において、カギ部61とフック部62との間のギャップ63は、数mm程度あり、乗場ドア22が開く際には、カギ部61が滑らかに開いて、施錠が解かれる。ギャップ63の寸法が何らかの原因によって狭くなると、ドア閉状態から開く際に、カギ部61とフック部62との間で引っかかりが生じ、異常音や異常振動が発生する。また、ギャップ63の寸法がさらに狭くなると、乗場ドア22が閉まった状態で開かなくなる場合もあり、この場合には、利用者がエレベーターの乗りかご21内に閉じ込められるリスクがあるため、未然に防ぐ必要がある。
【0090】
本実施形態では、画像解析部42は、図7に示すようなロック機能部60の現在画像を解析して、ギャップ63(カギ部61及びフック部62)を特定(検出)し、ギャップ63の寸法を自動計測する。
【0091】
画像解析部42によるカギ部61、フック部62及びギャップ63の検出手法としては、例えば、予め多数のカギ部61及びフック部62を検出するための教師データを用意し、機械学習を用いて、現際画像からカギ部61及びフック部62を検出してもよい。また、例えば、図7に示す現在画像中の中央領域にギャップ63があることが事前検討結果から分かっている場合には、ギャップ想定領域64内のみで画像解析を行い、カギ部61、フック部62及びギャップ63を検出してもよい。
【0092】
さらに、画像解析部42によるギャップ63の検出及び寸法の計測手法としては、次のような手法を採用することができる。まず、画像解析部42は、例えば、Canny法等のエッジ抽出処理により、カギ部61及びフック部62の輪郭部分を抽出してギャップ63を特定する。次いで、画像解析部42は、ギャップ63において互いに対向するカギ部61のエッジとフック部62のエッジとの間の画素数を計測し、当該画素数をギャップ63の寸法とする。このような手法を採用した場合、多様な機器構造の存在や汚れの付着などが想定される現場において、エレベーター部品の寸法計測を、多数の教師データを用意しなくても、高精度で行うことができる。また、この場合、従来、オペレーターが現場に訪問して実施していた寸法計測を、カメラ撮影で代替することが可能となり、オペレーターの作業負荷を軽減することができる。
【0093】
[保守システムで行われる画像解析(保守点検)の処理フロー]
次に、本実施形態の保守システム10で行われる画像解析(保守点検)の処理フローの一例を説明する。ここでは、図6で説明した昇降路20内の異物検知を行う際の保守点検開始時から保守点検の結果表示までの処理フローを説明する。
【0094】
また、ここでは、現在画像抽出部32が上述した第1の抽出手法(図5A参照)、及び、第2の抽出手法(図5B参照)で現在画像データを抽出する場合の各処理フローを説明する。なお、以下では、前者の処理フローを「第1の画像解析フロー」と称し、後者の処理フローを「第2の画像解析フロー」と称する。さらに、以下に説明する例では、保守点検時に、20階床の建屋においてエレベーターの乗りかご21を1階から20階に上昇させ、その間、カメラ4で昇降路20内の様子を撮影し、昇降路20内に異物50が無いか否かの点検を行う例を説明する。
【0095】
(1)第1の画像解析フロー
図8は、本実施形態の保守システム10で昇降路20内の異物検知を行う際の第1の画像解析フローを示す図である。図8に示す第1の画像解析フローは、例えばオペレーターから保守システム10に保守点検開始指示が出されると開始される。なお、保守点検指示は、例えば、オペレーターが所有する携帯端末装置2から、無線通信又は有線通信により保守装置1に送信される。
【0096】
まず、保守システム10に保守点検開始指示が出されると、保守システム10が起動し、保守装置1の情報処理装置6は、カメラ4を制御して、昇降路20の画像(動画)撮影処理を開始する(S1)。また、S1の処理では、駆動監視部3による、保守点検時の乗りかご21の駆動情報の取得処理も開始される。
【0097】
なお、カメラ4による撮影動作の開始タイミングは上記例に限定されない。例えば、カメラ4による撮影動作の開始タイミングは、保守点検対象に応じて適宜設定してもよい。また、例えば、保守システム10に保守点検開始指示が出された後、カメラ4の撮影範囲内に、昇降路20内において各乗場に開閉可能に設けられたハッチドアの下部が捉えられたタイミングを撮影動作の開始タイミングとしてもよい。さらに、例えば、カメラ4の撮影範囲内に、昇降路20のピット(底部)が捉えられたタイミングを撮影動作の開始タイミングとしてもよい。
【0098】
次いで、情報処理装置6の駆動区間検出部31は、駆動監視部3から入力された乗りかご21の駆動情報(加速度情報)に基づいて、乗りかご21の動き出し(上昇開始)のタイミングを検知する(S2)。また、S2の処理では、乗りかご21の動き出し(上昇開始)のタイミングが検知されれば、駆動区間検出部31は、現在画像抽出部32に開始トリガを出力する。さらに、S2の処理では、現在画像抽出部32は、開始トリガの入力を契機として、画像データの抽出処理を開始する。
【0099】
次いで、駆動区間検出部31は、駆動監視部3から入力された乗りかご21の駆動情報(加速度情報)に基づいて、乗りかご21の停止タイミングを検知する(S3)。また、S3の処理では、乗りかご21の停止タイミングが検知されれば、駆動区間検出部31は、現在画像抽出部32に終了トリガを出力する。さらに、S3の処理では、現在画像抽出部32は、終了トリガの入力を契機として、画像データの抽出処理を終了する。これにより、保守点検で解析対象となる現在画像データが取得される。
【0100】
次いで、保守装置1の情報処理装置6は、カメラ4を制御して、昇降路20の画像(動画)撮影処理を終了する(S4)。また、S4の処理では、駆動監視部3による、保守点検時の乗りかご21の駆動情報の取得処理も終了される。
【0101】
次いで、現在画像抽出部32は、取得された現在画像データを保存する(S5)。次いで、情報処理装置6(保守装置1)は、保存された現在画像データを、報知部33を介して携帯端末装置2(受信部41)に送信する(S6)。なお、携帯端末装置2(受信部41)に送信された現在画像データは、携帯端末装置2において、現在画像記憶部45aに記憶される。
【0102】
次いで、携帯端末装置2内の画像解析部42は、受信部41を介して受信した現在画像データと、参照画像記憶部45cから取得した、現在画像データに対応する参照画像デーとの差分を算出する(S7)。この処理では、同じフレーム番号同士の現在画像と参照画像との差分画像が、フレーム番号毎に生成される。すなわち、現在画像データ及び参照画像データのフレーム数と同じフレーム数の差分画像からなる差分画像データが生成される。なお、現在画像データに対応する参照画像データは、画像解析部42の制御により、参照画像データベース46から選択して参照画像記憶部45cにダウンロードされる。
【0103】
次いで、画像解析部42は、S7の処理で生成された差分画像データに含まれる各差分画像に対してノイズ除去処理を行う(S8)。次いで、画像解析部42は、ノイズ除去処理が施された差分画像データを含む画像解析結果を表示部43に出力する(S9)。この処理により、保守点検の画像解析結果(差分画像データを含む)が表示部43に表示される。そして、画像解析結果の表示後、上述した保守点検の一連の処理が終了する。
【0104】
なお、S9の画像解析結果の表示処理では、画像解析部42は、例えばオペレーターが入力部44を操作して指定した保守点検対象(昇降路20内の異物検知)の解析結果の表示内容に従って、対応する差分画像等を含む各種解析結果の情報を表示部43に表示する。昇降路20内の異物検知時の画像解析結果の具体的な表示例については、後で図面を参照しながら説明する。
【0105】
(2)第2の画像解析フロー
図9は、本実施形態の保守システム10で昇降路20内の異物検知を行う際の第2の画像解析フローを示す図である。図9に示す第2の画像解析フローは、上述した第1の画像解析フローと同様に、例えばオペレーターから保守システム10に保守点検開始指示が出されると開始される。
【0106】
まず、保守システム10に保守点検開始指示が出されると、保守システム10が起動し、駆動監視部3による、保守点検時の乗りかご21の駆動情報の取得処理が開始される。次いで、情報処理装置6の駆動区間検出部31は、駆動監視部3から入力された乗りかご21の駆動情報(加速度情報)に基づいて、乗りかご21の動き出し(上昇開始)のタイミングを検知する(S11)。また、S11の処理では、乗りかご21の動き出し(上昇開始)のタイミングが検知されれば、駆動区間検出部31は、現在画像抽出部32に開始トリガを出力する。さらに、S11の処理では、開始トリガが現在画像抽出部32に入力されると、情報処理装置6がカメラ4を制御して昇降路20の画像(動画)撮影処理を開始するとともに、現在画像抽出部32が現在画像データの抽出処理を開始する。
【0107】
次いで、駆動区間検出部31は、駆動監視部3から入力された乗りかご21の駆動情報(加速度情報)に基づいて、乗りかご21の停止タイミングを検知する(S12)。また、S12の処理では、乗りかご21の停止タイミングが検知されれば、駆動区間検出部31は、現在画像抽出部32に終了トリガを出力する。さらに、S12の処理では、終了トリガが現在画像抽出部32に入力されると、情報処理装置6がカメラ4を制御して昇降路20の画像(動画)撮影処理を終了するとともに、現在画像抽出部32が現在画像データの抽出処理を終了する。
【0108】
その後、第2の画像解析フローでは、図8で説明した第1の画像解析フロー中のS5~S9の処理と同様にして、S13~S17の処理を行い、上述した保守点検時の一連の処理が終了する。また、第2の画像解析フローにおける保守点検の各種解析結果(差分画像等を含む)の表示態様は、上述した第1の画像解析フローとそれと同様になる。
【0109】
なお、詳細な説明は省略するが、保守点検時に、図7で説明した昇降路20内の各種装置・部品の寸法計測を行う場合には、図8中のS7及びS8、並びに、図9中のS15及びS16の処理の内容が変わるだけであり、他のステップの処理では、同様の処理が行われる。
【0110】
具体的には、図8中のS7及びS8、並びに、図9中のS15及びS16の処理の代わりに次のような処理が行われる。昇降路20内の各種装置・部品の寸法計測を行う場合、まず、画像解析部42は、受信部41を介して受信した現在画像データ(動画)から、例えばオペレーターが入力部44を操作して指定した撮影点に対応するフレーム番号の現在画像を抽出する。そして、画像解析部42は、抽出した現在画像に対して例えば上述したエッジ抽出処理等の各種解析処理を行い、装置・部品の所望部分(図7の例ではギャップ63)の寸法を算出する。その後、図8中のS9及び図9中のS17の処理と同様にして、解析結果(寸法等)が表示部43に出力され表示される。なお、昇降路20内の各種装置・部品の寸法計測時の画像解析結果の具体的な表示例については、後で図面を参照しながら説明する。
【0111】
[画像解析結果の表示例]
次に、本実施形態の保守システム10で得られた保守点検時の画像解析結果の表示例を説明する。なお、ここでは、図6で説明した昇降路20内の異物検知を行った場合の画像解析結果の表示例、及び、図7で説明したドアロック駆動機構のギャップ63の寸法計測を行った場合の画像解析結果の表示例について説明する。また、以下に説明する例では、カメラ4のフレームレートが30fpsであり、駆動監視部3(加速度センサ)のサンプリングレートが200Hzである例を説明する。さらに、以下に説明する例では、携帯端末装置2の表示部43がタッチパネルで構成されている例、すなわち、オペレーターが表示部43の表示画面に対して直接、タッチ操作を行い、画像解析結果の表示内容で指定できる構成例を説明する。
【0112】
(1)昇降路内の異物検知の表示例
図10は、保守システム10で昇降路20内の異物検知を行った場合に、携帯端末装置2の表示部43に表示される画像解析結果(点検結果)の表示例を示す図である。なお、この保守点検では、20階床の建屋において乗りかご21を1階から20階に上昇させ、その間、カメラ4で昇降路20内の様子を撮影した場合の例を示す。また、この例では、保守装置1内の現在画像抽出部32において、図5Aに示す第1の抽出手法を用いて元画像データから現在画像データを抽出した場合の例を説明する。さらに、この例では、駆動監視部3に加速度センサを含ませ、その検出信号を乗りかご21の駆動情報として取得する例を説明する。
【0113】
表示部43の表示画面43a内の上部には、図10に示すように、参照画像、現在画像及び差分画像が左右横並びに配置されて表示される。なお、ここでは、参照画像、現在画像及び差分画像については、図6の説明内容に合わせて、実際に得られた画像をそのまま示さずに模式図を示す。
【0114】
図10に表示される参照画像は、携帯端末装置2の画像解析部42で差分処理の対象となる参照画像データ内に含まれる所定フレーム番号の参照画像である。また、図10に表示される現在画像は、画像解析部42で差分処理の対象となる現在画像データ内に含まれる所定フレーム番号の現在画像である。なお、本実施形態では、上述のように、原理上、画像解析部42で差分処理の対象となる参照画像データ及び現在画像データのフレーム数は互いに同じであるので、図10に表示される参照画像及び現在画像のフレーム番号も互いに同じになる。また、図10に表示される差分画像は、異物50(図中の三角印)の有無を明確にするため、白黒表示される。
【0115】
上述のようにして、参照画像、現在画像及び差分画像を表示した場合、差分画像では、参照画像と現在画像との差分領域がハイライトされるように表示される。それゆえ、オペレーターは、差分画像を見るだけで、過去に撮影した正常状態からの変化を速やかに且つ容易に確認することができる。また、オペレーターは、差分が生じた領域の現在画像及び参照画像を参照することにより、例えば、昇降路20内の異物50の種別や構造変化を容易に確認することもできる。
【0116】
また、表示画面43a内において、参照画像の下部には参照画像の再生時刻の表示ブロックが配置され、現在画像の下部には現在画像の再生時刻の表示ブロックが配置される。
【0117】
参照画像の再生時刻の表示ブロックに表示される値(図10の例では、0.505秒)は、参照画像データの撮影開始からの経過時間である。この参照画像の再生時刻の表示ブロックに表示される値は、カメラ4のフレームレート、及び、表示されている参照画像のフレーム番号に基づいて算出される。一方、現在画像の再生時刻の表示ブロックに表示される値(図10の例では、1.000秒)は、元画像データの撮影開始からの経過時間である。この現在画像の再生時刻の表示ブロックに表示される値は、後述するように、画像解析部42で取得される乗りかご21の駆動情報(加速度信号)と、参照画像の再生時刻とにより算出される。
【0118】
また、各再生時刻の表示ブロックは、表示画面43a上において、オペレーターのタッチ操作によりアクセス(数値入力)可能なユーザーインターフェースである。それゆえ、本実施形態では、参照画像及び現在画像の再生時刻の表示ブロックに表示された数値を、オペレーターのタッチ操作により、表示画面43a上で変更することができる。そして、参照画像及び/又は現在画像の再生時刻の表示ブロックに表示された数値がオペレーターのタッチ操作により変更された場合には、変更後の再生時刻に対応する参照画像及び/又は現在画像が表示される。また、この際、変更後の再生時刻に基づいて画像解析部42で再度、差分画像が生成され、その変更後の差分画像が表示画面43aに表示される。なお、オペレーターのタッチ操作による上述した解析結果の変更表示処理は、オペレーターのタッチ操作に対応する指示信号に基づき、画像解析部42により制御される。
【0119】
また、表示画面43a内において、参照画像及び現在画像の再生時刻の表示ブロックの下部には、現在画像データ(動画)内における表示中の現在画像の再生位置を示すシークバー(再生バー)が表示される。
【0120】
シークバーは、表示画面43a上において、オペレーターのタッチ操作によりアクセス(変更)可能なユーザーインターフェースである。それゆえ、本実施形態では、オペレーターのタッチ操作により、シークバー上で現在画像の再生位置を変更することができる。そして、シークバーに対するオペレーターのタッチ操作により再生位置が変更された場合には、変更後の再生位置に対応する現在画像が表示される。また、この際、変更後の現在画像に基づいて画像解析部42で再度、差分画像が生成され、その変更後の差分画像が表示画面43aに表示される。なお、シークバーに対するオペレーターのタッチ操作による解析結果の変更表示処理は、オペレーターのタッチ操作に対応する指示信号に基づき、画像解析部42により制御される。
【0121】
また、表示画面43a内において、シークバーの下部領域内の左側領域には、参照画像データの取得時における乗りかご21の駆動情報に含まれる加速度データ(図中の「参照データ」)が表示される。また、表示画面43a内において、シークバーの下部領域内の左側領域には、元画像データの取得時における乗りかご21の駆動情報に含まれる加速度データ(図中の「現在データ」)が表示される。なお、「現在データ」は、「参照データ」の下部に表示される。
【0122】
また、表示画面43a内において、シークバーの下部領域内の右側領域には、参照画像データの取得日(図中の「参照データ日」)及び現在画像データの取得日(図中の「現在データ日」)が表示される。
【0123】
「参照データ日」及び「現在データ日」の表示(選択)ブロックは、表示画面43a上において、オペレーターのタッチ操作によりアクセス(選択)可能なユーザーインターフェースである。それゆえ、本実施形態では、オペレーターのタッチ操作により、表示画面43a上で、参照画像データの取得日及び現在画像データの取得日を変更することができる。そして、「参照データ日」及び/又は「現在データ日」の表示ブロックに対するオペレーターのタッチ操作により参照画像データ及び/又は現在画像データの取得日が変更された場合には、変更後の取得日に対応する参照画像及び/又は現在画像が表示される。また、この際、変更後の参照画像データ及び/又は現在画像データの取得日に基づいて画像解析部42で再度、差分画像が生成され、その変更後の差分画像が表示画面43aに表示される。なお、取得日の変更時に表示画面43aに表示される参照画像及び現在画像の各フレーム番号は取得日の変更前のそれと同じである。なお、「参照データ日」及び/又は「現在データ日」の表示ブロックに対するオペレーターのタッチ操作による解析結果の変更表示処理は、オペレーターのタッチ操作に対応する指示信号に基づき、画像解析部42により制御される。
【0124】
また、表示画面43a内において、「参照データ日」及び「現在データ日」の表示ブロックの下側にはそれぞれ、「調整実行」ボタン及び「調整解除」ボタンが表示される。なお、「調整実行」ボタン及び「調整解除」ボタンは、表示画面43a上において、オペレーターのタッチ操作によりアクセス(押下)可能なユーザーインターフェースである。
【0125】
表示画面43a上で、オペレーターにより「調整実行」ボタンが押下されると、参照画像データと元画像データとのずれ量、すなわち、乗りかご21の動き出しタイミングのずれ(遅延又は進行)量が算出される。この算出処理は、参照画像データの取得時における乗りかご21の駆動情報に含まれる加速度データと、元画像データの取得時における乗りかご21の駆動情報に含まれる加速度データとを用いて、携帯端末装置2の画像解析部42で行われる。
【0126】
そして、算出されたずれ量が、「調整実行」ボタン及び「調整解除」ボタンの下部のインジケーターに表示される(図中の「最適時刻調整量:+0.495秒」)。また、この際、インジケーター内には、画像データの抽出時間が表示される(図中の「抽出時間範囲:20.0秒」)。なお、画像データの抽出時間は、実質、保守点検中の乗りかご21の走行時間に相当し、カメラ4のフレームレート、及び、参照画像データのフレーム数から算出され、この算出処理も画像解析部42により制御される。また、表示画面43a上において、オペレーターにより「調整解除」ボタンが押下されると、インジケーター内に表示されていた最適時刻調整量及び抽出時間範囲の数値が消える。
【0127】
なお、昇降路20内の異物検知の画像解析結果の表示態様は、図10に示す態様に限定されない。図10の表示画面43aに示す各種表示項目(ユーザーインターフェース)の幾つかは、必要に応じて、適宜削除してもよいし、別のユーザーインターフェースを適宜追加してもよい。例えば、図10に示す表示態様において、オペレーターによっては、必要最低限の機能のみが表示された方が使用し易い場合があるので、参照画像及び現在画像の再生時刻、加速度データ、最適時刻調整量、抽出時間範囲などの表示項目を削除してもよい。
【0128】
また、例えば、加速度センサのノイズが大きく参照画像データ(動画)と現在画像データ(画像)とがフレーム単位でずれてしまう場合に、マニュアルで再生フレームを容易に微調整可能となるユーザーインターフェースを新たに設けてもよい。この場合、図10中に示す現在画像の再生時刻の表示ブロックやシークバーより、さらに簡単にマニュアルで再生フレームを微調整可能となるユーザーインターフェースであることが好ましい。例えば、再生時刻ではなく、現在画像のフレーム番号を±1単位で調整できるユーザーインターフェースを設けることが好ましい。
【0129】
また、差分画像において、差分画像全領域に対して差分領域がどの程度含まれるかを示す情報を、差分画像を表示する前にオペレーターが分かるように表示してもよい。この場合、例えば、差分画像全体に含まれる差分領域の総面積、及び/又は、差分画像全体に対する差分領域の割合を算出して表示してもよい。なお、これらの差分領域に関する情報(総面積、割合)は、携帯端末装置2の画像解析部42で算出される。
【0130】
(2)参照画像データと元画像データとのずれ量(最適時刻調整量)の算出手法
ここで、図10の表示画面43a内のインジケーターに表示される参照画像データと元画像データとのずれ量(最適時刻調整量)の算出手法を説明する。図11Aは、元画像データの取得時に得られた、乗りかご21の動き出し時の鉛直方向の加速度データの信号波形の一例を示す図であり、縦軸が加速度であり、横軸が時間である。図11Bは、参照画像データの取得時に得られた、乗りかご21の動き出し時の鉛直方向の加速度データの信号波形の一例を示す図であり、縦軸が加速度であり、横軸が時間である。また、図11Cは、図11Aに示す加速度データの信号波形と図11Bに示す加速度データの信号波形と間のずれ量を推測するために、相互相関関数を用いて算出された両者の相関係数の変化特性である。図11Cに示す相関係数の変化特性では、縦軸が相関係数であり、横軸はラグ量である。なお、図11Cに示すラグ量は、図11Bに示す加速度データの信号波形(参照画像データ)に対する図11Aに示す加速度データの信号波形(元画像データ)の遅延量を示すデータ点数である。
【0131】
図11Cに示す例では、+99点のラグ量で相関係数が最大値となっているので、図11Aに示す加速度データの信号波形と図11Bに示す加速度データの信号波形と間には+99点のラグ量があることが分かる。すなわち、この例では、図11Aに示す加速度データの信号波形(元画像データ)は、図11Bに示す加速度データの信号波形(参照画像データ)に対して、+99点のラグ量に相当する遅延量で、遅延している。
【0132】
なお、この例では、加速度センサ(駆動監視部3)のサンプリングレートは200Hzであるので、+99点のラグ量は、+0.495秒(=99data÷200Hz)の遅延量に相当する。それゆえ、図10の表示画面43a内のインジケーターに表示される最適時刻調整量には、この遅延時間が表示される。また、この例では、カメラ4のフレームレートは30fpsであるので、0.495秒の遅延量に相当するフレーム数は、14.85フレーム(=0.495秒×30fps)となる。すなわち、元画像データは、参照画像データに対して、約15フレーム分遅延している。
【0133】
また、図10に示す表示画面43a内の現在画像の再生時刻の表示ブロックに表示されている1.000秒は、上述のようにして算出された遅延量0.495秒を、参照画像の再生時刻の表示ブロックに表示されている0.505秒に加算した値である。
【0134】
(3)昇降路内の装置の寸法計測の表示例
図12は、保守システム10で各階のドアロック駆動機構の掛かり代(ロック機能部60のギャップ63)の寸法計測を行った場合に、携帯端末装置2の表示部43に表示される画像解析結果(点検結果)の表示例を示す図である。この保守点検では、乗りかご21を、1階から3階に上昇させ且つ各階で停止させる駆動パターンで走行させ、その間、カメラ4で昇降路20内の様子を撮影した場合の例を示す。なお、ロック機能部60のギャップ63の寸法計測では、乗りかご21を、3階から1階に下降させ且つ各階で停止させる駆動パターンで走行させ、その間、カメラ4で昇降路20内の様子を撮影してもよい。
【0135】
また、図12に示す例では、保守装置1内の現在画像抽出部32において、図5Aに示す第1の抽出手法を用いて元画像データから現在画像データを抽出した場合の例を説明する。さらに、この例では、駆動監視部3に加速度センサだけでなく、気圧センサも含ませ、それらの検出信号を乗りかご21の駆動情報として取得する例を説明する。すなわち、この例では、乗りかご21の駆動情報として、加速度センサの検出信号から得られる乗りかご21の動き出し及び停止のタイミングに関する情報だけでなく、気圧センサの検出信号から得られる乗りかご21の位置(高さ)情報も取得する例を説明する。
【0136】
表示部43の表示画面43a内の上部には、図12に示すように、2階のドアロック駆動機構のロック機能部60の全体画像、及び、ロック機能部60のギャップ63付近の領域を示す拡大画像が左右横並びに配置されて表示される。なお、ここでは、ロック機能部60の全体画像及び拡大画像については、図7の説明内容に合わせて、実際に得られた画像をそのまま示さずに模式図を示す。
【0137】
また、表示画面43a内において、ロック機能部60の全体画像及び拡大画像の下部領域内の左側領域には、保守点検時に取得した乗りかご21の駆動情報(加速度データ及び気圧データの時間変化特性)が表示される。なお、気圧は、乗りかご21が上昇するほど低下するので、気圧データでは、1階の気圧が最も高くなり、3階の気圧が最も低くなる。また、表示画面43a上において、加速度データ及び気圧データの時間変化特性に亘って重ねて表示されている縦バーは、現在、全体画像及び拡大画像に表示されているロック機能部60の階数を示す。図12に示す例では、加速度データ及び気圧データの時間変化特性では、2階の停止時間において、縦バーが表示されているので、全体画像及び拡大画像には、2階のロック機能部60の画像が表示される。
【0138】
また、表示画面43a内において、全体画像及び拡大画像の下部領域内の右側領域には、「画像データ選択」項目の各種表示(選択)ブロックが表示される。具体的には、現在画像データの取得日(図中の「データ取得日」)、階数(図中の「フロア」)及び「選択」ボタンが表示される。「データ取得日」及び「フロア」の表示(選択)ブロック、並びに、「選択」ボタンは、表示画面43a上において、オペレーターのタッチ操作によりアクセス可能なユーザーインターフェースである。
【0139】
オペレーターが所望する階のロック機能部60の画像を表示する場合には、まず、オペレーターのタッチ操作により、「データ取得日」及び「フロア」の表示ブロック上で、所望の現在画像データの取得日及び所望の階数がそれぞれ選択される。次いで、オペレーターにより「選択」ボタンが押下されると、選択されたデータ取得日及び階数のロック機能部60の全体画像及び拡大画像が表示画面43aに表示される。また、この際、加速度データ及び気圧データの時間変化特性上において、縦バーの表示位置が、選択された階数に対応する停止時間に自動的に遷移する。
【0140】
また、表示画面43a内において、「選択」ボタンの下部領域には、「拡大調整領域調整」項目として、「調整」ボタンが表示される。「調整」ボタンは、表示画面43a上において、オペレーターのタッチ操作によりアクセス(押下)可能なユーザーインターフェースである。表示画面43a上において、オペレーターにより「調整」ボタンが押下されると、拡大画像上において、オペレーターのタッチ操作により拡大領域の移動が可能になる。
【0141】
また、表示画面43a内において、「拡大調整領域調整」項目の下部領域には、ギャップ63の寸法を表示するインジケーター(図中の「ギャップ寸法:2.9mm」)、及び、「ギャップ計測」ボタンが表示される。「ギャップ計測」ボタンは、表示画面43a上において、オペレーターのタッチ操作によりアクセス(押下)可能なユーザーインターフェースである。
【0142】
表示画面43a上において、オペレーターにより「ギャップ計測」ボタンが押下されると、ギャップ63に相当する箇所の幅が、画像解析部42により自動的に計算され、算出されたギャップ寸法がインジケーターに表示される。そして、オペレーターは、インジケーターに表示されたギャップ63の寸法を見て、ギャップ63の寸法が規定値範囲内であるか否かを速やかに判断することができる。
【0143】
なお、ロック機能部60のギャップ63の画像解析結果の表示態様は、図12に示す態様に限定されない。図12の表示画面43aに示す各種表示項目(ユーザーインターフェース)の幾つかは、必要に応じて、適宜削除してもよいし、別のユーザーインターフェースを適宜追加してもよい。例えば、気圧データや加速度データ等のグラフを表示せずに、フロアの全体画像、拡大画像、ギャップ寸法が一括で表示されるような画面構成であってもよい。また、例えば、計測により得られた寸法データを保存するための保存機能や、計測結果に対するオペレーターのコメントを残す機能等を可能にするためのユーザーインターフェースが追加されていてもよい。
【0144】
また、上述した昇降路20内の各種装置・部品の寸法計測では、カメラ4で動画データを取得することを想定しているが、本発明はこれに限定されない。例えば、乗りかご21が各階に停止した後、1枚の静止画を撮影し、その静止画像データを解析して、昇降路20内の各種装置・部品の寸法を計測してもよい。本実施形態の保守システム10では、乗りかご21の駆動情報(位置情報等)と連携して、昇降路20の撮影を行うことが可能であるので、このような計測手法も容易に実現することができる。また、この場合、動画データを取得する場合に比べて、解析対象となる画像データの容量が小さくなるので、データ容量の圧迫が小さくなり、処理負荷やメモリ負荷を軽減することができる。
【0145】
さらに、図12に示す例では、昇降路20内の各種装置・部品の寸法計測として、ロック機能部60のギャップ63を計測する例を説明したが、本発明はこれに限定されない。本実施形態の保守システム10において、昇降路20内の他の様々な装置の部位、部品を上記実施形態と同様にして撮影することにより、これらの寸法計測も可能であり、表示画面43aにおいて各装置・部品の状態や寸法の点検及び診断が可能になる。
【0146】
[各種効果]
上述のように、本実施形態の保守システム10では、乗りかご21の駆動情報と連携して、現在画像データ及び参照画像データが取得される。それゆえ、本実施形態の保守システム10では、画像解析部42で比較対象となる現在画像データ(動画)のフレーム数と、参照画像データ(動画)のフレーム数とを揃えることができる。その結果、例えば、昇降路20内の異物検知では、例えば、同じフレーム番号同士の現在画像と参照画像との差分画像を算出するだけで、異物50の画像のみを精度良く抽出することができる。
【0147】
それゆえ、本実施形態の保守システム10により昇降路20内の異物検知を行った場合には、高精度で且つより簡易な構成で保守点検が可能になる。また、現在画像と参照画像との撮影点の位置合わせは、例えばフレーム番号に基づいて行うことができるので、経年劣化等の影響を受けることはなく、メンテ等のコストが不要になる。すなわち、本実施形態の保守システム10では、低コストで保守点検を行うことができる。
【0148】
ところで、上述した昇降路20内の異物検知では、現在画像の撮影点を参照画像のそれと高精度で合わせる必要があるが、本発明者らの検証によれば、カメラ4での撮影点を数cm以下(例えば3cm以下)の高精度で制御する必要があることが分かった。ここで、その検証例について説明する。ただし、以下に示す検証例の図面では、検証実験で実際に得られた解析結果をそのまま示さず、得られた知見をより強調するために模式図として示す。
【0149】
図13A図13B及び図13Cはそれぞれ、図10で説明した昇降路20内の異物検知と同様にして異物検知を行った場合(実施例)に得られた参照画像、現在画像及び差分画像の模式図である。これらの画像は、本実施形態の保守システム10で取得されたものであるので、現在画像と参照画像との測定点の位置合わせは高精度に行われており、差分画像には、異物50(図中の三角印)のみが表示される。
【0150】
一方、図14A図14B及び図14Cはそれぞれ、図13A図13B及び図13Cに示す参照画像、現在画像及び差分画像において現在画像を1フレームずらした場合(比較例)の参照画像、現在画像及び差分画像である。この場合には、差分画像上において、異物50以外に別の差分領域51(図中の円弧状の領域)が検出された。すなわち、この場合には、異物50だけでなく、差分領域51も異物として誤検知されることになる。
【0151】
一般的なエレベーターの速度(45~105m/min)に対して、カメラ4のフレームレートを30fpsすると、1フレームの間にエレベーターは1.7cm~5.8cm進む。このことから、異物検知において、現在画像の撮影点と参照画像の撮影点とが数cm異なるだけでも、異常でない箇所の変化を異物(差分)として検出することになる。上述した誤検知の要因は、撮影範囲内に捉えた各機器の座標の僅かなズレ等に由来しており、このように誤検知の領域が多くなると、オペレーターが見つけるべき異物を見落とす可能性がある。なお、上述した誤検知の要因を完全に取り除くことは難しいが、その影響を極力減らすためにモルフォロジー処理等により除去するアルゴリズムを適用することが考えられる。
【0152】
それゆえ、上記検証実験から、差分検知によって数ピクセル程度の僅かな異物や変化を感度よく捉えるためには、参照画像の撮影点と現在画像のそれとを極力揃える必要があり、1フレーム分の誤差も抑える必要があることが分かった。それに対して、上述した本実施形態の保守システム10では、現在画像と参照画像との撮影点の位置合わせを高精度で行うことができ、上記課題を解決できることは、図13C及び図14Cで示した差分画像の検証結果からも明らかである。
【0153】
また、上記課題に対する別の解決手法としては、昇降路20内の小さな異物や、機器の微細の位置変化を数ピクセル程度で精度良く検出するために、差分検知の感度(例えば、カメラ4のフレームレート、画像の解像度や画素数等)を上げる方法が考えられる。しかしながら、差分検知の感度が高くなりすぎると、撮影点の僅かな違いによって、異常でない箇所も差分として誤検知してしまうデメリットがある。それに対して、上述した本実施形態の保守システム10では、原理上、差分検知の感度を高くすることなく、現在画像と参照画像との撮影点の位置合わせを高精度で行うことができるので、このようなデメリットも解消される。
【0154】
さらに、カメラ4で撮影した画像データから昇降路20内の各種装置・部品の寸法を計測する場合にも、撮影点が変化してしまうと、計測結果の誤差が大きくなってしまう。具体的には、昇降路20内には多数の部品や機器が露出しているため、カメラ4の画角内には他の複数の部品が映り込みやすくなる。それゆえ、撮影された画像全体に対してエッジ抽出処理等の画像処理を施すと、保守点検対象だけでなくそれ以外の部品や機器のエッジが抽出されるといった誤検出が生じる。
【0155】
このような課題を解決する手法としては、例えば、撮影した全体画像から保守点検対象以外の部品や機器を含まないように、保守点検対象の部品だけが含まれる画像部分を全体画像から抽出して、画像解析を行う手法が考えられる。しかしながら、この手法においても、保守点検毎に発生する撮影点のバラツキにより、撮影点が数cm程度でも僅かに変化してしまうと、保守点検対象以外の部品や機器が抽出した画像に写り込んでしまう。
【0156】
それに対して、本実施形態の保守システム10では、乗りかご21の駆動情報と連携して現在画像データが取得されるので、保守点検毎に、再現性よく同じ撮影点(撮影位置)で保守点検対象を撮影することができる。すなわち、本実施形態の保守システム10では、保守点検毎に、保守点検対象とカメラ4との位置関係を揃えて撮影することができ、各フレームの撮影点のバラツキを非常に小さくすることができる。それゆえ、本実施形態の保守システム10では、昇降路20内の各種装置・部品の寸法の計測誤差も非常に小さくすることができ、高精度な寸法計測を行うことができる。すなわち、本実施形態では、昇降路20内の各種装置・部品の外観変化などを、高精度で検出することが可能になる。また、本実施形態では、保守点検毎に、再現性よく同じ撮影点(撮影位置)で保守点検対象を撮影することができるので、保守点検対象の外観変化を目視等でも確認し易くなる。
【0157】
なお、上述のように、本実施形態の保守システム10では、原理上、画像解析部42で比較対象となる現在画像データ(動画)のフレーム数と、参照画像データ(動画)のフレーム数とを揃えることができる。また、本実施形態の保守システム10では、乗りかご21の駆動情報と連携して現在画像データが取得されるので、各フレームの撮影点の保守点検毎のバラツキも非常に小さくすることができる。ただし、例えば、駆動監視部3に含まれる加速度センサのノイズが大きくなった場合には、現在画像データの抽出タイミングが、所望のタイミングよりずれてしまう可能性が考えられる。すなわち、保守点検時における加速度センサのノイズが大きくなった場合には、例えば、現在画像データのフレーム数が参照画像データのフレーム数と異なったり、撮影点の保守点検毎のバラツキが多少大きくなったりする可能性がある。
【0158】
しかしながら、本実施形態の保守システム10では、携帯端末装置2の表示部43の表示画面43a上において、オペレーターにより解析対象とする現在画像をマニュアルで変更する機能が設けられている。さらに、本実施形態の保守システム10では、携帯端末装置2の画像解析部42において、乗りかご21の駆動情報(加速度センサの検出信号)に基づいて、元画像データと参照画像データとの間の遅延量の算出機能も備えている。それゆえ、上述した加速度センサのノイズの影響を受けても、これらの機能を活用することにより、容易に、この影響を解消して高精度な保守点検を行うことができる。
【0159】
[各種変形例]
以上、本発明の一実施形態に係る保守システム10及び保守装置1について説明したが、本発明はこれらに限定されない。例えば、次のような各種変形例が採用可能である。
【0160】
上記実施形態の保守システム10では、現在画像データ及び参照画像データの抽出動作において、開始トリガに基づいて抽出処理を開始し、終了トリガに基づいて抽出処理を終了する例(図5A及び図5B参照)を説明したが、本発明はこれに限定されない。例えば、現在画像データ及び参照画像データの抽出動作において、開始トリガに基づいて抽出処理を開始するが、抽出処理の終了タイミングは撮影終了のタイミングと同じにしてもよい。すなわち、終了トリガに基づいて抽出処理を終了する構成を設けなくてもよい。この場合にも、現在画像データの最初の現在画像の撮影点(撮影位置)と、参照画像データの最初の参照画像の撮影点とを高精度に揃えることができるので、上記実施形態と同様の効果が得られる。また、この場合、現在画像データの抽出処理も簡易になるので、情報処理装置6での処理負荷も軽減される。
【0161】
また、上記実施形態の保守システム10による昇降路20内の異物検知等の保守点検では、現在画像データ及び参照画像データの抽出期間を、乗りかご21の動き出しタイミングから停止タイミングまでの期間とする例(図5A及び図5B参照)を説明した。しかしながら、本発明はこれに限定されず、現在画像データ及び参照画像データの抽出期間は、保守点検対象、及び、乗りかご21の駆動パターン等に応じて適宜変更される。
【0162】
例えば、昇降路20内の異物検知等の保守点検では、現在画像データ及び参照画像データの抽出期間を乗りかご21が定速運転されている期間としてもよい。この場合には、駆動区間検出部31が、乗りかご21が動き出して一旦加速度上がった後、0に戻ったタイミングを検出して、開始トリガを出力し、その後、乗りかご21の加速度が下がり始めるタイミングを検出して終了トリガを出力すればよい。この場合、上記実施形態に比べて、解析対象となる現在画像データ及び参照画像データの容量を低減することができる。
【0163】
また、上記実施形態の保守システム10におけるカメラ4での上記撮影動作については、例えば、保守点検対象、画像データの容量、点検精度等を考慮して、次のような各種態様を採用することができる。
【0164】
例えば、カメラ4で動画撮影を行う場合には、動画データのフレームレートは、必ずしもカメラの最高レートである必要はなく、例えば保守点検対象に応じて適宜設定することができる。
【0165】
また、カメラ4による撮影動作では、例えば、乗りかご21の走行中に所定間隔のタイミングで静止画像を連続撮影する構成にしてもよい。例えば、保守点検対象が昇降路20内の異物・落下物等の検知である場合、乗りかご21の走行位置が1階、1.5階、2階、2.5階…となる度に、すなわち、半階床毎に1回、静止画を撮影するようにしてもよい。この場合、撮影タイミングは、エレベーターの各階床間の距離と、乗りかご21の走行速度の関係によって決定できる。例えば、各階床間が5m離れており、エレベーター(乗りかご21)の移動速度が分速60mであるとすると、半階床毎に1回の撮影を行う場合には、2.5秒毎に1回撮影すればよい。この場合、動画撮影より画像データの容量を減らすことができる。
【0166】
さらに、撮影動作時(保守点検時)のエレベーターの走行速度は、短時間で昇降路20内全体を撮影できるよう一般的な高速運転であってもよいが、より綺麗で鮮明な画像を撮影するために、エレベーターの保守点検時に使用するような低速運転であってもよい。この場合には、保守点検の精度を高めることができる。また、保守点検時のエレベーターの走行速度は、保守点検対象に応じて適宜設定することができる。それゆえ、保守点検対象によっては、乗りかご21を完全に停止させた状態で昇降路20の画像を撮影してもよい。例えば、エレベーターの利用客が落とし物をすると、落とし物が、昇降路20のピット(底部)に落下したり、ドアの下部分に挟まったりすることが多い。このような事象を保守点検対象とする場合には、落下物が多い箇所を高解像度で撮影できるようにするため、発生事象に対して適切な場所に乗りかご21を移動させて停止した後に、撮影をしてもよい。この場合、乗りかご21は停止状態であることから、露光時間も長く設定でき、暗い昇降路20内でも鮮明な画像が得られ、保守点検の精度を高めることができる。また、この場合、撮影画像データの容量を減らすこともできる。
【0167】
また、上記実施形態の保守システム10では、建屋側に配置する情報処理装置6内に画像処理部30(駆動区間検出部31及び現在画像抽出部32)を設ける構成例(図4参照)を説明したが、本発明はこれに限定されない。例えば、画像処理部30(駆動区間検出部31及び現在画像抽出部32)が携帯端末装置2内に設けられてもよい。
【0168】
なお、上述した実施形態例は本発明を分かりやすく説明するために装置の構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、図面等で示した各構成部の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。それゆえ、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。さらに、本発明は、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得る。
【符号の説明】
【0169】
1…保守装置、2…携帯端末装置、3…駆動監視部、3a…センサボックス、3b…駆動制御システム、4…カメラ、6…情報処理装置、10…保守システム、20…昇降路、21…乗りかご、30…画像処理部、31…駆動区間検出部、32…現在画像抽出部、34,45…記憶部、34a,45b…現在駆動情報記憶部、34b…元画像記憶部、42…画像解析部、43…表示部、43a…表示画面、44…入力部、45a…現在画像記憶部、45c…参照画像記憶部、45d…参照駆動情報記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14