(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024165376
(43)【公開日】2024-11-28
(54)【発明の名称】保守装置、保守システム及び保守プログラム
(51)【国際特許分類】
B66B 5/00 20060101AFI20241121BHJP
G06T 7/00 20170101ALI20241121BHJP
G06T 7/62 20170101ALI20241121BHJP
【FI】
B66B5/00 G
G06T7/00 610C
G06T7/62
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023081525
(22)【出願日】2023-05-17
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000925
【氏名又は名称】弁理士法人信友国際特許事務所
(72)【発明者】
【氏名】緒方 邦臣
(72)【発明者】
【氏名】松井 一真
(72)【発明者】
【氏名】栗山 哲
【テーマコード(参考)】
3F304
5L096
【Fターム(参考)】
3F304BA02
3F304BA26
3F304EA22
3F304ED06
3F304ED13
5L096BA03
5L096CA22
5L096DA01
5L096FA06
5L096FA59
5L096GA08
5L096GA09
(57)【要約】
【課題】 昇降路内の小さな異物、機器の微細の位置変化等の事象発生を高精度で且つ低コストで検出可能にする。
【解決手段】 本発明は、エレベーターの保守点検時に撮影装置により撮影された昇降路の第1の画像データと、第1の画像データと比較対象となる昇降路の第2の画像データとに基づいて、昇降路の点検保守を行う保守装置であり、第1の画像データ及び第2の画像データに基づいて、昇降路の画像解析を行う画像解析部を備え、画像解析部は、第1の画像データに含まれる画像と第2の画像データに含まれる画像との第1の差分画像を生成し、第1の差分画像に含まれる差分領域の面積を算出する差分面積算出部と、差分面積算出部で算出された差分領域の面積に基づいて、第1の画像データに含まれる各画像の撮影点と、第2の画像データに含まれる各画像の撮影点とのずれ量を算出するずれ量算出部とを有する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
エレベーターの保守点検時に撮影装置により撮影された昇降路の第1の画像データと、前記第1の画像データと比較対象となる前記昇降路の第2の画像データとに基づいて、前記昇降路の点検保守を行う保守装置において、
前記第1の画像データ及び前記第2の画像データに基づいて、前記昇降路の画像解析を行う画像解析部を備え、
前記画像解析部は、
前記第1の画像データに含まれる画像と前記第2の画像データに含まれる画像との第1の差分画像を生成し、当該第1の差分画像に含まれる差分領域の面積を算出する差分面積算出部と、
前記差分面積算出部で算出された前記差分領域の面積に基づいて、前記第1の画像データに含まれる各画像の撮影点と、前記第2の画像データに含まれる各画像の撮影点とのずれ量を算出するずれ量算出部と、を有する
ことを特徴とする保守装置。
【請求項2】
前記画像解析部は、前記ずれ量算出部で算出された前記ずれ量に基づいて、撮影点が互いに同じ又は最も近くなる、前記第1の画像データに含まれる画像と前記第2の画像データに含まれる画像とを抽出して、該抽出された両画像の第2の差分画像を生成する差分処理部をさらに有する
ことを特徴とする請求項1に記載の保守装置。
【請求項3】
前記差分面積算出部は、
前記第1の画像データから時間的に連続する所定数の画像を含む第1の画像群を抽出し、
前記第2の画像データから時間的に連続する前記所定数の画像を含む第2の画像群を抽出し、
前記第1の画像群に含まれる各画像と、前記第2の画像群に含まれる各画像との前記第1の差分画像を生成して、前記所定数の前記第1の差分画像を生成し、
前記所定数の前記第1の差分画像のそれぞれにおいて差分領域の面積を算出し、該算出された前記所定数の差分領域の面積を総和して総和差分面積を算出し、
前記第1の画像群の抽出処理、前記第1の差分画像の生成処理、及び、前記総和差分面積の算出処理をこの順で行う一連の処理を、前記第1の画像データ内における前記第1の画像群の抽出位置を所定間隔でずらしながら所定回数繰り返して実行し、所定回数分の総和差分面積を算出し、
前記ずれ量算出部は、
前記差分面積算出部で算出された前記所定回数分の総和差分面積のうち、最小となる前記総和差分面積が得られた前記第1の画像群の前記抽出位置に基づいて、前記ずれ量を算出する
ことを特徴とする請求項1に記載の保守装置。
【請求項4】
前記差分面積算出部は、前記一連の処理を、前記第1の画像データ内における前記第1の画像群の抽出位置を1フレーム間隔でずらしながら前記所定回数繰り返して実行する
ことを特徴とする請求項3に記載の保守装置。
【請求項5】
前記所定回数分の総和差分面積と、前記第1の画像群の前記抽出位置に関する情報との関係性を示す情報を表示する表示部をさらに備える
ことを特徴とする請求項3に記載の保守装置。
【請求項6】
前記画像解析部は、前記画像解析部で生成された前記第2の差分画像に含まれる差分領域の輪郭を抽出する輪郭抽出部をさらに有する
ことを特徴とする請求項2に記載の保守装置。
【請求項7】
前記第2の差分画像に関する情報を表示する表示部をさらに備え、
前記表示部は、前記第2の差分画像と前記輪郭を示す画像とを重ね合わせて表示する
ことを特徴とする請求項6に記載の保守装置。
【請求項8】
オペレーターによる操作を受け付け、前記差分面積算出部による計算条件及び前記ずれ量算出部による計算条件をオペレーターの操作により設定可能にする入力部をさらに備える
ことを特徴とする請求項1に記載の保守装置。
【請求項9】
エレベーターの保守点検時に昇降路の第1の画像データを撮影する撮影装置を備え、前記第1の画像データと、前記第1の画像データと比較対象となる前記昇降路の第2の画像データとに基づいて、前記昇降路の点検保守を行う保守システムにおいて、
前記第1の画像データ及び前記第2の画像データに基づいて、前記昇降路の画像解析を行う画像解析装置と、
前記画像解析装置による画像解析の結果を表示する表示装置と、をさらに備え、
前記画像解析装置は、
前記第1の画像データに含まれる画像と前記第2の画像データに含まれる画像との第1の差分画像を生成し、当該第1の差分画像に含まれる差分領域の面積を算出する差分面積算出部と、
前記差分面積算出部で算出された前記差分領域の面積に基づいて、前記第1の画像データに含まれる各画像の撮影点と、前記第2の画像データに含まれる各画像の撮影点とのずれ量を算出するずれ量算出部と、を有する
ことを特徴とする保守システム。
【請求項10】
エレベーターの保守点検時に撮影装置により撮影された昇降路の第1の画像データと、前記第1の画像データと比較対象となる前記昇降路の第2の画像データとに基づいて、前記昇降路の点検保守を行う保守装置に実装して実行させる保守プログラムにおいて、
前記保守装置が備える画像解析部が、前記第1の画像データに含まれる画像と前記第2の画像データに含まれる画像との第1の差分画像を生成し、当該第1の差分画像に含まれる差分領域の面積を算出する処理と、
前記画像解析部が、前記差分領域の面積を算出する処理で算出された前記差分領域の面積に基づいて、前記第1の画像データに含まれる各画像の撮影点と、前記第2の画像データに含まれる各画像の撮影点とのずれ量を算出する処理と、を前記保守装置に実装して実行させる
ことを特徴とする保守プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、保守装置、保守システム及び保守プログラムに関する。
【背景技術】
【0002】
従来、エレベーターの昇降路を点検するための各種システムが提案されている(例えば、特許文献1参照)。特許文献1では、エレベーターの昇降路内、かごの上部及び下部等に複数のカメラを設置し、カメラで撮影された現在の昇降路の画像と、過去に撮影された昇降路の画像とを比較して、メンテナンスの要否を判断するシステムが提案されている。このようなシステムを採用した場合、高層ビル等の目視点検が困難なビルであっても、自動で異常箇所の有無の点検が可能となる。また、オペレーターが現地を訪問しなくても、昇降路内の状態を確認できることから、保守作業の負荷も大きく減らすことができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】欧州特許出願公開第3409629号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のように、従来、カメラを用いて撮影された現在の昇降路の画像と、過去に撮影された昇降路の画像とを比較して、昇降路内の変化を検知するシステムが提案されている。このようなシステムにおいて、例えば、昇降路内の小さな異物、機器の微細の位置変化等を精度良く検出するためには、昇降路の現在の画像の撮影点(撮影位置)と、それと比較される過去の画像の撮影点とが同じであることが好ましい。上記特許文献1に開示のシステムでは、現在の昇降路の画像の撮影点と、過去の昇降路の画像の撮影点との位置合わせを精度良く行うため、塗装等により形成された物理的な位置合わせマークを用いる方法が採用されている。
【0005】
しかしながら、上記特許文献1に開示のシステムでは、例えば、経年劣化や汚れの蓄積などにより位置合わせマーク自体が劣化した場合には、位置合わせ自体が困難になる。また、上記特許文献1に開示のシステムでは、複数のカメラの設置位置にそれぞれ対応した複数の位置合わせマークを設置する必要があり、特に高層ビルを適用対象とした場合には、その設置にかかるコストも大きくなる。そこで、従来、エレベーターの昇降路内の様子をカメラで撮影して保守点検を行うシステムにおいて、例えば、昇降路内の小さな異物、機器の微細の位置変化等の事象発生を、高精度で且つ低コストで検出可能となる技術の開発が求められている。
【0006】
本発明は、上記課題を解決するためになされたものある。本発明の目的は、エレベーターの昇降路内の様子をカメラで撮影して保守点検を行う保守装置及び保守システムにおいて、例えば、昇降路内の小さな異物、機器の微細の位置変化等の事象発生を高精度で且つ低コストで検出可能となる技術を提供することである。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の保守装置は、エレベーターの保守点検時に撮影装置により撮影された昇降路の第1の画像データと、第1の画像データと比較対象となる昇降路の第2の画像データとに基づいて、昇降路の点検保守を行う保守装置である。保守装置は、第1の画像データ及び第2の画像データに基づいて、昇降路の画像解析を行う画像解析部を備え、画像解析部は、差分面積算出部と、ずれ量算出部とを有する。差分面積算出部は、第1の画像データに含まれる画像と、第2の画像データに含まれる画像との第1の差分画像を生成し、第1の差分画像に含まれる差分領域の面積を算出する。また、ずれ量算出部は、差分面積算出部で算出された差分領域の面積に基づいて、第1の画像データに含まれる各画像の撮影点と、第2の画像データに含まれる各画像の撮影点とのずれ量を算出する。
【0008】
また、上記課題を解決するために、本発明の保守システムは、エレベーターの保守点検時に昇降路の第1の画像データを撮影する撮影装置を備える保守システムである。保守システムは、第1の画像データと、第1の画像データと比較対象となる昇降路の第2の画像データとに基づいて、昇降路の点検保守を行う。また、保守システムは、前記本発明の保守装置と同様の構成を有する画像解析装置と、画像解析装置による画像解析の結果を表示する表示装置とをさらに備える。
【0009】
さらに、上記課題を解決するために、本発明の保守プログラムは、前記本発明の保守装置が備える画像解析部が行う処理を、保守装置に実装して実行させる保守プログラムである。
【発明の効果】
【0010】
上記構成の本発明によれば、保守点検時に、例えば、昇降路内の小さな異物、機器の微細の位置変化等の事象発生を、高精度で且つ低コストで検出することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の一実施形態に係るエレベーターの保守システムの概略構成図である。
【
図2】本発明の一実施形態に係るエレベーターの保守システムを構成する撮影装置の機能ブロック図である。
【
図3】本発明の一実施形態に係るエレベーターの保守システムを構成する演算装置の機能ブロック図である。
【
図4】本発明の一実施形態に係るエレベーターの保守システムを構成する演算装置のハードウェアの構成図である。
【
図5】本発明の一実施形態に係るエレベーターの保守システムの演算装置で行われる現在画像と参照画像との撮影点のずれ量の算出手法を説明するための図である。
【
図6】本発明の一実施形態に係るエレベーターの保守システムの演算装置で行われる現在画像と参照画像との撮影点のずれ量の算出手法を説明するための図である。
【
図7】本発明の一実施形態に係るエレベーターの保守システムの演算装置で行われる現在画像と参照画像との撮影点のずれ量の算出処理の手順を示すフローチャートである。
【
図8】本発明の一実施形態に係るエレベーターの保守システムの演算装置で行われる差分画像の生成処理の手順を示すフローチャートである。
【
図9】本発明の一実施形態に係るエレベーターの保守システムの表示装置で表示される画像解析結果の一例を示す図である。
【
図10】本発明の一実施形態に係るエレベーターの保守システムの表示装置において表示される異物検知の画像解析結果(実施例)を示す図である。
【
図11】本発明の一実施形態に係るエレベーターの保守システムの表示装置において表示される異物検知の画像解析結果(比較例)を示す図である。
【
図12】本発明の一実施形態に係るエレベーターの保守システムの表示装置で表示される画像解析結果の別の表示態様(変形例)を示す図である。
【発明を実施するための形態】
【0012】
以下に、本発明の一実施形態に係るエレベーターの保守装置及び保守システムについて、図面を参照しながら具体的に説明する。なお、本発明の保守システムにより得られる保守作業員の負荷軽減の度合いは、建屋の階床数が大きくなるほど大きくなる。それゆえ、以下に説明する実施形態では、6階床以上の建屋にエレベーターが据え付けられている場合を想定している。
【0013】
[エレベーターの保守システムの全体構成]
図1は、本発明の一実施形態に係るエレベーターの保守システムのブロック構成図である。なお、ここでは、説明を簡略化するため、エレベーターの昇降路内の保守点検において行われる、画像撮影、画像解析、解析結果の表示等の制御に関わる構成部のみを示す。また、
図1に示す例では、昇降路20内を昇降可能なエレベーターの乗りかご21が、1階の乗場ドア22の高さで停止している状態を示す。
【0014】
保守システム10は、
図1に示すように、保守点検時に、乗りかご21の昇降路20内様子を撮影する撮影装置1と、撮影装置1で撮影された画像を解析して状況変化を検出する演算装置2と、演算装置2での解析結果を表示する表示装置3とを備える。本実施形態では、撮影装置1は、エレベーターの例えば乗りかご21の下面に設置されるが、昇降路20内全体を撮影可能位置であれば、任意の位置に配置される。例えば、撮影装置1は、乗りかご21の上面や側面に設置されていてもよい。
【0015】
また、演算装置2及び表示装置3は、エレベーターが設置されている建屋の外部に設けられる。演算装置2(保守装置、画像解析装置)は、例えば、保守作業員等のオペレーターが管理する演算機能及び通信機能を備えたパーソナルコンピューター等の演算処理装置であってもよいし、例えば、外部の物理的サーバーやクラウドなどに演算装置2が設けられていてもよい。演算装置2は、無線及び/又は有線の通信回線(通信経路に広域通信網も含み得る)を介して撮影装置1に接続される。また、演算装置2は、無線又は有線の通信回線を介して表示装置3に接続される。
図1に示す例では、演算装置2と表示装置3とを別体として設ける例を説明するが、本発明はこれに限定されず、両者が一体的に構成されていてもよく、この場合には、演算装置2及び表示装置3で保守装置が構成される。
【0016】
[撮影装置の構成]
図2は、撮影装置1の機能ブロック図である。撮影装置1は、
図2に示すように、カメラ31と、ライト32と、撮影処理部33と、入力部34とを有する。撮影装置1内では、撮影処理部33は、カメラ31及び入力部34に接続される。また、撮影処理部33(後述の報知部33b)は、無線及び/又は有線の通信回線(通信経路に広域通信網も含み得る)を介して、演算装置2(後述の受信部41)に接続される。
【0017】
なお、保守点検時には、演算装置2から撮影装置1に撮影開始及び撮影終了の指示信号が送信され、この信号に基づいて、カメラ31の撮影動作及びライト32の点灯動作が制御される。
図2では、説明を簡略化するため、この処理に関する機能ブロック間の接続態様(矢印)の記載を省略する。
【0018】
カメラ31は、エレベーターの昇降路20の画像を撮影する。カメラ31で撮影する画像は、動画であってもよいし、連続撮影された静止画であってもよい。後者の撮影動作としては、例えば、乗りかご21の走行中に所定間隔のタイミングで静止画像を連続撮影する構成にしてもよい。具体的には、保守点検対象が昇降路20内の異物・落下物等の検知である場合、乗りかご21の走行位置が1階、1.5階、2階、2.5階…となる度に、すなわち、半階床毎に1回、静止画を撮影するようにしてもよい。この場合、撮影タイミングは、エレベーターの各階床間の距離と、乗りかご21の走行速度の関係によって決定できる。例えば、各階床間が5m離れており、エレベーター(乗りかご21)の移動速度が分速60mであるとすると、半階床毎に1回の撮影を行う場合には、2.5秒毎に1回撮影すればよい。この場合、動画撮影より画像データの容量を減らすことができる。
【0019】
本実施形態では、カメラ31は、魚眼レンズを備えたカメラとするが、本発明はこれに限定されない。例えば、昇降路20内全体の様子を撮影可能な画角のレンズ(広角レンズ)であれば任意の画角のレンズを使用することができる。
【0020】
また、カメラ31としては、例えば、可視光カメラ、赤外線カメラ等を用いることができる。なお、カメラ31として可視光カメラを用いた場合には、赤色(R),緑色(G),青色(B)の多次元の情報を含む画像データが得られるため、保守点検において、より高精度な判定が可能になる。
【0021】
ライト32は、非常に暗い環境である昇降路20内を照らすために設けられる。ライト32は、カメラ31の近傍に設置される。ライト32としては、使用するカメラ31の波長帯域に適した光を照射するライトを用いる。カメラ31が可視光カメラである場合には、可視光を照射できる可視光ライトを使用し、カメラ31が赤外線カメラである場合には、赤外光を照射できる赤外光ライトを使用する。
【0022】
なお、カメラ31として可視光カメラを用いた場合にはライト32として可視光ライトを使用するので、乗場ドア22にビジョンガラスが設けられていると、エレベーターの保守点検作業中に昇降路20内を照らしているライト32の光が建屋側にも届くことになる。この場合、乗りかご21がライト32を照らして走行している様子が、乗客にも観測されてしまう可能性があり、乗客視点では、乗りかご21がライト32を照らして走行している様子が不可解に思われる可能性がある。一方、カメラ31として赤外線カメラを用いた場合にはライト32として赤外光ライトを使用するので、エレベーターの保守点検作業中にライト32の光が乗客に観測されず、上述したような事態を避けることができる。
【0023】
撮影処理部33は、撮影制御に係る各種制御を行う演算機能及び通信機能を備えた演算処理装置で構成される。具体的には、撮影処理部33は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ネットワークインテ―フェースを内蔵するコンピューター装置で構成される。そして、撮影処理部33による撮影処理、画像データの送信処理等の制御は、演算処理装置に含まれるCPUにより実行される。
【0024】
撮影処理部33は、
図2に示すように、機能上、撮影条件設定部33aと、報知部33bとを有する。撮影条件設定部33aは、カメラ31の例えば、シャッタースピード、絞り値、ISO感度、フレームレート等の撮影条件を設定する。また、報知部33bは、カメラ31で撮影された画像(動画/連続撮影された静止画)を演算装置2内の後述の受信部41に送信する。
【0025】
入力部34は、オペレーターの操作や入力を受け付けるユーザーインターフェース(UI)である。この入力部34へのオペレーターの入力操作により、撮影条件設定部33aへの撮影条件が設定される。
【0026】
[演算装置の構成]
図3は、演算装置2の機能ブロック図である。演算装置2は、
図3に示すように、受信部41と、画像解析部42と、入力部43とを有する。画像解析部42は、表示装置3、受信部41及び入力部43に接続される。また、画像解析部42は、無線及び/又は有線の通信回線(通信経路に広域通信網も含み得る)を介して参照画像データベース40に接続される。なお、
図3では、図示を省略するが、演算装置2は、参照画像データベース40から送信される後述の参照画像データを受信するための参照画像受信部を有する。
【0027】
参照画像データベース40には、過去に撮影された正常時の昇降路20の画像データ(以下、「参照画像データ」と称する)が複数保存されている。なお、参照画像データベース40には、例えば、保守点検時に想定されるあらゆる駆動パターンで乗りかご21を駆動して取得された参照画像データが、駆動パターン毎に記憶される。また、参照画像データベース40内での参照画像データのグループ分けでは、駆動パターン毎のデータグループを、さらに撮影条件(露光条件)で細分化してもよい。
【0028】
参照画像データベース40は、演算装置2の内部に設けられていてもよいし、演算装置2の外部に設けられていてもよい。後者の場合には、参照画像データベース40は、例えば、昇降機メーカーのサーバー、クラウド等に設けてもよい。そして、参照画像データベース40に保存された参照画像データは、画像解析部42の後述の差分面積計算部42aに入力される。
【0029】
受信部41は、撮影装置1内の報知部33bから送信された、保守点検時の昇降路20の画像データ(以下、「現在画像データ」と称する)を受信するインターフェースである。そして、受信部41は、受信した現在画像データを画像解析部42の後述の差分面積計算部42aに出力する。
【0030】
画像解析部42は、
図3に示すように、機能ブロックとして、差分面積計算部42a(差分面積算出部)、撮影点調整量計算部42b(ずれ量算出部)、差分処理部42c、ノイズ除去部42d及び輪郭抽出部42eを有する。
【0031】
差分面積計算部42aは、入力された参照画像データ及び現在画像データに基づいて、参照画像データに含まれる画像(以下、「参照画像」と称する)と、現在画像データに含まれる画像(以下、「現在画像」と称する)との差分領域の面積に関する情報を算出する。そして、差分面積計算部42aは、算出した差分領域の面積に関する情報を撮影点調整量計算部42bに出力する。
【0032】
ここで、差分面積計算部42aで行われる差分面積に関する情報の算出処理の概要を説明する。まず、差分面積計算部42aは、参照画像データから、時間的に連続する所定フレーム数(後述の「F」)の参照画像を参照画像群として抽出する。次いで、差分面積計算部42aは、現在画像データから、時間的に連続し且つ参照画像群に含まれる参照画像の所定フレーム数と同じフレーム数の現在画像を現在画像群として抽出する。
【0033】
次いで、差分面積計算部42aは、参照画像群に含まれる参照画像毎に、参照画像と、それと差分処理対象になる現在画像群内の現在画像との差分領域の面積(以下、「差分面積」と称する)を算出する。次いで、差分面積計算部42a参照画像毎に算出された差分面積の総和(以下、「総和差分面積」と称する)を算出する。
【0034】
その後、差分面積計算部42aは、現在画像データ内における現在画像群の抽出位置(フレーム位置)を1フレームずらして再度、所定フレーム数の現在画像群を現在画像データから抽出する。そして、差分面積計算部42aは、参照画像群と新たに抽出された現在画像群との間において上述した一連の演算処理を行い、総和差分面積を算出する。
【0035】
本実施形態では、差分面積計算部42aは、上述した一連の総和差分面積の算出処理を、現在画像データ内における現在画像群の抽出位置を変えながら所定回数、繰り返す。そして、差分面積計算部42aは、算出された所定回数分の総和差分面積を、差分領域の面積に関する情報として撮影点調整量計算部42bに出力する。なお、差分面積計算部42aで行われる上述した一連の総和差分面積の算出処理の詳細については、後で図面を参照しながら詳述する。
【0036】
撮影点調整量計算部42bは、差分面積計算部42aから入力された差分領域の面積に関する情報(所定回数分の総和差分面積)から、参照画像データと現在画像データとの間におけるフレーム数単位での撮影点のずれ量を算出する。なお、このずれ量の正/負は、例えば、ずれ量の基準とする画像データの種別(参照画像データ又は現在画像データ)、総和差分面積の算出処理の計算条件(後述の基準現在画像番号c、基準参照画像番号r)等に応じて変わる。そして、撮影点調整量計算部42bは、算出した参照画像データと現在画像データとの撮影点のずれ量を撮影点調整量(最適調整量)として、差分処理部42cに出力する。なお、撮影点調整量計算部42bで行われる撮影点調整量の算出処理の詳細については、後で図面を参照しながら詳述する。
【0037】
差分処理部42cは、撮影点調整量計算部42bから入力された撮影点調整量に基づき、現在画像及び参照画像の一方の撮影点(フレーム番号)を調整して両者の差分画像(第2の差分画像)を作成する。具体的には、差分処理部42cは、例えば、所定フレーム番号の参照画像と、所定フレーム番号から撮影点調整量ずらしたフレーム番号の現在画像との差分画像を生成する。すなわち、差分処理部42cは、所定フレーム番号の参照画像の撮影点と同じ又は最も近い撮影点となる現在画像を、撮影点調整量に基づいて現在画像データから抽出し、両者の差分画像を生成する。そして、差分処理部42cは、算出された差分画像の群(以下、「差分画像データ」と称する)を、ノイズ除去部42dに出力する。
【0038】
ノイズ除去部42dは、差分処理部42cから入力された差分画像データに含まれる各差分画像に対して、ノイズ除去処理を行う。このノイズ除去処理では、差分画像に含まれる、細かく、不連続な点として現れるノイズ成分を除去する。なお、ノイズ除去の手法としては、例えば、平均化フィルタ処理やモルフォロジー処理などを用いることができる。そして、ノイズ除去部42dは、ノイズ除去処理が施された差分画像データを輪郭抽出部42eに出力する。
【0039】
輪郭抽出部42eは、ノイズ除去部42dから入力された差分画像データに含まれる各差分画像において、連続する差分領域の輪郭を抽出し、差分画像に重ね合わせる輪郭線の画像(以下、「輪郭画像」と称する)を生成する。そして、輪郭抽出部42eは、生成された輪郭画像の群(以下、「輪郭画像データ」と称する)を、表示装置3に出力する。また、この際、輪郭抽出部42eは、ノイズ除去部42dから入力された差分画像データも表示装置3に出力する。なお、本実施形態では、差分領域を強調して表示するために輪郭抽出部42eを設けるが、本発明はこれに限定されず、輪郭抽出部42eを設けなくてもよい。
【0040】
また、本実施形態では、画像解析部42から表示装置3には、差分画像データ及び輪郭画像データだけでなく、撮影装置1から受信した現在画像データ、及び、参照画像データベース40から取得した参照画像データも出力される。さらに、画像解析部42から表示装置3には、差分面積計算部42aで行われた総和差分面積の算出処理の計算条件、算出された総和差分面積に関する情報も出力される。
【0041】
入力部43は、オペレーターの操作や入力を受け付けるユーザーインターフェース(UI)である。この入力部43へのオペレーターの入力操作により、差分面積計算部42aで行われる総和差分面積の算出処理に必要な各種計算条件が設定される。それゆえ、オペレーターの入力部43への操作により、総和差分面積の算出処理に必要な各種計算条件を、例えば解析対象となる昇降路20内の装置・部品の種別、演算装置2の処理能力等に応じて、適切な条件に設定することができる。
【0042】
[表示装置の構成]
表示装置3は、例えば、液晶パネルなどで構成される。表示装置3は、演算装置2(画像解析部42)から入力された参照画像データ、現在画像データ、差分画像データ、輪郭画像データに基づき、参照画像、現在画像及び差分画像を表示する(後述の
図9参照)。この際、表示装置3では、差分画像に、対応する輪郭画像が重ね合わせて表示される。この場合、表示装置3の表示画面において、差分領域が輪郭画像で強調され、オペレーターが差分領域を見つけ易くなる。また、表示装置3は、演算装置2(画像解析部42)から入力された、総和差分面積の算出処理の計算条件、算出された総和差分面積に関する各種情報も表示する(後述の
図9参照)。
【0043】
また、本実施形態では、表示装置3をタッチパネルで構成してもよく、この場合には、演算装置2内の入力部43は、表示装置3と一体的に構成される。なお、この場合、
図1に示すように、演算装置2と表示装置3とを別体で構成したときには、入力部43は演算装置2(保守装置)には含まれないことになる。一方、入力部43と表示装置3と一体的に構成し、且つ、演算装置2と表示装置3とを一体的に構成した場合には、入力部43及び表示装置3はともに、演算装置2(保守装置)の構成部となる。
【0044】
[演算装置のハードウェアの構成]
ここで、
図4を参照して、演算装置2として適用可能なコンピューター装置のハードウェア構成について説明する。
図4は、演算装置2として適用可能なコンピューター装置100のハードウェア構成の例を示すブロック図である。
【0045】
コンピューター装置100は、バスライン108に接続されたCPU101、ROM102、RAM103、不揮発性ストレージ104、ネットワークI/F(インターフェース)105及び入力部106を備える。また、図示しないが、コンピューター装置100は、外部機器との間で各種データ(各種情報)の入出力処理を実行する際に使用される各種インターフェースも備える。
【0046】
CPU101は、演算装置2が備える各種処理機能を実現するためのソフトウェアのプログラムコードをROM102からRAM103に読み出して実行する。この際、RAM103には、演算処理の途中に発生した変数やパラメータなども一時的に書き込まれる。上述した画像解析部42に含まれる、差分面積計算部42a、撮影点調整量計算部42b、差分処理部42c、ノイズ除去部42d及び輪郭抽出部42eの各種処理も、CPU101が対応するプログラムコードを読み出して実行する。すなわち、画像解析部42(差分面積計算部42a、撮影点調整量計算部42b、差分処理部42c、ノイズ除去部42d及び輪郭抽出部42e)は、機能上、CPU101に含まれる。
【0047】
なお、画像解析部42に含まれる各種構成部の一部または全部をハードウェアによって実現することも可能である。例えば、ASIC(Application Specific Integrated Circuit)のようなカスタムICや、FPGA(Field-Programmable Gate Array)のようなプログラマブルICを用いて演算装置2を構成し、画像解析部42に含まれる各種構成部の機能を実現するように回路設計を行ってもよい。
【0048】
不揮発性ストレージ104は、例えば、HDD(Hard disk drive)、SSD(Solid State Drive)、フレキシブルディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリなどで構成することができる。不揮発性ストレージ104には、OS(Operating System)、各種のパラメータの他に、コンピューター装置100を演算装置2として機能させるためのプログラムが記憶される。それゆえ、参照画像データベース40は、不揮発性ストレージ104に設けられていてもよい。なお、演算装置2が備える各機能を実現するプログラム、テーブル、ファイル等の情報(データ)は、ROM102や不揮発性ストレージ104以外に、例えば、ICカード、SDカード、DVD等の記録媒体に格納されていてもよい。
【0049】
ネットワークI/F105は、例えば、NIC(Network Interface Card)等で構成され、無線通信を介して接続される各装置との間で、各種データを送受信する。なお、演算装置2の受信部41は、ネットワークI/F105に含まれる。
【0050】
入力部106は、例えば、キーやボタンなどで構成され、オペレーターによって入力された操作内容に応じた操作信号を生成して該操作信号をCPU101に供給する。なお、演算装置2の入力部43は、入力部106に含まれる。
【0051】
なお、演算装置2では、例えば、表示装置3の構成に応じて、入力部106を備えない場合もある。さらに、演算装置2は、
図4に示す構成部以外では、GPU(Graphics Processing Unit)を備えていてもよい。
【0052】
[撮影点調整量の算出手法の概要]
次に、差分面積計算部42a及び撮影点調整量計算部42bにより算出される参照画像データと現在画像データとのフレーム数単位でのずれ量、すなわち、撮影点調整量の算出手法の内容を、図面を参照しながら詳細に説明する。なお、以下では、撮影点調整量の基準とする画像データ(ずれ無しとする画像データ)を、参照画像データとする例を説明する。撮影点調整量の基準とする画像データを現在画像データとした場合における撮影点調整量の算出手法は、以下に説明する算出手法において、参照画像データと現在画像データとを入れ替えるだけ済むので、ここでは、その説明を省略する。
【0053】
図5は、差分面積計算部42aが参照画像データベース40から取得した参照画像データの構成、及び、差分面積計算部42aが撮影装置1から受信した現在画像データの構成を示す図である。また、
図6は、差分演算対象となる所定フレーム数の参照画像群と現在画像群との関係性、及び、両画像群の間で算出された差分画像と各差分画像の総和差分面積との関係性を示す図である。
【0054】
以下に説明する撮影点調整量の算出手法では、
図5に示すように、参照画像データ(第2の画像データ)のフレーム数(画像数)がMであり、参照画像データが参照画像P
1~P
Mで構成される例を説明する。また、現在画像データ(第1の画像データ)のフレーム数がNであり、現在画像データが現在画像R
1~R
Nで構成される例を説明する。なお、参照画像P及び現在画像Rに付記されているインデックスは、各画像データ内におけるフレーム番号であり、以下では、このインデックスを「画像番号」と称する。
【0055】
また、以下に説明する撮影点調整量の算出手法では、差分演算対象となる参照画像群及び現在画像群のそれぞれに含まれる画像のフレーム数(以下、「所定フレーム数」と称する)を「F」とする。
【0056】
さらに、以下に説明する撮影点調整量の算出手法では、参照画像群と現在画像群との差分画像及び総和差分面積の算出処理を、現在画像群(後述の基準現在画像番号「c」)を参照画像群に対して1フレーム(所定間隔)、スライドさせながら繰り返し実行する。この際、参照画像群に対する現在画像群(後述の基準現在画像番号「c」)の最大スライド量(以下、「フレーム調整量」とも称する)を「±A」フレームとする。この場合、参照画像群と現在画像群との差分演算は2A+1回(所定回数)繰り返し実行され、2A+1個の総和差分面積が算出される。
【0057】
まず、差分面積計算部42aは、参照画像データ(参照画像P1~PM)から所定フレーム数Fの参照画像群を抽出する際に基準とする参照画像(以下、「基準参照画像Pr」と称する)の画像番号「r」(以下、基準参照画像番号「r」と称する)を決定する。
【0058】
基準参照画像Prは、昇降路20の保守点検において画像解析で必要となる箇所(保守点検対象)が写り込んでいると考えられる参照画像が参照画像群に含まれるように選択される。それゆえ、基準参照画像Prは、画像解析の対象となる昇降路20内の装置や部品に応じて適宜選択される。例えば、エレベーターが停止している状態から動き始めたタイミングの参照画像やエレベーターが所定の階を通過したタイミングの参照画像などが基準参照画像として採用される。なお、基準参照画像Prは、参照画像データに基づいて、自動設定されてもよいし、オペレーターの入力部43に対する操作により設定されてもよい。
【0059】
基準参照画像P
rが決定された後、差分面積計算部42aは、参照画像データ(参照画像P
1~P
M)から基準参照画像番号「r」の参照画像P
rから時間的に連続したF個(所定数)の参照画像Pを差分演算対象となる参照画像群(第2の画像群)として抽出する。すなわち、差分面積計算部42aは、基準参照画像番号「r」の参照画像P
r~画像番号「r+F-1」の参照画像P
r+F-1までの参照画像群(
図5参照)を抽出する。
【0060】
また、差分面積計算部42aは、現在画像データ(現在画像R1~RN)から所定フレーム数Fの現在画像群を抽出する際に基準とする現在画像(以下、「基準現在画像Rc」と称する)の画像番号「c」(以下、基準現在画像番号「c」と称する)を決定する。基準現在画像Rcは、基準参照画像Prと同様の選定基準により選択される。ただし、基準現在画像番号「c」は、参照画像群に対する現在画像群のフレーム調整量「±A」の絶対値「A」より小さい値に設定される。また、基準現在画像Rcは、現在画像データに基づいて、自動設定されてもよいし、オペレーターの入力部43に対する操作により設定されてもよい。
【0061】
基準現在画像R
cが決定された後、差分面積計算部42aは、現在画像データ(現在画像R
1~R
N)から、基準現在画像番号「c」をマイナス側に「A」のスライドさせた現在画像Rから時間的に連続するF個の現在画像Rを現在画像群(第1の画像群)として抽出する。すなわち、差分面積計算部42aは、画像番号「c-A」の現在画像R
c-A~画像番号「c-A+F-1」の現在画像R
c-A+F-1までの現在画像群を、差分演算対象となる現在画像群(
図6中の左図参照)として抽出する。
【0062】
次いで、差分面積計算部42aは、参照画像P
r~参照画像P
r+F-1からなる参照画像群と、現在画像R
c-A~現在画像R
c-A+F-1からなる現在画像群との差分画像群を生成する(
図6中の左図参照)。
【0063】
具体的には、差分面積計算部42aは、
図6に示すように、参照画像群の先頭の参照画像P
r~F番目(最後)の参照画像P
r+F-1のそれぞれと、現在画像群の先頭の現在画像R
c-A~F番目(最後)の現在画像R
c-A+F-1のそれぞれとの差分画像Dを生成する。すなわち、この差分画像D(第1の差分画像)の生成処理では、参照画像群の先頭からk番目(k=1,2,…,F)の参照画像P
r+k-1と、現在画像群の先頭からk番目の現在画像R
c-A+k-1との差分画像D
-A,kを生成する。
【0064】
なお、差分画像Ds,tのインデックス「s」は、基準現在画像Rc(基準現在画像番号「c」)のスライド量(s=-A,-A+1,…,+A)、すなわち、参照画像群に対する現在画像群のスライド量である。また、差分画像Ds,tのインデックス「t」は、差分画像のフレーム番号(t=1,2,…,F)である。それゆえ、参照画像Pr~参照画像Pr+F-1からなる参照画像群と、現在画像Rc-A~現在画像Rc-A+F-1からなる現在画像群との差分処理により、差分画像D-A,1~差分画像D-A,F(F個の差分画像D)からなる差分画像群が生成される。
【0065】
そして、差分画像D-A,1~差分画像D-A,Fからなる差分画像群が生成された後、差分面積計算部42aは、各差分画像Dの差分領域の面積を算出し、差分画像群において、各差分画像の差分領域の面積の総和である総和差分面積DA-Aを算出する。なお、総和差分面積DAsのインデックス「s」は、差分画像Ds,tのインデックス「s」と同様に、基準現在画像Rc(基準現在画像番号「c」)のスライド量(s=-A,-A+1,…,+A)である。
【0066】
上述のようにして総和差分面積DA
-Aを算出した後、基準現在画像R
cのスライド量(参照画像群に対する現在画像群のスライド量)を「-A」からプラス側に「1」加算しながら、上述した差分画像D
s,tの生成処理及び総和差分面積DA
sの算出処理を繰り返す。そして、上述した差分画像D
s,tの生成処理及び総和差分面積DA
sの算出処理は、基準現在画像R
cのスライド量が「+A」(
図6の右図参照)となるまで繰り返される。それゆえ、上述した差分画像D
s,tの生成処理及び総和差分面積DA
sの算出処理は、2A+1回繰り返し行われる。
【0067】
それゆえ、基準現在画像R
cのスライド量が「+A」であるときには、
図6に示すように、差分面積計算部42aは、参照画像P
r~参照画像P
r+F-1からなる参照画像群と、現在画像R
c+A~現在画像R
c+A+F-1からなる現在画像群との差分処理を行う。この処理により、差分画像D
+A,1~差分画像D
+A,Fからなる差分画像群が生成される。そして、差分面積計算部42aは、生成された差分画像群に基づいて、総和差分面積DA
+Aを算出する。
【0068】
上述した総和差分面積DAの算出処理を、基準現在画像R
cのスライド量を「-A」からプラス側に「1」加算しながら「+A」まで繰り返すと、
図6に示すように、2A+1個の総和差分面積DA(総和差分面積DA
-A~DA
+A)が算出される。そして、差分面積計算部42aは、算出した2A+1個の総和差分面積DA(総和差分面積DA
-A~DA
+A)を、撮影点調整量計算部42bに出力する。
【0069】
2A+1個の総和差分面積DA-A~DA+Aが入力された撮影点調整量計算部42bは、2A+1個の総和差分面積DA-A~DA+Aの中から、最小となる総和差分面積DAを特定する。そして、最小となる総和差分面積DAの算出で用いられた現在画像群内の先頭の現在画像Rの画像番号を「imin」として算出する。なお、画像番号「imin」は、基準現在画像番号「c」に、最小となる総和差分面積DAの算出時における基準現在画像Rcのスライド量を加算した値である。
【0070】
総和差分面積DAが最小となる場合は、差分画像D中での差分領域が最小になる場合、すなわち、参照画像Pと現在画像Rとの差が最も少なくなる場合に相当するので、両画像の撮影点が揃っている又は略揃っていることを意味する。言い換えると、画像番号「imin」の現在画像Riminの撮影点が、基準参照画像番号「r」の参照画像Prの撮影点と同じ又は最も近くなる。
【0071】
そして、撮影点調整量計算部42bは、総和差分面積DAが最小となる現在画像Rの画像番号「imin」に基づいて、参照画像データと現在画像データとの間におけるフレームずれ量である撮影点調整量Xopt(=imin-r)を算出する。また、撮影点調整量計算部42bは、算出した撮影点調整量Xoptを差分処理部42cに出力する。
【0072】
上述のようにして撮影点調整量Xoptが算出されると、例えば、画像番号「q」の参照画像Pの撮影点と同じ又は最も近い撮影点となる現在画像Rの画像番号は「q+Xopt」となる。この場合、画像番号「q」の参照画像Pと、画像番号「q+Xopt」の現在画像Rとの差分画像を差分処理部42cで生成することにより、昇降路20内の小さな異物、機器の微細の位置変化等の事象発生を高精度に検出することができる。
【0073】
なお、上述した差分面積計算部42aでの差分面積の計算に使用される参照画像Pの撮影条件(シャッタースピード、絞り値、ISO感度、フレームレート等)は、現在画像Rのそれとは同じであることが好ましい。そこで、本実施形態では、差分面積計算部42aにおいて、参照画像Pの撮影条件と現在画像Rのそれとを比較し、撮影条件が異なる場合には表示装置3に撮影条件が異なる旨の情報を表示する。この際、上述した差分面積計算部42a及び撮影点調整量計算部42bによる各種計算は実施してもよいし、実施しなくてもよい。
【0074】
[総和差分面積DA及び撮影点調整量X
optの算出処理]
次に、本実施形態の保守システム10で行われる上述した差分面積計算部42aによる総和差分面積DAの算出処理及び撮影点調整量計算部42bによる撮影点調整量X
optの算出処理の処理フローを説明する。
図7は、総和差分面積DA及び撮影点調整量X
optの算出処理の手順を示すフローチャートである。なお、以下に説明する差分面積計算部42a及び撮影点調整量計算部42bでの処理は、ソフトウェア上で、CPU101(
図4参照)により行われる。
【0075】
まず、画像解析部42の差分面積計算部42aは、参照画像データベース40から参照画像データを取得する(S1)。この処理では、差分面積計算部42aは、保守点検時における現在画像データの撮影条件及び乗りかご21の駆動パターンと同じ又は最も近い態様で過去に撮影された参照画像データを取得する。また、この処理では、差分面積計算部42aは、取得した参照画像データを演算装置2内のメモリに格納する。さらに、この処理では、差分面積計算部42aは、参照画像データの中から所定の参照画像Pを表示装置3に出力する。これにより、所定の参照画像Pが表示装置3に表示される(後述の
図9参照)。
【0076】
なお、表示装置3に表示される所定の参照画像Pは、オペレーターによる演算装置2の入力部43への選択操作により選択される。また、参照画像データの差分面積計算部42aへの入力態様としては、オペレーターが入力部43を操作して参照画像データを選択する態様を採用してもよい。この場合には、オペレーターが所望する参照画像データを差分面積計算部42aに入力することができる。
【0077】
次いで、差分面積計算部42aは、保守点検で撮影された現在画像データを、撮影装置1から受信部41を介して取得する(S2)。また、この処理では、差分面積計算部42aは、取得した現在画像データを演算装置2内のメモリに格納する。さらに、この処理では、差分面積計算部42aは、現在画像データの中から特定の現在画像Rを表示装置3に出力する。これにより、特定の現在画像Rが表示装置3に表示される(後述の
図9参照)。
【0078】
なお、この時点で表示装置3に表示される特定の現在画像Rは、表示装置3に表示される所定の参照画像Pのフレーム番号と同じフレーム番号の現在画像Rである。なお、本発明はこれに限定されず、表示装置3に表示される特定の現在画像Rが、オペラレーターによる演算装置2の入力部43への選択操作により選択されてもよい。また、演算装置2内のメモリには解析対象とする現在画像データが複数保存されるが、その中から最新の現在画像データが、差分面積計算部42aでの解析対象となる。
【0079】
次いで、差分面積計算部42aは、参照画像データから差分処理対象となる参照画像群の基準参照画像番号「r」を設定する(S3)。次いで、差分面積計算部42aは、現在画像データから差分処理対象となる現在画像群の基準現在画像番号「c」を設定する(S4)。
【0080】
次いで、差分面積計算部42aは、参照画像データから差分処理対象となる参照画像群を取得する(S5)。具体的には、差分面積計算部42aは、参照画像群の基準参照画像番号「r」及び所定フレーム数「F」(抽出フレーム範囲)に基づいて、基準参照画像番号「r」の参照画像Pr~画像番号「r+F-1」の参照画像Pr+F-1からなる参照画像群を取得する。なお、参照画像群の所定フレーム数「F」は、予めオペレーターの入力部43への入力操作により設定されている。
【0081】
次いで、差分面積計算部42aは、現在画像群の基準現在画像番号「c」をスライド量「-A」だけスライドさせた現在画像Rの画像番号(フレーム番号)「i」(=c-A:以下、「スライド後基準現在画像番号」と称する)をセットする(S6)。フレーム調整量「±A」(参照画像群に対する現在画像群のフレーム調整量)の絶対値「A」は、予めオペレーターの入力部43への入力操作により設定されている。ただし、スライド後基準現在画像番号「i」(現在画像群の抽出位置に関する情報)は0より大きい番号(1以上)である必要があるので、この条件(c>A)を必ず満たすように、フレーム調整量の絶対値「A」が設定される。
【0082】
次いで、差分面積計算部42aは、スライド後基準現在画像番号「i」がその上限である「c+A」以下であるか否かを判定する(S7)。すなわち、この処理では、差分面積計算部42aは、スライド後基準現在画像番号「i」が、基準現在画像番号「c」をスライド量「+A」だけスライドさせた現在画像Rの画像番号「c+A」以下であるか否かを判定する。
【0083】
S7において、差分面積計算部42aがスライド後基準現在画像番号「i」が「c+A」以下であると判定した場合(S7がYES判定である場合)、差分面積計算部42aは、現在画像データから差分処理対象となる現在画像群を取得する(S8)。具体的には、差分面積計算部42aはスライド後基準現在画像番号「i」及び所定フレーム数「F」(抽出フレーム範囲)に基づいて、スライド後基準現在画像番号「i」の現在画像Ri~画像番号「i+F-1」の現在画像Ri+F-1からなる現在画像群を取得する。
【0084】
次いで、差分面積計算部42aは、参照画像Pr~参照画像Pr+F-1からなる参照画像群と、現在画像Ri~現在画像Ri+F-1からなる現在画像群との差分画像群を生成する(S9)。具体的には、差分面積計算部42aは、参照画像群の先頭の参照画像Pr~F番目(最後)の参照画像Pr+F-1のそれぞれと、現在画像群の先頭の現在画像Ri~F番目(最後)の現在画像Ri+F-1のそれぞれとの差分画像Dを生成する。それゆえ、この処理では、差分画像Di-c,1~差分画像Di-c,F(F個の差分画像)からなる差分画像群が生成される。
【0085】
なお、参照画像P及び現在画像Rがともにカラー画像である場合には、差分面積計算部42aによる差分画像Dの生成処理において、参照画像P及び現在画像Rをグレースケール化し、その後、両者の差分画像Dを作成する。また、差分面積計算部42aによる差分画像Dの生成処理では、差分画像の絶対値を求め、予め定めた閾値を用いて二値化した差分画像Dを生成してもよい。
【0086】
次いで、差分面積計算部42aは、生成されたF個の差分画像Dのそれぞれにおいて、残存する差分領域の面積を計算する(S10)。差分領域の面積は、例えば、差分画像において残存する差分領域の画像数(ピクセル数)を総和することにより計算される。
【0087】
次いで、差分面積計算部42aは、F個の差分画像Dのそれぞれにおいて算出された差分領域の面積を総和して総和差分面積DA
i-cを算出する(S11)。また、この処理では、差分面積計算部42aは、算出した総和差分面積DA
i-cを撮影点調整量計算部42bに出力する。さらに、この処理では、差分面積計算部42aは、スライド後基準現在画像番号「i」及び算出した総和差分面積DA
i-cを表示装置3に出力する。これにより、スライド後基準現在画像番号「i」と総和差分面積DA
i-cとの関係性を示すグラフが表示装置3に表示される。なお、スライド後基準現在画像番号「i」と総和差分面積DA
i-cとの関係性を示すグラフでは、後述するように、横軸をスライド後基準現在画像番号「i」とし、縦軸を総和差分面積DA
i-cとする(後述の
図9参照)。
【0088】
次いで、差分面積計算部42aは、スライド後基準現在画像番号「i」に1を加算し(S12)、処理を、S7の処理に戻す。
【0089】
ここで、再度、S7の判定処理の説明に戻る。S7において、差分面積計算部42aが、スライド後基準現在画像番号「i」が「c+A」以下でないと判定した場合(S7がNO判定である場合)、画像解析部42の撮影点調整量計算部42bは、総和差分面積DAが最小となるスライド後基準現在画像番号「imin」を抽出する(S13)。具体的には、撮影点調整量計算部42bは、まず、差分面積計算部42aから入力された2A+1個の総和差分面積DA-A~DA+Aの中から、最小となる総和差分面積DAを特定する。そして、撮影点調整量計算部42bは、最小となる総和差分面積DAが算出されたときのスライド後基準現在画像番号「i」を「imin」とする。
【0090】
次いで、撮影点調整量計算部42bは、S13の処理で算出されたスライド後基準現在画像番号「imin」及び基準参照画像番号「r」に基づいて、撮影点調整量Xopt(=imin-r)を算出する(S14)。なお、この段階で算出された撮影点調整量Xoptの単位はフレーム数で表されるが、S14の処理において、フレーム数で表された撮影点調整量Xoptを、カメラ31のフレームレートに基づいて時間に変換してもよい。
【0091】
また、S14の処理では、撮影点調整量計算部42bは、算出した撮影点調整量X
optを表示装置3に出力する。これにより、撮影点調整量X
optが表示装置3に表示される(後述の
図9参照)。さらに、この処理では、撮影点調整量計算部42bは、参照画像データ、現在画像データ及び撮影点調整量X
optを差分処理部42cに出力する。そして、S14の処理後、撮影点調整量計算部42bは、上述した総和差分面積DA及び撮影点調整量X
optの算出処理を終了する。
【0092】
なお、本実施形態では、差分面積計算部42aで総和差分面積DAを算出する際に、現在画像データ内における現在画像群の抽出位置を1フレームずらしながら、現在画像群と参照画像群との差分処理を繰り返す例を説明した。しかしながら、本発明はこれに限定されない。例えば、画像解析部42での処理負荷を軽減するために、現在画像データ内における現在画像群の抽出位置を例えば1以外のフレーム数(例えば2フレーム)でずらしながら、現在画像群と参照画像群との差分処理を繰り返してもよい。また、現在画像群と参照画像群との差分処理における現在画像群の抽出位置のずらし量(フレーム数)は、例えば、カメラ31のフレームレート等に応じて適宜変更する構成にしてもよい。ただし、カメラ31の性能に関係なく、撮影点の位置合わせ精度の向上という観点では、本実施形態のように現在画像データ内における現在画像群の抽出位置を1フレームずらしながら、現在画像群と参照画像群との差分処理を繰り返す構成が好ましい。
【0093】
[差分処理部、ノイズ除去部及び輪郭抽出部で行われる各種処理]
図8は、画像解析部42の差分処理部42c、ノイズ除去部42d及び輪郭抽出部42eで行われる各種処理の手順を示すフローチャートである。なお、以下に説明する差分処理部42c、ノイズ除去部42d及び輪郭抽出部42eでの処理は、ソフトウェア上で、CPU101(
図4参照)により行われる。また、
図8に示す差分処理部42c、ノイズ除去部42d及び輪郭抽出部42eによる処理は、
図7で説明した差分面積計算部42a及び撮影点調整量計算部42bによる総和差分面積DA及び撮影点調整量X
optの算出処理の後に続けて行われる。
【0094】
まず、差分処理部42cは、撮影点調整量計算部42bから入力された撮影点調整量Xoptに基づき、参照画像Pと、当該参照画像Pの画像番号を撮影点調整量Xoptのフレーム分ずらした画像番号の現在画像Rとの差分画像Doptを生成する(S21)。より具体的には、差分処理部42cは、画像番号「q」の参照画像Pと、画像番号「q+Xopt」の現在画像Rとの差分画像Doptを生成する。なお、S21の処理では、参照画像データに含まれる各参照画像に対して行われる。
【0095】
また、S21の処理では、参照画像P及び現在画像Rがともにカラー画像である場合には、差分処理部42cは、参照画像P及び現在画像Rをグレースケール化し、その後、両者の差分画像Doptを作成する。また、S21の処理において、差分処理部42cは、差分画像の絶対値を求め、予め定めた閾値を用いて二値化した差分画像Doptを生成してもよい。そして、差分処理部42cは、S21の処理で算出された複数の差分画像Doptからなる差分画像データを、ノイズ除去部42dに出力する。
【0096】
次いで、ノイズ除去部42dは、差分処理部42cから入力された差分画像データに含まれる各差分画像Doptに対して、ノイズ除去処理を行う(S22)。この処理では、ノイズ除去部42dは、各差分画像Doptに含まれる、細かく、不連続な点として現れるノイズ成分を除去する。そして、ノイズ除去部42dは、ノイズ除去処理が施された差分画像データを輪郭抽出部42eに出力する。
【0097】
次いで、輪郭抽出部42eは、ノイズ除去処理が施された差分画像データに含まれる各差分画像Dopt上において、連続する差分領域の輪郭を抽出する(S23)。また、この処理では、輪郭抽出部42eは、輪郭抽出結果として輪郭画像を生成し、輪郭画像を表示装置3に出力する。また、この際、輪郭抽出部42eは、ノイズ除去部42dから入力された差分画像データも表示装置3に出力する。この処理により、表示装置3の表示画面上では、差分画像Doptに、対応する輪郭画像が重ね合わせて表示され、差分領域が強調されて表示される。そして、S23の処理後、画像解析部42で行われる上述した各種処理が終了する。
【0098】
[保守点検の解析結果の表示例]
次に、本実施形態の保守システム10の表示装置3で表示される保守点検の解析結果の表示例を説明する。
図9は、エレベーターの昇降路20の参照画像と現在画像との差分画像に基づいて、昇降路20内の異物検知を行った場合に、表示装置3の表示画面3aに表示される画像解析結果の一例を示す図である。なお、この例では、昇降路20の底部に複数の異物50(図中の三角印)が存在する例を説明する。
【0099】
表示装置3の表示画面3a内の上部には、
図9に示すように、参照画像、現在画像及び差分画像が左右横並びに配置して表示される。なお、ここでは、参照画像、現在画像、差分画像及び異物50については、説明を簡略化するため、実際に得られた画像をそのまま示さずに模式図を示す。
【0100】
表示画面3aに表示される参照画像は、演算装置2の画像解析部42で差分処理の対象となる参照画像データ内に含まれる所定の画像番号の参照画像である。表示する参照画像の画像番号(フレーム番号)は、オペレーターの入力部43への入力操作により設定される。
【0101】
表示画面3aに表示される現在画像は、後述の「調整実行」ボタン及び「調整解除」ボタンの押下の有無に応じて変わる。後述の「調整実行」ボタンの押下前、並びに、後述の「調整解除」ボタンの押下時には、参照画像の画像番号(フレーム番号)と同じ画像番号の現在画像が表示画面3aに表示される。すなわち、参照画像の撮影点と異なる撮影点の現在画像が表示画面3aに表示される。一方、後述の「調整実行」ボタンの押下された場合には、参照画像の画像番号を撮影点調整量Xoptのフレーム分ずらした画像番号の現在画像が、表示画面3aに表示される。すなわち、参照画像の撮影点と同じ又は最も近い撮影点の現在画像が表示画面3aに表示される。
【0102】
表示画面3aに表示される差分画像は、画像解析部42の差分処理部42cで生成された差分画像Doptに対してノイズ除去部42dでノイズ除去処理が施された差分画像Doptである。すなわち、参照画像と、当該参照画像の画像番号を撮影点調整量Xoptのフレーム分ずらした画像番号の現在画像との差分画像Doptが表示画面3aに表示される。また、この例では、差分画像Dopt中の異物50(図中の三角印)の有無を明確にするため、差分画像を白黒表示するとともに、輪郭抽出部42eにより生成された、対応する輪郭画像(白色の輪郭線)が差分画像Doptに重ね合わせて表示される。
【0103】
なお、本実施形態では、差分画像Doptは、後述の「調整実行」ボタンの押下された場合にのみ表示画面3aに表示されるものとするが、本発明はこれに限定されない。後述の「調整実行」ボタンの押下前、並びに、後述の「調整解除」ボタンの押下時にも、差分画像を表示画面3aに表示してもよい。この場合には、表示画面3aに表示されている同じ画像番号同士の参照画像と現在画像との差分画像が画像解析部42で別途生成されて表示画面3aに表示される。
【0104】
上述のようにして、参照画像、現在画像及び差分画像(Dopt)を表示した場合、差分画像では、参照画像と現在画像との差分領域がハイライトされるように表示される。それゆえ、オペレーターは、差分画像を見るだけで、過去に撮影した正常状態からの変化を速やかに且つ容易に確認することができる。また、オペレーターは、差分が生じた領域の参照画像及び現在画像を参照することにより、例えば、昇降路20内の異物の種別や構造変化を容易に確認することもできる。
【0105】
また、表示画面3a内において、参照画像の下部には参照画像の再生時刻の表示ブロックが配置され、現在画像の下部には現在画像の再生時刻の表示ブロックが配置される。なお、参照画像の再生時刻の表示ブロックに表示される値(
図9の例では、0.333秒)は、表示されている参照画像の参照画像データ内における再生時刻であり、参照画像データの撮影開始(1フレーム目)からの経過時間に相当する。一方、現在画像の再生時刻の表示ブロックに表示される値(
図9の例では、0.433秒)は、表示されている現在画像の現在画像データ内における再生時刻であり、現在画像データの撮影開始(1フレーム目)からの経過時間に相当する。なお、本実施形態では、後述の「調整実行」ボタンの押下の前後で表示される現在画像が変わるので、後述の「調整実行」ボタンの押下の前後で表示される現在画像の再生時刻も変化する。
【0106】
各再生時刻の表示ブロックは、オペレーターの入力部43への入力操作によりアクセス(数値入力)可能なユーザーインターフェースである。それゆえ、本実施形態では、参照画像及び現在画像の再生時刻の表示ブロックに表示された数値を、オペレーターの入力操作により、表示画面3a上で変更することができる。そして、参照画像及び/又は現在画像の再生時刻の表示ブロックに表示された数値がオペレーターの入力操作により変更された場合には、変更後の再生時刻に対応する参照画像及び/又は現在画像が表示される。なお、オペレーターの入力操作による上述した解析結果の変更表示処理は、オペレーターの入力操作に対応する指示信号に基づき、画像解析部42により制御される。
【0107】
また、表示画面3a内において、参照画像及び現在画像の再生時刻の表示ブロックの下部には、現在画像データ(動画)内における表示中の現在画像の再生位置を示すシークバー(再生バー)が表示される。
【0108】
シークバーは、表示画面3a上において、オペレーターの入力部43への入力操作によりアクセス(変更)可能なユーザーインターフェースである。それゆえ、本実施形態では、オペレーターの入力操作により、シークバー上で現在画像の再生位置を変更することができる。そして、シークバーに対するオペレーターの入力操作により現在画像の再生位置が変更された場合には、変更後の再生位置に対応する現在画像が表示画面3aに表示される。なお、オペレーターの入力操作による上述した解析結果の変更表示処理は、オペレーターの入力操作に対応する指示信号に基づき、画像解析部42により制御される。
【0109】
また、表示画面3a内において、シークバーの下部領域内の左側領域には、差分面積計算部42aで算出された総和差分面積DAと、現在画像のスライド後基準現在画像番号「i」(図中のフレーム番号「i」)との関係性を示すグラフが表示される。また、このグラフの右側には、総和差分面積DAの算出条件となる、基準参照画像番号「r」、基準現在画像番号「c」、所定フレーム数「F」(抽出フレーム範囲)及びフレーム調整量「A」も表示される。
【0110】
図9には、基準参照画像番号「r」及び基準現在画像番号「c」を10とし、所定フレーム数「F」を10とし、フレーム調整量「A」を5とした場合の、総和差分面積DAと、現在画像のスライド後基準現在画像番号「i」との関係性を示すグラフが表示されている。なお、現在画像のスライド後基準現在画像番号「i」は、上述のように、基準現在画像番号「c」と、フレーム調整量の絶対値「A」とから、「c-A」~「c+A」の番号となるので、
図9に示す例では、スライド後基準現在画像番号「i」は5~15の範囲で変化する。そして、
図9に示す例では、総和差分面積DAが最小となる現在画像のスライド後基準現在画像番号「i
min」(フレーム番号)は「12」であるので、撮影点調整量X
optは「+2」(=12-10)となる。このように、総和差分面積DAとスライド後基準現在画像番号「i」との関係性や、総和差分面積DAの算出条件を表示画面3aに表示することにより、参照画像データの撮影点と現在画像データのそれとのずれ量を、オペレーターが容易に把握することができる。
【0111】
また、総和差分面積DAの算出条件の各表示ブロックは、表示画面3a上において、オペレーターの入力部43への入力操作によりアクセス(変更)可能なユーザーインターフェースである。それゆえ、オペレーターの入力操作により、総和差分面積DAの算出条件の数値が変更され、後述の「調整実行」ボタンが押下されると、再度、画像解析部42において、総和差分面積DA、撮影点調整量Xopt及び差分画像Doptが算出される。そして、再度行われた画像解析部42での解析結果が表示画面3aに表示される。
【0112】
また、表示画面3a内において、シークバーの下部領域内の右側領域には、参照画像データの取得日(図中の「参照データ日」)及び現在画像データの取得日(図中の「現在データ日」)が表示される。
【0113】
「参照データ日」及び「現在データ日」の表示(選択)ブロックは、表示画面3a上において、オペレーターの入力部43への入力操作によりアクセス(選択)可能なユーザーインターフェースである。それゆえ、オペレーターの入力操作により、表示画面3a上で、参照画像データの取得日及び現在画像データの取得日を変更することができる。そして、「参照データ日」及び/又は「現在データ日」の表示ブロックに対するオペレーターの入力操作により参照画像データ及び/又は現在画像データの取得日が変更された場合には、変更後の取得日に対応する参照画像及び/又は現在画像が表示される。その結果、表示画面3a内に表示される差分画像Doptも変更される。なお、オペレーターの入力操作による上述した解析結果の変更表示処理は、オペレーターの入力操作に対応する指示信号に基づき、画像解析部42により制御される。
【0114】
また、表示画面3a内において、「参照データ日」及び「現在データ日」の表示ブロックの下側にはそれぞれ、「調整実行」ボタン及び「調整解除」ボタンが表示される。なお、「調整実行」ボタン及び「調整解除」ボタンは、表示画面3a上で、オペレーターの入力部43への入力操作によりアクセス(押下)可能なユーザーインターフェースである。
【0115】
表示画面3a上で、オペレーターにより「調整実行」ボタンが押下されると、参照画像の画像番号を撮影点調整量Xoptのフレーム分ずらした画像番号の現在画像が表示画面3aに表示され、対応する差分画像Doptも表示される。また、この際、「調整実行」ボタン及び「調整解除」ボタンの下部のインジケーターに、撮影点調整量Xopt(図中の「最適時刻調整量:+0.1秒」)及び画像データの抽出時間が表示される(図中の「抽出時間範囲:2.0秒」)が表示される。
【0116】
また、表示画面3a上において、オペレーターにより「調整解除」ボタンが押下されると、インジケーター内に表示されていた最適時刻調整量及び抽出時間範囲の数値が消える。また、この際、参照画像の画像番号と同じ画像番号の現在画像が表示画面3aに表示され、差分画像も消える。なお、オペレーターの各ボタンへの押下操作による上述した解析結果の変更表示処理は、オペレーターの押下操作に対応する指示信号に基づき、画像解析部42により制御される。
【0117】
[各種効果]
上述のように、本実施形態の保守システム10では、参照画像と現在画像との総和差分面積DAが最小となる撮影点調整量Xoptに基づいて現在画像の撮影点(画像番号)を調整(補正)することができる。この結果、撮影点調整量Xoptに基づいて、比較(差分処理)対象となる、参照画像の撮影点と現在画像の撮影点とを高精度に揃えることができる。それゆえ、本実施形態では、撮影点が揃った参照画像及び現在画像により生成された差分画像の誤差も小さくなり、差分画像から昇降路20内の小さな異物や、機器の微細な位置変化を精度良く検出することができる。
【0118】
また、本実施形態の保守システム10における現在画像と参照画像との撮影点の位置合わせ手法は、撮影点調整量Xopt(画像番号のずれ量)に基づいて行うので、経年劣化等の影響を受けることはなく、メンテ等のコストが不要になる。それゆえ、本実施形態では、低コストで保守点検を行うことができる。
【0119】
ところで、上述した昇降路20内の異物検知では、参照画像の撮影点と現在画像のそれと高精度で合わせる必要があるが、本発明者らの検証によれば、カメラ31での撮影点を数cm以下(例えば3cm以下)の高精度で制御する必要があることが分かった。ここで、その検証例について説明する。ただし、以下に示す検証例の図面では、検証実験で実際に得られた解析結果をそのまま示さず、得られた知見をより強調するために模式図として示す。
【0120】
図10A、
図10B及び
図10Cはそれぞれ、
図9で説明した昇降路20内の異物検知と同様にして異物検知を行った場合(実施例)に得られた参照画像、現在画像及び差分画像の模式図である。これらの画像は、本実施形態の保守システム10で取得されたものであるので、表示されている参照画像と現在画像との撮影点の位置合わせは、高精度に行われており、差分画像Dには、異物50(図中の三角印)のみが表示される。
【0121】
一方、
図11A、
図11B及び
図11Cはそれぞれ、
図10A、
図10B及び
図10Cに示す参照画像、現在画像及び差分画像において現在画像を1フレームずらした場合(比較例)の参照画像、現在画像及び差分画像である。この場合には、差分画像上において、異物50以外に別の差分領域51(図中の円弧状の領域)が検出された。すなわち、この場合には、異物50だけでなく、差分領域51も異物として誤検知されることになる。
【0122】
一般的なエレベーターの速度(45~105m/min)に対して、カメラ31のフレームレートを30fpsすると、1フレームの間にエレベーターは1.7cm~5.8cm進む。このことから、異物検知において、現在画像の撮影点と参照画像の撮影点とが数cm異なるだけでも、異常でない箇所の変化を異物(差分)として検出することになる。上述した誤検知の要因は、視野内に捉えた各機器の座標の僅かなズレ等に由来しており、このように誤検知の領域が多くなると、オペレーターが見つけるべき異物を見落とす可能性がある。なお、上述した誤検知の要因を完全に取り除くことは難しいが、その影響を極力減らすためにモルフォロジー処理等により除去するアルゴリズムを適用することが考えられる。
【0123】
それゆえ、上記検証実験から、差分検知によって数ピクセル程度の僅かな異物や変化を感度よく捉えるためには、参照画像の撮影点と現在画像のそれとを極力揃える必要があり、1フレーム分の誤差も抑える必要があることが分かった。それに対して、上述した本実施形態の保守システム10では、参照画像と現在画像との撮影点の位置合わせを高精度で行うことができ、上記課題を解決できることは、
図10C及び
図11Cで示した差分画像の検証結果からも明らかである。
【0124】
また、上記課題に対する別の解決手法としては、昇降路20内の小さな異物や、機器の微細の位置変化を数ピクセル程度で精度良く検出するために、差分検知の感度(例えば、カメラ31のフレームレート、画像の解像度や画素数等)を上げる方法が考えられる。しかしながら、差分検知の感度が高くなりすぎると、撮影点の僅かな違いによって、異常でない箇所も差分として誤検知してしまうデメリットがある。それに対して、上述した本実施形態の保守システム10では、原理上、差分検知の感度を高くすることなく、参照画像と現在画像との撮影点の位置合わせを高精度で行うことができるので、このようなデメリットも解消される。
【0125】
さらに、本実施形態の保守システム10では、上述のように、表示装置3の表示画面3aにおいて、オペレーターの入力部43への所定操作により、参照画像と比較対象となる現在画像をマニュアルで変更する機能が設けられている。それゆえ、ノイズ等の影響により撮影点の位置合わせ精度が若干低下するような状況が発生しても、1フレーム単位で、現在画像の撮影点を微調整することでき、容易に高精度な保守点検を行うことができる。
【0126】
[各種変形例]
以上、本発明の一実施形態に係る保守システム10及び保守装置について説明したが、本発明はこれらに限定されない。例えば、次のような各種変形例が採用可能である。
【0127】
昇降路20内の異物検知の解析結果の表示態様は、
図9に示す態様に限定されない。
図9の表示画面3aに示す各種表示項目(ユーザーインターフェース)の幾つかは、必要に応じて、適宜削除してもよいし、別のユーザーインターフェースを適宜追加してもよい。例えば、
図9に示す表示態様において、必要最低限の機能のみを表示するため、各画像の再生時刻、総和差分面積DAとスライド後基準現在画像番号「i」との関係性を示すグラフ、最適時刻調整量、抽出時間範囲などの表示項目を削除してもよい。
【0128】
また、例えば、表示画面3aにおいて、「調整実行」ボタン及び「調整解除」ボタンを設けなくてもよい。この場合には、表示画面3aにおいて、参照画像、参照画像の画像番号を撮影点調整量Xoptのフレーム分ずらした画像番号の現在画像、及び、両者の差分画像が自動的に表示される構成にしてもよい。
【0129】
さらに、昇降路20内の異物検知の解析結果の別の表示態様としては、差分画像を表示しない態様を採用してもよい。
図12は、その一例を示す図である。なお、
図12では、説明を簡略化するため、シークバーより上側の表示態様のみを示す。
図12に示す例では、参照画像と、参照画像の画像番号を撮影点調整量X
optのフレーム分ずらした画像番号の現在画像とを表示画面3aに表示するが、両者の差分画像を表示しない。
【0130】
その代わりに、
図12に示す例では、現在画像に、輪郭抽出部42eにより生成された差分領域を示す輪郭画像(図中の黒色の太輪郭線)を重ね合わせて表示する。この場合にも、現在画像上において、輪郭画像により差分領域(複数の異物50の領域)が強調されて表示されるので、オペレーターは、現在画像を見るだけで、過去に撮影した正常状態からの変化を速やかに且つ容易に確認することができる。また、オペレーターは、差分が生じた領域の参照画像及び現在画像を参照することにより、例えば、昇降路20内の異物の種別や構造変化も容易に確認することもできる。
【0131】
なお、上記した実施形態例は本発明を分かりやすく説明するために装置の構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、図面等で示した各構成部の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。それゆえ、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。さらに、本発明は、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得る。
【符号の説明】
【0132】
1…撮影装置、2…演算装置、3…表示装置、10…保守システム、20…昇降路、21…乗りかご、31…カメラ、33…撮影処理部、33a…撮影条件設定部、33b…報知部、34,43…入力部、40…参照画像データベース、41…受信部、42…画像解析部、42a…差分面積計算部、42b…撮影点調整量計算部、42c…差分処理部、42d…ノイズ除去部、42e…輪郭抽出部