(58)【調査した分野】(Int.Cl.,DB名)
1台以上の乗客コンベアの乗客が身に着ける物体それぞれと、前記物体それぞれの画像の特徴量と、前記乗客コンベアにおいて前記物体が原因となって発生し得る故障の内容とを対応付けて含む特徴量情報を提供する情報提供装置と、
前記情報提供装置により提供された前記特徴量情報と、前記乗客コンベアにおける前記物体の撮影により得られた画像情報とを処理し、撮影された前記物体と、前記乗客コンベアにおいて、撮影された前記物体が原因となって発生し得る前記故障の内容とを特定する処理装置と、
前記物体が撮影された前記乗客コンベアにおいて、前記処理装置により特定された前記物体と、前記物体が原因となって発生し得る前記故障の内容とに応じて、特定された前記物体を身に着ける前記乗客ごとの注意喚起を行う注意喚起装置と、
前記物体が撮影された前記乗客コンベアにおいて前記故障が発生したときに、前記故障の内容と、前記故障が発生したときに前記物体が撮影された前記乗客コンベアにおいて特定されている前記物体とを対応付けて含む故障情報を生成し、前記情報提供装置に出力する情報生成装置と
を備え、
前記情報提供装置は、前記情報生成装置から出力された前記故障情報に基づいて、前記特徴量情報を更新する
注意喚起システム。
【発明を実施するための形態】
【0007】
[エスカレータシステム1]
以下、実施形態を、図面を用いて説明する。なお、説明には、適宜、相互に直交するX軸、Y軸、Z軸からなるXYZ座標系を用いる。また、各図において、実質的に同じ構成要素には同じ符号を付す。
【0008】
図1は、本実施形態に係るエスカレータシステム1を示す図である。エスカレータシステム1は、情報サーバ5と、n(n≧1)台の乗客コンベアとしてのエスカレータ10−1〜10−nとを備える。情報サーバ5とエスカレータ10−1〜10−nとは、ネットワーク2を介して相互に通信可能に接続される。
【0009】
情報サーバ5は、エスカレータ10それぞれに、乗客へ安全を呼びかけるための処理において用いられる特徴量情報を提供する。ネットワーク2は、インターネット(Internet)、WAN(Wide Area Network)、VPN(Virtual Private Network)などであって、情報サーバ5とエスカレータ10との間で情報を伝送する。
【0010】
[エスカレータ10]
図2は、本実施形態に係る乗客コンベアとしてのエスカレータ10を示す図である。エスカレータ10は、フロアF1とフロアF2とに跨って架設され、フロアF1からフロアF2に乗客を移動させる。エスカレータ10は、トラス11、トラス11の内部に配置された一対のスプロケット21,22、スプロケット21,22に巻回された移動チェーン23、移動チェーン23に連結された複数の踏み段25、スプロケット21を駆動する駆動装置30、駆動装置30の制御などを行う制御装置34、トラス11に沿って設けられるケーシング12、ケーシング12に設けられるガイド13、ガイド13に沿って移動する手摺ベルト14を備える。ケーシング12は、フロアF1の乗り場及びフロアF2の降り場の付近に、スピーカ40−1,40−2、カメラ42−1,42−2及び安全装置46−1,46−2を備え、中央部分にカメラ44を備える。
【0011】
トラス11は、フロアF1とフロアF2わたって設けられるエスカレータ10の土台である。トラス11の側面及び下面は、鋼板によってカバーされる。また、トラス11の両端部上面にはそれぞれ乗降板が固定される。ケーシング12は、踏み段25の両側に設けられ、手摺ベルト14の下側の部分などを収容する。ガイド13は、ケーシング12に設けられ、手摺ベルト14を支持する。手摺ベルト14は、スプロケット21,22により駆動されることにより、ガイド13に沿って周回する。
【0012】
スプロケット21,22は、トラス11内部のX軸方向両端に配置される歯車である。スプロケット21,22は、それぞれY軸に平行な軸P1,P2を中心に回転可能に支持される。
【0013】
駆動装置30は、駆動チェーン33を介してスプロケット21を駆動する。駆動装置30は、スプロケット21の近傍に配置される。
【0014】
制御装置34は、駆動装置30によるスプロケット21の駆動を制御し、また、情報サーバ5により提供される特徴量情報を用いて乗客の足元の画像を処理し、事故、故障、不具合など(以下、「故障」)について、乗客に注意を呼びかける。制御装置34は、無線通信回線を介してネットワーク2に接続され、さらに、ネットワーク2を介して情報サーバ5に接続される。
【0015】
スプロケット21,22には、移動チェーン23が懸架される。移動チェーン23は、スプロケット21,22により駆動され、踏み段25を移動させるループ状のチェーンである。移動チェーン23には、複数の踏み段25が連結される。スプロケット21が、駆動装置30によって駆動されると、移動チェーン23がスプロケット21,22を周回する。これにより、移動チェーン23の上方に位置する踏み段25が、トラス11の上方から露出した状態で、フロアF1とフロアF2の間を移動する。
【0016】
また、スプロケット21,22は、不図示のチェーンやスプロケットなどを介して、ガイド13に移動可能に支持される手摺ベルト14に連結される。このため、駆動装置30によってスプロケット21が駆動されることで、踏み段25がフロアF1,F2の間を移動するとともに、手摺ベルト14もガイド13を周回する。手摺ベルト14は、上半分がケーシング12から露出した状態になる。ケーシング12から露出した手摺ベルト14は、踏み段25と同期してフロアF1とフロアF2の間を移動する。
【0017】
スピーカ40は、制御装置34から入力された音声情報を出力することで、エスカレータ10の乗客に注意を喚起する。
【0018】
カメラ42,44は、乗客の足元、つまり、乗客の履物、ズボン、スカートなどの衣服の裾など、エスカレータ10のケーシング12及び踏み段25に触れる可能性がある部分の画像を撮影し、撮影の結果として得られた画像情報を制御装置34に出力する。安全装置46は、非常停止用ボタン及び検出装置(不図示)などを備え、エスカレータ10の故障の発生を検出し、故障の発生を制御装置34に通知する。エスカレータ10の故障情報は、ケーシング12が乗客のスカートを挟んだこと、踏み段25におけるインレットの部分が乗客の履物を挟んだこと、踏み段25が浮き上ったことなどが検出装置により検出されたこと、及び非常停止用ボタンが押下されたことなど、故障の内容を示す。
【0019】
[制御装置34及び情報サーバ5]
図3は、エスカレータ10の制御装置34の構成を示す図である。制御装置34は、処理装置340、駆動ユニット342から構成される。
【0020】
駆動ユニット342は、駆動装置30に電力を供給するための電源や、インバータなどを備える。駆動ユニット342は、処理装置340からの指示に基づいて、駆動装置30を駆動する。
【0021】
図4は、情報サーバ5及び処理装置340の構成を示す図である。情報サーバ5及び処理装置340は、CPU(Central Processing Unit)348、主記憶部350、補助記憶部352、操作パネル354、インタフェース部356、及び上記各部を接続するバス346を有するコンピュータである。
【0022】
CPU348は、補助記憶部352に記憶されるプログラムに従って、上記各部を制御する。
【0023】
主記憶部350は、RAM(Random Access Memory)等を有する。主記憶部350は、CPU348の作業領域として用いられる。
【0024】
補助記憶部352は、ROM(Read Only Memory)、半導体メモリ等の不揮発性メモリを有する。補助記憶部352は、CPU348が実行するプログラム、及び各種パラメータなどを記憶する。また、補助記憶部352は、CPU348の処理結果としてのデータなどを記憶する。
【0025】
操作パネル354は、例えば、押しボタンやGUI(Graphical User Interface)を備える。エスカレータ10の管理者や作業者は、操作パネル354を介して、CPU348に各種指令や各種情報を入力することができる。
【0026】
インタフェース部358は、シリアルインタフェース、パラレルインタフェース、ネットワークインタフェースなどを有する。制御装置34において、スピーカ40,カメラ42−1,42−2,44、安全装置46及びネットワーク2は、インタフェース部358を介して、CPU348に接続される。情報サーバ5において、ネットワーク2は、インタフェース部358を介して、CPU348に接続される。
【0027】
[プログラム]
図5は、
図2に示された制御装置34において実行される注意喚起プログラム36を示す図である。なお、
図5には、駆動装置30を制御するための構成要素は示されない。注意喚起プログラム36の命令コードは、制御装置34において、処理装置340の補助記憶部352(
図3を参照)に記憶され、CPU348により実行される。制御装置34においてCPU348により実行される注意喚起プログラム36は、通信処理部360、特徴量記憶部362、カメラ制御部364、特徴量抽出部366、特徴量比較部368、注意喚起部370、故障特定部372及び故障情報生成部374としての処理を行う。
【0028】
注意喚起プログラム36において、通信処理部360は、ネットワーク2を介した情報サーバ5との間の通信処理を行う。また、通信処理部360は、故障情報生成部374から入力された故障情報を情報サーバ5に送信する。また、通信処理部360は、情報サーバ5により予め決められたタイミングで、又は不定期に送信された特徴量情報を受信し、特徴量記憶部362に出力する。特徴量記憶部362は、通信処理部360から入力された特徴量情報を、主記憶部350又は補助記憶部352に記憶する。
【0029】
図6は、
図1に示された情報サーバ5により制御装置34に送信される特徴量情報を示す図である。特徴量情報は、情報サーバ5において、オペレータにより操作パネル354などを介して入力された情報から生成され、複数のエントリを含む。
図6に示されるように、制御装置34において情報サーバ5から受信された特徴量情報の各エントリには、エスカレータ10の乗客が身に着ける衣服や履物の種類、及び乗客の属性を示すインデックスを示す情報と、画像処理に用いられる特徴量(特徴量1〜6)と、故障発生の可能性の大きさ(大、中、小)と、発生しうる故障の内容を示す情報とが対応付けられて含まれる。
【0030】
なお、
図6において、インデックスには、「男性大人用紐靴1」、「女性大人用紐なし革靴2」、「樹脂製サンダル3」、「スカート4」、「男性用ズボン5」及び「女性子供用靴6」を示す情報が含まれる。また、
図6において、故障内容には、靴の紐のケーシングへの挟み込み、衣服又は履物の一部のケーシングへの挟み込みを示す情報が含まれる。
【0031】
インデックスは、乗客の属性(男性、女性、大人、子供)と、衣服の種類(スカート、ズボンなど)又は履物の種類(紐靴、紐なし靴、サンダルなど)と、衣服などの部分とを示す情報を含む。故障発生の可能性及び発生しうる故障の内容を示す情報は、過去において集計されたインデックスごとの故障の発生頻度、故障内容などから生成される。
【0032】
カメラ制御部364は、カメラ42,44を制御し、エスカレータ10の乗客の足元、つまり、故障の原因となり得る乗客の衣服の裾や、履物及びその状態を撮影させ、これらの画像を示す画像情報を生成させる。カメラ制御部364は、カメラ42,44により生成された画像情報を受信し、特徴量抽出部366に出力する。特徴量抽出部366は、カメラ制御部364から受信した画像情報から、乗客の衣服の裾を示す部分や、履物及びその状態を示す特徴量を検出する。特徴量抽出部366は、乗客の衣服の裾の部分などを検出するたびに、検出した衣服の裾などに対応する特徴量を画像情報から取り出し、特徴量比較部368に出力する。
【0033】
特徴量比較部368は、特徴量抽出部366から入力された特徴量と、特徴量記憶部362に記憶された特徴量情報のエントリに含まれる特徴量の全てとを比較し、予め決められた割合以上で一致するか否かを判断し、エントリを特定する。つまり、特徴量比較部368は、特徴量抽出部366から入力された特徴量と、特徴量情報のいずれのエントリに含まれる特徴量とが一致又は類似するかを判断する。さらに、特徴量比較部368は、特徴量抽出部366から入力された特徴量と同一又は類似すると判断した特徴量を含むエントリを特定する。特徴量比較部368は、この判断において、一致又は類似すると判断した特徴量を含む特徴量情報のエントリと、この判断に用いられた画像情報を生成したカメラ42,44を示す情報とを、故障情報生成部374及び注意喚起部370に出力する。
【0034】
故障特定部372は、安全装置46により検出されたエスカレータ10の故障内容を特定し、特定した故障を注意喚起部370及び故障情報生成部374に出力する。つまり、故障特定部372は、非常停止用ボタンが押下されたこと、ケーシング12が乗客のスカートを挟んだこと、踏み段25におけるインレットの部分が乗客の履物を挟んだこと、踏み段25が浮き上ったことなどのいずれが安全装置46により検出されたかを特定する。
【0035】
図7は、
図5に示された注意喚起部370において記憶され、乗客への注意喚起のために用いられる注意喚起情報を示す図である。
図7に示されるように、注意喚起部370は、予め、特徴量情報(
図6を参照)のインデックスと、乗客ごとの個別の注意喚起に用いられる音声を示す注意喚起情報とを対応付けて記憶する。注意喚起部370は、特徴量比較部368から入力された特徴量情報に含まれるインデックスに対応する注意喚起情報を示す音声を、スピーカ40から乗客に出力する。なお、
図7に示される注意喚起情報には、
図6に示された注意喚起情報は、「お履物にご注意ください」、「お召し物に注意ください」、「お子様にご注意ください」、「急停止します」などの音声を示す。
【0036】
なお、注意喚起部370は、特徴量比較部368により特定された特徴量情報のエントリに含まれるインデックスに対応する注意喚起情報を、スピーカ40−1,40−2のいずれから音声として出力するかを決める。また、注意喚起部370は、既知のエスカレータ10の踏み段25の移動速度と、特徴量比較部368によるエントリの特定のために用いられた画像情報を生成したカメラ42,44の位置と、音声を出力するスピーカ40の位置とを考慮して、どのようなタイミングで注意喚起情報が示す音声を出力するかを調整する。
【0037】
つまり、例えば、注意喚起部370は、カメラ42−2により得られた画像情報を処理して得られた特徴量情報のエントリに含まれる故障内容が、ケーシング12への挟み込みを示すときには、注意喚起情報が示す音声を、スピーカ40−2から直ちに出力する。また、例えば、注意喚起部370は、カメラ42−2,44により得られた画像情報を処理して得られた特徴量情報のエントリに含まれる故障内容が、インレットへの挟み込みを示すときには、注意喚起情報が示す音声を、カメラ42−2,44の位置からスピーカ40−1の位置までの乗客の移動に要する時間だけ遅延して、スピーカ40−1から出力する。このように、注意喚起部370は、乗客が、故障の発生の可能性がある位置に達するタイミングで、注意喚起情報により示される音声を出力する。
【0038】
また、注意喚起部370は、予めなされる設定に従い、特徴量情報に含まれ、故障発生の可能性を示す情報が、大きいか、中程度か、小さいかに応じて、注意喚起情報が示す音声を出力したりしなかったりする。つまり、例えば、注意喚起部370は、故障発生の可能性を示す情報が、「大」のときにのみ同じエントリに含まれる注意喚起情報が示す音声を出力する。あるいは、例えば、注意喚起部370は、故障発生の可能性を示す情報が、「大」又は「中」のときにのみ、同じエントリに含まれる注意喚起情報が示す音声を出力する。
【0039】
図8は、
図5に示された故障情報生成部374により生成される故障情報を示す図である。
図8に示されるように、事故情報は、故障内容と、この特定の時点で把握されている特徴量を含むエントリのインデックスの全てを含む。故障情報生成部374は、任意の時点において、エスカレータ10に乗っている乗客全員が身に着けている履物などの画像情報から得られた特徴量と、特徴量情報のエントリに含まれる特徴量とが一致又は類似するかを常に把握する。故障情報生成部374は、故障内容が特定されたときに、
図8に示された故障情報を生成する。故障情報生成部374は、生成した故障情報を、通信処理部360及びネットワーク2を介して情報サーバ5に出力する。
【0040】
図9は、
図1に示された情報サーバ5において実行される情報提供プログラム52を示す図である。情報提供プログラム52の命令コードは、情報サーバ5の補助記憶部352(
図3を参照)に記憶され、CPU348により実行される。情報サーバ5において実行される情報提供プログラム52は、通信処理部360、特徴量学習部520、特徴量データベース(DB;Data Base)522、情報入力部524及び特徴量提供部526としての処理を行う。
【0041】
情報提供プログラム52において、通信処理部360は、ネットワーク2(
図1を参照)を介した制御装置34の注意喚起プログラム36(
図5を参照)との間の通信処理を行う。また、通信処理部360は、特徴量提供部526から予め決められたタイミングで、又は不定期に入力される特徴量情報(
図6を参照)を、制御装置34の注意喚起プログラム36に送信する。また、通信処理部360は、制御装置34の注意喚起プログラム36から入力された故障情報(
図8を参照)を、特徴量学習部520に出力する。
【0042】
情報入力部524は、オペレータにより操作パネル354(
図4を参照)に入力された特徴量情報、及び、ネットワーク2及び通信処理部360を介して制御装置34の注意喚起プログラム36から入力された故障情報を受け入れる。情報入力部524は、受け入れられた特徴量情報を特徴量DB522に出力する。また、情報入力部524は、受け入れられた故障情報を、特徴量学習部520に出力する。
【0043】
特徴量DB522は、特徴量学習部520及び情報入力部524から入力される特徴量情報を、主記憶部350又は補助記憶部352に記憶する。また、特徴量DB522は、記憶した特徴量情報を、特徴量学習部520及び特徴量提供部526からの要求に応じて、これらに出力する。
【0044】
特徴量学習部520は、情報入力部524及び通信処理部360から入力された故障情報を、特徴量DB522に、順次、出力する。また、特徴量学習部520は、特徴量DB522に記憶された特徴量情報、及び故障情報を用いて深層学習を行い、特徴量情報の内容を更新する。
【0045】
つまり、特徴量学習部520は、特徴量DB522から得られた特徴量情報、及び故障情報からインデックス及び故障内容を取り出す。特徴量学習部520は、取り出したインデックスと故障内容との相関関係を求めるなどの学習処理を行い、学習処理の結果に基づいて、新たな特徴量情報を生成する。特徴量学習部520は、生成した特徴量情報を特徴量DB522に出力し、更新させる。
【0046】
特徴量提供部526は、特徴量DB522から特徴量情報を読み出して、通信処理部360に出力し、エスカレータシステム1に含まれる全てのエスカレータ10−1〜10−n(
図1を参照)に出力させる。特徴量提供部526による特徴量情報の通信処理部360への出力は、予め決められたタイミングで、又は、特徴量DB522に記憶された特徴量情報が更新されるたびに行われる。つまり、特徴量提供部526は、エスカレータシステム1に含まれる全てのエスカレータ10−1〜10−nに、注意喚起のための処理に用いられる特徴量情報を共有させる。
【0047】
[エスカレータシステム1の動作]
以下、エスカレータシステム1の全体的な動作を説明する。
【0048】
エスカレータシステム1において、エスカレータ10−1〜10−n(
図1を参照)それぞれにおいて、制御装置34(
図5などを参照)は、故障が検出されるたびに、故障情報(
図8を参照)を生成する。エスカレータ10−1〜10−nそれぞれの制御装置34は、生成した故障情報を、ネットワーク2を介して情報サーバ5(
図9などをさらに参照)に、順次、出力する。
【0049】
情報サーバ5は、オペレータにより入力された特徴量情報(
図6を参照)、及びエスカレータ10−1〜10−nから入力された故障情報を用いて深層学習を行い、特徴量情報を更新する。更新された特徴量情報は、エスカレータ10−1〜10−n全ての制御装置34に、予め決められたタイミングで、又は不定期に、ネットワーク2を介して出力される。
【0050】
図10は、
図2に示された制御装置34の処理を示すフローチャートである。
図10に示されるように、エスカレータ10−1〜10−nそれぞれにおいて、注意喚起プログラム36が実行される制御装置34は、ステップS100において、情報サーバ5からネットワーク2を介して特徴量情報を受信する処理を行う。
【0051】
ステップS102において、制御装置34は、特徴量情報を受信したか否かを判断する。制御装置34は、特徴量情報を受信したとき(S102の処理においてYES)にはS104の処理に進み、受信しなかったとき(S102の処理においてNO)にはS106の処理に進む。
【0052】
ステップS104の処理において、制御装置34は、S100の処理において受信した特徴量情報を記憶し、特徴量情報を更新する。
【0053】
ステップS106において、制御装置34は、カメラ42,44を制御して、エスカレータ10の乗客の足元の画像を撮影させる。さらに、制御装置34は、撮影の結果として得られた画像情報を、カメラ42,44から取り込む。
【0054】
ステップS108において、制御装置34は、取り込まれた画像情報から、乗客が身に着ける履物などの特徴量を抽出する。
【0055】
ステップS110において、制御装置34は、情報サーバ5からネットワーク2を介して入力され、記憶された最新の特徴量情報と、S108の処理において抽出した特徴量とを比較する。
【0056】
ステップS112において、制御装置34は、S110の処理における比較の結果として、特徴量情報に、抽出した特徴量と同一又は類似の特徴量を含むエントリがあるか否かを判断する。制御装置34は、特徴量情報に、抽出した特徴量と同一又は類似の特徴量情報の本体を含むエントリがあるとき(S112の処理においてYES)にはS114の処理に進む。制御装置34は、このようなエントリがないとき(S112の処理においてNO)にはS100の処理に戻る。
【0057】
ステップS114において、制御装置34は、抽出した特徴量と同一又は類似の特徴量を含むエントリの情報、及び注意喚起情報(
図7を参照)を用いて、エスカレータ10の乗客ごとの注意喚起を行う。
【0058】
ステップS116において、制御装置34は、安全装置46により故障の発生が検出されたか否かを判断する。制御装置34は、故障の発生が検出されたとき(S116の処理においてYES)にはS118の処理に進む。制御装置34は、故障の発生が検出されなかったとき(S116の処理においてNO)にはS100の処理に戻る。
【0059】
ステップS118において、制御装置34は、S116の処理において検出されたと判断された故障の内容を特定し、故障の内容を示す故障情報(
図8を参照)を生成する。制御装置34は、生成した故障情報を、ネットワーク2を介して情報サーバ5に出力する。
【0060】
以上説明されたエスカレータシステム1においては、乗客それぞれが、どのような衣服や履物などを身に着けているかが判断され、乗客ごとに、この判断に応じた内容で注意の呼びかけが行われる。従って、エスカレータシステム1によれば、乗客に応じて適切に注意を喚起することができる。
【0061】
なお、以上、エスカレータ10−1〜10−nそれぞれにおいて特徴量の抽出及び注意喚起のための処理が行われる場合が説明されたが、エスカレータ10−1〜10−nにおいて注意喚起プログラム36により行われる処理は、情報サーバ5において行われてもよい。つまり、注意喚起プログラム36と情報提供プログラム52とは一体に構成されてもよい。また、特徴量情報及び故障情報には、必要に応じて、
図6,
図8に示された情報以外の情報が含まれてもよい。
【0062】
以上説明された本発明の実施形態は、例として提示され、発明の範囲の限定を意図しない。これら新規な実施形態は、その他の様々な形態で実施され得、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更がなされ得る。これらの実施形態やその変形は、発明の範囲や要旨に含まれ、また、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【解決手段】本実施形態に係る注意喚起システムは、情報提供装置と、処理装置と、注意喚起装置とを備える。情報提供装置は、1台以上の乗客コンベアの乗客が身に着ける物体それぞれと、物体それぞれの画像の特徴量と、乗客コンベアにおいて物体が原因となって発生し得る故障の内容とを対応付けて含む特徴量情報を提供する。処理装置は、提供された特徴量情報と、乗客コンベアにおける物体の撮影により得られた画像情報とを処理し、撮影された物体と、乗客コンベアにおいて、撮影された物体が原因となって発生し得る故障の内容とを特定する。注意喚起装置は、物体が撮影された乗客コンベアにおいて、処理装置により特定された物体と、物体が原因となって発生し得る故障の内容とに応じて、特定された物体を身に着ける乗客ごとの注意喚起を行う。