特許 7113930 転落者検出システム、転落者検出方法、および転落者検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-07-28

(45)【発行日】2022-08-05

(54)【発明の名称】転落者検出システム、転落者検出方法、および転落者検出プログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20220729BHJP

   H04N 7/18 20060101ALI20220729BHJP

   G08B 25/04 20060101ALI20220729BHJP

   G08B 21/02 20060101ALI20220729BHJP

   G06T 7/00 20170101ALI20220729BHJP

   G06T 7/20 20170101ALI20220729BHJP

   F23G 5/50 20060101ALI20220729BHJP

【ＦＩ】

G08B25/00 510M

H04N7/18 D

G08B25/04 K

G08B21/02

G06T7/00 350B

G06T7/20 300Z

F23G5/50 S

【請求項の数】 18

(21)【出願番号】P 2021040498

(22)【出願日】2021-03-12

【審査請求日】2022-04-01

【早期審査対象出願】

(73)【特許権者】

【識別番号】308024395

【氏名又は名称】荏原環境プラント株式会社

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】230112025

【弁護士】

【氏名又は名称】小林 英了

(74)【代理人】

【識別番号】230117802

【弁護士】

【氏名又は名称】大野 浩之

(74)【代理人】

【識別番号】100106840

【弁理士】

【氏名又は名称】森田 耕司

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】町田 隼也

(72)【発明者】

【氏名】松岡 慶

(72)【発明者】

【氏名】坂井 美穂子

【審査官】吉村 伊佐雄

(56)【参考文献】

【文献】国際公開第２０２０／０４０１１０（ＷＯ，Ａ１）

【文献】特開平０９－１８２０６１（ＪＰ，Ａ）

【文献】特開２０１６－５７９９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２３Ｇ５／００

５／４０－５／４２

５／５０

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ０８Ｂ２３／００－３１／００

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

被処理物が貯留される貯留設備内を撮像する第１カメラから第１画像データを取得する第１画像データ取得部と、
貯留設備に隣接するプラットホーム内を撮像する第２カメラから第２画像データを取得する第２画像データ取得部と、
第１画像データを画像解析して貯留設備内の人物を検出する第１画像解析部と、
第２画像データを画像解析してプラットホーム内の人物を検出し、検出された人物の動線を追跡する第２画像解析部と、
第１画像データの解析結果と第２画像データの解析結果との組み合わせに基づいて、プラットホームから貯留設備へと転落する転落者の有無を判定する転落者判定部と、
を備えた転落者検出システム。

【請求項2】

転落者判定部は、第２画像データの解析結果を確認し、第１時刻において貯留設備とプラットホームとの間を仕切る投入扉近傍の予め定められた領域への人物の進入が検出された場合に、第１時刻における第１画像データの解析結果を確認し、貯留設備内に人物が検出された場合に、転落者ありと判定する、請求項１に記載の転落者検出システム。

【請求項3】

転落者判定部は、第１時刻において投入扉近傍の予め定められた領域への人物の進入が検出された場合に、第１時刻における第１画像データのうち当該投入扉の位置に対応する貯留設備内の領域を撮像した画像の解析結果を確認する、請求項２に記載の転落者検出システム。

【請求項4】

転落者判定部は、第１時刻における第１画像データの解析結果を確認した際に貯留設備内に人物が検出されなかった場合には、第１時刻における第１画像データと、第１時刻から予め定められた時間経過後の第２時刻における第１画像データとの差分を抽出し、抽出した差分が予め定められた閾値を超えた場合に、転落者ありと判定し、差がない場合に、転落者なしと判定する、請求項２または３に記載の転落者検出システム。

【請求項5】

転落者判定部は、第１画像データの解析結果を確認し、第１時刻において貯留設備内に人物が検出された場合に、第１時刻に対して予め定められた時間前までの第２画像データの解析結果を確認し、貯留設備とプラットホームとの間を仕切る投入扉近傍の予め定められた領域内で人物が映像からフレームアウトしていた場合に、転落者ありと判定する、請求項１に記載の転落者検出システム。

【請求項6】

転落者判定部は、第１時刻において貯留設備内に人物が検出された場合に、第１時刻に対して予め定められた時間前までの第２画像データのうち貯留設備内で人物が検出された領域に対応する位置の投入扉を撮像した画像の解析結果を確認する、請求項５に記載の転落者検出システム。

【請求項7】

転落者判定部は、第１時刻に対して予め定められた時間前までの第２画像データの解析結果を確認した際に投入扉近傍の予め定められた領域外で人物が映像からフレームアウトしていた場合には、転落者なしと判定する、請求項５または６に記載の転落者検出システム。

【請求項8】

転落者判定部は、第１時刻に対して予め定められた時間前までの第２画像データの解析結果を確認した際に投入扉近傍の予め定められた領域内への人物の進入が検出されなかった場合に、転落者なしと判定する、請求項５～７のいずれかに記載の転落者検出システム。

【請求項9】

転落者判定部により転落者ありと判定された場合に、
（１）警報を発報する、
（２）貯留設備内に貯留された被処理物の攪拌または搬送を行うクレーンを停止するようクレーン制御装置に制御信号を送信する、
（３）貯留設備とプラットホームとの間を仕切る投入扉を閉じるよう投入扉制御装置に制御信号を送信する、
（４）クレーンを動作させて転落者の救出を行うようクレーン制御装置に制御信号を送信する、
（５）貯留設備に設けられた救出用機材を動作させて転落者の救出を行うよう救出用機材制御装置に制御信号を送信する、
のうちの少なくとも１つの処理を行う指示部をさらに備えた、請求項１～８のいずれかに記載の転落者検出システム。

【請求項10】

第１画像解析部は、貯留設備内の過去の画像データに対して人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与することにより生成した第１教師データを機械学習することにより構築された第１検出アルゴリズムを用いて、貯留設備内の新たな画像データを入力として、貯留設備内の人物を検出する、請求項１～９のいずれかに記載の転落者検出システム。

【請求項11】

第２画像解析部は、プラットホーム内の過去の画像データに対して人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与することにより生成した第２教師データを機械学習することにより構築された第２検出アルゴリズムを用いて、プラットホーム内の新たな画像データを入力として、プラットホーム内の人物を検出する、請求項１～１０のいずれかに記載の転落者検出システム。

【請求項12】

第２教師データは、プラットホーム内の過去の画像データに対して人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与するするとともに搬入車両が存在している領域に人為的な別のラベルを情報として付与することにより生成したものである、請求項１１に記載の転落者検出システム。

【請求項13】

前記第１検出アルゴリズムは、最尤分類法、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの１つまたは２つ以上を含み、
前記第２検出アルゴリズムは、最尤分類法、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの１つまたは２つ以上を含む、請求項１０を引用する請求項１１または１２に記載の転落者検出システム。

【請求項14】

前記第２画像解析部が人物の動線の追跡に用いるアルゴリズムは、オプティカルフロー、背景差分法、カルマンフィルタ、パーティクルフィルタ、深層学習、のうちの１つまたは２つ以上を含む、請求項１～１３のいずれかに記載の転落者検出システム。

【請求項15】

前記第１カメラは、ＲＧＢカメラ、近赤外線カメラ、３ＤカメラまたはＲＧＢ－Ｄカメラのうちの１つまたは２つ以上を含み、
前記第２カメラは、ＲＧＢカメラ、近赤外線カメラ、３ＤカメラまたはＲＧＢ－Ｄカメラのうちの１つまたは２つ以上を含む、請求項１～１４のいずれかに記載の転落者検出システム。

【請求項16】

請求項１～１５のいずれかに記載の転落者検出システムを備えた廃棄物処理施設。

【請求項17】

被処理物が貯留される貯留設備内を撮像する第１カメラから第１画像データを取得するステップと、
貯留設備に隣接するプラットホーム内を撮像する第２カメラから第２画像データを取得するステップと、
第１画像データを画像解析して貯留設備内の人物を検出するステップと、
第２画像データを画像解析してプラットホーム内の人物を検出し、検出された人物の動線を追跡するステップと、
第１画像データの解析結果と第２画像データの解析結果との組み合わせに基づいて、プラットホームから貯留設備へと転落する転落者の有無を判定するステップと、
を含む転落者検出方法。

【請求項18】

コンピュータに、
被処理物が貯留される貯留設備内を撮像する第１カメラから第１画像データを取得するステップと、
貯留設備に隣接するプラットホーム内を撮像する第２カメラから第２画像データを取得するステップと、
第１画像データを画像解析して貯留設備内の人物を検出するステップと、
第２画像データを画像解析してプラットホーム内の人物を検出し、検出された人物の動線を追跡するステップと、
第１画像データの解析結果と第２画像データの解析結果との組み合わせに基づいて、プラットホームから貯留設備へと転落する転落者の有無を判定するステップと、
を実行させる転落者検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被処理物を貯留する設備へ転落した人を自動的に検出する転落者検出システム、転落者検出方法、および転落者検出プログラムに関する。

【背景技術】

【0002】

廃棄物処理関連施設において、特に廃棄物焼却施設では、件数は少ないものの、年に数件、ごみピット内へ人が転落する事故が報告されている。

【0003】

ごみピットへ人が転落した際には、クレーン運転士等へ伝達し、転落者の安全確保のため、クレーン操作を一時停止する必要がある。しかしながら、昨今クレーンの自動運転技術が発展してきており、たとえば、クレーン自動運転中（すなわち、クレーン運転士の不在時）に転落者が発生した場合、クレーン運転士等への伝達に時間を要し、重大な事故を起こす可能性がある。

【0004】

また、特に廃棄物焼却施設においては、ごみピット内への転落者を自動で検出し、クレーンを制御する等の事故防止システムは存在していない。

【0005】

他分野（特に鉄道業界）では、駅のホームから線路への転落者を画像処理等で検出するシステムが用いられている（たとえば特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0006】

【文献】特許第５３８６７４４号

【文献】特許第４０４１６７８号

【発明の概要】

【発明が解決しようとする課題】

【0007】

鉄道業界で用いられている転落者検出システムでは、転落起因側であるホームと転落結果側である線路を同時に撮影する監視カメラの画像を処理し、転落者の検出を行っている。これに対し、廃棄物焼却施設では、転落起因側であるプラットホームと転落結果側であるごみピットとの間がごみ投入扉で仕切られているため、転落起因側と転落結果側を同時に撮影できる場所にカメラなどの撮像装置を設置することが困難である。

【0008】

また、鉄道業界で用いられている転落者検出システムでは、監視カメラの画像を処理することにより、落下物の大きさを求め、その大きさから落下物が人であるか否かを判定する手法が用いられることがある。これに対し、廃棄物焼却施設では、搬入車両（パッカー車両や軽トラックなど）から大小さまざまな廃棄物がごみピットへ投入されるため、落下物の大きさだけで落下物が人であるか否かを判定することは困難である。

【0009】

また、上述したように、廃棄物焼却施設では、転落起因側（プラットホーム）と転落結果側（ごみピット）を同時に撮影できる場所にカメラを設置することが困難であるため、たとえば、ごみピット側にカメラを設置してごみピット内の画像を処理し、転落者を検出することが考えられる。しかしながら、ごみピット内では廃棄物の山が崩れるなどして転落者の上部に廃棄物がかぶさる可能性があり、その場合、ごみピット内の画像の処理により転落者を検出することは困難である。

【0010】

なお、焼却施設のようなピットアンドクレーン方式を採用している施設だけでなく、ピットアンドクレーン方式以外の例えば貯留設備への直接投入方式やコンバクタコンテナ方式のような構成の廃棄物処理施設（たとえば粗大ごみ破砕施設やリサイクル施設など）においても同様の課題がある。

【0011】

本発明は、以上のような点を考慮してなされたものである。本発明の目的は、廃棄物焼却施設等の廃棄物処理施設において、廃棄物を貯留する貯留設備への転落者を自動で検出できる転落者検出システム、転落者検出方法、および転落者検出プログラムを提供することにある。

【課題を解決するための手段】

【0012】

本発明の第１の態様に係る転落者検出システムは、
被処理物が貯留される貯留設備内を撮像する第１カメラから第１画像データを取得する第１画像データ取得部と、
貯留設備に隣接するプラットホーム内を撮像する第２カメラから第２画像データを取得する第２画像データ取得部と、
第１画像データを画像解析して貯留設備内の人物を検出する第１画像解析部と、
第２画像データを画像解析してプラットホーム内の人物を検出し、検出された人物の動線を追跡する第２画像解析部と、
第１画像データの解析結果と第２画像データの解析結果との組み合わせに基づいて、プラットホームから貯留設備へと転落する転落者の有無を判定する転落者判定部と、
を備える。

【0013】

このような態様によれば、貯留設備内を撮像した第１画像データの解析結果と、プラットホーム内を撮像した第２画像データの解析結果とを組み合わせることで、プラットホームから貯留設備へと転落する転落者を自動で検出できる。一般に、機械学習モデルを利用して画像データから転落者を検出する場合には、機械学習モデルの検出精度は様々であり、１００％の精度で転落者を検出することは不可能であるが、貯留設備内を撮像した第１画像データの解析結果と、プラットホーム内を撮像した第２画像データの解析結果とを組み合わせることで、転落者の検出精度を上げることができる。また、既存施設であっても、貯留設備内を撮像する第１カメラとプラットホーム内を撮像する第２カメラとを追加で設置するだけで、本件システムの動作が可能となるため、本件システムの導入にあたって既存施設の大幅な改造は不要であり、安価に既存施設の安全性を高めることが可能となる。

【0014】

本発明の第２の態様に係る転落者検出システムは、第１の態様に係る転落者検出システムであって、
転落者判定部は、第２画像データの解析結果を確認し、第１時刻において貯留設備とプラットホームとの間を仕切る投入扉近傍の予め定められた領域への人物の進入が検出された場合に、第１時刻における第１画像データの解析結果を確認し、貯留設備内に人物が検出された場合に、転落者ありと判定する。

【0015】

このような態様によれば、プラットホーム内を撮像した第２画像データの解析結果を確認し、投入扉近傍の予め定められた領域への人物の進入が検出された場合（すなわち第２画像データの解析結果において転落者が仮検出された場合）に、第１画像データの解析結果を確認し、貯留設備内に人物が検出された場合（すなわち第１画像データの解析結果においても転落者が仮検出された場合）に、転落者ありと最終判定することで、転落者を正確に検出できる。

【0016】

本発明の第３の態様に係る転落者検出システムは、第２の態様に係る転落者検出システムであって、
転落者判定部は、第１時刻において投入扉近傍の予め定められた領域への人物の進入が検出された場合に、第１時刻における第１画像データのうち当該投入扉の位置に対応する貯留設備内の領域を撮像した画像の解析結果を確認する。

【0017】

このような態様によれば、投入扉が複数設けられている大型の貯留設備であっても、プラットホーム内を撮像した第２画像データの解析結果を確認し、投入扉近傍の予め定められた領域への人物の進入が検出された場合（すなわち第２画像データの解析結果において転落者が仮検出された場合）に、貯留設備内を撮像した第１画像データ全体の解析結果を確認するのではなく、転落者が発生した可能性の高い投入扉の位置に対応する貯留設備内の領域の画像の解析結果を確認することで、より正確かつ短時間での転落者検出が可能となる。

【0018】

本発明の第４の態様に係る転落者検出システムは、第２または３の態様に係る転落者検出システムであって、
転落者判定部は、第１時刻における第１画像データの解析結果を確認した際に貯留設備内に人物が検出されなかった場合には、第１時刻における第１画像データと、第１時刻から予め定められた時間経過後の第２時刻における第１画像データとの差分を抽出し、抽出した差分が予め定められた閾値を超えた場合に、転落者ありと判定し、差がない場合に、転落者なしと判定する。

【0019】

このような態様によれば、たとえば、貯留設備内で転落者の上部に被処理物がかぶさった場合には、貯留設備内を撮像した第１画像データの解析結果では、（転落者の上部に被処理物がかぶさっているため）貯留設備内に人物が検出されなかったとなるが、第２画像データの解析結果において既に転落者が仮検出されていることから、さらに、第１時刻における第１画像データと、第１時刻から予め定められた時間経過後の第２時刻における第１画像データとを比較してそれらの差分を抽出する。そして、第１時刻における第１画像データと第２時刻における第１画像データとの差分が予め定められた閾値を超えた場合には、貯留設備内で被処理物の山が崩れるなどしたと考えられ、崩れた山の被処理物が転落者の上部にかぶさって転落者が見えていない可能性があると考えられることから、転落者ありと判定する。これにより、貯留設備内で転落者の上部に被処理物がかぶさった場合であっても、転落者を自動で検出することが可能となる。

【0020】

本発明の第５の態様に係る転落者検出システムは、第１の態様に係る転落者検出システムであって、
転落者判定部は、第１画像データの解析結果を確認し、第１時刻において貯留設備内に人物が検出された場合に、第１時刻に対して予め定められた時間前までの第２画像データの解析結果を確認し、貯留設備とプラットホームとの間を仕切る投入扉近傍の予め定められた領域内で人物が映像からフレームアウトしていた場合に、転落者ありと判定する。

【0021】

このような態様によれば、貯留設備内を撮像した第１画像データの解析結果を確認し、貯留設備内に人物が検出された場合（すなわち第１画像データの解析結果において転落者が仮検出された場合）に、第２画像データの解析結果を確認し、投入扉近傍で人物が映像からフレームアウトしていた場合（すなわち第２画像データの解析結果においても転落者が仮検出された場合）に、転落者ありと最終判定することで、転落者を正確に検出できる。

【0022】

本発明の第６の態様に係る転落者検出システムは、第５の態様に係る転落者検出システムであって、
転落者判定部は、第１時刻において貯留設備内に人物が検出された場合に、第１時刻に対して予め定められた時間前までの第２画像データのうち貯留設備内で人物が検出された領域に対応する位置の投入扉を撮像した画像の解析結果を確認する。

【0023】

このような態様によれば、投入扉が複数設けられている大型のプラットホームであっても、貯留設備内を撮像した第１画像データの解析結果を確認し、貯留設備内に人物が検出された場合（すなわち第１画像データの解析結果において転落者が仮検出された場合）に、プラットホーム内を撮像した第２画像データ全体の解析結果を確認するのではなく、転落者が発生した可能性の高い位置にある投入扉の画像の解析結果を確認することで、より正確かつ短時間での転落者検出が可能となる。

【0024】

本発明の第７の態様に係る転落者検出システムは、第５または６の態様に係る転落者検出システムであって、
転落者判定部は、第１時刻に対して予め定められた時間前までの第２画像データの解析結果を確認した際に投入扉近傍の予め定められた領域外で人物が映像からフレームアウトしていた場合には、転落者なしと判定する。

【0025】

このような態様によれば、プラットホーム内を撮像した第２画像データにて人物が貯留設備への転落とは無関係な理由（たとえば搬送車両の陰に一時的に隠れた場合など）で映像からフレームアウトしていた場合に、転落者ありと誤判定することを防ぐことができ、転落者検出の正確性を高めることができる。

【0026】

本発明の第８の態様に係る転落者検出システムは、第５～７のいずれかの態様に係る転落者検出システムであって、
転落者判定部は、第１時刻に対して予め定められた時間前までの第２画像データの解析結果を確認した際に投入扉近傍の予め定められた領域内への人物の進入が検出されなかった場合に、転落者なしと判定する。

【0027】

このような態様によれば、貯留施設内を撮像した第１画像データにて、たとえば人物と同程度の大きさの被処理物が誤って人物として検出された場合（すなわち第１画像データの解析結果において誤って転落者が仮検出された場合）であっても、プラットホーム内を撮像した第２画像データの解析結果を確認した際に投入扉近傍への人物の進入が検出されなかった場合に、転落者なしと判定することで、転落者ありと誤判定することを防ぐことができ、転落者検出の正確性を高めることができる。

【0028】

本発明の第９の態様に係る転落者検出システムは、第１～８のいずれかの態様に係る転落者検出システムであって、
転落者判定部により転落者ありと判定された場合に、
（１）警報を発報する、
（２）貯留設備内に貯留された被処理物の攪拌または搬送を行うクレーンを停止するようクレーン制御装置に制御信号を送信する、
（３）貯留設備とプラットホームとの間を仕切る投入扉を閉じるよう投入扉制御装置に制御信号を送信する、
（４）クレーンを動作させて転落者の救出を行うようクレーン制御装置に制御信号を送信する、
（５）貯留設備に設けられた救出用機材を動作させて転落者の救出を行うよう救出用機材制御装置に制御信号を送信する、
のうちの少なくとも１つの処理を行う指示部をさらに備える。

【0029】

このような態様によれば、転落者の迅速な救助が可能となり、施設の安全性を高めることができる。

【0030】

本発明の第１０の態様に係る転落者検出システムは、第１～９のいずれかの態様に係る転落者検出システムであって、
第１画像解析部は、貯留設備内の過去の画像データに対して人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与することにより生成した第１教師データを機械学習することにより構築された第１検出アルゴリズムを用いて、貯留設備内の新たな画像データを入力として、貯留設備内の人物を検出する。

【0031】

本発明の第１１の態様に係る転落者検出システムは、第１～１０のいずれかの態様に係る転落者検出システムであって、
第２画像解析部は、プラットホーム内の過去の画像データに対して人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与することにより生成した第２教師データを機械学習することにより構築された第２検出アルゴリズムを用いて、プラットホーム内の新たな画像データを入力として、プラットホーム内の人物を検出する。

【0032】

本発明の第１２の態様に係る転落者検出システムは、第１１の態様に係る転落者検出システムであって、
第２教師データは、プラットホーム内の過去の画像データに対して人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与するとともに搬入車両が存在している領域に人為的な別のラベルを情報として付与することにより生成したものである。

【0033】

このような態様によれば、プラットホーム内にて人物（たとえば作業員）は搬入車両の近傍で作業している頻度が高く、人物の位置と搬入車両の位置との間には関係性があるため、プラットホーム内の過去の画像データに対して人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与するとともに搬入車両が存在している領域に人為的な別のラベルを情報として付与することにより生成した教師データを機械学習することにより構築された第２検出アルゴリズムを用いることで、プラットホーム内の人物の検出精度を高めることができることに加えて、搬入車両の落下も検出できるようになる。

【0034】

本発明の第１３の態様に係る転落者検出システムは、第１０の態様に係る転落者検出システムであって、
前記第１検出アルゴリズムは、最尤分類法、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの１つまたは２つ以上を含む。

【0035】

本発明の第１４の態様に係る転落者検出システムは、第１１または１２の態様に係る転落者検出システムであって、
前記第２検出アルゴリズムは、最尤分類法、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの１つまたは２つ以上を含む。

【0036】

本発明の第１５の態様に係る転落者検出システムは、第１～１４のいずれかの態様に係る転落者検出システムであって、
前記第２画像解析部が人物の動線の追跡に用いるアルゴリズムは、オプティカルフロー、背景差分法、カルマンフィルタ、パーティクルフィルタ、深層学習、のうちの１つまたは２つ以上を含む。

【0037】

本発明の第１６の態様に係る転落者検出システムは、第１～１５のいずれかの態様に係る転落者検出システムであって、
前記第１カメラは、ＲＧＢカメラ、近赤外線カメラ、３ＤカメラまたはＲＧＢ－Ｄカメラのうちの１つまたは２つ以上を含む。

【0038】

本発明の第１７の態様に係る転落者検出システムは、第１～１６のいずれかの態様に係る転落者検出システムであって、
前記第２カメラは、ＲＧＢカメラ、近赤外線カメラ、３ＤカメラまたはＲＧＢ－Ｄカメラのうちの１つまたは２つ以上を含む。

【0039】

本発明の第１８の態様に係る廃棄物処理施設は、第１～１７のいずれかの態様に係る転落者検出システムを備える。

【0040】

本発明の第１９の態様に係る転落者検出方法は、
被処理物が貯留される貯留設備内を撮像する第１カメラから第１画像データを取得するステップと、
貯留設備に隣接するプラットホーム内を撮像する第２カメラから第２画像データを取得するステップと、
第１画像データを画像解析して貯留設備内の人物を検出するステップと、
第２画像データを画像解析してプラットホーム内の人物を検出し、検出された人物の動線を追跡するステップと、
第１画像データの解析結果と第２画像データの解析結果との組み合わせに基づいて、プラットホームから貯留設備へと転落する転落者の有無を判定するステップと、
を含む。

【0041】

本発明の第２０の態様に係る転落者検出プログラムは、
コンピュータに、
被処理物が貯留される貯留設備内を撮像する第１カメラから第１画像データを取得するステップと、
貯留設備に隣接するプラットホーム内を撮像する第２カメラから第２画像データを取得するステップと、
第１画像データを画像解析して貯留設備内の人物を検出するステップと、
第２画像データを画像解析してプラットホーム内の人物を検出し、検出された人物の動線を追跡するステップと、
第１画像データの解析結果と第２画像データの解析結果との組み合わせに基づいて、プラットホームから貯留設備へと転落する転落者の有無を判定するステップと、
を実行させる。

【発明の効果】

【0042】

本発明によれば、廃棄物焼却施設等の廃棄物処理施設において、廃棄物を貯留する貯留設備への転落者を自動で検出できる。

【図面の簡単な説明】

【0043】

【図1】図１は、一実施の形態に係る廃棄物処理施設の構成を示す概略図である。

【図2】図２は、一実施の形態に係る転落者検出システムの構成を示すブロック図である。

【図3】図３は、一実施の形態に係る転落者検出システムによる転落者検出方法の第１例を示すフローチャートである。

【図4A】図４Ａは、プラットホーム内を撮像した第２画像データの解析結果の一例を示す図である。

【図4B】図４Ｂは、ごみピット内を撮像した第１画像データの解析結果の一例を示す図である。

【図5】図５は、一実施の形態に係る転落者検出システムによる転落者検出方法の第２例を示すフローチャートである。

【図6A】図６Ａは、ごみピット内を撮像した第１画像データの解析結果の一例を示す図である。

【図6B】図６Ｂは、プラットホーム内を撮像した第２画像データの解析結果の一例を示す図である。

【発明を実施するための形態】

【0044】

以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、以下の説明および以下の説明で用いる図面では、同一に構成され得る部分について、同一の符号を用いるとともに、重複する説明を省略する。

【0045】

（廃棄物処理施設の構成）
図１は、一実施の形態に係る廃棄物処理施設１００の構成を示す概略図である。

【0046】

図１に示すように、廃棄物処理施設１００は、廃棄物を積載する搬送車両（パッカー車両や軽トラックなど）２２が停車するプラットホーム２１と、プラットホーム２１から投入される廃棄物が貯留されるごみピット（貯留設備）３と、ごみピット３内に貯留される廃棄物を攪拌および搬送するクレーン５と、クレーン５により搬送される廃棄物が投入されるホッパ４と、ホッパ４から投入された廃棄物を焼却する焼却炉１と、焼却炉１内で生じる排ガスから排熱を回収する排熱ボイラ２と、を備えている。焼却炉１の種類は、図１に示すようなストーカ炉に限られるものではなく、流動炉（流動床炉ともいう）も含まれる。また、ごみピット３の構造は、図１に示すような１段ピットに限られるものではなく、ごみピットを投入部と貯留部に分割した２段ピットも含まれる。ごみピット３とプラットホーム２１との間は投入扉２４により仕切られている。また、廃棄物処理施設１００には、投入扉２４の動作を制御する投入扉制御装置２０と、クレーン５の動作を制御するクレーン制御装置３０とが設けられている。

【0047】

搬送車両２２に積載された状態で搬入される廃棄物は、プラットホーム２１から投入扉２４を介してごみピット３内へと投入され、ごみピット３内にて貯留される。ごみピット３内に貯留される廃棄物は、クレーン５によって攪拌されるとともに、クレーン５によってホッパ４へと搬送され、ホッパ４を介して焼却炉１内部へと投入され、焼却炉１内部にて焼却されて処理される。

【0048】

図１に示すように、廃棄物処理施設１００には、ごみピット３内を撮像する第１カメラ６と、ごみピット３内の廃棄物の種類を識別するごみ識別システム４０とが設けられている。

【0049】

第１カメラ６は、ごみピット３の上方に配置され、図示された例ではクレーン５のレールに固定されており、ごみピット３の上方からごみピット３内に貯留される廃棄物を撮像できるようになっている。第１カメラ６は、１台のみ設置されてもよいし、複数台設置されてもよい。

【0050】

第１カメラ６は、撮像結果として廃棄物の形状および色彩画像データを出力するＲＧＢカメラであってもよいし、撮像結果として廃棄物の近赤外線画像データを出力する近赤外線カメラであってもよいし、撮像結果として廃棄物の３次元画像データを撮像する３ＤカメラまたはＲＧＢ－Ｄカメラであってもよいし、これらのうちの２つ以上の組み合わせであってもよい。

【0051】

ごみ識別システム４０は、ごみピット３内を撮像する第１カメラ６から画像データ（第１画像データともいう）を取得し、第１画像データを画像解析して、ごみピット３内に貯留されている廃棄物の種類を識別する。たとえば、ごみ識別システム４０は、ごみピット３内を撮像した過去の画像データに廃棄物の種類がラベリングされた教師データを機械学習することにより構築された識別アルゴリズム（学習済みモデル）を用いて、ごみピット３内の新たな画像データを入力としてごみピット３内に貯留されている廃棄物の種類を識別してもよい。

【0052】

ごみ識別システム４０は、ごみピット３内に貯留されている廃棄物の種類の識別結果として、廃棄物の種類の比率を領域毎に表示するマップを生成し、クレーン制御装置３０へと送信する。クレーン制御装置３０は、ごみ識別システム４０から受信するマップに基づいて、廃棄物の種類の比率が全ての領域で等しくなるように、クレーン５を動作させてごみピット３内の廃棄物を攪拌させる。これにより、クレーン５の自動運転が可能となる。

【0053】

ごみ識別システム４０としては、具体的には、たとえば、特許６７３１６８０号公報に記載の情報処理装置を利用することができる。

【0054】

図１に示すように、廃棄物処理施設１００には、プラットホーム２１内を撮像する第２カメラ２３と、プラットホーム２１からごみピット３へと転落する転落者を検出する転落者検出システム１０とがさらに設けられている。

【0055】

第２カメラ２３は、プラットホーム２１の上方に配置され、図示された例では投入扉２４の正面付近に位置するプラットホーム２１の壁に固定されており、投入扉２４の正面付近からプラットホーム２１内を撮像できるようになっている。第２カメラ２３は、１台のみ設置されてもよいし、複数台設置されてもよい。

【0056】

第２カメラ２３は、撮像結果として対象物（作業員などの人物や搬送車両２２など）の形状および色彩画像データを出力するＲＧＢカメラであってもよいし、撮像結果として対象物の近赤外線画像データを出力する近赤外線カメラであってもよいし、撮像結果として対象物の３次元画像データを撮像する３ＤカメラまたはＲＧＢ－Ｄカメラであってもよいし、これらのうちの２つ以上の組み合わせであってもよい。

【0057】

（転落者検出システムの構成）
次に、プラットホーム２１からごみピット３へと転落する転落者を検出する転落者検出システム１０の構成について説明する。図２は、転落者検出システム１０の構成を示すブロック図である。転落者検出システム１０は、１台のコンピュータによって構成されてもよいし、互いに通信可能に接続された複数のコンピュータによって構成されてもよい。

【0058】

図２に示すように、転落者検出システム１０は、制御部１１と、記憶部１２と、通信部１３とを有している。各部は、バスやネットワークを介して互いに通信可能に接続されている。

【0059】

このうち通信部１３は、第１カメラ６、第２カメラ２３、クレーン制御装置３０および投入扉制御装置２０に対する通信インターフェースである。通信部１３は、第１カメラ６、第２カメラ２３、クレーン制御装置３０および投入扉制御装置２０の各々と転落者検出システム１０との間で情報を送受信する。

【0060】

記憶部１２は、たとえばハードディスクやフラッシュメモリ等の不揮発性データストレージである。記憶部１２には、制御部１１が取り扱う各種データが記憶される。また、記憶部１２には、後述する第１モデル構築部１１ｃ１により構築された第１検出アルゴリズム１２ａ１と、第２モデル構築部１１ｃ２により構築された第２検出アルゴリズム１２ａ２と、第１画像データ取得部１１ａ１により取得された第１画像データ１２ｂ１と、第２画像データ取得部１１ａ２により取得された第２画像データ１２ｂ２と、第１教師データ生成部１１ｂ１により生成された第１教師データ１２ｃ１と、第２教師データ生成部１１ｂ２により生成された第２教師データ１２ｃ２とが記憶される。

【0061】

制御部１１は、転落者検出システム１０の各種処理を行う制御手段である。図２に示すように、制御部１１は、第１画像データ取得部１１ａ１と、第２画像データ取得部１１ａ２と、第１教師データ生成部１１ｂ１と、第２教師データ生成部１１ｂ２と、第１モデル構築部１１ｃ１と、第２モデル構築部１１ｃ２と、第１画像解析部１１ｄ１と、第１画像解析部１１ｄ２と、転落者判定部１１ｅと、指示部１１ｆと、を有している。これらの各部は、転落者検出システム１０内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

【0062】

このうち第１画像データ取得部１１ａ１は、ごみピット３内を撮像する第１カメラ６から第１画像データを取得する。第１画像データは、動画像であってもよいし、連続した静止画像であってもよい。第１画像データのフレームレートは、一般的なフレームレート（３０ｆｐｓ程度）のものであればよく、特に高フレームレートである必要はなく、また、低フレームレート（５～１０ｆｐｓ程度）であってもよい。第１画像データのメタデータには撮影日時の情報が含まれている。第１画像データ取得部１１ａ１により取得された第１画像データ１２ｂ１は、記憶部１２に記憶される。

【0063】

第２画像データ取得部１１ａ２は、プラットホーム２１内を撮像する第２カメラ２３から第２画像データを取得する。第２画像データは、動画像であってもよいし、連続した静止画像であってもよい。第２画像データのフレームレートは、一般的なフレームレート（３０ｆｐｓ程度）のものであればよく、特に高フレームレートである必要はなく、また、低フレームレート（５～１０ｆｐｓ程度）であってもよい。第２画像データのメタデータには撮影日時の情報が含まれている。第２画像データ取得部１１ａ２により取得された第２画像データ１２ｂ２は、記憶部１２に記憶される。

【0064】

第１教師データ生成部１１ｂ１は、ごみピット３内を撮像した過去の画像データに対して、廃棄物焼却施設１００の運転を行う熟練運転員が目視で識別した人物（すなわち転落者）または人物を模したダミー人形が存在している領域の情報をラベリングする（すなわち、人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与する）ことにより、第１教師データを生成する。一例として、第１教師データ生成部１１ｂ１は、意図的に人物を模したダミー人形がごみピット３内へ投下された後、当該ごみピット３内を撮像した画像データに対して第１教師データを生成してもよいし、ごみピット３内を撮像した過去の画像データに人物の画像を合成した画像データ（合成画像データ）に対して第１教師データを生成してもよい。第１教師データ生成部１１ｂ１は、ごみピット３内を撮像した過去の画像データに対して、廃棄物焼却施設１００の運転を行う熟練運転員が目視で識別した人物（すなわち転落者）または人物を模したダミー人形が存在している領域の情報と搬送車両２２が存在している領域の情報とをラベリングする（すなわち、人物または人物を模したダミー人形が存在している領域と搬送車両が存在している領域に人為的なラベルを情報として付与する）ことにより、第１教師データを生成してもよい。人物または人物を模したダミー人形が存在している領域の情報および搬送車両２２が存在している領域の情報は、たとえばレイヤーとして画像データに重ね合わせた状態でラベリング（すなわち人為的なラベルが情報として付与）される。第１教師データ生成部１１ｂ１により生成された第１教師データ１２ｃ１は、記憶部１２に記憶される。

【0065】

第２教師データ生成部１１ｂ２は、プラットホーム２１内を撮像した過去の画像データに対して、廃棄物焼却施設１００の運転を行う熟練運転員が目視で識別した人物または人物を模したダミー人形が存在している領域の情報をラベリングする（すなわち、人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与する）ことにより、第２教師データを生成する。一例として、第２教師データ生成部１１ｂ２は、意図的に人物を模したダミー人形がプラットホーム２１内に設置された後、当該プラットホーム２１内を撮像した画像データに対して第２教師データを生成してもよいし、プラットホーム２１内を撮像した過去の画像データに人物の画像を合成した画像データ（合成画像データ）に対して第２教師データを生成してもよい。第２教師データ生成部１１ｂ２は、ごみピット３内を撮像した過去の画像データに対して、廃棄物焼却施設１００の運転を行う熟練運転員が目視で識別した人物または人物を模したダミー人形が存在している領域の情報と搬送車両２２が存在している領域の情報の情報とをラベリングする（すなわち、人物または人物を模したダミー人形が存在している領域と搬送車両が存在している領域に人為的なラベルを情報として付与する）ことにより、第２教師データを生成してもよい。プラットホーム２１内にて人物（たとえば作業員）は搬入車両２２の近傍で作業している頻度が高く、人物の位置と搬入車両２２の位置との間には関係性があるため、後述する第２モデル構築１１ｃ２が、プラットホーム２１内を撮像した画像データに対して人物または人物を模したダミー人形が存在している領域に人為的なラベルを情報として付与するとともに搬入車両２２が存在している領域に人為的な別のラベルを情報として付与した教師データを機械学習することにより、第２検出アルゴリズム１２ａ２を構築することで、第２検出アルゴリズム１２ａ２によるプラットホーム２１内の人物の検出精度を高めることができることに加えて、搬送車両２２の落下も検出できるようになる。人物または人物を模したダミー人形が存在している領域の情報および搬送車両２２が存在している領域の情報は、たとえばレイヤーとして画像データに重ね合わせた状態でラベリング（すなわち人為的なラベルが情報として付与）される。第２教師データ生成部１１ｂ２により生成された第２教師データ１２ｃ２は、記憶部１２に記憶される。

【0066】

第１モデル構築部１１ｃ１は、記憶部１２に記憶された第１教師データ１２ｃ１を機械学習することにより、ごみピット３内の新たな画像データを入力としてごみピット３内の人物（すなわち転落者）を検出する第１検出アルゴリズム１２ａ１（学習済みモデル）を構築する。第１検出アルゴリズム１２ａ１は、最尤分類法、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの１つまたは２つ以上を含んでいてもよい。第１モデル構築部１１ｃ１により構築された第１検出アルゴリズム１２ａ１は、記憶部１２に記憶される。

【0067】

第２モデル構築部１１ｃ２は、記憶部１２に記憶された第２教師データ１２ｃ２を機械学習することにより、プラットホーム２１内の新たな画像データを入力としてプラットホーム２１内の人物を検出する第２検出アルゴリズム１２ａ２（学習済みモデル）を構築する。第２検出アルゴリズム１２ａ２は、最尤分類法、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの１つまたは２つ以上を含んでいてもよい。第２モデル構築部１１ｃ２により構築された第２検出アルゴリズム１２ａ２は、記憶部１２に記憶される。

【0068】

第１画像解析部１１ｄ１は、第１画像データ取得部１１ａ１により取得された第１画像データを画像解析してごみピット３内の人物を検出する。具体的には、たとえば、第１画像解析部１１ｄは、第１モデル構築部１１ｃ１により構築された第１検出アルゴリズム１２ａ１（学習済みモデル）を用いて、ごみピット３内の新たな画像データを入力として、ごみピット３内の人物を検出する。一変形例として、第１画像解析部１１ｄ１は、第１画像データ取得部１１ａ１により取得された第１画像データを画像解析してごみピット３内の人物および搬送車両２２を検出してもよい。具体的には、たとえば、第１画像解析部１１ｄは、第１モデル構築部１１ｃ１により構築された第１検出アルゴリズム１２ａ１（学習済みモデル）を用いて、ごみピット３内の新たな画像データを入力として、ごみピット３内の人物および搬送車両２２をそれぞれ検出してもよい。

【0069】

第１画像解析部１１ｄ１は、ごみピット３の表面を複数のブロックに分割し、ごみピット３内の新たな画像データをブロック単位で第１検出アルゴリズム１２ａ１（学習済みモデル）に入力し、ブロック単位で人物（または人物および搬送車両２２）の検出結果を取得してもよい。これにより、ごみピット３内のどの場所に転落者（または転落者および搬送車両２２の転落）が発生したのかを正確に把握することが可能となる。

【0070】

第２画像解析部１１ｄ２は、第２画像データ取得部１１ａ２により取得された第２画像データを画像解析してプラットホーム２１内の人物を検出し、検出された人物の動線を追跡する。具体的には、たとえば、第２画像解析部１１ｄは、第２モデル構築部１１ｃ２により構築された第２検出アルゴリズム１２ａ２（学習済みモデル）を用いて、プラットホーム２１内の新たな画像データを入力として、プラットホーム２１内の人物を検出する。次いで、第２画像解析部１１ｄは、検出された人物をトラッキングし、投入扉２４の近傍の予め定められた領域への人物の進入を検出する。一変形例として、第２画像解析部１１ｄ２は、第２画像データ取得部１１ａ２により取得された第２画像データを画像解析してプラットホーム２１内の人物および搬送車両２２をそれぞれ検出し、検出された人物および搬送車両２２の動線をそれぞれ追跡する。具体的には、たとえば、第２画像解析部１１ｄは、第２モデル構築部１１ｃ２により構築された第２検出アルゴリズム１２ａ２（学習済みモデル）を用いて、プラットホーム２１内の新たな画像データを入力として、プラットホーム２１内の人物および搬送車両２２をそれぞれ検出する。次いで、第２画像解析部１１ｄは、検出された人物および搬送車両２２をそれぞれトラッキングし、投入扉２４の近傍の予め定められた領域への人物および搬送車両２２の進入を検出する。トラッキングに用いるアルゴリズムは、オプティカルフロー、背景差分法、カルマンフィルタ、パーティクルフィルタ、深層学習、のうちの１つまたは２つ以上を含んでいてもよい。

【0071】

一変形例として、第２画像解析部１１ｄ２は、第２画像データ取得部１１ａ２により取得された第２画像データを画像解析してプラットホーム２１内の人物を検出し、検出された人物の動線を追跡するとともに、検出された人物の安全装備（安全帯またはヘルメット）の着用状況を画像処理により検出し、安全装備を着用せずに投入扉２４付近で作業している人物がいるか否かを判定してもよい。そして、安全装備を着用せずに投入扉２４付近で作業している人物がいると判定された場合には、後述する指示部１１ｆは、警報（アラーム）を発報してもよいし、投入扉２４を（閉じている場合には）開かなくしたり（開いている場合には）閉じたりするよう投入扉制御装置２０に制御信号を送信してもよい。

【0072】

転落者判定部１１ｅは、第１画像解析部１１ｄ１による第１画像データの解析結果と第２画像解析部１１ｄ２による第２画像データの解析結果との組み合わせに基づいて、プラットホーム２１からごみピット３へと転落する転落者の有無を判定する。一般に、機械学習モデルを利用して画像データから転落者を検出する場合には、機械学習モデルの検出精度は様々であり、１００％の精度で転落者を検出することは不可能であるが、本実施の形態では、ごみピット３内を撮像した第１画像データの解析結果と、プラットホーム２１内を撮像した第２画像データの解析結果とを組み合わせることで、転落者の検出精度を上げることができる。

【0073】

一例として、転落者判定部１１ｅは、まず、第２画像データの解析結果を確認し、図４Ａに示すように、第１時刻において投入扉２４の近傍の予め定められた領域への人物の進入が検出された場合（すなわち第２画像データの解析結果において転落者が仮検出された場合）に、第１時刻における第１画像データの解析結果を確認し、図４Ｂに示すように、ごみピット３内に人物が検出された場合（すなわち第１画像データの解析結果においても転落者が仮検出された場合）に、転落者ありと最終判定してもよい。これにより、転落者を正確に検出することが可能となる。

【0074】

転落者判定部１１ｅは、図４Ａに示すように、第１時刻において投入扉２５（図示された例では投入扉Ｂ）の近傍の予め定められた領域への人物の進入が検出された場合に、図４Ｂに示すように、第１時刻における第１画像データのうち当該投入扉（すなわち投入扉Ｂ）の位置に対応するごみピット３内の領域（図４Ｂにおいて符号Ｂ１を付した一点鎖線で囲まれた領域）を撮像した画像の解析結果を確認してもよい。これにより、投入扉２４が複数設けられている大型のごみピット３であっても、プラットホーム２１内を撮像した第２画像データの解析結果を確認し、投入扉Ｂの近傍の予め定められた領域への人物の進入が検出された場合に、ごみピット３内を撮像した第１画像データ全体の解析結果を確認するのではなく、転落者が発生した可能性の高い投入扉Ｂの位置に対応するごみピット３内の領域Ｂ１の画像の解析結果を確認することで、より正確かつ短時間での転落者検出が可能となる。

【0075】

また、転落者判定部１１ｅは、第１時刻における第１画像データの解析結果を確認した際にごみピット３内に人物が検出されなかった場合には、第１時刻における第１画像データと、第１時刻から予め定められた時間経過後（たとえば５分後）の第２時刻における第１画像データとを比較してそれらの差分を抽出し、第１時刻における第１画像データと第２時刻における第１画像データとの差分が予め定められた閾値を超えた場合に、転落者ありと判定し、差がない場合に、転落者なしと判定してもよい。この理由は、以下のとおりである。すなわち、たとえば、ごみピット３内で転落者の上部に廃棄物がかぶさった場合には、第１画像データの解析結果では、（転落者の上部に廃棄物がかぶさっているため）ごみピット３内に人物が検出されなかったとなるが、第２画像データの解析結果において既に転落者が仮検出されているのであるから、さらに、第１時刻における第１画像データと第２時刻における第１画像データとを比較してそれらの差分を抽出する。そして、第１時刻における第１画像データと第２時刻における第１画像データとの差分が予め定められた閾値を超えた場合には、ごみピット３内で廃棄物の山が崩れるなどしたと考えられ、崩れた山の廃棄物が転落者の上部にかぶさって転落者が見えていない可能性があると考えられることから、転落者ありと判定する。これにより、ごみピット３内で転落者の上部に廃棄物がかぶさった場合であっても、転落者を自動で検出することが可能となる。

【0076】

一変形として、転落者判定部１１ｅは、まず、第１画像データの解析結果を確認し、図６Ａに示すように、第１時刻においてごみピット３内に人物が検出された場合（すなわち第１画像データの解析結果において転落者が仮検出された場合）に、第１時刻に対して予め定められた時間前（たとえば５分前）までの第２画像データの解析結果を確認し、図６Ｂに示すように、投入扉２４の近傍の予め定められた領域内で人物が映像からフレームアウトしていた場合（すなわち第２画像データの解析結果においても転落者が仮検出された場合）に、転落者ありと最終判定してもよい。これにより、転落者を正確に検出することが可能となる。

【0077】

転落者判定部１１ｅは、図６Ａに示すように、第１時刻においてごみピット３内に人物が検出された場合に、図６Ｂに示すように、第１時刻に対して予め定められた時間前（たとえば５分前）までの第２画像データのうちごみピット３内で人物が検出された領域（図６Ａにおいて符号Ｂ２を付した一点鎖線で囲まれた領域）に対応する位置の投入扉（図示された例では投入扉Ｂ）を撮像した画像の解析結果を確認してもよい。これにより、投入扉２４が複数設けられている大型のプラットホーム２１であっても、ごみピット３内を撮像した第１画像データの解析結果を確認し、ごみピット３内に人物が検出された場合に、プラットホーム２１内を撮像した第２画像データ全体の解析結果を確認するのではなく、転落者が発生した可能性の高い位置にある投入扉Ｂの画像の解析結果を確認することで、より正確かつ短時間での転落者検出が可能となる。

【0078】

また、転落者判定部１１ｅは、第１時刻に対して予め定められた時間前（たとえば５分前）までの第２画像データの解析結果を確認した際に投入扉２４の近傍の予め定められた領域外で人物が映像からフレームアウトしていた場合には、転落者なしと判定してもよい。これにより、プラットホーム２１内を撮像した第２画像データにて人物がごみピット３への転落とは無関係な理由（たとえば搬送車両２２の陰に一時的に隠れた場合など）で映像からフレームアウトしていた場合に、転落者ありと誤判定することを防ぐことができ、転落者検出の正確性を高めることができる。

【0079】

また、転落者判定部１１ｅは、第１時刻に対して予め定められた時間前（たとえば５分前）までの第２画像データの解析結果を確認した際に投入扉２４の近傍の予め定められた領域内への人物の進入が検出されなかった場合に、転落者なしと判定してもよい。これにより、ごみピット３内を撮像した第１画像データにて、たとえば人物と同程度の大きさの廃棄物が誤って人物として検出された場合（すなわち第１画像データの解析結果において誤って転落者が仮検出された場合）であっても、プラットホーム２１内を撮像した第２画像データの解析結果を確認した際に投入扉２４の近傍への人物の進入が検出されなかった場合に、転落者なしと判定することで、転落者ありと誤判定することを防ぐことができ、転落者検出の正確性を高めることができる。

【0080】

指示部１１ｆは、転落者判定部１１ｅによる判定結果を確認し、転落者判定部１１ｅにより転落者ありと判定された場合に、
（１）警報（アラーム）を発報する、
（２）ごみピット３内に貯留された廃棄物の攪拌または搬送を行うクレーン５を停止するようクレーン制御装置３０に制御信号を送信する、
（３）ごみピット３とプラットホーム２１との間を仕切る投入扉２４を閉じるよう投入扉制御装置２０に制御信号を送信する、
（４）クレーン５を動作させて転落者の救出を行うようクレーン制御装置３０に制御信号を送信する、
（５）ごみピット３に設けられた救出用機材（不図示）を動作させて転落者の救出を行うよう救出用機材制御装置（不図示）に制御信号を送信する、
のうちの少なくとも１つの処理を行う。これにより、クレーン５の自動運転中（すなわち、クレーン運転士の不在時）に転落者が発生した場合であっても、転落者の迅速な救助が可能となり、施設の安全性を高めることができる。

【0081】

（転落者検出方法の第１例）
次に、このような構成からなる転落者検出システム１０による転落者検出方法の第１例について説明する。図３は、転落者検出方法の第１例を示すフローチャートである。

【0082】

図３に示すように、まず、第１画像データ取得部１１ａ１が、ごみピット３内を撮像する第１カメラ６から第１画像データを取得する（ステップＳ１０）。取得された第１画像データ１２ｂ１は、記憶部１２に記憶される。

【0083】

次いで、第２画像データ取得部１１ａ２が、プラットホーム２１内を撮像する第２カメラ２３から第２画像データを取得する（ステップＳ１１）。取得された第１画像データ１２ｂ２は、記憶部１２に記憶される。なお、ステップＳ１０とステップＳ１１の順番はどちらが先でもよく、同時であってもよい。

【0084】

次に、第２画像解析部１１ｄ２が、第２画像データ取得部１１ａ２により取得された第２画像データを画像解析してプラットホーム２１内の人物を検出し、検出された人物の動線を追跡する（ステップＳ１２）。

【0085】

転落者判定部１１ｅは、第２画像解析部１１ｄ２による第２画像データの解析結果を確認する（ステップＳ１３）。

【0086】

第１時刻において投入扉２４の近傍の予め定められた領域への人物の進入が検出されなかった場合（すなわち第２画像データの解析結果において転落者が仮検出されなかった場合）には（ステップＳ１３：ＮＯ）、転落者判定部１１ｅは、転落者なしと判定する（ステップＳ１９）。

【0087】

他方、図４Ａに示すように、第１時刻において投入扉２４の近傍の予め定められた領域への人物の進入が検出された場合（すなわち第２画像データの解析結果において転落者が仮検出された場合）には（ステップＳ１３：ＹＥＳ）、第１画像解析部１１ｄ１は、第１画像データ取得部１１ａ１により取得された第１時刻における第１画像データを画像解析してごみピット３内の人物を検出する（ステップＳ１４）。

【0088】

そして、転落者判定部１１ｅは、第１画像解析部１１ｄ１による第１時刻における第１画像データの解析結果を確認する（ステップＳ１５）。ここで、転落者判定部１１ｅは、図４Ａに示すように、第１時刻において投入扉２５（図示された例では投入扉Ｂ）の近傍の予め定められた領域への人物の進入が検出された場合に、図４Ｂに示すように、第１時刻における第１画像データのうち当該投入扉（すなわち投入扉Ｂ）の位置に対応するごみピット３内の領域（図４Ｂにおいて符号Ｂ１を付した一点鎖線で囲まれた領域）を撮像した画像の解析結果を確認してもよい。

【0089】

図４Ｂに示すように、ごみピット３内に人物が検出された場合（すなわち第１画像データの解析結果においても転落者が仮検出された場合）には（ステップ１５：ＹＥＳ）、転落者判定部１１ｅは、転落者ありと判定する（ステップＳ１７）。

【0090】

他方、ごみピット３内に人物が検出されなかった場合（すなわち第１画像データの解析結果において転落者が仮検出されなかった場合）には（ステップ１５：ＮＯ）、転落者判定部１１ｅは、第１時刻における第１画像データと、第１時刻から予め定められた時間経過後（たとえば５分後）の第２時刻における第１画像データとの差分を抽出し、抽出した差分を予め定められた閾値と比較する（ステップＳ１６）。

【0091】

第１時刻における第１画像データと第２時刻における第１画像データとの差分が予め定められた閾値を超えた場合には（ステップＳ１６：ＹＥＳ）、ごみピット３内で廃棄物の山が崩れるなどしたと考えられ、崩れた山の廃棄物が転落者の上部にかぶさって転落者が見えていない可能性があると考えられることから、転落者判定部１１ｅは、転落者ありと判定する（ステップＳ１７）。

【0092】

他方、第１時刻における第１画像データと第２時刻における第１画像データとの差分が予め定められた閾値を超えていない場合には（ステップＳ１６：ＮＯ）、転落者判定部１１ｅは、転落者なしと判定する（ステップＳ１９）。

【0093】

そして、転落者判定部１１ｅが転落者ありと判定した場合には（ステップＳ１７の後）、指示部１１ｆは、他の作業員へ周知するために警報（アラーム）を発報するとともに、クレーン５を停止するようクレーン制御装置３０に制御信号を送信する（ステップＳ１８）。

【0094】

ステップＳ１８において、指示部１１ｆは、転落者の上に廃棄物が投入されて救助が困難になることを防止するために、ごみピット３とプラットホーム２１との間を仕切る投入扉２４を閉じるよう投入扉制御装置２０に制御信号を送信してもよい。また、指示部１１ｆは、クレーン５を停止するようクレーン制御装置３０に制御信号を送信する代わりに、クレーン５を動作させて転落者の救出を行うようクレーン制御装置３０に制御信号を送信してもよい。また、指示部１１ｆは、ごみピット３に設けられた救出用機材（不図示）を動作させて転落者の救出を行うよう救出用機材制御装置（不図示）に制御信号を送信してもよい。これにより、クレーン５の自動運転中（すなわち、クレーン運転士の不在時）に転落者が発生した場合であっても、転落者の迅速な救助が可能となる。

【0095】

（転落者検出方法の第２例）
次に、転落者検出システム１０による転落者検出方法の第２例について説明する。図５は、転落者検出方法の第２例を示すフローチャートである。

【0096】

図５に示すように、まず、第１画像データ取得部１１ａ１が、ごみピット３内を撮像する第１カメラ６から第１画像データを取得する（ステップＳ２０）。取得された第１画像データ１２ｂ１は、記憶部１２に記憶される。

【0097】

次いで、第２画像データ取得部１１ａ２が、プラットホーム２１内を撮像する第２カメラ２３から第２画像データを取得する（ステップＳ２１）。取得された第１画像データ１２ｂ２は、記憶部１２に記憶される。なお、ステップＳ２０とステップＳ２１の順番はどちらが先でもよく、同時であってもよい。

【0098】

次に、第１画像解析部１１ｄ１が、第１画像データ取得部１１ａ１により取得された第１画像データを画像解析してごみピット３内の人物を検出する（ステップＳ２２）。

【0099】

転落者判定部１１ｅは、第１画像解析部１１ｄ１による第１画像データの解析結果を確認する（ステップＳ２３）。

【0100】

第１時刻においてごみピット３内に人物が検出されなかった場合（すなわち第１画像データの解析結果において転落者が仮検出されなかった場合）には（ステップＳ２３：ＮＯ）、転落者判定部１１ｅは、転落者なしと判定する（ステップＳ２９）。

【0101】

他方、図６Ａに示すように、第１時刻においてごみピット３内に人物が検出された場合（すなわち第１画像データの解析結果において転落者が仮検出された場合）には（ステップＳ２３：ＹＥＳ）、第２画像解析部１１ｄ２は、第２画像データ取得部１１ａ２により取得された第２画像データのうち、第１時刻に対して予め定められた時間前（たとえば５分前）までの第２画像データを画像解析してプラットホーム２１内の人物を検出し、検出された人物の動線を追跡する（ステップＳ２４）。

【0102】

そして、転落者判定部１１ｅは、第２画像解析部１１ｄ２による第２画像データの解析結果において、投入扉２４の近傍の予め定められた領域内への人物の進入が検出されたか否かを確認する（ステップＳ２５）。ここで、転落者判定部１１ｅは、図６Ａに示すように、第１時刻においてごみピット３内に人物が検出された場合に、図６Ｂに示すように、第１時刻に対して予め定められた時間前（たとえば５分前）までの第２画像データのうちごみピット３内で人物が検出された領域（図６Ａにおいて符号Ｂ２を付した一点鎖線で囲まれた領域）に対応する位置の投入扉（図示された例では投入扉Ｂ）を撮像した画像の解析結果を確認してもよい。

【0103】

投入扉２４の近傍の予め定められた領域内への人物の進入が検出されなかった場合（すなわち第２画像データの解析結果において転落者が仮検出されなかった場合）には（ステップＳ２５：ＮＯ）、転落者判定部１１ｅは、転落者なしと判定する（ステップＳ２９）。

【0104】

他方、図６Ａに示すように、第２画像データの解析結果において投入扉２４の近傍の予め定められた領域内への人物の進入が検出された場合には（ステップＳ２５：ＹＥＳ）、転落者判定部１１ｅは、第２画像データの解析結果において、投入扉２４の近傍の予め定められた領域内で人物が映像からフレームアウトしていたか否かを確認する（ステップＳ２６）。

【0105】

投入扉２４の近傍の予め定められた領域内で人物が映像からフレームアウトしていた場合（すなわち第２画像データの解析結果においても転落者が仮検出された場合）には（ステップＳ２６：ＹＥＳ）、転落者判定部１１ｅは、転落者ありと判定する（ステップＳ２７）。

【0106】

他方、投入扉２４の近傍の予め定められた領域内で人物が映像からフレームアウトしていなかった場合には（ステップＳ２６：ＮＯ）、転落者判定部１１ｅは、転落者なしと判定する（ステップＳ２９）。

【0107】

そして、転落者判定部１１ｅが転落者ありと判定した場合には（ステップＳ２７の後）、指示部１１ｆは、他の作業員へ周知するために警報（アラーム）を発報するとともに、クレーン５を停止するようクレーン制御装置３０に制御信号を送信する（ステップＳ２８）。

【0108】

ステップＳ２８において、指示部１１ｆは、転落者の上に廃棄物が投入されて救助が困難になることを防止するために、ごみピット３とプラットホーム２１との間を仕切る投入扉２４を閉じるよう投入扉制御装置２０に制御信号を送信してもよい。また、指示部１１ｆは、クレーン５を停止するようクレーン制御装置３０に制御信号を送信する代わりに、クレーン５を動作させて転落者の救出を行うようクレーン制御装置３０に制御信号を送信してもよい。また、指示部１１ｆは、ごみピット３に設けられた救出用機材（不図示）を動作させて転落者の救出を行うよう救出用機材制御装置（不図示）に制御信号を送信してもよい。これにより、クレーン５の自動運転中（すなわち、クレーン運転士の不在時）に転落者が発生した場合であっても、転落者の迅速な救助が可能となる。

【0109】

ところで、廃棄物焼却施設では、転落起因側であるプラットホーム２１と転落結果側であるごみピット３との間がごみ投入扉２４で仕切られているため、鉄道業界で用いられている転落者検出システムのように、転落起因側と転落結果側を同時に撮影できる場所にカメラなどの撮像装置を設置することが困難である。

【0110】

これに対し、本実施の形態によれば、転落起因側と転落結果側を同時に撮影できる場所にカメラを設置しなくても、転落結果側であるごみピット３内を撮像する第１カメラ６から第１画像データを取得するとともに、転落起因側であるプラットホーム２１内を撮像する第２カメラ２３から第２画像データを取得し、ごみピット３内を撮像した第１画像データの解析結果と、プラットホーム２１内を撮像した第２画像データの解析結果とを組み合わせることにより、プラットホーム２１からごみピット３へと転落する転落者を自動で検出できる。

【0111】

一般に、機械学習モデルを利用して画像データから転落者を検出する場合には、機械学習モデルの検出精度は様々であり、１００％の精度で転落者を検出することは不可能であるが、本実施の形態によれば、ごみピット３内を撮像した第１画像データの解析結果と、プラットホーム２１内を撮像した第２画像データの解析結果とを組み合わせることで、転落者の検出精度を上げることができる。

【0112】

また、本実施の形態によれば、既存施設であっても、ごみピット３内を撮像する第１カメラ６とプラットホーム２１内を撮像する第２カメラ２３とを追加で設置するだけで、本件システムの動作が可能となるため、本件システムの導入にあたって既存施設の大幅な改造は不要であり、安価に既存施設の安全性を高めることが可能となる。

【0113】

なお、上述した実施の形態において、転落者検出システム１０が設けられている廃棄物処理施設１００は、ごみ識別システム４０が設けられている施設であり、ごみ識別システム４０の識別結果に基いてクレーン５の自動運転が行われるように構成されていたが、これに限定されるものではなく、転落者検出システム１０が設けられている廃棄物処理施設１００は、ごみ識別システム４０が設けられていない施設であってもよい。

【0114】

また、上述した実施の形態では、転落者検出システム１０は、ごみピット３内を撮像した第１画像データの解析結果と、プラットホーム２１内を撮像した第２画像データの解析結果との組み合わせに基づいて、転落者の有無を判定するように構成されていたが、第１画像データの解析結果のみで十分な検出精度が得られる場合には、第１画像データの解析結果のみに基づいて転落者の有無を判定してもよいし、第２画像データの解析結果のみで十分な検出精度が得られる場合には、第２画像データの解析結果のみに基づいて転落者の有無を判定してもよい。

【0115】

以上、本発明の実施の形態および変形例を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。また、各実施の形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0116】

また、本実施の形態に係る転落者検出システム１０は１つまたは複数のコンピュータによって構成され得るが、１つまたは複数のコンピュータに転落者検出システム１０を実現させるためのプログラム及び当該プログラムを非一時的に記録した記録媒体も、本件の保護対象である。

【符号の説明】

【0117】

１ 焼却炉
２ 燃焼装置
３ ごみピット
４ ホッパ
５ クレーン
６ 第１カメラ
１０ 転落者検出システム
１１ 制御部
１１ａ１ 第１画像データ取得部
１１ａ２ 第２画像データ取得部
１１ｂ１ 第１教師データ生成部
１１ｂ２ 第２教師データ生成部
１１ｃ１ 第１モデル構築部
１１ｃ２ 第２モデル構築部
１１ｄ１ 第１画像解析部
１１ｄ２ 第２画像解析部
１１ｅ 転落者判定部
１１ｆ 指示部
１２ 記憶部
１２ａ１ 第１検出アルゴリズム
１２ａ２ 第２検出アルゴリズム
１２ｂ１ 第１画像データ
１２ｂ２ 第２画像データ
１２ｃ１ 第１教師データ
１２ｃ２ 第２教師データ
１３ 通信部
２０ 投入扉制御装置
２１ プラットホーム
２２ 搬送車両
２３ 第２カメラ
２４ 投入扉
３０ クレーン制御装置
４０ ごみ識別システム
１００ 廃棄物処理施設

【要約】      （修正有）

【課題】被処理物を貯留する設備へ転落した人を自動的に検出する転落者検出システム、転落者検出方法及び転落者検出プログラムを提供する。
【解決手段】廃棄物処理施設において、転落者検出システム１０は、被処理物が貯留される貯留設備内を撮像する第１カメラから第１画像データを取得する第１画像データ取得部と、貯留設備に隣接するプラットホーム内を撮像する第２カメラから第２画像データを取得する第２画像データ取得部と、第１画像データを画像解析して貯留設備内の人物を検出する第１画像解析部と、第２画像データを画像解析してプラットホーム内の人物を検出し、検出された人物の動線を追跡する第２画像解析部と、第１画像データの解析結果と第２画像データの解析結果との組み合わせに基づいて、プラットホームから貯留設備へと転落する転落者の有無を判定する転落者判定部と、を備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】