特許 7548837 ごみクレーン制御システム、ごみクレーン制御方法、情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】ごみクレーン制御システム、ごみクレーン制御方法、情報処理装置、及びプログラム

(51)【国際特許分類】

   B66C 13/48 20060101AFI20240903BHJP

   G06T 7/70 20170101ALI20240903BHJP

   F23G 5/44 20060101ALI20240903BHJP

   F23G 5/02 20060101ALI20240903BHJP

   F23G 5/50 20060101ALI20240903BHJP

   B09B 5/00 20060101ALI20240903BHJP

【ＦＩ】

B66C13/48 A

G06T7/70 A

F23G5/44 B ZAB

F23G5/02 D

F23G5/50 Q

B09B5/00 M

【請求項の数】 21

(21)【出願番号】P 2021018145

(22)【出願日】2021-02-08

(65)【公開番号】P2022029405

(43)【公開日】2022-02-17

【審査請求日】2023-09-01

(31)【優先権主張番号】P 2020132461

(32)【優先日】2020-08-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】100125645

【弁理士】

【氏名又は名称】是枝 洋介

(74)【代理人】

【識別番号】100145609

【弁理士】

【氏名又は名称】楠屋 宏行

(74)【代理人】

【識別番号】100149490

【弁理士】

【氏名又は名称】羽柴 拓司

(72)【発明者】

【氏名】福川 宙季

(72)【発明者】

【氏名】江口 徹

(72)【発明者】

【氏名】尾崎 圭太

【審査官】八板 直人

(56)【参考文献】

【文献】特開２０２０－０３８０５８（ＪＰ，Ａ）

【文献】特開２０１７－２１８３１６（ＪＰ，Ａ）

【文献】特開２０１５－１２４９５５（ＪＰ，Ａ）

【文献】特開２０１９－１４８４０９（ＪＰ，Ａ）

【文献】特開２０１４－１２６３２１（ＪＰ，Ａ）

【文献】米国特許第０５５４４５９８（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｃ １３／００－１５／０６

Ｇ０６Ｔ ７／７０

Ｆ２３Ｇ ５／００－５／０２；５／０３３－５／１２；５／４０－５／５０

Ｆ２３Ｃ ９／０８；１３／００－１３／０８；９９／００

Ｆ２３Ｄ １／００－１／０６；１７／００－９９／００

Ｆ２３Ｋ １／００－３／２２

Ｂ０９Ｂ １／００－５／００

Ｂ０９Ｃ １／００－１／１０

(57)【特許請求の範囲】

【請求項1】

ごみピットに貯留されたごみをバケットにより掴むためのクレーンと、
前記ごみピットを撮影して画像を生成するカメラと、
前記画像に基づいて、単位区画毎のごみ種を表すごみ種マップを作成するマップ作成部と、
前記バケットの大きさに対応するフィルタを前記ごみ種マップ内で走査して、各位置におけるごみの撹拌度を評価する撹拌度評価部と、
前記各位置におけるごみの撹拌度に基づいて、前記バケットの行先を決定する行先決定部と、
前記決定された行先まで前記バケットを移動させるクレーン制御部と、
を備え、
前記撹拌度評価部は、前記バケットが掴むことが可能な第１の範囲に対応する第１のフィルタで前記ごみ種マップ内を走査し、前記撹拌度が最大又は最小となる位置が複数あった場合に、前記第１の範囲よりも大きい第２の範囲に対応する第２のフィルタで前記第１のフィルタによる計算結果マップ内を走査し、前記撹拌度を評価する、
ごみクレーン制御システム。

【請求項2】

前記行先決定部は、前記撹拌度が最大の位置を、積替操作用の行先として決定する、
請求項１に記載のごみクレーン制御システム。

【請求項3】

前記行先決定部は、前記撹拌度が最小の位置を、撹拌操作用の行先として決定する、
請求項１に記載のごみクレーン制御システム。

【請求項4】

前記第１のフィルタは、合計値フィルタである、
請求項１ないし３の何れかに記載のごみクレーン制御システム。

【請求項5】

前記第２のフィルタは、平滑化フィルタである、
請求項１ないし４の何れかに記載のごみクレーン制御システム。

【請求項6】

前記行先決定部は、前記各位置におけるごみの撹拌度及び前記バケットの現在位置からの距離に基づいて、前記バケットの行先を決定する、
請求項１ないし５の何れかに記載のごみクレーン制御システム。

【請求項7】

前記ごみ種マップは、前記カメラにより撮影された画像を射影変換して視点が真上となった鳥瞰画像に基づいて作成される、
請求項１ないし６の何れかに記載のごみクレーン制御システム。

【請求項8】

前記ごみピットにおけるごみ高さを計測する高さ計測部をさらに備え、
前記マップ作成部は、ごみ高さデータに基づいて、単位区画毎のごみ高さを表すごみ高さマップを作成し、
前記行先決定部は、前記各位置におけるごみの撹拌度及び高さに基づいて、前記バケットの行先を決定する、
請求項１ないし７の何れかに記載のごみクレーン制御システム。

【請求項9】

前記マップ作成部は、前記カメラにより撮影された画像を射影変換して視点が真上となった鳥瞰画像に基づいて作成された前記ごみ種マップと共通の単位区画で前記ごみ高さマップを作成する、
請求項８に記載のごみクレーン制御システム。

【請求項10】

前記マップ作成部は、前記ごみ高さデータを前記高さ計測部の座標系から前記カメラの座標系に変換して、前記カメラにより撮影された画像に基づいて作成された前記ごみ種マップと共通の単位区画で前記ごみ高さマップを作成する、
請求項８に記載のごみクレーン制御システム。

【請求項11】

前記ごみピットに貯留されたごみの３次元形状を計測し、前記３次元形状を表す点群データを生成する高さ計測部と、
前記点群データの各点に、対応する前記画像内の位置の前記撹拌度を関連付ける数値処理部と、
をさらに備え、
前記行先決定部は、前記点群データの各点の座標及び関連付けられた前記撹拌度に基づいて、前記点群データの複数の点の中から前記バケットの行先を決定する、
請求項１ないし７の何れかに記載のごみクレーン制御システム。

【請求項12】

前記数値処理部は、前記点群データの各点に、対応する前記画像内の位置の前記ごみ種を関連付ける、
請求項１１に記載のごみクレーン制御システム。

【請求項13】

前記数値処理部は、前記点群データの座標系を前記画像の座標系に変換することで、前記点群データの点と前記画像内の位置とを対応付ける、
請求項１１または１２に記載のごみクレーン制御システム。

【請求項14】

前記数値処理部は、前記点群データの各点に、対応する前記クレーンのエンコーダ座標を関連付け、
前記行先決定部は、前記バケットの行先に対応する前記クレーンのエンコーダ座標を、前記クレーン制御部に提供する、
請求項１１ないし１３の何れかに記載のごみクレーン制御システム。

【請求項15】

前記数値処理部は、前記クレーンの現在位置から前記点群データの各点までの距離を算出し、
前記行先決定部は、前記距離に基づいて、前記バケットの行先及び順番を決定する、
請求項１１ないし１４の何れかに記載のごみクレーン制御システム。

【請求項16】

前記行先決定部は、前記点群データの各点の高さ、関連付けられた前記撹拌度、及び前記クレーンの現在位置からの距離のそれぞれに所定の重みを付与して加算した評価式に基づいて、前記クレーンの行先及び順番を決定する、
請求項１１ないし１５の何れかに記載のごみクレーン制御システム。

【請求項17】

前記行先決定部は、前記クレーンの操作内容、前記点群データの各点の高さ、関連付けられた前記撹拌度、及び前記クレーンの現在位置からの距離に基づいて、前記クレーンの行先及び順番を決定する、
請求項１１ないし１６の何れかに記載のごみクレーン制御システム。

【請求項18】

前記撹拌度評価部は、前記フィルタを前記点群データの点単位で走査して、各点における前記撹拌度を評価する、
請求項１１ないし１７の何れかに記載のごみクレーン制御システム。

【請求項19】

ごみが貯留されたごみピットをカメラにより撮影して画像を生成し、
前記画像に基づいて、単位区画毎のごみ種を表すごみ種マップを作成し、
クレーンのバケットの大きさに対応するフィルタを前記ごみ種マップ内で走査して、各位置におけるごみの撹拌度を評価し、
前記各位置におけるごみの撹拌度に基づいて、前記バケットの行先を決定し、
前記決定された行先まで前記バケットを移動させる、
ごみクレーン制御方法であって、
前記撹拌度の評価は、前記バケットが掴むことが可能な第１の範囲に対応する第１のフィルタで前記ごみ種マップ内を走査し、前記撹拌度が最大又は最小となる位置が複数あった場合に、前記第１の範囲よりも大きい第２の範囲に対応する第２のフィルタで前記第１のフィルタによる計算結果マップ内を走査し、前記撹拌度を評価する、
ごみクレーン制御方法。

【請求項20】

ごみが貯留されたごみピットを撮影するカメラにより生成された画像に基づいて、単位区画毎のごみ種を表すごみ種マップを作成するマップ作成部と、
クレーンのバケットの大きさに対応するフィルタを前記ごみ種マップ内で走査して、各位置におけるごみの撹拌度を評価する撹拌度評価部と、
前記各位置におけるごみの撹拌度に基づいて、前記バケットの行先を決定する行先決定部と、
を備え、
前記撹拌度評価部は、前記バケットが掴むことが可能な第１の範囲に対応する第１のフィルタで前記ごみ種マップ内を走査し、前記撹拌度が最大又は最小となる位置が複数あった場合に、前記第１の範囲よりも大きい第２の範囲に対応する第２のフィルタで前記第１のフィルタによる計算結果マップ内を走査し、前記撹拌度を評価する、
情報処理装置。

【請求項21】

ごみが貯留されたごみピットを撮影するカメラにより生成された画像に基づいて、単位区画毎のごみ種を表すごみ種マップを作成すること、
クレーンのバケットの大きさに対応するフィルタを前記ごみ種マップ内で走査して、各位置におけるごみの撹拌度を評価すること、
前記各位置におけるごみの撹拌度に基づいて、前記バケットの行先を決定すること、
をコンピュータに実行させ、
前記撹拌度の評価は、前記バケットが掴むことが可能な第１の範囲に対応する第１のフィルタで前記ごみ種マップ内を走査し、前記撹拌度が最大又は最小となる位置が複数あった場合に、前記第１の範囲よりも大きい第２の範囲に対応する第２のフィルタで前記第１のフィルタによる計算結果マップ内を走査し、前記撹拌度を評価する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ごみクレーン制御システム、ごみクレーン制御方法、情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、ごみピット内に貯留される廃棄物を撮像した画像に対応付けられた教師データを生成し、教師データを用いた学習によって、モデルを構築し、ごみピット内に貯留される廃棄物を撮像した新たな画像のデータを、モデルに入力して、新たな画像に対応する廃棄物の質を表す値を取得する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２０７０９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上記従来技術のように廃棄物の質を推定するだけでは、クレーンによる作業の効率化を図ることは困難である。

【0005】

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、クレーンによる作業の効率化を図ることが可能な、ごみクレーン制御システム、ごみクレーン制御方法、情報処理装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の一の態様のごみクレーン制御システムは、ごみピットに貯留されたごみをバケットにより掴むためのクレーンと、前記ごみピットを撮影して画像を生成するカメラと、前記画像に基づいて、単位区画毎のごみ種を表すごみ種マップを作成するマップ作成部と、前記バケットの大きさに対応するフィルタを前記ごみ種マップ内で走査して、各位置におけるごみの撹拌度を評価する撹拌度評価部と、前記各位置におけるごみの撹拌度に基づいて、前記バケットの行先を決定する行先決定部と、前記決定された行先まで前記バケットを移動させるクレーン制御部と、を備える。

【0007】

また、本発明の他の態様のごみクレーン制御方法は、ごみが貯留されたごみピットをカメラにより撮影して画像を生成し、前記画像に基づいて、単位区画毎のごみ種を表すごみ種マップを作成し、クレーンのバケットの大きさに対応するフィルタを前記ごみ種マップ内で走査して、各位置におけるごみの撹拌度を評価し、前記各位置におけるごみの撹拌度に基づいて、前記バケットの行先を決定し、前記決定された行先まで前記バケットを移動させる。

【0008】

また、本発明の他の態様の情報処理装置は、ごみが貯留されたごみピットを撮影するカメラにより生成された画像を取得する画像取得部と、前記画像に基づいて、単位区画毎のごみ種を表すごみ種マップを作成するマップ作成部と、クレーンのバケットの大きさに対応するフィルタを前記ごみ種マップ内で走査して、各位置におけるごみの撹拌度を評価する撹拌度評価部と、前記各位置におけるごみの撹拌度に基づいて、前記バケットの行先を決定する行先決定部と、を備える。

【0009】

また、本発明の他の態様のプログラムは、ごみが貯留されたごみピットを撮影するカメラにより生成された画像を取得すること、前記画像に基づいて、単位区画毎のごみ種を表すごみ種マップを作成すること、クレーンのバケットの大きさに対応するフィルタを前記ごみ種マップ内で走査して、各位置におけるごみの撹拌度を評価すること、前記各位置におけるごみの撹拌度に基づいて、前記バケットの行先を決定すること、をコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、クレーンによる作業の効率化を図ることが可能となる。

【図面の簡単な説明】

【0011】

【図1】ごみ処理施設の例を示す図である。

【図2】実施形態に係るごみクレーン制御システムの構成例を示す図である。

【図3】実施形態に係るごみクレーン制御方法の手順例を示す図である。

【図4】ごみ種の判別を説明するための図である。

【図5】ごみ種マップの作成を説明するための図である。

【図6】バケットフィルタの走査を説明するための図である。

【図7】具体的なフィルタの適用を説明するための図である。

【図8】平滑化フィルタの適用を説明するための図である。

【図9】パディングを説明するための図である。

【図10】撹拌操作用の探索結果の例を示す図である。

【図11】積替操作用の探索結果の例を示す図である。

【図12】ごみ高さマップの作成を説明するための図である。

【図13】他の実施形態に係るごみクレーン制御方法の手順例を示す図である。

【図14】テーブルの例を示す図である。

【図15】点群座標に係る部分の例を示す図である。

【図16】画像座標に係る部分の例を示す図である。

【図17】エンコーダ座標に係る部分の例を示す図である。

【図18】撹拌度・ごみ種に係る部分の例を示す図である。

【図19】点群評価式に係る部分の例を示す図である。

【図20】透視投影変換の例を示す図である。

【図21】バケットフィルタの走査例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照しながら説明する。

【0013】

［ごみ処理施設］
図１は、実施形態に係るごみクレーン制御システム１００が設けられるごみ処理施設の例を示す図である。同図は、ごみ処理施設のうちのごみピットＰＴに係る構成を主に示している。

【0014】

ごみピットＰＴは、プラットホームＰＦから投入されたごみを一時的に貯留する場所である。ごみピットＰＴの上方には、クレーン４が設けられている。クレーン４は、例えばトロリ式天井クレーンである。

【0015】

クレーン４は、ごみピットＰＴに貯留されたごみをバケット４１により掴み上げ、不図示の焼却炉に繋がるごみ投入ホッパＨＰに投入する。また、クレーン４は、ごみピットＰＴに貯留されたごみを撹拌する撹拌操作又はごみを積替える積替操作を行う。

【0016】

また、ごみピットＰＴの上方には、カメラ２及び高さ計測部３も設けられている。カメラ２は、ごみピットＰＴの全体を上方から撮影してカメラ画像を生成する。高さ計測部３は、例えばＴＯＦ（Time-of-Flight）センサであり、ごみ高さプロファイルを計測する。

【0017】

［システム概要］
図２は、ごみクレーン制御システム１００の構成例を示すブロック図である。ごみクレーン制御システム１００は、情報処理装置１、カメラ２、高さ計測部３、及びクレーン４を備えている。クレーン４は、クレーン４を制御するためのクレーンＰＬＣ（Programmable Logic Controller）４２を備えている。

【0018】

情報処理装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。情報処理装置１のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

【0019】

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

【0020】

情報処理装置１は、カメラ２から取得したカメラ画像に基づいて（又は、カメラ２から取得したカメラ画像及び高さ計測部３から取得したごみ高さデータに基づいて）、撹拌操作又は積替操作に適した位置を計算し、当該位置までバケット４１を移動させるための制御指令をクレーンＰＬＣ４２に出力する。

【0021】

情報処理装置１は、ごみ種判別部１１、高さ判別部１２、マップ作成部１３、撹拌度評価部１４、行先決定部１５、及び指示部１６を備えている。これらの機能部は、情報処理装置１がプログラムに従って情報処理を実行することにより実現される。

【0022】

［第１実施形態］
図３は、ごみクレーン制御システム１００において実現される、実施形態に係るごみクレーン制御方法の手順例を示す図である。情報処理装置１は、同図に示す情報処理をプログラムに従って実行する。

【0023】

まず、情報処理装置１は、ごみ種データを取得する（Ｓ１１）。なお、ごみ高さデータは、後述の第２実施形態で用いられる。具体的には、情報処理装置１は、カメラ２から取得したカメラ画像からごみ種を判別して、ごみ種データを生成する（ごみ種判別部１１としての処理）。

【0024】

ごみ種の判別には、ごみ種毎に画像中のごみの占有領域を識別する機械学習モデルが用いられる。具体的には、機械学習モデルは、画像が入力されると、ごみ種、ごみの占有領域（バウンディングボックス）、及び識別の信頼度を出力する。そして、識別されたごみの占有領域のうち、識別の信頼度が閾値以上のものが、最終的にごみの占有領域として用いられる。

【0025】

図４は、ごみ種の判別を説明するための図である。同図は、カメラ画像上にごみ種毎のバウンディングボックスが表示された状態を示している。ごみ種としては、例えば草ごみ及び袋ごみ等がある。

【0026】

次に、情報処理装置１は、上記Ｓ１１で取得されたごみ種データに基づいて、ごみ種マップを作成する（Ｓ１２：マップ作成部１３としての処理）。具体的には、情報処理装置１は、カメラ画像に対応する、マトリクス状の複数の単位区画を含むごみ種マップを用意し、単位区画毎にごみ種を表す値を付与する。単位区画は、例えば画素である。

【0027】

図５は、ごみ種マップの例を示す図である。ごみ種マップは、例えばカメラ画像と同サイズのゼロ行列として用意され、バウンディングボックス内に含まれる画素の値が０から１に更新される。

【0028】

なお、異種ラベルのバウンディングボックスが重なる場合には、値を加算してもよい。例えば図５に示すように、草ごみのバウンディングボックスと袋ごみのバウンディングボックスとが重なる場合に、重なる部分の値を２としてもよい。これに限らず、重なる部分の値を１のままとしてもよい。

【0029】

また、例えば草ごみの値を３、袋ごみの値を１とする等、ごみ種に応じて値を重み付けしてもよい。ごみ種毎にごみ種マップを作成してもよい。ごみ種マップにバウンディングボックスの密度に応じた値を加えてもよい。ノイズを除去するために、ごみ種マップを平滑化してもよい。

【0030】

また、ごみ種マップの作成は、カメラ画像からごみピットの壁が写った壁領域（図４参照）を除外した上で行われてもよい。特に、後述の積替操作ではバウンディングボックスが少ない領域を探索するため、壁領域を除外することが好ましい。壁領域の特定は、例えば画像処理又はごみ高さを用いて行われる。

【0031】

また、ごみ種マップは、カメラ画像を射影変換して視点が真上となった上空視点画像（鳥瞰画像）から作成されてもよい。これにより、クレーン座標との誤差を低減することができる。また、過去の時系列のごみ種マップを記憶しておき、下層のごみ種を判別するために用いてもよい。

【0032】

次に、情報処理装置１は、バケットフィルタをごみ種マップ内で走査して、各位置における撹拌度を評価する（Ｓ１３：撹拌度評価部１４としての処理）。バケットフィルタは、クレーン４のバケット４１（図１参照）の大きさに対応するフィルタであり、その範囲における撹拌度を評価するためのフィルタである。

【0033】

図６は、バケットフィルタの走査を説明するための図である。バケットフィルタは、例えば探索範囲の左上から走査される。探索範囲の左上端は、ごみ種マップの左上端にバケットフィルタを配置したときのバケットフィルタの中心位置である。フィルタ走査の方法又は間隔等は、特に限定されない。

【0034】

バケットフィルタは、例えばフィルタ内の合計値を出力する合計値フィルタである。フィルタ内の合計値は、フィルタ内の撹拌度を表す。すなわち、フィルタ内の合計値が高いほど、ごみ種が検出されているので、撹拌度が低いと評価される。一方、フィルタ内の合計値が低いほど、ごみ種が検出されていないので、撹拌度が高いと評価される。

【0035】

図７に示すように、情報処理装置１は、ごみ種マップ内を合計値フィルタ（第１のフィルタ）で走査して、最大値又は最小値の位置が複数あった場合に、合計値フィルタによる計算結果マップ内を平滑化フィルタ（第２のフィルタ）で走査する。

【0036】

合計値フィルタは、バケット４１が掴むことが可能な範囲に対応している。平滑化フィルタは、バケット４１が掴むことが可能な範囲よりも大きな範囲、すなわちバケット４１が掴むことが可能な範囲及びその周辺を含む範囲に対応している。

【0037】

合計値フィルタによる計算結果マップが、バケット４１の行先を探索するための第１の指標として用いられ、平滑化フィルタによる計算結果マップが、バケット４１の行先を探索するための第２の指標として用いられる。

【0038】

同図には、ごみ種マップ等の大きさの一例を示している。例えば、ごみ種マップは400×1500画素であり、合計値フィルタは200×100画素である。ごみ種マップにおける合計値フィルタの探索開始位置は（220/2，100/2）であり、探索終了位置は（400-220/2，1500-100/2）である。走査間隔は縦横とも10画素である。合計値フィルタによる計算結果マップは、18×140画素となる。

【0039】

図８は、平滑化フィルタの適用を説明するための図である。平滑化フィルタは、注目画素及びその周囲画素の値を平均化するフィルタである。例えば３×３平滑化フィルタであれば、９つの画素の合計値に１／９を乗じた値が出力される。平滑化フィルタは、移動平均フィルタに限らず、ガウシアンフィルタ、バイラテラルフィル、ノンローカルミーンフィルタ、メディアンフィルタ、又は minimum フィルタ等であってもよい。

【0040】

図９は、パディングを説明するための図である。パディングは、画像・行列の周囲に数値を挿入する操作である。平滑化フィルタをマップ端の画素に適用するために、パディングが行われる。最大値を探索する場合（後述の撹拌操作の場合）、マップの周囲に０をパディングしてから平滑化フィルタを適用することで、内側の領域の優先度を上げることができる。

【0041】

また、最小値を探索する場合（後述の積替操作の場合）でも、マップの周囲にＭＡＸ値をパディングしてから平滑化フィルタを適用することで、内側の領域の優先度を上げることができる。パディングの値は、０又はＭＡＸ値に限らず、例えば平均値、中央値、又は最小値などであってもよい。

【0042】

次に、情報処理装置１は、上記Ｓ１３で評価されたごみの撹拌度に基づいて、バケット４１の行先を決定する（Ｓ１４：行先決定部１５としての処理）。具体的には、情報処理装置１は、バケットフィルタによる計算結果の最大値又は最小値を探索することで、バケット４１の行先を決定する。

【0043】

例えば、撹拌操作を行う場合には、バケット４１により未撹拌領域を掴む必要があるので、バケットフィルタによる計算結果の最大値（撹拌度が最小の位置）を探索する。

【0044】

また、積替操作を行う場合には、バケット４１により撹拌完了領域を掴む必要があるので、バケットフィルタによる計算結果の最小値（撹拌度が最大の位置）を探索する。撹拌完了領域は、ごみ種の判別においてごみ種のバウンディングボックスが現れない領域である。

【0045】

探索の手法としては、例えば山登り法、焼きなまし法、数理最適化、又はメタヒューリスティクスによる探索等が用いられてもよい。

【0046】

本実施形態では、上述したように、ごみ種マップ内をバケットフィルタ（合計値フィルタ）で走査し、最大値又は最小値の位置が複数あった場合に、計算結果マップ内を平滑化フィルタで走査する（図７参照）。このため、バケットフィルタの周辺も考慮した探索が可能である。周辺の大きさは、平滑化フィルタのサイズで調整される。

【0047】

図１０は、撹拌操作用の探索結果の例を示す図である。同図に示されるように、撹拌操作を行う場合には、比較的大きなバウンディングボックスの内側にバケット４１の行先（図中の探索結果を表すボックス）が位置決めされる。ここで、平滑化フィルタなしの場合（すなわち、合計値フィルタのみを適用した場合）には、バケット４１の行先を表すボックスがバウンディングボックスの端と重なるように位置決めされる。

【0048】

一方、平滑化フィルタありの場合には、バケット４１の行先がバウンディングボックスの中央に近い位置に決定されるようになる。これは、平滑化フィルタが、バケット４１が掴むことが可能な範囲だけでなく、その周辺を含む範囲も対象としているためである。このように、平滑化フィルタを用いることで、撹拌操作に適した位置がバケット４１の行先として決定される。

【0049】

図１１は、積替操作用の探索結果の例を示す図である。同図に示されるように、積替操作を行う場合には、バウンディングボックスが存在しない領域にバケット４１の行先（図中の探索結果を表すボックス）が決定される。

【0050】

平滑化フィルタありの場合には、平滑化フィルタなしの場合と比べて、バウンディングボックスから離れた位置にバケット４１の行先が決定されるようになる。これは、平滑化フィルタが、バケット４１が掴むことが可能な範囲だけでなく、その周辺を含む範囲も対象としているためである。このように、平滑化フィルタを用いることで、積替操作に適した位置がバケット４１の行先として決定される。

【0051】

次に、情報処理装置１は、上記Ｓ１３で決定されたバケット４１の行先をクレーン座標に変換し、決定された行先までバケット４１を移動させるための制御指令を生成し、クレーンＰＬＣ４２に出力する（Ｓ１５，Ｓ１６：指示部１６としての処理）。制御指令を受けたクレーンＰＬＣ４２は、クレーン９を駆動し、決定された行先までバケット４１を移動させる。以上により、ごみクレーン制御方法の手順が終了する。

【0052】

以上に説明した実施形態によれば、クレーン４のバケット４１の大きさに対応するバケットフィルタで撹拌度を評価することで、バケット４１の適切な行先を決定して、クレーン４による作業の効率化を図ることが可能となる。

【0053】

なお、本実施形態では、撹拌操作又は積替操作に適した位置を探索したが、これに限らず、例えば焼却炉へ投入するごみを掴むための位置を探索してもよいし、ごみを落とすための位置を探索してもよい。

【0054】

また、撹拌度だけでなく、バケット４１の現在位置からの距離も用いて、バケット４１の行先を決定してもよい。例えば、バケット４１の現在位置からの距離が短いほど優先度を上げることで、より効率的な作業が可能となる。

【0055】

［第２実施形態］
本実施形態において、情報処理装置１は、高さ計測部３から取得されるごみ高さデータに基づいてごみ高さマップを作成し（高さ判別部１２及びマップ作成部１３としての処理）、各位置におけるごみの撹拌度及び高さに基づいてバケット４１の行先を決定する（行先決定部１５としての処理）。

【0056】

図１２は、ごみ高さマップの作成の具体例を示す図である。まず、（ａ）カメラ画像におけるごみピットの４隅をごみ高さ点群データから導出する。次に、（ｂ）ごみピットの４隅の座標を射影変換して視点が真上となった上空視点画像（鳥瞰画像）を得る。

【0057】

次に、（ｃ）ごみ高さ点群データのＸＹ軸のスケールを上空視点画像と同じスケールに変換する。次に、（ｄ）上空視点画像とスケール調整されたごみ高さ点群データとを重ね合わせる。

【0058】

次に、（ｅ）重ね合わされた上空視点画像とごみ高さ点群データに基づいて、ごみ高さマップを作成する。このとき、各画素のごみ高さは、ごみ高さ点群データのうちの最も近い点のごみ高さを使用する。

【0059】

このようにごみ高さマップを作成する場合、上述したごみ種マップの作成においても、上空視点画像を使用することが好ましい。これにより、ごみ種マップとごみ高さマップの単位区画（画素）を共通にすることが可能となる。

【0060】

本実施形態のように、ごみの撹拌度だけでなく、ごみ高さも用いてバケットの行先を決定することで、バケット４１のより適切な行先を決定し、クレーン４による作業のさらなる効率化を図ることが可能となる。

【0061】

例えば、撹拌度、ごみ高さ、及び距離のそれぞれに重み係数を掛けた上で合計した合計値に基づいて、バケット４１の行先が決定される。各重み係数は、適宜設定し得る。なお、撹拌操作の場合と積替操作の場合では、撹拌度の重み係数の正負が反転して設定される。

【0062】

これに限らず、高さ計測部３の座標系からカメラ２の座標系への変換を定式化してもよい。具体的には、まず、下記数式１によりごみ高さ点群データの点群座標系（Ｘｗ，Ｙｗ，Ｚｗ）からカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に変換し、次に、下記数式２により、カメラ座標系から画像座標（ｘ，ｙ）を算出する。

【0063】

【数1】

【0064】

【数2】

【0065】

ここで、αはＸ軸回りの回転角を表し、βはＹ軸回りの回転角を表し、γはＺ軸回りの回転角を表す。（ｔ１，ｔ２，ｔ３）は、平行移動ベクトル（カメラ座標系から見たワールド座標原点位置）を表す。

【0066】

また、Ｈは水平方向の画素数を表し、Ｖは垂直方向の画素数を表す。ｆは焦点距離を表す。pix_size_x は、１ピクセル当たりのｘ軸方向の長さを表し、pix_size_y は、１ピクセル当たりのｙ軸方向の長さを表す。

【0067】

これによれば、射影変換の必要がなく、ごみ種マップと同スケールの高さマップを構築することが可能となる。すなわち、ごみ種マップとごみ高さマップの単位区画（画素）を共通にすることが可能となる。

【0068】

［第３実施形態］
図１３は、第３実施形態に係るごみクレーン制御方法の手順例を示す図である。情報処理装置１は、同図に示す情報処理をプログラムに従って実行する。

【0069】

まず、情報処理装置１は、高さ計測部３により計測されたごみピット内のごみの３次元形状を表す点群データ（ごみ高さデータ）を取得する（Ｓ２１）。

【0070】

また、情報処理装置１は、カメラ２により生成されたカメラ画像から単位区画毎（例えば画素毎）のごみ種を判別する（Ｓ２２）。本処理は、上記図２に示したごみ種判別部１１の処理に対応する。

【0071】

次に、情報処理装置１は、所定の数値処理を行って、点群データの各点に情報を集約したテーブルＴを作成する（Ｓ２３：数値処理部としての処理）。具体的には、情報処理装置１は、テーブルＴにおける点群データの各点に、各点に対応するカメラ画像内の位置のごみ種及び撹拌度などを関連付ける。本処理の一部は、上記図２に示したマップ作成部１３及び撹拌度評価部１４の処理に対応する。

【0072】

図１４は、Ｓ２３の数値処理により作成されるテーブルＴの例を示す図である。図１５～図１９は、テーブルＴに含まれる各部の例を示す図である。テーブルＴは、点群座標に係る部分Ａ、画像座標に係る部分Ｂ、エンコーダ座標に係る部分Ｃ、撹拌度・ごみ種に係る部分Ｄ、及び点群評価式に係る部分Ｅを含んでいる。

【0073】

図１５に示すように、点群座標に係る部分Ａは、「x_w」、「y_w」、「z_w」、「pit」、「storage_pit」、及び「backet_y」のフィールドを含んでいる。

【0074】

「x_w」、「y_w」、及び「z_w」は、点群データの各点の３次元座標を表しており、上述のごみ高さマップに相当する。「x_w」及び「z_w」は面内位置を表し、「y_w」は高さを表す。「x_w」及び「z_w」は毎回固定され、「y_w」がごみ高さデータとして取得される。

【0075】

「pit」は、点群データの各点が受入ピット及び貯留ピットの何れに属するかを２値変数で表す。受入ピット及び貯留ピットは、ごみピットＰＴ（図１参照）の一例である。受入ピットは、プラットホームから投入されるごみを受入れるためのピットである。貯留ピットは、受入ピットから移し替えられるごみを貯留するためのピットである。

【0076】

例えば、受入ピット及び貯留ピットが「x_w」の方向に並ぶ場合、「x_w」の値が閾値以上であるか閾値未満であるかによって、受入ピット及び貯留ピットの何れに属するかが判定される。なお、ごみピットＰＴが１つのピットのみで構成される場合には、全ての点の「pit」に貯留ピットを表す値が入力される。

【0077】

「storage_pit」は、点群データの各点が貯留ピット内に設定された複数の区画のうちの何れに属するかを表す。複数の区画は、例えば焼却炉へ投入するための区画又は積替のための区画等として管理される。

【0078】

「backet_y」は、対象となる点の高さ「y_w」及びその周囲の点の高さ「y_w」の平均値である。具体的には、「backet_y」は、対象となる点を基準に定まる領域内に含まれる点の高さ「y_w」の平均値である。

【0079】

「backet_y」を計算する領域の大きさは、クレーン４のバケット４１（図１参照）の大きさに対応する。例えば、バケット４１の大きさが「x_w」の方向にＸ［ｍ］、「z_w」の方向にＺ［ｍ］ある場合、対象となる点を中心とするＸ［ｍ］×Ｚ［ｍ］の矩形状の領域が設定され、当該領域内に含まれる点の高さ「y_w」の平均値が算出される。

【0080】

図１６に示すように、画像座標に係る部分Ｂは、「x_ｃ」、「z_ｃ」、及び「corner」のフィールドを含んでいる。「x_ｃ」及び「z_ｃ」は、点群データの各点に対応するカメラ画像内の位置を表す。

【0081】

情報処理装置１は、図２０に示すように、点群データの３次元座標系をカメラ画像の２次元座標系に変換することで、点群データの点とカメラ画像内の位置とを対応付ける。座標系の変換には、上記数式１及び数式２で示した透視投影変換が用いられる。

【0082】

「corner」は、点群データの各点がカメラ画像の死角に存在するか否かを２値変数で表す。例えばカメラ画像の画像サイズが 2456×2456 pixel である場合、0＜x_ｃ＜2456，0＜z_ｃ＜2456 を満たす点はカメラ画像に写っているため、死角に存在しないと判定される。一方、同条件を満たさない点はカメラ画像に写っていないため、死角に存在すると判定される。

【0083】

カメラ画像の死角に存在する点では、後述する撹拌度の算出が行えない。このため、撹拌度の算出は、「corner」の値が死角に存在しないことを表す値「0」である点について行われる。

【0084】

図１７に示すように、エンコーダ座標に係る部分Ｃは、「x_e」、「y_e」、「z_e」、「行先NG」、及び「Distance」のフィールドを含んでいる。

【0085】

「x_e」、「y_e」、及び「z_e」は、点群データの各点に対応するクレーン４のエンコーダ座標（クレーン座標）を表す。「x_e」、「y_e」、及び「z_e」は、３次元座標であり、点群データの３次元座標「x_w」、「y_w」、及び「z_w」を線形変換することによって算出される。「行先NG」は、例えば壁際の位置等の、クレーン４が行くことができない位置を表す。

【0086】

「Distance」は、クレーン４の現在位置から点群データの各点までの距離を表す。具体的には、クレーン４の現在位置を表すエンコーダ座標と、点群データの各点に対応するエンコーダ座標とに基づき、距離が算出される。距離は、例えばユークリッド距離又はマンハッタン距離などであってもよい。

【0087】

図１８に示すように、撹拌度・ごみ種に係る部分Ｄは、「mixing（撹拌度）」、「ごみ種Ａ」、「ごみ種Ｂ」、「ごみ種Ｃ」、及び「ごみ種Ｄ」のフィールドを含んでいる。

【0088】

「mixing」は、点群データの各点に対応するカメラ画像内の位置の撹拌度を表す。「ごみ種Ａ～Ｄ」は、点群データの各点に対応するカメラ画像内の位置のごみ種を表す。点群データの３次元座標のうちの面内位置を表す「x_w」及び「z_w」並びにごみ種を表す「ごみ種Ａ～Ｄ」は、上述のごみ種マップに相当する。

【0089】

情報処理装置１は、図２１に示すように、ごみ種マップ内でバケットフィルタを点群データの点単位で走査して、各点における撹拌度を評価する（撹拌度評価部１４としての処理）。撹拌度は、例えばバケットフィルタ内におけるごみが検出された領域の割合で表される。

【0090】

図１９に示すように、点群評価式に係る部分Ｅは、複数の点群評価式「ｆ１」～「ｆ３」のフィールドを含んでいる。点群評価式は、点群データの各点の高さ、関連付けられた撹拌度、及びクレーンの現在位置からの距離のそれぞれに所定の重みを付与して加算した評価式である。

【0091】

点群評価式「ｆ１」～「ｆ３」は、撹拌度、高さ、及び距離のそれぞれに付与される重みが異なる。例えば、点群評価式は、ｆ３＝１００×（撹拌度）＋５０×（高さ）＋１０×（距離）のように設定される。重みは、後述する操作の目的などに応じて適宜設定される。

【0092】

図１３の説明に戻る。次に、情報処理装置１は、操作フロー及びテーブルに基づいて、点群データの複数の点の中からクレーン４のバケット４１の行先を決定する（Ｓ２４）。本処理は、上記図２に示した行先決定部１５の処理に対応する。

【0093】

具体的には、テーブルＴに含まれる点群データの各点の面内位置及び高さを表す「x_w」、「y_w」、「z_w」（図１５参照）、撹拌度を表す「mixing」（図１８参照）、並びにクレーン４の現在位置からの距離を表す「Distance」（図１７参照）などに基づいて、バケット４１の行先及びその順番が決定される。

【0094】

より詳細には、点群データの各点の高さ「y_w」、関連付けられた撹拌度「mixing」、及びクレーンの現在位置からの距離「Distance」のそれぞれに所定の重みを付与して加算した点群評価式（図１９参照）に基づいて、バケット４１の行先及びその順番が決定される。

【0095】

クレーン４の操作内容を表す操作フローには、例えば、受入ピット内で撹拌するごみを選択する受入撹拌時フロー、受入ピットから貯留ピットへ積み替えるごみと積替位置を選択する積替操作時フロー、貯留ピット内で撹拌するごみを選択する積替撹拌時フロー、及び貯留ピット内でホッパに投入するごみを選択する投入操作時フロー等の種類がある。

【0096】

情報処理装置１は、例えばピット状況及び現在時刻などに応じて、複数の操作フローの中から１つの操作フローを選択し、バケット４１の行先の決定に適用する。

【0097】

例えば、ごみ種Ａのごみを掴んで、ごみ種Ｂが密集している位置に落とす操作を行う場合には、情報処理装置１は、テーブルＴの中から「ごみ種Ａ」の値が最大の点と「ごみ種Ｂ」の値が最大の点とを探索し、バケット４１の行先として決定する。

【0098】

また、撹拌が不十分で、高さが高く、クレーンの現在位置から近い位置のごみを掴んで、撹拌が十分な位置に落とす操作を行う場合には、情報処理装置１は、テーブルＴの中から点群評価式の値が最大の点と「mixing」の値が最大の点とを探索し、バケット４１の行先として決定する。

【0099】

最後に、情報処理装置１は、決定された行先までバケット４１を移動させるための制御指令をクレーンＰＬＣ４２に出力する（Ｓ２５）。本処理は、上記図２に示した指示部１６の処理に対応する。このとき、情報処理装置１は、バケット４１の行先に対応するクレーン４のエンコーダ座標を、クレーンＰＬＣ４２に提供する。

【0100】

以上により、本実施形態に係るごみクレーン制御方法の手順が終了する。

【0101】

以上に説明した態様によれば、点群データの各点にカメラ画像から判別された撹拌度又はごみ種などが関連付けられるので、バケット４１の行先を点群データの３次元座標で特定することが可能となる。また、点群データの各点にカメラ画像の各位置が対応付けられるので、カメラ２をごみピットの真上に設置する必要がなくなる。

【0102】

また、ごみの３次元形状を計測した点群データの各点に着目することで、カメラ画像から壁領域等のごみではない領域を除外する必要がなくなる。すなわち、カメラ画像において点群データの各点がプロットされた位置はごみがある領域であり、プロットされていない位置はごみではない領域であるので、前者のみに着目すればよくなる。

【0103】

また、点群データの各点にクレーン４のエンコーダ座標が関連付けられるので、バケット４１の行先に対応するクレーン４のエンコーダ座標を、クレーンＰＬＣ４２に直接的に提供することが可能である。

【0104】

また、クレーン４の現在位置から点群データの各点までの距離に基づいて、バケット４１の行先の順番が決定されるので、クレーン４の無駄な移動や往復を省略することが可能である。

【0105】

また、点群データの各点の高さ、関連付けられた撹拌度、及びクレーンの現在位置からの距離のそれぞれに付与する重みを調整することで、効率的なバケット４１の行先を決定することが可能である。

【0106】

また、点群データの各点の高さ、関連付けられた撹拌度、及びクレーンの現在位置からの距離だけでなく、クレーン４の操作内容も考慮することで、操作内容に適したバケット４１の行先を決定することが可能である。

【0107】

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

【符号の説明】

【0108】

１ 情報処理装置、１１ ごみ種判別部、１２ 高さ判別部、１３ マップ作成部、１４ 撹拌度評価部、１５ 行先決定部、１６ 指示部、２ カメラ、３ 高さ計測部、４ クレーン、４１ バケット、４２ クレーンＰＬＣ、１００ ごみクレーン制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】