特開 2023-48385 情報処理装置、判定方法、判定プログラム、および制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023048385

(43)【公開日】2023-04-07

(54)【発明の名称】情報処理装置、判定方法、判定プログラム、および制御システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230331BHJP

   F23G 5/44 20060101ALI20230331BHJP

   F23G 5/50 20060101ALI20230331BHJP

【ＦＩ】

G06T7/00 300F

G06T7/00 350B

F23G5/44 B ZAB

F23G5/50 Q

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021157670

(22)【出願日】2021-09-28

(71)【出願人】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】矢路 隼斗

【テーマコード（参考）】

3K062

3K065

5L096

【Ｆターム（参考）】

3K062AA24

3K062AB01

3K062AC01

3K062CA08

3K062CB01

3K062DA31

3K062DB30

3K065AA24

3K065AB01

3K065AC01

3K065BA06

3K065EA04

3K065EA29

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096EA02

5L096EA05

5L096EA43

5L096FA02

5L096FA35

5L096FA59

5L096FA69

5L096GA51

5L096KA04

(57)【要約】

【課題】汎用的な手法で対象廃棄物を検出する。
【解決手段】情報処理装置（１）は、廃棄物を収容するピット内を撮像したピット画像（２０２）における対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する候補領域抽出部（１０３）と、候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定する判定部（１０４）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

廃棄物を収容するピット内を撮像したピット画像における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する候補領域抽出部と、
前記候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、前記候補領域に写る廃棄物が前記対象廃棄物であるか判定する判定部と、を備える情報処理装置。

【請求項2】

前記判定部は、前記候補領域を構成する各画素の色に基づいて生成された特徴量を、前記対象廃棄物の色に基づいて生成された特徴量を学習させた学習済みモデルに入力して得られる出力値に基づき、前記候補領域に写る廃棄物が前記対象廃棄物であるか判定する、請求項１に記載の情報処理装置。

【請求項3】

前記ピットの各所における前記廃棄物の堆積高さと前記ピットの各所における前記廃棄物の表面が前記ピット画像に写る位置との対応関係を示す対応情報と、前記ピットの各所における前記廃棄物の堆積高さを示す高さ情報とを用いて、前記ピット画像から前記廃棄物が写る廃棄物領域を抽出する廃棄物領域抽出部を備え、
前記候補領域抽出部は、前記廃棄物領域内で前記候補領域を抽出する、請求項１または２に記載の情報処理装置。

【請求項4】

前記候補領域抽出部は、前記ピット画像の各画素の色相、彩度、および明度の少なくとも何れかに基づいて前記候補領域を抽出し、
前記判定部は、前記候補領域を構成する各画素の色相、彩度、および明度の少なくとも何れかに基づいて生成された前記特徴量に基づいて前記判定を行う、請求項１から３の何れか１項に記載の情報処理装置。

【請求項5】

前記ピット画像において前記廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域内の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物が前記対象廃棄物であるか判定する部分判定部と、
前記部分領域のそれぞれにおける判定結果に基づき、前記対象領域に写る廃棄物が前記対象廃棄物であるか判定する統合判定部と、を備える請求項１から４の何れか１項に記載の情報処理装置。

【請求項6】

複数の前記部分領域は、前記対象領域の端部を避けて設定される、請求項５に記載の情報処理装置。

【請求項7】

複数の前記部分領域は、前記対象領域内に間隔を空けて設定される、請求項５または６に記載の情報処理装置。

【請求項8】

廃棄物を収容するピット内を撮像したピット画像において前記廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域内の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物が検出対象の対象廃棄物であるか判定する部分判定部と、
前記部分領域のそれぞれにおける判定結果に基づき、前記対象領域に写る廃棄物が前記対象廃棄物であるか判定する統合判定部と、を備える情報処理装置。

【請求項9】

１または複数の情報処理装置が実行する判定方法であって、
廃棄物を収容するピット内を撮像したピット画像における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する候補領域抽出ステップと、
前記候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、前記候補領域に写る廃棄物が前記対象廃棄物であるか判定する判定ステップと、を含む判定方法。

【請求項10】

１または複数の情報処理装置が実行する判定方法であって、
廃棄物を収容するピット内を撮像したピット画像において前記廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域内の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物が検出対象の対象廃棄物であるか判定する部分判定ステップと、
前記部分領域のそれぞれにおける判定結果に基づき、前記対象領域に写る廃棄物が前記対象廃棄物であるか判定する統合判定ステップと、を含む判定方法。

【請求項11】

請求項１に記載の情報処理装置としてコンピュータを機能させるための判定プログラムであって、前記候補領域抽出部および前記判定部としてコンピュータを機能させるための判定プログラム。

【請求項12】

請求項８に記載の情報処理装置としてコンピュータを機能させるための判定プログラムであって、前記部分判定部および前記統合判定部としてコンピュータを機能させるための判定プログラム。

【請求項13】

廃棄物を収容するピット内を撮像したピット画像における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出すると共に、前記候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、前記候補領域に写る廃棄物が前記対象廃棄物であるか判定する情報処理装置と、
前記情報処理装置の判定結果に基づいて前記ピットに配置されたクレーンの動作を制御する制御装置と、を含む制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数種類の廃棄物が収容されるピットを撮像した画像から検出対象の廃棄物を検出する情報処理装置等に関する。

【背景技術】

【0002】

ごみ焼却施設に搬入されたごみは、ごみピットと呼ばれる設備に収容され、ごみピットから焼却炉に送り込まれて焼却される。この際、焼却炉に送り込むごみの質、言い換えれば燃えやすさができるだけ均質であるほど、焼却炉における燃焼が安定化するため望ましい。

【0003】

このため、焼却炉に送り込むごみの質を均質化するための技術の研究・開発が従来から進められている。例えば、下記の特許文献１には、ごみピット内を撮像した画像を用いて機械学習を行うことによって構築した識別アルゴリズムを用いて、ごみピット内に収容されている廃棄物の種類を識別する技術が開示されている。ごみピット内の各所における廃棄物の種類を識別することにより、同じ種類の廃棄物がごみピット内の一部の領域に固まっていることを検出し、それを撹拌して均質化することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－３８０５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術では、ごみピットを上方から撮像した画像に写る全ての物を学習し、識別するという構成を採用している。しかし、廃棄物処理プラントの床や、ごみピットの側壁、クレーン等の外観は、廃棄物処理プラント毎に異なる場合がある。また、ごみピット内を撮像するカメラの配置も廃棄物処理プラント毎に異なる場合があり、カメラの配置が異なれば撮像された画像に写る廃棄物等の外観もまた異なったものとなる。このため、ある廃棄物処理プラント用の識別アルゴリズムが、他の廃棄物処理プラントでは識別精度が下がったり使用できなかったりすることがあり得る。

【0006】

本発明の一態様は、上述のような従来技術と比べて汎用的な手法で対象となる廃棄物を検出することが可能な情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、廃棄物を収容するピット内を撮像したピット画像における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する候補領域抽出部と、前記候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、前記候補領域に写る廃棄物が前記対象廃棄物であるか判定する判定部と、を備える。

【0008】

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、廃棄物を収容するピット内を撮像したピット画像において前記廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域内の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物が検出対象の対象廃棄物であるか判定する部分判定部と、前記部分領域のそれぞれにおける判定結果に基づき、前記対象領域に写る廃棄物が前記対象廃棄物であるか判定する統合判定部と、を備える。

【0009】

上記の課題を解決するために、本発明の一態様に係る判定方法は、１または複数の情報処理装置が実行する判定方法であって、廃棄物を収容するピット内を撮像したピット画像における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する候補領域抽出ステップと、前記候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、前記候補領域に写る廃棄物が前記対象廃棄物であるか判定する判定ステップと、を含む。

【0010】

上記の課題を解決するために、本発明の一態様に係る判定方法は、１または複数の情報処理装置が実行する判定方法であって、廃棄物を収容するピット内を撮像したピット画像において前記廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域内の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物が検出対象の対象廃棄物であるか判定する部分判定ステップと、前記部分領域のそれぞれにおける判定結果に基づき、前記対象領域に写る廃棄物が前記対象廃棄物であるか判定する統合判定ステップと、を含む。

【0011】

上記の課題を解決するために、本発明の一態様に係る制御システムは、廃棄物を収容するピット内を撮像したピット画像における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出すると共に、前記候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、前記候補領域に写る廃棄物が前記対象廃棄物であるか判定する情報処理装置と、前記情報処理装置の判定結果に基づいて前記ピットに配置されたクレーンの動作を制御する制御装置と、を含む。

【発明の効果】

【0012】

本発明の一態様によれば、従来技術と比べて汎用的な手法で対象となる廃棄物を検出することが可能になる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。

【図2】上記情報処理装置を含む制御システムの構成例を示す図である。

【図3】廃棄物領域を抽出する基準となる基準点の導出方法を示す図である。

【図4】廃棄物領域の抽出例を示す図である。

【図5】候補領域の抽出時におけるノイズ除去の例を示す図である。

【図6】対象領域の設定例を示す図である。

【図7】対象領域における部分領域の設定例を示す図である。

【図8】判定部の判定結果と統合判定部の判定結果の統合例を示す図である。

【図9】上記情報処理装置が実行する処理の一例を示すフローチャートである。

【図10】候補領域ごとに行われる、対象廃棄物の検出処理の一例を示すフローチャートである。

【図11】判定の対象として設定された対象領域における対象廃棄物の検出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

〔システム構成〕
本発明の一実施形態に係る制御システム５の構成を図２に基づいて説明する。図２は、制御システム５の構成例を示す図である。図示のように、制御システム５には、情報処理装置１と制御装置２とクレーン３とが含まれている。また、図２には、廃棄物を収容するピットＰの断面についても示している。

【0015】

クレーン３は、ピットＰに配置された機械であり、ピットＰ内の廃棄物を搬送等するためのものである。クレーン３の構成要素には、ガーダ３１、横行台車３２、ワイヤ３３、およびバケット３４が含まれている。ガーダ３１は、廃棄物処理プラントの建屋（図示せず）の対向する壁面にそれぞれ設けられたレール（同図の奥行き方向に延在）間を架け渡すように配置されており、このレールに沿って同図の奥行き方向に移動させることができるようになっている。また、横行台車３２は、ガーダ３１上に設けられており、ガーダ３１上を同図の左右方向（ガーダ３１の移動方向と直交する方向）に移動させることができるようになっている。この横行台車３２にはワイヤ３３が取り付けられており、ワイヤ３３の先端には廃棄物を掴むバケット３４が設けられている。このバケット３４は開閉動作を行うことができる。

【0016】

制御装置２は、クレーン３の動作制御を行う。例えば、制御装置２は、ガーダ３１と横行台車３２を駆動してバケット３４を所望の位置に移動させ、その位置でバケット３４を開いてピットＰ内の廃棄物上に降ろし、バケット３４を閉じてワイヤ３３を巻き上げる制御を行う。これらの一連の制御により、その位置の廃棄物をバケット３４で掴みあげることができる。

【0017】

情報処理装置１は、ピットＰ内に収容されている廃棄物が、検出対象とする対象廃棄物であるか判定する。より詳細には、情報処理装置１は、図示しない撮像装置によりピットＰ内を撮像したピット画像における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する。そして、情報処理装置１は、候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定する。上述の制御装置２は、この判定結果に基づいてクレーン３の動作を制御する。

【0018】

以上のように、制御システム５は、廃棄物を収容するピットＰ内を撮像したピット画像における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出すると共に、候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定する情報処理装置１と、情報処理装置１の判定結果に基づいてピットＰに配置されたクレーン３の動作を制御する制御装置２と、を含む。

【0019】

詳細は後述するが、情報処理装置１は、対象となる廃棄物処理プラントによらず対象廃棄物を検出することができる。したがって、制御システム５によれば、従来技術と比べて汎用的な手法で対象となる廃棄物を検出することが可能になる。

【0020】

さらに、制御システム５では、制御装置２が、候補領域に写る廃棄物が対象廃棄物であるか判定した結果に基づいてクレーン３の動作を制御するので、対象廃棄物の有無や、対象廃棄物の所在に応じた適切なクレーン３の自動制御が実現できる。例えば、対象廃棄物であると判定された廃棄物を自動で撹拌することや、焼却炉に繋がるホッパに投入する廃棄物を決定する際に、対象廃棄物であると判定された廃棄物を避けること等も可能になる。

【0021】

〔装置構成〕
情報処理装置１の構成を図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１０と、情報処理装置１が使用する各種データを記憶する記憶部２０を備えている。また、情報処理装置１は、情報処理装置１が他の装置と通信するための通信部１２、情報処理装置１に対する各種データの入力を受け付ける入力部１３、および情報処理装置１が各種データを出力するための出力部１４を備えている。

【0022】

また、制御部１０には、廃棄物領域抽出部１０１、画像変換部１０２、候補領域抽出部１０３、判定部１０４、位置算出部１０５、対象領域抽出部１０６、部分領域設定部１０７、部分判定部１０８、統合判定部１０９、判定結果統合部１１０、およびクレーン制御部１１１が含まれている。そして、記憶部２０には、高さ情報２０１と、ピット画像２０２と、学習済みモデル２０３および２０４が記憶されている。

【0023】

廃棄物領域抽出部１０１は、ピット画像２０２から廃棄物が写る廃棄物領域を抽出する。詳細は後述するが、廃棄物領域抽出部１０１は、ピットの各所における廃棄物の堆積高さとピットの各所における廃棄物の表面がピット画像２０２に写る位置との対応関係を示す対応情報と、高さ情報２０１とを用いて廃棄物領域を抽出する。

【0024】

高さ情報２０１は、ピットの各所における廃棄物の堆積高さを示す情報である。廃棄物の堆積高さを求める方法は任意である。例えば、図２の例においては、クレーン３のバケット３４をピットＰの各所に降ろしたときのワイヤ３３の長さから求めてもよいし、ピット画像２０２を画像解析することにより求めてもよく、測距センサ等を用いて求めてもよい。ピットＰの各所における廃棄物の堆積高さが変化したときには、高さ情報２０１もそれに応じて更新することが望ましい。

【0025】

ピット画像２０２は、廃棄物を収容するピット内を撮像した画像である。ピット画像には、ピット内の対象廃棄物を検出したい領域が少なくとも写っていればよい。情報処理装置１は、対象廃棄物の色に基づいた検出を行うため、ピット画像２０２はカラー画像とする。

【0026】

画像変換部１０２は、廃棄物領域抽出部１０１が抽出した廃棄物領域の画像を、対象廃棄物の外観上の特徴（特に色に関する特徴）が現れる所定の形式に変換する。例えば、廃棄物領域の特徴が、ＲＧＢ（Red，Green，Blue）画像よりもＨＳＶ（Hue，Saturation，Value）画像によく現れるとする。この場合、ピット画像２０２がＲＧＢ画像であれば、画像変換部１０２は、このＲＧＢ画像をＨＳＶ画像に変換する。なお、ピット画像２０２の変換を行わなくとも候補領域の抽出や対象廃棄物の検出が可能である場合には、画像変換部１０２を省略してもよい。

【0027】

候補領域抽出部１０３は、廃棄物を収容するピット内を撮像したピット画像２０２における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を、対象廃棄物が存在する領域の候補、すなわち候補領域として抽出する。候補領域の抽出は、画像変換部１０２による変換後のピット画像２０２を対象として行う。なお、上述のように、ピット画像２０２の変換を行わなくとも候補領域の抽出や対象廃棄物の検出が可能である場合には、画像変換部１０２を省略してもよく、この場合、候補領域抽出部１０３は、変換していないピット画像２０２から候補領域を抽出する。

【0028】

判定部１０４は、候補領域抽出部１０３が抽出する候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定する。

【0029】

例えば、判定部１０４は、候補領域を構成する各画素の色に基づいて生成された特徴量を、対象廃棄物の色に基づいて生成された特徴量を学習させた学習済みモデル２０３に入力して得られる出力値に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定してもよい。

【0030】

上記の構成によれば、候補領域に写る廃棄物が対象廃棄物であるかを高精度に判定することが可能になる。また、特許文献１のようなピットの側壁等の学習は不要であり、少なくとも対象廃棄物の色について学習すれば足りるため、特許文献１の技術と比べて、学習コストも少なく抑えることができる。

【0031】

学習済みモデル２０３は、上述のように、対象廃棄物の色に基づいて生成された特徴量を学習させた学習済みモデルである。学習済みモデル２０３は、画像中のある領域を構成する各画素の色に基づいて生成された特徴量と、その領域に対象廃棄物が写っているか否かとの対応関係を学習させたものであってもよい。また、学習済みモデル２０３は、画像中のある領域を構成する各画素の色に基づいて生成された特徴量から、その領域に写るものを分類するように学習させたものであってもよい。後者の場合、分類の１つに対象廃棄物を含めておけばよい。学習済みモデル２０３のアルゴリズムは特に限定されない。例えば、ランダムフォレストの学習済みモデル２０３を使用してもよい。なお、判定部１０４は、候補領域に写る廃棄物が対象廃棄物であるかを、画素の色に基づいて生成された特徴量から判定するものであればよく、その判定の方法は上記の例に限られない。

【0032】

位置算出部１０５は、判定部１０４により対象廃棄物が写っていると判定された候補領域の実際のピットにおける位置を算出する。具体的には、位置算出部１０５は、ピット画像２０２の画像平面における候補領域の位置を示す座標を、実際のピットにおける三次元の位置を示す三次元座標に変換する処理を行う。なお、ピット画像２０２上の座標（二次元座標）と、実際のピットにおける三次元座標との対応関係を予め特定しておけば、その対応関係に基づいて上記の変換を行うことができる。

【0033】

対象領域抽出部１０６は、ピット画像２０２において廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域を抽出する。対象領域をどのように設定するかは任意である。例えば、対象領域抽出部１０６は、ユーザが入力部１３を介した入力操作に従って、ピット画像２０２におけるユーザが所望の位置から、ユーザが所望のサイズの対象領域を抽出してもよい。

【0034】

部分領域設定部１０７は、対象領域抽出部１０６が抽出した部分領域内に複数の部分領域を設定する。部分領域設定部１０７が設定した各部分領域について、部分判定部１０８による判定が行われる。なお、部分領域の設定方法については、図７に基づいて後述する。

【0035】

部分判定部１０８は、ピット画像２０２において廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域内の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物が対象廃棄物であるか判定する。具体的には、部分判定部１０８は、学習済みモデル２０４に部分領域の画像を入力して得られる出力値に基づいて、その部分領域に写る廃棄物が対象廃棄物であるか判定する。

【0036】

学習済みモデル２０４は、上述のように、部分領域の画像を入力したときに、その画像に写る廃棄物が対象廃棄物であるか否かを示す出力値を出力するように学習させた学習済みモデルである。学習済みモデル２０４は、画像とその画像に対象廃棄物が写っているか否かとの対応関係を学習させたものであってもよい。また、学習済みモデル２０４は、画像に写る廃棄物を分類するように学習させたものであってもよい。後者の場合、分類の１つに対象廃棄物を含めておけばよい。学習済みモデル２０４のアルゴリズムは特に限定されない。例えば、畳み込みニューラルネットワークの学習済みモデル２０４を使用してもよい。

【0037】

統合判定部１０９は、部分判定部１０８による各部分領域の判定結果に基づき、それら部分領域を含む対象領域の廃棄物が対象廃棄物であるかを判定する。この判定方法の詳細は後述する。

【0038】

判定結果統合部１１０は、判定部１０４の判定結果と統合判定部１０９の判定結果とを統合する。統合方法の詳細は後述する。なお、判定結果統合部１１０を省略して、判定部１０４の判定結果と統合判定部１０９の判定結果のそれぞれを出力する構成としてもよい。

【0039】

クレーン制御部１１１は、通信部１２を介した通信により制御装置２を介してクレーン３を制御する。例えば、クレーン制御部１１１は、判定結果統合部１１０が対象廃棄物であると判定した廃棄物の位置を制御装置２に通知し、その位置の廃棄物をクレーン３に撹拌させる。

【0040】

以上のように、情報処理装置１は、ピット画像２０２における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する候補領域抽出部１０３と、候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定する判定部１０４と、を備える。

【0041】

上記の構成によれば、まず、ピット画像２０２における、対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する。これにより、ピット画像における対象廃棄物が写っている可能性の高い領域が候補領域として抽出される。廃棄物の色は対象となる廃棄物処理プラントが変わっても概ね同様であるから、この候補領域の抽出は対象となる廃棄物処理プラントが変わっても支障なく行うことができる。

【0042】

ただし、色範囲に基づく抽出では、対象廃棄物と類似した色の他の廃棄物が写る領域も抽出されるため、この段階では、候補領域に対象廃棄物が写っているか否かを確定することはできない。また、抽出される候補領域の形状やサイズが一定になるとは限らないため、特許文献１のような、画像を入力データとする識別アルゴリズムで候補領域内の廃棄物が対象廃棄物であるかを判定することは難しい。

【0043】

そこで、上記の構成によれば、候補領域を構成する各画素の色に基づいて生成された特徴量に基づいて候補領域に写る廃棄物が対象廃棄物であるか判定する。これにより、抽出される候補領域の形状やサイズが一定でなくとも対象廃棄物を検出することができる。

【0044】

このように、上記の構成によれば、対象となる廃棄物処理プラントによらず対象廃棄物を検出することができる。すなわち、上記の構成によれば、従来技術と比べて汎用的な手法で対象となる廃棄物を検出することが可能になるという効果を奏する。

【0045】

また、以上のように、情報処理装置１は、ピット画像２０２において廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域内の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物が対象廃棄物であるか判定する部分判定部１０８と、部分領域のそれぞれにおける判定結果に基づき、対象領域に写る廃棄物が対象廃棄物であるか判定する統合判定部１０９と、を備える。

【0046】

ピット内を撮像したピット画像２０２は、対象となる廃棄物処理プラントに応じて異なる外観となる。しかし、そのピット画像２０２において廃棄物が写る廃棄物領域内に対象領域を設定し、さらにその対象領域内に部分領域を設定した場合、部分領域に写る廃棄物の外観に与える廃棄物処理プラントの相違の影響は無視できる程度となることが多い。ただし、個々の部分領域のサイズは小さくなるため、各部分領域についての判定精度は、対象領域の全体を対象として判定を行う場合と比べて低くなる可能性がある。

【0047】

そこで、上記の構成によれば、ピット画像２０２の対象領域内に設定された複数の部分領域のそれぞれついて、その部分領域に写る廃棄物が対象廃棄物であるか判定した上で、それらの判定結果に基づいて対象領域に写る廃棄物が対象廃棄物であるか判定する。

【0048】

この構成によれば、対象領域ではなくその部分領域について判定を行うことによる識別精度の低下が、各部分領域における判定結果に基づいて最終的な判定結果を得ることによりカバーされる。

【0049】

また、上述のように、部分領域に写る廃棄物の外観に与える廃棄物処理プラントの相違の影響は無視できる程度となることが多いため、上記の構成によれば、廃棄物処理プラントが変わっても同様の精度で対象廃棄物を検出することが可能である。

【0050】

さらに、情報処理装置１は、１つのピット画像２０２について、判定部１０４と統合判定部１０９とのそれぞれで対象廃棄物の検出を行うため、対象廃棄物の検出漏れあるいは誤検出が生じる可能性を低減することができる。

【0051】

〔廃棄物領域の抽出方法〕
廃棄物領域抽出部１０１による廃棄物領域の抽出方法について、図３に基づいて説明する。図３は、廃棄物領域を抽出する基準となる基準点の導出方法を示す図である。図３には、基準点がプロットされたピット画像２０２と、ピット画像２０２の破線枠部分の拡大図２０２１と、高さ情報２０１の例を示している。なお、ここではピット画像２０２の左右方向をＸ方向、上下方向をＹ方向として説明する。

【0052】

上述のように、高さ情報２０１は、ピットの各所における廃棄物の堆積高さを示すものである。図３に示す高さ情報２０１では、ピット内を格子状に区切る区画を規定し、規定した各区画における廃棄物の堆積高さを示している。より詳細には、図３に示す高さ情報２０１では、Ｘ方向にｍ個、Ｙ方向にｎ個（ｍ、ｎは何れも自然数）の区画が並ぶようにピットを区分している。

【0053】

そして、図３に示す高さ情報２０１は、Ｘ方向の位置（Ｘ１～Ｘｍ）と、Ｙ方向の位置（Ｙ１～Ｙｎ）との組み合わせにより、各区画の高さが特定されるようになっている。例えば、図３に示すピット画像２０２における最も左上に位置する区画は、Ｘ方向の位置がＸ１、Ｙ方向の位置がＹ１である。この区画の位置は（Ｘ１，Ｙ１）と表すことができる。この区画（Ｘ１，Ｙ１）における廃棄物の堆積高さは、図３に示す高さ情報２０１において、Ｘ１列のＹ１行に示される「ｈ１－１」である。

【0054】

廃棄物領域抽出部１０１は、高さ情報２０１に示される各区画における廃棄物の堆積高さから、ピット画像２０２において各区画に対応する基準点の位置を求める。基準点は、各区画に堆積している廃棄物の表面の位置を示している。例えば、区画（Ｘ１，Ｙ１）に対応する基準点Ｐ１－１の位置、つまり区画（Ｘ１，Ｙ１）に堆積する廃棄物の表面の位置は、区画（Ｘ１，Ｙ１）における廃棄物の堆積高さ「ｈ１－１」から求められる。他の区画についても同様であり、例えば、区画（Ｘ２，Ｙ１）に対応する基準点Ｐ２－１の位置は、区画（Ｘ２，Ｙ１）における廃棄物の堆積高さ「ｈ２－１」から求められる。

【0055】

ここで、ピット画像２０２においては、区画に廃棄物が高く堆積しているほど、その区画の廃棄物の表面は上方に写ることになる。つまり、各区画における廃棄物の堆積高さと、ピット画像２０２における廃棄物の表面の位置との間には相関がある。このため、ピットの各所における廃棄物の堆積高さと、ピットの各所における廃棄物の表面がピット画像２０２に写る位置との対応関係を示す対応情報を予め作成しておくことができる。そして、廃棄物領域抽出部１０１は、この対応情報を用いて、高さ情報２０１に示される各区画における廃棄物の堆積高さから、各区画に対応する基準点の位置を求めることができる。基準点の位置は、例えば座標で表せばよい。

【0056】

なお、高さ情報２０１に示される各区画における廃棄物の堆積高さは、各種センサ等を用いて測定したものであってもよいが、各区画にクレーンのバケットを降ろしたときのワイヤ長から求めたものであってもよい。ただし、後者の方式を採用した場合、ピットの壁面沿いの廃棄物の堆積高さを求めることが難しい。

【0057】

この場合、廃棄物領域抽出部１０１は、ピット画像２０２におけるピットの壁面沿いの廃棄物の表面位置を示す基準点の位置を推定すればよい。例えば、廃棄物領域抽出部１０１は、図３に示す壁面沿いの基準点Ｐ０－１について、この基準点Ｐ０－１の位置における廃棄物の堆積高さが、基準点Ｐ１－１の位置における廃棄物の堆積高さと同じであるとみなして、基準点Ｐ０－１の位置を推定してもよい。また、例えば、廃棄物領域抽出部１０１は、基準点Ｐ０－１に隣接する基準点Ｐ１－１や、基準点Ｐ１－１に隣接する基準点Ｐ２－１の座標値から外挿により基準点Ｐ０－１の位置を推定してもよい。壁面沿いの基準点Ｐ０－０、Ｐ１－０、Ｐ２－０等についても同様である。

【0058】

廃棄物領域抽出部１０１は、以上のようにして求めた各基準点を結ぶことにより、廃棄物領域を抽出する。例えば、廃棄物領域抽出部１０１は、ピット画像２０２に写る全ての廃棄物領域を抽出する場合には、ピットの壁面沿いの廃棄物の表面位置を示す基準点（Ｐ０－１、Ｐ０－０、Ｐ１－０、Ｐ２－０等）を結ぶ線を外縁として廃棄物領域を抽出する。

【0059】

〔廃棄物領域の抽出例〕
廃棄物領域抽出部１０１は、上述のようにして設定した基準点を用いることにより、様々な廃棄物領域を抽出することができる。これについて図４に基づいて説明する。図４は、廃棄物領域抽出部１０１による廃棄物領域の抽出例を示す図である。

【0060】

図４に示すピット画像２０２には、廃棄物が収容されたピットが写っていると共に、そのピット内に廃棄物を投入するための搬入扉も写っている。ピット画像２０２おいて、廃棄物が堆積している領域がａであり、そのうち搬入扉の直下に位置する帯状の領域ｂが廃棄物の投下領域である。そして、領域ａから領域ｂを除いた残りの領域ｃが、廃棄物を積み替えて貯留したり、撹拌したりするための領域である。

【0061】

上述のように、廃棄物領域抽出部１０１は、ピットの壁面沿いの廃棄物の表面位置を示す基準点（図４では図示を省略）を結ぶ線を外縁として廃棄物領域を抽出することにより、ピット画像２０２に写る廃棄物領域の全体を抽出することができる。図４の２１０ａは、このようにして廃棄物領域を抽出した抽出結果を示している。

【0062】

また、廃棄物領域抽出部１０１は、主としてピットの搬入扉側の壁面沿いの基準点と、領域ｂと領域ｃの境界部分に位置する基準点とに基づいて、領域ｂに対応する廃棄物領域を抽出することもできる。図４の２１０ｂは、このようにして廃棄物領域を抽出した抽出結果を示している。同様に、廃棄物領域抽出部１０１は、主としてピットの搬入扉に対向する壁面沿いの廃棄物の表面位置を示す基準点と、領域ｂと領域ｃの境界部分に位置する基準点とに基づいて、領域ｃに対応する廃棄物領域を抽出することもできる。図４の２１０ｃは、このようにして廃棄物領域を抽出した抽出結果を示している。

【0063】

以上のように、情報処理装置１は、ピットの各所における廃棄物の堆積高さとピットの各所における廃棄物の表面が前記ピット画像に写る位置との対応関係を示す対応情報と、ピットの各所における廃棄物の堆積高さを示す高さ情報２０１とを用いて、ピット画像２０２から廃棄物が写る廃棄物領域を抽出する廃棄物領域抽出部１０１を備えている。そして、候補領域抽出部１０３は、廃棄物領域抽出部１０１が抽出する廃棄物領域内で候補領域を抽出する。

【0064】

この抽出方法には、ピット画像２０２の解析や特許文献１のような学習を必要としないという利点がある。また、上記の構成によれば、抽出した廃棄物領域内で候補領域を抽出するので、候補領域の抽出範囲を絞り込み、候補領域の抽出を効率的に行うことが可能になる。

【0065】

〔候補領域の抽出方法〕
候補領域抽出部１０３は、上述のようにして抽出された、ピット画像２０２中の廃棄物領域内において、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する。この際、候補領域抽出部１０３は、ピット画像２０２の各画素の色相、彩度、および明度の少なくとも何れかに基づいて候補領域を抽出してもよい。この場合にピット画像２０２がＲＧＢ画像であれば、候補領域抽出部１０３は、ピット画像２０２をＨＳＶ画像に変換すればよい。これにより、ピット画像２０２の各画素の色相（Ｈ）、彩度（Ｓ）、および明度（Ｖ）の少なくとも何れかに基づいて候補領域を抽出することができる。

【0066】

ＨＳＶ画像に含まれる値の何れを用いるか、および候補領域を抽出する基準は、対象廃棄物自体の色や、ピット画像２０２における対象廃棄物の外観等に応じて決めておけばよい。

【0067】

例えば、候補領域抽出部１０３は、ピット画像２０２から、色相が所定範囲の画素と、彩度値が所定範囲の画素と、明度値が所定範囲の画素とを抽出し、それらの画素からなる連続領域を候補領域としてもよい。また、例えば、候補領域抽出部１０３は、ピット画像２０２から、色相、彩度値、および明度値の何れもが所定範囲である画素を抽出し、それらの画素からなる連続領域を候補領域としてもよい。

【0068】

また、候補領域抽出部１０３は、上述のようにして所定の条件を満たす画素を抽出した後、抽出した画素からなる領域の輪郭線を抽出してもよい。そして、候補領域抽出部１０３は、上記輪郭線で囲まれる各領域の面積を算出し、面積が閾値以下の領域については除外し、除外されずに残ったものを候補領域としてもよい。

【0069】

以上のようにして候補領域が抽出されると、判定部１０４は、その候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定する。この際、候補領域を色相、彩度、および明度の少なくとも何れかに基づいて抽出していた場合、特徴量についても、候補領域を構成する各画素の色相、彩度、および明度の少なくとも何れかに基づいて生成されたものを用いることが好ましい。

【0070】

例えば、色相値が所定の範囲の画素が候補領域全体において占める割合、色相のピーク値、彩度のピーク値、および明度のピーク値等を特徴量としてもよい。なお、ピーク値とは、ＨＳＶ画像から生成したヒストグラムにおけるピークの値（最大値）である。ピーク値を求める際には、生成したヒストグラムの移動平均を取ることによってピーク位置を特定してもよい。

【0071】

判定部１０４がランダムフォレストの学習済みモデル２０３を用いて判定を行う場合、上記のような特徴量についての分岐条件を用いて、候補領域に写る廃棄物が対象廃棄物であるか否かを分類した学習済みモデル２０３を用いればよい。また、サポートベクターマシンやニューラルネットワークの学習済みモデル２０３を用いて判定を行う場合、上記のような特徴量を説明変数とし、その特徴量が得られた候補領域に写る廃棄物が対象廃棄物であるか否かを目的変数として学習した学習済みモデル２０３を用いればよい。

【0072】

候補領域抽出部１０３が抽出する候補領域は、ピット画像２０２に応じてサイズも形状も様々なものとなるが、画像を分類する一般的な機械学習モデルでは、学習に用いた画像と同じサイズおよび形状の画像を入力データとする必要がある。そこで、判定部は、候補領域から特徴量を抽出し、その特徴量を用いて判定を行う。これにより、サイズや形状の異なる候補領域についても同じ学習済みモデル２０３を用いて判定することができる。

【0073】

以上のように、候補領域抽出部１０３は、ピット画像２０２の各画素の色相、彩度、および明度の少なくとも何れかに基づいて候補領域を抽出してもよい。そしてこの場合、判定部１０４は、候補領域を構成する各画素の色相、彩度、および明度の少なくとも何れかに基づいて生成された特徴量に基づいて判定を行ってもよい。

【0074】

ピット画像２０２に写る廃棄物の外観の特徴は、色相、彩度、および明度に表れることが分かっている。このため、上記の構成によれば、廃棄物の外観の特徴を捉えて、精度の高い候補領域の抽出を行うことが可能になると共に、廃棄物の外観の特徴を捉えて、候補領域に写る廃棄物が対象廃棄物であるかを高精度に判定することが可能になる。

【0075】

〔ノイズ除去の例〕
上述のように、候補領域抽出部１０３は、廃棄物領域から所定の条件を満たす画素を抽出し、それらの画素からなる候補領域を抽出してもよい。この際、候補領域抽出部１０３は、画素の抽出後にノイズの除去を行ってもよい。これについて図５に基づいて説明する。図５は、候補領域の抽出時におけるノイズ除去の例を示す図である。

【0076】

候補領域抽出部１０３は、所定の条件を満たす画素を抽出した後、ノイズ除去を行う前に、ピット画像２０２を二値化してもよい。図５には、このような処理で二値化した二値化画像２２０を示している。図５の二値化画像２２０は、所定の条件を満たす画素を白、満たさない画像を黒としている。

【0077】

ノイズ除去において、候補領域抽出部１０３は、二値化画像２２０に対し、まず収縮処理を施し、続いて膨張処理を施す。これにより、候補領域に含める必要がない微小なノイズを除去することができる。二値化画像２２０からノイズを除去した画像を、図５に２２１として示している。

【0078】

収縮処理は、注目画素の周囲の画素が全て白であった場合のみ、その注目画素を白の画素として残す処理である。例えば、図５に示す収縮処理の例では、画素群ＰＩＣ１に含まれる４つの画素のみ、周囲の画素が全て白である。よって、図示のように、画素群ＰＩＣ１に含まれる４つの画素のみが白の画素として残り、他の画素は全て黒に変換される。この収縮処理により、散在する白の画素を除去することができる。

【0079】

一方、膨張処理は、注目画素の周囲の何れかの画素が白であれば、その注目画素を白の画素とする処理である。例えば、図５に示す膨張処理の例では、画素群ＰＩＣ２に含まれる６つの黒の画素は、白の画素と隣接している。よって、図示のように、画素群ＰＩＣ２に含まれる６つの画素は白に変換される。この膨張処理により、白の画素からなる領域を拡張することができる。なお、まず収縮処理を行い、次に膨張処理を行った場合、基本的に元の画像に復元されることはない。

【0080】

〔対象領域の設定例〕
対象領域の設定方法は任意であり、例えばユーザが対象領域を自由に設定することも可能である。また、対象領域は、上述の基準点を基準として設定してもよい。これについて図６に基づいて説明する。図６は、対象領域の設定例を示す図である。

【0081】

図６の例では、対象領域抽出部１０６は、ピット画像２０２に設定された基準点のうち、４つの基準点（Ｐ１１～Ｐ１４）で囲まれる領域を対象領域２３０として抽出している。この４つの基準点は、ユーザが入力部１３を介した入力操作により設定してもよいし、ユーザは所望の区画を入力し、入力された区画を囲む位置の基準点を対象領域抽出部１０６が特定してもよい。

【0082】

〔部分領域の設定例〕
上述のようにして抽出された対象領域２３０には部分領域が設定される。これについて図７に基づいて説明する。図７は、対象領域２３０における部分領域２３１の設定例を示す図である。なお、図７では対象領域２３０の外縁のみを示し、対象領域２３０に写る廃棄物等は図示を省略している。

【0083】

図７に示す対象領域２３０には、６つの部分領域２３１が設定されている。設定されている部分領域２３１は、何れも矩形でありサイズも同じである。この部分領域２３１が縦に２行×横に３列の計６つ配置されており、横方向における部分領域２３１の間隔はｗ１、縦方向における部分領域２３１の間隔はｗ２である。また、対象領域の端部から部分領域２３１までの間隔はｗ３である。なお、部分領域２３１は、そこに写る廃棄物が対象廃棄物であるか否かを判定できる程度のサイズであればよく、設定する部分領域２３１の数、サイズ、形状等は特に限定されない。

【0084】

図７の例のように、部分領域２３１を対象領域の端部を避けて設定してもよい。対象領域の中でもその端部にはピットの側壁等が写り込む可能性があるが、部分領域を対象領域の端部を避けて設定することにより、ピットの側壁等が写り込む可能性を低減して、判定精度を高めることができる。なお、ピットの側壁等が写り込む可能性がそもそも低い場合や、ピットの側壁等が写り込むことに支障がない場合には、対象領域の端部を含むように部分領域を設定してもよい。

【0085】

また、図７の例のように、部分領域２３１は、対象領域内に間隔を空けて設定してもよい。これにより、対象領域内に間隔を空けずに部分領域を設定する場合と比べて、部分領域の総数を減らし、各部分領域についての判定に要する処理の負荷を低減することができる。なお、部分領域の総数を減らす必要がない場合には、間隔を空けずに部分領域２３１を設定してもよい。

【0086】

〔統合判定の方法〕
統合判定部１０９は、上述のようにして設定された複数の部分領域の判定結果に基づき、それら部分領域を含む対象領域の廃棄物が対象廃棄物であるかを判定する。この判定方法は、各部分領域の判定結果に基づいたものであればよく、特に限定されない。

【0087】

例えば、統合判定部１０９は、複数の部分領域の判定結果の多数決により対象領域の廃棄物が対象廃棄物であるかを判定してもよい。例えば、図７の例のように対象領域に６つの部分領域が設定された場合に、そのうち４つの部分領域で対象廃棄物であると判定され、他の２つの部分領域では対象廃棄物でない（あるいは対象廃棄物以外の種類の廃棄物である）と判定されたとする。この場合、多数決によれば、対象領域の廃棄物は対象廃棄物であると判定される。

【0088】

また、統合判定部１０９は、各部分領域の判定結果の確度に応じてその判定結果を重み付けし、重み付け後の判定結果に基づいて対象領域の廃棄物が対象廃棄物であるかを判定してもよい。例えば、学習済みモデル２０４による判定結果の確信度が９５％以上であれば３点、９５％未満であれば１点、のように判定結果を点数化し、その点数の合計値が最も多い判定結果を採用してもよい。例えば、３つの部分領域の判定結果が、対象廃棄物である（確信度９５％）、対象廃棄物ではない（確信度７５％）、対象廃棄物ではない（確信度７２％）であったとする。この場合、対象廃棄物であるとの判定結果の点数は３点、対象廃棄物ではないとの判定結果の点数は２点であるから、統合判定の結果は、対象廃棄物である、ということになる。この構成によれば、対象領域の一部分に対象廃棄物が存在し、他の部分には存在していないような場合にも、その対象領域に対象廃棄物が存在することを検出することができる。

【0089】

〔２通りの判定とそれらの判定結果の統合例〕
上述のように、情報処理装置１では、候補領域抽出部１０３が抽出した候補領域に写る廃棄物が対象廃棄物であるかを判定部１０４が判定する。また、部分領域設定部１０７が設定した各部分領域に写る廃棄物が対象廃棄物であるかを部分判定部１０８が判定し、それらの判定結果から、対象領域に写る廃棄物が対象廃棄物であるかを統合判定部１０９が判定する。このように、情報処理装置１では、２通りの判定方法で廃棄物が対象廃棄物であるかを判定する。そして、判定結果統合部１１０は、判定部１０４の判定結果と、統合判定部１０９の判定結果とを統合する。

【0090】

図８は、判定部１０４の判定結果と統合判定部１０９の判定結果の統合例を示す図である。図８に示すピット画像２０２は、情報処理装置１による判定の対象となる画像であり、このピット画像２０２には色合いの異なる廃棄物が写っている。

【0091】

上述のように、廃棄物領域抽出部１０１は、ピット画像２０２から廃棄物領域２１０を抽出する。次に、候補領域抽出部１０３は、廃棄物領域２１０における所定の色範囲の画素からなる領域を候補領域として抽出する。図８の例では、候補領域抽出部１０３は、廃棄物領域２１０の左上端の位置ｐ１から右下端の位置ｐ２までの各画素が所定の色範囲の画素であるかを判定している。そして、候補領域抽出部１０３は、所定の色範囲の画素からなる領域を候補領域として抽出している。図８の例では、Ａ１とＡ２の２つの領域が候補領域として抽出され、判定部１０４により、これらの候補領域に写る廃棄物が対象廃棄物であると判定されている。

【0092】

一方、対象領域抽出部１０６は、廃棄物領域２１０内に対象領域を設定する。図８の例では、２３０ａ～２３０ｃの３つの対象領域が設定されている。上述のように、設定された対象領域内には部分領域設定部１０７が複数の部分領域を設定し、部分判定部１０８が各部分領域に写る廃棄物が対象廃棄物であるか判定する。そして、統合判定部１０９が、部分領域のそれぞれにおける判定結果に基づき、対象領域２３０ａ～２３０ｃに写る廃棄物が対象廃棄物であるか判定する。対象領域２３０ａおよび２３０ｂについては対象廃棄物であると判定され、対象領域２３０ｃについては対象廃棄物ではないと判定されている。

【0093】

対象領域２３０ｃについては、判定部１０４による判定においても、統合判定部１０９による判定においても、対象廃棄物であるとは判定されていない。このため、判定結果統合部１１０は、対象領域２３０ｃの判定結果を対象廃棄物なしとすればよい。

【0094】

一方、対象領域２３０ａには、判定部１０４が対象廃棄物であると判定した領域Ａ１が含まれている。判定結果統合部１１０は、このような対象領域２３０ａについては、判定結果を対象廃棄物ありとすればよい。

【0095】

また、対象領域２３０ｂには、判定部１０４が対象廃棄物であると判定した領域が含まれていないが、統合判定部１０９はこの領域の廃棄物が対象廃棄物であると判定している。判定結果統合部１１０は、このような対象領域２３０ａについては、判定結果を対象廃棄物ありとすればよい。

【0096】

このように、判定結果統合部１１０は、判定部１０４と統合判定部１０９の何れかまたは両方が、対象廃棄物があると判定した領域については、判定結果を対象廃棄物ありとしてもよい。そして、判定部１０４と統合判定部１０９の両方が、対象廃棄物がないと判定した（あるいは対象廃棄物があると判定しなかった）領域については、判定結果を対象廃棄物なしとしてもよい。

【0097】

また、判定結果統合部１１０は、ピット内を格子状に区切って各区画に番地を設定し、番地単位で対象廃棄物の有無を決定してもよい。この場合、判定結果統合部１１０は、判定部１０４が対象廃棄物であると判定した候補領域のピット画像２０２における重心位置と、対象領域の重心位置を求め、複数の重心位置が含まれる番地を検出し、そのような番地について判定結果の統合を行ってもよい。例えば、判定結果統合部１１０は、その候補領域の面積と対象領域の面積とを比較し、大きい方の判定結果をその番地の判定結果としてもよい。

【0098】

〔処理の流れ（全体）〕
情報処理装置１が実行する処理の流れを図９に基づいて説明する。図９は、情報処理装置１が実行する処理の一例を示すフローチャートである。

【0099】

Ｓ１では、廃棄物領域抽出部１０１が、廃棄物を収容するピット内を撮像したピット画像２０２を取得する。また、Ｓ２では、廃棄物領域抽出部１０１は、高さ情報２０１を取得する。なお、Ｓ１よりも先にＳ２の処理を行ってもよいし、Ｓ１とＳ２の処理を並行で行ってもよい。

【0100】

Ｓ３では、廃棄物領域抽出部１０１は、Ｓ１で取得したピット画像２０２に対して前処理を行う。前処理の内容は特に限定されず、例えば、Ｓ３において、廃棄物領域抽出部１０１は、ホワイトバランスの調整とコントラストの調整等を行ってもよい。なお、Ｓ３の処理は必要に応じて行えばよく、必須の処理ではない。

【0101】

また、ピット画像２０２にクレーンが写っている場合には、廃棄物領域抽出部１０１は、クレーンが写る領域をマスクするマスク処理を行ってもよい。マスク処理を行う領域は、クレーンのバケットの３次元位置に基づいて決定すればよい。例えば、クレーンのバケットの中心の３次元位置を示す座標を、ピット画像２０２の画像平面上の座標に変換し、その座標を基準としてマスク処理を行う領域を設定してもよい。また、クレーンのバケットの外観を学習した学習済みモデルによりバケットが写る領域を検出し、その領域にマスク処理を行ってもよい。

【0102】

Ｓ４では、候補領域ごとに対象廃棄物の検出を行う。そして、Ｓ５では、対象領域毎に対象廃棄物の検出を行う。なお、Ｓ５の処理を先に行ってもよいし、Ｓ４とＳ５の処理を並行で行ってもよい。Ｓ４の処理の詳細は図１０に基づいて後述し、Ｓ５の処理の詳細は図１１に基づいて後述する。

【0103】

Ｓ６では、判定結果統合部１１０が、Ｓ４とＳ５における対象廃棄物の検出結果を統合する。そして、Ｓ７では、クレーン制御部１１１が、Ｓ６で統合した検出結果に従い、制御装置２に対象廃棄物の位置を通知し、その位置の廃棄物を撹拌させる。なお、撹拌は、クレーンのバケットで掴み上げた廃棄物を、バケットを開くことにより落下させることによって行ってもよい。この際、バケットを水平移動させながらバケットを開くことにより、バケットの移動経路上に廃棄物を分散させてもよいし、ある位置で掴み上げた廃棄物をその位置で落下させてもよいし、別の位置に移動させて落下させてもよい。また、対象廃棄物がそもそも焼却すべきでないようなものであれば、クレーン制御部１１１は、通知した位置の廃棄物を、焼却に供さない廃棄物を集積している領域に積み替えるように、制御装置２に指示してもよい。

【0104】

〔処理の流れ（Ｓ４の詳細）〕
図９におけるＳ４の処理の詳細を図１０に基づいて説明する。図１０は、候補領域ごとに行われる、対象廃棄物の検出処理（判定方法）の一例を示すフローチャートである。

【0105】

Ｓ４１では、廃棄物領域抽出部１０１が、図９のＳ２で取得した高さ情報２０１を用いて、Ｓ１で取得したピット画像２０２から廃棄物領域を抽出する。続いて、Ｓ４２では、画像変換部１０２が、Ｓ４１で抽出された廃棄物領域の画像をＨＳＶ画像に変換する。

【0106】

Ｓ４３（候補領域抽出ステップ）では、候補領域抽出部１０３が、Ｓ４２の処理でＨＳＶ画像に変換されたピット画像２０２における、対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する。この際、候補領域抽出部１０３は、例えば図５に示したような方法でノイズ除去を行ってもよい。上述のように、候補領域は、対象廃棄物に応じた所定の色範囲の画素からなる連続領域であり、１つの候補領域も抽出されないこともあり、複数の候補領域が抽出されることもある。

【0107】

Ｓ４４では、候補領域抽出部１０３は、Ｓ４３で抽出した候補領域の個数が０より多いか否かを判定する。ここで０より多いと判定された場合（Ｓ４４でＹＥＳ）にはＳ４５に進む。一方、０であると判定された場合（Ｓ４４でＮＯ）には図１０の処理は終了する。

【0108】

Ｓ４５（判定ステップ）では、判定部１０４が、Ｓ４３で抽出された候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定する。例えば、判定部１０４は、Ｓ４３で抽出された候補領域を構成する各画素の色相、彩度、明度の各値を用いて特徴量を生成し、生成した特徴量を学習済みモデル２０３に入力して得られる出力値から、候補領域に写る廃棄物の種類を判定してもよい。

【0109】

Ｓ４６では、候補領域抽出部１０３が、Ｓ４３で抽出した候補領域から、Ｓ４５で対象廃棄物以外の種類と判定された候補領域を除外する。これにより、Ｓ４３で抽出した候補領域のうち、Ｓ４５で対象廃棄物であると判定された候補領域が残る。

【0110】

Ｓ４７では、候補領域抽出部１０３は、Ｓ４６の処理の後に残った候補領域の個数が０より多いか否かを判定する。ここで０より多いと判定された場合（Ｓ４７でＹＥＳ）にはＳ４８に進む。一方、０であると判定された場合（Ｓ４７でＮＯ）には図１０の処理は終了する。

【0111】

Ｓ４８では、位置算出部１０５が、Ｓ４６の処理の後に残った候補領域の重心位置を算出する。具体的には、位置算出部１０５は、ピット画像２０２の画像平面における候補領域の重心位置座標を算出する。

【0112】

Ｓ４９では、位置算出部１０５は、Ｓ４８で算出した重心位置の座標を三次元座標に変換する。この変換により得られる三次元座標が、検出した対象廃棄物のピット内における位置を示している。

【0113】

なお、対象廃棄物が複数種類存在する場合、図１０の処理は、複数種類の対象廃棄物のそれぞれについて行えばよい。この場合、Ｓ４３で抽出対象とする画素の色範囲が、検出対象とする対象廃棄物の種類に応じて変わる。

【0114】

以上のように、情報処理装置１が実行する判定方法は、廃棄物を収容するピット内を撮像したピット画像２０２における、検出対象とする対象廃棄物に応じた所定の色範囲の画素からなる領域を候補領域として抽出する候補領域抽出ステップ（Ｓ４３）を含む。また、この判定方法は、候補領域を構成する各画素の色に基づいて生成された特徴量に基づき、候補領域に写る廃棄物が対象廃棄物であるか判定する判定ステップ（Ｓ４５）を含む。この判定方法によれば、抽出される候補領域の形状やサイズが一定でなくとも対象廃棄物を検出することができる。

【0115】

〔処理の流れ（Ｓ５の詳細）〕
図９におけるＳ５の処理の詳細を図１１に基づいて説明する。図１１は、判定の対象として設定された対象領域における対象廃棄物の検出処理（判定方法）の一例を示すフローチャートである。

【0116】

Ｓ５１では、対象領域抽出部１０６が、処理回数のカウンタｉの値を０にする。続いて、Ｓ５２では、対象領域抽出部１０６は、カウンタｉの値が指定された番地数より大きいか否かを判定する。Ｓ５２で大きいと判定された場合（Ｓ５２でＹＥＳ）には図１１の処理は終了する。一方、Ｓ５２でｉが指定番地数以下であると判定された場合（Ｓ５２でＮＯ）にはＳ５３に進む。なお、指定された番地数とは、ピット内を格子状に区切って設定した区画のうち、設定された対象領域に含まれる区画の数である。

【0117】

Ｓ５３では、対象領域抽出部１０６は、図９のＳ２で取得された高さ情報２０１を用いて、Ｓ１で取得されたピット画像２０２から、対象領域のうち１つの番地に対応する部分を抽出する。そして、Ｓ５４では、部分領域設定部１０７が、Ｓ５３で抽出された対象領域に複数の部分領域を設定する。

【0118】

Ｓ５５（部分判定ステップ）では、部分判定部１０８が、設定された対象領域内（このフローチャートでは設定領域内における一つの番地に対応する部分）の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物の種類を判定する。言い換えれば、部分判定部１０８は、部分領域に写る廃棄物が対象廃棄物であるか判定する。

【0119】

Ｓ５６では、統合判定部１０９が、部分領域のそれぞれにおける判定結果に基づき、対象領域に写る廃棄物が対象廃棄物であるか判定する。この後、対象領域抽出部１０６が、処理回数のカウンタｉの値を１だけインクリメントし、Ｓ５２の処理に戻る。

【0120】

なお、上述の例では、指定された番地数の全ての番地について判定を行っているが、一部の番地を指定して、指定した番地についてのみ判定を行うようにしてもよい。例えば、１～１２の１２個の番地が設定されており、このうち２、３、７、８の４つがユーザによって指定されたとする。この場合、指定番地数は４となるから、Ｓ５２では、対象領域抽出部１０６は、カウンタｉの値が４より大きいか否かを判定する。そして、Ｓ５２でＮＯと判定した場合、対象領域抽出部１０６は、指定された２、３、７、８の４つの番地のうち、未判定の番地を判定対象に決定し、Ｓ５３の処理に進む。

【0121】

以上のように、情報処理装置１が実行する判定方法は、廃棄物を収容するピット内を撮像したピット画像において前記廃棄物が写る廃棄物領域内に判定の対象として設定された対象領域内の複数の部分領域のそれぞれについて、当該部分領域に写る廃棄物が検出対象の対象廃棄物であるか判定する部分判定ステップ（Ｓ５５）を含む。また、この判定方法は、部分領域のそれぞれにおける判定結果に基づき、対象領域に写る廃棄物が対象廃棄物であるか判定する統合判定ステップ（Ｓ５６）を含む。この判定方法によれば、対象となる廃棄物処理プラントが変わっても同様の精度で対象廃棄物を検出することが可能である。

【0122】

〔変形例〕
上述の実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の情報処理装置により、情報処理装置１と同様の機能を有する情報処理システムを構築することができる。例えば、図９のＳ１、２、４～６を情報処理装置１が実行し、Ｓ３とＳ７はそれぞれ別の情報処理装置に実行させてもよい。このように、図９に示した処理は、１または複数の情報処理装置により実現できる。図１０および図１１に示した判定方法についても同様である。

【0123】

〔参考例〕
情報処理装置１は、候補領域抽出部１０３および判定部１０４を備えていない構成としてもよい。この場合においても、情報処理装置１が、部分判定部１０８と統合判定部１０９と、を備えていれば、従来技術と比べて汎用的な手法で対象となる廃棄物を検出することが可能である。

【0124】

〔ソフトウェアによる実現例〕
情報処理装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１０に含まれる各部）としてコンピュータを機能させるためのプログラム（判定プログラム）により実現することができる。

【0125】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0126】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0127】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0128】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0129】

１ 情報処理装置
１０１ 廃棄物領域抽出部
１０３ 候補領域抽出部
１０４ 判定部
１０８ 部分判定部
１０９ 統合判定部
２０２ ピット画像
２ 制御装置
３ クレーン
５ 制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】