特開2023-161734学習モデルの生成方法、学習モデル、情報処理装置、情報処理方法、プログラム、およびデータ拡張方法、ならびに状態推定装置および状態推定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023161734
(43)【公開日】2023-11-08
(54)【発明の名称】学習モデルの生成方法、学習モデル、情報処理装置、情報処理方法、プログラム、およびデータ拡張方法、ならびに状態推定装置および状態推定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231031BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022072255
(22)【出願日】2022-04-26
(71)【出願人】
【識別番号】000004123
【氏名又は名称】ＪＦＥエンジニアリング株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】芳賀 継彦
(72)【発明者】
【氏名】中山 剛
(72)【発明者】
【氏名】戸村 啓二
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096CA21
5L096DA01
5L096EA03
5L096EA16
5L096FA06
5L096FA16
5L096FA25
5L096FA32
5L096FA62
5L096FA64
5L096FA69
5L096GA34
5L096GA41
5L096GA55
5L096HA11
5L096KA04
(57)【要約】
【課題】対象物を撮像して得られた撮像画像データにおいて対象物の状態を高精度にラベリングすること。
【解決手段】対象物が撮像された撮像画像データを構成する少なくとも１つの画像パッチと、画像パッチに含まれる対象物の状態に応じてラベルが設定された撮像画像データに対応するラベリングデータと、ユーザが画像処理装置を用いて撮像画像データからラベリングデータを生成する際にユーザが撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、撮像画像データおよびユーザ操作情報を学習用入力パラメータ、ラベリングデータを学習用出力パラメータとして、機械学習により学習モデルを生成する。
【選択図】図４
【解決手段】対象物が撮像された撮像画像データを構成する少なくとも１つの画像パッチと、画像パッチに含まれる対象物の状態に応じてラベルが設定された撮像画像データに対応するラベリングデータと、ユーザが画像処理装置を用いて撮像画像データからラベリングデータを生成する際にユーザが撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、撮像画像データおよびユーザ操作情報を学習用入力パラメータ、ラベリングデータを学習用出力パラメータとして、機械学習により学習モデルを生成する。
【選択図】図４
【特許請求の範囲】
【請求項1】
対象物が撮像された撮像画像データを構成する少なくとも１つの画像パッチと、前記画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記撮像画像データに対応するラベリングデータと、ユーザが画像処理装置を用いて前記撮像画像データから前記ラベリングデータを生成する際に前記ユーザが前記撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により学習モデルを生成する
学習モデルの生成方法。
前記撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により学習モデルを生成する
学習モデルの生成方法。
【請求項2】
前記ユーザが実行する前記画像変換処理において、前記ユーザが前記撮像画像データに対して選択した注目範囲に対して領域を拡張した周辺領域に前記画像変換処理を施して、前記画像変換処理を施した前記周辺領域における画像パッチを前記学習用入力パラメータとして含む
請求項１に記載の学習モデルの生成方法。
請求項１に記載の学習モデルの生成方法。
【請求項3】
前記対象物が廃棄物を貯留する貯留ピットの内部であって、前記ラベリングデータが、前記廃棄物の攪拌状態に応じて設定されてラベリングされた画像データを含む
請求項１に記載の学習モデルの生成方法。
請求項１に記載の学習モデルの生成方法。
【請求項4】
前記撮像画像データにおける、状態が変わらない不変領域のラベルが設定された部分に基づいて、状態が変化する領域を補正する
請求項１に記載の学習モデルの生成方法。
請求項１に記載の学習モデルの生成方法。
【請求項5】
前記対象物が複数の異なる物体の混合物を含み、前記対象物の状態が前記混合物の混合度である
請求項１に記載の学習モデルの生成方法。
請求項１に記載の学習モデルの生成方法。
【請求項6】
請求項１～５のいずれか１項に記載の学習モデルの生成方法によって生成され、
対象物を撮像した撮像画像データを入力パラメータとし、前記対象物における状態をラベリングしたラベリングデータを出力パラメータとする
学習モデル。
対象物を撮像した撮像画像データを入力パラメータとし、前記対象物における状態をラベリングしたラベリングデータを出力パラメータとする
学習モデル。
【請求項7】
対象物を撮像した撮像画像データから、前記撮像画像データを構成する少なくとも１つの画像パッチごとに前記対象物の状態をラベリングしたラベリングデータを生成する情報処理装置であって、
前記対象物を撮像した撮像画像データを記憶する記憶部と、
前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力し、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力する制御部と、を備え、
前記ラベリング学習モデルは、
対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである
ことを特徴とする情報処理装置。
前記対象物を撮像した撮像画像データを記憶する記憶部と、
前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力し、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力する制御部と、を備え、
前記ラベリング学習モデルは、
対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである
ことを特徴とする情報処理装置。
【請求項8】
ハードウェアを備えた制御部が実行する情報処理方法であって、
対象物を撮像した撮像画像データを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力する入力ステップと、
入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力する出力ステップと、を含み、
前記ラベリング学習モデルは、
対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザによって前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである
ことを特徴とする情報処理方法。
対象物を撮像した撮像画像データを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力する入力ステップと、
入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力する出力ステップと、を含み、
前記ラベリング学習モデルは、
対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザによって前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである
ことを特徴とする情報処理方法。
【請求項9】
対象物を撮像した撮像画像データから、前記撮像画像データを構成する少なくとも１つの画像パッチごとに前記対象物の状態をラベリングしたラベリングデータを生成する制御部に、
前記対象物を撮像した撮像画像データを取得するステップと、
記憶部から読み出した前記撮像画像データを入力パラメータとして、
対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザによって前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成されたラベリング学習モデルに入力し、
入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力させる
ことを実行させるプログラム。
前記対象物を撮像した撮像画像データを取得するステップと、
記憶部から読み出した前記撮像画像データを入力パラメータとして、
対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザによって前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成されたラベリング学習モデルに入力し、
入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力させる
ことを実行させるプログラム。
【請求項10】
ハードウェアを備えた制御部が実行するデータ拡張方法であって、
対象物を撮像した撮像画像データを入力パラメータとし、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに対象物の状態に応じたラベルが設定されたラベリングデータを出力パラメータとするラベリング学習モデルを機械学習により生成する際に、
学習用撮像画像データに、ユーザによって前記学習用撮像画像データから学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報を追加するデータ拡張を行う
データ拡張方法。
対象物を撮像した撮像画像データを入力パラメータとし、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに対象物の状態に応じたラベルが設定されたラベリングデータを出力パラメータとするラベリング学習モデルを機械学習により生成する際に、
学習用撮像画像データに、ユーザによって前記学習用撮像画像データから学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報を追加するデータ拡張を行う
データ拡張方法。
【請求項11】
前記学習用撮像画像データに対して前記ユーザが所定の注目範囲を選択して、前記注目範囲に対して所定の画像変換処理を実行した場合に、前記注目範囲に対する周辺領域を拡張し、前記周辺領域に対して前記所定の画像変換処理を実行してデータ拡張を行う
請求項１０に記載のデータ拡張方法。
請求項１０に記載のデータ拡張方法。
【請求項12】
廃棄物を貯留する貯留ピットの内部を撮像した撮像画像データから、前記撮像画像データを構成する少なくとも１つの画像パッチごとに、前記廃棄物の混合状態をラベリングしたラベリングデータを生成して、前記廃棄物の混合状態を推定する状態推定装置であって、
前記貯留ピットの内部を撮像した撮像画像データを記憶する記憶部と、
前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力し、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに、前記廃棄物の混合状態を示すラベルが設定されたラベリングデータを出力する制御部と、を備え、
前記ラベリング学習モデルは、
前記貯留ピットの内部が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記貯留ピットの内部の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである
ことを特徴とする状態推定装置。
前記貯留ピットの内部を撮像した撮像画像データを記憶する記憶部と、
前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力し、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに、前記廃棄物の混合状態を示すラベルが設定されたラベリングデータを出力する制御部と、を備え、
前記ラベリング学習モデルは、
前記貯留ピットの内部が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記貯留ピットの内部の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである
ことを特徴とする状態推定装置。
【請求項13】
ハードウェアを備えた制御部が実行する状態推定方法であって、
廃棄物を貯留する貯留ピットの内部を撮像した撮像画像データを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力する入力ステップと、
入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに、前記廃棄物の混合状態を示すラベルが設定されたラベリングデータを出力する出力ステップと、を含み、
前記ラベリング学習モデルは、
前記貯留ピットの内部が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記貯留ピットの内部の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである
状態推定方法。
廃棄物を貯留する貯留ピットの内部を撮像した撮像画像データを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力する入力ステップと、
入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに、前記廃棄物の混合状態を示すラベルが設定されたラベリングデータを出力する出力ステップと、を含み、
前記ラベリング学習モデルは、
前記貯留ピットの内部が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記貯留ピットの内部の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、
前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである
状態推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデルの生成方法、学習モデル、情報処理装置、情報処理方法、プログラム、およびデータ拡張方法、ならびに状態推定装置および状態推定方法に関する。
【背景技術】
【0002】
従来、ごみ焼却炉に投入されたごみを安定的に燃焼させるための取り組みとして、ごみピット内に堆積したごみの性状をなるべく均質にする作業、いわゆる攪拌が行われている。ごみ焼却炉の安定的な運転のためには、燃焼に供されるごみの性状を攪拌によって均質にすることが重要である。ごみ焼却炉においては、ごみに対して攪拌をあらかじめ行った上で、ごみシュートを介して焼却炉にごみを投入して焼却が行われる。
【0003】
ごみを均質化するにはごみピットにおいて十分攪拌する必要がある。ごみの攪拌は、作業者の目視に基づいたクレーンの操作、または自動制御によってクレーンを制御することによって実行されている。ごみを効率的に攪拌するためには、ごみピット内のごみの攪拌状態を正確に把握する必要がある。そこで近年、ごみピット内に堆積したごみの攪拌の状態、すなわち混合度をデータ化して顕在化させることによって、攪拌を効果的に行う方法が種々検討されている。
【0004】
特許文献１においては、ごみピット内に投入されるごみを、色調にてごみ質を捉えてクレーンを制御することで、ごみ質の均一化を図ることを目的とした、ごみ処理工場用自動クレーンの制御装置が開示されている。特許文献１に開示された技術は、２台一対のカメラのステレオ視による視差を利用してごみピット内に堆積したごみ高さを計測し、計測されたごみ高さの情報をごみ高さマップにするとともに、ごみ高さの情報よりごみの色調を判別したごみ色調マップに基づいて、ごみピット内の異質ごみを特定し、異質ごみを攪拌するようにクレーンを制御する技術である。
【0005】
特許文献２においては、ごみ質の攪拌状況を評価するごみの混合度評価システムに関する技術が開示されている。特許文献２に開示された技術は、ごみ質の攪拌状況を把握するために、ごみピット内のごみを撮像し、三次元高さ情報を算出し、撮像した画像と三次元高さ情報から補正した画像を二値化し、二値化画像から各評価エリアのごみの混合度を評価する技術である。
【0006】
特許文献３においては、ごみピット内でのごみ質を把握し、クレーンによる投入の時点で均一になるように制御する、ごみ質の推定システムが開示されている。特許文献３に開示された技術は、ごみピット表面が撮像された画像データから生成された投入ごみの入力データと、ごみ質教師データとを用いて、知的情報処理技術により、ごみ質を推定する投入ごみ質推定モデルを生成する技術である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特許第５０２５１２０号公報
【特許文献2】特許第６４５７１３７号公報
【特許文献3】特許第６５５４１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献１～３に開示された技術においては、被写体が同一であっても、この被写体を撮像した撮像画像は、撮像を行う撮像部からの距離によって撮像画像データの特性が変化する。そのため、例えば貯留ピット内に貯留された廃棄物の攪拌状態といった、所定範囲内の対象物の混合状態を高精度に計測するためには、対象物を撮像する撮像部のみならず、撮像部と廃棄物の表面との距離を考慮するための測距センサなどが必要になるという課題がある。この場合、対象物を撮像する撮像処理を行いつつ、撮像部から対象物までの距離を計測する測距処理を行う必要があるという課題がある。
【0009】
すなわち、撮像部によって撮像されて得られた撮像画像データの特性が変化しても、所定範囲内の対象物の混合状態を高精度に測定できる測定技術が求められていた。この測定技術を実現するために、対象物を撮像して得られた撮像画像データにおいて対象物の状態を高精度にラベリングできる技術の開発が求められていた。
【0010】
本発明は、このような事情に鑑みてなされたもので、その目的は、対象物を撮像して得られた撮像画像データにおいて対象物の状態を高精度にラベリングできる学習モデルの生成方法、学習モデル、情報処理装置、情報処理方法、プログラム、およびデータ拡張方法、ならびに状態推定装置および状態推定方法を提供することにある。
【課題を解決するための手段】
【0011】
上述した課題を解決し、目的を達成するために、本発明の一態様に係る学習モデルの生成方法は、対象物が撮像された撮像画像データを構成する少なくとも１つの画像パッチと、前記画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記撮像画像データに対応するラベリングデータと、ユーザが画像処理装置を用いて前記撮像画像データから前記ラベリングデータを生成する際に前記ユーザが前記撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、前記撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により学習モデルを生成する。
【0012】
本発明の一態様に係る学習モデルの生成方法は、上記の発明において、前記ユーザが実行する前記画像変換処理において、前記ユーザが前記撮像画像データに対して選択した注目範囲に対して領域を拡張した周辺領域に前記画像変換処理を施して、前記画像変換処理を施した前記周辺領域における画像パッチを前記学習用入力パラメータとして含む。
【0013】
本発明の一態様に係る学習モデルの生成方法は、上記の発明において、前記対象物が廃棄物を貯留する貯留ピットの内部であって、前記ラベリングデータが、前記廃棄物の攪拌状態に応じて設定されてラベリングされた画像データを含む。
【0014】
本発明の一態様に係る学習モデルの生成方法は、上記の発明において、前記撮像画像データにおける、状態が変わらない不変領域のラベルが設定された部分に基づいて、状態が変化する領域を補正する。
【0015】
本発明の一態様に係る学習モデルの生成方法は、上記の発明において、前記対象物が複数の異なる物体の混合物を含み、前記対象物の状態が前記混合物の混合度である。
【0016】
本発明の一態様に係る学習モデルは、上記の発明による学習モデルの生成方法によって生成され、対象物を撮像した撮像画像データを入力パラメータとし、前記対象物における状態をラベリングしたラベリングデータを出力パラメータとする。
【0017】
本発明の一態様に係る情報処理装置は、対象物を撮像した撮像画像データから、前記撮像画像データを構成する少なくとも１つの画像パッチごとに前記対象物の状態をラベリングしたラベリングデータを生成する情報処理装置であって、前記対象物を撮像した撮像画像データを記憶する記憶部と、前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力し、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力する制御部と、を備え、前記ラベリング学習モデルは、対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである。
【0018】
本発明の一態様に係る情報処理方法は、ハードウェアを備えた制御部が実行する情報処理方法であって、対象物を撮像した撮像画像データを記憶部に記憶させる記憶ステップと、前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力する入力ステップと、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力する出力ステップと、を含み、前記ラベリング学習モデルは、対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザによって前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである。
【0019】
本発明の一態様に係るプログラムは、対象物を撮像した撮像画像データから、前記撮像画像データを構成する少なくとも１つの画像パッチごとに前記対象物の状態をラベリングしたラベリングデータを生成する制御部に、前記対象物を撮像した撮像画像データを取得するステップと、記憶部から読み出した前記撮像画像データを入力パラメータとして、対象物が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記対象物の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザによって前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成されたラベリング学習モデルに入力し、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとにラベルが設定されたラベリングデータを出力させる。
【0020】
本発明の一態様に係るデータ拡張方法は、ハードウェアを備えた制御部が実行するデータ拡張方法であって、対象物を撮像した撮像画像データを入力パラメータとし、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに対象物の状態に応じたラベルが設定されたラベリングデータを出力パラメータとするラベリング学習モデルを機械学習により生成する際に、学習用撮像画像データに、ユーザによって前記学習用撮像画像データから学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報を追加するデータ拡張を行う。
【0021】
本発明の一態様に係るデータ拡張方法は、上記の発明において、前記学習用撮像画像データに対して前記ユーザが所定の注目範囲を選択して、前記注目範囲に対して所定の画像変換処理を実行した場合に、前記注目範囲に対する周辺領域を拡張し、前記周辺領域に対して前記所定の画像変換処理を実行してデータ拡張を行う。
【0022】
本発明の一態様に係る状態推定装置は、廃棄物を貯留する貯留ピットの内部を撮像した撮像画像データから、前記撮像画像データを構成する少なくとも１つの画像パッチごとに、前記廃棄物の混合状態をラベリングしたラベリングデータを生成して、前記廃棄物の混合状態を推定する状態推定装置であって、前記貯留ピットの内部を撮像した撮像画像データを記憶する記憶部と、前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力し、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに、前記廃棄物の混合状態を示すラベルが設定されたラベリングデータを出力する制御部と、を備え、前記ラベリング学習モデルは、前記貯留ピットの内部が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記貯留ピットの内部の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである。
【0023】
本発明の一態様に係る状態推定方法は、ハードウェアを備えた制御部が実行する状態推定方法であって、廃棄物を貯留する貯留ピットの内部を撮像した撮像画像データを記憶部に記憶させる記憶ステップと、前記記憶部から読み出した前記撮像画像データを入力パラメータとしてラベリング学習モデルに入力する入力ステップと、入力された前記撮像画像データに対応して前記撮像画像データを構成する画像パッチごとに、前記廃棄物の混合状態を示すラベルが設定されたラベリングデータを出力する出力ステップと、を含み、前記ラベリング学習モデルは、前記貯留ピットの内部が撮像された学習用撮像画像データを構成する少なくとも１つの学習用画像パッチと、前記学習用画像パッチに含まれる前記貯留ピットの内部の状態に応じてラベルが設定された前記学習用撮像画像データに対応する学習用ラベリングデータと、ユーザが画像処理装置を用いて前記学習用撮像画像データから前記学習用ラベリングデータを生成する際に前記ユーザが前記学習用撮像画像データに対して実行した画像変換処理の情報を含むユーザ操作情報と、を含む情報を用いて、前記学習用撮像画像データおよび前記ユーザ操作情報を学習用入力パラメータ、前記ラベリングデータを学習用出力パラメータとして、機械学習により生成された学習モデルである。
【発明の効果】
【0024】
本発明に係る学習モデルの生成方法、学習モデル、情報処理装置、情報処理方法、プログラム、およびデータ拡張方法、ならびに状態推定装置および状態推定方法によれば、対象物を撮像して得られた撮像画像データにおいて対象物の状態を高精度にラベリングすることが可能となる。
【図面の簡単な説明】
【0025】
【発明を実施するための形態】
【0026】
以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。
【0027】
まず、本発明の一実施形態による情報処理装置を説明するにあたり、本発明者が行った鋭意検討について説明する。すなわち、本発明者の知見によれば、上述した従来技術においては、対象施設であるごみピットに関する計測手段として撮像カメラが利用され、撮像カメラによって撮像されて得られた画像データは、対象物である廃棄物の攪拌状態の取得方法として用いられている。しかしながら、画像データは、同一の被写体であっても距離によってデータの特性が変化するため、攪拌状態を高精度に計測するためには撮像カメラと廃棄物の表面との距離を考慮した処理を行う必要がある。例えば、特許文献１においてはステレオカメラを用いた測距方法が開示され、特許文献３においてはレーザ距離計を用いた測距方法が開示されている。特許文献１，３などに記載された従来技術においては、各種の測距センサにより実際に測定した距離データに基づいて、画像データを正規化、すなわち画像データに対する拡大処理や縮小処理などが行われている。
【0028】
しかしながら、複数の異なる状態や異なる物体が混在した対象物を撮像した画像データから、対象物における状態を分類する場合、測距センサによる距離データが必要であるとすると、対象物を撮像する撮像カメラと測距センサとが必要になってしまう。この場合、測距センサに要するコストが増大するため、測距センサを要することなく、対象物における状態を分類することができる技術が望まれていた。
【0029】
そこで、本発明者は、対象物として廃棄物、対象施設として廃棄物の貯留ピットを想定し、貯留ピット内における廃棄物の攪拌状態を分類する場合に、廃棄物を撮像した撮像画像データに対して、作業者がラベリング処理を行う方法に着目した。図１Ａは、本実施形態による対象施設としての貯留ピットの内部を撮像した撮像画像データの例を示す図であり、図１Ｂは、撮像画像データに対してラベリング処理を行ったラベリングデータの例を示す図である。
【0030】
図１Ａに示すように、貯留ピット２６内に廃棄物２６ａが貯留されている。貯留ピット２６内を撮像した撮像画像データ１００には、貯留された廃棄物２６ａや貯留ピット２６の壁２６ｂなどが撮像された情報として含まれる。なお、図１Ａにおいて図示省略したが、廃棄物を把持したり放下したりするクレーンなども撮像される場合がある。
【0031】
貯留ピット２６内に貯留された廃棄物２６ａは、種々の物体から構成されるが、廃棄物２６ａの攪拌状態や混合状態としては、例えば３通りの状態が考えられる。この場合、廃棄物２６ａの状態は少なくとも３領域に分類できる。３領域は具体的に例えば、廃棄物２６ａの攪拌が進み混合状態が良好な領域（以下、高混合領域）、攪拌の途中の状態で混合状態が普通の領域（以下、中混合領域）、および攪拌が進んでおらず混合状態が不良な領域（以下、低混合領域）である。また、廃棄物２６ａの一部に袋ゴミなどの破砕されていない状態の廃棄物２６ａが混入していた場合には、この袋ゴミの貯留領域（以下、袋ゴミ領域）なども存在する。さらに、貯留ピット２６の壁２６ｂも撮像される場合、撮像画像データ１００には、壁２６ｂなどの変化が極めて少ない領域（以下、不変領域）も含まれる。
【0032】
このような撮像画像データ１００に対してラベリング処理を行う作業者は、出力部などに表示される撮像画像データ１００において、貯留ピット２６内の廃棄物２６ａを目視で確認する。ラベリング処理において作業者は、所定の画像処理装置、本実施形態においては管理装置１０を用いて、入出力部１４に表示された撮像画像データ１００に対して、作業者の経験や知識などに基づいて状態を目視によって判断する。ユーザは、画像処理装置としての管理装置１０を用いて、撮像画像データ１００に表示されたそれぞれの画像パッチに対して、あらかじめ設定されたラベルを設定する。貯留ピット２６に貯留された複数の物体が混合された混合物である廃棄物２６ａの混合状態に対してラベルを設定する場合、高混合領域、中混合領域、および低混合領域、ならびに壁領域および袋ゴミ領域などをラベルとして設定してラベリングする。これにより、図１Ａに示す撮像画像データ１００に対してラベリング処理が実行されて、図１Ｂに示すようなラベリングデータ２００が生成される。図１Ｂに示すラベリングデータ２００においては、不変領域２０１、袋ゴミ領域２０２、高混合領域２０３、中混合領域２０４、および低混合領域２０５が識別可能にラベリングされている。なお、図１Ａにおいて図示省略されたその他の物体、例えばクレーンなどが存在した場合には、クレーンの存在する領域（以下、クレーン領域）などもラベリングする。
【0033】
以上のようにして、作業者が貯留ピット２６、ならびに貯留された廃棄物２６ａおよび壁２６ｂに対してラベリングを行って生成したラベリングデータ２００は、廃棄物２６ａおよび壁２６ｂを対象物として分類処理された結果物である。本発明者は、対象物に対して状態を分類する分類処理によって得られたラベリングデータ２００の生成技術を用いて、ラベリング学習モデルを生成する方法について検討を行った。すなわち、入力パラメータとして撮像画像データ１００を入力すると、出力パラメータとしてラベリングデータ２００を出力するようなラベリング学習モデルの生成方法について検討を行った。このラベリング学習モデルを高精度にすることによって、撮像画像データ１００に含まれる廃棄物２６ａなどの対象物の状態を高精度に判定することが可能になる。
【0034】
本発明者は、撮像画像データから対象施設内の対象物を機械学習によって分類して、ラベリング学習モデルを高精度化するという課題に対して、教師データとなる入出力データセットに対して工夫することを想起した。本発明者は、教師データとなる入出力データセットに対する工夫に関してさらに鋭意検討を行った。本発明者は、教師あり学習において用いられる教師データとして、対象施設内部の対象物の撮像画像データのみならず、作業者がラベリング処理を行う際に撮像画像データに適用した画像変換処理や操作の情報も併せて学習させる方法を案出した。
【0035】
上述した作業者が行う画像変換処理としては、例えば、拡大変換や縮小変換などの操作情報やその際の拡大率や縮小率などの倍率、および撮像画像データに対する色変換処理などである。なお、作業者が情報処理装置を用いて撮像画像データ１００に対してラベリング処理を行う際には、貯留ピット２６の撮像画像データ１００に対して、様々な画像変換処理を施して表示できる。画像変換処理は、撮像画像データ１００のうちの指定した画像の一部、または全体に適用できる。さらに、入出力部には、画像変換処理を行う前の元の撮像画像データと、画像変換処理を行った後の処理後の結果を同時に表示することができる。
【0036】
また、情報処理装置を用いて機械学習を行う場合には、作業者がラベリング処理の実行時に行った画像変換の種類に応じて教師データを処理するようにして、ラベリング学習モデルを生成する。さらに、選択された画像変換処理を、作業者が画像処理を行った領域の周辺の領域に対しても拡張して行うことにより、教師データを拡張するデータ拡張を行っても良い。ここで、作業者が撮像画像データに対して行う各種の画像変換処理の例としては、以下の表１に示す画像変換処理が挙げられる。なお、表１に示す処理以外の画像変換処理を採用することも可能である。
【0037】
【表1】
【0038】
以下に説明する本実施形態においては、例えば貯留ピット２６に貯留された廃棄物２６ａや壁２６ｂの撮像画像データに対して、機械学習によって生成されたラベリング学習モデルを用いることによって、廃棄物２６ａが攪拌された際の混合状態を分類する方法について説明する。
【0039】
（管理システム）
図２は、本発明の一実施形態による情報処理装置が適用される管理システムを示す。図２に示すように、管理システム１は、ネットワーク２を介して相互に通信可能な、管理装置１０と、廃棄物貯留設備２０と、廃棄物焼却設備３０とを備える。廃棄物処理施設３は、少なくとも廃棄物貯留設備２０および廃棄物焼却設備３０を備える。管理装置１０は、ネットワーク２を通じて廃棄物処理施設３と通信可能な外部に設けられていても、廃棄物処理施設３の一部であっても良い。また、管理装置１０は、廃棄物貯留設備２０の内部に設けられていても良く、設置場所は限定されない。
図２は、本発明の一実施形態による情報処理装置が適用される管理システムを示す。図２に示すように、管理システム１は、ネットワーク２を介して相互に通信可能な、管理装置１０と、廃棄物貯留設備２０と、廃棄物焼却設備３０とを備える。廃棄物処理施設３は、少なくとも廃棄物貯留設備２０および廃棄物焼却設備３０を備える。管理装置１０は、ネットワーク２を通じて廃棄物処理施設３と通信可能な外部に設けられていても、廃棄物処理施設３の一部であっても良い。また、管理装置１０は、廃棄物貯留設備２０の内部に設けられていても良く、設置場所は限定されない。
【0040】
ネットワーク２は、有線通信や無線通信が適宜組み合わされて構成され、インターネット回線網や携帯電話回線網などの通信網から構成される。ネットワーク２は、例えば、専用線、インターネットなどの公衆通信網、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、携帯電話などの電話通信網や公衆回線、ＶＰＮ（Virtual Private Network）などの一または複数の組み合わせからなる。管理装置１０と廃棄物貯留設備２０と廃棄物焼却設備３０とは、ネットワーク２を介して接続されている。
【0041】
（廃棄物貯留設備）
廃棄物貯留部としての廃棄物貯留設備２０は、制御部２１、通信部２２、撮像部２３、把持部２５、および貯留ピット２６を備える。貯留ピット２６には、把持部２５が移動可能に設けられているとともに、撮像部２３が設けられている。把持部２５は、管理装置１０の制御部１１から送信される制御信号に基づいて、制御部２１が制御する。制御部２１は、制御部１１から送信される制御信号に基づいて、撮像部２３を制御しても良い。なお、管理装置１０の制御部１１が、撮像部２３および把持部２５を直接的に制御しても良い。
廃棄物貯留部としての廃棄物貯留設備２０は、制御部２１、通信部２２、撮像部２３、把持部２５、および貯留ピット２６を備える。貯留ピット２６には、把持部２５が移動可能に設けられているとともに、撮像部２３が設けられている。把持部２５は、管理装置１０の制御部１１から送信される制御信号に基づいて、制御部２１が制御する。制御部２１は、制御部１１から送信される制御信号に基づいて、撮像部２３を制御しても良い。なお、管理装置１０の制御部１１が、撮像部２３および把持部２５を直接的に制御しても良い。
【0042】
制御部２１は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアを有するプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部（いずれも図示せず）を備える。制御部２１は、ＲＡＭやＲＯＭなどの主記憶部に格納された各種プログラムに従い、通信部１３，２２を通じて管理装置１０から入力された制御信号などに基づいて、撮像部２３および把持部２５を制御する。
【0043】
通信部２２は、例えば、ＬＡＮインターフェースボード、有線通信のための有線通信回路、または無線通信のための無線通信回路である。ＬＡＮインターフェースボードや有線通信回路や無線通信回路は、ネットワーク２に接続される。送信部および受信部としての通信部２２は、ネットワーク２に接続して、管理装置１０との間で通信を行う。
【0044】
撮像部２３は、例えば撮像カメラ２３１，２３２を有する。撮像部２３は、撮像カメラ２３１，２３２によって、貯留ピット２６内の廃棄物２６ａや壁２６ｂ、特に廃棄物２６ａの表面を撮像可能に構成される。なお、撮像部２３は、例えば把持部２５のバケット２５２を撮像して、バケット２５２が把持した廃棄物２６ａを撮像可能に構成しても良い。撮像部２３は、貯留ピット２６内の廃棄物２６ａの状態や壁２６ｂを撮像し、撮像して生成した撮像画像データ１００（図４参照）を、通信部２２を介して管理装置１０に送信する。撮像部２３は、撮像した廃棄物２６ａの撮像画像データを、撮像情報として通信部２２を介して管理装置１０に送信しても良い。
【0045】
把持部２５は、貯留ピット２６に貯留されている廃棄物２６ａを把持して移動させる。開閉部としてのバケット２５２は、廃棄物２６ａを把持できる。移動部としてのクレーン２５１は、バケット２５２を連結して移動可能に構成される。クレーン２５１は、管理装置１０のピット制御部１１５から送信される制御信号によって制御される。
【0046】
貯留ピット２６は、壁２６ｂによって囲まれた空間であり、廃棄物２６ａを一時的に貯留可能なピットである。貯留ピット２６内の廃棄物２６ａは、把持部２５によって把持されて、廃棄物焼却設備３０の焼却炉３３に供給され、焼却される。
【0047】
（廃棄物焼却設備）
ごみ焼却部としての廃棄物焼却設備３０は、燃焼制御装置（ＡＣＣ）３１、センサ部３２、および焼却炉３３を備える。燃焼制御装置３１は、あらかじめ定められた操作量基準値の設定に基づいて、それぞれの操作端の操作量として、燃焼用空気量、冷却用空気量、ごみ供給装置送り速度、および火格子送り速度などを制御する。ごみ焼却炉である焼却炉３３は、廃棄物２６ａの燃焼が行われる炉、廃棄物２６ａを投入する廃棄物投入口、およびボイラ（いずれも図示せず）などを備える。センサ部３２は、例えば種々の場所に設けられた温度計や圧力計などから構成される。センサ部３２によって計測された、焼却炉３３の内部の状態、および焼却炉３３に関連する施設、具体的には、例えば電力を発電するための発電施設における、圧力や速度などの種々の物理量は、センサ部３２からセンサ情報として出力される。センサ部３２から出力されたセンサ情報は、パラメータとして燃焼制御装置３１に供給される。燃焼制御装置３１は、入力されたパラメータに基づいて焼却炉３３の燃焼を制御する。
ごみ焼却部としての廃棄物焼却設備３０は、燃焼制御装置（ＡＣＣ）３１、センサ部３２、および焼却炉３３を備える。燃焼制御装置３１は、あらかじめ定められた操作量基準値の設定に基づいて、それぞれの操作端の操作量として、燃焼用空気量、冷却用空気量、ごみ供給装置送り速度、および火格子送り速度などを制御する。ごみ焼却炉である焼却炉３３は、廃棄物２６ａの燃焼が行われる炉、廃棄物２６ａを投入する廃棄物投入口、およびボイラ（いずれも図示せず）などを備える。センサ部３２は、例えば種々の場所に設けられた温度計や圧力計などから構成される。センサ部３２によって計測された、焼却炉３３の内部の状態、および焼却炉３３に関連する施設、具体的には、例えば電力を発電するための発電施設における、圧力や速度などの種々の物理量は、センサ部３２からセンサ情報として出力される。センサ部３２から出力されたセンサ情報は、パラメータとして燃焼制御装置３１に供給される。燃焼制御装置３１は、入力されたパラメータに基づいて焼却炉３３の燃焼を制御する。
【0048】
（管理装置）
図３は、図２における管理装置１０の詳細を示す。図３に示す情報処理装置としての管理装置１０は、制御部１１、記憶部１２、通信部１３、および入出力部１４を備える。制御部１１および通信部１３はそれぞれ、物理的には上述した制御部２１および通信部２２と同様である。なお、管理装置１０は、貯留ピット２６内の廃棄物の混合状態を推定する状態推定装置としても機能する。
図３は、図２における管理装置１０の詳細を示す。図３に示す情報処理装置としての管理装置１０は、制御部１１、記憶部１２、通信部１３、および入出力部１４を備える。制御部１１および通信部１３はそれぞれ、物理的には上述した制御部２１および通信部２２と同様である。なお、管理装置１０は、貯留ピット２６内の廃棄物の混合状態を推定する状態推定装置としても機能する。
【0049】
入出力部１４は、例えばタッチパネルディスプレイやスピーカマイクロホンなどから構成することができる。入力手段としての入出力部１４は、例えば廃棄物貯留設備２０に設置された撮像部２３から、通信部２２を通じて送信された各種情報を入力して、制御部１１に出力するインターフェースを含む。なお、撮像部２３から入出力部１４への情報の送信は、有線通信を用いても無線通信を用いても良い。また、入出力部１４は、キーボードや入力用のボタン、レバーや、液晶などのディスプレイに重畳して設けられる手入力のためのタッチパネル、または音声認識のためのマイクロホンなどの、ユーザインターフェースを含む。作業者などが入出力部１４を操作することによって、制御部１１に所定の情報を入力可能に構成される。出力手段としての入出力部１４は、制御部１１による制御に従って、ディスプレイモニタに廃棄物貯留設備２０の貯留ピット２６内の画像などを表示したり、タッチパネルディスプレイの画面上に文字や図形などを表示したり、スピーカから音声を出力したりする。すなわち、入出力部１４は、所定の情報を外部に報知可能に構成される。なお、入出力部１４における入力部および出力部を別体に構成しても良い。
【0050】
記憶部１２は、ＲＡＭなどの揮発性メモリ、ＲＯＭなどの不揮発性メモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、またはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部１２を構成しても良い。
【0051】
記憶部１２には、管理装置１０の動作を実行するための、オペレーティングシステム（Operating System：ＯＳ）、画像処理アプリケーションなどの各種プログラム、各種テーブル、各種データベースなどを格納可能である。これらの各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。制御部１１は、記憶部１２に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することで、所定の目的に合致した機能を実現できる。
【0052】
記憶部１２には、画像情報１２１、ユーザ操作情報１２２、ラベリング情報１２３、ラベリング学習モデル１２４が格納されている。画像情報１２１、ユーザ操作情報１２２、およびラベリング情報１２３はいずれも、記憶部１２にデータベースとして検索可能に格納されている。
【0053】
画像情報１２１は、貯留ピット２６内の廃棄物２６ａおよび壁２６ｂを撮像部２３によって撮像して得られた複数の撮像画像データ１００（図１Ａ参照）を含む。ユーザ操作情報１２２は、作業者が管理装置１０の入出力部１４から、所定の画像処理アプリケーションを用いて、画像情報１２１の撮像画像データ１００に対して行った、画像処理に関する各種の操作や変換に関する情報（以下、ユーザ操作情報）を含む。ユーザ操作情報を構成する各種の操作や変換の例の詳細については後述する。ラベリング情報１２３は、上述のように得られた画像情報１２１に含まれる撮像画像データに対してラベリング処理が施されたラベリングデータ２００（図１Ｂ参照）を含む。
【0054】
ラベリング学習モデル１２４は、撮像部２３から取得した例えば図１Ａに示す撮像画像データ１００などの画像情報１２１を入力パラメータとし、廃棄物２６ａの攪拌状態の進行度合いを表す混合度ごと、および貯留ピット２６内に存在する壁２６ｂやバケット２５２など所定部ごとに色分けしてラベリングした例えば図１Ｂに示すラベリングデータ２００を出力パラメータとした学習モデルから構成される。なお、学習モデルは学習済みモデルとも単にモデルとも称される。ここで、混合度は、撮像画像データ１００に基づいてラベリングデータ２００のように色分けが行われることから、典型的には、不連続的な数値やランクなどであるが、色分けの色調や階調を大きくすることによって略連続的な数値やレベルとすることも可能である。
【0055】
制御部１１は、記憶部１２からロードした各種プログラムの実行によって、画像処理部１１１、操作判定部１１２、情報生成部１１３、ラベリング処理部１１４、ピット制御部１１５、および学習部１１６の機能を実行可能である。また、各種プログラムには、本実施形態による処理を実現可能な人工知能や学習済みモデルを実現するプログラムも含まれる。制御部１１による処理の詳細については、後述する。
【0056】
（ラベリング学習モデルの生成方法）
次に、以上のように構成された本実施形態による管理装置１０によるラベリング学習モデル１２４の生成方法について説明する。図４は、本実施形態によるラベリング学習モデル１２４の生成方法を説明するための図である。なお、以下の説明において、それぞれの構成要素間での情報の送受信は通信部１３，２２およびネットワーク２を介して行われるが、この点についての都度の説明は省略する。
次に、以上のように構成された本実施形態による管理装置１０によるラベリング学習モデル１２４の生成方法について説明する。図４は、本実施形態によるラベリング学習モデル１２４の生成方法を説明するための図である。なお、以下の説明において、それぞれの構成要素間での情報の送受信は通信部１３，２２およびネットワーク２を介して行われるが、この点についての都度の説明は省略する。
【0057】
図４に示すように、撮像画像データ１００は、撮像部２３の撮像カメラ２３１，２３２によって貯留ピット２６内が撮像されて生成され、管理装置１０の記憶部１２に画像情報１２１として格納される。作業者であるユーザは、管理装置１０の入出力部１４を操作して記憶部１２から撮像画像データ１００を読み出し、入出力部１４に表示する。
【0058】
ユーザは、入出力部１４に表示された撮像画像データ１００を認識すると、自らの知識や経験に基づいて、学習用撮像画像データとしての撮像画像データ１００に対してラベリングを行う。制御部１１は、入出力部１４からのユーザの入力に従って、画像処理部１１１によって撮像画像データ１００に対して画像変換処理を行ったり、ラベリング処理部１１４によって撮像画像データ１００に対してラベリング処理を行ったりする。ここで、ラベリング処理は、撮像画像データ１００を少なくとも１つ、ここでは例えば縦横それぞれ２４画素（２４画素×２４画素）の複数の画像パッチに分割して、画像パッチごとにラベルが設定する処理である。学習用撮像画像データを構成する複数の画像パッチは学習用画像パッチとしても用いられる。ユーザの入力に伴う画像処理部１１１による撮像画像データ１００に対する画像変換処理としては、上述した表１に示す種々の画像変換処理を挙げることができる。ここで、ラベリング処理を実行する際に行われる画像変換処理の例について説明する。
【0059】
図５Ａは、図１Ａに示す撮像画像データ１００に対してラベリングの注目範囲を指定した状態の画像表示画面の例を示す図であり、図５Ｂは、図５Ａに示す撮像画像データにおける注目範囲を抽出して拡大表示した拡大表示画面の例を示す図である。
【0060】
まず、ユーザは、入出力部１４に画像表示画面１４０として表示された撮像画像データ１００に対してラベリング処理を行うために、入出力部１４を用いて注目範囲を選択する操作を行う。これにより、図５Ａに示すように、画像処理部１１１は画像表示画面１４０から注目範囲を選択する。その後、ユーザが入出力部１４を操作して画像変換処理として例えば拡大処理を選択すると、画像処理部１１１は、拡大画像データを生成して、画像情報１２１として記憶部１２に格納する一方、図５Ｂに示すように拡大表示画面１４１として入出力部１４に表示する。この際、図５Ａに示す画像表示画面１４０と図５Ｂに示す拡大表示画面１４１とを入出力部１４における同じ表示部に表示させても良い。
【0061】
一方、操作判定部１１２は、ユーザが撮像画像データ１００に対して行った操作、具体的には、撮像画像データ１００における注目領域の位置（ｘ，ｙ）の特定操作および注目領域の範囲（Δｘ，Δｙ）の特定操作ならびに拡大処理およびその際の拡大率などの、処理操作を判定する。操作判定部１１２は、ユーザが行った画像変換処理の操作を判定して生成したユーザ操作情報１２２を、記憶部１２に格納する。なお、ユーザ操作情報１２２に含まれる注目領域の位置（ｘ，ｙ）としては、注目領域の中心位置としても良く、注目領域を矩形状の領域とした場合には、４頂点のうちの１点の位置としても良い。また、ユーザ操作情報１２２に含まれる注目領域の範囲（Δｘ，Δｙ）としては、注目領域が矩形状である場合には縦横の大きさとすることができる。注目領域が矩形状以外の３角形状や６角形状などの場合には、注目領域の範囲として、範囲を特定可能な各種の変数を用いることが可能である。
【0062】
その後、ユーザは、入出力部１４を用いて、拡大表示画面１４１に対してラベリング処理を行うと、ラベリング処理部１１４は、撮像画像データ１００の注目範囲内の少なくとも一部に対して所定のラベルを設定する。これにより、注目範囲がラベリングされてラベリングデータ２００の一部が生成される。本実施形態においてラベルとしては、不変領域２０１、袋ゴミ領域２０２、高混合領域２０３、中混合領域２０４、および低混合領域２０５（図１Ｂ参照）などが設定されるが、さらにクレーンの存在領域や判別不能領域などもラベルとして設定可能である。ここで、図５Ａに示す画像表示画面１４０に対してラベリング処理を行っても、図５Ｂに示す拡大表示画面１４１に対してラベリング処理を行っても良い。この場合、画像表示画面１４０および拡大表示画面１４１のいずれか一方に行ったラベリング処理は、他方にも反映させて入出力部１４に表示させるようにしても良い。ラベリング処理部１１４は、生成したラベリングデータ２００の一部を、ラベリング情報１２３として記憶部１２に格納する。
【0063】
図６Ａは、図１Ａに示す撮像画像データ１００に対してラベリングの注目範囲をメッシュ状に指定した状態の画像表示画面の例を示す図であり、図６Ｂは、図６Ａに示す画像表示画面における注目範囲を抽出してメッシュを拡大表示したメッシュ状表示画面の例を示す図である。
【0064】
まず、ユーザは、上述と同様にして入出力部１４を用いて注目範囲を選択する。これにより、図６Ａに示すように、画像処理部１１１は画像表示画面１４０から注目範囲を選択する。その後、ユーザが入出力部１４を操作して画像変換処理として例えば拡大処理およびメッシュ化処理を選択すると、画像処理部１１１は、拡大メッシュ画像データを生成して、画像情報１２１として記憶部１２に格納する。画像処理部１１１は、生成した拡大メッシュ画像データを、図６Ｂに示すようにメッシュ状表示画面１４２として入出力部１４に表示する。この際、図６Ａに示す画像表示画面１４０と図６Ｂに示すメッシュ状表示画面１４２とを入出力部１４における同じ表示部に表示させても良い。
【0065】
一方、操作判定部１１２は、ユーザが撮像画像データ１００に対して行った、注目領域の位置（ｘ，ｙ）の特定操作、注目領域の範囲（Δｘ，Δｙ）の特定操作、拡大処理、拡大処理における拡大率、メッシュ化処理、メッシュ化処理における１つの画像パッチ１４２ａの大きさなどの処理操作を判定する。なお、画像パッチ１４２ａの大きさについては、上述した拡大処理の際の注目範囲の大きさと同様にして設定でき、注目範囲の位置や大きさについても、上述した拡大処理と同様に特定可能である。操作判定部１１２は、ユーザが行った画像変換処理の操作を判定して生成したユーザ操作情報１２２を、記憶部１２に格納する。
【0066】
その後、ユーザは、入出力部１４を用いて、メッシュ状表示画面１４２においてメッシュ状のそれぞれの画像パッチ１４２ａに対してラベリング処理を行う。図６Ｂに示す例では、注目領域において例えば２５枚の画像パッチ１４２ａが設定されている。ユーザは、自らの経験や知識に基づいて、入出力部１４からそれぞれの画像パッチ１４２ａに対してラベルを設定して入力するラベリング処理を行う。ラベリング処理部１１４は、それぞれの画像パッチ１４２ａに対して、ユーザが決定して入出力部１４から入力した所定のラベルを設定する。これにより、ラベリング処理部１１４は、ラベリングデータ２００の一部を生成する。なお、図６Ａに示す画像表示画面１４０に対してラベリング処理を行っても良い。この場合、画像表示画面１４０およびメッシュ状表示画面１４２のいずれか一方に行ったラベリング処理は、他方にも反映させて入出力部１４に表示させるようにしても良い。ラベリング処理部１１４は、生成したラベリングデータ２００の一部を、ラベリング情報１２３として記憶部１２に格納する。
【0067】
図７Ａは、図１Ａに示す撮像画像データに対して注目範囲を指定した状態の画像表示画面の例を示す図であり、図７Ｂは、図７Ａに示す画像表示画面における注目範囲を抽出して縮小表示した縮小表示画面の例を示す図である。
【0068】
まず、ユーザは、上述と同様にして入出力部１４を用いて注目範囲を選択する。これにより、図７Ａに示すように、画像処理部１１１は画像表示画面１４０から注目範囲を選択する。その後、ユーザが入出力部１４を操作して画像変換処理として例えば縮小処理を選択すると、画像処理部１１１は、縮小画像データを生成して、画像情報１２１として記憶部１２に格納する一方、図７Ｂに示すように、縮小表示画面１４３として入出力部１４に表示する。この際、図７Ａに示す画像表示画面１４０と図７Ｂに示す縮小表示画面１４３とを入出力部１４における同じ表示部に表示させても良い。
【0069】
一方、操作判定部１１２は、ユーザが撮像画像データ１００に対して行った操作、具体的には、撮像画像データ１００における注目領域の位置（ｘ，ｙ）の特定操作および注目領域の範囲（Δｘ，Δｙ）の特定操作ならびに縮小処理およびその際の縮小率などの、処理操作を判定する。操作判定部１１２は、ユーザが行った画像変換処理の操作を判定して生成したユーザ操作情報１２２を、記憶部１２に格納する。なお、ユーザ操作情報１２２における注目範囲の位置や大きさについては、上述した拡大処理の際の注目範囲の大きさと同様にして設定可能である。
【0070】
その後、ユーザが、入出力部１４を用いて拡大表示画面１４１に対してラベリング処理を行うと、ラベリング処理部１１４は、撮像画像データ１００の注目範囲内の少なくとも一部に対して所定のラベルを設定する。これにより、注目範囲がラベリングされてラベリングデータ２００の一部が生成される。ここで、図７Ａに示す画像表示画面１４０に対してラベリング処理を行っても、図７Ｂに示す縮小表示画面１４３に対してラベリング処理を行っても良い。この場合、画像表示画面１４０および縮小表示画面１４３のいずれか一方に行ったラベリング処理は、他方にも反映させて入出力部１４に表示させるようにしても良い。ラベリング処理部１１４は、生成したラベリングデータ２００の一部を、ラベリング情報１２３として記憶部１２に格納する。
【0071】
図８は、図１Ａに示す撮像画像データに対して壁面ラベルを指定した状態の画像表示画面の例を示す図である。図８に示すように、ユーザが入出力部１４を用いて壁２６ｂの部分を注目範囲として選択する操作を行うと、画像処理部１１１は画像表示画面１４０から例えば矩形状に注目範囲を選択する。その後、ユーザが、入出力部１４を用いて画像表示画面１４０に表示された壁２６ｂの部分に対して「壁面」であるとするラベリング処理を行うと、ラベリング処理部１１４は、撮像画像データ１００の注目範囲内を不変領域２０１としてラベルを設定する。ラベリング処理部１１４は、入出力部１４を用いたユーザからの入力に従って、不変領域２０１のラベルを貯留ピット２６の壁２６ｂの部分にそれぞれ設定する。なお、撮像画像データ１００として貯留ピット２６内を撮像した撮像画像を用いる場合には、壁２６ｂは時系列に伴う変化が極めて少ない不変領域２０１であると定義できる。対象施設として貯留ピット２６以外の施設を採用したり、対象物として廃棄物２６ａ以外のものを採用したりする場合には、時系列に伴う変化が極めて少ない領域を、不変領域２０１としてラベリング処理することができる。ラベリング処理部１１４は、不変領域２０１をラベリングして生成したラベリングデータ２００の一部を、ラベリング情報１２３として記憶部１２に格納する。
【0072】
ここで、貯留ピット２６の内壁面である壁２６ｂの部分に対して設定された不変領域２０１を用いて、廃棄物２６ａの画像を補正することも可能である。すなわち、貯留ピット２６内においては、廃棄物２６ａが搬入される際の開閉扉の開閉や、廃棄物２６ａの攪拌におけるクレーン２５１の移動などによって、照明の条件が変化して、輝度や色味などが変化する場合がある。廃棄物２６ａは攪拌や搬入によって種々の状態に変化するのに対し、貯留ピット２６の壁２６ｂの表面はほとんど変化しない。そこで、ほとんど変化しない部分としてラベリングされた不変領域２０１を基準として撮像画像データ１００のキャリブレーションを行うことにより、廃棄物２６ａの輝度の正規化や色調の補正を行うようにする。これにより、ユーザが撮像画像データ１００からラベリングデータ２００を生成する際にラベルの分類作業を容易に行うことができる。また、撮像画像データ１００に対して、壁２６ｂにラベリングされた不変領域２０１に基づいたキャリブレーションを実行することにより、撮像画像データ１００のデータ拡張を行うことができる。
【0073】
図９Ａは、図１Ａに示す撮像画像データに対してラベリングの注目範囲を抽出した場合に、注目範囲の周辺に周辺領域を設定して併せて抽出した画像表示画面の例を示す図である。図９Ｂは、図９Ａに示す画像表示画面における注目範囲を周辺に拡大した例を示す図である。図９Ｃは、図９Ｂに示す拡大表示画面における注目範囲および周辺領域に対して色変換を行った変換処理結果表示画面の例を示す図である。
【0074】
まず、ユーザは、上述と同様にして入出力部１４を用いて注目範囲を選択する。これにより、図９Ａに示すように、画像処理部１１１は画像表示画面１４０から注目範囲を選択する。その後、ユーザが入出力部１４を操作して画像変換処理として例えば色変換処理を選択すると、画像処理部１１１は、図９Ｂに示すように、注目範囲を少なくとも１方向、ここでは注目範囲を全周にわたって外側に拡大させた領域として、周辺領域を設定する。なお、周辺領域は、注目範囲の周辺に拡大した領域であるが、周辺のうちの横方向、縦方向、斜め方向などの所定の方向にのみ拡大させた領域としても良く、注目範囲を含む領域であれば、どのように拡大しても良い。
【0075】
図９Ｂに示すように、ユーザが入出力部１４を用いて注目範囲に対して所定の色変換処理を行うと、画像処理部１１１は、図９Ｃに示すように、周辺領域に対しても同様の色変換処理を実行する。画像処理部１１１は、注目範囲および周辺領域に対する色変換処理に基づいて、注目範囲および周辺領域を含めた色変換画像データを生成して、画像情報１２１として記憶部１２に格納する。画像処理部１１１は、生成した色変換画像データを、図６Ｃに示すように色変換処理画面１４４として入出力部１４に表示する事も可能である。この際、図９Ａに示す画像表示画面１４０と図９Ｃに示す色変換処理画面１４４とを入出力部１４における同じ表示部に表示させても良い。
【0076】
一方、操作判定部１１２は、ユーザが撮像画像データ１００に対して行った、注目領域の位置（ｘ，ｙ）の特定操作、注目領域の範囲（Δｘ，Δｙ）の特定操作、色変換処理、色変換処理における各種操作などの処理操作を判定する。なお、操作判定部１１２は、周辺領域における情報も同様にして生成することが可能である。操作判定部１１２は、ユーザが行った画像変換処理の操作を判定して生成したユーザ操作情報１２２を、記憶部１２に格納する。
【0077】
その後、ユーザは、自らの経験や知識に基づいて、入出力部１４を用いて、色変換処理画面１４４に対してラベルを設定して入力するラベリング処理を行う。これにより、ラベリング処理部１１４は、ラベリングデータ２００の一部を生成する。なお、図９Ａに示す画像表示画面１４０に対してラベリング処理を行っても良い。この場合、画像表示画面１４０および色変換処理画面１４４のいずれか一方に行ったラベリング処理は、他方にも反映させて入出力部１４に表示させるようにしても良い。ラベリング処理部１１４は、生成したラベリングデータ２００の一部を、ラベリング情報１２３として記憶部１２に格納する。
【0078】
以上のユーザによるラベリング処理を撮像画像データ１００の全面、すなわち全ての画像パッチに対して行うことにより、それぞれの画像パッチにおけるラベリングデータ２００の一部が蓄積され、集合としてラベリングデータ２００が生成される。これにより、ユーザの手動によって、図１Ａに示すような撮像画像データ１００に対応した図１Ｂに示すようなラベリングデータ２００が生成される。生成されたラベリングデータ２００は、ラベルが設定されたラベリング情報１２３として記憶部１２に格納される。このユーザが管理装置１０を用いて生成したラベリングデータ２００は、学習用ラベリングデータとして用いられる。また、操作判定部１１２による判定によって生成されたユーザによる画像変換処理の操作に関する情報は、ユーザ操作情報１２２として記憶部１２に蓄積される。
【0079】
（ラベリング学習モデルの生成方法）
図３に示す管理装置１０の制御部１１の学習部１１６は、教師データとして、撮像画像データ１００を含む画像情報１２１、ユーザ操作情報１２２、およびラベリングデータ２００を含むラベリング情報１２３を用いて機械学習を行う。すなわち、学習手段としての学習部１１６は、記憶部１２から、画像情報１２１およびユーザ操作情報１２２を取得して学習用入力パラメータとし、ラベリング情報１２３を取得して学習用出力パラメータとした教師あり学習などの機械学習により学習済みモデルを生成する。なお、機械学習は、例えば、ニューラルネットワークを用いた深層学習（ディープラーニング）などの種々の機械学習を採用でき、ミニバッチ学習などによって行うことができる。
図３に示す管理装置１０の制御部１１の学習部１１６は、教師データとして、撮像画像データ１００を含む画像情報１２１、ユーザ操作情報１２２、およびラベリングデータ２００を含むラベリング情報１２３を用いて機械学習を行う。すなわち、学習手段としての学習部１１６は、記憶部１２から、画像情報１２１およびユーザ操作情報１２２を取得して学習用入力パラメータとし、ラベリング情報１２３を取得して学習用出力パラメータとした教師あり学習などの機械学習により学習済みモデルを生成する。なお、機械学習は、例えば、ニューラルネットワークを用いた深層学習（ディープラーニング）などの種々の機械学習を採用でき、ミニバッチ学習などによって行うことができる。
【0080】
教師データとしての画像情報１２１には、撮像画像データ１００以外にも、ラベリング処理において生成された、拡大画像データ、縮小画像データ、拡大メッシュ画像データ、および色変換画像データなどが選択的に含まれる。
【0081】
図１０は、ラベリング処理の際に選択された変換方法の種類（縮小、拡大、色変換）を画面に対応させた例を示す図である。図１０に示すように、撮像画像データ１００に対する縮小処理、拡大処理、および色変換処理などの画像変換処理は、撮像画像データ１００内において実行される。教師データとしてのユーザ操作情報１２２には、ユーザが入出力部１４を用いて行った各種操作や、図１０に示す各種変換を行った際の位置や大きさの情報などが選択的に含まれる。
【0082】
教師データとしてのラベリング情報１２３は、上述したユーザが行ったラベリング処理により生成されたラベリングデータ２００のみから構成しても良いが、さらに同じ撮像画像データ１００に対して複数のユーザがラベリング処理して生成したラベリングデータを平均化したラベリングデータ２００を用いても良い。
【0083】
（ラベリングデータの第１の生成方法）
次に、以上のようにして生成されたラベリング学習モデル１２４を用いたラベリングデータの第１の生成方法について説明する。すなわち、第１の生成方法としては、まず、制御部１１の情報生成部１１３は、記憶部１２の画像情報１２１から、所定の撮像画像データ１００を取得した後、取得した撮像画像データ１００を複数の画像パッチに分割する。ここで、画像パッチは、例えば所定の画素数に基づいて設定可能であり、本実施形態においては、例えば縦横２４画素（２４×２４）の正方形状に設定する。
次に、以上のようにして生成されたラベリング学習モデル１２４を用いたラベリングデータの第１の生成方法について説明する。すなわち、第１の生成方法としては、まず、制御部１１の情報生成部１１３は、記憶部１２の画像情報１２１から、所定の撮像画像データ１００を取得した後、取得した撮像画像データ１００を複数の画像パッチに分割する。ここで、画像パッチは、例えば所定の画素数に基づいて設定可能であり、本実施形態においては、例えば縦横２４画素（２４×２４）の正方形状に設定する。
【0084】
次に、情報生成部１１３は、ラベリング学習モデル１２４を読み込んで、複数の画像パッチのそれぞれをラベリング学習モデル１２４に順次入力する。ラベリング学習モデル１２４においては、入力された画像パッチごとに、画像変換処理を実行した後にラベリング処理を行って、画像パッチごとにラベルを設定する。情報生成部１１３は、撮像画像データ１００における全ての画像パッチに対してラベリング処理を実行した後、それぞれのラベルが設定された画像パッチを集合させて、ラベリングデータ２００を生成する。これにより、撮像画像データ１００をそのままラベリング学習モデル１２４に入力することで、ラベリングデータを生成できる。この場合、作業者が入力された撮像画像データ１００に対して行った画像変換処理と同等の画像変換処理を行った後に、ラベルを設定してラベリングデータ２００を生成していることになる。すなわち、ラベリング学習モデル１２４は、画像パッチに画像変換処理を行うことによって、作業者の過去の記憶にあるパターンと適合する可能性が向上するため、分類精度が向上する。換言すると、ラベリング学習モデル１２４は、作業者の記憶や知識などの知見に基づいた画像パターンも含めて学習して生成された学習モデルであるため、学習用入力パラメータとして画像データのみを用いた場合に比して、分類精度を向上させることができる。
【0085】
（ラベリングデータの第２の生成方法）
次に、ラベリング学習モデル１２４を用いたラベリングデータの第２の生成方法について説明する。図１１は、本実施形態によるラベリング学習モデル１２４を用いたラベリングデータの第２の生成方法を説明するための図である。すなわち、第２の生成方法としては、第１の生成方法と同様に、制御部１１の情報生成部１１３が、記憶部１２の画像情報１２１から、所定の撮像画像データ１００を取得した後、取得した撮像画像データ１００を複数の画像パッチに分割する。次に、図１１に示すように、情報生成部１１３は、複数の画像パッチのそれぞれに対して、画像変換処理を実行する。なお、図１１に示す例では、拡大処理、縮小処理、および色変換処理の３種類の画像変換処理であるが、表１に示すような画像変換処理を選択的に４種類以上実行しても良く、実行する画像変換処理を２種類以下としても良い。
次に、ラベリング学習モデル１２４を用いたラベリングデータの第２の生成方法について説明する。図１１は、本実施形態によるラベリング学習モデル１２４を用いたラベリングデータの第２の生成方法を説明するための図である。すなわち、第２の生成方法としては、第１の生成方法と同様に、制御部１１の情報生成部１１３が、記憶部１２の画像情報１２１から、所定の撮像画像データ１００を取得した後、取得した撮像画像データ１００を複数の画像パッチに分割する。次に、図１１に示すように、情報生成部１１３は、複数の画像パッチのそれぞれに対して、画像変換処理を実行する。なお、図１１に示す例では、拡大処理、縮小処理、および色変換処理の３種類の画像変換処理であるが、表１に示すような画像変換処理を選択的に４種類以上実行しても良く、実行する画像変換処理を２種類以下としても良い。
【0086】
次に、情報生成部１１３は、ラベリング学習モデル１２４を読み込んで、画像変換処理を行った後のそれぞれの画像パッチを入力パラメータとして、ラベリング学習モデル１２４に入力する。すなわち、１つの画像パッチのデータに対して３種類の画像変換処理を行った場合には、３つの画像パッチのデータをそれぞれラベリング学習モデルに入力する。ラベリング学習モデル１２４においては、１つの画像パッチに対して画像変換処理が施された複数、ここでは３つの画像パッチのそれぞれに対して、ラベルの分類確率を導出して、分類確率が最も大きいラベルを出力パラメータとして出力する。これにより、入力された撮像画像データ１００の１つの画像パッチに対して、所定のラベルがラベリングされる。情報生成部１１３は、撮像画像データ１００における全ての画像パッチに対してラベリング処理を実行した後、それぞれのラベルが設定された画像パッチを集合させて、ラベリングデータ２００を生成する。
【0087】
以上により、一実施形態による管理装置１０におけるラベリング学習モデル１２４によって、撮像画像データ１００からラベリングデータ２００が生成される。生成されたラベリングデータ２００は、記憶部１２にラベリング情報１２３として格納される。
【0088】
ラベリングデータ２００を貯留ピット２６内における攪拌に利用する際には、次のように行う。管理装置１０のピット制御部１１５は、記憶部１２からラベリング情報１２３を読み出して、ラベリング情報１２３に基づいて、クレーン２５１およびバケット２５２を制御することにより、廃棄物２６ａを必要な部分に亘って均質化するように攪拌する。
【0089】
以上説明した一実施形態によれば、撮像画像データ１００に対して作業者が実行するラベリング処理において、作業者がラベリングの際に選択した画像変換処理は、撮像画像データ１００に関する分類にとって有効な処理であると考えられる。すなわち、作業者が行った画像変換処理は、作業者の知識や記憶に基づいた知見が反映されている。そのため、このような作業者の知識や記憶を利用して、ラベリング学習モデル１２４を生成することによって、測距センサなどの撮像部以外のセンサを用いることなく、撮像画像データのみから高精度な分類結果を得ることができる。これにより、管理装置１０を廃棄物貯留設備２０に設ける場合に、設備コストを低減できる。また、廃棄物処理施設３などの管理装置１０において、作業者の記憶する複数の焼却炉の貯留ピット２６の画像の知識を利用することになるため、その他の種々の異なる貯留ピット２６に対しても、推定結果を高精度に出力できる。
【0090】
これにより、第１に、撮像カメラ以外の機器、例えば測距センサや赤外線センサなどが不要になるため、低コスト化を図ることができる。第２に、測距センサを用いた距離データのみでは判断が困難なごみ種別の識別が可能になる。第３に、熟練の作業者が有する経験や知識に基づいた処理を活用することができ、高精度なごみピット状態を推定可能になる。第４に、画像処理を行うごみピットを変更した場合であっても、ごみピットの状態を高精度に推定可能となる。
【0091】
さらに、上述した一実施形態による学習モデルの生成方法においては、作業者が画像に対して適用した画像変換処理の履歴、および選択した画像変換処理を行った画像データも含めて教師データである入出力データセットとすることによって、学習モデルの精度を向上できる。したがって、分類処理を行う対象物において複数種類の状態が混合したり混在したりしている場合に、対象物を撮像した撮像画像データに対して行う分類処理の精度を向上できる。
【0092】
以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた数値はあくまでも例に過ぎず、必要に応じてこれと異なる数値を用いても良く、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。
【0093】
また、上述した一実施形態においては、機械学習の一例としてニューラルネットワークを用いたディープラーニング（深層学習）を用いているが、それ以外の方法に基づく機械学習を行っても良い。例えば、サポートベクターマシン、決定木、単純ベイズ、ｋ近傍法など、他の教師あり学習を用いても良い。また、教師あり学習に代えて半教師あり学習を用いても良い。
【0094】
また、上述した一実施形態においては、対象物として貯留ピット２６の内部の廃棄物２６ａなどの混合物を採用しているが、対象物としては、混合物以外にも複数の物体の集合物、例えば複数の木が集合した森林などを採用しても良い。また、上述した一実施形態としては、撮像画像データ１００として、廃棄物２６ａを含む領域を撮像した撮像画像データを採用しているが、医療などで用いられる画像データや航空写真などの空から撮像した撮像画像などを採用することも可能である。
【0095】
また、一実施形態においては、上述してきた「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。
【0096】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0097】
１ 管理システム
２ ネットワーク
３ 廃棄物処理施設
１０ 管理装置
１１，２１ 制御部
１２ 記憶部
１３，２２ 通信部
１４ 入出力部
２０ 廃棄物貯留設備
２３ 撮像部
２５ 把持部
２６ 貯留ピット
２６ａ 廃棄物
２６ｂ 壁
３０ 廃棄物焼却設備
３１ 燃焼制御装置
３２ センサ部
３３ 焼却炉
１００ 撮像画像データ
１１１ 画像処理部
１１２ 操作判定部
１１３ 情報生成部
１１４ ラベリング処理部
１１５ ピット制御部
１１６ 学習部
１２１ 画像情報
１２２ ユーザ操作情報
１２３ ラベリング情報
１２４ ラベリング学習モデル
１４０ 画像表示画面
１４１ 拡大表示画面
１４２ メッシュ状表示画面
１４２ａ 画像パッチ
１４３ 縮小表示画面
１４４ 色変換処理画面
２００ ラベリングデータ
２０１ 不変領域
２０２ 袋ゴミ領域
２０３ 高混合領域
２０４ 中混合領域
２０５ 低混合領域
２３１，２３２ 撮像カメラ
２５１ クレーン
２５２ バケット
２ ネットワーク
３ 廃棄物処理施設
１０ 管理装置
１１，２１ 制御部
１２ 記憶部
１３，２２ 通信部
１４ 入出力部
２０ 廃棄物貯留設備
２３ 撮像部
２５ 把持部
２６ 貯留ピット
２６ａ 廃棄物
２６ｂ 壁
３０ 廃棄物焼却設備
３１ 燃焼制御装置
３２ センサ部
３３ 焼却炉
１００ 撮像画像データ
１１１ 画像処理部
１１２ 操作判定部
１１３ 情報生成部
１１４ ラベリング処理部
１１５ ピット制御部
１１６ 学習部
１２１ 画像情報
１２２ ユーザ操作情報
１２３ ラベリング情報
１２４ ラベリング学習モデル
１４０ 画像表示画面
１４１ 拡大表示画面
１４２ メッシュ状表示画面
１４２ａ 画像パッチ
１４３ 縮小表示画面
１４４ 色変換処理画面
２００ ラベリングデータ
２０１ 不変領域
２０２ 袋ゴミ領域
２０３ 高混合領域
２０４ 中混合領域
２０５ 低混合領域
２３１，２３２ 撮像カメラ
２５１ クレーン
２５２ バケット
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】