特開 2024-71252 情報処理方法、情報処理装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024071252

(43)【公開日】2024-05-24

(54)【発明の名称】情報処理方法、情報処理装置、およびプログラム

(51)【国際特許分類】

   G06V 10/72 20220101AFI20240517BHJP

   B66C 13/48 20060101ALI20240517BHJP

   F23G 5/50 20060101ALI20240517BHJP

【ＦＩ】

G06V10/72 ZAB

B66C13/48 B

F23G5/50 Q

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022182094

(22)【出願日】2022-11-14

(71)【出願人】

【識別番号】000004123

【氏名又は名称】ＪＦＥエンジニアリング株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】芳賀 継彦

(72)【発明者】

【氏名】中山 剛

(72)【発明者】

【氏名】戸村 啓二

(72)【発明者】

【氏名】長田 翔

【テーマコード（参考）】

3F204

3K062

5L096

【Ｆターム（参考）】

3F204AA02

3F204BA09

3F204CA01

3F204DA04

3F204DA09

3F204DB04

3F204DB06

3F204DC08

3K062AA24

3K062AB01

3K062AC01

3K062CA08

3K062CB01

3K062DA40

5L096CA05

5L096CA24

5L096EA26

5L096GA08

(57)【要約】

【課題】複数の撮像カメラによって撮像した複数の撮像画像データにおける対象物を撮像して得られた撮像画像データにおいて対象物の状態を高精度にアノテーションできるようにすること。
【解決手段】複数の撮像手段によって同一の対象物を異なる方向から撮像して得られた複数の撮像画像データと、対象物を撮像した時点に関する時刻情報とを関連付け、撮像した時点が同時刻である複数の撮像画像データのうちの少なくとも一部を表示部に表示させ、表示された撮像画像データに対して所定の注目領域を設定し、複数の撮像画像データのうちの注目領域が設定された撮像画像データ以外の他の撮像画像データに対して、対象物において注目領域と略同じ領域に対応する対応領域を設定し、一部の撮像画像データにおける注目領域の位置と、他の撮像画像データにおける対応領域の位置との対応関係を対応マップとして生成して記憶部に記憶させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

ハードウェアを備えた制御部が実行する情報処理方法であって、
複数の撮像手段によって同一の対象物を異なる方向から撮像して得られた複数の撮像画像データと、前記複数の撮像画像データのそれぞれに関連付けられ、前記複数の撮像手段によって前記対象物を撮像した時点に関する時刻情報とを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データのうちの少なくとも一部の撮像画像データを表示部に表示させる表示ステップと、
表示された少なくとも一部の前記撮像画像データのうちの少なくとも１つの撮像画像データに対して所定の注目領域を設定する注目領域設定ステップと、
前記複数の撮像画像データのうちの前記注目領域が設定された撮像画像データ以外の他の撮像画像データに対して、前記対象物において前記注目領域と略同じ領域に対応する対応領域を設定する対応領域設定ステップと、
前記一部の撮像画像データにおける前記注目領域の位置と、前記他の撮像画像データにおける前記対応領域の位置との対応関係を対応マップとして生成して前記記憶部に記憶させるマップ生成ステップと、を含む
情報処理方法。

【請求項2】

外部から設定されたラベルを前記注目領域に設定し、
前記対応マップに基づいて、前記注目領域に設定されたラベルを、前記ラベルが設定された前記注目領域に対応する前記対応領域に設定して、前記複数の撮像画像データに対してラベリングを行うラベリングステップを含む
請求項１に記載の情報処理方法。

【請求項3】

前記記憶部から、前記撮像手段が同一で前記時刻情報に含まれる時刻が互いに異なる複数の撮像画像データを読み出し、
前記複数の撮像画像データのうちの２つの撮像画像データにおいて、前記時刻情報における時刻の経過に伴った前記２つの撮像画像データの差分を導出し、
前記２つの撮像画像データにおける前記時刻情報に含まれる時刻が遅い側の撮像画像データに対して、前記導出した差分が含まれる領域を前記注目領域として設定する
請求項１に記載の情報処理方法。

【請求項4】

前記対象物に対してあらかじめ位置の座標を設定し、複数の前記撮像手段のうちの１つの前記撮像手段によって前記対象物を撮像して得られた１つの撮像画像データに対して、前記位置の座標を前記撮像画像データにおける位置の座標に変換し、
前記変換された前記撮像画像データにおける位置の座標に基づいて、前記注目領域の座標を決定する
請求項１に記載の情報処理方法。

【請求項5】

前記複数の前記撮像手段によって前記対象物を撮像して得られた複数の撮像画像データに対して、
前記位置の座標を前記複数の撮像画像データにおけるそれぞれの位置の座標に変換し、
前記変換された前記撮像画像データにおける位置の座標に基づいて、前記注目領域の座標と前記対応領域の座標とを決定し、
前記座標に基づいて、前記注目領域と前記対応領域との対応関係を導出する
請求項４に記載の情報処理方法。

【請求項6】

前記注目領域と前記対応領域との対応関係の導出を、前記対象物に対して測距センサによって計測されたデータに基づいて行う
請求項１に記載の情報処理方法。

【請求項7】

前記注目領域設定ステップと前記対応領域設定ステップとは、外部から前記制御部に入力された情報に基づいて実行される
請求項１に記載の情報処理方法。

【請求項8】

前記対象物が廃棄物貯留設備における貯留ピットに貯留された廃棄物である
請求項１に記載の情報処理方法。

【請求項9】

対象物を撮像して得られた撮像画像データを記憶する記憶部と、
前記撮像画像データを表示可能な表示部と、
前記撮像画像データに対する画像処理を実行する制御部と、を備え、
前記制御部は、複数の撮像手段によって同一の対象物を異なる方向から撮像して得られた複数の撮像画像データと、前記複数の撮像手段によって前記対象物を撮像した時点に関する時刻情報とを関連付けて前記記憶部に記憶させ、
前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データのうちの少なくとも一部の撮像画像データを前記表示部に表示させ、
前記表示部に表示された少なくとも一部の前記撮像画像データのうちの少なくとも１つの撮像画像データに対して所定の注目領域が設定される一方、前記複数の撮像画像データのうちの前記注目領域が設定された撮像画像データ以外の他の撮像画像データに対して、前記対象物において前記注目領域と略同じ領域に対応する対応領域が設定されると、前記注目領域と前記対応領域とを対応付け、
前記一部の撮像画像データにおける前記注目領域の位置と、前記他の撮像画像データにおける前記対応領域の位置との対応関係を対応マップとして生成して前記記憶部に記憶させる
情報処理装置。

【請求項10】

ハードウェアを備えた制御部に、
複数の撮像手段によって同一の対象物を異なる方向から撮像して得られた複数の撮像画像データと、前記複数の撮像手段によって前記対象物を撮像した時点に関する時刻情報とを関連付けて記憶部に記憶させ、
前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データのうちの少なくとも一部の撮像画像データを表示部に表示させる表示ステップと、
表示された少なくとも一部の前記撮像画像データのうちの少なくとも１つの撮像画像データに対して所定の注目領域を設定する注目領域設定ステップと、
前記複数の撮像画像データのうちの前記注目領域が設定された撮像画像データ以外の他の撮像画像データに対して、前記対象物において前記注目領域と略同じ領域に対応する対応領域を設定する対応領域設定ステップと、
前記一部の撮像画像データにおける前記注目領域の位置と、前記他の撮像画像データにおける前記対応領域の位置との対応関係を対応マップとして生成して前記記憶部に記憶させるマップ生成ステップと、を実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置、およびプログラムに関する。

【背景技術】

【0002】

近年、廃棄物処理施設における焼却炉の運転の効率化のために、貯留ピット内におけるごみ、いわゆる廃棄物の混合状態や種別を機械学習によって判別したり認識したりする、貯留ピット内の把握技術の開発が求められている。機械学習において教師あり学習を利用した処理を行う場合、教師データとなる貯留ピット内を撮像した撮像画像データに対して、人間がラベル付け、すなわちアノテーションを行う必要がある。このようなアノテーションにおいて、同一被写体を撮影した複数画像に対するラベリング方法として特許文献１に記載の技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第７０８３１８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１に記載の技術においては、位置と姿勢の対応付けに視覚マーカを利用する必要があり、異なる位置に設置された撮像カメラから同一の対象物を撮像して得られた複数の異なる撮像画像データにおいて、それぞれの撮像画像データにおける所定の対象物の所定範囲を、それぞれの撮像画像データへ対応させる対応付けに利用することが極めて困難である。

【0005】

本発明は、このような事情に鑑みてなされたもので、その目的は、複数の撮像カメラによって撮像した複数の撮像画像データにおける対象物を撮像して得られた撮像画像データにおいて対象物の状態を高精度にアノテーションできるように設定する情報処理方法、情報処理装置、およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理方法は、ハードウェアを備えた制御部が実行する情報処理方法であって、複数の撮像手段によって同一の対象物を異なる方向から撮像して得られた複数の撮像画像データと、前記複数の撮像画像データのそれぞれに関連付けられ、前記複数の撮像手段によって前記対象物を撮像した時点に関する時刻情報とを記憶部に記憶させる記憶ステップと、前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データのうちの少なくとも一部の撮像画像データを表示部に表示させる表示ステップと、表示された少なくとも一部の前記撮像画像データのうちの少なくとも１つの撮像画像データに対して所定の注目領域を設定する注目領域設定ステップと、前記複数の撮像画像データのうちの前記注目領域が設定された撮像画像データ以外の他の撮像画像データに対して、前記対象物において前記注目領域と略同じ領域に対応する対応領域を設定する対応領域設定ステップと、前記一部の撮像画像データにおける前記注目領域の位置と、前記他の撮像画像データにおける前記対応領域の位置との対応関係を対応マップとして生成して前記記憶部に記憶させるマップ生成ステップと、を含む。

【0007】

本発明の一態様に係る情報処理方法は、上記の発明において、外部から設定されたラベルを前記注目領域に設定し、前記対応マップに基づいて、前記注目領域に設定されたラベルを、前記ラベルが設定された前記注目領域に対応する前記対応領域に設定して、前記複数の撮像画像データに対してラベリングを行うラベリングステップを含む。

【0008】

本発明の一態様に係る情報処理方法は、上記の発明において、前記記憶部から、前記撮像手段が同一で前記時刻情報に含まれる時刻が互いに異なる複数の撮像画像データを読み出し、前記複数の撮像画像データのうちの２つの撮像画像データにおいて、前記時刻情報における時刻の経過に伴った前記２つの撮像画像データの差分を導出し、前記２つの撮像画像データにおける前記時刻情報に含まれる時刻が遅い側の撮像画像データに対して、前記導出した差分が含まれる領域を前記注目領域として設定する。

【0009】

本発明の一態様に係る情報処理方法は、上記の発明において、前記対象物に対してあらかじめ位置の座標を設定し、複数の前記撮像手段のうちの１つの前記撮像手段によって前記対象物を撮像して得られた１つの撮像画像データに対して、前記位置の座標を前記撮像画像データにおける位置の座標に変換し、前記変換された前記撮像画像データにおける位置の座標に基づいて、前記注目領域の座標を決定する。

【0010】

本発明の一態様に係る情報処理方法は、上記の発明において、前記複数の前記撮像手段によって前記対象物を撮像して得られた複数の撮像画像データに対して、前記位置の座標を前記複数の撮像画像データにおけるそれぞれの位置の座標に変換し、前記変換された前記撮像画像データにおける位置の座標に基づいて、前記注目領域の座標と前記対応領域の座標とを決定し、前記座標に基づいて、前記注目領域と前記対応領域との対応関係を導出する。

【0011】

本発明の一態様に係る情報処理方法は、上記の発明において、前記注目領域と前記対応領域との対応関係の導出を、前記対象物に対して測距センサによって計測されたデータに基づいて行う。

【0012】

本発明の一態様に係る情報処理方法は、上記の発明において、前記注目領域設定ステップと前記対応領域設定ステップとは、外部から前記制御部に入力された情報に基づいて実行される。

【0013】

本発明の一態様に係る情報処理方法は、上記の発明において、前記対象物が廃棄物貯留設備における貯留ピットに貯留された廃棄物である。

【0014】

本発明の一態様に係る情報処理装置は、対象物を撮像して得られた撮像画像データを記憶する記憶部と、前記撮像画像データを表示可能な表示部と、前記撮像画像データに対する画像処理を実行する制御部と、を備え、前記制御部は、複数の撮像手段によって同一の対象物を異なる方向から撮像して得られた複数の撮像画像データと、前記複数の撮像手段によって前記対象物を撮像した時点に関する時刻情報とを関連付けて前記記憶部に記憶させ、前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データのうちの少なくとも一部の撮像画像データを前記表示部に表示させ、前記表示部に表示された少なくとも一部の前記撮像画像データのうちの少なくとも１つの撮像画像データに対して所定の注目領域が設定される一方、前記複数の撮像画像データのうちの前記注目領域が設定された撮像画像データ以外の他の撮像画像データに対して、前記対象物において前記注目領域と略同じ領域に対応する対応領域が設定されると、前記注目領域と前記対応領域とを対応付け、前記一部の撮像画像データにおける前記注目領域の位置と、前記他の撮像画像データにおける前記対応領域の位置との対応関係を対応マップとして生成して前記記憶部に記憶させる。

【0015】

本発明の一態様に係るプログラムは、ハードウェアを備えた制御部に、複数の撮像手段によって同一の対象物を異なる方向から撮像して得られた複数の撮像画像データと、前記複数の撮像手段によって前記対象物を撮像した時点に関する時刻情報とを関連付けて記憶部に記憶させ、前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データのうちの少なくとも一部の撮像画像データを表示部に表示させる表示ステップと、表示された少なくとも一部の前記撮像画像データのうちの少なくとも１つの撮像画像データに対して所定の注目領域を設定する注目領域設定ステップと、前記複数の撮像画像データのうちの前記注目領域が設定された撮像画像データ以外の他の撮像画像データに対して、前記対象物において前記注目領域と略同じ領域に対応する対応領域を設定する対応領域設定ステップと、前記一部の撮像画像データにおける前記注目領域の位置と、前記他の撮像画像データにおける前記対応領域の位置との対応関係を対応マップとして生成して前記記憶部に記憶させるマップ生成ステップと、を実行させる。

【発明の効果】

【0016】

本発明に係る情報処理方法、情報処理装置、およびプログラムによれば、複数の撮像カメラによって撮像した複数の撮像画像データにおける対象物を撮像して得られた撮像画像データにおいて、対象物の状態を高精度にアノテーションできるように設定することが可能となる。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の一実施形態による情報処理システムを示すブロック図である。

【図2】図２は、本発明の一実施形態による管理装置を示すブロック図である。

【図3】図３は、本発明の一実施形態による貯留ピットの内部を撮像した撮像画像データの例を示す図である。

【図4】図４は、本発明の一実施形態による貯留ピット内を２台の撮像カメラによって撮像する場合の撮像画像データ対の例を示す図である。

【図5A】図５Ａは、図４に示す撮像画像データ対１４０を表示した入出力部における注目領域を抽出した状態の画面の例を示す図である。

【図5B】図５Ｂは、図５Ａに示す画像表示画面の撮像画像データ対のうちの一方の撮像画像データにおける注目領域を他方の撮像画像データの対応領域に対応させた例を示す図である。

【図6】図６は、撮像画像データ対における一方の撮像画像データの注目範囲を、他方の撮像画像データの対応範囲に順次対応させた例を示す図である。

【図7A】図７Ａは、図３に示す撮像画像データと同様の所定時点における撮像画像データを示す図である。

【図7B】図７Ｂは、図７Ａに示す撮像画像データから所定時間が経過した後の撮像画像データにおいて変化領域を抽出した状態を示す図である。

【図7C】図７Ｃは、図７Ｂに示す撮像画像データから所定時間が経過した後の撮像画像データにおいて変化領域を抽出した状態を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。

【0019】

まず、本発明の一実施形態による情報処理装置を説明するにあたり、本発明者が行った鋭意検討について説明する。すなわち、本発明者の知見によれば、例えば対象物を貯留する対象施設においては、対象施設内の全体を高精度に撮像するために、撮像カメラを複数設けて対象施設内を撮像することが考えられる。対象施設内において対象物が混合されている場合、その対象物の混合状態を作業者による目視によって安定的に評価することが困難である。そのため、同一の対象物であっても、異なる撮像カメラによって異なる方向から撮像されて得られた異なる撮像画像データに対して、作業者によって一意なラベルを付与するアノテーションを行うことは困難であった。

【0020】

すなわち、対象施設内の対象物を撮像した撮像画像データを作業者が目視によって評価してアノテーションを行う場合、対象施設内の対象物の状態の評価を安定的に行うことは困難であった。このような問題を解決するために複数の画像を素早く切り替えて、比較を容易にするようにしたアノテーションツールも提案されている。

【0021】

しかしながら、対象施設内を撮像した撮像画像データにおいて、複数台の撮像カメラの距離が互いに離れている場合、対象物領域を評価する所定領域が同一であっても、複数台の撮像カメラによって撮像されたそれぞれの撮像画像データに対して、それぞれの撮像画像データにおける同一とされる所定領域の対応付けが困難であるという問題が生じる。例えば、対象施設が廃棄物の貯留ピットであって対象物が廃棄物である場合、貯留ピットは広いため、複数の撮像カメラを用いて廃棄物の撮像を行うことが多い。この場合、貯留ピット内の同一位置における同一の廃棄物であっても、撮像カメラからの距離や撮像方向によって見え方が異なる。具体的に、それぞれの撮像カメラによって撮像した撮像画像データに対して、それぞれ個別にアノテーションを行うと、異なる方向から見た状況によって設定するラベルを間違える可能性が高くなる。すなわち、貯留ピット内に対して同じタイミングで異なる撮像カメラによって撮像された異なる撮像画像データにおいては、同じ位置であっても近傍で撮像された廃棄物と遠方で撮像された廃棄物とは混合度が異なって見えてしまう。そのため、作業者が目視でのアノテーションを行う場合に、同一の廃棄物に対して異なるラベルを付与してしまう可能性がある。

【0022】

そこで本発明者は、対象施設内を異なる方向から撮像した複数の撮像画像データを併せて確認しつつアノテーション作業を行う方法について検討を行った。本発明者は、同一の対象物を撮像した複数の撮像画像データについて、一方の撮像画像データにおいて指定した位置に対して、他方の撮像画像データにおいて対応する位置を設定または補正し、設定または補正された対応関係を記憶部に記憶させる方法を案出した。すなわち、同じ時点において互いに異なる方向から対象施設内や対象物を撮像して得られた複数の撮像画像データに対して、相互に位置を対応させる対応付けを繰り返すことによって、複数の撮像画像データを高精度に対応させることを想到した。これによって、同一の対象物に対して異なる方向から撮像して得られた複数の撮像画像データに対して相互間で位置を変換可能なテーブル（以下、位置変換テーブル）を高精度に生成できる。特に、対象施設としての貯留ピット内における対象物としての廃棄物は、例えばクレーンなどによって撹拌される程度であることから、急激で大きな形状変化は発生しづらい。そのため、位置変換テーブルを生成することによって、新たに取得した複数の撮像画像データに対しても生成した位置変換テーブルを適用可能となり、アノテーションの作業において修正や補正を低減できる。すなわち、位置変換テーブルを利用することによって、同じ時点で対象物を撮像して得られた複数の撮像画像データのうちの、状況が把握しやすく評価しやすい一部の撮像画像データに対するアノテーションを、比較的状況が把握しにくく評価しにくい他部の撮像画像データに対して適用することもできるので、アノテーションの作業負荷を低減できる。

【0023】

さらに、同一の対象物を異なる方向から撮像して得られた複数の撮像画像データを、さらに経過時間ごとに順次取得して、時間経過に対応した差分を抽出することにより、対象物のうちの変化した部分の抽出が容易になるので、アノテーションの作業がさらに容易にできる。以下に説明する本発明の一実施形態は、本発明者による以上の鋭意検討に基づいて案出されたものである。

【0024】

（アノテーションデータ生成システム）
図１は、本発明の一実施形態による情報処理装置が適用される情報処理システムを示す。図１に示すように、情報処理システムとしてのアノテーションデータ生成システム１は、ネットワーク２を介して相互に通信可能な、情報処理装置としての情報処理装置１０と、廃棄物貯留設備２０と、廃棄物焼却設備３０とを備える。廃棄物処理施設３は、少なくとも廃棄物貯留設備２０および廃棄物焼却設備３０を備える。情報処理装置１０は、ネットワーク２を通じて廃棄物処理施設３と通信可能な外部に設けられていても、廃棄物処理施設３の一部であっても良い。また、情報処理装置１０は、廃棄物貯留設備２０の内部に設けられていても良く、設置場所は限定されない。

【0025】

ネットワーク２は、有線通信や無線通信が適宜組み合わされて構成され、インターネット回線網や携帯電話回線網などの通信網から構成される。ネットワーク２は、例えば、専用線、インターネットなどの公衆通信網、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、携帯電話などの電話通信網や公衆回線、ＶＰＮ（Virtual Private Network）などの一または複数の組み合わせからなる。情報処理装置１０と廃棄物貯留設備２０と廃棄物焼却設備３０とは、ネットワーク２を介して接続されている。

【0026】

（廃棄物焼却設備）
ごみ焼却部としての廃棄物焼却設備３０は、従来公知の構成を有する。すなわち、廃棄物焼却設備３０は、燃焼制御装置（ＡＣＣ）３１、センサ部３２、および焼却炉３３を備える。燃焼制御装置３１は、あらかじめ定められた操作量基準値の設定に基づいて、それぞれの操作端の操作量として、燃焼用空気量、冷却用空気量、ごみ供給装置送り速度、および火格子送り速度などを制御する。ごみ焼却炉である焼却炉３３は、廃棄物２６ａの燃焼が行われる炉、廃棄物２６ａを投入する廃棄物投入口、およびボイラ（いずれも図示せず）などを備える。センサ部３２は、例えば種々の場所に設けられた温度計や圧力計などから構成される。センサ部３２によって計測された、焼却炉３３の内部の状態、および焼却炉３３に関連する施設、具体的には、例えば電力を発電するための発電施設における、圧力や速度などの種々の物理量は、センサ部３２からセンサ情報として出力される。センサ部３２から出力されたセンサ情報は、パラメータとして燃焼制御装置３１に供給される。燃焼制御装置３１は、入力されたパラメータに基づいて焼却炉３３の燃焼を制御する。

【0027】

（廃棄物貯留設備）
廃棄物貯留部としての廃棄物貯留設備２０は、制御部２１、通信部２２、撮像部２３、把持部２５、および貯留ピット２６を備える。貯留ピット２６には、把持部２５が移動可能に設けられているとともに、撮像部２３が設けられている。把持部２５は、情報処理装置１０の制御部１１から送信される制御信号に基づいて、制御部２１が制御する。制御部２１は、制御部１１から送信される制御信号に基づいて、撮像部２３を制御しても良い。なお、情報処理装置１０の制御部１１が、撮像部２３および把持部２５を直接的に制御しても良い。

【0028】

制御部２１は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアを有するプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部（いずれも図示せず）を備える。制御部２１は、ＲＡＭやＲＯＭなどの主記憶部に格納された各種プログラムに従い、通信部１３，２２を通じて情報処理装置１０から入力された制御信号などに基づいて、撮像部２３および把持部２５を制御する。

【0029】

通信部２２は、例えば、ＬＡＮインターフェースボード、有線通信のための有線通信回路、または無線通信のための無線通信回路である。ＬＡＮインターフェースボードや有線通信回路や無線通信回路は、ネットワーク２に接続される。送信部および受信部としての通信部２２は、ネットワーク２に接続して、情報処理装置１０との間で通信を行う。

【0030】

把持部２５は、貯留ピット２６に貯留されている廃棄物２６ａを把持して移動させる。開閉部としてのバケット２５２は、廃棄物２６ａを把持できる。移動部としてのクレーン２５１は、バケット２５２を連結して移動可能に構成される。クレーン２５１は、情報処理装置１０のピット制御部１１３から送信される制御信号によって制御される。貯留ピット２６は、壁２６ｂによって囲まれた空間であり、廃棄物２６ａを一時的に貯留可能なピットである。貯留ピット２６内の廃棄物２６ａは、把持部２５によって把持されて、廃棄物焼却設備３０の焼却炉３３に供給され、焼却される。

【0031】

撮像部２３は、複数の撮像手段としての例えば２台の撮像カメラ２３１，２３２を有する。撮像部２３は、撮像カメラ２３１，２３２によって、貯留ピット２６内の廃棄物２６ａや壁２６ｂ、特に廃棄物２６ａの表面を撮像可能に構成される。撮像部２３を構成する撮像カメラ２３１，２３２はそれぞれ、互いに異なる方向から貯留ピット２６内の廃棄物２６ａの状態を撮像する。

【0032】

一方の撮像カメラ２３１が撮像して生成した撮像画像データを図３に示す。撮像カメラ２３１によって撮像されて得られた図３に示す撮像情報としての撮像画像データ１００は、撮像時における時刻情報と関連付けされて、撮像カメラ２３１から通信部２２を介して情報処理装置１０に送信される。また、撮像カメラ２３２によって撮像カメラ２３１とは異なる方向から貯留ピット２６内が撮像されて得られた撮像画像データ１００も、撮像時における時刻情報と関連付けされて、撮像カメラ２３２から通信部２２を介して情報処理装置１０に送信される。これにより、情報処理装置１０においては、撮像カメラ２３１，２３２によって互いに異なる方向から貯留ピット２６内を撮像して得られた、異なる複数の撮像画像データ１００を、時刻情報に基づいて関連付けることが可能となる。すなわち、情報処理装置１０においては、複数の異なる撮像カメラ２３１，２３２によって撮像され、時刻情報が等しい複数の撮像画像データ１００は互いに、同時に撮像された同時刻の撮像画像データ１００として処理可能となる。撮像カメラが３台以上であっても同様である。

【0033】

（情報処理装置）
図２は、図１における情報処理装置１０の詳細を示す。図２に示す情報処理装置としての情報処理装置１０は、制御部１１、記憶部１２、通信部１３、および入出力部１４を備える。制御部１１および通信部１３はそれぞれ、物理的には上述した制御部２１および通信部２２と同様である。本実施形態による情報処理装置１０は、貯留ピット２６内の廃棄物の混合状態をラベリングすることによって、混合度を計測可能な学習モデルの教師データとなる入出力データセットを生成する情報処理装置として機能する。なお、学習モデルは学習済みモデルとも単にモデルとも称される。

【0034】

入出力部１４は、例えばタッチパネルディスプレイやスピーカマイクロホンなどから構成することができる。入力手段としての入出力部１４は、例えば廃棄物貯留設備２０に設置された撮像部２３から、通信部２２を通じて送信された各種情報を入力して、制御部１１に出力するインターフェースを含む。なお、撮像部２３から入出力部１４への情報の送信は、有線通信を用いても無線通信を用いても良い。また、入出力部１４は、キーボードや入力用のボタン、レバーや、液晶などのディスプレイに重畳して設けられる手入力のためのタッチパネル、または音声認識のためのマイクロホンなどの、ユーザインターフェースを含む。作業者などが入出力部１４を操作することによって、制御部１１に所定の情報を入力可能に構成される。出力手段としての入出力部１４は、制御部１１による制御に従って、ディスプレイモニタに廃棄物貯留設備２０の貯留ピット２６内の画像などを表示したり、タッチパネルディスプレイの画面上に文字や図形などを表示したり、スピーカから音声を出力したりする。すなわち、入出力部１４は、所定の情報を外部に報知可能に構成される。なお、入出力部１４における入力部および出力部を別体に構成しても良い。

【0035】

記憶部１２は、ＲＡＭなどの揮発性メモリ、ＲＯＭなどの不揮発性メモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、またはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部１２を構成しても良い。

【0036】

記憶部１２には、情報処理装置１０の動作を実行するための、オペレーティングシステム（Operating System：ＯＳ）、画像処理アプリケーションなどの各種プログラム、各種テーブル、各種データベースなどを格納可能である。これらの各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。

【0037】

記憶部１２には、画像情報１２１、座標情報１２２、およびアノテーション情報１２３が格納されている。画像情報１２１、座標情報１２２、およびアノテーション情報１２３はいずれも、記憶部１２にデータベースとして検索可能に格納されている。

【0038】

画像情報１２１は、貯留ピット２６内の廃棄物２６ａを撮像部２３によって撮像して得られた複数の撮像画像データ１００（図３参照）と、廃棄物２６ａを撮像した時刻に関する時刻情報とを含む。撮像画像データ１００には撮像された時刻情報が関連付けされている。座標情報１２２は、作業者が所定の画像処理アプリケーションと情報処理装置１０の入出力部１４とを用いて画像情報１２１の撮像画像データ１００に対して行った画像処理に関する各種の操作に基づいて変換や対応付けされた座標の情報を含む。アノテーション情報１２３は、上述のように得られた画像情報１２１に含まれる撮像画像データ１００に対してアノテーション処理が施されたアノテーションデータ（図示せず）を含む。

【0039】

制御部１１は、記憶部１２に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することによって、所定の目的に合致した機能を実現できる。具体的に制御部１１は、記憶部１２からロードした各種プログラムの実行によって、画像処理部１１１、アノテーション処理部１１２、ピット制御部１１３、および学習部１１４の機能を実行可能である。また、各種プログラムには、本実施形態による処理を実現可能な人工知能や学習済みモデルを実現するプログラムも含まれる。制御部１１による処理の詳細については、後述する。

【0040】

（データセットの生成方法）
次に、以上のように構成された本実施形態による情報処理装置１０が実行する情報処理方法について説明する。なお、以下の説明において、それぞれの構成要素間での情報の送受信は通信部１３，２２およびネットワーク２を介して行われるが、この点についての都度の説明は省略する。

【0041】

図４は、本実施形態による情報処理方法による貯留ピット２６内の廃棄物２６ａの撮像方法を説明するための図である。図４に示すように、本実施形態による対象施設としての貯留ピット２６の内部を複数の撮像カメラ２３１，２３２によって撮像する場合、これらの撮像カメラ２３１，２３２は、可能な限り広範囲の廃棄物２６ａを撮像可能な位置に設置することが好ましいが、限定されない。なお、複数の撮像カメラ２３１，２３２の設置位置は、貯留ピット２６の形状や寸法に応じて適宜変更可能である。

【0042】

図４に示すように、貯留ピット２６内に廃棄物２６ａが貯留されている。図４に示す例においては、一方の撮像カメラ２３１が貯留ピット２６の４隅のうちの１つの隅に設けられ、撮像カメラ２３１によって所定の一方向から、すなわち所定の一視点から貯留ピット２６内に貯留された廃棄物２６ａの少なくとも表層を撮像可能である。撮像カメラ２３１によって貯留ピット２６内の廃棄物２６ａを撮像することによって、撮像カメラ２３１が撮像画像データ１４１を生成して情報処理装置１０に送信する。同様に、他方の撮像カメラ２３２が貯留ピット２６の４隅のうちの撮像カメラ２３１とは異なる１つの隅に設けられ、撮像カメラ２３２によって所定の一方向とは異なる他方向から、すなわち上述した一視点とは異なる他視点から貯留ピット２６内に貯留された廃棄物２６ａの少なくとも表層を撮像可能である。撮像カメラ２３２によって貯留ピット２６内の廃棄物２６ａを撮像することによって、撮像カメラ２３２が撮像画像データ１４２を生成して情報処理装置１０に送信する。貯留ピット２６内を撮像した撮像画像データ１４１，１４２には、時刻情報が関連付けされているとともに、貯留ピット２６に貯留された廃棄物２６ａや貯留ピット２６の壁２６ｂなどが撮像された情報として含まれる。なお、図４において図示省略したが、廃棄物２６ａを把持したり放下したりするクレーン２５１やバケット２５２なども撮像される場合がある。

【0043】

貯留ピット２６内に貯留された廃棄物２６ａは種々の物体から構成され、廃棄物２６ａの攪拌状態や混合状態としては種々の状態が考えられる。本実施形態において作業者は、図４に示すように、異なる位置に設定された撮像カメラ２３１，２３２によって、同じ廃棄物２６ａを異なる撮像方向から同時刻に撮像した時刻情報が等しい複数の撮像画像データ、ここでは例えば２つの撮像画像データ１４１，１４２に対してアノテーション処理を行う。この場合、２つの撮像画像データ１４１，１４２は入出力部１４に同時に出力表示させても別々に出力表示させても良い。

【0044】

作業者は、入出力部１４に出力表示される撮像画像データ１４１，１４２によって、貯留ピット２６内の廃棄物２６ａを目視で確認する。アノテーション処理において作業者は、所定の画像処理装置、本実施形態においては情報処理装置１０を用いて入出力部１４に表示された撮像画像データ１４１，１４２に対して、作業者の経験や知識などに基づいて撮像画像データ１４１，１４２に撮像された対象物の状態、ここでは廃棄物２６ａの混合状態を目視によって評価する。なお、混合度の評価は、混合度の判別や判断とも言う。

【0045】

作業者は、情報処理装置１０の入出力部１４を用いて評価を行う撮像画像データ１４１のうちの評価を行う領域を選択する。これにより、制御部１１の画像処理部１１１は、選択された領域を画像パッチ１４１ａ，１４２ａとして設定する。作業者は、撮像画像データ１４１，１４２に表示されたそれぞれの画像パッチ１４１ａ，１４２ａに対して、評価に基づいて決定されたラベルを設定する。ここで、貯留ピット２６に貯留された複数の物体が混合された混合物である廃棄物２６ａの混合状態に対してラベルを設定する場合、例えば、高混合領域、中混合領域、および低混合領域、ならびに壁領域および袋ゴミ領域などがそれぞれ、互いに区別可能な所定のラベルとしてあらかじめ設定されている。

【0046】

具体的に例えば、作業者が入出力部１４を用いて、撮像画像データ１４１の画像パッチ１４１ａに対して所定のラベルを設定する情報を入力する。この場合、制御部１１のアノテーション処理部１１２は、入力された情報に基づいて、入出力部１４に表示された撮像画像データ１４１のうちの画像パッチ１４１ａに対して、所定のラベルを設定する。これにより、図４に示す撮像画像データ１４１における廃棄物２６ａの画像に対してアノテーション処理が実行されて、廃棄物２６ａの場所ごと、すなわち選択された画像パッチ１４１ａごとに所定のラベルが設定される。なお、画像処理部１１１は、入力されて設定されたラベルを、撮像画像データ１４１の画像パッチ１４１ａに重畳表示させても良い。

【0047】

ここで、上述したように、同時刻に異なる方向から撮像された２つの撮像画像データ１４１，１４２に対して、それぞれ個別にアノテーション処理を実行してラベルを設定すると、撮像画像データ１４１，１４２における撮像方向が異なることから、作業者が見て評価する場合に混合度の評価が異なる場合がある。具体的に例えば、画像パッチ１４１ａ，１４２ａが廃棄物２６ａの同一箇所を選択した領域であっても、画像パッチ１４２ａのように撮像カメラ２３２からは比較的遠方に写った廃棄物２６ａの混合度は、画像パッチ１４１ａのように比較的手間に写った廃棄物２６ａの混合度に比して、混合度が大きく、より混合しているように見えてしまう。

【0048】

そこで、本実施形態においては、入出力部１４の表示部において、撮像カメラ２３１，２３２によって同じ廃棄物２６ａを異なる撮像方向から同時刻に撮像した２つの撮像画像データ１４１，１４２を併せて表示させる。なお、入出力部１４における撮像画像データ１４１，１４２の表示方法は、同じ画面に出力表示させる場合に限定されず、作業者が撮像画像データ１４１，１４２を相互に比較可能であれば、種々の表示方法を選択可能である。以下、撮像画像データ１４１，１４２を併せて撮像画像データ対１４０とも称する。これにより、作業者は、撮像画像データ対１４０において、廃棄物２６ａの混合度をより正確に評価可能な一方の撮像画像データ１４１，１４２を選択して、所定領域を画像パッチ１４１ａ，１４２ａとして選択して、混合度の評価を行うことができる。

【0049】

（対応マップの生成方法）
このような複数の撮像画像データ１４１，１４２を用いたアノテーション方法のうちの対応マップの生成方法について説明する。図５Ａは、図４に示す撮像画像データ対１４０を表示した入出力部における注目範囲を抽出した状態の画面の例を示す図であり、図５Ｂは、図５Ａに示す画面の撮像画像データ対のうちの一方の撮像画像データにおける注目範囲を他方の撮像画像データに対応させた例を示す図である。

【0050】

図５Ａに示すように、情報処理装置１０の制御部１１における画像処理部１１１は、複数の撮像カメラ２３１，２３２によって撮像された複数の撮像画像データを画像情報１２１として記憶部に１２に格納する（記憶ステップ）。画像処理部１１１は、記憶部１２から画像情報１２１を読み出して、画像情報１２１に含まれる撮像画像データ対１４０を入出力部１４の表示画面に表示させる（表示ステップ）。

【0051】

次に、作業者が入出力部１４の表示画面に表示された撮像画像データ対１４０に対して、貯留ピット２６内の廃棄物２６ａの任意の部分における混合度を評価する。作業者は例えば、入出力部１４を用いて、撮像画像データ対１４０から混合度を評価しやすい撮像画像データ１４１を選択する。続いて作業者は、撮像画像データ１４１に対してアノテーション処理におけるラベルを設定する注目領域Ａ１を選択する。画像処理部１１１は選択された注目領域Ａ１を撮像画像データ１４１に対して設定した後に記憶部１２に画像情報１２１として格納する（注目領域設定ステップ）。

【0052】

続いて、アノテーション処理部１１２は、記憶部１２から注目領域Ａ１の座標範囲を座標情報１２２として読み出す。ここで、座標情報１２２における注目領域Ａ１の座標範囲としては、注目領域Ａ１の所定の頂点を指定して、「Ａ１（ｘ₁₁，ｙ₁₁）」として読み出すことも、注目領域Ａ１の矩形範囲として、「Ａ１（ｘ₁₁～ｘ₁₂，ｙ₁₁～ｙ₁₂）」として読み出すことも、「Ａ１（ｘ₁₁，ｙ₁₁）～（ｘ₁₂，ｙ₁₂）」として読み出すことも可能である。本実施形態においては、例えば注目領域の所定の頂点をＡ１（ｘ₁₁，ｙ₁₁）として指定する。

【0053】

作業者は、入出力部１４を用いて、注目領域Ａ１（ｘ₁₁，ｙ₁₁）に対して混合度を評価内容に基づいたラベルの設定、すなわちラベリングを行う。注目領域Ａ１に対して設定されたラベルは、注目領域Ａ１の座標情報１２２に関連付けされて、記憶部１２にアノテーション情報１２３として格納される（ラベリングステップ）。

【0054】

また、図５Ｂに示すように、作業者は、撮像画像データ対１４０のうちから選択しなかった他方の撮像画像データ１４２に対して、撮像画像データ１４１における注目領域Ａ１に対応する対応領域Ａ２を選択する。すなわち、撮像画像データ対１４０は、同じ対象物である廃棄物２６ａを、異なる方向から異なる複数、ここでは２つの視点から撮像した撮像画像である。そのため、撮像画像データ対１４０のうちの一方の撮像画像データ１４１において注目領域Ａ１を選択すると、他方の撮像画像データ１４２において対応する対応領域Ａ２が存在する場合が多い。

【0055】

そこで、作業者は入出力部１４を用いて、一方の撮像画像データ１４１における注目領域Ａ１に対応する撮像画像データ１４２における領域を対応領域Ａ２として選択して設定する。撮像画像データ１４２から選択された対応領域Ａ２は、撮像画像データ１４１における注目領域Ａ１と、貯留ピット２６内において略同位置および略同領域を示すことになる。画像処理部１１１は、選択された対応領域Ａ２の座標（ｘ₂₁，ｙ₂₁）を、注目領域Ａ１（ｘ₁₁，ｙ₁₁）と関連付けて座標情報１２２として記憶部１２に格納する（対応領域設定ステップ）。

【0056】

また、アノテーション処理部１１２は、対応領域Ａ２に対して、注目領域Ａ１に設定されたラベルと同じラベルを設定する。これにより、一方の撮像画像データ１４１の一部の注目領域Ａ１に対するアノテーション処理を、他方の撮像画像データ１４２に対して実行することが可能となる。反対に、対応領域Ａ２（ｘ₂₁，ｙ₂₁）を選択することで、注目領域Ａ１（ｘ₁₁，ｙ₁₁）を抽出することも可能となる。ここで、作業者は、撮像画像データ対１４０から、廃棄物２６ａの状態をより高精度に評価可能な１つの撮像画像データ１４１に対してラベルを設定し、アノテーション処理を行っている。そのため、作業者にとって廃棄物２６ａの状態の評価において比較的精度が下がる他の撮像画像データ１４２に対しても撮像画像データ１４１に対する精度の高さで、廃棄物２６ａの状態を評価してラベルを設定してアノテーション処理を実行可能となる。

【0057】

また、注目領域Ａ１と対応領域Ａ２との対応については、上述した方法以外にも種々の方法を採用可能である。すなわち、あらかじめ座標情報１２２として、貯留ピット２６の上面視の座標（ｘ，ｙ）を記憶部１２に格納しておくことも可能である。この場合、画像処理部１１１は、撮像カメラ２３１，２３２の設置位置の座標情報１２２、例えば貯留ピット２６の４隅のうちの２隅の座標情報１２２に基づいて、撮像画像データ１４１，１４２内の任意の位置を、貯留ピット２６の上面視の座標（ｘ，ｙ）に対応可能となる。これにより、画像処理部１１１は、撮像画像データ１４１における注目領域Ａ１（ｘ₁₁，ｙ₁₁）を、貯留ピット２６における座標（ｘ₁，ｙ₁）に対応させる一方、対応した貯留ピット２６における座標（ｘ₁，ｙ₁）を対応領域Ａ２（ｘ₂₁，ｙ₂₁）に対応させることができる。これにより、画像処理部１１１は、注目領域Ａ１から貯留ピット２６における座標を経由して、対応領域Ａ２を決定でき、注目領域Ａ１と対応領域Ａ２との対応関係をマッチングによって導出できる。これにより、画像処理部１１１は、対応マップを生成できる（対応マップ生成ステップ）。ここで、マッチングによって注目領域Ａ１と対応領域Ａ２との間にズレが生じる場合も考えられる。この場合、作業者が入出力部１４から対応領域Ａ２の位置を注目領域Ａ１の位置に対応する位置に移動させて補正を行うことによって、注目領域Ａ１と対応領域Ａ２との対応した位置情報の精度をより高精度化でき、対応マップをより正確に生成できるので、アノテーション処理をより一層正確に実行できる。

【0058】

また、貯留ピット２６内の廃棄物２６ａの表層を、例えば３Ｄ－ＬｉＤＡＲ（3 Dimension Laser Imaging Detection and Ranging）などの測距センサ（図示せず）を用いて計測可能な場合がある。この場合、測距センサによって得られた例えば点群データなどのデータを、貯留ピット２６内の廃棄物２６ａの位置情報と関連付けることによって、注目領域Ａ１と対応領域Ａ２とを対応させて対応関係を導出し、対応マップを生成することも可能である。

【0059】

さらに、上述した注目領域Ａ１および対応領域Ａ２は例えば長方形または正方形の領域としているが、その他の形状の領域を適宜設定可能である。具体的に例えば、注目領域Ａ１および対応領域Ａ２はいずれも、円形状、楕円形状、閉曲線状、多角形状などの形状の領域を設定可能である。この場合、注目領域Ａ１と対応領域Ａ２との形状は互いに相似であることが好ましい。

【0060】

図６は、撮像画像データ対１４０における一方の撮像画像データの注目範囲を、他方の撮像画像データの注目範囲に順次対応させた例を示す図である。図６に示すように、作業者はまず、情報処理装置１０の入出力部１４を用いて、撮像画像データ対１４０から廃棄物２６ａの混合度を高精度に評価しやすい側の撮像画像データ１４１，１４２を選択入力する。画像処理部１１１は、入力された情報に基づいて撮像画像データ対１４０から１つの撮像画像データ１４１，１４２を抽出選択する。

【0061】

続いて作業者は、入出力部１４を用いて、高精度に評価しやすい側の撮像画像データ１４１，１４２に対して注目領域Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１を設定する。図６に示す例では、撮像画像データ１４１の手前側に撮像された廃棄物２６ａの混合度の状態を高精度に評価しやすいため、撮像画像データ１４１の手前側において注目領域Ａ１，Ｂ１，Ｃ１が選択されている。同様に、撮像画像データ１４２においても、手前側に撮像された廃棄物２６ａの混合度の状態を高精度に評価しやすいため、撮像画像データ１４２の手前側において注目領域Ｄ１，Ｅ１，Ｆ１が選択されている。

【0062】

制御部１１の画像処理部１１１は、記憶部１２から画像情報１２１を読み出して画像情報１２１に含まれる撮像画像データ対１４０を入出力部１４の表示画面に表示させる。作業者が表示画面に表示された撮像画像データ対１４０に対して、混合度を高精度に評価可能である側、換言すると混合度を適切に評価しやすい側の撮像画像データ１４１，１４２を入出力部１４から入力する。作業者は、それぞれの撮像画像データ１４１，１４２から、アノテーション処理におけるラベリングを行う注目領域Ａ１～Ｆ１を選択する。アノテーション処理部１１２は、記憶部１２から注目領域Ａ１～Ｆ１の座標範囲を座標情報１２２として読み出す。

【0063】

作業者は、入出力部１４を用いて、注目領域Ａ１～Ｆ１に対して混合度を評価した内容に基づいてラベリングを行う。注目領域Ａ１～Ｆ１に対して設定されたラベルは、注目領域Ａ１の座標情報１２２に関連付けされて、記憶部１２にアノテーション情報１２３として格納される（ラベリングステップ）。

【0064】

また、作業者は、入出力部１４を用いて、撮像画像データ対１４０において、注目領域Ａ１～Ｆ１に対応する対応領域Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２，Ｆ２を、選択しなかった側の撮像画像データ１４１，１４２から選択する。画像処理部１１１は、選択された対応領域Ａ２～Ｆ２のそれぞれの座標を、注目領域Ａ１～Ｆ１のそれぞれの座標と関連付けて座標情報１２２として記憶部１２に格納する。また、アノテーション処理部１１２は、対応領域Ａ２～Ｆ２のそれぞれに対して、注目領域Ａ１～Ｆ１にそれぞれ設定されたラベルと同じラベルを設定する（ラベリングステップ）。これにより、一方の撮像画像データ１４１，１４２の複数の注目領域Ａ１～Ｆ１に対するアノテーション処理を、他方の撮像画像データ１４１，１４２に対して実行可能となる。

【0065】

以上のような処理を撮像画像データ対１４０に対して繰り返し実行することによって、撮像画像データ対１４０における撮像画像データ１４１，１４２間で、座標情報１２２を対応させることが可能となる。画像処理部１１１は、以上のようにして得られた注目領域Ａ１～Ｆ１の座標情報１２２と、対応領域Ａ２～Ｆ２の座標情報１２２とをそれぞれ関連付けして対応させて記憶部１２に格納する。これにより、アノテーション処理部１１２は、座標情報１２２において撮像画像データ１４１，１４２の２次元の位置の対応関係として対応マップを生成できる。生成された対応マップは、座標情報１２２として記憶部１２に格納される。

【0066】

対応マップが生成されると、アノテーション処理部１１２は、撮像画像データ１４１，１４２の一方の注目領域に対して行ったラベリングに対応して、ラベリングが行われた一方の注目領域に対応する他方の対応領域に対してもラベリングを実行する。また、注目領域と対応領域との対応位置は、貯留ピット２６内の廃棄物２６ａの貯留状態に応じて変化するが、クレーン２５１の１回程度の操作によって変化する廃棄物２６ａの状態の変化は緩やかであることから、時刻情報が近い他の撮像画像データ１４１，１４２に対してアノテーション処理を実行する場合には、対応マップをほとんど流用することが可能となる。

【0067】

（時間差分）
次に、本実施形態による画像処理装置としての情報処理装置１０によるアノテーション方法において実行される時間差分の処理方法について説明する。図７Ａは、図３に示す撮像画像データと同様の所定時点における撮像画像データを示す図である。図７Ｂは、図７Ａに示す撮像画像データから所定時間が経過した後の撮像画像データにおいて変化領域を抽出した状態を示す図である。図７Ｃは、図７Ｂに示す撮像画像データから所定時間が経過した後の撮像画像データにおいて変化領域を抽出した状態を示す図である。

【0068】

情報処理装置の制御部１１における画像処理部１１１は、記憶部１２から画像情報１２１を読み込み、例えば撮像カメラ２３１によって撮像され、時刻情報に含まれる所定時点Ｔにおける撮像画像データ１４１Ａを読み込む。画像処理部１１１は、図７Ａに示すように、読み込んだ撮像画像データ１４１Ａを入出力部１４の表示画面に出力表示する。

【0069】

次に，画像処理部１１１は、図７Ｂに示すように、記憶部１２から画像情報１２１に含まれる同じ撮像カメラ２３１によって撮像され、所定時点Ｔから所定時間Δｔ経過後（Ｔ＋Δｔ）の撮像画像データ１４１Ｂを読み出す。画像処理部１１１は、撮像画像データ１４１Ａと所定時間Δｔが経過した後の撮像画像データ１４１Ｂとの差分を導出する。

【0070】

画像処理部１１１は、撮像画像データ１４１Ｂにおいて撮像画像データ１４１Ａからの変化した差分が存在した場合、撮像画像データ１４１Ｂにおける撮像画像データ１４１Ａからの差分を抽出して、抽出した差分の領域を囲む領域を注目領域として抽出する。図７Ｂに示す例において画像処理部１１１は、撮像画像データ１４１Ａに対する撮像画像データ１４１Ｂの差分の領域が、注目領域Ｈ，Ｊとして抽出され、入出力部１４の表示画面に、例えば矩形状の領域を重畳表示させる。

【0071】

撮像画像データ１４１Ａの全面に対してラベリングがすでに終了している場合、作業者は、注目領域Ｈ，Ｊとして抽出された部分に対してのみラベリングを行うことによって、撮像画像データ１４１Ｂに対するラベリングの処理が終了してアノテーション処理が終了する。撮像画像データ１４１Ａ，１４１Ｂの共通部分についてはラベリングが不要であるため、差分として得られた注目領域Ｈ，Ｊに対してラベリングを行うだけで、撮像画像データ１４１Ｂに対するアノテーション処理を完了できる。

【0072】

その後、画像処理部１１１は、図７Ｃに示すように、記憶部１２から画像情報１２１に含まれる、同じ撮像カメラ２３１によって撮像され、図７Ｂに示す所定時点（Ｔ＋Δｔ）からさらに時間δｔが経過（Ｔ＋Δｔ＋δｔ）した後の撮像画像データ１４１Ｃを読み出す。画像処理部１１１は、撮像画像データ１４１Ｂと所定時間δｔが経過した後の撮像画像データ１４１Ｃとの差分を導出する。

【0073】

画像処理部１１１は、撮像画像データ１４１Ｃにおいて撮像画像データ１４１Ｂから変化した差分が存在した場合、撮像画像データ１４１Ｃにおける撮像画像データ１４１Ｂからの差分を抽出して、抽出した差分の領域を囲む領域を注目領域として抽出する。図７Ｃに示す例では、撮像画像データ１４１Ｂに対する撮像画像データ１４１Ｃの差分の領域が、注目領域Ｋ，Ｌ，Ｍとして抽出される。注目領域Ｋ，Ｌ，Ｍは、入出力部１４の表示画面に、例えば矩形状の囲み領域として重畳表示される。

【0074】

ここで、撮像画像データ１４１Ｂの全面に対してラベリングがすでに終了している。この場合、作業者は、入出力部１４からの入力によって注目領域Ｋ，Ｌ，Ｍとして抽出された部分に対してのみラベリングを行うことによって、撮像画像データ１４１Ｃに対するラベリングの処理が終了し、アノテーション処理が終了する。撮像画像データ１４１Ａ，１４１Ｂの共通部分についてはラベリングが不要であるため、差分として得られた注目領域Ｈ，Ｊに対してラベリングを行うだけで、撮像画像データ１４１Ｂに対するアノテーション処理を完了できる。

【0075】

以上により、撮像画像データ１４１Ａ，１４１Ｂ，１４１Ｃにおける時間差分Δｔ，δｔによってクレーン２５１による廃棄物２６ａの移動箇所や、塵芥車両による廃棄物２６ａの投入位置を推定できるとともに、撮像画像データ１４１Ａ～１４１Ｃの経時変化における変化位置を注目領域として撮像画像データ１４１に重畳表示させることによって、撮像画像データ１４１において時間経過に伴った変化部分を抽出できるので、アノテーション処理の作業負荷を低減できる。

【0076】

（混合度評価学習モデル）
次に、以上のようにしてアノテーション処理が行われた撮像画像データ１４１，１４２を用いた機械学習の方法について説明する。すなわち、図２に示す情報処理装置１０の制御部１１の学習部１１４は、教師データとして、上述のようにラベリングされた撮像画像データ対１４０を含むアノテーション情報１２３を用いて機械学習を行う。すなわち、学習手段としての学習部１１４は、記憶部１２から、画像情報１２１および座標情報１２２を取得して学習用入力パラメータとし、アノテーション情報１２３を取得して学習用出力パラメータとした教師あり学習などの機械学習により混合度を評価する学習モデルを生成する。なお、機械学習は、例えば、ニューラルネットワークを用いた深層学習（ディープラーニング）などの種々の機械学習を採用でき、ミニバッチ学習などによって行うことができる。

【0077】

このような、複数の貯留ピット２６における複数の撮像画像データ１４１，１４２を用いてアノテーション処理を行うことにより、高精度なラベルの付与を行うことが可能になるので、機械学習の精度を向上させることができる。

【0078】

以上説明した一実施形態によれば、複数の貯留ピット２６の撮像画像データ１４１，１４２に対してアノテーション処理を実行して、ラベリングを高精度に実行可能となるので、学習モデルを生成するための機械学習の精度を向上できる。また、撮像画像データ対１４０に対する作業者による操作履歴によって、同時刻において異なる複数の方向から撮像された複数の撮像画像データ１４１，１４２に対して、一方の撮像画像データ１４１，１４２と他の撮像画像データ１４１，１４２との間で座標変換可能な対応マップを自動で生成できるため、対応マップに基づいて、一部の撮像画像データ１４１に対するラベリングを他の撮像画像データ１４２に自動で反映させることができるので、撮像画像データ対１４０に対するアノテーション処理の作業負荷を低減できる。

【0079】

以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた数値はあくまでも例に過ぎず、必要に応じてこれと異なる数値を用いても良く、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。

【0080】

例えば、上述した実施形態においては、貯留ピット２６内に貯留された廃棄物２６ａを撮像画像データ１４１，１４２の対象物としているが、例えば所定の会場などに集合した人間の数や会場の混雑度などを撮像した撮像画像データを採用しても良い。この場合、学習モデルとしては、混雑度の評価を行う学習モデルを生成するための入出力データセットを生成することが可能となる。

【0081】

また、一実施形態においては、上述してきた「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。

【0082】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0083】

１ アノテーションデータ生成システム
２ ネットワーク
３ 廃棄物処理施設
１０ 情報処理装置
１１，２１ 制御部
１２ 記憶部
１３ 通信部
１４ 入出力部
２０ 廃棄物貯留設備
２２ 通信部
２３ 撮像部
２５ 把持部
２６ 貯留ピット
２６ａ 廃棄物
２６ｂ 壁
３０ 廃棄物焼却設備
３１ 燃焼制御装置
３２ センサ部
３３ 焼却炉
１００ 撮像画像データ
１１１ 画像処理部
１１２ アノテーション処理部
１１３ ピット制御部
１１４ 学習部
１２１ 画像情報
１２２ 座標情報
１２３ アノテーション情報
１４０ 撮像画像データ対
１４１，１４１Ａ，１４１Ｂ，１４１Ｃ，１４２ 撮像画像データ
１４１ａ，１４２ａ 画像パッチ
２３１，２３２ 撮像カメラ
２５１ クレーン
２５２ バケット
Ａ１ 注目領域
Ａ２ 対応領域

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図7C】