知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024113439
(43)【公開日】2024-08-22
(54)【発明の名称】情報処理方法、情報処理装置、およびプログラム
(51)【国際特許分類】
G06T 7/37 20170101AFI20240815BHJP
G06T 7/00 20170101ALI20240815BHJP
G06T 7/174 20170101ALI20240815BHJP
G06V 20/64 20220101ALI20240815BHJP
【ＦＩ】
G06T7/37
G06T7/00 C
G06T7/174
G06V20/64
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023018412
(22)【出願日】2023-02-09
(71)【出願人】
【識別番号】000004123
【氏名又は名称】ＪＦＥエンジニアリング株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】芳賀 継彦
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA05
5L096EA35
5L096EA39
5L096FA25
5L096FA54
5L096JA18
(57)【要約】
【課題】撮像カメラによって撮像して得られた撮像画像データにおいて対象物の状態を高精度にアノテーションできるようにすること。
【解決手段】対象施設に貯留された対象物を撮像手段によって異なる方向から撮像した複数の撮像画像データを記憶部に記憶させ、記憶部から読み出した少なくとも１つの撮像画像データに対して、対象物が撮像された対象物領域と対象物が撮像されていない非抽出領域とを識別し、撮像画像データ内の対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定し、投影面に対して、識別された対象物領域の画素数に起因して設定された評価指標を導出して、評価指標が所定条件を満たした場合の投影面を選択して選択投影面とし、選択投影面に基づいて幾何変換処理を施すことによって、対象物が選択投影面に投影された変換画像データを生成する。
【選択図】図２
【解決手段】対象施設に貯留された対象物を撮像手段によって異なる方向から撮像した複数の撮像画像データを記憶部に記憶させ、記憶部から読み出した少なくとも１つの撮像画像データに対して、対象物が撮像された対象物領域と対象物が撮像されていない非抽出領域とを識別し、撮像画像データ内の対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定し、投影面に対して、識別された対象物領域の画素数に起因して設定された評価指標を導出して、評価指標が所定条件を満たした場合の投影面を選択して選択投影面とし、選択投影面に基づいて幾何変換処理を施すことによって、対象物が選択投影面に投影された変換画像データを生成する。
【選択図】図２
【特許請求の範囲】
【請求項1】
ハードウェアを備えた制御部が実行する情報処理方法であって、
対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別する識別ステップと、
前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定する設定ステップと、
前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定する選択ステップと、
前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成する変換ステップと、を含む
情報処理方法。
対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別する識別ステップと、
前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定する設定ステップと、
前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定する選択ステップと、
前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成する変換ステップと、を含む
情報処理方法。
【請求項2】
前記対象物が、底面が平面状である所定の空間に収納され、
前記所定の投影面を、前記底面に対して平行または重力に対して垂直に設定する
請求項１に記載の情報処理方法。
前記所定の投影面を、前記底面に対して平行または重力に対して垂直に設定する
請求項１に記載の情報処理方法。
【請求項3】
前記評価指標は、λを０より大きい重み付け係数とした場合に、次式に基づいて導出される
評価指標＝（投影面内の対象物領域画素数－投影面外の対象物領域画素数×λ）／投影面全体の画素数
請求項１に記載の情報処理方法。
評価指標＝（投影面内の対象物領域画素数－投影面外の対象物領域画素数×λ）／投影面全体の画素数
請求項１に記載の情報処理方法。
【請求項4】
前記撮像画像データは、前記撮像手段によって前記対象物を撮像した時点に関する時刻情報と関連付けされている
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項5】
前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データのうちの一部の撮像画像データに対して前記選択投影面を設定し、残部の撮像画像データに対して前記選択投影面を適用する
請求項４に記載の情報処理方法。
請求項４に記載の情報処理方法。
【請求項6】
前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データに対して、互いに独立してそれぞれの撮像画像データにおける前記選択投影面を設定する
請求項４に記載の情報処理方法。
請求項４に記載の情報処理方法。
【請求項7】
前記対象施設が廃棄物貯留設備における貯留ピットであり、前記対象物が前記貯留ピットに貯留された廃棄物である
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項8】
対象物を撮像して得られた撮像画像データを記憶する記憶部と、前記撮像画像データに対する画像処理を実行する制御部と、を備え、
前記制御部は、
対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを前記記憶部に記憶させ、
前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別し、
前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定し、
前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定し、
前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成して前記記憶部に格納する
情報処理装置。
前記制御部は、
対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを前記記憶部に記憶させ、
前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別し、
前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定し、
前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定し、
前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成して前記記憶部に格納する
情報処理装置。
【請求項9】
ハードウェアを備えた制御部に、
対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別する識別ステップと、
前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定する設定ステップと、
前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定する選択ステップと、
前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成する変換ステップと、
を実行させるプログラム。
対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを記憶部に記憶させる記憶ステップと、
前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別する識別ステップと、
前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定する設定ステップと、
前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定する選択ステップと、
前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成する変換ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、情報処理装置、およびプログラムに関する。
【背景技術】
【0002】
近年、廃棄物処理施設における焼却炉の運転の効率化のために、貯留ピット内におけるごみ、いわゆる廃棄物の混合状態や種別を機械学習によって判別したり認識したりする、貯留ピット内の把握技術の開発が求められている。例えば特許文献１，２，３には、画像を用いたごみピットの混合状態の推定技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６７３１６８０号公報
【特許文献2】特許第６６０３８２２号公報
【特許文献3】特許第６８５６５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ごみピットなどの貯留ピット内の廃棄物の堆積形状は、クレーンによる撹拌によって時々刻々と変化する。そのため、同じ貯留ピット内で同じような攪拌状態の廃棄物であっても、貯留ピット内を撮像する複数のカメラの設置位置や撮像角度によって、それぞれのカメラからの見え方が全く異なる。このような複数のカメラによって貯留ピット内の廃棄物を撮像して得られた複数の撮像画像データに対してラベルの対応付けを行い、撮像画像データに対して機械学習を実行しても、認識精度を向上させることは困難であった。これは、貯留ピット内の廃棄物を撮像する場合に限らず、複数の撮像カメラによって対象物を撮像することにより得られた複数の撮像画像データに対して機械学習を実行した場合においても同様に生じる問題である。そのため、複数の撮像カメラによって撮像した複数の撮像画像データにおける対象物の認識精度を向上できる技術が求められていた。
【0005】
本発明は、このような事情に鑑みてなされたもので、その目的は、複数の撮像カメラによって撮像した複数の撮像画像データにおける対象物の認識精度の向上を図ることができる情報処理方法、情報処理装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理方法は、ハードウェアを備えた制御部が実行する情報処理方法であって、対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを記憶部に記憶させる記憶ステップと、前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別する識別ステップと、前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定する設定ステップと、前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定する選択ステップと、前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成する変換ステップと、を含む。
【0007】
本発明の一態様に係る情報処理方法は、上記の発明において、前記対象物が、底面が平面状である所定の空間に収納され、前記所定の投影面を、前記底面に対して平行または重力に対して垂直に設定する。
【0008】
本発明の一態様に係る情報処理方法は、上記の発明において、前記評価指標は、λを０より大きい重み付け係数とした場合に、次式に基づいて導出される。
評価指標＝（投影面内の対象物領域画素数－投影面外の対象物領域画素数×λ）／投影面全体の画素数
評価指標＝（投影面内の対象物領域画素数－投影面外の対象物領域画素数×λ）／投影面全体の画素数
【0009】
本発明の一態様に係る情報処理方法は、上記の発明において、前記撮像画像データは、前記撮像手段によって前記対象物を撮像した時点に関する時刻情報と関連付けされている。
【0010】
本発明の一態様に係る情報処理方法は、上記の発明において、前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データのうちの一部の撮像画像データに対して前記選択投影面を設定し、残部の撮像画像データに対して前記選択投影面を適用する。
【0011】
本発明の一態様に係る情報処理方法は、上記の発明において、前記記憶部から読み出した、前記時刻情報において前記撮像した時点が同時刻である複数の前記撮像画像データに対して、互いに独立してそれぞれの撮像画像データにおける前記選択投影面を設定する。
【0012】
本発明の一態様に係る情報処理方法は、上記の発明において、前記対象施設が廃棄物貯留設備における貯留ピットであり、前記対象物が前記貯留ピットに貯留された廃棄物である。
【0013】
本発明の一態様に係る情報処理装置は、対象物を撮像して得られた撮像画像データを記憶する記憶部と、前記撮像画像データに対する画像処理を実行する制御部と、を備え、前記制御部は、対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを前記記憶部に記憶させ、前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別し、前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定し、前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定し、前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成して前記記憶部に格納する。
【0014】
本発明の一態様に係るプログラムは、ハードウェアを備えた制御部に、対象施設に貯留された対象物を複数台の撮像手段によって異なる方向から撮像してそれぞれ得られた複数の撮像画像データを記憶部に記憶させる記憶ステップと、前記記憶部から読み出した少なくとも１つの撮像画像データに対して、前記対象物が撮像された対象物領域と前記対象物が撮像されていない非抽出領域とを識別する識別ステップと、前記撮像画像データ内の前記対象物を含み、所定の移動線に沿って平行移動可能な平面状の投影面を設定する設定ステップと、前記投影面に対して、識別された前記対象物領域の画素数に起因して設定された評価指標を導出して、前記評価指標が所定条件を満たした場合の投影面を選択して選択投影面として設定する選択ステップと、前記選択投影面に基づいて幾何変換処理を施すことによって、前記対象物が前記選択投影面に投影された変換画像データを生成する変換ステップと、を実行させる。
【発明の効果】
【0015】
本発明に係る情報処理方法、情報処理装置、およびプログラムによれば、複数の撮像カメラによって撮像した複数の撮像画像データにおける対象物の認識精度を向上することが可能となる。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。
【0018】
まず、本発明の一実施形態による情報処理装置を説明するにあたり、本発明者が行った鋭意検討について説明する。すなわち、本発明者の知見によれば、例えば対象物を貯留する対象施設においては、対象施設内の全体を高精度に撮像するために、撮像カメラを異なる位置に複数設けて対象施設内を撮像することが考えられる。また、対象施設内において対象物が混合されたり変化したりする場合、対象施設内の対象物の形状は刻々と変化する可能性がある。また、対象施設内を撮像した撮像画像データにおいて、複数台の撮像カメラの距離が互いに離れている場合、対象物領域を評価する所定領域が同一であっても、複数台の撮像カメラによって撮像されたそれぞれの撮像画像データに対して、それぞれの撮像画像データにおける同一とされる所定領域の対応付けが困難であるという問題が生じる。
【0019】
例えば、対象施設が廃棄物の貯留ピットであって対象物が廃棄物である場合、貯留ピットは広いため、複数の撮像カメラを用いて廃棄物の撮像を行うことが多い。この場合、貯留ピット内の同一位置における同一の廃棄物であっても、撮像カメラからの距離や撮像方向によって見え方が異なる。具体的に、それぞれの撮像カメラによって撮像した撮像画像データに対して、それぞれ個別にアノテーションを行うと、異なる方向から見た状況によって設定するラベルを間違える可能性が高くなる。すなわち、貯留ピット内に対して同じタイミングで異なる撮像カメラによって撮像された異なる撮像画像データにおいては、同じ位置であっても、近傍で撮像された廃棄物と遠方で撮像された廃棄物とでは混合度が異なって見えてしまう。そのため、作業者が目視でのアノテーションを行う場合に、同一の廃棄物に対して異なるラベルを付与してしまう可能性がある。また、貯留ピット内の廃棄物の堆積形状がクレーンなどによる撹拌によって刻々と変化する場合、貯留ピット内において同じ廃棄物であって同じ領域を撮像した部分であっても、撮像カメラからの位置や角度によって見え方が全く異なる場合がある。そのため、複数の異なる撮像カメラによって対象物を撮像した場合、異なる複数の撮像カメラによって対象物を撮像して得られた撮像画像データに対して作業者がラベル付けを行う、いわゆるアノテーションを行ってもラベルの対応付けが安定しない。これにより、このようにして得られた複数の撮像画像データを用いて機械学習を行っても、対象物に対する認識精度を向上させることは困難であった。
【0020】
そこで本発明者は、対象施設内を異なる方向から撮像した複数の撮像画像データに対してアノテーション作業を行う方法について検討を行った。本発明者は、対象施設内を撮像した撮像画像データから対象物の存在する範囲（対象物領域）を抽出して適切な幾何変換処理を適用することによって、対象物の形状による見え方の変化を軽減する方法を案出した。これにより、撮像画像データを用いて機械学習を行う場合に、画像データの位置情報も含めることによって、得られる学習モデルによる撮像画像データに対する認識精度を向上させることが可能になる。すなわち、同じ時点において互いに異なる方向から対象施設内や対象物を撮像して得られた複数の撮像画像データに対してそれぞれ、所定の幾何変換処理を適用することによって変換画像データを生成し、複数の撮像画像データを高精度に対応させることを想到した。これによって、同一の対象物に対して異なる方向から撮像して得られた複数の撮像画像データをそれぞれ幾何学的に変換させた変換画像データに対して、アノテーション作業を行う作業者が同じ位置から見た画像として認識できるので、アノテーション作業において修正や補正を低減でき、アノテーション作業の作業負荷を低減できる。以下に説明する本発明の一実施形態は、本発明者による以上の鋭意検討に基づいて案出されたものである。
【0021】
（アノテーションデータ生成システム）
図１は、本発明の一実施形態による情報処理装置が適用される情報処理システムを示す。図１に示すように、情報処理システムとしてのアノテーションデータ生成システム１は、ネットワーク２を介して相互に通信可能な、情報処理装置としての情報処理装置１０と、廃棄物貯留設備２０と、廃棄物焼却設備３０とを備える。廃棄物処理施設３は、少なくとも廃棄物貯留設備２０および廃棄物焼却設備３０を備える。情報処理装置１０は、ネットワーク２を通じて廃棄物処理施設３と通信可能な外部に設けられていても、廃棄物処理施設３の一部であっても良い。また、情報処理装置１０は、廃棄物貯留設備２０の内部に設けられていても良く、設置場所は限定されない。
図１は、本発明の一実施形態による情報処理装置が適用される情報処理システムを示す。図１に示すように、情報処理システムとしてのアノテーションデータ生成システム１は、ネットワーク２を介して相互に通信可能な、情報処理装置としての情報処理装置１０と、廃棄物貯留設備２０と、廃棄物焼却設備３０とを備える。廃棄物処理施設３は、少なくとも廃棄物貯留設備２０および廃棄物焼却設備３０を備える。情報処理装置１０は、ネットワーク２を通じて廃棄物処理施設３と通信可能な外部に設けられていても、廃棄物処理施設３の一部であっても良い。また、情報処理装置１０は、廃棄物貯留設備２０の内部に設けられていても良く、設置場所は限定されない。
【0022】
ネットワーク２は、有線通信や無線通信が適宜組み合わされて構成され、インターネット回線網や携帯電話回線網などの通信網から構成される。ネットワーク２は、例えば、専用線、インターネットなどの公衆通信網、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、携帯電話などの電話通信網や公衆回線、ＶＰＮ（Virtual Private Network）などの一または複数の組み合わせからなる。情報処理装置１０と廃棄物貯留設備２０と廃棄物焼却設備３０とは、ネットワーク２を介して接続されている。
【0023】
（廃棄物焼却設備）
ごみ焼却部としての廃棄物焼却設備３０は、従来公知の構成を有する。すなわち、廃棄物焼却設備３０は、燃焼制御装置（ＡＣＣ）３１、センサ部３２、および焼却炉３３を備える。燃焼制御装置３１は、あらかじめ定められた操作量基準値の設定に基づいて、それぞれの操作端の操作量として、燃焼用空気量、冷却用空気量、ごみ供給装置送り速度、および火格子送り速度などを制御する。ごみ焼却炉である焼却炉３３は、廃棄物２６ａの燃焼が行われる炉、廃棄物２６ａを投入する廃棄物投入口、およびボイラ（いずれも図示せず）などを備える。センサ部３２は、例えば種々の場所に設けられた温度計や圧力計などから構成される。センサ部３２によって計測された、焼却炉３３の内部の状態、および焼却炉３３に関連する施設、具体的には、例えば電力を発電するための発電施設における、圧力や速度などの種々の物理量は、センサ部３２からセンサ情報として出力される。センサ部３２から出力されたセンサ情報は、パラメータとして燃焼制御装置３１に供給される。燃焼制御装置３１は、入力されたパラメータに基づいて焼却炉３３の燃焼を制御する。
ごみ焼却部としての廃棄物焼却設備３０は、従来公知の構成を有する。すなわち、廃棄物焼却設備３０は、燃焼制御装置（ＡＣＣ）３１、センサ部３２、および焼却炉３３を備える。燃焼制御装置３１は、あらかじめ定められた操作量基準値の設定に基づいて、それぞれの操作端の操作量として、燃焼用空気量、冷却用空気量、ごみ供給装置送り速度、および火格子送り速度などを制御する。ごみ焼却炉である焼却炉３３は、廃棄物２６ａの燃焼が行われる炉、廃棄物２６ａを投入する廃棄物投入口、およびボイラ（いずれも図示せず）などを備える。センサ部３２は、例えば種々の場所に設けられた温度計や圧力計などから構成される。センサ部３２によって計測された、焼却炉３３の内部の状態、および焼却炉３３に関連する施設、具体的には、例えば電力を発電するための発電施設における、圧力や速度などの種々の物理量は、センサ部３２からセンサ情報として出力される。センサ部３２から出力されたセンサ情報は、パラメータとして燃焼制御装置３１に供給される。燃焼制御装置３１は、入力されたパラメータに基づいて焼却炉３３の燃焼を制御する。
【0024】
（廃棄物貯留設備）
廃棄物貯留部としての廃棄物貯留設備２０は、制御部２１、通信部２２、撮像部２３、把持部２５、および貯留ピット２６を備える。貯留ピット２６には、把持部２５が移動可能に設けられているとともに、撮像部２３が設けられている。把持部２５は、情報処理装置１０の制御部１１から送信される制御信号に基づいて、制御部２１が制御する。制御部２１は、制御部１１から送信される制御信号に基づいて、撮像部２３を制御しても良い。なお、情報処理装置１０の制御部１１が、撮像部２３および把持部２５を直接的に制御しても良い。
廃棄物貯留部としての廃棄物貯留設備２０は、制御部２１、通信部２２、撮像部２３、把持部２５、および貯留ピット２６を備える。貯留ピット２６には、把持部２５が移動可能に設けられているとともに、撮像部２３が設けられている。把持部２５は、情報処理装置１０の制御部１１から送信される制御信号に基づいて、制御部２１が制御する。制御部２１は、制御部１１から送信される制御信号に基づいて、撮像部２３を制御しても良い。なお、情報処理装置１０の制御部１１が、撮像部２３および把持部２５を直接的に制御しても良い。
【0025】
制御部２１は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアを有するプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部（いずれも図示せず）を備える。制御部２１は、ＲＡＭやＲＯＭなどの主記憶部に格納された各種プログラムに従い、通信部１３，２２を通じて情報処理装置１０から入力された制御信号などに基づいて、撮像部２３および把持部２５を制御する。
【0026】
通信部２２は、例えば、ＬＡＮインターフェースボード、有線通信のための有線通信回路、または無線通信のための無線通信回路である。ＬＡＮインターフェースボードや有線通信回路や無線通信回路は、ネットワーク２に接続される。送信部および受信部としての通信部２２は、ネットワーク２に接続して、情報処理装置１０との間で通信を行う。
【0027】
把持部２５は、貯留ピット２６に貯留されている廃棄物２６ａを把持して移動させる。開閉部としてのバケット２５２は、廃棄物２６ａを把持できる。移動部としてのクレーン２５１は、バケット２５２を連結して移動可能に構成される。クレーン２５１は、情報処理装置１０の制御部１１から送信される制御信号によって制御される。貯留ピット２６は、内壁２６ｂによって囲まれた空間であり、廃棄物２６ａを一時的に貯留可能なピットである。貯留ピット２６内の廃棄物２６ａは、把持部２５によって把持されて、廃棄物焼却設備３０の焼却炉３３に供給され、焼却される。
【0028】
撮像部２３は、複数の撮像手段としての例えば２台の撮像カメラ２３１，２３２を有する。撮像部２３は、撮像カメラ２３１，２３２によって、貯留ピット２６内の廃棄物２６ａや内壁２６ｂの表面を撮像可能に構成される。撮像部２３を構成する撮像カメラ２３１，２３２はそれぞれ、互いに異なる方向から貯留ピット２６内の廃棄物２６ａの状態を撮像する。
【0029】
一方の撮像カメラ２３１が撮像して生成した撮像画像データを図３に示す。撮像カメラ２３１によって撮像されて得られた図３に示す撮像情報としての撮像画像データ１００は、撮像時における時刻情報と関連付けされて、撮像カメラ２３１から通信部２２を介して情報処理装置１０に送信される。また、撮像カメラ２３２によって、撮像カメラ２３１とは異なる方向から貯留ピット２６内が撮像されて得られた撮像画像データ１００も、撮像時における時刻情報と関連付けされて、撮像カメラ２３２から通信部２２を介して情報処理装置１０に送信される。これにより、情報処理装置１０においては、撮像カメラ２３１，２３２によって互いに異なる方向から貯留ピット２６内を撮像して得られた、異なる複数の撮像画像データ１００を、時刻情報に基づいて関連付けることが可能となる。すなわち、情報処理装置１０においては、複数の異なる撮像カメラ２３１，２３２によって撮像され、時刻情報が等しい複数の撮像画像データ１００は互いに、同時に撮像された同時刻の撮像画像データ１００として処理可能となる。撮像カメラが３台以上であっても同様である。
【0030】
（情報処理装置）
図２は、図１における情報処理装置１０の詳細を示す。図２に示すように情報処理装置１０は、制御部１１、記憶部１２、通信部１３、および入出力部１４を備える。制御部１１および通信部１３はそれぞれ、物理的には上述した制御部２１および通信部２２と同様である。本実施形態による情報処理装置１０は、例えば貯留ピット２６内の廃棄物２６ａを撮像した撮像画像データ１００に対して適切な幾何変換を施して見え方のばらつきを軽減した状態でラベリングおよび機械学習を行う情報処理装置として機能する。また、情報処理装置１０は、貯留ピット２６内の廃棄物の混合状態をラベリングすることによって、混合度を計測可能な学習モデルの教師データとなる入出力データセットを生成する情報処理装置としても機能する。なお、学習モデルは学習済みモデルとも単にモデルとも称される。
図２は、図１における情報処理装置１０の詳細を示す。図２に示すように情報処理装置１０は、制御部１１、記憶部１２、通信部１３、および入出力部１４を備える。制御部１１および通信部１３はそれぞれ、物理的には上述した制御部２１および通信部２２と同様である。本実施形態による情報処理装置１０は、例えば貯留ピット２６内の廃棄物２６ａを撮像した撮像画像データ１００に対して適切な幾何変換を施して見え方のばらつきを軽減した状態でラベリングおよび機械学習を行う情報処理装置として機能する。また、情報処理装置１０は、貯留ピット２６内の廃棄物の混合状態をラベリングすることによって、混合度を計測可能な学習モデルの教師データとなる入出力データセットを生成する情報処理装置としても機能する。なお、学習モデルは学習済みモデルとも単にモデルとも称される。
【0031】
入出力部１４は、例えばタッチパネルディスプレイやスピーカマイクロホンなどから構成することができる。入力手段としての入出力部１４は、例えば廃棄物貯留設備２０に設置された撮像部２３から、通信部２２を通じて送信された各種情報を入力して、制御部１１に出力するインターフェースを含む。なお、撮像部２３から入出力部１４への情報の送信は、有線通信を用いても無線通信を用いても良い。また、入出力部１４は、キーボードや入力用のボタン、レバーや、液晶などのディスプレイに重畳して設けられる手入力のためのタッチパネル、または音声認識のためのマイクロホンなどの、ユーザインターフェースを含む。作業者などが入出力部１４を操作することによって、制御部１１に所定の情報を入力可能に構成される。出力手段としての入出力部１４は、制御部１１による制御に従って、ディスプレイモニタに廃棄物貯留設備２０の貯留ピット２６内の画像などを表示したり、タッチパネルディスプレイの画面上に文字や図形などを表示したり、スピーカから音声を出力したりする。すなわち、入出力部１４は、所定の情報を外部に報知可能に構成される。なお、入出力部１４における入力部および出力部を別体に構成しても良い。
【0032】
記憶部１２は、ＲＡＭなどの揮発性メモリ、ＲＯＭなどの不揮発性メモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、またはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部１２を構成しても良い。
【0033】
記憶部１２には、情報処理装置１０の動作を実行するための、オペレーティングシステム（Operating System：ＯＳ）、画像処理アプリケーションなどの各種プログラム、各種テーブル、各種データベースなどを格納可能である。これらの各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【0034】
記憶部１２には、画像情報１２１、座標情報１２２、アノテーション情報１２３、および領域抽出モデル１２４が格納されている。画像情報１２１、座標情報１２２、およびアノテーション情報１２３はいずれも、記憶部１２にデータベースとして検索可能に格納されている。領域抽出モデル１２４は、撮像画像データから所定の領域を抽出する学習モデルである。
【0035】
画像情報１２１は、貯留ピット２６内の廃棄物２６ａを撮像部２３によって撮像して得られた複数の撮像画像データ１００（図３参照）と、廃棄物２６ａを撮像した時刻に関する時刻情報とを含む。撮像画像データ１００には撮像された時刻情報が関連付けされている。座標情報１２２は、作業者が所定の画像処理アプリケーションと情報処理装置１０の入出力部１４とを用いて画像情報１２１の撮像画像データ１００に対して行った画像処理に関する各種の操作に基づいて変換や対応付けされた座標の情報を含む。アノテーション情報１２３は、上述のように得られた画像情報１２１に含まれる撮像画像データ１００に対してアノテーション処理が施されたアノテーションデータ（図示せず）を含む。
【0036】
制御部１１は、記憶部１２に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することによって、所定の目的に合致した機能を実現できる。具体的に制御部１１は、記憶部１２からロードした各種プログラムの実行によって、画像処理部１１１、アノテーション処理部１１２、および学習部１１３の機能を実行可能である。また、各種プログラムには、本実施形態による処理を実現可能な人工知能や学習済みモデルを実現するプログラムも含まれる。制御部１１による処理の詳細については、後述する。
【0037】
（情報処理方法）
次に、以上のように構成された本実施形態による情報処理装置１０が実行する情報処理方法について説明する。なお、以下の説明において、それぞれの構成要素間での情報の送受信は、通信部１３，２２およびネットワーク２を介して行われるが、この点についての都度の説明は省略する。
次に、以上のように構成された本実施形態による情報処理装置１０が実行する情報処理方法について説明する。なお、以下の説明において、それぞれの構成要素間での情報の送受信は、通信部１３，２２およびネットワーク２を介して行われるが、この点についての都度の説明は省略する。
【0038】
図４は、本実施形態による情報処理方法による貯留ピット２６内の廃棄物２６ａの撮像方法を説明するための図である。図４に示すように、本実施形態による対象施設としての貯留ピット２６の内部を複数の撮像カメラ２３１，２３２によって撮像する場合、これらの撮像カメラ２３１，２３２は、可能な限り広範囲の廃棄物２６ａを撮像可能な位置に設置することが好ましいが、限定されない。なお、複数の撮像カメラ２３１，２３２の設置位置は、貯留ピット２６の形状や寸法に応じて適宜変更可能である。
【0039】
図４に示すように、貯留ピット２６内に廃棄物２６ａが貯留されている。図４に示す例においては、一方の撮像カメラ２３１が貯留ピット２６の４隅のうちの１つの隅に設けられ、撮像カメラ２３１によって所定の一方向から、すなわち所定の一視点から貯留ピット２６内に貯留された廃棄物２６ａの少なくとも表層を撮像可能である。撮像カメラ２３１によって貯留ピット２６内の廃棄物２６ａを撮像することによって、撮像カメラ２３１が撮像画像データ１４１を生成して情報処理装置１０に送信する。同様に、他方の撮像カメラ２３２が貯留ピット２６の４隅のうちの撮像カメラ２３１とは異なる１つの隅に設けられ、撮像カメラ２３２によって所定の一方向とは異なる他方向から、すなわち上述した一視点とは異なる他視点から貯留ピット２６内に貯留された廃棄物２６ａの少なくとも表層を撮像可能である。撮像カメラ２３２によって貯留ピット２６内の廃棄物２６ａを撮像することによって、撮像カメラ２３２が撮像画像データ１４２を生成して情報処理装置１０に送信する。
【0040】
貯留ピット２６内を撮像して得られた撮像画像データ１４１，１４２には、時刻情報が関連付けされているとともに、貯留ピット２６に貯留された廃棄物２６ａや貯留ピット２６の内壁２６ｂなどが撮像された情報として含まれる。なお、図４において図示省略したが、廃棄物２６ａを把持したり放下したりするクレーン２５１やバケット２５２なども撮像される場合がある。
【0041】
（変換処理方法）
次に、本実施形態による情報処理装置１０によって実行されるアノテーション方法の一部としての撮像画像データ１００に対する変換処理方法について説明する。図５は、本実施形態による情報処理装置１０が実行する変換処理方法を説明するためのフローチャートである。図６Ａおよび図６Ｂはそれぞれ、本実施形態における撮像画像データ１００に含まれる貯留ピットの底面および底面を平行移動させた状態の例を示す図である。図７は、撮像画像データ１００に対して対象物領域と非抽出領域とで２値化した２値化画像データ１０１の例を示す図である。図８Ａ、図８Ｂ、および図８Ｃはそれぞれ、２値化画像データ１０１に対する投影面の取得方法を説明するための評価指標ごとの２値化画像データを示す図である。図９は、本実施形態における２値化画像データ１０１において設定された投影面の底面からの高さを説明するための図である。
次に、本実施形態による情報処理装置１０によって実行されるアノテーション方法の一部としての撮像画像データ１００に対する変換処理方法について説明する。図５は、本実施形態による情報処理装置１０が実行する変換処理方法を説明するためのフローチャートである。図６Ａおよび図６Ｂはそれぞれ、本実施形態における撮像画像データ１００に含まれる貯留ピットの底面および底面を平行移動させた状態の例を示す図である。図７は、撮像画像データ１００に対して対象物領域と非抽出領域とで２値化した２値化画像データ１０１の例を示す図である。図８Ａ、図８Ｂ、および図８Ｃはそれぞれ、２値化画像データ１０１に対する投影面の取得方法を説明するための評価指標ごとの２値化画像データを示す図である。図９は、本実施形態における２値化画像データ１０１において設定された投影面の底面からの高さを説明するための図である。
【0042】
（内側形状設定処理）
図５に示すように、ステップＳＴ１において情報処理装置１０の制御部１１における画像処理部１１１は、撮像カメラ２３１，２３２から貯留ピット２６内を撮像して得られた、例えば図３に示すような撮像画像データ１００を取得する。画像処理部１１１は、取得した撮像画像データ１００に対して、貯留ピット２６の形状を設定する。なお、貯留ピット２６の内面の形状は、通常において直方体形状であるが、円筒形状や楕円筒形状や正方体形状であっても良く、少なくとも底面を規定可能な形状であれば、種々の形状を設定できる。また、底面は平面状であることが望ましいが、必ずしも平面状でなくても良い。撮像カメラ２３１，２３２は所定の位置に固定され、撮像カメラ２３１，２３２の画角なども固定されている場合、撮像カメラ２３１，２３２と貯留ピット２６の内面との相対的な位置は固定される。そのため、画像処理部１１１は、撮像カメラ２３１，２３２によって撮像された撮像画像データ１００において、対象物としての廃棄物２６ａが存在していない状態における貯留ピット２６の内面の座標情報に基づいて撮像画像データ１００の内面を設定できる。
図５に示すように、ステップＳＴ１において情報処理装置１０の制御部１１における画像処理部１１１は、撮像カメラ２３１，２３２から貯留ピット２６内を撮像して得られた、例えば図３に示すような撮像画像データ１００を取得する。画像処理部１１１は、取得した撮像画像データ１００に対して、貯留ピット２６の形状を設定する。なお、貯留ピット２６の内面の形状は、通常において直方体形状であるが、円筒形状や楕円筒形状や正方体形状であっても良く、少なくとも底面を規定可能な形状であれば、種々の形状を設定できる。また、底面は平面状であることが望ましいが、必ずしも平面状でなくても良い。撮像カメラ２３１，２３２は所定の位置に固定され、撮像カメラ２３１，２３２の画角なども固定されている場合、撮像カメラ２３１，２３２と貯留ピット２６の内面との相対的な位置は固定される。そのため、画像処理部１１１は、撮像カメラ２３１，２３２によって撮像された撮像画像データ１００において、対象物としての廃棄物２６ａが存在していない状態における貯留ピット２６の内面の座標情報に基づいて撮像画像データ１００の内面を設定できる。
【0043】
すなわち、画像処理部１１１は、記憶部１２から座標情報１２２として、貯留ピット２６内の内周面である内壁２６ｂおよび底面１００ａの各位置の座標、および撮像カメラ２３１，２３２の設置位置の座標を取得する。次に、図６Ａに示すように、取得した貯留ピット２６内の各位置の座標と撮像カメラ２３１，２３２の設置位置の座標に基づいて、撮像画像データ１００内の底面１００ａおよび移動線１００ｂ，１００ｃを設定する。ここで、画像処理部１１１は、貯留ピット２６の底面１００ａに対して垂直な高さ方向に沿って移動線１００ｂ，１００ｃを設定する。これにより、貯留ピット２６の底面１００ａが矩形状である場合、底面１００ａに対して垂直な高さ方向に沿って、矩形の４頂点に対応した４本の移動線を仮想的に設定できる。なお、貯留ピット２６の底面１００ａとしては、矩形状に限定されず、円形状、楕円形状、閉曲線状、多角形状などの形状の領域を設定可能である。
【0044】
図６Ａに示す撮像画像データ１００においては、撮像カメラ２３１，２３２に対向した２隅に移動線１００ｂ，１００ｃが設定され、撮像カメラ２３１，２３２の設置側、すなわち撮像画像データ１００においては手前側に仮想的な移動線（図示せず）が設定される。すなわち、撮像画像データ１００においては、貯留ピット２６の内部の全てが撮像されていないが、画像処理部１１１は、撮像されていない位置における仮想的な移動線を設定する。なお、移動線の設定方法としては、種々の設定方法を採用することができ、上述した方法に限定されない。
【0045】
以上により、画像処理部１１１は、廃棄物２６ａが貯留されていない状態の貯留ピット２６の内面の形状を設定できる。換言すると、画像処理部１１１は、撮像画像データ１００内において、廃棄物２６ａによって隠された状態の底面１００ａの位置を確定して固定できる。さらに、図６Ｂに示すように、画像処理部１１１は、底面１００ａに平行な平行面１００ｄを設定する。平行面１００ｄは、上述のように設定された底面１００ａに対して平行であって、移動線１００ｂ，１００ｃに沿って仮想的に平行移動可能な面である。また、平行面１００ｄは、貯留ピット２６の底面１００ａに対して平行な仮想面として撮像画像データ１００に重畳した状態で設定される。なお、底面１００ａが平面でない場合、平行面１００ｄは、重力に対して垂直な平面として設定または規定することが可能である。この場合、移動線１００ｂ，１００ｃは重力方向に略平行に設定可能である。この場合においても、平行面１００ｄは、重力に対して直交する仮想平面として移動線１００ｂ，１００ｃに対して直交した平面として撮像画像データ１００に重畳した状態で設定される。また、以上の垂直、直交、および平行は、撮像画像データ１００に撮像された状態を現実の貯留ピット２６に適用した場合の線や面の関係であり、撮像画像データ１００内における垂直、直交、および平行とは限定されない。
【0046】
（対象物領域抽出処理）
次に、ステップＳＴ２に移行すると、制御部１１のアノテーション処理部１１２は、対象物である廃棄物２６ａの存在領域（以下、対象物領域）と、対象物領域以外の領域（以下、非抽出領域）との境界を判断して、撮像画像データ１００において対象物領域を識別する（識別ステップ）。具体的にまず、アノテーション処理部１１２は、記憶部１２から領域抽出モデル１２４を読み出す。アノテーション処理部１１２は、読み出した領域抽出モデル１２４に対して、入力パラメータとして撮像画像データ１００を入力する。領域抽出モデル１２４は、機械学習または特徴量分類によって撮像画像データ１００における対象物領域と非抽出領域とを分類可能なモデルである。なお、機械学習によって生成された領域抽出モデル１２４以外にも、周波数特性に基づいて、廃棄物２６ａの対象物領域と非抽出領域とを分類することも可能である。
次に、ステップＳＴ２に移行すると、制御部１１のアノテーション処理部１１２は、対象物である廃棄物２６ａの存在領域（以下、対象物領域）と、対象物領域以外の領域（以下、非抽出領域）との境界を判断して、撮像画像データ１００において対象物領域を識別する（識別ステップ）。具体的にまず、アノテーション処理部１１２は、記憶部１２から領域抽出モデル１２４を読み出す。アノテーション処理部１１２は、読み出した領域抽出モデル１２４に対して、入力パラメータとして撮像画像データ１００を入力する。領域抽出モデル１２４は、機械学習または特徴量分類によって撮像画像データ１００における対象物領域と非抽出領域とを分類可能なモデルである。なお、機械学習によって生成された領域抽出モデル１２４以外にも、周波数特性に基づいて、廃棄物２６ａの対象物領域と非抽出領域とを分類することも可能である。
【0047】
領域抽出モデル１２４は、出力パラメータとして、図７に示すように、対象物領域と対象物領域以外の領域とを区別した２値化画像データ１０１を出力する。２値化画像データ１０１は、対象物領域１０１ａ（図７中、白抜き領域）と非抽出領域１０１ｂ（図７中、ハッチング領域）とで２値化された画像データである。アノテーション処理部１１２は、２値化画像データ１０１を画像情報１２１として記憶部１２に格納する。本実施形態において２値化画像データ１０１の対象物領域１０１ａは廃棄物２６ａの存在領域であり、非抽出領域１０１ｂは貯留ピット２６の内壁２６ｂの存在領域である。ここで、撮像画像データ１００において対象物が廃棄物２６ａであり、対象物以外の非抽出領域が内壁２６ｂである場合、廃棄物２６ａの存在領域と内壁２６ｂの領域とは、撮像画像データ１００内において特徴が大きく異なるため見え方も大きく異なる。そのため、アノテーション処理部１１２による撮像画像データ１００からの対象物領域１０１ａの分類を高精度で容易に行うことが可能である。
【0048】
（投影面取得処理）
次に、ステップＳＴ３に移行して画像処理部１１１は、記憶部１２から画像情報１２１として２値化画像データ１０１を読み出す。画像処理部１１１は、図６Ｂに示す平行面１００ｄに基づいて、２値化画像データ１０１に対して投影面の取得を実行する。画像処理部１１１は、対象物領域１０１ａと非抽出領域１０１ｂとの画素数に基づいて、幾何変換処理のための投影面１０１ｄを取得する。すなわち、画像処理部１１１は設定した平行面１００ｄを２値化画像データ１０１に重畳するように適用させて、図８Ａに示す投影面１０１ｄを設定する。次に、画像処理部１１１は例えば、図８Ａ～図８Ｃに示すように、投影面１０１ｄを少しずつ上下方向に移動させ、対象物領域１０１ａの画素数に基づいて以下の（１）式から評価指標を導出する。分母の投影面１０１ｄの画素数は、２値化画像データ１０１における画素数に相当し正規化を行うためである。
次に、ステップＳＴ３に移行して画像処理部１１１は、記憶部１２から画像情報１２１として２値化画像データ１０１を読み出す。画像処理部１１１は、図６Ｂに示す平行面１００ｄに基づいて、２値化画像データ１０１に対して投影面の取得を実行する。画像処理部１１１は、対象物領域１０１ａと非抽出領域１０１ｂとの画素数に基づいて、幾何変換処理のための投影面１０１ｄを取得する。すなわち、画像処理部１１１は設定した平行面１００ｄを２値化画像データ１０１に重畳するように適用させて、図８Ａに示す投影面１０１ｄを設定する。次に、画像処理部１１１は例えば、図８Ａ～図８Ｃに示すように、投影面１０１ｄを少しずつ上下方向に移動させ、対象物領域１０１ａの画素数に基づいて以下の（１）式から評価指標を導出する。分母の投影面１０１ｄの画素数は、２値化画像データ１０１における画素数に相当し正規化を行うためである。
【0049】
評価指標Ｐ＝（投影面内の対象物領域画素数－投影面外の対象物領域画素数×λ）
／投影面全体の画素数 ……（１）
なお、λは投影面１０１ｄの範囲外となる対象物領域１０１ａの重み付け係数（λ＞０）である。また、重み付け係数λは投影面１０１ｄの範囲外に存在する対象物領域１０１ａに対するペナルティとなるため、貯留ピット２６内の廃棄物２６ａの堆積状態などに応じて静的に変更したり動的に変更したりすることが可能である。さらに、評価指標の式としては（１）式に限定されず、その他の評価指標を採用することも可能である。
／投影面全体の画素数 ……（１）
なお、λは投影面１０１ｄの範囲外となる対象物領域１０１ａの重み付け係数（λ＞０）である。また、重み付け係数λは投影面１０１ｄの範囲外に存在する対象物領域１０１ａに対するペナルティとなるため、貯留ピット２６内の廃棄物２６ａの堆積状態などに応じて静的に変更したり動的に変更したりすることが可能である。さらに、評価指標の式としては（１）式に限定されず、その他の評価指標を採用することも可能である。
【0050】
具体的に、以下において重み付け係数λを１として評価指標を検討する。図８Ａに示す２値化画像データ１０１Ａにおいて投影面１０１ｄに含まれる対象物領域１０１ａの画素数が例えば１００画素であり、投影面１０１ｄの外側の対象物領域１０１ａの画素数が例えば３０画素であるとする。この場合、投影面１０１ｄの内側は全て対象物領域１０１ａであるため、（１）式から評価指標Ｐは（（１００－３０×λ）／１００＝）０．７となる。
【0051】
また、図８Ｂに示す２値化画像データ１０１Ｂにおいて投影面１０１ｄに含まれる対象物領域１０１ａの画素数が例えば１２０画素であり、投影面１０１ｄの外側の対象物領域１０１ａの画素数が例えば１０画素であるとする。また、投影面１０１ｄの内側の画素数は、図８Ａに示す２値化画像データ１０１Ａに比して増加しており、例えば１１５画素程度であるとする。この場合、（１）式から評価指標は（（１２０－１０×λ）／１１５≒）０．９となる。
【0052】
また、図８Ｃに示す２値化画像データ１０１Ｃにおいて投影面１０１ｄに含まれる対象物領域１０１ａの画素数が例えば１３０画素であり、投影面１０１ｄの外側の対象物領域１０１ａの画素数が例えば０画素であるとする。また、投影面１０１ｄの内側の画素数は、図８Ｂに比してさらに増加して例えば１６０程度であるとする。この場合、（１）式から評価指標は（（１３０－０×λ）／１６０≒）０．８となる。
【0053】
以上のようにして、画像処理部１１１が評価指標を導出し、評価指標が例えば最も高い投影面１０１ｄを選択して、図９に示す選択投影面１０１ｈに設定する（選択ステップ）。この場合、画像処理部１１１は、選択投影面１０１ｈとして、評価指標があらかじめ設定された所定条件を満たす投影面１０１ｄを選択することが望ましい。本実施形態において所定条件は、評価指標が最も高い条件である。この場合、上述した図８Ａ～図８Ｃにおいては、図８Ｂに示す投影面１０１ｄを選択することが望ましい。なお、画像処理部１１１は、評価指標Ｐが最も低い投影面１０１ｄを選択して選択投影面１０１ｈに設定したり、評価指標Ｐの所定値との差または所定値との差の絶対値が最も小さい投影面１０１ｄを選択して選択投影面１０１ｈに設定したりすることも可能である。画像処理部１１１は、図９に示す選択投影面１０１ｈの高さの情報（以下、レベル情報）を記憶部１２の座標情報１２２として格納する。
【0054】
次に、ステップＳＴ４に移行して画像処理部１１１は、記憶部１２の座標情報１２２から選択投影面１０１ｈのレベル情報を読み出す。次に、画像処理部１１１は、撮像画像データ１００を選択投影面１０１ｈに対して投影する所定の画像変換処理、例えばアフィン変換処理を施す。図１０Ａおよび図１０Ｂはそれぞれ、撮像カメラ２３１，２３２によって撮像された撮像画像データ１４１，１４２、およびこれらの撮像画像データ１４１，１４２に対して画像処理部１１１によってアフィン変換を施した後の変換画像データ１４１Ｓ，１４２Ｓを示す。
【0055】
すなわち、画像処理部１１１は、撮像カメラ２３１，２３２によって撮像された撮像画像データ１４１，１４２に対して２値化処理を行う。画像処理部１１１は、対象物領域１０１ａと非抽出領域１０１ｂとを識別し、対象物領域１０１ａの評価指標が最高値になる選択投影面１０１ｈを設定する。画像処理部１１１は、例えば図１０Ａの左側の撮像画像データ１４１に対して選択投影面１０１ｈへの画像変換処理を行うことにより、右側の変換画像データ１４１Ｓを生成する。変換画像データ１４１Ｓは、撮像画像データ１４１を、貯留ピット２６の底面（底面１００ａ）に平行な面に投影して出力された画像データである。換言すると、変換画像データ１４１Ｓは、貯留ピット２６内の廃棄物２６ａを斜めから撮像した撮像画像データ１４１に対して、底面１００ａに平行な選択投影面１０１ｈ、すなわち重力方向に直交する平面に投影させた状態を撮像したような状態に変換した画像データである。
【0056】
同様に、図１０Ｂに示すように、撮像カメラ２３２によって撮像された撮像画像データ１４２（図１０Ｂ左側）は、画像処理部１１１による画像変換処理によって選択投影面１０１ｈへの画像変換処理が実行される（変換ステップ）。これにより、画像処理部１１１は、左側の撮像画像データ１４２から右側の変換画像データ１４２Ｓを生成する。なお、撮像画像データ１４１，１４２において選択投影面１０１ｈの設定は、互いに独立して実行しても良く、撮像画像データ１４１，１４２における選択投影面１０１ｈの底面１００ａからの高さＨの平均を共通の選択投影面１０１ｈとして設定しても良い。複数の撮像画像データ間における選択投影面１０１ｈの設定は、互いに関連させても互いに独立させても良い。また、複数、例えば２つの撮像画像データ１４１，１４２のうちの１つの撮像画像データ、例えば撮像画像データ１４１に対して設定した選択投影面１０１ｈを、残部の撮像画像データ、例えば撮像画像データ１４２に対する選択投影面１０１ｈに設定しても良い。本実施形態において変換画像データ１４１Ｓは、撮像画像データ１４１を、設定された選択投影面１０１ｈに投影させた状態で出力することによって、貯留ピット２６の底面（底面１００ａ）に平行な面に投影するように出力された画像データである。換言すると、変換画像データ１４１Ｓは、貯留ピット２６内の廃棄物２６ａを斜めから撮像した撮像画像データ１４１に対して、重力方向に直交する平面である選択投影面１０１ｈに投影させた状態を撮像したように変換させた画像データである。画像処理部１１１により生成された変換画像データ１４１Ｓ，１４２Ｓは、記憶部１２に画像情報１２１として格納される。これらの変換画像データ１４１Ｓ，１４２Ｓは、少なくとも学習に必要な数量だけ生成されて記憶部１２に画像情報１２１として蓄積される。
【0057】
次に、ステップＳＴ５、ＳＴ６に移行する。なお、以下に説明するステップＳＴ５，ＳＴ６は並行して実行しても良く、逆順に実行しても良く、実行の順序は問わない。
【0058】
まず、ステップＳＴ５においては、変換画像データ１４１Ｓ，１４２Ｓに対してアノテーション処理が実行されて、画像処理が施される。図１１Ａは、複数の撮像カメラ２３１，２３２から取得される撮像画像データ１４１，１４２において所定位置を選択した状態を示し、図１１Ｂは、それぞれの変換画像データ１４１Ｓ，１４２Ｓにおいて選択された処置位置の対応箇所を示す。
【0059】
ステップＳＴ５においてはまず、変換画像データ１４１Ｓ，１４２Ｓに対してアノテーション処理が実行される。すなわち、貯留ピット２６内に貯留された廃棄物２６ａは種々の物体から構成され、廃棄物２６ａの攪拌状態や混合状態としては種々の状態が考えられる。本実施形態において作業者は、図１１Ａに示すように、異なる位置に設定された撮像カメラ２３１，２３２によって、同じ廃棄物２６ａを異なる撮像方向から同時刻に撮像した時刻情報が等しい複数の撮像画像データを取得する。その後、上述したステップＳＴ２～ＳＴ４を実行することによって、図１１Ｂに示す変換画像データ１４１Ｓ，１４２Ｓを取得する。作業者は、２つの変換画像データ１４１Ｓ，１４２Ｓに対してアノテーション処理を行う。なお、情報処理装置１０において２つの変換画像データ１４１Ｓ，１４２Ｓを入出力部１４に同時に出力表示させても別々に出力表示させても良い。
【0060】
作業者は、入出力部１４に出力表示される変換画像データ１４１Ｓ，１４２Ｓを目視で確認することによって、貯留ピット２６内の廃棄物２６ａを確認する。アノテーション処理において作業者は、所定の画像処理装置、本実施形態においては情報処理装置１０を用いて入出力部１４に表示された変換画像データ１４１Ｓ，１４２Ｓに対して、作業者の経験や知識などに基づいて変換画像データ１４１Ｓ，１４２Ｓに撮像された対象物の状態、ここでは廃棄物２６ａの混合状態を目視によって評価する。なお、混合度の評価は、混合度の判別や判断とも言う。
【0061】
作業者は、情報処理装置１０の入出力部１４を用いて評価を行う変換画像データ１４１Ｓのうちの評価を行う領域を選択する。これにより、制御部１１の画像処理部１１１は、選択された領域を画像パッチＡ１として設定する。さらに作業者は、変換画像データ１４１Ｓの画像パッチＡ１に対応する変換画像データ１４２Ｓの画像パッチＡ２を選択する。なお、アノテーション処理部１１２が座標情報１２２に基づいて一方の変換画像データ１４１Ｓの画像パッチＡ１に対する変換画像データ１４２Ｓの対応位置を選択するようにしても良い。なお、座標情報１２２を用いた対応位置のマップの生成方法の詳細は後述する。
【0062】
作業者は、変換画像データ１４１Ｓ，１４２Ｓに表示されたそれぞれの画像パッチＡ１，Ａ２に対して、評価に基づいて決定されたラベルを設定する。ここで、貯留ピット２６に貯留された複数の物体が混合された混合物である廃棄物２６ａの混合状態に対してラベルを設定する場合、例えば、高混合領域、中混合領域、および低混合領域、ならびに壁領域および袋ゴミ領域などがそれぞれ、互いに区別可能な所定のラベルとしてあらかじめ設定されている。
【0063】
具体的に例えば、作業者が入出力部１４を用いて、変換画像データ１４１Ｓの画像パッチＡ１に対して所定のラベルを設定する情報を入力する。この場合、制御部１１のアノテーション処理部１１２は、入力された情報に基づいて、入出力部１４に表示された変換画像データ１４１Ｓのうちの画像パッチＡ１に対して、所定のラベルを設定する。これにより、図１１Ｂに示す変換画像データ１４１Ｓにおける廃棄物２６ａの画像に対してアノテーション処理が実行されて、廃棄物２６ａの場所ごと、すなわち選択された画像パッチＡ１ごとに所定のラベルが設定される。なお、画像処理部１１１は、入力されて設定されたラベルを、変換画像データ１４１Ｓの画像パッチＡ１に重畳表示させても良い。
【0064】
（対応マップの生成方法）
また、ステップＳＴ６において複数の変換画像データ間の対応関係を導出する。ここで、位置の対応に関する対応マップの生成方法について説明する。図１１Ａおよび図１１Ｂに示すように、情報処理装置１０の制御部１１における画像処理部１１１は、複数の撮像カメラ２３１，２３２によって撮像された複数の撮像画像データを画像情報１２１として記憶部１２に格納する（記憶ステップ）。画像処理部１１１は、撮像画像データ１４１，１４２から変換画像データ１４１Ｓ，１４２Ｓを生成する。
また、ステップＳＴ６において複数の変換画像データ間の対応関係を導出する。ここで、位置の対応に関する対応マップの生成方法について説明する。図１１Ａおよび図１１Ｂに示すように、情報処理装置１０の制御部１１における画像処理部１１１は、複数の撮像カメラ２３１，２３２によって撮像された複数の撮像画像データを画像情報１２１として記憶部１２に格納する（記憶ステップ）。画像処理部１１１は、撮像画像データ１４１，１４２から変換画像データ１４１Ｓ，１４２Ｓを生成する。
【0065】
次に、作業者が入出力部１４の表示画面に表示された変換画像データ１４１Ｓ，１４２Ｓに対して、貯留ピット２６内の廃棄物２６ａの任意の部分における混合度を評価する。作業者は例えば、入出力部１４を用いて、変換画像データ１４１Ｓ，１４２Ｓの一方を選択する。続いて作業者は、撮像画像データ１４１に対してアノテーション処理におけるラベルを設定する画像パッチＡ１を選択する。画像処理部１１１は選択された画像パッチＡ１を撮像画像データ１４１に対して設定した後に記憶部１２に画像情報１２１として格納する（注目領域設定ステップ）。
【0066】
続いて、アノテーション処理部１１２は、記憶部１２から画像パッチＡ１の座標範囲を座標情報１２２として読み出す。ここで、座標情報１２２における画像パッチＡ１の座標範囲としては、画像パッチＡ１の所定の頂点を指定して、「Ａ１（ｘ11，ｙ11）」として読み出すことも、画像パッチＡ１の矩形範囲として、「Ａ１（ｘ11～ｘ12，ｙ11～ｙ12）」として読み出すことも、「Ａ１（ｘ11，ｙ11）～（ｘ12，ｙ12）」として読み出すことも可能である。本実施形態においては、例えば注目領域の所定の頂点をＡ１（ｘ11，ｙ11）として指定する。
【0067】
作業者は、入出力部１４を用いて、画像パッチＡ１（ｘ11，ｙ11）に対して混合度を評価内容に基づいたラベルの設定、すなわちラベリングを行う。画像パッチＡ１に対して設定されたラベルは、画像パッチＡ１の座標情報１２２に関連付けされて、記憶部１２にアノテーション情報１２３として格納される（ラベリングステップ）。
【0068】
また、図１１Ｂに示すように、作業者は、変換画像データ１４１Ｓ，１４２Ｓのうちから選択しなかった他方の変換画像データ１４２Ｓに対して、変換画像データ１４１Ｓにおける画像パッチＡ１に対応する画像パッチＡ２を選択する。変換画像データ１４１Ｓ，１４２Ｓのうちの一方の変換画像データ１４１Ｓにおいて画像パッチＡ１を選択すると、他方の変換画像データ１４１Ｓにおいて対応する画像パッチＡ２が存在する場合が多い。
【0069】
そこで、作業者は入出力部１４を用いて、一方の変換画像データ１４１Ｓにおける画像パッチＡ１に対応する変換画像データ１４２Ｓにおける領域を画像パッチＡ２として選択して設定する。変換画像データ１４２Ｓにおいて選択された画像パッチＡ２は、撮像画像データ１４１における画像パッチＡ１と、貯留ピット２６内において略同位置および略同領域を示すことになる。画像処理部１１１は、選択された画像パッチＡ２の座標（ｘ21，ｙ21）を、画像パッチＡ１（ｘ11，ｙ11）と関連付けて座標情報１２２として記憶部１２に格納する（対応領域設定ステップ）。
【0070】
また、アノテーション処理部１１２は、画像パッチＡ２に対して、画像パッチＡ１に設定されたラベルと同じラベルを設定する。これにより、一方の変換画像データ１４１Ｓの一部の画像パッチＡ１に対するアノテーション処理を、他方の変換画像データ１４２Ｓに対して実行することが可能となる。反対に、画像パッチＡ２（ｘ21，ｙ21）を選択することで、画像パッチＡ１（ｘ11，ｙ11）を抽出することも可能となる。ここで、対となる変換画像データ１４１Ｓ，１４２Ｓはいずれも、貯留ピット２６の上方から俯瞰した状態として表示されているため、廃棄物２６ａの状態をより高精度に評価可能になる。したがって、アノテーション処理の精度を向上できる。
【0071】
また、画像パッチＡ１と画像パッチＡ２との対応については、上述した方法以外にも種々の方法を採用可能である。すなわち、あらかじめ座標情報１２２として、貯留ピット２６の上面視の座標（ｘ，ｙ）を記憶部１２に格納しておくことも可能である。この場合、画像処理部１１１は、撮像カメラ２３１，２３２の設置位置の座標情報１２２、例えば貯留ピット２６の４隅のうちの２隅の座標情報１２２に基づいて、画像変換処理が施された後の変換画像データ１４１Ｓ，１４２Ｓ内の任意の位置を、貯留ピット２６の上面視の座標（ｘ，ｙ）に対応可能となる。これにより、画像処理部１１１は、変換画像データ１４１Ｓにおける画像パッチＡ１（ｘ11，ｙ11）を、貯留ピット２６における座標（ｘ1，ｙ1）に対応させる一方、対応した貯留ピット２６における座標（ｘ1，ｙ1）を画像パッチＡ２（ｘ21，ｙ21）に対応させることができる。そのため、画像処理部１１１は、画像パッチＡ１から貯留ピット２６における座標を経由して、画像パッチＡ２を決定でき、画像パッチＡ１と画像パッチＡ２との対応関係をマッチングによって導出できる。これにより、画像処理部１１１は、対応マップを生成できる（対応マップ生成ステップ）。ここで、マッチングによって画像パッチＡ１と画像パッチＡ２との間にズレが生じる場合も考えられる。この場合、作業者が入出力部１４から画像パッチＡ２の位置を画像パッチＡ１の位置に対応する位置に移動させて補正を行うことによって、画像パッチＡ１と画像パッチＡ２との対応した位置情報の精度をより高精度化でき、対応マップをより正確に生成できる。したがって、アノテーション処理をより一層正確に実行できる。
【0072】
また、貯留ピット２６内の廃棄物２６ａの表層を、例えば３Ｄ－ＬｉＤＡＲ（3 Dimension Laser Imaging Detection and Ranging）などの測距センサ（図示せず）を用いて計測可能な場合がある。この場合、測距センサによって得られた例えば点群データなどのデータを、貯留ピット２６内の廃棄物２６ａの位置情報と関連付けることによって、画像パッチＡ１と画像パッチＡ２とを対応させて対応関係を導出し、対応マップを生成することも可能である。さらに、上述した画像パッチＡ１および画像パッチＡ２は例えば長方形または正方形の領域としているが、その他の形状の領域を適宜設定可能である。具体的に例えば、画像パッチＡ１および画像パッチＡ２はいずれも、この場合、画像パッチＡ１と画像パッチＡ２との形状は互いに相似であることが好ましい。
【0073】
（混合度評価学習モデル）
その後、ステップＳＴ２～ＳＴ４によって変換された変換画像データ１４１Ｓ，１４２Ｓにおいて生成され、アノテーション処理が行われた変換画像データ１４１Ｓ，１４２Ｓを用いた機械学習の方法について説明する。すなわち、図２に示す情報処理装置１０の制御部１１の学習部１１３は、教師データとして、上述のようにラベリングされた変換画像データ１４１Ｓ，１４２Ｓを含むアノテーション情報１２３を用いて機械学習を行う。
その後、ステップＳＴ２～ＳＴ４によって変換された変換画像データ１４１Ｓ，１４２Ｓにおいて生成され、アノテーション処理が行われた変換画像データ１４１Ｓ，１４２Ｓを用いた機械学習の方法について説明する。すなわち、図２に示す情報処理装置１０の制御部１１の学習部１１３は、教師データとして、上述のようにラベリングされた変換画像データ１４１Ｓ，１４２Ｓを含むアノテーション情報１２３を用いて機械学習を行う。
【0074】
学習手段としての学習部１１３は、記憶部１２の画像情報１２１からあらかじめ取得して幾何変換処理が施された変換画像データ１４１Ｓ，１４２Ｓを学習用入力パラメータとし、アノテーション情報１２３からアノテーション処理によって廃棄物２６ａの混合度がラベリングされた変換画像データ１４１Ｓ，１４２Ｓを取得して学習用出力パラメータとした入出力データセットによる教師あり学習などの機械学習により、混合度を評価する学習モデルを生成する。なお、機械学習は、例えば、ニューラルネットワークを用いた深層学習（ディープラーニング）などの種々の機械学習を採用でき、ミニバッチ学習などによって行うことができる。以上により、本実施形態による情報処理が終了する。
【0075】
このような、複数の貯留ピット２６における複数の撮像画像データ１４１，１４２を用いてアノテーション処理を行うことにより、高精度なラベルの付与を行うことが可能になるので、機械学習の精度を向上させることができる。
【0076】
以上説明した一実施形態によれば、複数の貯留ピット２６の撮像画像データ１４１，１４２に対して幾何変換処理を実行することにより、作業者によるラベリングを高精度に実行可能となるので、学習モデルを生成するための機械学習の精度を向上できる。また、変換画像データ１４１Ｓ，１４２Ｓが貯留ピット２６を上方から俯瞰した画像データとすることができるので、複数の変換画像データ１４１Ｓ，１４２Ｓ間で座標変換可能な対応マップを容易に生成できる。これにより、実際の廃棄物２６ａの混合度の評価や判定においても、撮像画像データ１４１，１４２に対して幾何変換処理を施して変換画像データ１４１Ｓ，１４２Ｓとして、これらの変換画像データ１４１Ｓ，１４２Ｓを入力パラメータとして学習済みモデルに入力し、混合度の評価値を出力パラメータとして出力することによって、貯留ピット２６内の廃棄物２６ａの混合度をより高精度に判定することが可能となる。また、対応マップに基づいて、一部の変換画像データ１４１Ｓに対するラベリングを他の変換画像データ１４２Ｓに自動で反映させることができ、複数の撮像画像データの対に対するアノテーション処理の作業負荷を低減できる。
【0077】
以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた数値はあくまでも例に過ぎず、必要に応じてこれと異なる数値を用いても良く、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。
【0078】
例えば、上述した実施形態においては、貯留ピット２６内に貯留された廃棄物２６ａを撮像画像データ１４１，１４２の対象物としているが、例えば所定の会場などに集合した人間の数や会場の混雑度などを撮像した撮像画像データを採用しても良い。この場合、学習モデルとしては、混雑度の評価を行う学習モデルを生成するための入出力データセットを生成することが可能となる。
【0079】
また、一実施形態においては、上述してきた「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。
【0080】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0081】
１ アノテーションデータ生成システム
２ ネットワーク
３ 廃棄物処理施設
１０ 情報処理装置
１１，２１ 制御部
１２ 記憶部
１３，２２ 通信部
１４ 入出力部
２０ 廃棄物貯留設備
２３ 撮像部
２５ 把持部
２６ 貯留ピット
２６ａ 廃棄物
２６ｂ 内壁
３０ 廃棄物焼却設備
３１ 燃焼制御装置
３２ センサ部
３３ 焼却炉
１００，１４１，１４２ 撮像画像データ
１００ａ 底面
１００ｂ，１００ｃ 移動線
１００ｄ 平行面
１０１ａ 対象物領域
１０１ｂ 非抽出領域
１０１ｄ 投影面
１０１ｈ 選択投影面
１１１ 画像処理部
１１２ アノテーション処理部
１１３ 学習部
１２１ 画像情報
１２２ 座標情報
１２３ アノテーション情報
１２４ 領域抽出モデル
１４１Ｓ，１４２Ｓ 変換画像データ
２３１，２３２ 撮像カメラ
２５１ クレーン
２５２ バケット
２ ネットワーク
３ 廃棄物処理施設
１０ 情報処理装置
１１，２１ 制御部
１２ 記憶部
１３，２２ 通信部
１４ 入出力部
２０ 廃棄物貯留設備
２３ 撮像部
２５ 把持部
２６ 貯留ピット
２６ａ 廃棄物
２６ｂ 内壁
３０ 廃棄物焼却設備
３１ 燃焼制御装置
３２ センサ部
３３ 焼却炉
１００，１４１，１４２ 撮像画像データ
１００ａ 底面
１００ｂ，１００ｃ 移動線
１００ｄ 平行面
１０１ａ 対象物領域
１０１ｂ 非抽出領域
１０１ｄ 投影面
１０１ｈ 選択投影面
１１１ 画像処理部
１１２ アノテーション処理部
１１３ 学習部
１２１ 画像情報
１２２ 座標情報
１２３ アノテーション情報
１２４ 領域抽出モデル
１４１Ｓ，１４２Ｓ 変換画像データ
２３１，２３２ 撮像カメラ
２５１ クレーン
２５２ バケット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】