特許 7588442 画像処理方法、画像処理システム、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-14

(45)【発行日】2024-11-22

(54)【発明の名称】画像処理方法、画像処理システム、プログラム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20241115BHJP

   G06T 7/00 20170101ALI20241115BHJP

   B65G 1/14 20060101ALI20241115BHJP

   B65G 63/00 20060101ALI20241115BHJP

【ＦＩ】

G01B11/24 K

G06T7/00 610Z

B65G1/14 N

B65G63/00 A

【請求項の数】 19

(21)【出願番号】P 2024072220

(22)【出願日】2024-04-26

【審査請求日】2024-04-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】591020445

【氏名又は名称】立山科学株式会社

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100144451

【弁理士】

【氏名又は名称】鈴木 博子

(74)【代理人】

【識別番号】100170634

【弁理士】

【氏名又は名称】山本 航介

(72)【発明者】

【氏名】植田 要治

(72)【発明者】

【氏名】別森 英司

(72)【発明者】

【氏名】ネイズイー バラージュ

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２００７－１９７１７０（ＪＰ，Ａ）

【文献】国際公開第２０２０／１０５６６９（ＷＯ，Ａ１）

【文献】特開２０２３－１６１８７０（ＪＰ，Ａ）

【文献】特開２００９－０１４４４４（ＪＰ，Ａ）

【文献】特開２００６－３２２７９５（ＪＰ，Ａ）

【文献】特開２０１１－１５７１８７（ＪＰ，Ａ）

【文献】特開２０１６－０８８６９４（ＪＰ，Ａ）

【文献】特開２０１２－０８２０３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｃ ３／００－３／３２

Ｂ６５Ｇ １／１４

６３／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内を撮像装置により撮像した画像の処理方法であって、
前記堆積領域に対して前記撮像装置により当該堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、
前記撮像装置を移動又は角度を変えながら前記堆積物保管庫内の画像データを撮像する撮像ステップと、
前記撮像装置により撮像した位置又は角度に関する位置情報を生成する位置情報生成ステップと、
前記位置情報に基づき前記ベストショット領域内で撮像されたベストショット画像を抽出するベストショット画像抽出ステップと、
前記ベストショット領域内で撮像されたベストショット画像における前記堆積物を抽出する堆積物抽出ステップと、を備える、画像処理方法。

【請求項2】

前記ベストショット領域は、前記撮像装置の撮像する高さ及び視野角に基づいて決定される撮像領域の大きさと前記堆積領域の大きさに基づいて設定される、
請求項１に記載の画像処理方法。

【請求項3】

前記堆積物抽出ステップで抽出した前記堆積物から対象堆積領域の前記堆積物のみを特定する対象堆積物特定ステップをさらに備え、
前記対象堆積物特定ステップは、前記位置情報に基づき、前記ベストショット画像内での対象堆積領域の前記堆積物のみを抽出する、
請求項１に記載の画像処理方法。

【請求項4】

前記堆積物抽出ステップで抽出した前記堆積物を前記堆積領域ごとにわける堆積物区分けステップをさらに備える、
請求項１に記載の画像処理方法。

【請求項5】

前記堆積物抽出ステップは、撮像された前記ベストショット画像における前記区画壁を抽出する、
請求項４に記載の画像処理方法。

【請求項6】

少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内を撮像装置により撮像した画像の処理方法であって、
前記堆積領域に対して前記撮像装置により当該堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、
前記ベストショット領域内で撮像されたベストショット画像における前記堆積物を抽出する堆積物抽出ステップと、
堆積物区分けステップと、を備え、
前記堆積物区分けステップは、前記堆積物の内側に少なくとも一部の前記区画壁が含まれるか判定を行い、
前記堆積物の内側に少なくとも一部の前記区画壁が含まれると判定された場合、前記堆積物を分割する、
画像処理方法。

【請求項7】

少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内を撮像装置により撮像した画像の処理方法であって、
前記堆積領域に対して前記撮像装置により当該堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、
前記ベストショット領域内で撮像されたベストショット画像における前記堆積物を抽出する堆積物抽出ステップと、
堆積物区分けステップと、を備え、
前記堆積物区分けステップは、前記区画壁の上端上に少なくとも一部の前記堆積物が含まれるか判定を行い、
前記区画壁の上端上に少なくとも一部の前記堆積物が含まれると判定された場合、前記堆積物を分割する、
画像処理方法。

【請求項8】

前記堆積物抽出ステップで抽出した前記堆積物の３次元形状を構築する３次元形状構築ステップをさらに備え、
前記堆積物区分けステップは、
前記３次元形状の高さに基づき、前記堆積物を前記堆積領域ごとにわける、
請求項４に記載の画像処理方法。

【請求項9】

さらに、前記堆積物抽出ステップで抽出した前記堆積物の３次元形状を構築する３次元形状構築ステップと、
前記３次元形状に基づき、前記堆積物の重量を推定する重量推定ステップと、
を備える、
請求項１乃至７の何れか１項に記載の画像処理方法。

【請求項10】

前記重量推定ステップでは、前記堆積物の高さに応じた変数に基づき前記堆積物の重量を算定する、
請求項９に記載の画像処理方法。

【請求項11】

少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内を撮像装置により撮像した画像の処理システムであって、
前記撮像装置は移動又は角度を変えながら前記堆積物保管庫内の画像データを撮像し、
前記撮像装置により撮像した位置又は角度に関する位置情報を生成する位置情報生成部と、
前記堆積領域に対して前記撮像装置により当該堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、前記位置情報に基づき前記ベストショット領域内で撮像されたベストショット画像を抽出するベストショット画像抽出部と、
前記ベストショット領域内で撮像されたベストショット画像における前記堆積物を特定し、前記堆積物を抽出する堆積物抽出部を備える、画像処理システム。

【請求項12】

移動又は角度を変えながら堆積物保管庫内の画像データを撮像する撮像装置と、前記撮像装置により撮像した位置又は角度に関する位置情報を生成する位置情報取得部と、通信可能なコンピュータにより、少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内を前記撮像装置により撮像した画像の処理をするためのプログラムであって、
前記堆積領域に対して前記撮像装置により当該堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、
前記位置情報に基づき前記ベストショット領域内で撮像されたベストショット画像を抽出するベストショット画像抽出ステップと、
前記ベストショット領域内で撮像されたベストショット画像における前記堆積物を特定し、前記堆積物を抽出する堆積物抽出ステップと、
をコンピュータに実行させる、プログラム。

【請求項13】

少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内で、撮像装置により撮像した画像内に複数の前記堆積領域の少なくとも一部が含まれる画像の処理方法であって、
前記撮像装置により撮像された画像を取得する撮像画像取得ステップと、
前記撮像画像取得ステップで取得された画像における前記堆積物を抽出する堆積物抽出ステップと、
前記堆積物抽出ステップで抽出した前記堆積物を前記堆積領域ごとにわける堆積物区分けステップと、を備え、
前記堆積物区分けステップでは、隣接する異なる前記堆積領域の前記堆積物が繋がって抽出されているかどうかを検知し、隣接する異なる前記堆積領域の前記堆積物が繋がって抽出されていることが検知された場合に、前記堆積物を分割する、画像処理方法。

【請求項14】

前記堆積物抽出ステップは、前記撮像画像取得ステップで取得された画像における前記区画壁を抽出する、
請求項１３に記載の画像処理方法。

【請求項15】

少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内で、撮像装置により撮像した画像内に複数の前記堆積領域の少なくとも一部が含まれる画像の処理方法であって、
前記撮像装置により撮像された画像を取得する撮像画像取得ステップと、
前記撮像画像取得ステップで取得された画像における前記堆積物を抽出する堆積物抽出ステップと、
前記堆積物抽出ステップで抽出した前記堆積物を前記堆積領域ごとにわける堆積物区分けステップと、を備え、
前記堆積物抽出ステップは、前記撮像画像取得ステップで取得された画像における前記区画壁を抽出し、
前記堆積物区分けステップは、前記堆積物の内側に少なくとも一部の前記区画壁が含まれるか判定を行い、
前記堆積物の内側に少なくとも一部の前記区画壁が含まれると判定された場合、前記堆積物を分割する、画像処理方法。

【請求項16】

少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内で、撮像装置により撮像した画像内に複数の前記堆積領域の少なくとも一部が含まれる画像の処理方法であって、
前記撮像装置により撮像された画像を取得する撮像画像取得ステップと、
前記撮像画像取得ステップで取得された画像における前記堆積物を抽出する堆積物抽出ステップと、
前記堆積物抽出ステップで抽出した前記堆積物を前記堆積領域ごとにわける堆積物区分けステップと、を備え、
前記堆積物抽出ステップは、前記撮像画像取得ステップで取得された画像における前記区画壁を抽出し、
前記堆積物区分けステップは、前記区画壁の上端上に少なくとも一部の前記堆積物が含まれるか判定を行い、
前記区画壁の上端上に少なくとも一部の前記堆積物が含まれると判定された場合、前記堆積物を分割する、
画像処理方法。

【請求項17】

前記堆積物抽出ステップで抽出した前記堆積物の３次元形状を構築する３次元形状構築ステップをさらに備え、
前記堆積物区分けステップは、前記３次元形状の高さに基づき、前記堆積物を前記堆積領域ごとにわける、
請求項１３、１５または１６に記載の画像処理方法。

【請求項18】

前記堆積物の前記３次元形状に基づき、前記堆積物区分けステップでわけられた前記堆積物の重量を推定する重量推定ステップをさらに備える、
請求項１７に記載の画像処理方法。

【請求項19】

前記重量推定ステップは、前記堆積物の高さに応じた変数に基づき前記堆積物の重量を算定する、
請求項１８に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理システム、プログラムに関する。

【背景技術】

【0002】

金属のスクラップなどの貯蔵庫（スクラップヤード）では、スクラップを堆積して保管している。このような貯蔵庫に堆積されたスクラップの重量を推定する装置として、例えば特許文献１には、２台一対のカメラのステレオ視による視差を利用してスクラップヤードに保管したエリア毎のスクラップ山高さを計測し、この山高さに基づきスクラップの残量を推定する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－１９７１７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、スクラップの貯蔵庫は、サイト内が区画壁により複数のエリアに区画されていることがある。このような区画壁などの障害物が存在するスクラップヤードでは、カメラの撮像位置によっては、スクラップが障害物の死角に入ってしまう。また、区画壁によって隔てられ複数の区画が隣接するスクラップヤードでは、カメラの撮像位置と区画壁の高さに対するスクラップの積層高さによっては、隣接するスクラップ同士が一体的に識別されてしまう。このような画像に基づき、スクラップの残量を推定すると、スクラップを正確に識別することができず、実際のスクラップの残量よりも少なく推定されるという問題がある。

【0005】

本発明は、上記の課題に鑑みなされたものであり、その目的は、複数の堆積領域を有する堆積物保管庫内の各堆積領域に堆積された堆積物を正確に識別できるようにすることである。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内を撮像装置により撮像した画像の処理方法であって、堆積領域に対して撮像装置により堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、ベストショット領域内で撮像されたベストショット画像における堆積物を抽出する堆積物抽出ステップを備える、画像処理方法、が提供される。
上記の態様によれば、ベストショット領域を設定することで堆積物が障害物の死角に入ることがないため、堆積物全体を撮像することができ、堆積物を正確に識別することができる。

【0007】

本発明の一態様によれば、ベストショット領域は、撮像装置の撮像する高さ及び視野角に基づいて決定される撮像領域の大きさと堆積領域の大きさに基づいて設定される。
上記の態様によれば、撮像領域の大きさと堆積領域の大きさに基づいてベストショット領域を設定するため、撮像位置から堆積物が障害物の死角に入ることがないように撮像することができ、堆積物を正確に識別することができる。

【0008】

本発明の一態様によれば、さらに、撮像装置を移動又は角度を変えながら堆積物保管庫内の画像データを撮像する撮像ステップと、撮像装置により撮像した位置又は角度に関する位置情報を生成する位置情報生成ステップと、位置情報に基づきベストショット領域内で撮像されたベストショット画像を抽出するベストショット画像抽出ステップと、を備える。
撮像装置を移動させながら画像を撮像する場合には、撮像する画像データが膨大になり、全ての画像データを処理するとコンピュータに大きな負荷がかかる。これに対して、上記の態様によれば、撮像した画像データからベストショット領域内で撮像した画像データを抽出するため、コンピュータの負荷を減らすことができる。また、カメラの台数が少なくても堆積物保管庫内の各堆積領域を撮像することができる。

【0009】

本発明の一態様によれば、堆積物抽出ステップで抽出した堆積物から対象堆積領域の堆積物のみを特定する対象堆積物特定ステップをさらに備え、対象堆積物特定ステップは、位置情報に基づき、ベストショット画像内での対象堆積領域の堆積物のみを抽出する。
上記の態様によれば、位置情報に基づき対象堆積領域の堆積物のみを特定することができ、他の堆積領域の堆積物と分離して堆積物を抽出することができる。

【0010】

本発明の一態様によれば、堆積物抽出ステップで抽出した堆積物を堆積領域ごとにわける堆積物区分けステップをさらに備える。
上記態様によれば、堆積領域ごとに堆積物をわけることで、画像内に複数の堆積領域が含まれるような撮像位置で撮像しても、異なる堆積領域にそれぞれ堆積した堆積物を同一の堆積領域の堆積物として識別することを防ぐことができ、堆積物を正確に識別することができる。

【0011】

本発明の一態様によれば、堆積物抽出ステップは、撮像されたベストショット画像における区画壁を抽出する。
上記態様によれば、区画壁と堆積物とを抽出することで、堆積物保管庫内に隣接する堆積領域が存在しても、隣接する堆積領域を隔てる区画壁を認識することができ、隣接する堆積領域にそれぞれ堆積した堆積物を同一の堆積領域の堆積物として識別することを防ぐことができ、堆積物を正確に識別することができる。

【0012】

本発明の一態様によれば、堆積物区分けステップは、堆積物の内側に少なくとも一部の区画壁が含まれるか判定を行い、堆積物の内側に少なくとも一部の区画壁が含まれると判定された場合、堆積物を分割する。
堆積物抽出ステップにて複数の堆積物領域の堆積物が一体的に抽出されても、上記態様によれば、堆積物の内側に区画壁の一部が含まれるか判定することで、堆積物領域を隔てる区画壁を認識することができ、堆積領域ごとに堆積物をわけることができる。

【0013】

本発明の一態様によれば、堆積物区分けステップは、区画壁の上端上に少なくとも一部の堆積物が含まれるか判定を行い、区画壁の上端上に少なくとも一部の堆積物が含まれると判定された場合、堆積物を分割する。
堆積物抽出ステップにて複数の堆積物領域の堆積物が一体的に抽出されても、上記態様によれば、区画壁の上端上に少なくとも一部の堆積物が含まれるか判定することで、堆積物領域を隔てる区画壁を認識することができ、堆積領域ごとに堆積物をわけることができる。

【0014】

本発明の一態様によれば、堆積物抽出ステップで抽出した堆積物の３次元形状を構築する３次元形状構築ステップをさらに備え、堆積物区分けステップは、３次元形状の高さに基づき、堆積物を堆積領域ごとにわける。
上記の態様によれば、堆積物の３次元形状の高さに基づくことで、複数の堆積領域における堆積物の高さの差を利用することができ、堆積領域ごとに堆積物をわけることができる。

【0015】

本発明の一態様によれば、さらに、堆積物抽出ステップで抽出した堆積物の３次元形状を構築する３次元形状構築ステップと、３次元形状に基づき、堆積物の重量を推定する重量推定ステップとを備える。
上記の態様によれば、堆積物の３次元形状を構築することができ、堆積物の重量を推定することができる。

【0016】

本発明の一態様によれば、重量推定ステップは、堆積物の高さに応じた変数に基づき堆積物の重量を算定する。
堆積物の高さが異なると堆積物が自重により圧縮されるために密度が異なるが、上記の態様によれば、高さに応じた変数に基づき堆積物の重量を算定するため、より正確に堆積物の重量を推定できる。

【0017】

本発明の一態様によれば、高さに応じた変数は、高さが高いほど大きい。
堆積物の高さが高くなると堆積物が自重により圧縮されるために密度が大きくなるが、上記の態様によれば、高さが高いほど大きい変数を用いるため、より正確に堆積物の重量を推定できる。

【0018】

本発明の一態様によれば、高さに応じた変数は、高さが高いほど、単位高さあたりの増量が小さい。
堆積物の高さが高くなると堆積物が自重により圧縮されるために密度が大きくなるが、その増加は高さが高いほど小さくなる。上記の態様によれば、高さが高いほど、高さあたりの増量が小さい変数を用いるため、より正確に堆積物の重量を推定できる。

【0019】

本発明の一態様によれば、重量推定ステップでは、堆積物の３次元形状を鉛直方向に複数に分割し、分割された各部の高さに基づき、各部の重量を算定して、堆積物の重量を推定する。
上記の態様によれば、堆積物の３次元形状を鉛直方向に複数に分割し、分割された各部の高さに基づき、各部の重量を算定しているため、より正確に堆積物の重量を推定できる。

【0020】

本発明の一態様によれば、少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内を撮像装置により撮像した画像の処理システムであって、堆積領域に対して撮像装置により堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、ベストショット領域内で撮像されたベストショット画像における堆積物を特定し、堆積物を抽出する堆積物抽出部を備える、画像処理システム、が提供される。

【0021】

本発明の一態様によれば、少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内を撮像装置により撮像した画像の処理をするためのプログラムであって、堆積領域に対して撮像装置により堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、ベストショット領域内で撮像されたベストショット画像における堆積物を特定し、堆積物を抽出する堆積物抽出ステップ、をコンピュータに実行させる、プログラムが提供される。

【0022】

本発明の一態様によれば、少なくとも一部が区画壁で区画され、堆積物が堆積される複数の堆積領域を有する堆積物保管庫内で、撮像装置により撮像した画像内に複数の堆積領域の少なくとも一部が含まれる画像の処理方法であって、撮像装置により撮像された画像を取得する撮像画像取得ステップと、撮像画像取得ステップで取得された画像における堆積物を抽出する堆積物抽出ステップと、堆積物抽出ステップで抽出した堆積物を堆積領域ごとにわける堆積物区分けステップと、を備える。
上記態様によれば、画像内に複数の堆積領域が含まれるような撮像位置で撮像した画像に対して、堆積物を抽出し、抽出した堆積物を堆積領域ごとにわけることで、異なる堆積領域にそれぞれ堆積した堆積物を同一の堆積領域の堆積物として識別することを防ぐことができ、堆積物を正確に識別することができる。

【0023】

本発明の一態様によれば、堆積物抽出ステップは、撮像画像取得ステップで取得された画像における区画壁を抽出する。
上記態様によれば、区画壁と堆積物とを抽出することで、堆積物保管庫内に隣接する堆積領域が存在しても、隣接する堆積領域を隔てる区画壁を認識することができ、隣接する堆積領域にそれぞれ堆積した堆積物を同一の堆積領域の堆積物として識別することを防ぐことができ、堆積物を正確に識別することができる。

【0024】

本発明の一態様によれば、堆積物区分けステップは、堆積物の内側に少なくとも一部の区画壁が含まれるか判定を行い、堆積物の内側に少なくとも一部の区画壁が含まれると判定された場合、堆積物を分割する。
堆積物抽出ステップにて複数の堆積物領域の堆積物が一体的に抽出されても、上記態様によれば、堆積物の内側に区画壁の一部が含まれるか判定することで、堆積物領域を隔てる区画壁を認識することができ、堆積領域ごとに堆積物をわけることができる。

【0025】

本発明の一態様によれば、堆積物区分けステップは、区画壁の上端上に少なくとも一部の堆積物が含まれるか判定を行い、区画壁の上端上に少なくとも一部の堆積物が含まれると判定された場合、堆積物を分割する。
堆積物抽出ステップにて複数の堆積物領域の堆積物が一体的に抽出されても、上記態様によれば、区画壁の上端上に少なくとも一部の堆積物が含まれるか判定することで、堆積物領域を隔てる区画壁を認識することができ、堆積領域ごとに堆積物をわけることができる。

【0026】

本発明の一態様によれば、堆積物抽出ステップで抽出した堆積物の３次元形状を構築する３次元形状構築ステップをさらに備え、堆積物区分けステップは、３次元形状の高さに基づき、堆積物を堆積領域ごとにわける。
上記の態様によれば、堆積物の３次元形状の高さに基づくことで、複数の堆積領域における堆積物の高さの差を利用することができ、堆積領域ごとに堆積物をわけることができる。

【0027】

本発明の一態様によれば、堆積物の３次元形状に基づき、堆積物区分けステップでわけられた堆積物の重量を推定する重量推定ステップをさらに備える。
上記の態様によれば、堆積領域ごとにわけられた堆積物の３次元形状に基づいて堆積物の重量を推定することで、堆積物の種類に応じた重量を推定することができ、正確に堆積物の重量を推定することができる。

【0028】

本発明の一態様によれば、重量推定ステップは、堆積物の高さに応じた変数に基づき堆積物の重量を算定する。
堆積物の高さが異なると堆積物が自重により圧縮されるために密度が異なるが、上記の態様によれば、高さに応じた変数に基づき堆積物の重量を算定するため、より正確に堆積物の重量を推定できる。

【0029】

本発明の一態様によれば、堆積物が堆積される堆積領域を有する堆積物保管庫内を撮像装置により撮像した画像の処理方法であって、撮像装置により撮像された画像を取得する撮像画像取得ステップと、撮像画像取得ステップで取得された画像における堆積物を抽出する堆積物抽出ステップと、堆積物抽出ステップで抽出された堆積物の高さを取得する堆積物高さ情報取得ステップと、堆積物高さ情報取得ステップで取得された堆積物の高さ及び堆積物の高さに応じた変数に基づき、堆積物の重量を算定する重量推定ステップと、を備える。
堆積物の高さが異なると堆積物が自重により圧縮されるために密度が異なるが、上記の態様によれば、撮像画像から堆積物を抽出し、撮像画像から抽出された堆積物の高さを取得することで、高さに応じた変数に基づき堆積物の重量を算定することができ、正確に堆積物の重量を推定できる。

【0030】

本発明の一態様によれば、堆積物高さ情報取得ステップは、堆積物の３次元形状を構築し、重量推定ステップは、堆積物の３次元形状を鉛直方向に複数に分割し、分割された各部の高さ及び堆積物の高さに応じた変数に基づき、各部の重量を算定して、堆積物の重量を推定する。
上記の態様によれば、堆積物の３次元形状を鉛直方向に複数に分割し、分割された各部の高さに基づき、各部の重量を算定しているため、より正確に堆積物の重量を推定できる。

【0031】

本発明の一態様によれば、堆積領域に対して撮像装置により当該堆積領域が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、堆積物抽出ステップは、ベストショット領域内で撮像されたベストショット画像における堆積物を抽出する。
上記の態様によれば、ベストショット領域を設定することで堆積物が障害物の死角に入ることがないため、堆積物全体を撮像することができ、堆積物を正確に識別することができる。

【発明の効果】

【0032】

本発明によれば、区画壁で区画された複数の堆積領域を有する堆積物保管庫内の各堆積領域に堆積された堆積物を正確に識別できる。

【図面の簡単な説明】

【0033】

【図1】本発明の一実施形態による画像処理方法の対象となるスクラップヤードの構成を示す平面図である。

【図2】本発明の一実施形態による画像処理システムのハードウェア構成を示す図である。

【図3】本発明の一実施形態による画像処理システムのソフトウエア構成を示す図である。

【図4】スクラップヤード内の地図情報と、各エリアのベストショット領域とを示す図である。

【図5A】本発明の一実施形態によるスクラップの重量を推定する方法の基本となる原理を説明するための図である。

【図5B】本発明の一実施形態によるスクラップの重量を推定する方法の基本となる原理を説明するための図である。

【図6】本発明の一実施形態によるスクラップの重量を推定する方法を示すフローチャートである。

【図7】近似式作成ステップにおける詳細な流れを示すフローチャートである。

【図8】密度変数の近似式を示すグラフである。

【図9】３次元形状取得ステップにおける詳細な流れを示すフローチャートである。

【図10】構築した３次元形状データに複数のスクラップ山Ｓの３次元形状が含まれる状態を示す図である。

【図11】重量推定ステップにおける詳細な流れを示すフローチャートである。

【図12】スクラップ山の３次元形状を分割する様子を示す図である。

【発明を実施するための形態】

【0034】

以下、本発明の一実施形態による画像処理方法について図面を参照しながら詳細に説明する。なお、以下の説明では区画壁で区画されたスクラップヤードの各エリアに堆積されたスクラップの重量を測定する場合を例として説明するが、本発明はこれに限らず、区画壁に区画された堆積物保管庫内において堆積物の重量を測定する場合であれば適用できる。堆積物はスクラップに限らず、製品廃棄物や、製品加工廃材、建造物解体廃材、粉体など様々なものに適用でき、素材も、金属に限らない。

【0035】

図１は、本発明の一実施形態による画像処理方法の対象となるスクラップヤードの構成を示す平面図である。図１に示すように、スクラップヤード１は、外周が外壁３により囲まれ、外壁３内が区画壁２により複数のエリア４（４Ａ～４Ｆ）に区画されている。区画壁２は所定の高さであり、区画壁２の上方は開放されている。各区画壁２は平面視において直線状に延びている。各エリア４は平面視で長方形であり、長方形の全ての辺が区画壁２や外壁３により区画されるエリアに限らず、長方形の少なくとも一辺が区画壁２や外壁３のないエリアも含まれてよい。各エリア４には様々な種類の金属のスクラップが堆積されて、スクラップ山Ｓが形成されている。また、エリア４はコンテナでもよく、コンテナを構成する側面が区画壁２に該当する。なお、エリア４の内部又は外部に金属スクラップが堆積しないエリア（例えば、通路）を区画する区画壁２を有してもよい。なお、外壁３は、建物内のスクラップヤード１以外のエリアを隔てる壁でもよく、上方が開放されてもよい。この場合、後述する処理では外壁３も区画壁２と同様に処理してもよい。

【0036】

また、スクラップヤード１の上部には天井クレーンが設置されている。天井クレーンはガーダ６を備え、このガーダ６がスクラップヤード１を水平に図１の横方向に移動可能である。ガーダ６には複数の（本実施形態では２台のカメラ８Ａ,８Ｂ）撮像装置としてのカメラ８及び位置情報取得装置９が設けられている。なお、本実施形態では、撮像装置として使用するカメラ８は、ステレオカメラであり、ＣＣＤ、ＣＭＯＳ等の撮像素子で構成された２つの撮像部（カメラ８Ａの２つの撮像部８Ａ１，８Ａ２とカメラ８Ｂの２つの撮像部８Ｂ１，８Ｂ２）により２次元画像を撮像している。また、カメラ８は、ガーダ６の移動と共に移動すればよく、ガーダ６とカメラ８の間に、撮像位置調整治具を備えてよい。位置情報取得装置９は、カメラ８が撮像した際に、撮像した位置を取得する装置であり、本実施形態では、図１の縦方向のカメラ８の位置は既知のため、図１の横方向の位置を取得するが、位置情報取得装置９の設置場所及び種類によっては図１の縦方向と横方向の位置を取得してもよい。位置情報取得装置９としては、例えば、スクラップヤード１の側壁までの距離を測定する測距計などを用いてもよいし、天井クレーンのガーダ６の位置を検知する装置を用いてもよいし、ＧＰＳを用いてもよいし、スクラップヤード１内に設置する自己位置検出用マーカーを検出するセンサやカメラを用いてもよい。なお、複数のカメラ８を用いる場合は、複数のカメラ８のそれぞれに対応した複数の位置情報取得装置９を備えてもよい。なお、撮像装置により取得する撮像画像から地図を作成して自己位置を推定するＳＬＡＭ技術を用いる場合、撮像装置が位置情報取得装置となる。また、カメラ８の移動速度を算出する場合、位置情報取得装置９で検知した位置と時間を基に算出すればよい。

【0037】

なお、本実施形態では、カメラ８を移動させているが、カメラ８の撮像方向を変更できるように角度を変更できるように設置しておき、位置情報取得装置９により撮像方向の角度を検出するようにしてもよい。
また、スクラップヤード１内の照明及び日差しにより、カメラ８で取得する画像視野内に大きく明暗が異なる部分が生じる場合、カメラ８の上方に影形成用部材や照明部材を備えてもよい。

【0038】

図２は、本発明の一実施形態による画像処理システムのハードウェア構成を示す図である。図２に示すように、画像処理システム１０は、情報処理装置としてのコンピュータ１２を有する。コンピュータ１２はＣＰＵ１３と、ＧＰＵ１８と、ＲＡＭ１４と、ＲＯＭ１５と、インターフェース１６とを備える。ＲＡＭ１４、ＲＯＭ１５、及び、インターフェース１６はシステムバス１７を介してＣＰＵ１３及びＧＰＵ１８に接続されている。インターフェース１６は、カメラ８、位置情報取得装置９、ディスプレイ７に接続されている。本実施形態では、カメラ８としてステレオカメラを用いることにより、後述するようにスクラップ山の３次元形状を構築しているが、これに限らず、１つの撮像部により２次元画像を撮像する一般的なカメラ８を複数台用いることによりカメラのステレオ視による視差を利用してスクラップ山の３次元形状を構築してもよいし、１つの撮像部により２次元画像を撮像するカメラ８と測距計やＴＯＦ方式の撮像装置のような撮像距離情報取得装置とを用いてスクラップ山の３次元形状を構築してもよい。なお、スクラップを正確に識別するため、カメラ８で撮像された画像は、カラー画像が好ましい。なお、本実施形態では画像処理システム１０は、コンピュータにより構成しているが、これに限らず、複数の端末を用いて各機能を分散してもよい。

【0039】

図３は、本発明の一実施形態による画像処理システムのソフトウエア構成を示す図である。図３に示すように、画像処理システム１０は、近似式作成部１２０と、画像処理部１４０と、重量推定部１６０と、エリア情報保持部１３０を備える。これら各部は、ＣＰＵ１３及びＧＰＵ１８、がＲＯＭ１５に記録されているプログラムを実行することにより実装される。

【0040】

近似式作成部１２０は、スクラップ山の３次元形状に基づきスクラップ山の重量を推定する際に用いられる近似式を作成する。

【0041】

エリア情報保持部１３０は、スクラップヤード１における地図情報と各エリア４、各区画壁２及びカメラ８の情報が保持される。スクラップヤード１における地図情報としては、各エリア４の位置及び大きさ（例えば縦方向と横方向の幅）と区画壁２の位置及び大きさなどである。各エリア４の情報としては、堆積するスクラップの種類、エリア４の種類（例えば、床エリアとコンテナエリアとが混在する場合）、撮像するカメラ８、エリア４内にスクラップを堆積させないエリアを区画する区画壁２の有無情報などである。区画壁２の情報としては、高さ情報などである。カメラ８の情報としては、スクラップヤード１内のカメラ８の位置、カメラ８とエリア４の底面までの垂直距離等のカメラ高さ、カメラ８の移動速度又は移動速度の上限などであり、複数のカメラ８を備える場合は、撮像するエリア４も保持されるとよい。なお、エリア４の底面とはエリア４の床面であり、エリア４がコンテナの場合、コンテナの底面が該当する。また、エリア４がコンテナの場合、スクラップヤード１の床とコンテナの底面までの垂直距離又はカメラ８とコンテナの底面までの垂直距離のいずれかが保持されるとよい。

【0042】

本実施形態では、複数のカメラ８を備えるため、カメラ８が対応するエリアを設定する。例えば、カメラ８Ａは、図１のスクラップヤード１におけるエリア４Ａ，４Ｂ，４Ｃ，４Ｄを撮影対象とし、カメラ８Ｂは、エリア４Ｅ，４Ｆを撮影対象として設定する。また、エリア４Ｆの全域がカメラ８Ａとカメラ８Ｂの両方の画像内に入る場合は、カメラ８Ａとカメラ８Ｂのいずれか一方の撮影対象とし、エリア４Ｆの全域がカメラ８Ａとカメラ８Ｂのいずれの画像内にも入らない場合は、カメラ８Ａとカメラ８Ｂの両方を撮影対象として、それぞれのカメラ８Ａ，８Ｂに対応するようにエリア４Ｆを分割して後述する画像処理をしてもよいし、画像取得後に画像又は後述するスクラップ山の３次元構築データを合成してもよい。

【0043】

画像処理部１４０は、カメラ８により撮像された画像を処理して、各エリアのスクラップ山の３次元形状を取得する。

【0044】

画像処理部１４０は、撮像画像取得部１４２と、撮像位置情報取得部１４４と、ベストショット画像抽出部１４６と、堆積物識別部１４７とを有する。堆積物識別部１４７は、区画壁・スクラップ抽出部１４８と、３次元形状構築部１５０と、スクラップ区分け部１５１と、対象スクラップ特定部１５２とを有する。

【0045】

撮像画像取得部１４２は、カメラ８と通信可能であり、カメラ８が撮像した画像データを取得する。また、撮像位置情報取得部１４４は、位置情報取得装置９と通信可能であり、カメラ８が画像を撮像した時点におけるカメラ８の位置情報を取得する。撮像画像取得部１４２が取得した画像データは、撮像位置情報取得部１４４が取得した位置情報と関連付けられて記録される。なお、本実施形態では、位置情報取得装置９が取得する図１の横方向の位置が関連付けて記録されるが、ガーダ６上のカメラ８の位置である図１の縦方向の位置も関連付けて記録されてよい。また、複数のカメラ８に対してそれぞれ対応する撮像対象エリアを設定してもよく、これにより、撮像位置情報取得部１４４が取得した画像データの位置情報が全ての撮像対象エリアのベストショット領域外である場合に画像データを破棄することが可能であり、後述するベストショット画像抽出部１４６のコンピュータの負荷を抑えることができる。

【0046】

ベストショット画像抽出部１４６は、予め、スクラップヤード１内の地図情報と、各エリア４のベストショット領域とが記録されている。図４は、スクラップヤード１内の地図情報と、各エリアのベストショット領域とを示す図である。同図に示すように、各エリア４にはベストショット領域Ｂが設定されている。ベストショット領域Ｂとは、カメラ８で撮像した際にカメラ８が撮像した画像データに、エリア４内のスクラップ山の死角がなく、エリア全域が画像内にあるような領域である。すなわち、カメラ８により撮像した際に、区画壁２などの障害物によりエリア４内のスクラップ山Ｓが遮られないような領域である。障害物としては、区画壁２のみならず、搬出搬入用治具、搬出搬入治具に接続されたスクラップ移動用パイプ又はコンベア、クレーンに備えられクレーンの下方に延長された搬出搬入用治具（リフティングマグネットや堆積物を掴む機能を有するアームやバケットなど）、高く積まれた別のエリアの堆積物が含まれる。

【0047】

また、ベストショット領域Ｂは、カメラ８の設置高さ及び視野角に基づいて決定される撮像領域の大きさとエリア４の大きさとに基づいて設定され、カメラ８により撮像した際に、区画壁２によりエリア４内のスクラップ山Ｓが遮られないように設定される。更に、本実施形態では、各エリアのベストショット領域Ｂは、ガーダ６上のカメラ８の位置に基づいて設定される。例えば、カメラ８の移動方向（本実施形態では図１の横方向）における画像視野の幅と画像内のエリアの幅の差が小さいエリア４Ａ，４Ｅの場合、ベストショット領域Ｂはエリア４Ａ，４Ｅの中心付近に設定し、カメラ８の移動方向における画像視野の幅と画像内のエリアの幅の差が十分大きいエリア４Ｂ，４Ｃの場合、ベストショット領域Ｂはエリア４Ｂ，４Ｃよりも所定範囲大きく設定する。なお、画像視野内にエリア全域が入らないエリアとして、例えば、エリア４Ｄのような画像視野よりもエリアが大きい場合、エリアに対して複数のベストショット領域Ｂを設定してもよいし、複数のカメラ８により撮像した画像を合成するために各カメラ８に対応したベストショット領域Ｂを設定してもよい。

【0048】

また、ベストショット領域Ｂは、カメラ８により撮像した際に、カメラ８とエリア４の間に存在する搬出搬入用治具、搬出搬入治具に接続されたスクラップ移動用パイプ又はコンベアなどの障害物によりスクラップ山Ｓが遮られないように設定される。また、カメラ８の設置角度において撮像部と床が平行ではない場合、ベストショット領域Ｂは、周辺エリアの堆積物により死角が生じることを考慮して設定される。例えば、ベストショット領域Ｂは、対象のエリア４の周辺エリアに堆積するスクラップ山Ｓが区画壁の高さよりも高い所定の高さに堆積された状態を想定して設定される。また、ベストショット領域Ｂは、スクラップヤード１の照明や日差しを考慮して設定されてもよいし、スクラップヤード１内に影が出現しやすい時間を考慮してベストショット領域Ｂの幅が時間によって変更されるように設定されてもよいし、ガーダ６の移動可能領域の関係でカメラ８がエリアの少なくとも一部の直上に移動しないエリアのベストショット領域Ｂは、他のベストショット領域Ｂの設定方式とは異なる方式で設定されてもよい。

【0049】

なお、カメラ８を図１の縦方向にも移動可能に構成した場合には、ベストショット領域としては、縦方向に所定の長さ、かつ、横方向に所定の幅の矩形状の領域として設定することもできる。また、カメラ８を、撮像方向を変更するように角度を変えることがように設置した場合には、ベストショット領域としては、角度として設定すればよい。

【0050】

ベストショット画像抽出部１４６は、撮像画像取得部１４２が取得した画像データの中から各エリアのベストショット領域内で撮像された画像を抽出する。なお、本実施形態では、カメラ８はステレオカメラのため、２つの撮像部で撮像された２次元画像の両方を抽出する。

【0051】

区画壁・スクラップ抽出部１４８は、ベストショット画像抽出部１４６が抽出した画像データにおける区画壁２と、スクラップとを抽出する。区画壁・スクラップ抽出部１４８には、予め、スクラップを構成する金属と区画壁２とに関する訓練データを学習させている。これにより、ベストショット画像における区画壁２とスクラップを抽出することができる。区画壁・スクラップ抽出部１４８は、スクラップと区画壁を認識することにより、スクラップを構成する金属と区画壁のそれぞれを学習させることができるため、区画壁をスクラップとして誤認識する可能性を低減できる。なお、本実施形態では、カメラ８はステレオカメラのため、ベストショット画像抽出部１４６が抽出した画像データは２つあるが、一方又は両方の画像データに対して区画壁２とスクラップを抽出してもよいし、スクラップは両方の画像データから抽出し、区画壁２は一方の画像データから抽出してもよい。

【0052】

３次元形状構築部１５０は、ベストショット画像抽出部１４６が抽出した画像データからスクラップ山の３次元形状データを構築する。本実施形態では、カメラ８はステレオカメラを用いているため、２つの２次元画像により３次元形状データを構築するが、例えば、１つの撮像部により２次元画像を撮像するカメラと撮像距離情報取得装置を用いる場合には、カメラにより撮像された画像データと、撮像距離情報取得装置により測定されたスクラップ山までの距離に基づき３次元形状データを構築してもよい。なお、３次元形状は、２次元画像で撮像されたスクラップ山の上方の形状のみでよい。スクラップ山の上面よりも下方のカメラ８により撮像できない部分の３次元形状データも構築する場合は、エリア情報保持部１３０に予め記憶されたカメラ８とエリア４の底面まで垂直距離情報に基づいて構築されればよい。また、３次元形状データは、スクラップ山の高さ情報を含む。本実施形態では、スクラップ山の高さは、エリア情報保持部１３０に予め記憶されたカメラ８からエリア４の底面までの垂直距離と、カメラ８からスクラップ山までの垂直距離とにより算出し、３次元形状データに付与するが、これに限られず、３次元形状を構築せずに適宜な方法でスクラップ山の高さ情報を取得してもよい。なお、エリア４がコンテナである場合のベストショット画像を用いる場合、スクラップ山の高さは、コンテナの底面の高さを考慮して算出されるとよい。

【0053】

スクラップ区分け部１５１は、スクラップ山をエリア４ごとにわける。本実施形態では、区画壁・スクラップ抽出部１４８で抽出した区画壁２と３次元形状構築部１５０で構築されたスクラップ山Ｓの３次元データに基づいて、スクラップ山をエリア４ごとにわける。区画壁・スクラップ抽出部１４８によって複数のスクラップ山が抽出された場合、スクラップ区分け部１５１は、複数のスクラップ山が同じエリア内のスクラップ山であるか、異なるエリアのスクラップ山同士であるかを区画壁・スクラップ抽出部１４８で抽出された区画壁２に基づいて判定する。また、区画壁・スクラップ抽出部１４８によって隣接する異なるエリアのスクラップが繋がって抽出されていることを検知するため、スクラップ区分け部１５１は、スクラップ山Ｓの中に高さが大きく異なる箇所（所定の大きさよりも大きい箇所）を探知する。また、区画壁・スクラップ抽出部１４８によって隣接する異なるエリアのスクラップが区画壁２を越えて繋がって抽出されていることを検知するため、スクラップ区分け部１５１は、スクラップ山の内側に少なくとも一部の区画壁が含まれているか判定してもよいし、区画壁の上端上に少なくとも一部のスクラップが含まれるか判定してもよい。さらに、区画壁・スクラップ抽出部１４８によって隣接する異なるエリア４のスクラップが区画壁２を越えて繋がって抽出されていることが検知された場合、スクラップ区分け部１５１は、スクラップ山Ｓの３次元形状データをエリアごとに分割する。

【0054】

対象スクラップ特定部１５２は、３次元形状データにおける対象のエリア４内のスクラップ山Ｓの３次元形状データを特定する。

【0055】

重量推定部１６０は、画像処理部１４０により取得されたエリア４ごとのスクラップ山Ｓの３次元形状に基づき、エリア４ごとのスクラップ山Ｓの重量を推定する。

【0056】

以下、本実施形態の画像処理方法により各エリアに堆積されたスクラップを識別して３次元形状を取得し、スクラップの重量を推定する方法を説明する。
従来の３次元形状に基づきスクラップなどの重量を推定する方法では、スクラップなどの３次元形状に基づき体積を算出し、この体積に（一律の密度と想定した）基準のかさ比重を積算して重量を算出していた。しかしながら、このように体積に対して一律の密度を想定して重量を算出すると実測重量との誤差が大きいという問題があった。図５Ａ及び図５Ｂは、本発明の一実施形態によるスクラップの重量を推定する方法の基本となる原理を説明するための図である。なお、図５Ａにおいて密度が高い部分を濃い色で示している。また、図５Ｂでは、底面を所定面積で分割したときの平均密度が高い部分を濃い色で示している。図５Ａに示すように、積層高さが高い部分ではスクラップの重量によりスクラップが圧縮変形されており、スクラップ山の密度が高くなっている。このため、積層高さが高くなればなるほど、スクラップ単体の間の隙間が小さく、体積に基準のかさ比重をかけて算出する重量は、実際の重量と誤差が大きくなる。そこで、本実施形態では、図５Ｂに示すように、スクラップの積層高さが高いほど平均密度が高くなるという考え方に基づき、スクラップの積層高さが高いほど高くなるような変数を用いて重量を推定することとしている。具体的には、スクラップの積層高さに対する密度を考慮した変数の近似式を作成し、スクラップの種類ごとに設定する基準となる重量とこの近似式を用いて算出した変数に基づいて、重量を推定する。

【0057】

図６は、本発明の一実施形態によるスクラップの重量を推定する方法を示すフローチャートである。図６に示すように、本実施形態の方法では、スクラップの積層高さに対する密度を考慮した変数の近似式を作成する近似式作成ステップ（Ｓ１００）と、スクラップヤード１の各エリア４に堆積されたスクラップ山Ｓの３次元形状を取得する３次元形状取得ステップ（Ｓ２００）と、取得されたスクラップ山Ｓの３次元形状に基づきスクラップの重量を推定する重量推定ステップ（Ｓ３００）と、を行う。以下、各ステップについて詳細に説明する。

【0058】

図７は、近似式作成ステップにおける詳細な流れを示すフローチャートである。図７に示すように、近似式作成ステップＳ１００では、まず、スクラップヤードに保管されるスクラップの種類ごとに基準重量データを取得する（基準重量取得ステップ：Ｓ１１０）。基準重量データは、底面の寸法が１ｍ×１ｍの基準重量測定用コンテナに、対象となる金属を１ｍの高さまで積載し、重量を計測する。この重量を単位体積当たりの基準重量とする。この基準重量は、近似式作成部１２０に入力される。

【0059】

次に、３Ｄスキャン機でスクラップをスキャンし、形状情報を取得する（Ｓ１２０）。具体的には、例えば、スクラップヤードに堆積させるスクラップの種類ごとに３Ｄスキャン機でスキャンし、スクラップ単体の形状情報を取得する。スクラップ単体の形状が複数通りある場合や規定の大きさ以下という条件で同一種として分類されるような形状がふぞろいな場合には、任意の個数の形状情報を取得する。この形状情報は、近似式作成部１２０に入力される。

【0060】

次に、スクラップ単体の強度情報を取得する（Ｓ１３０）。スクラップ単体の強度情報としては、例えば、スクラップ単体を圧縮することにより、ヤング率などを算出する。なお、このスクラップ単体の強度情報は、スクラップ単体を構成する金属が既知であれば、その金属の物性値を用いることができる。この強度情報は、近似式作成部１２０に入力される。

【0061】

次に、スクラップ単体の重量を計測し、重量情報を取得する（Ｓ１４０）。この重量情報は、近似式作成部１２０に入力される。なお、スクラップ単体の重量情報は、単位体積当たりの金属の重量及び形状情報から算出してもよい。

【0062】

次に、近似式作成部１２０は、形状情報、強度情報、及び、重量情報に基づき、複数のスクラップ単体を堆積させた場合にスクラップ単体の間に形成される隙間及び変形をシミュレーションする（Ｓ１５０）。具体的には、仮想のコンテナ（底面１ｍ×１ｍ）をシミュレーションし、その中にランダムにスクラップ単体を配置し、スクラップ単体の強度情報及び重量情報に基づき、コンテナ内でスクラップ単体がどのように堆積されるかシミュレーションし、スクラップ山における隙間と変形を求める。このシミュレーションによりコンテナ内のスクラップ山の重量とスクラップ山の高さとが求められる。なお、仮想コンテナ（底面１ｍ×１ｍ）をシミュレーションし、コンテナ内のスクラップ山の高さが１ｍとなるときのスクラップ山の重量を基準重量としてもよい。

【0063】

近似式作成部１２０は、このシミュレーションを様々な条件で繰り返すことにより、スクラップ山の積層高さと単位面積当たりの重量との関係を求める（Ｓ１６０）。

【0064】

次に、近似式作成部１２０は、シミュレーションにより得られたスクラップ山の各積層高さに対する単位面積当たりの重量の関係と、基準重量から密度変化を考慮しないスクラップ山の各積層高さに対する単位面積当たりの推定重量を求める。そして、このシミュレーションにより得られた重量を推定重量で割ることにより密度変数を求める。そして、各積層高さに対する密度変数の値から、積層高さと密度変数の関係を近似する近似式を作成する（Ｓ１７０）。図８は、密度変数の近似式を示すグラフである。同図に示すように、高さが高くなるほど密度変数は大きくなり、また、高さが高くなるほど密度変数の単位高さあたりの増加量は小さくなる。また、スクラップ山の各積層高さに応じた変数として、シミュレーションにより得られたスクラップ山の各積層高さに対する単位面積当たりの重量を用いてもよく、積層高さと単位面積あたりの重量の関係を近似する近似式を作成してもよい。なお、単位面積当たりの重量を変数として用いた場合でも、高さが高くなるほど大きくなり、高さが高くなるほど密度の高さあたりの増量は小さくなる。

【0065】

なお、上記の近似式作成ステップＳ１００では、シミュレーションにより近似式を求めたが、これに限らず、スクラップ単体の形状情報や強度情報を取得せず、実物のスクラップ単体を積層する実験を繰り返し、スクラップ山の積層高さと単位面積当たりの重量との関係を求めて、近似式を作成してもよい。また、上記のシミュレーションにより作成した近似式を、実際の実験結果と比較して修正してもよい。

【0066】

次に、３次元形状取得ステップＳ２００について詳細に説明する。図９は、３次元形状取得ステップにおける詳細な流れを示すフローチャートである。エリア情報保持部１３０には、予め、スクラップヤードの地図情報とエリアの情報とカメラの情報とが記録されている。また、スクラップヤードの各エリアに対してベストショット領域が設定されており、画像処理部１４０には、予め、各エリアのベストショット領域に関する情報が記録されている。

【0067】

３次元形状取得ステップでは、まず、ガーダ６及びガーダ６に移動可能に備えられたカメラ８より下方に延長されたリフティングマグネットなどのスクラップ搬出搬入用治具を撮像開始位置に移動する（撮像準備ステップＳ２０５）。ガーダ６の撮像開始位置は、予め定めた所定位置でもいいし、複数エリア４のうち少なくとも１つ以上を３次元形状取得対象エリアとする場合は、対象エリアの周辺の所定位置でよい。リフティングマグネットの撮像開始位置は、カメラ８の撮像領域外である。リフティングマグネットが撮像領域内に存在すると、スクラップ山Ｓの上にリフティングマグネットが存在した状態で撮像され、各堆積領域に堆積された堆積物を正確に識別できない。なお、撮像準備ステップは、ガーダ６及びリフティングマグネットを自動で操作してもよいし、ユーザが手動で操作してもよい。撮像準備ステップにおいてユーザが手動で操作する場合、ディスプレイ７に撮像開始位置を表示する。

【0068】

次に、ガーダ６を移動させることによりカメラ８を移動させながらカメラ８によりスクラップヤード１を所定の時間間隔で撮像し（撮像ステップ）、画像データを生成し、画像処理部１４０は、撮像画像取得部１４２により、生成された画像データを取得する。（撮像画像取得ステップ：Ｓ２１０）。なお、画像処理部１４０は、ユーザ又は画像処理部１４０から撮像開始指示がされるとき、複数のカメラ８のうち撮像するカメラ又は複数のエリア４のうち撮像対象エリアを選択できるように構成されてもよく、選択されたカメラ又はエリアを基に撮像するカメラを決定してもよい。また、これと並行して位置情報取得装置９によりカメラ８により撮像した時点におけるカメラ８により撮像した位置に関する位置情報を生成する（位置情報生成ステップ：Ｓ２２０）。画像処理部１４０は、撮像位置情報取得部１４４により生成された位置情報を取得する。画像処理部１４０は取得した画像データに位置情報を関連付けて記録する。カメラ８の移動速度は、本実施形態では、ガーダ６の移動速度であり、移動速度の上限は、撮像間隔及びカメラ８の性能により、画像中にブレが生じない速度が好ましい。カメラ８の移動速度は、撮像位置情報取得部１４４により取得する位置情報の取得時間から算出できる。なお、撮像ステップでガーダ６を移動させる操作は、自動で操作してもよいし、ユーザが手動で操作してもよい。撮像ステップでユーザがガーダ６を手動で操作する場合、ガーダ６の適切な移動速度と現在のガーダ６の移動速度をディスプレイ７に表示してもいいし、ガーダ６の移動速度が上限を超えたときにディスプレイ７に減速操作指示や撮像エラーを表示してもよい。

【0069】

次に、画像処理部１４０は、ベストショット画像抽出部１４６により、各エリア４に対して、記録された画像データを参照して位置情報に基づき、撮像した位置がベストショット領域に含まれる画像データ（以下、ベストショット画像という）を取得する（ベストショット画像抽出ステップ：Ｓ２３０）。また、各エリア４に対するベストショット画像の取得数は、１以上の複数個が好ましく、位置情報に基づきベストショット領域の幅間隔が均等になるよう複数個取得されてもよいし、撮像時間の間隔が均等になるように複数個取得されてもよいし、ベストショット領域の大きさや数に応じて取得数が設定されてもよい。なお、ベストショット画像抽出ステップは、これに限られず、所定の時間間隔で撮像された画像データから所定の時間間隔よりも長い間隔となるように画像データを間引き抽出し、間引き抽出された画像データの位置情報が、いずれかのエリア４のベストショット領域に含まれるか判定し、いずれかのエリア４のベストショット領域に該当する場合に、ベストショット画像として取得してもよい。

【0070】

次に、画像処理部１４０は、区画壁・スクラップ抽出部１４８により、ベストショット画像における区画壁２とスクラップを抽出する（スクラップ抽出ステップ：Ｓ２４０）。スクラップ抽出ステップ２４０では、ベストショット画像におけるエリア４を隔てる区画壁２と、スクラップをニュートラルネットワークにより抽出する。区画壁・スクラップ抽出部１４８には、予め、スクラップを構成する金属と区画壁２とに関する訓練データを学習させている。これにより、ベストショット画像における区画壁２とスクラップを抽出することができる。なお、区画壁・スクラップ抽出部１４８が、対象エリアの全てのベストショット画像において金属成分が検出されない場合には、対象エリア内はスクラップが空であると判断する。また、スクラップ抽出ステップの前後又は同時に、画像処理部１４０は、ベストショット画像におけるリフティングマグネットなどのスクラップ搬出搬入用治具を検出することが好ましい。例えば、リフティングマグネットをニュートラルネットワークにより検出する。ベストショット画像内（特に好ましくは対象エリア内）にリフティングマグネットが検出された場合、当該ベストショット画像又は当該ベストショット画像から抽出された区画壁２とスクラップに対する３次元形状取得ステップを終了し、ディスプレイ７に撮像エラーを表示する。

【0071】

次に、画像処理部１４０は、３次元形状構築部１５０により、ベストショット画像におけるスクラップ山の３次元形状を構築する（３次元形状構築ステップ：Ｓ２５０）。本実施形態では、カメラ８はステレオカメラを用いているため、２つの２次元画像により３次元形状データを構築する。なお、例えば、１つの撮像部により２次元画像を撮像するカメラと撮像距離情報取得装置を用いる場合には、カメラにより撮像された画像データと、撮像距離情報取得装置により測定されたスクラップ山までの距離に基づき３次元形状データを構築してもよい。このとき、３次元形状データは、スクラップ山の高さ情報を含む。スクラップ山の高さは、予め記憶しているカメラ８からエリア４の底面までの垂直距離とカメラ８からスクラップ山までの垂直距離とにより算出する。なお、３次元形状構築ステップＳ２５０は、スクラップ高さ情報取得ステップに相当する。

【0072】

次に、画像処理部１４０は、スクラップ区分け部１５１により、スクラップ山をエリアごとにわける（スクラップ区分けステップ：Ｓ２６０）。具体的には、図１０に示すように、構築した３次元形状データに複数のスクラップ山Ｓの３次元形状が含まれる場合において、複数のスクラップ山Ｓが同じエリア内のスクラップ山Ｓであるか、異なるエリアのスクラップ山Ｓ同士であるかを区画壁・スクラップ抽出部１４８で抽出された区画壁２に基づいて判定する。例えば、複数のスクラップ山Ｓの間に区画壁２が抽出された場合、複数のスクラップ山Ｓはそれぞれ異なるエリアのスクラップ山Ｓであると判定できる。なお、複数のスクラップ山Ｓが同じエリア内のスクラップ山Ｓであるか、異なるエリアのスクラップ山Ｓ同士であるかを区画壁２に基づいて判定する方法はこれに限らず、例えば、外周がすべて区画壁２により囲われているエリア４の場合、区画壁２の上端を直線成分として抽出し、直線成分で囲われた多角形を検出し、多角形内のスクラップは同一エリアのスクラップ山Ｓとして判定してもよく、更に、外周がすべて区画壁２により囲われている複数のエリア４が隣接する場合、区画壁の上端の直線成分により多角形が構成できない（多角形の一辺が検出できない）エリア内のスクラップは、後述する対象スクラップ特定ステップＳ２７０で対象エリア以外のスクラップと判断してもよい。なお、本実施形態では、複数のスクラップ山Ｓが同じエリア内のスクラップ山Ｓであるか、異なるエリアのスクラップ山Ｓ同士であるかを区画壁２に基づいて判定するが、これに限られず、スクラップ山Ｓの３次元形状に基づいて判定してもよく、この場合、３次元形状の高さ、形状、スクラップ山Ｓ同士の距離などのいずれかに基づけばよい。

【0073】

また、スクラップ区分け部１５１により、スクラップ山Ｓの３次元形状の高さに基づいて、スクラップ山Ｓの中に高さが大きく異なる箇所（所定の大きさよりも大きい箇所）を探知する。このようなスクラップ山の高さが大きく異なる箇所を探知した場合、区画壁・スクラップ抽出部１４８で抽出されたスクラップは、隣接する異なるエリアのスクラップが繋がって抽出された可能性が高い。そのため、スクラップ区分け部１５１は、スクラップ山の中に高さが大きく異なる箇所を探知した場合、高さが大きく異なる箇所を境界としてスクラップ山Ｓを分割する。

【0074】

また、スクラップ区分け部１５１により、スクラップ山Ｓの内側に少なくとも一部の区画壁２が含まれているか判定する。このようなスクラップ山の内側に少なくとも一部の区画壁が含まれている場合、区画壁・スクラップ抽出部１４８で抽出されたスクラップは、隣接する異なるエリアのスクラップが区画壁を越えて繋がって抽出された可能性が高い。そのため、スクラップ区分け部１５１は、スクラップ山Ｓの内側に少なくとも一部の区画壁２が含まれていると判定した場合、当該区画壁２を連続させて境界線を作成して分割する。なお、区画壁２の上端を認識し、区画壁２の上端から直線成分を抽出し、当該直線成分を連続させて境界線を作成してもよいし、区画壁２の上端における区画壁２同士の接点を区画壁２の角部として認識し、当該角部同士を直線で連続させて境界線を作成してもよい。また、ベストショット画像の対象エリアがエリアの内部に金属スクラップが堆積しないエリア（例えば、通路） を区画する区画壁２を有するとエリア情報保持部１３０に記録されている場合、スクラップ山Ｓの内側に当該区画壁２の一部が認識されても、スクラップ山Ｓを分割しない。なお、スクラップ区分け部１５１は、スクラップ山Ｓの内側に少なくとも一部の区画壁２が含まれているか判定する方法に限らず、区画壁２の上端上に少なくとも一部のスクラップが含まれるか判定する方法を用いてもよい。
以上の工程により、スクラップヤードの各エリアに堆積されたスクラップの３次元形状を取得することができる。なお、スクラップ区分けステップＳ２６０は、３次元形状構築ステップＳ２５０の次に行うことが好ましいが、３次元形状構築ステップＳ２５０の前にスクラップ区分けステップＳ２６０の少なくとも一部を行ってもよい。

【0075】

次に、画像処理部１４０は、対象スクラップ特定部１５２により、対象エリアのスクラップのみを特定する（対象スクラップ特定ステップ：Ｓ２７０）。具体的には、図１０に示すように、構築した３次元形状データに複数のスクラップ山Ｓの３次元形状が含まれる場合において、撮像画像取得部１４２により取得された画像データに関連付けて記録された位置情報から、対象エリアとスクラップの一方又は両方の位置を推定し、構築した３次元形状データのスクラップ山Ｓの中から対象エリアのスクラップの３次元形状のみを抽出する。なお、対象スクラップ特定ステップＳ２７０は、これに限られず、撮像画像内の対象エリアの位置が予め記録されている場合は、画像データに関連付けて記録された位置情報を用いずに構築した３次元形状データのスクラップ山Ｓの中から対象エリアのスクラップの３次元形状のみを抽出してもよい。なお、スクラップ区分けステップＳ２６０と対象スクラップ特定ステップＳ２７０は同時に動作してもよく、スクラップ区分け部１５１と対象スクラップ特定部１５２の機能は、一体化してもよい。

【0076】

次に、画像処理部１４０により取得されたスクラップの３次元形状に基づき、重量推定部１６０によりスクラップの重量を推定する重量推定ステップＳ３００について説明する。図１１は、重量推定ステップにおける詳細な流れを示すフローチャートである。

【0077】

まず、重量推定部１６０は、対象エリア４内のスクラップ山の３次元形状を分割する。図１２は、スクラップ山の３次元形状を分割する様子を示す図である。同図に示すように、スクラップ山を例えば１５ｃｍ×１５ｃｍの格子などにより鉛直方向に分割する（分割ステップ：Ｓ３１０）。

【0078】

次に、重量推定部１６０は、スクラップの３次元形状の各地点（各格子）のエリア４の底面からの高さを推定する。各地点の高さとしては、例えば、各地点内（各格子内）の高さ座標の平均値を採用すればよい。なお、格子のサイズによっては、格子の中心点における高さ座標を採用してもよい。（高さ推定ステップ：Ｓ３２０）

【0079】

次に、重量推定部１６０は、積層高さに対する密度を考慮した変数の近似式を用いて各地点の重量を推定する（重量算出ステップ：Ｓ３３０）。具体的には、変数に密度変数を用いる場合、以下の式により各地点の重量を算出する。
重量＝底面積×高さ×基準重量×高さに対応する密度変数
上記の式において、底面積は分割ステップにおいて分割した格子の面積を採用する。
高さは、高さ推定ステップにおいて推定した高さを採用する。
基準重量は、基準重量取得ステップＳ１１０において取得した基準重量を用いればよい。
また、変数に単位面積当たりの重量を用いる場合、以下の式により各地点の重量を算出する。
重量＝底面積×高さに対応する単位面積あたりの重量
上記の式において、底面積は分割ステップにおいて分割した格子の面積を採用する。
いずれの場合も、高さに対応する変数としては、近似式作成ステップＳ１００において作成した近似式に高さを代入して算出すればよい。

【0080】

次に、重量推定部１６０は、エリア４内のスクラップの重量を推定する（総重量算出ステップ：Ｓ３４０）。具体的には、各格子の重量を合計してスクラップ山の重量を推定する。このようにして重量推定部１６０は各エリア４のスクラップ山の重量を推定し、その結果をディスプレイ７などに出力する。

【0081】

なお、重量推定ステップＳ３００は、上記方法に限らず、例えば、分割ステップＳ３１０を行わず、スクラップ山の３次元形状に対して、高さが同じとなる地点の面積を合計し、高さごとに重量算出ステップＳ３３０を行ってもよい。この場合、以下の式により各高さの重量を算出する。
重量＝合計した底面積×高さ×基準重量×高さに対応する密度変数
次に、総重量算出ステップとして、各高さの重量を合計してスクラップ山の重量を推定すればよい。

【0082】

本実施形態によれば、以下の効果が奏される。
本実施形態の画像処理方法は、ベストショット領域内で撮像されたベストショット画像におけるスクラップを抽出するスクラップ抽出ステップＳ２４０を備える。これにより、スクラップ山Ｓが区画壁２などの障害物の死角に入ることがないため、スクラップ山Ｓ全体を撮像することができ、堆積物を正確に識別することができる。

【0083】

また、本実施形態の画像処理方法は、ベストショット領域Ｂにおいて、カメラ８の撮像する高さ及び視野角に基づいて決定される撮像領域の大きさとエリア４の大きさに基づいて設定される。このように、撮像領域の大きさとエリア４の大きさに基づいてベストショット領域を設定するため、カメラ８の撮像位置からスクラップ山Ｓが区画壁２などの障害物の死角に入ることがないように撮像することができ、堆積物を正確に識別することができる。

【0084】

また、本実施形態の画像処理方法は、カメラ８を移動させながらスクラップヤード１内の画像データを撮像する撮像ステップと、カメラ８により撮像した位置を生成する位置情報生成ステップＳ２２０と、位置情報に基づきベストショット領域内で撮像されたベストショット画像を抽出するベストショット画像抽出ステップＳ２３０と、を備える。カメラ８を移動させながら画像を撮像する場合には、撮像する画像データが膨大になり、全ての画像データを処理するとコンピュータに大きな負荷がかかる。これに対して、本実施形態によれば、撮像した画像データからベストショット領域内で撮像した画像データを抽出するため、コンピュータの負荷を減らすことができる。また、カメラの台数が少なくてもスクラップヤード１内の各エリア４を撮像することができる。

【0085】

また、本実施形態の画像処理方法は、スクラップ抽出ステップＳ２４０で抽出したスクラップ山Ｓから対象のエリア４のスクラップ山Ｓのみを特定する対象スクラップ特定ステップＳ２７０をさらに備え、対象スクラップ特定ステップＳ２７０は、位置情報に基づき、ベストショット画像内での対象エリア４のスクラップ山Ｓのみを抽出する。これにより、位置情報に基づき対象エリア４のスクラップ山Ｓのみを特定することができ、他のエリア４のスクラップ山Ｓと分離してスクラップ山Ｓを抽出することができる。

【0086】

また、本実施形態の画像処理方法は、スクラップ抽出ステップＳ２４０で抽出したスクラップ山Ｓをエリア４ごとにわけるスクラップ区分けステップＳ２６０をさらに備える。これにより、画像内に複数のエリア４が含まれるような撮像位置で撮像しても、エリア４ごとにスクラップ山Ｓをわけることで、異なるエリア４にそれぞれ堆積したスクラップ山Ｓを同一エリア４のスクラップ山Ｓとして識別することを防ぐことができ、堆積物を正確に識別することができる。

【0087】

また、本実施形態の画像処理方法は、スクラップ抽出ステップＳ２４０では、撮像されたベストショット画像における区画壁２を抽出する。これにより、スクラップヤード１内に、隣接するエリア４が存在しても、区画壁２とスクラップとを抽出することで、隣接するエリア４を隔てる区画壁２を認識することができ、隣接するエリア４にそれぞれ堆積したスクラップ山Ｓを同一エリア４のスクラップ山Ｓとして識別することを防ぐことができ、堆積物を正確に識別することができる。

【0088】

また、本実施形態の画像処理方法は、スクラップ区分けステップＳ２６０では、スクラップ山Ｓの内側に少なくとも一部の区画壁２が含まれるか判定を行い、スクラップ山Ｓの内側に少なくとも一部の区画壁２が含まれると判定された場合、スクラップ山Ｓを分割する。これにより、スクラップ抽出ステップＳ２４０にて複数のエリア４のスクラップ山Ｓが一体的に抽出されても、スクラップ山Ｓの内側に区画壁２の一部が含まれるか判定することで、エリア４を隔てる区画壁２を認識することができ、エリア４ごとにスクラップ山Ｓをわけることができる。

【0089】

また、本実施形態の画像処理方法は、スクラップ区分けステップＳ２６０では、区画壁２の上端上に少なくとも一部のスクラップが含まれるか判定を行い、区画壁２の上端上に少なくとも一部のスクラップが含まれると判定された場合、スクラップ山Ｓを分割する。これにより、スクラップ抽出ステップＳ２４０にて複数のエリア４のスクラップ山Ｓが一体的に抽出されても、区画壁２の上端上に少なくとも一部のスクラップが含まれるか判定することで、エリア４を隔てる区画壁２を認識することができ、エリア４ごとにスクラップ山Ｓをわけることができる。

【0090】

また、本実施形態の画像処理方法は、スクラップ抽出ステップＳ２４０で抽出したスクラップ山Ｓの３次元形状を構築する３次元形状構築ステップＳ２５０をさらに備え、スクラップ区分けステップＳ２６０では、スクラップ山Ｓの３次元形状の高さに基づき、スクラップ山Ｓをエリア４ごとにわける。このように、スクラップ山Ｓの３次元形状の高さに基づくことで、複数のエリア４におけるスクラップ山Ｓ同士の高さの差を利用することができ、エリア４ごとにスクラップ山Ｓをわけることができる。

【0091】

また、本実施形態の画像処理方法は、スクラップ抽出ステップＳ２４０で抽出したスクラップ山Ｓの３次元形状を構築する３次元形状構築ステップＳ２５０と、スクラップ山Ｓの３次元形状に基づき、スクラップ山Ｓの重量を推定する重量推定ステップＳ３００と、をさらに備える。これにより、スクラップ山Ｓの３次元形状を構築することができ、スクラップ山Ｓの重量を推定することができる。

【0092】

また、本実施形態の画像処理方法は、重量推定ステップＳ３００では、スクラップ山Ｓの高さに応じた変数に基づきスクラップ山Ｓの重量を算定する。スクラップ山Ｓの高さが異なるとスクラップ山Ｓが自重により圧縮されるために密度が異なるが、本実施形態によれば、高さに応じた変数に基づきスクラップ山Ｓの重量を算定するため、より正確にスクラップ山Ｓの重量を推定できる。

【0093】

また、本実施形態によれば、高さに応じた変数は、高さが高いほど大きい。スクラップ山Ｓの高さが高くなるとスクラップ山Ｓが自重により圧縮されるために密度が大きくなるが、本実施形態によれば、高さが高いほど大きい変数を用いるため、より正確にスクラップ山Ｓの重量を推定できる。

【0094】

また、本実施形態によれば、高さに応じた変数は、高さが高いほど、単位高さあたりの増量が小さい。スクラップ山Ｓの高さが高くなると堆積物が自重により圧縮されるために密度が大きくなるが、その増加は高さが高いほど小さくなる。本実施形態によれば、高さが高いほど、高さあたりの増量が小さい変数を用いるため、より正確にスクラップ山Ｓの重量を推定できる。

【0095】

また、本実施形態の画像処理方法は、重量推定ステップＳ３００では、スクラップ山Ｓの３次元形状を鉛直方向に複数に分割し、分割された各部の高さに基づき、各部の重量を算定して、スクラップ山Ｓの重量を推定する。このように、スクラップ山Ｓの３次元形状を鉛直方向に複数に分割し、分割された各部の高さに基づき、各部の重量を算定しているため、より正確にスクラップ山Ｓの重量を推定できる。

【0096】

また、本実施形態において、少なくとも一部が区画壁２で区画され、スクラップ山Ｓが堆積される複数のエリア４を有するスクラップヤード１内で、カメラ８により撮像した画像内に複数のエリア４の少なくとも一部が含まれる画像処理方法は、カメラ８により撮像された画像を取得する撮像画像取得ステップＳ２１０と、撮像画像取得ステップＳ２１０で取得された画像におけるスクラップ山Ｓを抽出するスクラップ抽出ステップＳ２４０と、スクラップ抽出ステップＳ２４０で抽出したスクラップ山Ｓをエリア４ごとにわけるスクラップ区分けステップＳ２６０と、を備える。これにより、画像内に複数のエリア４が含まれるような撮像位置で撮像した画像に対して、スクラップ山Ｓを抽出し、抽出したスクラップ山Ｓをエリア４ごとにわけることで、異なるエリア４にそれぞれ堆積したスクラップ山Ｓを同一エリア４のスクラップ山Ｓとして識別することを防ぐことができ、堆積物を正確に識別することができる。

【0097】

また、本実施形態において、少なくとも一部が区画壁２で区画され、スクラップ山Ｓが堆積される複数のエリア４を有するスクラップヤード１内で、カメラ８により撮像した画像内に複数のエリア４の少なくとも一部が含まれる画像処理方法は、スクラップ抽出ステップＳ２４０では、撮像されたベストショット画像における区画壁２を抽出する。これにより、スクラップヤード１内に、隣接するエリア４が存在しても、区画壁２とスクラップとを抽出することで、隣接するエリア４を隔てる区画壁２を認識することができ、隣接するエリア４にそれぞれ堆積したスクラップ山Ｓを同一エリア４のスクラップ山Ｓとして識別することを防ぐことができ、堆積物を正確に識別することができる。

【0098】

また、本実施形態において、少なくとも一部が区画壁２で区画され、スクラップ山Ｓが堆積される複数のエリア４を有するスクラップヤード１内で、カメラ８により撮像した画像内に複数のエリア４の少なくとも一部が含まれる画像処理方法は、スクラップ区分けステップＳ２６０では、スクラップ山Ｓの内側に少なくとも一部の区画壁２が含まれるか判定を行い、スクラップ山Ｓの内側に少なくとも一部の区画壁２が含まれると判定された場合、スクラップ山Ｓを分割する。これにより、スクラップ抽出ステップＳ２４０にて複数のエリア４のスクラップ山Ｓが一体的に抽出されても、スクラップ山Ｓの内側に区画壁２の一部が含まれるか判定することで、エリア４を隔てる区画壁２を認識することができ、エリア４ごとにスクラップ山Ｓをわけることができる。

【0099】

また、本実施形態において、少なくとも一部が区画壁２で区画され、スクラップ山Ｓが堆積される複数のエリア４を有するスクラップヤード１内で、カメラ８により撮像した画像内に複数のエリア４の少なくとも一部が含まれる画像処理方法は、スクラップ区分けステップＳ２６０では、区画壁２の上端上に少なくとも一部のスクラップが含まれるか判定を行い、区画壁２の上端上に少なくとも一部のスクラップが含まれると判定された場合、スクラップ山Ｓを分割する。これにより、スクラップ抽出ステップＳ２４０にて複数のエリア４のスクラップ山Ｓが一体的に抽出されても、区画壁２の上端上に少なくとも一部のスクラップが含まれるか判定することで、エリア４を隔てる区画壁２を認識することができ、エリア４ごとにスクラップ山Ｓをわけることができる。

【0100】

また、本実施形態において、少なくとも一部が区画壁２で区画され、スクラップ山Ｓが堆積される複数のエリア４を有するスクラップヤード１内で、カメラ８により撮像した画像内に複数のエリア４の少なくとも一部が含まれる画像処理方法は、スクラップ抽出ステップＳ２４０で抽出したスクラップ山Ｓの３次元形状を構築する３次元形状構築ステップＳ２５０をさらに備え、スクラップ区分けステップＳ２６０では、スクラップ山Ｓの３次元形状の高さに基づき、スクラップ山Ｓをエリア４ごとにわける。このように、スクラップ山Ｓの３次元形状の高さに基づくことで、複数のエリア４におけるスクラップ山Ｓ同士の高さの差を利用することができ、エリア４ごとにスクラップ山Ｓをわけることができる。

【0101】

また、本実施形態において、少なくとも一部が区画壁２で区画され、スクラップ山Ｓが堆積される複数のエリア４を有するスクラップヤード１内で、カメラ８により撮像した画像内に複数のエリア４の少なくとも一部が含まれる画像処理方法は、スクラップ山Ｓの３次元形状に基づき、スクラップ山Ｓの重量を推定する重量推定ステップＳ３００をさらに備える。これにより、エリア４ごとにわけられたスクラップ山Ｓの３次元形状に基づいてスクラップ山Ｓの重量を推定することで、スクラップの種類に応じた重量を推定することができ、正確に堆積物の重量を推定することができる。

【0102】

また、本実施形態において、少なくとも一部が区画壁２で区画され、スクラップ山Ｓが堆積される複数のエリア４を有するスクラップヤード１内で、カメラ８により撮像した画像内に複数のエリア４の少なくとも一部が含まれる画像処理方法は、重量推定ステップＳ３００では、スクラップ山Ｓの高さに応じた変数に基づきスクラップ山Ｓの重量を算定する。スクラップ山Ｓの高さが異なるとスクラップ山Ｓが自重により圧縮されるために密度が異なるが、本実施形態によれば、高さに応じた変数に基づきスクラップ山Ｓの重量を算定するため、より正確にスクラップ山Ｓの重量を推定できる。

【0103】

また、本実施形態において、スクラップ山Ｓが堆積されるエリア４を有するスクラップヤード１内をカメラ８により撮像した画像処理方法は、カメラ８により撮像された画像を取得する撮像画像取得ステップＳ２１０と、撮像画像取得ステップＳ２１０で取得された画像におけるスクラップ山Ｓを抽出するスクラップ抽出ステップＳ２４０と、スクラップ抽出ステップＳ２４０で抽出されたスクラップ山Ｓの高さを取得するスクラップ高さ情報取得ステップと、スクラップ高さ情報取得ステップで取得されたスクラップ山Ｓの高さ及びスクラップ山の高さに応じた変数に基づき、スクラップ山Ｓの重量を算定する重量推定ステップＳ３００と、を備える。スクラップ山Ｓの高さが異なるとスクラップ山Ｓが自重により圧縮されるために密度が異なるが、本実施形態によれば、撮像画像からスクラップ山Ｓを抽出し、撮像画像から抽出されたスクラップ山Ｓの高さを取得することで、スクラップ山Ｓの高さに応じた変数に基づきスクラップ山Ｓの重量を算定することができ、正確に堆積物の重量を推定できる。

【0104】

また、本実施形態において、スクラップ山Ｓが堆積されるエリア４を有するスクラップヤード１内をカメラ８により撮像した画像処理方法は、スクラップ高さ情報取得ステップでは、スクラップ山Ｓの３次元形状を構築し、重量推定ステップＳ３００では、スクラップ山Ｓの３次元形状を鉛直方向に複数に分割し、分割された各部の高さ及びスクラップ山Ｓの高さに応じた変数に基づき、各部の重量を算定して、スクラップ山Ｓの重量を推定する。このように、スクラップ山Ｓの３次元形状を鉛直方向に複数に分割し、分割された各部の高さ及びスクラップ山Ｓの高さに応じた変数に基づき、各部の重量を算定しているため、より正確にスクラップ山Ｓの重量を推定できる。

【0105】

また、本本実施形態において、なくとも一部が区画壁２で区画され、スクラップ山Ｓが堆積される複数のエリア４を有するスクラップヤード１内で、カメラ８により撮像した画像内に複数のエリア４の少なくとも一部が含まれる画像処理方法、または、スクラップ山Ｓが堆積されるエリア４を有するスクラップヤード１内をカメラ８により撮像した画像処理方法は、エリア４に対してカメラ８により当該エリア４が障害物により遮られない状態で撮像可能な所定のベストショット領域が設定されており、スクラップ抽出ステップＳ２４０では、ベストショット領域内で撮像されたベストショット画像におけるスクラップ山Ｓを抽出する。このように、ベストショット領域を設定することで、スクラップ山Ｓが区画壁２などの障害物の死角に入ることがないため、スクラップ山Ｓ全体を撮像することができ、堆積物を正確に識別することができる。

【符号の説明】

【0106】

１ ：スクラップヤード
２ ：区画壁
３ ：外壁
４ ：エリア
５ ：構築されたスクラップ山の３次元形状
６ ：ガーダ
７ ：ディスプレイ
８ ：カメラ
９ ：位置情報取得装置
１０ ：画像処理システム
１２ ：コンピュータ
１３ ：ＣＰＵ
１４ ：ＲＡＭ
１５ ：ＲＯＭ
１６ ：インターフェース
１７ ：システムバス
１８ ：ＧＰＵ
１００ ：画像処理システム
１２０ ：近似式作成部
１３０ ：エリア情報保持部
１４０ ：画像処理部
１４２ ：撮像画像取得部
１４４ ：撮像位置情報取得部
１４６ ：ベストショット画像抽出部
１４７ ：堆積物識別部
１４８ ：区画壁・スクラップ抽出部
１５０ ：３次元形状構築部
１５１ ：スクラップ区分け部
１５２ ：対象スクラップ特定部
１６０ ：重量推定部
Ｂ ：ベストショット領域
Ｓ ：スクラップ山

【要約】

【課題】複数の堆積領域を有する堆積物保管庫内の各堆積領域に堆積された堆積物を正確に識別できるようにする。
【解決手段】少なくとも一部が区画壁２で区画され、堆積物が堆積される複数のエリア４を有する堆積物保管庫内を撮像装置により撮像した画像の処理方法が、エリア４に対して撮像装置によりエリア４が障害物により遮られない状態で撮像可能な所定のベストショット領域Ｂが設定されており、ベストショット領域Ｂ内で撮像されたベストショット画像における堆積物を抽出する堆積物抽出ステップを備える。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】