IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社メタルワンの特許一覧

特許7241011情報処理装置、情報処理方法及びプログラム
<>
  • 特許-情報処理装置、情報処理方法及びプログラム 図1
  • 特許-情報処理装置、情報処理方法及びプログラム 図2
  • 特許-情報処理装置、情報処理方法及びプログラム 図3
  • 特許-情報処理装置、情報処理方法及びプログラム 図4
  • 特許-情報処理装置、情報処理方法及びプログラム 図5
  • 特許-情報処理装置、情報処理方法及びプログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-08
(45)【発行日】2023-03-16
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
   G01N 21/47 20060101AFI20230309BHJP
   H04N 7/18 20060101ALI20230309BHJP
【FI】
G01N21/47 Z
H04N7/18 K
【請求項の数】 5
(21)【出願番号】P 2019239597
(22)【出願日】2019-12-27
(65)【公開番号】P2021107795
(43)【公開日】2021-07-29
【審査請求日】2022-03-22
(73)【特許権者】
【識別番号】503086499
【氏名又は名称】株式会社メタルワン
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】永田 昌宏
(72)【発明者】
【氏名】瀬古 剛一郎
【審査官】古川 直樹
(56)【参考文献】
【文献】国際公開第2019/058863(WO,A1)
【文献】特開平04-352077(JP,A)
【文献】特開平05-020563(JP,A)
【文献】特開平05-169037(JP,A)
【文献】特開平04-225852(JP,A)
【文献】特開平07-253400(JP,A)
【文献】特開2012-118698(JP,A)
【文献】特開平04-093606(JP,A)
【文献】特開2008-267837(JP,A)
【文献】特開2001-067566(JP,A)
【文献】米国特許第09785851(US,B1)
【文献】AIで鉄スクラップの等級判定!データ蓄積し判定精度高める,ニュースイッチ,[online],株式会社日刊工業新聞社,2019年09月21日,[令和4年12月5日検索],インターネット<URL:https://newswitch.jp/p/19305>
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 - G01N 21/01
G01N 21/17 - G01N 21/61
G01N 21/84 - G01N 21/958
B02C 1/00 - B02C 25/00
E03C 1/266
G06T 1/00 - G06T 1/40
G06T 3/00 - G06T 7/90
G06V 10/00 - G06V 20/90
G06V 30/418
G06V 40/16
G06V 40/20
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出手段と、
前記算出手段により算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段と、
を備える情報処理装置。
【請求項2】
前記算出手段により算出された前記煙値を、前記空間の環境条件を基に補正する補正手段、
をさらに備える請求項1に記載の情報処理装置。
【請求項3】
前記ダスト量推定手段により推定された前記ダストの量、前記ダストの量を表す前記値、前記煙画像、前記撮像画像のうちの一つ以上を、ユーザに提供する提供手段、
をさらに備える請求項1又は2に記載の情報処理装置。
【請求項4】
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得するステップと、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出するステップと、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出ステップと、
前記算出ステップにおいて算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定ステップと、
を含む情報処理方法。
【請求項5】
情報処理装置に処理を実行させるプログラムであって、
前記情報処理装置を、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
前記煙画像のうち前記煙の領域の各画素値に基づく煙の濃度、および前記煙の領域の面積に基づく煙の大きさを要素として含む値を、前記ダストの量を表す煙値として算出する算出手段と、
前記算出手段により算出された前記煙値と、予め用意した鉄スクラップにより得られる実測の煙値とダストの量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、鉄スクラップ群の中からトランプエレメント等の非鉄物質を含む禁忌物(異物、除去対象物)を検出して、鉄スクラップ群を検品するための情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
例えば電炉メーカ等の鉄スクラップ買取会社が鉄スクラップ販売会社から鉄スクラップを購入する場合、鉄スクラップ買取会社の敷地に鉄スクラップ販売会社が大量の鉄スクラップをトラックに乱雑に積載して持ち込み、その敷地内に搬入した時点でトラックの総重量とスクラップを荷下ろしした後の空状態のトラックの重量との差分の重量を根拠に購入料金を算出している。
【0003】
一方、トラックに積載されているのは、純粋な鉄スクラップだけとは限らず、ダストと呼ばれる非鉄物質の粉末状の物質も含まれていることから、現在は、主に検品作業者(以下「検収員」と呼ぶ)の目測によってダスト量を判定し、判定したダスト量を上記差分の重量から差し引くことで買い取り重量とする業務が行われている。
【0004】
ところで、検収員の目測によるダスト量の推定では、正確なダスト量が求められないことはおろか、検収員の技量にも大きく左右されてしまう。
また、ダスト量を判定する基準が定かではないため、異なる買取業者間や買取を行う拠点間でも差が生じてしまう。なお、ダストとは別にスケールと呼ばれる鉄粉についても同じように買い取り重量から差し引くことが行われる。
【0005】
鉄スクラップの検収を補助する技術として、例えば破砕後の鉄スクラップ群の中から銅をはじめとするその他の金属等の異物(禁忌物)の混入を検知する技術が公開されている。(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0006】
【文献】特開平7-253400号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の技術では、異物よりも細かいダストの検出やダストの量を推定することについて何ら言及されていない。
【0008】
本願発明はこのような状況に鑑みてなされたものであり、検収対象の鉄スクラップに含まれる禁忌物の量を客観的に判断できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の一態様の情報処理装置は、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、撮像手段により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段と、
を備える。
【0010】
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
【発明の効果】
【0011】
本発明によれば、検収対象の鉄スクラップに含まれる禁忌物の量を客観的に判断することができる。
【図面の簡単な説明】
【0012】
図1】本発明の情報処理装置に係る一実施形態のサーバを含む鉄スクラップ検品システムの構成例を示す図である。
図2図1の鉄スクラップ検品システムのうち、本発明の情報処理装置に係るサーバのハードウェア構成の一例を示すブロック図である。
図3】一実施形態の図1の鉄スクラップ検品システムのサーバの機能的構成の一例を示す機能ブロック図である。
図4】鉄スクラップが荷下ろし場所上方に移動された様子を示す図である。
図5図1の鉄スクラップ検品システムにおける図2のサーバの動作を示すフローチャートである。
図6】ダストを含む煙が舞う複数の撮像画像の中から選定された代表の撮像画像を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の情報処理装置の一実施形態に係るサーバを含む鉄スクラップ検品システムの構成を示す図である。
【0014】
図1に示す鉄スクラップ検品システムは、管理用コンピュータ1及びサーバ2とネットワークNを介して接続されたクレーン4、カメラ5及びセンサ6とを含む。
【0015】
管理用コンピュータ1は、サーバ2により公開されるWebサイトの情報を閲覧するためのブラウザプログラムがインストールされている。ブラウザプログラムを以下「ブラウザ」と呼ぶ。
【0016】
クレーン4、カメラ5及びセンサ6は、鉄スクラップ検品場に配置されている。クレーン4は、鉄スクラップ検品場の高所に設置されたレール9上を水平方向に移動自在に配置されている。クレーン4は、トラック31の所定の停止位置から荷下ろし場所8までの間を移動する。
【0017】
クレーン4には、リフトマグネット3が下垂して昇降自在に配置されている。リフトマグネット3は、トラック31の荷台32に積載された鉄スクラップFを磁着する。リフトマグネット3に磁着された鉄スクラップFは、クレーン4により、矢印Aの方向に、荷下ろし場所8の上方まで移動され、その位置で落下される。鉄スクラップFには、ダスト及びスケール等の買取対象外の物質(禁忌物)が含まれている。ダストは、例えば粉砕された石の粉塵等の非鉄物質の粉末状の物質である。スケールは、鉄粉等である。
【0018】
カメラ5は、トラック31の停止位置から荷下ろし場所8に至る範囲を撮像範囲とするように鉄スクラップ検品場の高所に配置されている。具体的には、カメラ5は、トラック31の荷台32か下す鉄スクラップFやリフトマグネット3の可動範囲全体が映るような位置に設置される。
【0019】
カメラ5は、例えばパンチルトズームカメラ等が用いられる。パンチルトズームカメラを「PTZカメラ」と呼ぶ。このPTZカメラは、サーバ2により制御されて動作し、制御に応じて光軸(撮像方向)を向けるためのパン、チルト、ズーム等の機能を有する。
【0020】
カメラ5は、例えば30フレーム/秒程度で画像を撮像し出力する。カメラ5により撮影された画像を撮像画像と言う。撮像画像は、「動画像」と「静止画像」との両方を含むものとする。また、撮像画像は、例えば動画像内の各フレーム、連写された各写真等を含む。
【0021】
カメラ5は、サーバ2により制御されて撮像を開始及び終了する。この例では、カメラ5は、トラック31の荷台32からリフトアップされた鉄スクラップFが荷下ろし場所8の上方に移動されて落下された後、数秒間の画像を撮像する。
【0022】
センサ6は、クレーン4の高さでトラック31の停止位置から荷下ろし場所8までの間に配置されている。センサ6は、リフトマグネット3が荷台32の位置から荷下ろし場所8の方向へ移動するタイミング、つまり荷台32上空からリフトマグネット3が水平方向に動き出し、荷台32の位置から離れたタイミングを検出する。
【0023】
この他、鉄スクラップ検品場には、リモートコントローラが設けられている。リモートコントローラは、クレーン4やカメラ5にケーブルを介して接続される。リモートコントローラは、オペレータの操作によりカメラ5の向きや画角の変更や撮像開始及び終了、クレーン4の移動、リフトマグネット3の昇降等の手動制御が可能である。リモートコントローラとしては、ケーブル以外に、クレーン4やカメラ5と無線通信により接続されるものもある。
【0024】
図2は、図1の情報処理システムのうち、本発明の情報処理装置の第1実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。
【0025】
サーバ2は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
【0026】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0027】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19、及びドライブ20が接続されている。出力部16は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。入力部17は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。記憶部18は、ハードディスク等で構成され、各種情報のデータを記憶する。
【0028】
通信部19は、ネットワークNを介して他の管理用コンピュータ1との間で行う通信を制御する。ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
上記では、サーバ2のハードウェア構成を説明したが、サーバ2の機能的構成や処理の詳細については、図3以降の図面を参照して後述する。
【0029】
なお、図1の鉄スクラップ検品システムの管理用コンピュータ1は、図2に示したハードウェア構成と基本的に同様の構成を有している。従って、管理用コンピュータ1のハードウェア構成の図示とその説明は省略する。
【0030】
図3は、一実施形態の図1の鉄スクラップ検品システムのうち、図2のサーバ2の機能的構成の一例を示す機能ブロック図である。
【0031】
図3に示すように、サーバ2のCPU11は、取得部41、検出部42、算出部43、ログデータ生成部44及びWeb公開部45として機能する。
取得部41は、ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、カメラ5により時間的に離間して夫々撮像された際に、当該カメラ5から夫々出力される複数の撮像画像を取得する。所定範囲とは、例えば鉄スクラップ検品場の荷下ろし場所8の鉄スクラップFの落下位置周辺の空間である。
【0032】
取得部41は、カメラ5に対するトラッキング制御機能を有しており、カメラ5から取得される撮像画像の中のリフトマグネット3の画像を画角(撮像範囲)の中央に入れるようにカメラ5のパラメータを逐次変更し、リフトマグネット3の画像をカメラ5にトラッキング(追従)させる。パラメータは、パン、チルト、ズーム等の駆動制御のためのパラメータを含む。
【0033】
取得部41は、画像取得部51、画像切出部52、グレースケール化部53、イベント画像列挙部54、イベント画像分類部55を有する。
画像取得部51は、センサ6によりリフトマグネット3の通過が検知されたタイミングから撮像を開始したカメラ5により一定時間順次撮像される複数の撮像画像を取得する。
【0034】
一定時間とは、センサ6によりリフトマグネット3の通過が検知されたタイミングから、リフトマグネット3が荷下ろし場所8の上空まで移動され、その後、鉄スクラップFが落下し、所定時間経過する迄の時間を言う。所定時間は、鉄スクラップFの落下によって粉塵が飛散し、その煙が舞った後、煙の範囲が小さく収束するまでの間であり、一例として例えば30秒等である。
【0035】
画像切出部52は、画像取得部51により取得された複数の撮像画像のうち、リフトマグネット3の下部の画像をクロッピングする。クロッピングとは、元画像の一部の画像を切り出すことを言う。
【0036】
グレースケール化部53は、画像切出部52により切り出された撮像画像の各フレームについて、フレーム間差分の絶対値を計算してグレースケール化しフレーム間差分画像を生成する。この際、トラッキング誤差があるため、差分をとるフレームを上下左右に平行に移動させて、差分の合計が最も小さくなる位置にドリフトさせた上でフレーム間差分画像を生成する。
【0037】
イベント画像列挙部54は、グレースケール化部53により生成されたフレーム間差分画像の各画素値、又は閾値以上の差分となっている画素数の合計が予め設定されている閾値を超えている、画素値又は画素数の合計が大きなフレームをイベント画像群として列挙する。
【0038】
イベント画像分類部55は、リフトマグネット3の動作状況を検出したセンサ6の検知情報及び学習モデルを用いた分別により、イベント画像群を、鉄スクラップFの移送状況(リフトアップ時、移動時、落下時等)に応じて分類し記憶部18に記憶する。
【0039】
学習モデルは、移送状況に応じたイベント画像の分類の他に、撮像画像から鉄スクラップFに禁忌物が含まれているか否かや、鉄スクラップFに禁忌物が含まれている場合の禁忌物の位置や種類等の特定(AI解析)に利用される。
【0040】
検出部42は、複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出する。検出部42は、領域分割部61、フレーム選定部62、煙濃度画像生成部63を有する。
【0041】
領域分割部61は、イベント画像分類部55により分類された一つ以上の撮像画像のうち、落下時のものとして分類された撮像画像を記憶部18から読み出す。領域分割部61は、記憶部18から読み出した落下時の撮像画像(フレーム)に対応するフレーム間差分画像のうち、画素上の差分値が一定以上あるフレームについて差分が大きい画素とそれ以下の画素との間の領域分割を行う。つまりフレームの中で動きのある領域のみを抽出する。
フレーム選定部62は、領域分割部61により分割された領域の面積が最も大きなフレームを選択して、代表的な煙画像として記憶部18に記憶する。画素群の領域分割には、例えばレイブリング等の技術を用いるものとする。
【0042】
煙濃度画像生成部63は、フレーム選定部62により選択された代表的な煙画像と、落下をさせ始める直前の撮像画像との差分をとった画像を生成し、煙濃度画像として記憶部18に記憶する。煙濃度画像生成部63は、生成した煙濃度画像のうち、ある閾値以上の画素値の例えば平均、分散、中央値等の複数の統計値のベクトルを煙値として記憶部18に記憶する。
【0043】
算出部43は、検出部42により検出された煙画像から、煙の濃度と大きさに基づく、ダストの量を表す数値である煙値を算出する。
算出部43は、画像補正部71、煙値算出部72、煙値補正部73及びダスト量推定部74を有する。
【0044】
画像補正部71は、代表的な煙画像に含まれるリフトマグネット3の画像の見た目の大きさが、リフトアップ時のリフトマグネット3の大きさと一致するように代表的な煙画像の大きさを補正する。
例えば互いの画像中に写るリフトマグネット3の横幅が一致するように拡大又は縮小する等の方法が考えられる。
また、煙画像の中に写るリフトマグネット3の3次元空間上の位置(互いに直交するX軸、Y軸、Z軸の各軸の方向で指定される位置)と3次元空間における原点からの距離とから、互いの画像中のリフトマグネット3の大きさが一致するように拡大又は縮小してもよい。
【0045】
煙値算出部72は、補正された画像の状態での煙の領域をレイブリングにより求め、煙の領域を示すレイブリング結果の面積についても煙値として記憶部18に記憶する。レイブリング結果の面積とは、煙の領域を矩形で囲んだ場合の幅と高さを掛け合わせて求めた面積である。
【0046】
煙値補正部73は、煙値算出部72により算出された煙値を、空間の環境条件を基に補正する。空間の環境条件とは、例えば荷下ろし場所8の明るさ、温度、湿度、広さ等の条件である。これにより、画像取得時の環境差を吸収し、煙値を正規化する。
【0047】
ダスト量推定部74は、煙濃度画像生成部63により生成されて記憶部18に記憶された煙濃度画像と、予め用意した鉄スクラップとダスト量との相関関係を示す学習モデルとに基づいて、落下したダストの量を推定する。学習モデルの構築に、例えばYolo等を用いる。Yoloは、“You only look once”の略称であり、リアルタイム画像認識を行うアルゴリズム及びその実装の一つであり、実際の撮像画像を機械学習することで学習モデルが構築される。
【0048】
煙値補正部73により補正された煙値は、煙の濃さや大きさ等が正規化されているため、他の検収場所での検収時における相対値としての比較は可能であるが、実際にどの程度のダスト量でどの程度の煙として現れるかといった絶対値にはならない。
【0049】
そこで、実際に鉄スクラップFにN%(Nは100までの正の数)ずつダストを混ぜたトラックを用意し、リフトマグネット3から落下させて、N%時の煙値やログデータを計測した実測データであるグランドトゥルースを数種類、事前に用意しておく。例えば0%から0.1%ずつ10%までの100種類のグランドトゥルースを取得しておく。
【0050】
ダスト量推定部74は、検収時に求めた煙値と上記グランドトゥルース(実測データ)とを比較して、検収時に求めた煙値に近似するグランドトゥルース(実測データ)のNを推定ダスト量とする。
【0051】
ログデータ生成部44は、カメラ5により撮像され、取得した一連の撮像画像(トラック31の荷台32に積載された鉄スクラップFの荷姿画像、上記イベント画像群、煙画像、煙濃度画像)及び煙値をログデータとして記憶部18に記憶する。
【0052】
この際、ログデータ生成部44は、分類上の文字とペアにして、オペレータにより入力された販売会社又はトラックを識別するための識別情報(この例ではトラックIDと呼ぶ)や日付、リフトアップしたカウント等の属性情報を紐付け(対応させ)て記憶する。
Web公開部45は、ログデータ生成部44により生成されたログデータをWebコンテンツにして、このサーバ2にログインした閲覧権限を持つユーザに対して公開する。
【0053】
記憶部18には、予め学習モデルが記憶されている、学習モデルは、予め用意したリフトアップ時、移動時、落下時毎に分類されたイベント画像群等について機械学習を行い、モデル化したものである。学習モデルは、画像が入力されると、リフトアップ時、移動時、落下時のいずれかに分類された画像を出力する。
【0054】
次に、図4乃至図6を参照して、このサーバ2により実行されるダスト量の処理について説明する。図4は、クレーン4によりリフトマグネット3に磁着された鉄スクラップFが荷下ろし場所8まで移動された様子を示す図である。図5は、図3の機能的構成を有するサーバ2により実行される煙値算出処理の流れの一例を示すフローチャートである。図6は、ダストを含む煙が舞う複数の撮像画像の中から選定された代表の撮像画像を示す図である。
【0055】
この鉄スクラップ検品システムの場合、サーバ2は、カメラ5により撮像される撮像画像から鉄スクラップFに含まれるダストの量を表す数値である煙値を求める処理を以下のように実行する。
【0056】
この実施形態の鉄スクラップ検品システムでは、販売会社のトラック31が荷下ろしする位置に停止すると、オペレータが入力部17からトラック31のトラックIDを入力すると共に、リモートコントローラを操作して、カメラ5の光軸をトラック31が荷下ろしする位置の方向へ向ける。オペレータは、クレーンを操作する操作者である。この他に、検収員がいる。検収員は、トラック31で搬入された鉄スクラップFを検品及び等級付けをする。
【0057】
続いて、リフトマグネット3を降下させる前に、オペレータが入力部17を操作して、トラック31の荷台32の鉄スクラップFの画像をカメラ5に撮像させ荷姿画像として記憶部18に記憶する。
【0058】
ここで、オペレータがリモートコントローラを操作して、クレーン4を移動させてトラック31の荷台32の鉄スクラップFの位置にリフトマグネット3を降下させて、リフトマグネット3に鉄スクラップFを磁着させる。
【0059】
そして、オペレータがリモートコントローラを操作して、リフトマグネット3を上昇させて、鉄スクラップFをリフトアップする。そして、クレーン4を水平方向に移動させると、サーバ2の取得部41が、カメラ5から取得される撮像画像の中のリフトマグネット3の画像を画角(撮像範囲)の中央に入れるようにカメラ5のパラメータを制御し、リフトマグネット3の画像をトラッキング(追従)する。
【0060】
リフトマグネット3が水平方向に移動して、センサ6の位置に達すると、センサ6が検出してカメラ5に検出信号を送信する。センサ6からの検出信号を受信したカメラ5は、画像の撮像を開始しサーバ2へ送信する。
そして、図4に示すように、リフトマグネット3が荷下ろし場所8の上方の位置に到達すると、鉄スクラップFを落下させる。これにより、鉄スクラップFと鉄スクラップFに含まれるダスト及びスケール等を含む買取対象外の物質(禁忌物)が荷下ろし場所8に落下する。
サーバ2では、図5のステップS11において、取得部41が、ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間が、カメラ5により時間的に離間して夫々撮像された際に、当該カメラ5から夫々出力される複数の撮像画像を取得する。
【0061】
次に、ステップS12において、検出部42は、取得部41により取得された複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出する。
【0062】
ステップS13において、算出部43は、検出部42により検出された煙画像から、煙の濃度と大きさに基づく、ダストの量を表す数値である煙値を算出する。
【0063】
以下、サーバ2の動作を詳細に説明する。
サーバ2の取得部41では、画像取得部51が、センサ6によりリフトマグネット3の通過が検知されたタイミングから撮像を開始したカメラ5により一定時間、順次撮像される複数の撮像画像を取得する。
【0064】
画像切出部52は、画像取得部51により取得された複数の撮像画像のうち、リフトマグネット3の下部の画像をクロッピングする。
【0065】
グレースケール化部53は、画像切出部52により切り出された撮像画像の各フレームについて、フレーム間差分の絶対値を計算してグレースケール化しフレーム間差分画像を生成する。この際、トラッキング誤差があるため、差分をとるフレームを上下左右に平行に移動させて、差分の合計が最も小さくなる位置にドリフトさせた上でフレーム間差分画像を生成する。
【0066】
イベント画像列挙部54は、グレースケール化部53により生成されたフレーム間差分画像の各画素値、又は閾値以上の差分となっている画素数の合計が予め設定されている閾値を超えている画素値又は画素数の合計が大きなフレームをイベント画像群として列挙する。
【0067】
イベント画像分類部55は、リフトマグネット3の動作状況を取得するセンサ6の検知情報及び学習モデルを用いた分別により、イベント画像群を、鉄スクラップFの移送状況(リフトアップ時、移動時、落下時等)に応じて分類し記憶部18に記憶する。
【0068】
検出部42では、イベント画像分類部55により分類された一つ以上の撮像画像のうち、落下時のものとして分類された撮像画像を領域分割部61が記憶部18から読み出す。
領域分割部61は、記憶部18から読み出した落下時の撮像画像(フレーム)のうち、画素上の差分値が一定以上あるフレームについての画素群とそれ以下の画素群との領域分割を行う。つまりフレームの中で動きのある領域とそうでない領域を分割する。
【0069】
フレーム選定部62は、領域分割部61により分割された動きのある領域の面積が最も大きなフレームを選択して、代表的な煙画像として記憶部18に記憶する。画素群の領域分割には、例えばレイブリング等の技術を用いるものとする。
【0070】
煙濃度画像生成部63は、フレーム選定部62により選択された代表的な煙画像と、落下をさせ始める直前の撮像画像との差分をとった画像を生成し、煙濃度画像として記憶部18に記憶する。
そして、煙濃度画像生成部63は、生成した煙濃度画像のうち、ある閾値以上の画素値の例えば平均、分散、中央値等の統計値を煙値として記憶部18に記憶する。
【0071】
画像補正部71は、代表的な煙画像に含まれるリフトマグネット3の画像の見た目の大きさが、リフトアップ時のリフトマグネット3の大きさと一致するように代表的な煙画像の大きさを補正する。
【0072】
煙値算出部72は、画像補正部71により補正された画像の状態での煙の領域をレイブリングにより求め、煙の領域を示すレイブリング結果の面積や縦横の長さについても煙値として記憶部18に記憶する。
【0073】
なお、煙値を求める方法として、矩形で囲んだ領域の面積を求める以外に、画素濃度が閾値以下の単位画素の範囲(画像の白い部分)を線分で囲んだ面積から求めてもよい。
一例として、例えば、図6に示すように、煙画像の中で、落下前の撮像画像と落下後の代表煙画像との差分をとって、鉄スクラップFを除いた煙81の領域の画像を生成し、煙81の領域の面積やモーメントを煙値として算出する。
【0074】
煙値補正部73は、煙値算出部72により算出された煙値を、予め設定しておいた空間の環境条件を基に補正する。空間の環境条件とは、例えば荷下ろし場所8の明るさ、温度、湿度、広さ等の条件である。これにより、画像取得時の環境差を吸収し、煙値を正規化する。
【0075】
ダスト量推定部74は、検収時に求めた煙値と予め取得したグランドトゥルース(実測データ)とを比較して、検収時に求めた煙値に近似するグランドトゥルース(実測データ)のNを推定ダスト量とする。ダストの量を推定する上で用いる煙値は、補正された煙値又は補正前の煙値何れかであればよい。
【0076】
ログデータ生成部44は、カメラ5により撮像され、取得した一連の撮像画像(トラック31の荷台32に積載された鉄スクラップFの荷姿画像、鉄スクラップFを移送中の撮像画像群、イベント画像群、煙画像、煙濃度画像等)、煙値及び推定ダスト量等をトラックIDに紐づけたログデータとして記憶部18に記憶する。
【0077】
この際、ログデータ生成部44は、分類上の文字とペアにして、オペレータにより入力されたトラックIDや日付、リフトアップしたカウント等の属性情報を紐付けて記憶する。
Web公開部45は、ログデータ生成部44により生成されたログデータをWebコンテンツにして、このサーバ2にログインした閲覧権限を持つユーザに対して公開する。
従って、管理者は、管理用コンピュータ1からネットワークNを通じてサーバ2にログインし、管理者権限で、Web公開部45により公開されるログデータ(煙画像、煙値及び推定ダスト量等)を閲覧することができ、鉄スクラップ検品場(現地)に出向くことなく、検収状況を知ることができる。
【0078】
このようにこの実施形態によれば、ダストを含む禁忌物が落下することによりダストに基づく煙が舞う空間がカメラ5により動画像として撮像された際に、カメラ5から夫々出力される動画像内の各フレームを取得し、取得した複数の撮像画像のうち煙の領域が最大の撮像画像を、煙画像として検出するので、検出した煙画像から、検収対象の鉄スクラップFに含まれる禁忌物の量を客観的に判断できるようになる。
また、煙画像から、煙の濃度と大きさに基づいてダスト量を表す煙値や推定ダスト量を求めることで、煙値や推定ダスト量に基づいて、検収対象の鉄スクラップFに含まれる禁忌物の量を定量的に判断できるようになる。
さらに、トラック31から鉄スクラップFを荷下ろし場所8へ移送し落下させた後、一定時間(数十秒程度)の撮像画像(動画像)、煙値及び推定ダスト量等の一連の情報を閲覧権限のある管理者や検収員に公開することで、検収員以外の第三者が検収状況を半リアルタイムで閲覧可能になるので、検収の公平性及び公正性を向上することができる。
また、鉄スクラップFに禁忌物が含まれる量から、鉄スクラップFの等級等の品質についても判定することができる。
さらに、検収結果の履歴を保存しておくことで、現在と過去の検収状況や鉄スクラップFの種類の違いを比較することができる。
禁忌物として、例えば危険物やトランプエレメント等が含まれていた場合に、その場所を特定し、アラームを発報することで、作業の安全性を向上することができる。また、鉄スクラップFの検収結果として、鉄スクラップFに混入していた禁忌物の画像を添付したレポートを作成することで、販売会社に対して今後の鉄スクラップ納入のための注意喚起を促すことができる。
学習モデルを構築する上で、元となる教師画像(教師データ)を、検収済の鉄スクラップFの山を背景に様々なアングルで撮像しておくことで、実際の運用状況に近づき、禁忌物の検出精度を向上することができる。
【0079】
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理装置(例えば図3等のサーバ2)は、
ダストを含む禁忌物が落下することにより当該ダストに基づく煙が舞う所定範囲の空間(例えば図1の荷下ろし場所8付近の空間)が、撮像手段(例えば図3のカメラ5等)により時間的に離間して夫々撮像された際に、当該撮像手段から夫々出力される複数の撮像画像(例えば動画像内の各フレーム、連写された各写真)を取得する取得手段(例えば図3の取得部41等)と、
前記複数の撮像画像のうち前記煙の領域が最大の撮像画像を、煙画像として検出する検出手段(例えば図3の検出部42等)と、
を備える。
このように画像処理により煙の領域が最大の煙画像を検出することで、検収員の目測や技量に左右されることなく、本来の鉄スクラップFの量を定量的に判定し、鉄スクラップFを検収することができる。
また、前記煙画像から、前記煙の濃度と大きさに基づく、前記ダストの量を表す数値(煙値)を算出する算出手段(例えば図3の算出部43)、
をさらに備える。
このように画像処理による機械的な基準を煙値として提示することによって、検収対象の鉄スクラップに含まれる禁忌物(非鉄物質等の粉塵としてのダストやスケール等の鉄粉)の量を客観的に判断できるようになる。
また、前記算出手段により算出された数値を、前記空間の環境条件を基に補正する補正手段(例えば図3の煙値補正部73等)、
をさらに備える。
このように煙値を補正し正規化することで検収場所における環境差を吸収するので、他の検収場所との比較でダストの量を公平に判断できるようになる。
前記数値と、予め用意した鉄スクラップとダスト量との相関関係のデータとに基づいて、落下した前記ダストの量を推定するダスト量推定手段(例えば図3のダスト量推定部74等)、
をさらに備える。
これにより、実質的なダストの量を判断することができる。
前記ダスト量推定手段により推定されたダストの量、前記ダストの量を表す前記数値、前記煙画像、前記撮像画像のうちの一つ以上を、許可されたユーザに提供する提供手段(例えば図3のWeb公開部45等)、
をさらに備える。
これにより、許可されたユーザが現場に出向くことなく、検収場所での鉄スクラップ検収状況を閲覧し確認することができるようになる。
【0080】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図1のシステム構成や図3の機能的構成は例示に過ぎず、特に限定されない。
例えばサーバ2は、
カメラ5により撮像される画像を取得する画像取得手段と、
前記画像取得手段により取得された画像から、前記荷下ろし場所に落下された前記鉄スクラップ周辺に粉塵が飛散して舞う煙の画像を抽出する煙画像抽出手段と、
前記煙画像抽出手段により抽出された煙の画像に含まれるリフトマグネットの第1画像と前記リフトアップ時の前記リフトマグネットの第2画像との大きさが合致するよう前記煙画像の大きさを補正する画像補正手段と、
前記画像補正手段により補正された前記煙画像の煙の領域から煙値を算出する煙値算出手段と、
を備えてもよい。
【0081】
また、上記図1の例では、カメラ5にPTZカメラを用い、このPTZカメラ一台でリフトマグネット3の可動範囲全体を撮像する例について説明したが、カメラ5の撮像範囲がリフトマグネット3の可動範囲全体をカバーできない場合は、複数のカメラ5を設置した上で、それら複数のカメラ5を協調動作させて、少なくとも1台以上のカメラ5で可動範囲全体を撮像できるようにする。
【0082】
また、カメラ5に、例えばPTZカメラではないカメラを用いてリフトマグネット3の可動範囲全体を撮像する場合は、撮像範囲が広いためリフトマグネット3の部分の画像が小さくなるため、リフトマグネット3の画像部分をトリミングし拡大して利用してもよい。
【0083】
移動するリフトマグネット3の位置や状態をサーバ2が把握するため、リフトマグネット3をオペレータがリモートコントローラ等の操作端末で操作した際に、操作端末からの制御信号を受けてリフトマグネット3を制御する制御盤に転送回路を設けておき、転送回路からサーバ2へリフトマグネット制御信号を送るようにしてもよい。
【0084】
また、カメラ5からリフトマグネット3の位置を把握するための光ビーコンをリフトマグネット3に取り付けておき、カメラ5により撮像された撮像画像上において各撮像画像(各フレーム)の光ビーコンの位置を検出して、光ビーコンの取り付け位置からリフトマグネット3の位置を把握するようにしてもよい。
【0085】
さらに、リフトマグネット3の制御信号から3次元空間上におけるリフトマグネット3の位置が把握できる場合、予めカメラ5の位置を正確に校正しておくことによって、カメラ位置とその3次元空間上におけるリフトマグネット3の位置の直線距離を求めることができるため、カメラの光軸がその直線に一致するよう制御すればよい。
【0086】
また、本実施形態では、リフトマグネット3の位置の追従に、コンピュータビジョンにおけるトラッキング技術を用いて行うが、鉄スクラップFを磁着するときや落下させるときのタイミングは、既存の機械学習の技術により、特別な検出手段や装置を用いることなく決定することができる。
【0087】
上記実施形態では、サーバ2に、カメラ画像の取得、煙検出、煙値算出等の機能を備えたが、これらの機能を管理用コンピュータ1に備えてもよい。この場合、管理用コンピュータ1にインストールされるアプリケーションソフトウェアとして実現することが好ましい。本発明の機能をアプリケーションソフトウェアとして実現することで、情報処理装置として、サーバ2やノート型の管理用コンピュータ1の他、例えばタブレット端末やスマートフォン等を利用可能になり、利用シーンを広げることができる。
また、上記実施形態では、管理用コンピュータ1にインストールしたブラウザにて、サーバ2により公開されるWebサイトの情報を閲覧するようにしたが、この他、例えばヘッドマウントディスプレイ(以下「HMD」と呼ぶ)や拡張現実デバイス(Augmented Reality Device)や複合現実デバイス(Mixed Reality Device)等を用いて鉄スクラップ検品の様子や推定したダスト量等を現実空間の様子に重ねて閲覧するようにしてもよい。
さらに、上記実施形態では、鉄スクラップとダスト量との相関を予め学習した学習モデルを用いてダスト量を推定したが、この他、煙値とダスト量との間の相関と推定を、例えば重回帰分析等の解析技術により行ってもよい。
【0088】
即ち、上述した一連の処理を全体として実行できる機能が鉄スクラップ検品システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3の機能的構成の例に限定されるものではない。また、機能ブロックの存在場所も、図3に特に限定されず、任意でよい。
【0089】
また、例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0090】
また、例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0091】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【符号の説明】
【0092】
1・・・管理用コンピュータ、2・・・サーバ、3・・・リフトマグネット、4・・・クレーン、5・・・カメラ、6・・・センサ、8・・・荷下ろし場所、9・・・レール、11・・・CPU、31・・・トラック、32・・・鉄スクラップ、41・・・取得部、42・・・検出部、43・・・算出部、51・・・画像取得部、52・・・画像切出部、53・・・グレースケール化部、54・・・イベント画像列挙部、55・・・イベント画像分類部、61・・・領域分割部、62・・・フレーム選定部、63・・・煙濃度画像生成部、71・・・画像補正部、72・・・煙値検出部、73・・・煙値補正部、74・・・ダスト量推定部
図1
図2
図3
図4
図5
図6