特許 7299570 土中異物除去装置及び土中異物除去方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-20

(45)【発行日】2023-06-28

(54)【発明の名称】土中異物除去装置及び土中異物除去方法

(51)【国際特許分類】

   B07C 5/342 20060101AFI20230621BHJP

   G06T 7/00 20170101ALI20230621BHJP

   B09B 5/00 20060101ALI20230621BHJP

【ＦＩ】

B07C5/342

G06T7/00 610B

G06T7/00 350B

B09B5/00 F ZAB

【請求項の数】 9

(21)【出願番号】P 2020210424

(22)【出願日】2020-12-18

(65)【公開番号】P2022097064

(43)【公開日】2022-06-30

【審査請求日】2022-10-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】599002043

【氏名又は名称】学校法人 名城大学

(73)【特許権者】

【識別番号】594035323

【氏名又は名称】昭和鋼機株式会社

(74)【代理人】

【識別番号】100103207

【弁理士】

【氏名又は名称】尾崎 隆弘

(72)【発明者】

【氏名】田崎 豪

(72)【発明者】

【氏名】亀田 陽平

【審査官】板澤 敏明

(56)【参考文献】

【文献】特開２０２０－０４１８０１（ＪＰ，Ａ）

【文献】特開２０２０－０６２６３３（ＪＰ，Ａ）

【文献】特開２００２－３１６１００（ＪＰ，Ａ）

【文献】特開２００８－２１５８６２（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１６８４２６８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ０７Ｃ ５／３４２

Ｂ０９Ｂ ５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像し、この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出部と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算部と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去部と、
を備え、
前記異物検出部が、前記距離画像に基づいて、異物の画像を土と同様の画像に変換するように機械学習された学習画像を作成し、前記学習画像と前記距離画像とを比較することにより、前記異物位置を検出することを特徴とする土中異物除去装置。

【請求項2】

前記学習画像と前記距離画像の差分を演算し、この差分に基づいて、前記異物位置を検出することを特徴とする請求項１記載の土中異物除去装置。

【請求項3】

距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像し、この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出部と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算部と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去部と、
を備え、
前記異物検出部は、可視光撮像部により搬送部上を移動中の土及び異物の可視光画像を撮像し、該可視光画像に基づいて、異物を土として認識された可視光学習画像を作成し、前記可視光学習画像と前記可視光画像とを比較することにより、前記異物位置を検出することを特徴とする土中異物除去装置。

【請求項4】

距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像し、この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出部と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算部と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去部と、
を備え、
訓練データ取得部をさらに備え、
前記訓練データ取得部は、作業員による異物除去作業中の搬送部を前記距離画像撮像部で撮像した距離画像を取得し、作業員の手がない距離画像を、機械学習に使用する訓練データとして用いることを特徴とする土中異物除去装置。

【請求項5】

前記距離画像撮像部は、前記異物除去部のハンドが到達できる到達可能範囲を観測する第１位置と、該第１位置よりも異物搬送方向の上流側で、前記到達可能範囲の外を観測する第２位置の少なくとも二か所以上の位置に配置することを特徴とする請求項３又は４いずれかに記載の土中異物除去装置。

【請求項6】

距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像する工程と、
この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出工程と、
該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算工程と、
前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去工程と、
を備え、
前記異物検出工程が、前記距離画像に基づいて、異物の画像を土と同様の画像に変換するように機械学習された学習画像を作成し、前記学習画像と前記距離画像とを比較することにより、前記異物位置を検出することを特徴とする土中異物除去方法。

【請求項7】

前記学習画像と前記距離画像の差分を演算し、この差分に基づいて、前記異物位置を検出することを特徴とする請求項６記載の土中異物除去方法。

【請求項8】

前記異物検出工程は、可視光撮像部により搬送部上を移動中の土及び異物の可視光画像を撮像し、該可視光画像に基づいて、異物を土として認識された可視光学習画像を作成し、前記可視光学習画像と前記可視光画像とを比較することにより、前記異物位置を検出することを特徴とする請求項６又は７に記載の土中異物除去方法。

【請求項9】

前記異物検出工程は、作業員による異物除去作業中の搬送部を前記距離画像撮像部で撮像した距離画像を取得し、作業員の手がない距離画像を、前記機械学習に使用する訓練データとして用いることを特徴とする請求項６～８いずれかに記載の土中異物除去方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、搬送部上の土から改良土に含めてはいけない異物を除去する土中異物除去装置及び土中異物除去方法に関する。

【背景技術】

【0002】

特許文献1は、周辺に粉塵等を飛散させることなく、残土を効率的かつ、精度よく選別できる残土選別システムを提供する。この残土選別システムは前処理工程と、選別装置を備えた本処理工程とから構成される。前処理工程では、ベルトコンベアに投入された残土は、磁選機によって磁性物が除去され、ベルトコンベアでは手選別によって大きな廃棄物が除去される。前処理工程で処理された残土は、ベルトコンベアにより選別装置の分離金網に自動的に供給され、選別装置において、土砂、ゴミ、残留物の３つのクラスに分離選別される。

【0003】

特許文献2の廃棄物捕捉装置は、小型化が可能で、品目等の種類の多い廃棄物を容易に回収することができる。この廃棄物捕捉装置は、ベルトコンベアの上面に載せられた廃棄物に対して側方から突き当たる正面（突き当たり面）を有するバンパ部材乃至スライド部材（突き当て部材）及び廃棄物をバンパ部材乃至スライド部材との間に挟むように動く爪部材（挟み部材）を有するハンド装置と、ハンド装置をベルトコンベア上で移動させる面内移動動作及び上下に移動させる上下動作を行うロボットハンドと、を備える。

【0004】

特許文献3は、大掛かりな装置を必要とすることなく、しかも連続的かつリアルタイムで土壌改質の要否を判定することができる技術を提供する。特許文献3の土壌改質判定装置は、改質段階分類モデルを用い、改質段階分類によって土壌の改質要否を判定する装置であって、搬送手段と画像取得手段、土壌分類手段を備えたものである。改質段階分類モデルとは、改質段階ごとに用意された各「サンプル画像」から切り出された複数の「小領域画像」を学習することによって作成されるものである。このうち土壌分類手段は、小領域画像と同一サイズで取得した画像と改質段階分類モデルに基づいて土壌の改質段階分類を行う手段である。

【0005】

特許文献4の発明は、選別精度を効果的に向上できる廃棄物選別装置を提供するため、廃棄物を搬送するコンベヤと、コンベヤ上の廃棄物の形状及び高さを測定する３Ｄセンサと、コンベヤ上の廃棄物を撮影する可視光カメラと、コンベヤで搬送される廃棄物が金属と非金属のいずれであるかを検知する金属センサを備え、可視光カメラ及び金属センサからの情報に基づいて、判別装置の判別部により廃棄物の材質が判別される。判別は、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いた判別モデルを有する。判別部で材質が判別された廃棄物のうち、正判別率が所定値以上の材質の廃棄物が、ロボットアームによってコンベヤから回収され、材質に対応する収集箱に投入されて選別される。

【先行技術文献】

【特許文献】

【0006】

【文献】特開2004-305873号公報

【文献】特開2016-68034号公報

【文献】特開2020-41801号公報

【文献】特開2020-62633号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献1は、磁気で吸着できる物体や、ふるいで除去できる大きなサイズの物体に限定して、土から異物を除去する発明であり、磁気で吸着できない物体や小さなサイズの物体に関しては除去することができない。

【0008】

特許文献2は、ベルトコンベア上に分別可能な既知の廃棄物だけが並べられた状態で廃棄物を除去する発明であり、分別困難な未知の異物の除去は困難である。

【0009】

特許文献3は、改質段階ごとに用意された各「サンプル画像」から切り出された複数の「小領域画像」を学習することによって作成されるものではあるが、土に埋もれた異物のように学習が極めて困難な事情のある異物の場合には適用ができない。

【0010】

特許文献4は、教師有り学習によってアルゴリズムを成長させるニューラルネットワークを用いてはいるが、土に埋もれた異物のように学習が極めて困難な事情のある異物の場合には適用ができない。

【0011】

上記の特許文献1～4に示す機械的手段によって、土に埋もれた異物をベルトコンベアから自動的に除去できず、やむなく、目視により、手作業で除去している。例えば、建設土木発生土がリサイクルセンター等に搬入され埋戻材として製造される過程で、異物を、50m/minの速度で移動するコンベア上から人手による選別作業を行っている。廃棄物のサイズは、例えば、数センチから30センチ、重量は最大10kgである。

【0012】

このように、従来の発明は、機械で分別できる特定の廃棄物を扱っており、ベルトコンベア上には廃棄対象物だけあることが前提であり、土に埋もれた異物を自動的に除去することはできず、手作業に依存するしかないのが現状である。

【0013】

そこで、本発明は、土に埋もれ、機械では除去が困難な異物を、自動選別する土中異物除去装置を提供することを目的とする。

【課題を解決するための手段】

【0014】

本発明の土中異物除去装置は、距離画像撮像部により搬送部上の移動中の土及び異物までの距離を示す距離画像を撮像し、この距離画像に基づいて、前記異物の位置を示す異物位置を検出する異物検出部と、該異物位置に基づいて、前記異物の把持位置を示す異物把持位置を決定する異物把持位置演算部と、前記異物把持位置に基づいて、前記異物を把持し、土から除去する異物除去部と、を備えることを特徴とする。

【0015】

「土中」としたのは、表現を簡素にする趣旨であり、土の中に異物が埋まっている場合だけではなく、異物の一部が土中にはあるが、他の部分は、土の表層に露出している場合も含むという意味である。「土」は建築土木発生土を含む。

【0016】

「搬送部」とは、土と異物を所定方向に連続搬送するものであり、ベルトコンベア、スチールコンベア等が挙げられる。

【0017】

「異物」とは、土中にある既知又は未知の異物である。例えば、公共工事等で発生する建設土木発生土に含まれる、木片、塩化ビニール、がれき、鋳物、軍手、ペットボトルなど一般に夾雑物と呼ばれるもの等を含む廃棄物のことである。

【0018】

「距離画像撮像部」とは、物体表面との距離に応じて、撮像された画像の各画素のデータが変わる画像を撮像する装置である。例えば、ステレオカメラ、RGBDカメラ、レーザー距離計測器がある。「距離画像」とは、物体表面と距離画像撮像部の距離に応じて、撮像された画像の各画素のデータが距離に応じて変わる画像である。「距離画像」と併せて「可視光画像」を用いることもある。

【0019】

「異物の位置」は、距離画像撮像部を原点とする、異物の三次元の位置である。

【0020】

「前記異物の把持位置を示す異物把持位置を決定する」とは、把持位置の三次元位置を特定することをいい、例えば、異物の位置を搬送部座標系に変換し、搬送部の搬送速度を考慮して、前記異物の把持位置を示す異物把持位置を決定することが挙げられる。

【0021】

前記異物検出部が、前記距離画像に基づいて、異物の画像を土と同様の画像に変換するように機械学習された学習画像を作成し、前記学習画像と前記距離画像とを比較することにより、前記異物位置を検出することを特徴とする。

【0022】

「異物の画像を土と同様の画像に変換する」とは、異物を土として認識するように変換することをいう。異物を除外した土だけのデータで学習を行っているため、土の学習に特化している。

【0023】

「機械学習」とは、経験からの学習により自動で改善するコンピューターアルゴリズムで、人工知能の一種である。「訓練データ」と呼ばれるデータを使って学習し、この学習を用いて、土中の異物を識別する処理を行う。代表的にはニューラルネットワークを用いて学習する。

【0024】

「前記学習画像と前記距離画像とを比較」とは、前記学習画像と前記距離画像の各画素の対応するデータを比較することをいう。

【0025】

この機械学習では、異物を含めたデータで学習を行っていないため、土を学習させたニューラルネットワークは、異物を異物と認識できず、異物を土のデータに変換する。

【0026】

前記学習画像と前記距離画像の差分を演算し、土の画像が打ち消しあうことから、この差分に基づいて、前記異物位置を検出する。

【0027】

「前記学習画像と前記距離画像の差分を演算」とは、前記学習画像と前記距離画像の各画素の対応するデータの差分を演算することをいう。

【0028】

前記異物検出部は、可視光撮像部により搬送部上を移動中の土及び異物の可視光画像を撮像し、該可視光画像に基づいて、異物を土として認識された可視光学習画像を作成し、前記可視光学習画像と前記可視光画像とを比較することにより、前記異物位置を検出する。

【0029】

「前記可視光学習画像と前記可視光画像とを比較」とは、前記可視光学習画像と前記可視光画像の各画素の対応するデータを比較することをいう。

【0030】

訓練データ取得部をさらに備え、前記訓練データ取得部は、作業員による異物除去作業中の搬送部を前記距離画像撮像部で撮像した距離画像を取得し、作業員の手がない距離画像を、前記機械学習に使用する訓練データとして用いる。

【0031】

前記距離画像撮像部は、前記異物除去部の近傍で前記異物除去部のハンドが到達できる到達可能範囲を観測する位置と、前記異物除去部の近傍よりも手前で、前記到達可能範囲の外を観測する位置の少なくとも二か所以上の位置に配置することを特徴とする。

【0032】

前記異物把持位置演算部は、前記異物除去部を、前記手前の距離画像撮像部で検出した位置で予測される位置よりも高い位置に制御しておく位置制御部を有することを特徴とする。

【発明の効果】

【0033】

請求項１の発明により、距離画像を用いていることから、建設土木発生土等から、機械によって選別しきれず、手作業でしか除去できなかった、夾雑物等のような異物を自動的に除去することができる。建設土木発生土等を産業廃棄物として処分する必要がなく、資源の有効活用を図ることができる。

【0034】

請求項１の発明により、異物の画像を土と同様の画像に変換するように機械学習された学習画像を作成するので、異物の精度が向上する。

【0035】

請求項２の発明により、学習画像と距離画像の差分を演算し、この差分に基づいて、異物把持位置を演算するので、土の画像が打ち消しあうことで、異物の検出の精度が向上する。

【0036】

請求項３の発明により、可視光画像も撮像し利用するので、ニューラルネットワークの種類が増大し、多様な学習を行うことができる。

【0037】

請求項４の発明により、訓練データ取得部を備えるので、容易に訓練データの蓄積や、更新を図ることができる。

【0038】

請求項５の発明により、前記距離画像撮像部は、ハンドの到達可能範囲の内外を観測することができるので、異物の見落としを防止できる。

【0040】

請求項６～９の発明も請求項１～５と同様の効果を奏する。

【図面の簡単な説明】

【0041】

【図1】本発明の実施形態1の土中異物除去装置に関する基本構成の一例を示した説明図である。

【図2】本発明の実施形態1の土中異物除去装置に関する構成の一例を示した斜視図である。

【図3】同じく土中異物除去装置の電子回路から構成される制御部のブロック図である。

【図4】同じく距離画像に基づく機械学習の説明図である。

【図5】可視光画像と距離画像の一例である。

【図6】同じく可視光画像及び距離画像に基づく機械学習の説明図である。

【図7】同じく距離画像カメラで撮像した画像に基づく異物検出処理のフローチャートである。

【図8】同じくハンドによる土中異物除去処理のフローチャートである。

【図9】本発明の実施形態2の土中異物除去装置に関する基本構成の一例を示した説明図である。

【図10】本発明の実施形態2の土中異物除去装置の訓練データとして使用しない画像（a）と使用する画像（b）の一例を示す写真図である。

【図11】本発明の実施形態2の学習処理のフローチャートである。

【発明を実施するための形態】

【0042】

［発明を実施するための形態1］
以下、本発明にかかる土中異物除去装置100について図面を参照して説明する。この土中異物除去装置100は、距離画像カメラ1（以下、カメラ1という。）によりベルトコンベア2（以下、コンベア2という。）上の移動中の、異物Fを含む土Sまでの距離を示す距離画像Dを撮像し、この距離画像Dに基づいて、この異物Fの画像上での異物位置P(x,y,z)を検出する異物検出部3と、この異物位置P(x,y,z)に基づいて、異物把持位置G(x,d,z)を決定する異物把持位置演算部4と、この異物把持位置G(x,d,z)に基づいて、異物Fを把持し、土Sから除去する異物除去ハンド5a（以下、ハンド5aという。）を有する異物除去部5と、を備えることを特徴とする。本実施形態においては、土中異物除去装置100が各種制御及び演算を行う制御部6を備えており、異物検出部3及び異物把持位置演算部4は、制御部6に設けられている。以下、各要素について図面を参照して説明する。

【0043】

カメラ1は、図2に示すように、ハンド5aが到達できるハンド到達可能範囲R（以下、到達可能範囲Rという。）を観測する位置と、この到達可能範囲Rの外を観測する位置の二か所に設置することができる。カメラ1は、二か所以上設けてもよい。

【0044】

カメラ1は、カメラ画角内のコンベア2上の土S及び異物Fまでの距離画像Dを取得して、異物検出部3へ出力する。ステレオカメラやRGBDカメラを使用した場合は、可視光画像Uも同期して取得する。同期して各画素が対応するように取得された可視光画像Uと距離画像Dの一例を図5に示す。距離画像Dは一例であり、距離に応じて各画素のデータが変わるデータが取得できればよい。レーザー距離計測器だけの場合は距離画像Dを取得する。距離画像Dを取得できるセンサであれば、ステレオカメラ、RGBDカメラ、レーザー距離計測器に限らない。

【0045】

カメラ1は、異物除去部5の近傍と、異物除去部5の近傍よりも遠方の少なくとも二か所の位置に配置する。コンベア2には、異物除去部5が到達可能な到達可能範囲Rが設定されている。

【0046】

異物検出部3は、カメラ1からの距離画像Dだけを受信する場合と、可視光画像Uも受信する場合の二通りの構成がある。

【0047】

異物検出部3がカメラ1からの距離画像Dだけを受信する場合を説明する。距離画像Dを使用し、可視光画像Uを使用しない実施形態では、異物検出部3はカメラ1が取得した距離画像Dを入力とし、距離画像D内に異物Fが入っている場合は、距離画像D内の異物部を異物以外のデータに変換する。異物Fを含まない部分である土Sのデータは変換しない。

【0048】

異物検出部3における変換には、図4に示す通り、ニューラルネットワークNを用いる。ニューラルネットワークNは、カメラ1からのデータを入力として距離画像Dを受信し、畳み込み演算、プーリング演算によって、異物Fを含まないデータを復元する特徴量に変換する。変換された特徴量から、逆畳み込み演算、拡大処理によって、入力から異物Fのデータだけ別のデータに変換した学習画像Lを作成する。

【0049】

このニューラルネットワークN内で用いられる演算のパラメータは、あらかじめ取得しておいた、コンベア2上の異物Fを含まない複数の距離画像Dを機械学習させることで得ることができる。入力として各距離画像Dを与え、出力も入力と同様の距離画像Dが得られるように学習させる。異物Fを含めたデータで学習を行っていないため、学習したニューラルネットワークNは異物Fを異物Fと異なるデータに変換する。

【0050】

ニューラルネットワークNの入力に使用した距離画像Dと、出力される距離画像Dの差分をとることで、差分が閾値と比べて大きい部分があれば異物Fとして検出する。検出した距離画像D上での異物位置P(x,y,z)を異物把持位置演算部4に出力する。

【0051】

図4に、距離画像Dを使用した場合の異物検出結果の一例を示し、詳細に説明する。パラメータ学習の際に異物Fを含めたデータで学習していないため、図4の円Aに示す、異物Fのデータを含む距離画像Dを入力すると、ニューラルネットワークNは、図4の円Bに示す、異物F以外のデータから構成される、学習画像Lに変換する。このように、距離画像Dが学習画像Lに変換されるため、図4に示す通り、距離画像Dに基づいて、異物Fも土Sとして認識された学習画像Lを作成し、学習画像Lと距離画像Dの距離データを比較し、学習画像Lの各画素と距離画像Dの各画素の対応する位置にある画素の距離データの差分を演算することにより、図4の円Cに示す通り、異物Fの部分に距離データに大きな差ができた差分画像Iを作成する。この差分画像Iに対して、距離データの閾値処理を行うと、土Sのデータが打ち消され、異物Fのデータが差分として残るので、閾値以上の差を含む異物Fの検出画像Wを作成する。

【0052】

この検出画像Wを演算することで、カメラ1を原点とする異物Fの異物位置P(x,y,z)を検出する。距離画像Dの各画素から読み取れる距離データ等からデータを読み取り、xyz座標を特定する。

【0053】

異物位置P(x,y,z)の演算には、検出された異物Fの距離データ内から、カメラ1に最も近い位置とすることができる。異物Fのうち、異物Fの重心に最も近い位置を異物位置P(x,y,z)としてもよい。

【0054】

図5、図6に示す通り、距離画像Dとともに可視光画像Uも取得できる場合を説明する。基本的には距離画像Dを用いる場合と同様の処理であるので、主に相違点を説明する。異物検出部3は、カメラ1によりコンベア2上を移動中の土S及び異物Fの距離画像Dと、可視光画像Uを撮像し、これらより、異物Fを土Sとして認識された学習画像L´を作成し、距離画像D又は可視光画像Uと学習画像L´を比較し、差分を取り、閾値処理を行うことにより、検出画像W´を取得し、異物Fの異物位置P(x,y,z)を演算し、保存する。

【0055】

距離画像Dのみの場合と異なり、入力は２種類があるので、異なる4種類のニューラルネットワークN1～N4を用いることができ、これによる画像変換を行う。距離画像Dと可視光画像Uは対応がとれており、画像上の同じ位置には同じ土S及び異物Fが撮像されているものとする。

【0056】

距離画像Dだけを使用する実施形態と同様、距離画像Dとともに可視光画像Uも取得できる場合、コンベア2上の土S及び異物Fを撮像した距離画像D又は可視光画像Uを、異物Fがない学習画像L´に変換するニューラルネットワークN1～N4を用いる。ニューラルネットワークN1～N4内で用いられる演算のパラメータは、距離画像Dだけを使用する実施形態と同様、あらかじめ取得しておいた、コンベア2上の異物Fを含まない複数の距離画像Dと可視光画像Uで機械学習させることで得ることができる。

【0057】

距離画像Dとともに可視光画像Uも取得できる場合、作成できる4種類のニューラルネットワークN1～N4のいずれかを使用して可視光画像Uを検出画像W´に変換してもよいし、2つ以上使用して変換してもよい。可視光画像Uはカラー画像を用いてもよいし、グレースケール画像を用いてもよい。

【0058】

いずれかのニューラルネットワークN1～N4を使用する場合、出力が可視光画像Uに対応する学習画像L´であれば、入力と同時刻の可視光画像Uとの差分をとり、出力が距離画像Dであれば、入力と同時刻の距離画像Dとの差分をとる。差分が閾値以上に大きい画像上での位置を異物Fとして検出する。距離画像Dと可視光画像Uは対応しているので、検出した画像上の位置すなわち可視光画像U上での異物位置P(x,y,z)を後述の異物把持位置演算部4に出力する。

【0059】

このように、複数のニューラルネットワークN1～N4を使用する場合は、各二ューラルネットワークN1～N4の出力に対して、差分の有無を示す閾値を設け、異物Fの有無を各ニューラルネットワークN1～N4の出力の差分結果の多数決で決めることもできる。また、ニューラルネットワークN1～N4のいずれか一つの出力でも異物Fを検出したら、異物として検出することもできる。複数のカメラ1を使用する場合は、どのカメラ1で取得した画像を使用したかも合わせて出力する。

【0060】

１番目のニューラルネットワークNは、前述した距離画像Dだけの場合のニューラルネットワークNに相当するニューラルネットワークN1である。

【0061】

２番目のニューラルネットワークNは、コンベア2上の土S及び異物Fを撮像した可視光画像Uを、異物Fがない可視光画像に変換するニューラルネットワークN2である。ニューラルネットワークN2内で用いられる演算のパラメータは、距離画像Dだけを使用する実施形態と同様、あらかじめ取得しておいた、コンベア2上の異物Fを含まない複数の可視光画像Uで機械学習させることで得る。入力として各可視光画像Uを与え、出力も入力と同様の可視光画像に対応する学習画像L´、差分画像I´、検出画像W´が得られるように学習させる。

【0062】

３番目のニューラルネットワークNは、コンベア2上の土S及び異物Fを撮像した可視光画像Uを、異物Fがない距離画像Dに変換するニューラルネットワークN3である。ニューラルネットワークN3内で用いられる演算のパラメータは、あらかじめ取得しておいた、コンベア2上の異物Fを含まない複数の可視光画像Uと同期して取得された距離画像Dのペアで機械学習させることで得る。入力として各可視光画像Uを与え、出力は入力と同時刻の距離画像Dが得られるように学習させる。

【0063】

４番目のニューラルネットワークNは、コンベア2上の土S及び異物Fを撮像した距離画像Dを、異物Fがない可視光画像Uに変換するニューラルネットワークN4である。ニューラルネットワークN4内で用いられる演算のパラメータは、あらかじめ取得しておいた、コンベア2上の異物Fを含まない複数の可視光画像Uと同期して取得された距離画像Dのペアで機械学習させることで得る。入力として各距離画像Dを与え、出力は入力と同時刻の可視光画像Uが得られるように学習させる。

【0064】

異物把持位置演算部4は、距離画像Dを取得した時刻tを保存し、各カメラ1の位置を原点とする座標系で演算した異物位置P(x,y,z)に基づいて、異物把持位置G(x,d,z)を演算し、保存する。

【0065】

異物把持位置G(x,d,z)の演算について説明する。カメラ1の位置は既知なので、カメラ1を原点とする異物位置P(x,y,z)を、ベルトコンベア座標系の異物位置J(x,y,z)に変換する。本実施形態では、ベルトコンベア座標系は、図2に示す通り、コンベア2の開始位置の左隅を原点とし、コンベア2の幅方向をx座標、コンベア2の進行方向をy座標、コンベア2の垂直方向をz座標とする座標系である。

【0066】

ベルトコンベア座標系での異物位置J(x,y,z)が演算できたら、異物把持位置G(x,d,z)を決定する。dはベルトコンベア座標での異物把持位置G(x,d,z)のy座標であり、到達可能範囲R内に含まれる。

【0067】

コンベア2の搬送速度vを基に、異物Fが異物把持位置G(x,d,z)に到達する到達必要時間Tを数式1に従い、演算する。

【0068】

（数１）
T=(d-y)/v
ここで、dは、異物把持位置G(x,d,z)のy座標であり、yは、異物位置J(x,y,z)のy座標であり、vはコンベア2の搬送速度である。このとき、異物Fが、異物位置J(x,y,z)から到達可能範囲Rに入るまでの時間がTである場合には、到達可能範囲Rのx座標が、異物位置J(x,y,z)のx座標であるxにおいて、x軸との距離が最も短くなる位置のy座標がdとなる。

【0069】

制御部6から異物除去部5に指令信号を出力して、時刻tから到達必要時間Tが経過する前までに、待機位置Q(x,d,z+△z)にハンド5aを移動する。ハンド5aを降下させて把持するまでの時間を確保するためである。△zは、ハンド5aが土Sや異物Fに衝突しないように、予め高い位置に保持しておくための高さ設定値である。

【0070】

到達必要時間Tが経過する時刻が近づいたならば、コンベア2の搬送速度vに合わせて、高さzまでハンド5aを降下させて、時刻tから到達必要時間Tが経過する時点で、異物把持位置G(x,d,z)において、異物Fを把持し、除去する処理を行う。

【0071】

異物除去部5は、ハンド5aの他、駆動装置、制御装置等を有するものであり、細田耕著，「実践ロボット制御:基礎から動力学まで」，オーム社等に記載の従来技術に従って構成されるので、参照されたい。

【0072】

制御部6について、図3を参照して説明する。この制御部6は、ＣＰＵ61、ＲＡＭ62、ＲＯＭ63、カウンタ64、タイマ65、音声制御部66、入力部67、入出力インタフェース68、異物除去部5、カメラ1をバス69により相互に接続したものである。ＣＰＵ61が初期設定、或いは入力信号を受けて所定の演算等を行い、それらに対して、制御信号が送信されるようになっている。

【0073】

ＣＰＵ61は、各部に出力する制御信号を生成し、プログラム制御によって、制御信号を出力することで、学習制御を実行する。プログラム制御に代えて、ＬＳＩロジック等のハードウェア制御によっても実施が可能である。ＲＡＭ62は、学習制御、把持制御などのデータを一時的に読み書きするものである。ＲＯＭ63に学習制御、把持制御などのプログラムが読み出し専用で格納されている。

【0074】

カウンタ64は画素数等をカウントし、カウント値Nc、累計値Nt等の演算を行う。電源投入後、カウンタ64のカウント値Nc、累計値Ntの初期値を「０」とし、各種入力信号を参照して、カウントを行うものである。

【0075】

タイマ65は時刻と時間の演算処理等を行うものである。

【0076】

音声制御部66は音源ＩＣ及び増幅器等から構成され、スピーカ等の駆動制御を司るものである。

【0077】

土中異物除去方法について図7、図8を参照して説明する。図7に示す通り、カメラ1により距離画像Dを取得する（S701）。次に距離画像Dを入力としてニューラルネットワークNが、学習画像Lを作成する（S702）。次に距離画像Dと学習画像Lの差分演算を行い、差分画像Iを作成する（S703）。次に差分画像Iの閾値処理を行い、検出画像Wを作成し、（S704）処理を終了する。

【0078】

図8に示す通り、カメラ1を原点とする異物位置P(x,y,z)を特定する（S801）。次に異物位置P(x,y,z)をベルトコンベア座標系の異物位置J(x,y,z)に変換し、異物Fが異物位置J(x,y,z)から異物把持位置G(x,d,z)まで到達する到達必要時間Tを演算する（S802）。次に時刻tから到達必要時間Tが経過する前までに待機位置Q(x,d,z+△z)にハンド5aを移動させる（S803）。次に時刻tから到達必要時間Tが経過する時点でハンド5aが異物Fを把持して除去し（S804）、処理を終了する。

【0079】

このようにして本発明の土中異物除去装置100及び土中異物除去方法により異物を除去した土に改良剤、例えば、生石灰等を使用し、改良土とする。「改良土」とは、建設土木発生土を再利用し改良した土木資材である。この改良土を良質なものとすることで改良土の市場を拡大できる。廃棄物として取り扱われることがないので、リサイクルに資することができる。

【0080】

本実施形態による効果は次の通りである。建設土木発生土から、機械によって選別しきれず、手作業でしか除去できなかった、夾雑物を自動的に除去することができる。建設土木発生土を産業廃棄物として処分する必要がなく、資源の有効活用を図ることができる。

【0081】

機械学習に際して、異物Fのデータが少なくても、あるいは、なくても、土中の異物Fを異物として認識せずに、土として認識することができるので、データ収集の労力や学習労力を軽減できる。既知の異物に限らず、未知の異物でもハンド5aでピックアップすることができる。

【0082】

距離画像D、可視光画像Uを土と同様の画像に変換するように機械学習された学習画像L、L´を作成するので、異物の精度が向上する。

【0083】

距離画像D、可視光画像Uと、学習画像L、L´との差分を演算し、この差分に基づいて、閾値処理を行い、異物位置P(x,y,z)を演算するので、土の画像が打ち消しあうことで、異物Fの検出の精度が向上する。

【0084】

可視光画像Uも撮像し利用するので、ニューラルネットワークN1～N4に増大し、多様な学習を行うことができる。

【0085】

距離画像カメラ1は、到達可能範囲Rの内外を観測することができるので、異物Fの見落としを防止できる。

【0086】

土Sや異物Fと、ハンド5aとが衝突することを防止できるとともに、余裕を持って異物Fを把持する時間を確保することができる。

【0087】

［発明を実施するための形態2］
以下、本発明にかかる土中異物除去装置200について図面を参照して説明する。本発明の実施形態の一例を図9に示す。図9は、実施形態1の構成に、訓練データ取得部601が加わったものである。カメラ1は、図9に示す通り、実施形態1と同様の入出力をとるが、少なくとも1つ以上のカメラ1の設置位置は、異物除去作業を行う人の手が撮像できる範囲に設置する。

【0088】

土中異物除去装置200は、カメラ1によりコンベア2上の移動中の土S及び異物Fまでの距離を示す距離画像Dを撮像し、この距離画像Dに基づいて、異物位置P(x,y,z)を検出する異物検出部103と、カメラ1によりコンベア2上の移動中の土S及び異物Fまでの距離を示す距離画像Dを撮像し、この距離画像Dに基づいて異物検出部103が演算に利用するパラメータを供給する訓練データ取得部601と、異物位置P(x,y,z)に基づいて、異物把持位置G(x,d,z)を決定する異物把持位置演算部104と、異物把持位置G(x,d,z)に基づいて異物Fを把持し、土Sから除去する異物除去部105と、を備えることを特徴とする。異物検出部103と、異物除去部105は実施形態1と変わらない。

【0089】

訓練データ取得部601は、図10に示す通り、作業員による異物除去作業中のコンベア2をカメラ1で取得し、作業員の手Mの有無で機械学習に使用する訓練データKとして使用するか否かを決定する。

【0090】

訓練データ取得部601は、カメラ1から訓練用の距離画像Dを受信する（S901）。距離画像D中に手Mがあるかどうかを判定する（S902）。すなわち、距離画像D中の各画素が閾値未満の距離にある画素か否かを判別する。YESであれば、手Mを含む距離画像D1と判断し、訓練データKとして保存せず、手Mを含む距離画像D1を取得した時刻から閾値時間内の画像を保存せず（S903）、終了する。NOであれば、手Mを含まない距離画像D2と判断し、訓練データKとして保存する（S904）。保存した訓練データKを機械学習に用いて、ニューラルネットワークNのパラメータを更新し（S905）、終了する。距離画像Dとともに可視光画像Uも取得している場合には、手Mを含まない距離画像D2に同期して対応する可視光画像も保存する。

【0091】

実施形態2の土中異物除去装置200によれば、手Mを含まない距離画像D2を訓練データKとして保存し、ニューラルネットワークNのパラメータ等を更新することにより、土Sに関する学習の精度を高くすることができる。多種多様な土の種類に応じて、訓練データKを保存しておけば、土の多様性に対応することができる。

【0092】

本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得るものである。また、本発明の技術的思想を逸脱しない範囲において、改変等を加えることができるものであり、それらの改変、均等物等も本発明の技術的範囲に含まれることとなる。例えば、複数のニューラルネットワークNは４種類の場合を説明したが、4を超える数のニューラルネットワークNを用いてもよいし、ニューラルネットワークNは実施形態に限定されることはない。手Mを含まない訓練データKを選別したが、手Mを含む訓練データKから、手Mのデータを削除処理したデータを活用することもでき、学習時間の効率化を図ることもできる。

【産業上の利用可能性】

【0093】

本発明により得られた土に薬品処理を行うことで良質な改良土を得ることができ、改良土の市場を拡大できる。

【符号の説明】

【0094】

100、200・・・土中異物除去装置
1・・・距離画像カメラ
2・・・ベルトコンベア
3、103・・・異物検出部
4、104・・・異物把持位置演算部
5、105・・・異物除去部
5a・・・異物除去ハンド
6・・・制御部
61・・・CPU
62・・・RAM
63・・・ROM
64・・・カウンタ
65・・・タイマ
66・・・音声制御部
67・・・入力部
68・・・入出力インタフェース
69・・・バス
601・・・訓練データ取得部
D・・・距離画像
D1・・・手を含む距離画像
D2・・・手を含まない距離画像
F・・・異物
G(x,d,z)・・・異物把持位置
I、I´・・・差分画像
J(x,y,z)・・・異物位置
K・・・訓練データ
L、L´・・・学習画像
M・・・手
N、N1、N2、N3、N4・・・ニューラルネットワーク
Nc・・・カウント値
Nt・・・累計値
P(x,y,z)・・・異物位置
Q(x,d,z+△z)・・・待機位置
R・・・ハンド到達可能範囲
S・・・土
T・・・到達必要時間
t・・・時刻
U・・・可視光画像
v・・・搬送速度
W、W´・・・検出画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】