特許 7178954 物体選別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-17

(45)【発行日】2022-11-28

(54)【発明の名称】物体選別システム

(51)【国際特許分類】

   B07C 5/36 20060101AFI20221118BHJP

   B07C 5/342 20060101ALI20221118BHJP

   B65G 47/91 20060101ALI20221118BHJP

【ＦＩ】

B07C5/36

B07C5/342

B65G47/91 B

【請求項の数】 5

(21)【出願番号】P 2019084648

(22)【出願日】2019-04-25

(65)【公開番号】P2020179355

(43)【公開日】2020-11-05

【審査請求日】2020-12-07

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年６月１日にロボティクス・メカトロニクス 講演会２０１８ 講演論文集（一般社団法人 日本機械学会）にて、白井菜月、中村聡及び熊谷豊が発明した不定形廃棄物の重なりを認識するロボットビジョンの開発について発表した。

(73)【特許権者】

【識別番号】303056368

【氏名又は名称】東急建設株式会社

(73)【特許権者】

【識別番号】596041227

【氏名又は名称】石坂産業株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】白井 菜月

(72)【発明者】

【氏名】中村 聡

(72)【発明者】

【氏名】熊谷 豊

【審査官】大塚 多佳子

(56)【参考文献】

【文献】特許第５６１８５６９（ＪＰ，Ｂ２）

【文献】特許第３９５２９０８（ＪＰ，Ｂ２）

【文献】特開２０１８－１１１１４０（ＪＰ，Ａ）

【文献】特許第６２７１９５３（ＪＰ，Ｂ２）

【文献】特許第５９６７４７０（ＪＰ，Ｂ２）

【文献】特開２０１７－１０９１９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ０７Ｃ ５／３６

Ｂ０７Ｃ ５／３４２

Ｂ６５Ｇ ４７／９１

(57)【特許請求の範囲】

【請求項1】

搬送部で移動する重なった状態の物体群から特定の物体を選別する物体選別システムであって、
３Ｄスキャナが前記物体群を撮影した画像に基づいて、前記物体群の全体領域を特定する全体領域特定部と、
前記全体領域に基づいて、前記物体群に含まれる物体のエッジ領域を生成するエッジ領域生成部と、
前記エッジ領域に基づいて、領域分割画像を生成する領域分割画像生成部と、
前記領域分割画像に基づいて、所定の面積以上の大領域を算出する大領域算出部と、
前記大領域と、前記画像とに基づいて、最上層領域を算出する最上層領域算出部と、
前記最上層領域を特定の物体として選別するロボットハンド部と、を備え、
前記画像は、レーザ輝度画像と距離画像であって、
前記エッジ領域生成部は、
前記距離画像に基づいて抽出された前記物体の距離画像エッジ領域と、
前記レーザ輝度画像に基づいて抽出された前記物体の輝度画像エッジ領域と、を統合して前記物体のエッジ領域を生成する
ことを特徴とする、物体選別システム。

【請求項2】

前記３Ｄスキャナに隣接して配置されたエリアカメラが前記物体群を撮影したカラー画像から、前記最上層領域を抽出して、カラー付最上層領域を生成するカラー付最上層領域生成部と、
前記カラー付最上層領域が、対象の材質であるか否かを判定する材質判定部と、を備え、
前記ロボットハンド部は、材質判定部の判定情報に基づいて、特定の物体を選別する
ことを特徴とする、請求項１に記載の物体選別システム。

【請求項3】

前記材質判定部は、前記物体の前記カラー画像に対して、色補正を施した補正カラー画像による機械学習を実行した学習済みモデルに基づいて、前記カラー付最上層領域が、対象の材質であるか否かを判定する
ことを特徴とする、請求項２に記載の物体選別システム。

【請求項4】

前記学習済みモデルは、前記物体の前記距離画像に基づいて、前記物体の高さ情報を均一化した情報を使って機械学習を実行した
ことを特徴とする、請求項３に記載の物体選別システム。

【請求項5】

前記３Ｄスキャナで撮影された前記距離画像上の前記物体群の３Ｄスキャナ物体群高と、
前記３Ｄスキャナで撮影された前記距離画像上の前記物体群の３Ｄスキャナ物体群幅と、
前記エリアカメラから前記搬送部までの第１距離と、
前記エリアカメラで撮影された前記カラー画像上の前記物体群のエリアカメラ物体群幅と、
前記エリアカメラの中心から、前記物体群の中心までの第２距離と、
前記物体群の中心と、前記３Ｄスキャナで撮影した前記物体群の中心との第３距離と、に基づいて、
前記カラー画像と、前記距離画像と、の前記物体群の位置と大きさを補正する画像補正部を備える
ことを特徴とする、請求項２～４の何れか一項に記載の物体選別システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動する重なった状態の物体群から特定の物体を選別する物体選別システムに関するものである。

【背景技術】

【0002】

従来、複数の物体の中から特定の物体を選別する物体選別システムが知られている（例えば、特許文献１参照）。

【0003】

特許文献１には、スチールコンベア上の廃棄物のうちの木片を判別可能とする出力をする認識装置と、スチールコンベア上の木片を保持可能なハンドリング機構と、認識装置の出力に従い木片を判別し、判別した木片をスチールコンベア上から取り除くようにハンドリング機構を制御する処理部と、を備える廃棄物の選別を行う廃棄物選別処理設備が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１２８７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の廃棄物選別処理設備は、重なった状態の廃棄物群から特定の廃棄物を選別することができないため、認識装置の前段に、廃棄物の堆積形態を平坦化する振動篩機を備える必要がある。

【0006】

そこで、本発明は、重なった状態の物体群から、最上層にある物体を選別することができる物体選別システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するために、本発明の物体選別システムは、搬送部で移動する重なった状態の物体群から特定の物体を選別する物体選別システムであって、３Ｄスキャナが前記物体群を撮影した画像に基づいて、前記物体群の全体領域を特定する全体領域特定部と、前記全体領域に基づいて、前記物体群に含まれる物体のエッジ領域を生成するエッジ領域生成部と、前記エッジ領域に基づいて、領域分割画像を生成する領域分割画像生成部と、前記領域分割画像に基づいて、所定の面積以上の大領域を算出する大領域算出部と、前記大領域と、前記画像とに基づいて、最上層領域を算出する最上層領域算出部と、前記最上層領域を特定の物体として選別するロボットハンド部と、を備えることを特徴とする。

【0008】

ここで、本発明の物体選別システムでは、前記画像は、レーザ輝度画像と距離画像であって、前記エッジ領域生成部は、前記距離画像に基づいて抽出された前記物体群の距離画像エッジ領域と、前記レーザ輝度画像に基づいて抽出された前記物体群の輝度画像エッジ領域と、を生成してもよい。

【0009】

また、本発明の物体選別システムでは、前記３Ｄスキャナに隣接して配置されたエリアカメラが前記物体群を撮影したカラー画像から、前記最上層領域を抽出して、カラー付最上層領域を生成するカラー付最上層領域生成部と、前記カラー付最上層領域が、対象の材質であるか否かを判定する材質判定部と、を備え、前記ロボットハンド部は、材質判定部の判定情報に基づいて、特定の物体を選別してもよい。

【0010】

また、本発明の物体選別システムでは、前記材質判定部は、前記物体の前記カラー画像に対して、色補正を施した補正カラー画像による機械学習を実行した学習済みモデルに基づいて、前記カラー付最上層領域が、対象の材質であるか否かを判定してもよい。

【0011】

また、本発明の物体選別システムでは、前記学習済みモデルは、前記物体の前記距離画像に基づいて、前記物体の高さ情報を均一化した情報を使って機械学習を実行してもよい。

【0012】

また、本発明の物体選別システムでは、前記３Ｄスキャナで撮影された前記距離画像上の前記物体群の３Ｄスキャナ物体群高と、前記３Ｄスキャナで撮影された前記距離画像上の前記物体群の３Ｄスキャナ物体群幅と、前記エリアカメラから前記搬送部までの第１距離と、前記エリアカメラで撮影された前記カラー画像上の前記物体群のエリアカメラ物体群幅と、前記エリアカメラの中心から前記物体群の中心までの第２距離と、前記物体群の中心と前記３Ｄスキャナで撮影した前記物体群の中心との第３距離と、に基づいて、前記カラー画像と、前記距離画像と、の前記物体群の位置と大きさを補正する画像補正部を備えてもよい。

【0013】

さらに、本発明のエッジ領域抽出プログラムでは、物体群に含まれる物体のエッジ領域を抽出するエッジ領域抽出プログラムであって、３Ｄスキャナが前記物体群を撮影した距離画像から抽出された前記物体の距離画像エッジ領域と、前記３Ｄスキャナが前記物体群を撮影したレーザ輝度画像から抽出された前記物体の輝度画像エッジ領域と、を統合して前記物体のエッジ領域を生成するエッジ領域生成手段としてコンピュータを機能させることを特徴とする。

【発明の効果】

【0014】

このように構成された本発明の物体選別システムは、３Ｄスキャナが物体群を撮影した画像に基づいて、物体群の全体領域を特定する全体領域特定部と、全体領域に基づいて、物体群に含まれる物体のエッジ領域を生成するエッジ領域生成部と、エッジ領域に基づいて、領域分割画像を生成する領域分割画像生成部と、領域分割画像に基づいて、所定の面積以上の大領域を算出する大領域算出部と、算出された大領域と画像とに基づいて、最上層領域を算出する最上層領域算出部と、最上層領域を特定の物体として選別するロボットハンド部と、を備える。これにより、重なった状態の物体群から、最上層にある物体を選別することができる。

【0015】

また、本発明の物体選別システムでは、エッジ領域生成部は、距離画像に基づいて抽出された物体群の距離画像エッジ領域と、レーザ輝度画像に基づいて抽出された物体群の輝度画像エッジ領域と、を生成する。これにより、レーザ輝度画像では取得できなかったエッジ領域を、距離画像から取得することができる。そのため、エッジ領域Ｔを精度よく取得することができる。

【0016】

また、本発明の物体選別システムでは、３Ｄスキャナに隣接して配置されたエリアカメラが物体群を撮影したカラー画像から、最上層領域を抽出して、カラー付最上層領域を生成するカラー付最上層領域生成部と、カラー付最上層領域が、対象の材質であるか否かを判定する材質判定部と、を備え、ロボットハンド部は、材質判定部の判定情報に基づいて、特定の物体を選別する。これにより、重なった状態の物体群から、最上層にある物体の材質を選別することができる。

【0017】

また、本発明の物体選別システムでは、材質判定部は、物体のカラー画像に対して、色補正を施した補正カラー画像による機械学習を実行した学習済みモデルに基づいて、カラー付最上層領域が、対象の材質であるか否かを判定する。これにより、対象の材質の色の特徴を強調して、周りの物体との特徴の差を大きくすることができ、学習済みモデルの精度を向上させ、材質判定部による対象の材質の判定精度を上げることができる。

【0018】

また、本発明の物体選別システムでは、学習済みモデルは、物体の距離画像に基づいて、物体の高さ情報を均一化した情報を使って機械学習を実行した。これにより、明るさを平坦化（均一化）して、学習済みモデルの精度を向上させることができる。

【0019】

また、本発明の物体選別システムでは、カラー画像と、距離画像と、の物体群の位置と大きさを補正する画像補正部を備えることで、２Ｄの画像と、３Ｄの画像とを精度よく組み合わせることができる。

【0020】

また、本発明のエッジ領域抽出プログラムでは、３Ｄスキャナが物体群を撮影した距離画像から抽出された物体の距離画像エッジ領域と、３Ｄスキャナが物体群を撮影したレーザ輝度画像から抽出された物体の輝度画像エッジ領域と、を統合して物体のエッジ領域を生成するエッジ領域生成手段としてコンピュータを機能させる。これにより、レーザ輝度画像では取得できなかったエッジ領域を、距離画像から取得することができ、エッジ領域を精度よく取得することができる。

【図面の簡単な説明】

【0021】

【図1】実施例１の物体選別システムの構成を説明する図である。

【図2】実施例１のレーザ輝度画像と距離画像とカラー画像を示す図である。

【図3】実施例１の物体選別システムの機能構成を示すブロック図である。

【図4】実施例１の物体選別システムによる画像処理を説明する図であり、図４（ａ）は、３Ｄスキャナが物体群を撮影したレーザ輝度画像を示す図であり、図４（ｂ）は、全体領域特定部が特定した全体領域を示す図である。

【図5】実施例１の物体選別システムによる画像処理を説明する図であり、図５（ａ）は、エッジ領域生成部が生成したエッジ領域を示す図であり、図５（ｂ）は、領域分割画像生成部がエッジ領域を距離画像に重ねた図である。

【図6】実施例１の物体選別システムによる画像処理を説明する図であり、図６（ａ）は、領域分割画像生成部が生成した領域分割画像を示す図であり、図６（ｂ）は、大領域算出部が算出した大領域を示す図である。

【図7】実施例１の物体選別システムによる画像処理を説明する図であり、図７（ａ）は、最上層領域算出部が算出した最上層領域を示す図であり、図７（ｂ）は、最上層領域算出部について説明する説明図である。

【図8】実施例１の画像補正部について説明する説明図である。

【図9】実施例１の物体選別システムによる画像処理を説明する図であり、カラー付最上層領域生成部が生成したカラー付最上層領域を示す図である。

【図10】実施例１の高さ情報の均一化について説明する図である。

【図11】実施例１の学習に使用する画像について説明する図である。

【図12】実施例１の色補正について説明する図である。

【図13】実施例１の物体選別システムによる物体選別処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0022】

以下、本発明による物体選別システムを実現する実施形態を、図面に示す実施例１に基づいて説明する。

【実施例1】

【0023】

実施例１では、重なった状態の複数の物体（物体群）から最上層にある木材を選別する物体選別システムを説明する。実施例１では、物体を建造物の解体工事等で発生した廃棄物とする例を説明する。

【0024】

［物体選別システムの構成］
図１は、実施例１の物体選別システムの構成を説明する図である。図２は、実施例１のレーザ輝度画像と距離画像とカラー画像を示す図である。以下、図１及び図２に基づいて、実施例１の物体選別システムの構成を説明する。

【0025】

物体選別システム１は、搬送部２と、撮影部１０と、制御部２０と、選別部４０と、で構成される。

【0026】

（搬送部）
搬送部２は、例えば、ベルトコンベア等の搬送帯とすることができる。搬送部２には、重なった状態の複数の物体Ｍの物体群Ｇが載せられる。搬送部２は、循環するように構成される。

【0027】

（撮影部）
撮影部１０は、搬送部２上に設けられた撮影ボックス１３と、３Ｄスキャナ１１と、エリアカメラ１２と、で構成される。

【0028】

撮影ボックス１３は、筒状に形成され、搬送部２の所定の位置に、搬送部２の上部を覆うように設置される。撮影ボックス１３の内側には、ＬＥＤ照明１３ａと、ＬＥＤ照明１３ａの光を拡散する反射板１３ｂとが取り付けられる。

【0029】

３Ｄスキャナ１１は、例えば、LIM TECHNOLOGIES社製のGocator2730とすることができる。３Ｄスキャナ１１は、光切断法により、距離画像とレーザ輝度画像を取得する。３Ｄスキャナ１１は、撮影ボックス１３の上部に設置される。

【0030】

エリアカメラ１２は、例えば、CIS社製のVCC-5CXP3Rとすることができる。エリアカメラ１２は、カラー画像を取得する。エリアカメラ１２は、撮影ボックス１３の上部に、３Ｄスキャナ１１と隣接して設置される。

【0031】

このように構成された撮影部１０では、搬送部２に載せられて搬送される物体群Ｇは、撮影ボックス１３を通過する際に、ＬＥＤ照明１３ａで照射された状態で、３Ｄスキャナ１１とエリアカメラ１２とによって撮影される。

【0032】

そして、図２（ａ）に示すようなレーザ輝度画像Ｓ１と、図２（ｂ）に示すような距離画像Ｓ２と、図２（ｃ）に示すようなカラー画像Ｓ３とを取得する。

【0033】

（制御部）
制御部２０は、ＰＣ（パーソナルコンピュータ）とすることができる。なお、制御部２０の機能構成については後述する。

【0034】

（選別部）
選別部４０は、制御盤４１を介して制御部２０からの情報を受け取るコントローラ４２と、コントローラ４２によって駆動が制御されるロボットハンド部４３と、を備える。

【0035】

制御盤４１は、例えば、ＰＬＣ（Programmable Logic Controller）とすることができる。コントローラ４２は、制御盤４１からの情報に基づいて、ロボットハンド部４３を制御する。

【0036】

ロボットハンド部４３は、例えば、垂直多関節の６軸ロボットとすることができる。ロボットハンド部４３は、搬送部２に沿って配置される。ロボットハンド部４３は、搬送部２の搬送方向で、撮影部１０の下流に配置される。ロボットハンド部４３は、搬送部２に載せられて搬送される物体Ｍを把持して、回収ボックス４４に回収させるように構成される。

【0037】

このように構成された物体選別システム１は、搬送部２の位置をエンコーダにより取得して、撮影部１０で撮影した物体群Ｇの中から、制御部２０の制御情報に基づいて、ロボットハンド部４３が特定の物体Ｍを選別する。

【0038】

［物体選別システムの機能構成］
図３は、実施例１の物体選別システムの機能構成を示すブロック図である。図４～７は、実施例１の物体選別システムによる画像処理を説明する図である。図８は、実施例１の画像補正部２６について説明する説明図である。図９は、実施例１の物体選別システムによる画像処理を説明する図である。以下、図３～図９に基づいて、実施例１の物体選別システムの機能構成を説明する。

【0039】

物体選別システム１は、図３に示すように、主に、３Ｄスキャナ１１と、エリアカメラ１２と、搬送部２と、制御部２０と、コントローラ４２と、ロボットハンド部４３と、を備える。

【0040】

３Ｄスキャナ１１は、光切断法により、搬送部２で搬送中の物体群Ｇのレーザ輝度画像Ｓ１と距離画像Ｓ２とを取得する。レーザ輝度画像Ｓ１と距離画像Ｓ２とは、制御部２０に送信される。

【0041】

エリアカメラ１２は、搬送部２で搬送中の物体群Ｇのカラー画像Ｓ３を取得する。カラー画像Ｓ３は、制御部２０に送信される。

【0042】

搬送部２は、図示しないエンコーダに接続され、搬送部２の搬送量が制御部２０に送信される。

【0043】

制御部２０は、全体領域特定部２１と、エッジ領域生成部２２と、領域分割画像生成部２３と、大領域算出部２４と、最上層領域算出部２５と、画像補正部２６と、カラー付最上層領域生成部２７と、材質判定部２８と、色補正部２９と、高さ情報均一化部３０と、記憶部３１と、を備える。

【0044】

全体領域特定部２１は、図４（ａ）に示す３Ｄスキャナ１１が物体群Ｇを撮影したレーザ輝度画像Ｓ１に基づいて、図４（ｂ）に示す物体群Ｇの全体領域Ｅを特定する。全体領域特定部２１は、所定の輝度の閾値を設けて、背景領域である搬送部２と、廃棄物領域である物体群Ｇとを分離して、物体群Ｇの全体領域Ｅを特定する。

【0045】

なお、全体領域特定部２１は、３Ｄスキャナ１１が物体群Ｇを撮影した距離画像Ｓ２に基づいて、物体群Ｇの全体領域Ｅを特定してもよい。ただし、全体領域特定部２１は、レーザ輝度画像Ｓ１に基づいて、物体群Ｇの全体領域Ｅを特定した方が、背景である搬送部２と物体群Ｇの色の差が出やすいため好ましい。

【0046】

エッジ領域生成部２２は、図５（ａ）に示すように、cannyフィルタ、sobelフィルタ、lanserフィルタ等のフィルタを用いて、全体領域Ｅの中から、物体群Ｇに含まれる物体Ｍのエッジ領域Ｔを生成する。

【0047】

エッジ領域生成部２２は、エッジ領域Ｔとしての距離画像エッジ領域Ｔａと輝度画像エッジ領域Ｔｂと、を生成する。エッジ領域生成部２２は、距離画像Ｓ２に基づいて抽出された物体Ｍの距離画像エッジ領域Ｔａと、レーザ輝度画像Ｓ１に基づいて抽出された物体Ｍの輝度画像エッジ領域Ｔｂと、を生成して、統合する。

【0048】

また、エッジ領域生成部２２は、エッジ領域Ｔの中心軸を抽出する。エッジ領域生成部２２は、距離画像エッジ領域Ｔａと、輝度画像エッジ領域Ｔｂと、を生成して、統合するエッジ領域生成手段として機能する。

【0049】

領域分割画像生成部２３は、図５（ｂ）に示すように、統合したエッジ領域Ｔを距離画像Ｓ２に重ねる。領域分割画像生成部２３は、図６（ａ）に示すように、距離画像Ｓ２に重ねたエッジ領域Ｔに基づいて、領域成長法で同じような特徴を持つ複数の分割領域Ｍ１に領域分割して、領域分割画像Ｐ１を生成する。

【0050】

なお、領域分割画像生成部２３は、レーザ輝度画像Ｓ１に重ねたエッジ領域Ｔに基づいて、領域成長法で領域分割して、領域分割画像を生成してもよい。ただし、距離画像Ｓ２に重ねたエッジ領域Ｔに基づいて、領域分割画像Ｐ１を生成した方が、物体Ｍの表面の色情報の影響を受けないため、精度よく領域分割することができる。

【0051】

大領域算出部２４は、図６（ｂ）に示すように、領域分割画像Ｐ１に基づいて、所定の面積以上の大領域Ｍ２を算出する。所定の面積とは、ロボットハンド部４３が掴むことのできる程度の大きさをいう。なお、大領域算出部２４は、領域分割画像Ｐ１に基づいて、所定の幅以上の大幅領域を算出してもよい。

【0052】

最上層領域算出部２５は、図７（ａ）に示すように、大領域Ｍ２と、距離画像Ｓ２とに基づいて、最上層領域Ｍ３を算出する。具体的には、まず、大領域Ｍ２を距離画像Ｓ２に重ね合わせる。次に、図７（ｂ）に示すように、各大領域Ｍ２について、周囲の物体Ｍとの最小距離Ｆにある、物体Ｍの点Ｐ１と、大領域Ｍ２の点Ｐ２とを抽出する。次に、点Ｐ１を中心とした一定の半径Ｒで囲まれる物体Ｍの領域Ａ１の高さ平均と、点Ｐ２を中心とした一定の半径Ｒで囲まれる大領域Ｍ２の領域Ａ２の高さ平均と、を比較する。

【0053】

大領域Ｍ２の周囲の全ての物体Ｍの領域Ａ１の高さ平均より、大領域Ｍ２の領域Ａ２の高さ平均が高い場合、最上層領域算出部２５は、この大領域Ｍ２を、最上層領域Ｍ３と判断する。

【0054】

一方、大領域Ｍ２の周囲の物体Ｍの領域Ａ１の高さ平均より、大領域Ｍ２の領域Ａ２の高さ平均が低い場合、最上層領域算出部２５は、この大領域Ｍ２を、最上層領域Ｍ３でないと判断する。このようにして、距離画像Ｓ２に最上層領域Ｍ３が反映された第２距離画像Ｐ２が生成される。

【0055】

ところで、距離画像Ｓ２は、影になって取得できない領域ができてしまう。大領域Ｍ２と、その周囲の距離画像Ｓ２中の物体Ｍとの距離を規定することで、影になって取得できない領域ができたとしても、最上層領域算出部２５は、最上層領域Ｍ３を算出することができる。

【0056】

なお、距離画像Ｓ２に最上層領域Ｍ３が反映された第２距離画像Ｐ２は、後述する機械学習（ディープラーニング）と、ロボットハンド部４３の姿勢決定に使用される。

【0057】

ところで、エリアカメラ１２から取得したカラー画像Ｓ３と、３Ｄスキャナ１１から取得した距離画像Ｓ２及びレーザ輝度画像Ｓ１とでは、撮影の原理の違いから、撮影した対象物の大きさや位置のずれが生じる。

【0058】

画像補正部２６は、２Ｄ（二次元）の画像と３Ｄ（三次元）の画像との対象物の大きさと位置のズレを補正する。具体的には、図８（ａ）に示すように、３Ｄスキャナ１１で撮影された距離画像Ｓ２上の物体群Ｇの高さを３Ｄスキャナ物体群高ｈとする。３Ｄスキャナ１１で撮影された距離画像Ｓ２上の物体群Ｇの幅を３Ｄスキャナ物体群幅ｗとする。

【0059】

図８（ｂ）に示すように、エリアカメラ１２から搬送部２までの距離を第１距離ＷＤとする。エリアカメラ１２で撮影されたカラー画像Ｓ３上の物体群Ｇの幅をエリアカメラ物体群幅ｗ１とする。エリアカメラ１２の中心１２ａから、物体群Ｇの中心Ｇａまでの距離を第２距離ｄとする。物体群Ｇの中心Ｇａと、３Ｄスキャナ１１で撮影した物体群Ｇの中心Ｇｂとの距離（ズレ量）を第３距離ｄ１とする。

【0060】

エリアカメラ物体群幅ｗ１と、第３距離ｄ１は、以下の式で算出される。
ｗ１＝ｗ×ＷＤ／（ＷＤ－ｈ） 式１
ｄ１＝ｄ×ＷＤ／（ＷＤ－ｈ）－ｄ 式２

【0061】

画像補正部２６は、式１と式２を参照して、３Ｄスキャナ１１から得た最上層領域Ｍ３を、ｗ１／ｗ倍に拡大し、第３距離ｄ１を求めてアフィン変換を行い、大きさと位置の補正を行う。

【0062】

すなわち、画像補正部２６は、３Ｄスキャナ１１で撮影された距離画像Ｓ２上の物体群Ｇの３Ｄスキャナ物体群高ｈと、３Ｄスキャナ１１で撮影された距離画像Ｓ２上の物体群Ｇの３Ｄスキャナ物体群幅ｗと、エリアカメラ１２から搬送部２までの第１距離ＷＤと、エリアカメラ１２で撮影されたカラー画像Ｓ３上の物体群Ｇのエリアカメラ物体群幅ｗ１と、エリアカメラ１２の中心１２ａから、物体群Ｇの中心Ｇａまでの第２距離ｄと、物体群Ｇの中心Ｇａと、３Ｄスキャナ１１で撮影した物体群Ｇの中心Ｇｂとの第３距離ｄ１と、に基づいて、カラー画像Ｓ３と、距離画像Ｓ２と、の物体群Ｇの位置と大きさを補正する。

【0063】

カラー付最上層領域生成部２７は、図９に示すように、画像補正部２６によって物体群Ｇの位置と大きさが補正された、エリアカメラ１２が物体群Ｇを撮影したカラー画像Ｓ３から、最上層領域Ｍ３を抽出して、カラー付最上層領域Ｍ４を生成する。なお、カラー付最上層領域Ｍ４は、材質判定部２８による材質判定に用いられるが、後述する機械学習に用いられてもよい。

【0064】

材質判定部２８は、記憶部３１に記憶された学習済みモデル３２を使用して、カラー付最上層領域Ｍ４が、対象の材質である木材であるか否かを判定する。学習済みモデル３２は、材質のラベル付けをした画像（教師データ）を使用して、事前学習により生成される。材質としては、木材や、プラスチックや、コンクリートや、ガラス等にすることができる。

【0065】

具体的には、ラーニング用ソフトウェアで畳み込みニューラルネットワーク（ＣＮＮ）を用いて、ラベル付けを行った物体Ｍの画像で材質判定の学習を行い、学習済みモデル３２を生成する。なお、運用後に得られるカラー付最上層領域Ｍ４の抽出データの利用して、学習済みモデル３２を更新するようにしてもよい。

【0066】

材質判定部２８の判定情報は、制御盤４１を介してコントローラ４２に送信される。判定情報には、木材であるカラー付最上層領域Ｍ４の情報と、木材であるカラー付最上層領域Ｍ４の表面の法線ベクトルから算出されたロボットハンド部４３の姿勢の情報と、木材であるカラー付最上層領域Ｍ４の重心位置の情報とが含まれる。

【0067】

コントローラ４２は、材質判定部２８の判定情報に基づいて、ロボットハンド部４３の動作を制御する。すなわち、ロボットハンド部４３は、対象の材質であるカラー付最上層領域Ｍ４を特定の物体Ｍとして選別する。

【0068】

［機械学習］
図１０は、実施例１の高さ情報の均一化について説明する図である。図１１は、実施例１の学習に使用する画像について説明する図である。図１２は、実施例１の色補正について説明する図である。以下、図１０～図１２に基づいて、実施例１の機会学習について説明する。

【0069】

（高さ情報の均一化）
図１０（ａ）は、物体Ｍに対して、平面視で外接する矩形を形成して、その矩形の中心点を通る断面図である。図１０（ａ）に示すように、物体Ｍの縁部における最高点ａの高さを最高高さＨａとし、最低点ｂの高さを最低高さＨｂとし、物体Ｍの中央部ｃの高さを中央高さＨｃとする。

【0070】

高さ情報均一化部３０は、最高点ａから最高高さＨａを減算し、最低点ｂから最低高さＨｂを減算して、補正後の中央部ｃの高さである補正中央高さＨｃｎｅｗを算出し、高さ情報を均一化する。

【0071】

補正中央高さＨｃｎｅｗは、以下の計算式により算出される。
（Ｈａ－Ｈｂ）：ａｂ＝（Ｈａ－Ｈｃ’）：ａｃ
Ｈｃ’＝Ｈａ－ａｃ／ａｂ＊（Ｈａ－Ｈｂ）
Ｈｃｎｅｗ＝Ｈｃ－Ｈａ＋ａｃ／ａｂ＊（Ｈａ－Ｈｂ）

【0072】

距離ａｂは、最高点ａと最低点ｂの水平方向の距離である。距離ａｃは、最高点ａと中央部ｃの水平方向の距離である。高さＨｃ’は、最高高さＨａと最低高さＨｂの中間の高さでる。なお、高さ情報均一化部３０は、１つの物体Ｍに対して、複数のポイントについてＨｃｎｅｗを算出してもよい。

【0073】

高さ情報均一化部３０は、物体Ｍの距離画像Ｓ２に基づいて、物体Ｍの高さ情報を均一化した情報を記憶部３１に送信する。そして、高さ情報を均一化した情報を入力データとして、材質判定部２８が参照する学習済みモデル３２が生成される。

【0074】

（色補正）
色補正部２９は、図１１に示すように、ＲＧＢ画像に対して画像処理で色の特徴を強化する。具体的には、色補正部２９は、図１２（ｂ）に示すように、物体Ｍとしての木材のカラー画像に、例えば、木材色の色フィルタを乗算し、木材色の特徴を強化した補正カラー画像Ｖ１を生成する。

【0075】

色補正部２９は、図１２（ｃ）に示すように、物体Ｍとしての木材のカラー画像に、例えば、画像自体の色を乗算し、画像自体の色を強化した補正カラー画像Ｖ２を生成する。色補正部２９は、図１２（ｄ）に示すように、物体Ｍとしての木材のカラー画像に、例えば、木材の補色の色フィルタを乗算し、木材のみ色の彩度を落とした補正カラー画像Ｖ３を生成する。

【0076】

なお、図１２（ａ）は、物体Ｍのカラー画像又はカラー付最上層領域Ｍ４のオリジナルの画像Ｖ０を示す。色補正部２９は、このように、色を補正して、ＲＧＢ画像に画像処理で色の特徴を強化することにより、判定精度の高い学習済みモデル３２を生成することができる。

【0077】

また、色補正部２９は、最適なＭｕｌｔｉを設定し、学習済みモデル３２の判定精度を向上させてもよい。元画像のグレイ値をＧ１とし、フィルタのグレイ値をＧ２とし、乗算後のグレイ値をＧ３とし、乗算係数をＭｕｌｔｉとすると、フィルタの乗算式は、以下のような式となる。
Ｇ３＝（Ｇ１＋Ｇ２）＊Ｍｕｌｔｉ

【0078】

なお、図１２（ｅ）は、オリジナルの物体Ｍの木材のカラー画像Ｗ０であり、図１２（ｆ）は、Ｍｕｌｔｉが０．３の場合の物体Ｍの木材のカラー画像Ｗ１であり、図１２（ｇ）は、Ｍｕｌｔｉが０．６の場合の物体Ｍの木材のカラー画像Ｗ２であり、図１２（ｆ）は、Ｍｕｌｔｉが０．９の場合の物体Ｍの木材のカラー画像Ｗ３である。

【0079】

（多チャンネル）
学習済みモデル３２を生成する際は、図１１に示すように、ＲＧＢの３チャンネルのカラー画像を用いるだけでなく、３Ｄスキャナ１１で取得した距離画像Ｓ２と、レーザ輝度画像Ｓ１のチャンネルを追加して、４チャンネル又は５チャンネルの画像で機械学習を実行してもよい。これにより、物体Ｍの表面の凹凸情報を加味して、学習済みモデル３２の精度を向上させることができる。

【0080】

［物体選別処理の流れ］
図１３は、実施例１の物体選別システムによる物体選別処理の流れを示すフローチャートである。以下、図１３に基づいて、実施例１の物体選別処理の流れについて説明する。

【0081】

図１３に示すように、物体選別処理を開始すると、全体領域特定部２１が、３Ｄスキャナ１１が物体群Ｇを撮影したレーザ輝度画像Ｓ１に基づいて、物体群Ｇの全体領域Ｅを特定する（ステップＳ１０１）。

【0082】

次いで、エッジ領域生成部２２は、全体領域Ｅに基づいて、物体群Ｇに含まれる物体Ｍのエッジ領域Ｔを生成する（ステップＳ１０２）。この際、エッジ領域生成部２２は、距離画像Ｓ２に基づいて抽出された物体Ｍの距離画像エッジ領域Ｔａと、レーザ輝度画像Ｓ１に基づいて抽出された物体Ｍの輝度画像エッジ領域Ｔｂと、を統合して、エッジ領域Ｔを生成する。

【0083】

次いで、領域分割画像生成部２３は、距離画像エッジ領域Ｔａと輝度画像エッジ領域Ｔｂとを統合したエッジ領域Ｔを距離画像Ｓ２に重ねる（ステップＳ１０３）。

【0084】

次いで、領域分割画像生成部２３は、距離画像Ｓ２に重ねたエッジ領域Ｔに基づいて、領域成長法により分割領域Ｍ１に領域分割して、領域分割画像Ｐ１を生成する（ステップＳ１０４）。

【0085】

次いで、大領域算出部２４は、領域分割画像Ｐ１に基づいて、所定の面積以上の大領域Ｍ２を算出する（ステップＳ１０５）。

【0086】

次いで、最上層領域算出部２５は、大領域Ｍ２と、距離画像Ｓ２とに基づいて、最上層領域Ｍ３を算出する（ステップＳ１０６）。

【0087】

次いで、画像補正部２６は、２Ｄの画像と３Ｄの画像とがマッチングするように、最上層領域Ｍ３の大きさと位置のズレを補正する（ステップＳ１０７）。

【0088】

次いで、カラー付最上層領域生成部２７は、画像補正部２６によって補正された、エリアカメラ１２が物体群Ｇを撮影したカラー画像Ｓ３から、最上層領域Ｍ３を抽出して、カラー付最上層領域Ｍ４を生成する（ステップＳ１０８）。

【0089】

次いで、材質判定部２８は、記憶部３１に記憶された学習済みモデル３２の情報を使用して、カラー付最上層領域Ｍ４が、対象の材質である木材であるか否かを判定する（ステップＳ１０９）。カラー付最上層領域Ｍ４が、木材でないと判定した場合（ステップＳ１０９でＮＯ）、物体選別処理を終了する。一方、カラー付最上層領域Ｍ４が、木材であると判定した場合（ステップＳ１０９でＹＥＳ）、ステップＳ１１０に進む。

【0090】

次いで、制御部２０は、木材として判定されたカラー付最上層領域Ｍ４の法線ベクトルから、ロボットハンド部４３の姿勢を算出する（ステップＳ１１０）。ロボットハンド部４３の姿勢とは、木材として判定されたカラー付最上層領域Ｍ４を把持するための姿勢である。

【0091】

次いで、制御部２０は、木材であるカラー付最上層領域Ｍ４の重心位置を検出する（ステップＳ１１１）。

【0092】

次いで、制御部２０は、ロボットハンド部４３の姿勢と、木材であるカラー付最上層領域Ｍ４の重心位置とを、制御盤４１を介してコントローラ４２に送信する。そして、コントローラ４２は、ロボットハンド部４３に木材のカラー付最上層領域Ｍ４を掴ませて、回収ボックス４４に回収させ（ステップＳ１１２）、物体選別処理を終了する。

【0093】

［物体選別システムの作用］
次に、実施例１の物体選別システム１の作用を説明する。実施例１の物体選別システム１は、搬送部２で移動する重なった状態の物体群Ｇから特定の物体Ｍを選別する物体選別システムである。物体選別システム１は、３Ｄスキャナ１１が物体群Ｇを撮影した画像（レーザ輝度画像Ｓ１）に基づいて、物体群Ｇの全体領域Ｅを特定する全体領域特定部２１と、全体領域Ｅに基づいて、物体群Ｇに含まれる物体Ｍのエッジ領域Ｔを生成するエッジ領域生成部２２と、エッジ領域Ｔに基づいて、領域分割画像Ｐ１を生成する領域分割画像生成部２３と、領域分割画像Ｐ１に基づいて、所定の面積以上の大領域Ｍ２を算出する大領域算出部２４と、大領域Ｍ２と、画像（距離画像Ｓ２）とに基づいて、最上層領域Ｍ３を算出する最上層領域算出部２５と、最上層領域Ｍ３を特定の物体Ｍとして選別するロボットハンド部４３と、を備える（図３）。

【0094】

これにより、重なった状態の物体群Ｇから、最上層にある物体Ｍを選別することができる。そのため、重なった状態にある物体群Ｇを崩して、重なっていない状態にする前処理工程を経ることなく、最上層にある物体Ｍを選別することができる。その結果、既存のラインに容易に導入することができる。

【0095】

実施例１の物体選別システム１において、画像は、レーザ輝度画像Ｓ１と距離画像Ｓ２であって、エッジ領域生成部２２は、距離画像Ｓ２に基づいて抽出された物体Ｍの距離画像エッジ領域Ｔａと、レーザ輝度画像Ｓ１に基づいて抽出された物体Ｍの輝度画像エッジ領域Ｔｂと、を生成する（図５）。

【0096】

これにより、距離画像Ｓ２から取得した距離画像エッジ領域Ｔａと、レーザ輝度画像Ｓ１から取得した輝度画像エッジ領域Ｔｂと、を使用することができる。そのため、レーザ輝度画像Ｓ１では取得できなかったエッジ領域を、距離画像Ｓ２から取得することができる。その結果、エッジ領域Ｔを精度よく取得することができる。

【0097】

ところで、物体群Ｇが搬送部２で搬送される場合、搬送部２と同系色の物体Ｍのエッジ領域Ｔは、レーザ輝度画像Ｓ１から抽出することは困難となる。一方、実施例１では、物体群Ｇが搬送部２で搬送される場合、搬送部２と同系色の物体Ｍのエッジ領域Ｔは、距離画像Ｓ２から、この物体Ｍのエッジ領域Ｔを抽出することができる。

【0098】

実施例１の物体選別システム１において、３Ｄスキャナ１１に隣接して配置されたエリアカメラ１２が物体群Ｇを撮影したカラー画像Ｓ３から、最上層領域Ｍ３を抽出して、カラー付最上層領域Ｍ４を生成するカラー付最上層領域生成部２７と、カラー付最上層領域Ｍ４が、対象の材質であるか否かを判定する材質判定部２８と、を備え、ロボットハンド部４３は、材質判定部２８の判定情報に基づいて、特定の物体Ｍを選別する（図３）。

【0099】

これにより、重なった状態の物体群Ｇから、最上層にある物体Ｍの材質を選別することができる。そのため、重なった状態にある物体群Ｇを崩して、重なっていない状態にすることなく、最上層にある物体Ｍの材質を選別することができる。

【0100】

実施例１の物体選別システム１において、材質判定部２８は、物体Ｍのカラー画像Ｓ３に対して、色補正を施した補正カラー画像Ｖ１～Ｖ３による機械学習を実行した学習済みモデル３２に基づいて、カラー付最上層領域Ｍ４が、対象の材質であるか否かを判定する（図１１）。

【0101】

これにより、対象の材質の色の特徴を強調して、周りの物体Ｍとの特徴の差を大きくすることができる。そのため、学習済みモデル３２の精度を向上させ、材質判定部２８による対象の材質の判定精度を上げることができる。

【0102】

実施例１の物体選別システム１において、学習済みモデル３２は、物体Ｍの距離画像Ｓ２に基づいて、物体Ｍの高さ情報を均一化した情報を使って機械学習を実行した（図１０）。

【0103】

ところで、物体Ｍが重なった物体群Ｇで、一番上にある物体Ｍは、その物体Ｍの高さ分、輝度が高くなってしまう。

【0104】

実施例１では、物体Ｍの高さ情報を均一化することができる。そのため、明るさを平坦化（均一化）して、学習済みモデル３２の精度を向上させることができる。その結果、材質判定部２８による対象の材質の判定精度を上げることができる。

【0105】

実施例１の物体選別システム１において、３Ｄスキャナ１１で撮影された距離画像Ｓ２上の物体群Ｇの３Ｄスキャナ物体群高ｈと、３Ｄスキャナ１１で撮影された距離画像Ｓ２上の物体群Ｇの３Ｄスキャナ物体群幅ｗと、エリアカメラ１２から搬送部２までの第１距離ＷＤと、エリアカメラ１２で撮影されたカラー画像Ｓ３上の物体群Ｇのエリアカメラ物体群幅ｗ１と、エリアカメラ１２の中心１２ａから、物体群Ｇの中心までの第２距離ｄと、物体群Ｇの中心Ｇａと、３Ｄスキャナ１１で撮影した物体群Ｇの中心Ｇａとの第３距離ｄ１と、に基づいて、カラー画像Ｓ３と、距離画像Ｓ２と、の物体群Ｇの位置と大きさを補正する画像補正部２６を備える（図８）。

【0106】

ところで、エリアカメラ１２で撮った２Ｄのカラー画像Ｓ３は、遠近感により、物体Ｍが大きく映ったり、物体Ｍの中心の座標がずれてしまったりする。そのため、エリアカメラ１２で撮った２Ｄのカラー画像Ｓ３は、３Ｄスキャナ１１で撮った３Ｄの距離画像Ｓ２やレーザ輝度画像Ｓ１と、ズレてしまう。

【0107】

一方、実施例１では、２Ｄのカラー画像Ｓ３と３Ｄの距離画像Ｓ２やレーザ輝度画像Ｓ１との、物体Ｍの大きさのズレと、物体Ｍの中心位置のズレとを補正することができる。そのため、２Ｄの画像と、３Ｄの画像とを精度よく組み合わせることができる。

【0108】

実施例１のエッジ領域抽出プログラムは、物体群Ｇに含まれる物体Ｍのエッジ領域Ｔを抽出するエッジ領域抽出プログラムであって、３Ｄスキャナ１１が物体群Ｇを撮影した距離画像Ｓ２から抽出された物体Ｍの距離画像エッジ領域Ｔａと、３Ｄスキャナ１１が物体群Ｇを撮影したレーザ輝度画像Ｓ１から抽出された物体Ｍの輝度画像エッジ領域Ｔｂと、を統合して物体群のエッジ領域Ｔを生成するエッジ領域生成手段としてコンピュータを機能させる（図３）。

【0109】

これにより、距離画像Ｓ２から取得した距離画像エッジ領域Ｔａと、レーザ輝度画像Ｓ１から取得した輝度画像エッジ領域Ｔｂと、を使用することができる。そのため、レーザ輝度画像Ｓ１では取得できなかったエッジ領域を、距離画像Ｓ２から取得することができる。その結果、エッジ領域Ｔを精度よく取得して、重なった状態の物体群から、最上層にある物体を正確に選別することができる

【0110】

以上、本発明の物体選別システムを実施例１に基づき説明してきた。しかし、具体的な構成については、この実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や、追加等は許容される。

【0111】

実施例１では、ロボットハンド部４３は、材質判定部２８が判定した対象の材質であるカラー付最上層領域Ｍ４を特定の物体として選別する例を示した。しかし、ロボットハンド部は、最上層領域Ｍ３を特定の物体として選別してもよい。

【0112】

実施例１では、学習済みモデル３２は、事前学習で生成される例を示した。しかし、運用後に得られるカラー付最上層領域Ｍ４の抽出データを利用して、学習済みモデルを更新するようにしてもよい。

【0113】

実施例１では、材質判定部２８が判定する材質として、木材とする例を示した。しかし、材質判定部が判定する材質は、樹脂や、スレート材や、コンクリートや、ガラスや、鉄筋等にすることができる。

【0114】

実施例１では、搬送部２をベルトコンベアとする例を示した。しかし、搬送部としては、ベルトコンベアに限定されず、例えばローラコンベアであってもよいし、物体群を搬送可能なものであればよい。

【0115】

実施例１では、３Ｄスキャナ１１を光切断法式のものとする例を示した。しかし、３Ｄスキャナとしては、光投影法式のものを使用することもできる。

【0116】

実施例１では、ロボットハンド部４３を垂直多関節の６軸ロボットとする例を示した。しかし、ロボットハンド部としては、パラレルリンクロボットとしてもよい。また、ロボットハンド部は、複数あってもよい。

【0117】

実施例１では、本発明を重なった状態の複数の廃棄物から最上層にある木材を選別する物体選別システムに適用する例を示した。しかし、本発明は、重なった状態の配筋検査や、出来形管理等に適用することができる。

【符号の説明】

【0118】

１ 物体選別システム
２ 搬送部
１１ ３Ｄスキャナ
１２ エリアカメラ
２１ 全体領域特定部
２２ エッジ領域生成部
２３ 領域分割画像生成部
２４ 大領域算出部
２５ 最上層領域算出部
２６ 画像補正部
２７ カラー付最上層領域生成部
２８ 材質判定部
３２ 学習済みモデル
４３ ロボットハンド部
Ｅ 全体領域
Ｇ 物体群
Ｍ 物体
Ｍ２ 大領域
Ｍ３ 最上層領域
Ｐ１ 領域分割画像
Ｓ１ レーザ輝度画像（画像の一例）
Ｓ２ 距離画像（画像の一例）
Ｓ３ カラー画像
Ｔ エッジ領域
Ｔａ 距離画像エッジ領域
Ｔｂ 輝度画像エッジ領域
Ｍ４ カラー付最上層領域
Ｖ１～Ｖ３ 補正カラー画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】