特開 2021-30107 物品選別装置、物品選別システムおよび物品選別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-30107(P2021-30107A)

(43)【公開日】2021年3月1日

(54)【発明の名称】物品選別装置、物品選別システムおよび物品選別方法

(51)【国際特許分類】

   B07C 5/10 20060101AFI20210201BHJP

   B07C 5/342 20060101ALI20210201BHJP

【ＦＩ】

   B07C5/10

   B07C5/342

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

【全頁数】25

(21)【出願番号】特願2019-149434(P2019-149434)

(22)【出願日】2019年8月16日

(11)【特許番号】特許第6695539号(P6695539)

(45)【特許公報発行日】2020年5月20日

(71)【出願人】

【識別番号】519077997

【氏名又は名称】株式会社イーアイアイ

(71)【出願人】

【識別番号】502253401

【氏名又は名称】大栄環境株式会社

(71)【出願人】

【識別番号】519166109

【氏名又は名称】ＬａｂＲｏｍａｎｃｅ株式会社

(74)【代理人】

【識別番号】100183162

【弁理士】

【氏名又は名称】大塚 義文

(72)【発明者】

【氏名】胡 浩

(72)【発明者】

【氏名】顔 開

【テーマコード（参考）】

3F079

【Ｆターム（参考）】

3F079AD13

3F079AD17

3F079AD21

3F079BA05

3F079CA23

3F079CA32

3F079CB21

3F079CB30

3F079DA12

3F079DA13

3F079EA03

(57)【要約】

【課題】分散して配置されていない物品を従来よりも精度よく選別することができる物品選別装置、物品選別システムおよび物品選別方法を提供する。
【解決手段】搬送装置４によって搬送されている物品群Ｖから特定の物品を選別する物品選別装置５であって、搬送装置４によって搬送されている物品群Ｖを撮影する第一撮影手段２１と、物品群Ｖから選別対象を分離し、分離した前記選別対象を選別位置に移動させる選別機構１０と、物品群Ｖから分離した後の前記選別対象を撮影する第二撮影手段２２と、選別機構１０を制御する機構制御部を有する制御装置３０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

搬送装置によって搬送されている物品群から特定の物品を選別する物品選別装置であって、
前記搬送装置によって搬送されている前記物品群を撮影する第一撮影手段と、
前記物品群から選別対象を分離し、分離した前記選別対象を選別位置に移動させる選別機構と、
前記物品群から分離した後の前記選別対象を撮影する第二撮影手段と、
前記選別機構を制御する機構制御部を有する制御装置と、を備え、
前記制御装置は、
前記第一撮影手段によって撮影された第一画像データから当該第一画像データに写る複数の物品の種別を判定する第一判定部と、
前記第一判定部の判定結果に基づいて、前記選別対象を決定する対象決定部と、
前記第二撮影手段によって撮影された第二画像データから当該第二画像データに写る前記選別対象の種別を判定する第二判定部と、を備える、
ことを特徴とする物品選別装置。

【請求項2】

前記対象決定部は、前記第一画像データに写る複数の物品の中で種別の認識率が最も高い物品を前記選別対象に決定する、
ことを特徴とする請求項１に記載の物品選別装置。

【請求項3】

前記第二判定部の判定結果と前記第一画像データとを関連付けて、前記第一判定部を学習するための教師データを作成する教師データ作成部をさらに備える、
ことを特徴とする請求項１または請求項２に記載の物品選別装置。

【請求項4】

前記制御装置は、前記第一判定部による判定結果を修正する判定結果修正部をさらに備え、
前記判定結果修正部は、作業員が操作する端末に前記第一画像データとともに前記第一判定部による判定結果を表示させ、前記作業員の修正指示に基づいて前記第一判定部による判定結果を修正する、
ことを特徴とする請求項１ないし請求項３の何れか一項に記載の物品選別装置。

【請求項5】

前記選別機構は、少なくとも一つの選別ユニットを備え、
前記搬送装置は、コンベアであり、
前記選別ユニットは、
前記搬送装置の上方を横断するレールと、
前記レール上を移動し、前記選別対象を保持した状態で上下方向に移動可能である保持部と、を備え、
前記第二撮影手段は、前記保持部によって空中に持ち上げられた状態の前記選別対象を撮影する、
ことを特徴とする請求項１ないし請求項４の何れか一項に記載の物品選別装置。

【請求項6】

前記選別ユニットは、前記第一画像データに写る物品の認識率が閾値よりも低い場合に前記物品群の配置を変更する、
ことを特徴とする請求項５に記載の物品選別装置。

【請求項7】

基準位置から前記選別対象までの距離を計測する距離計測手段を備え、
前記機構制御部は、前記距離計測手段の計測結果に基づいて前記保持部の下降量を算出する、
ことを特徴とする請求項５または請求項６に記載の物品選別装置。

【請求項8】

前記保持部は、開閉可能な指を備えており、
前記選別対象のサイズを計測するサイズ計測手段を備え、
前記機構制御部は、前記サイズ計測手段の計測結果に基づいて、前記保持部を開閉させる開閉量を算出する、
ことを特徴とする請求項５ないし請求項７の何れか一項に記載の物品選別装置。

【請求項9】

請求項３ないし請求項８の何れか一項に記載の物品選別装置と、
前記教師データを用いて前記第一判定部を学習させる機械学習部を有する処理装置と、を備える、
ことを特徴とする物品選別システム。

【請求項10】

複数の前記物品選別装置が前記搬送装置の搬送方向に沿って並べて配置されている、ことを特徴とする請求項９に記載の物品選別システム。

【請求項11】

搬送装置によって搬送されている物品群から特定の物品を選別する物品選別装置における物品選別方法であって、
前記物品選別装置は、
前記搬送装置によって搬送されている前記物品群を撮影する第一撮影手段と、
前記物品群から選別対象を分離し、分離した前記選別対象を選別位置に移動させる選別機構と、
前記物品群から分離した後の前記選別対象を撮影する第二撮影手段と、
前記選別機構を制御する機構制御部を有する制御装置と、を備え、
前記搬送装置によって搬送されている前記物品群を前記第一撮影手段によって撮影する第一撮影ステップと、
前記第一撮影手段によって撮影された第一画像データから当該第一画像データに写る複数の物品の種別を判定する第一判定ステップと、
前記第一判定ステップの判定結果に基づいて、前記選別対象を決定する対象決定ステップと、
前記物品群から選別対象を分離する分離ステップと、
前記物品群から分離した後の前記選別対象を前記第二撮影手段によって撮影する第二撮影ステップと、
前記第二撮影手段によって撮影された第二画像データから当該第二画像データに写る前記選別対象の種別を判定する第二判定ステップと、を有する、
ことを特徴とする物品選別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品選別装置、物品選別システムおよび物品選別方法に関する。

【背景技術】

【0002】

住宅や施設を解体処理した際に発生する廃棄物や、災害時に発生する瓦礫などの廃棄物には、木材、金属類、ゴム類、ガラス類、プラスチック類などが混在した状態である。このような廃棄物を再利用するためには、素材毎に分別する必要がある。近年、人工知能の技術を用いて廃棄物を選別する選別システムの開発が進められている。

【0003】

これに関連して、廃棄物を効率よく選別できるシステムが開発されている（特許文献１参照）。特許文献１には、搬送中の廃棄物を撮影した画像データと、重量センサで計測した重量と、作業者が目視により判別した素材情報とを紐付けて教師データを作成することが記載されている（特に、実施例１参照）。また、作成した教師データを用いて学習した人工知能を使って自動選別を行うことが記載されている（特に、実施例２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７−１０９１９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術では、廃棄物（物品）が分散された状態で搬送されることを前提としており、廃棄物が重なった状態や密集した状態で搬送される場合を想定していなかった。そのため、廃棄物が重なった状態や密集した状態などの分散して配置されていない状態では、廃棄物を精度よく選別することが難しかった。

【0006】

このような観点から、本発明は、分散して配置されていない物品を従来よりも精度よく選別することができる物品選別装置、物品選別システムおよび物品選別方法を提供する。

【課題を解決するための手段】

【0007】

前記課題を解決するため、本発明に係る物品選別装置は、搬送装置によって搬送されている物品群から特定の物品を選別する物品選別装置である。
この物品選別装置は、前記搬送装置によって搬送されている前記物品群を撮影する第一撮影手段と、前記物品群から選別対象を分離し、分離した前記選別対象を選別位置に移動させる選別機構と、前記物品群から分離した後の前記選別対象を撮影する第二撮影手段と、前記選別機構を制御する機構制御部を有する制御装置と、を備える。

【0008】

前記制御装置は、第一判定部と、対象決定部と、第二判定部とを備える。
第一判定部は、前記第一撮影手段によって撮影された第一画像データから当該第一画像データに写る複数の物品の種別を判定する。
対象決定部は、前記第一判定部の判定結果に基づいて、前記選別対象を決定する。
第二判定部は、前記第二撮影手段によって撮影された第二画像データから当該第二画像データに写る前記選別対象の種別を判定する。

【0009】

前記対象決定部は、前記第一画像データに写る複数の物品の中で種別の認識率が最も高い物品を前記選別対象に決定するのがよい。

【0010】

本発明に係る物品選別装置においては、第二画像データには単一の物品が写るので、第二画像データに基づく判定結果は、認識精度が高い。そのため、分散して配置されていない物品を従来よりも精度よく選別することができる。

【0011】

また、複数の物品が写る第一画像データの判定結果に基づいて第二撮影手段によって撮影する物品を決定する。そのため、搬送装置によって搬送される物品の中に選別する対象となっていない素材が含まれている場合であっても、選別する対象となっている素材を適切に選んで分離および第二撮影手段による撮影を実行できる。したがって、選別する対象となっていない素材を間違えて分離および撮影してしまう可能性が低く、効率的に物品を選別することができる。

【0012】

前記第二判定部の判定結果と前記第一画像データとを関連付けて、前記第一判定部を学習するための教師データを作成する教師データ作成部をさらに備えるのがよい。

【0013】

このようにすると、第二画像データに基づく判定結果と、第一画像データとを関連付けて教師データを作成する。ここで、第二画像データによる判定結果は、単一の物品が写る第二画像データを用いて物品の種別の判定を行ったものであるので、認識精度が高いといえる。そのため、第一画像データに対して正解を自動的に付与できるので、教師データを自動的に作成できる。

【0014】

前記制御装置は、前記第一判定部による判定結果を修正する判定結果修正部をさらに備えるのがよい。前記判定結果修正部は、作業員が操作する端末に前記第一画像データとともに前記第一判定部による判定結果を表示させ、前記作業員の修正指示に基づいて前記第一判定部による判定結果を修正する。

【0015】

このようにすると、作業員は、作業員用の端末を用いて第一判定部の判定結果を修正できる。そのため、廃棄物の認識率が低い場合でも廃棄物を間違えることなく選別できる。

【0016】

前記選別機構は、少なくとも一つの選別ユニットを備え、前記搬送装置は、コンベアであるのがよい。前記選別ユニットは、前記搬送装置の上方を横断するレールと、前記レール上を移動し、前記選別対象を保持した状態で上下方向に移動可能である保持部と、を備える。前記第二撮影手段は、前記保持部によって空中に持ち上げられた状態の前記選別対象を撮影する。

【0017】

このようにすると、分離した後に他の物品が写りにくいので、物品をより精度よく選別することができる。

【0018】

前記選別ユニットは、前記第一画像データに写る物品の認識率が閾値よりも低い場合に前記物品群の配置を変更するのがよい。
このようにすると、後続の処理で、物品をより認識しやすくできる。

【0019】

基準位置から前記選別対象までの距離を計測する距離計測手段を備え、前記機構制御部は、前記距離計測手段の計測結果に基づいて前記保持部の下降量を算出するのがよい。
また、前記保持部は、開閉可能な指を備えており、前記選別対象のサイズを計測するサイズ計測手段を備えるのがよい。前記機構制御部は、前記サイズ計測手段の計測結果に基づいて、前記保持部を開閉させる開閉量を算出する。

【0020】

これらのようにすると、物品をより正確に保持することができる。

【0021】

前記課題を解決するため、本発明に係る物品選別システムは、上記した物品選別装置と、前記教師データを用いて前記第一判定部を学習させる機械学習部を有する処理装置と、を備える。

【0022】

本発明に係る物品選別システムにおいては、第一画像データに基づいて作成した教師データを用いて、物品の種別の判定に使用される第一判定部を学習する。そのため、複数の物品が写る第一画像データの判定結果（認識精度）があまり高くないものであっても、繰り返し選別を行っていく中で第一画像データの判定結果の精度が向上する。したがって、選別する対象となっていない素材を間違えて分離および撮影してしまう可能性がさらに低くなり、より効率的に物品を選別することができる。

【0023】

複数の前記物品選別装置が前記搬送装置の搬送方向に沿って並べて配置されているのがよい。

【発明の効果】

【0024】

本発明によれば、分散して配置されていない物品を従来よりも精度よく選別することができる。

【図面の簡単な説明】

【0025】

【図1】本発明の第１実施形態に係る物品選別システムの概略構成図である。

【図2】選別ユニットの背面図である。

【図3】第一撮影手段によって撮影した画像データのイメージである。

【図4】第二撮影手段によって撮影した画像データのイメージである。

【図5】本発明の第１実施形態に係る物品選別システムを構成する制御装置のブロック図である。

【図6】オブジェクトの抽出処理のイメージ図である。

【図7】第一画像データの判定処理のイメージ図である。

【図8】第二画像データの判定処理のイメージ図である。

【図9】処理装置のブロック図である。

【図10】本発明の第２実施形態に係る物品選別システムの概略構成図である。

【図11】本発明の第２実施形態に係る物品選別システムを構成する制御装置のブロック図である。

【図12】本発明の第２実施形態に係る物品選別システムによる第一段目識別処理のイメージ図である。

【図13】本発明の第２実施形態に係る物品選別システムによる第二段目識別処理および学習処理のイメージ図である。

【発明を実施するための形態】

【0026】

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

【0027】

＜第１実施形態に係る物品選別システムの構成＞
第１実施形態に係る物品選別システム１の構成について説明する。物品選別システム１は、物品を撮影した画像（映像を含む。以下同じ）から物品の種別を判定し、その判定結果に基づいて当該物品を選別するシステムである。物品選別システム１における物品の種別の認識精度は、物品の種別を判定するために撮影した画像を用いて学習を繰り返し行うことで次第に向上する。学習の詳細は後記する。物品選別システム１は、物品の選別を必要とする様々な場面で使用することができ、選別する物品や物品を選別する基準は、特に限定されるものではない。

【0028】

本実施形態では、図１に示すように、廃棄物Ｗの選別に物品選別システム１を用いることを想定する。廃棄物Ｗは、例えば、住宅や施設の解体処理や災害によって発生したものである。廃棄物Ｗには、複数種類の素材が混在している。つまり、本実施形態における物品選別システム１は、素材に基づく種別ごとに廃棄物Ｗを選別するものである。なお、廃棄物Ｗには、複数種類の形状、色のものが混在していてもよく、物品選別システム１は、形状、色、サイズなどに基づく種別ごとに廃棄物Ｗを選別するものであってもよい。

【0029】

物品選別システム１は、ローカルシステム２と、クラウドシステム３とを含んで構成されている。ローカルシステム２は、例えば廃棄物を選別する工場内に設けられ、クラウドシステム３は、例えば廃棄物を選別する工場から離れたデータセンタに設けられる。ローカルシステム２では、廃棄物Ｗを実際に選別する。一方、クラウドシステム３では、ローカルシステム２で廃棄物Ｗを選別する際に使用されるアプリケーションプログラム（種別判定モデル）や廃棄物Ｗを撮影した画像データを管理する。

【0030】

本実施形態では、ローカルシステム２とクラウドシステム３とが外部ネットワーク（例えば、インターネット）を介して通信可能に接続されている。なお、物品選別システム１は、ローカルシステム２とクラウドシステム３とに分かれていなくてもよい。つまり、ここではローカルシステム２とクラウドシステム３とが外部ネットワークＮＷを介して接続されているが、例えばＬＡＮ（Local Area Network）を介して接続されるなどして、ローカルシステム２とクラウドシステム３とが一つの場所（例えば、廃棄物を選別する工場内）に配置されていてもよい。

【0031】

ローカルシステム２は、コンベア４と、少なくとも一つの物品選別装置５（ここでは、二つの物品選別装置５Ａ，５Ｂを表記）と、を備える。
ローカルシステム２の説明における「前後」、「上下」、「左右」は、図１の矢印に従う。当該方向は、説明の便宜上定めるものであり、本発明を限定するものではない。図１の前方はコンベア４の上流側であり、後方はコンベア４の下流側である。コンベア４の上流には、例えば廃棄物Ｗをコンベア４に供給する装置（図示せず）が配置されている。

【0032】

コンベア４は、廃棄物Ｗを搬送する搬送装置である。本実施形態におけるコンベア４は、ベルトを台車の上で回転させ、その上に載せた物品を搬送するベルト式のもの（ベルトコンベア）である。なお、コンベア４は、ローラ式のものやその他の方式のものであってもよい。ここでは、コンベア４が、分散して配置されていない状態（例えば、重なった状態や密集した状態など）の廃棄物Ｗを搬送することを想定する。以下では、分散して配置されていない状態の廃棄物Ｗをまとめて「廃棄物群Ｖ」と呼ぶ場合がある。廃棄物群Ｖは、「物品群」の一例である。

【0033】

コンベア４によって搬送される廃棄物Ｗには、複数種類の素材が混在している。本実施形態では、廃棄物Ｗにコンクリートがら（以下では、省略して「コンがら」と呼ぶ場合がある）、スプレー缶、木くず、石膏ボードの四つが含まれており、これら四つを選別する。コンクリートがらは、コンクリート破片やアスファルト破片などのがれき類を意味する。なお、廃棄物Ｗには、選別する対象となっていない素材（例えば、ガラスやゴム）が含まれていてもよい。

【0034】

本実施形態の物品選別装置５は、コンベア４によって搬送されている廃棄物Ｗを選別する装置である。特に、物品選別装置５は、廃棄物群Ｖから特定の廃棄物Ｗを選別することができる。本実施形態での選別は、廃棄物Ｗの種類ごとに予め決められた位置（以下では、「選別位置」と呼ぶ場合がある）に廃棄物Ｗを移動させることを意図している。ここでは、コンベア４の両側に収納容器６，６が配置されており、選別対象の廃棄物Ｗを収納容器６，６に移動させる。なお、収納容器６が設置されるのは、コンベア４の片側だけであってもよい。

【0035】

第一の物品選別装置５Ａと第二の物品選別装置５Ｂとは同様の構成である。第二の物品選別装置５Ｂは、第一の物品選別装置５Ａよりも下流に配置されており、例えば、第一の物品選別装置５Ａによって選別できなかった廃棄物Ｗを選別する。つまり、第二の物品選別装置５Ｂは、例えば、廃棄物Ｗの密集具合が高いことによって第一の物品選別装置５Ａでは選別しきれなかった残りの廃棄物Ｗを選別したり、廃棄物Ｗが重なり合うことによって第一の物品選別装置５Ａでは隠れていた廃棄物Ｗを選別する。なお、第二の物品選別装置５Ｂは、第一の物品選別装置５Ａとは異なる種類の廃棄物Ｗを選別してもよい。その場合、物品選別システム１の管理者は、例えば、各々の物品選別装置５Ａ，５Ｂが何の種類の廃棄物Ｗを選別するかを事前に登録しておく。

【0036】

各々の物品選別装置５は、選別機構１０と、物品情報取得機構２０と、制御装置３０と、を備える。なお、第一の物品選別装置５Ａと第二の物品選別装置５Ｂとで一つの制御装置３０を共有してもよい。

【0037】

本実施形態の選別機構１０は、コンベア４によって搬送されている廃棄物Ｗを収納容器６，６（選別位置）に移動させる機構である。選別機構１０は、廃棄物群Ｖから特定の廃棄物Ｗを分離する分離機能と、廃棄物Ｗを選別位置（ここでは、収納容器６）に移動する選別機能と、廃棄物群Ｖの配置を変更する攪拌機能と、を主に有する。分離機能、選別機能および攪拌機能は、制御装置３０の制御によって実現される。なお、図１に示す選別機構１０の構成はあくまで例示であり、図１とは異なる構成にすることもできる。

【0038】

選別機構１０は、少なくとも一つの選別ユニット１１（ここでは、三つの選別ユニット１１ａ，１１ｂ，１１ｃを表記）を含んで構成される。三つの選別ユニット１１ａ，１１ｂ，１１ｃの構成は同様である。第一の選別ユニット１１ａは、最も上流に配置されており、第二の選別ユニット１１ｂは、第一の選別ユニット１１ａよりも下流に配置されており、第三の選別ユニット１１ｃは、第二の選別ユニット１１ｂよりもさらに下流（最も下流）に配置されている。

【0039】

図２を参照して、選別ユニット１１の構成を説明する。選別ユニット１１は、門型の枠１２と、枠１２に取り付けられたロボットアーム１３とを主に備える。枠１２は、二本の脚部１２ａ，１２ａと、脚部１２ａ，１２ａの上端を連結する連結部１２ｂとを備える。脚部１２ａ，１２ａおよび連結部１２ｂは、棒状を呈する。枠１２は、コンベア４を跨ぐように設置され、連結部１２ｂはコンベア４の上方を横断して配置される。脚部１２ａ，１２ａの下端内側には、収納容器６が配置されている。連結部１２ｂには、レール１２ｃが形成されている。つまり、レール１２ｃは、コンベア４および収納容器６の上方を横断するように形成されている。

【0040】

図２に示すロボットアーム１３は、廃棄物Ｗを掴む、放す、運ぶなどの作業をすることができる。ロボットアーム１３は、レール１２ｃ上を左右方向に移動可能である。ロボットアーム１３は、本体部１３ａと、保持部１３ｂと、移動昇降機構１３ｃとを主に備える。本体部１３ａは、棒状を呈し、移動昇降機構１３ｃ内を上下方向に貫通する。本体部１３ａの下端には、保持部１３ｂが設置されている。保持部１３ｂは、廃棄物Ｗを保持するとともに、保持した廃棄物Ｗを開放することが可能な構成になっている。ここでの保持部１３ｂは、図２のγ方向に開閉可能な複数本の指を備える。保持部１３ｂは、水平面内での旋回（図２のδ方向）が可能である。移動昇降機構１３ｃは、レール１２ｃ上（図２のα方向）の移動を実現する移動機構と、保持部１３ｂの昇降（図２のβ方向）を実現する昇降機構とを含んでいる。移動昇降機構１３ｃは、例えば、モータや車輪を有し、本体部１３ａを昇降可能に支持する。つまり、図２に示す保持部１３ｂは、本体部１３ａの長さ分だけ上下方向に移動可能である。

【0041】

なお、ロボットアーム１３の動作の詳細は後記するが、ロボットアーム１３は、例えば、廃棄物群Ｖの中から選別対象の廃棄物Ｗを掴み、掴んだ状態のまま持ち上げて廃棄物群Ｖから一つの廃棄物Ｗを分離する。また、ロボットアーム１３は、分離した選別対象の廃棄物Ｗを選別位置（ここでは、収納容器６）まで運び、収納容器６内に廃棄物Ｗを収納する。これにより、廃棄物Ｗの選別が完了する。

【0042】

図１に示す物品情報取得機構２０は、第一撮影手段２１と、第二撮影手段２２と、計測手段２３とを備える。なお、図１に示す物品情報取得機構２０の構成はあくまで例示であり、図１とは異なる構成にすることもできる。

【0043】

第一撮影手段２１および第二撮影手段２２は、廃棄物Ｗを撮影し、廃棄物Ｗの画像を作成する。なお、第一撮影手段２１および第二撮影手段２２によって撮影された画像は、デジタルデータを想定しているので、第一撮影手段２１および第二撮影手段２２によって撮影された画像を「画像データ」と呼ぶ場合がある。第一撮影手段２１および第二撮影手段２２によって作成された画像データは、廃棄物Ｗの種別の判定や廃棄物Ｗを選別する際に使用されるアプリケーションプログラム（種別判定モデル）の学習などに利用される。第一撮影手段２１および第二撮影手段２２は、例えば、ＲＧＢカメラである。

【0044】

第一撮影手段２１は、選別を行う前の状態の廃棄物群Ｖを撮影可能な位置に設置される。本実施形態での第一撮影手段２１は、図１に示すように、選別機構１０の上流であって、コンベア４の上方に設置されている。第一撮影手段２１は、例えば、コンベア４の幅方向（ここでは、左右方向）を画角（撮影範囲）に含めるように調整されており、廃棄物群Ｖを俯瞰して撮影する。第一撮影手段２１によって撮影した第一画像データＭ２１のイメージを図３に示す。図３に示すように、第一画像データＭ２１には、複数の廃棄物Ｗが写っている。

【0045】

第二撮影手段２２は、ロボットアーム１３によって持ち上げられた状態（つまり、分離された状態）の廃棄物Ｗを撮影できる位置に設置される。本実施形態での第二撮影手段２２は、図１に示すように、選別機構１０の下流に配置されているが、選別機構１０の上流や選別ユニット１１の間に配置されてもよい。第二撮影手段２２は、例えば、持ち上げられた状態の廃棄物Ｗの全体を画角（撮影範囲）に含めるように調整されている。第二撮影手段２２の画角（撮影範囲）には、コンベア４によって搬送されている他の廃棄物Ｗなどが含まれないのが望ましい。つまり、第二撮影手段２２の撮影方向には、持ち上げられた状態の廃棄物Ｗ以外の物が写らないようになっているのがよい。また、第二撮影手段２２によって撮影された画像データは、撮影した廃棄物Ｗを容易に特定できるような背景（例えば、廃棄物Ｗとは異なる単一色）になっているのがよい。第二撮影手段２２によって撮影した第二画像データＭ２２のイメージを図４に示す。図４に示すように、第二画像データＭ２２には、単一の廃棄物Ｗが写っている。

【0046】

図１に示す計測手段２３は、コンベア４によって搬送されている廃棄物Ｗを計測し、例えば、廃棄物Ｗまでの距離、廃棄物Ｗのサイズ、廃棄物Ｗの形状に関する情報を取得する。計測手段２３によって計測された情報は、廃棄物Ｗの種別の判定やロボットアーム１３の制御に利用される。計測手段２３は、例えば、ステレオカメラやレーザスキャナなどである。ここでは、計測手段２３としてステレオカメラを用いることを想定して説明する。

【0047】

計測手段２３は、選別を行う前の状態の廃棄物群Ｖを計測可能な位置に設置される。本実施形態での計測手段２３は、図１に示すように、選別機構１０の上流であって、コンベア４の上方に設置されている。計測手段２３による計測結果と第一撮影手段２１によって撮影した第一画像データＭ２１との対応関係を取り易くするために、計測手段２３は、第一撮影手段２１の近傍に配置されているのがよく、第一撮影手段２１と計測手段２３とが一つの筐体内に収容されることで一つの装置として構成されていてもよい。

【0048】

図１に示す制御装置３０は、選別機構１０や物品情報取得機構２０の制御、および物品情報取得機構２０によって撮影や計測した情報を用いた処理を行う。制御装置３０は、例えばパーソナルコンピュータ（ＰＣ：Personal Computer）やサーバである。制御装置３０は、各々の選別ユニット１１、第一撮影手段２１、第二撮影手段２２および計測手段２３と通信可能に接続されている。また、制御装置３０は、外部ネットワークＮＷを介してクラウドシステム３と通信可能に接続されている。なお、選別ユニット１１の制御に着目して、制御装置３０を特に「コントロールユニット」と呼ぶ場合がある。

【0049】

図５を参照して（適宜、図１ないし図４を参照）、制御装置３０の構成を説明する。制御装置３０は、主に、情報取得機構制御部３１と、選別機構制御部３２と、取得情報処理部３３とを備える。制御装置３０が備えるこれらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。ここでは、制御装置３０が備える各機能の概要の説明を行い、後記する動作の説明でその詳細を説明する。なお、図５に示す制御装置３０の各機能の分類は、説明の便宜上分けたものであり、本発明を限定するものではない。

【0050】

図５に示す情報取得機構制御部３１は、物品情報取得機構２０を制御する。
例えば、情報取得機構制御部３１は、廃棄物群Ｖが流れてくるタイミングに合わせて第一撮影手段２１に撮影指示を送り、第一撮影手段２１に廃棄物群Ｖを撮影させる。
また、情報取得機構制御部３１は、ロボットアーム１３がコンベア４から廃棄物Ｗを持ち上げた（分離した）タイミングに合わせて第二撮影手段２２に撮影指示を送り、第二撮影手段２２に廃棄物Ｗを撮影させる。なお、ロボットアーム１３を使用した空中への廃棄物Ｗの移動は、廃棄物群Ｖから選別対象の廃棄物Ｗを分離する動作の一例である。
また、情報取得機構制御部３１は、廃棄物群Ｖが流れてくるタイミングに合わせて計測手段２３に計測指示を送り、計測手段２３に廃棄物群Ｖを計測させる。計測手段２３は、例えば、自身の位置を基準として各々の廃棄物Ｗを計測する。なお、計測手段２３は、他の位置を基準として各々の廃棄物Ｗを計測してもよい。

【0051】

図５に示す選別機構制御部３２は、選別機構１０を制御する。
例えば、選別機構制御部３２は、各々の選別ユニット１１（ここでは、三つの選別ユニット１１ａ，１１ｂ，１１ｃ）を制御して、コンベア４によって搬送されている廃棄物群Ｖから選別する対象となっている素材の廃棄物Ｗを選別位置（ここでは、収納容器６）に移動させる。選別機構制御部３２は、例えば、コンベア４の搬送速度、ならびに第一撮影手段２１および計測手段２３の設置位置を記憶しており、物品情報取得機構２０で撮影した画像データや計測した情報からコンベア４によって搬送されている廃棄物Ｗの位置を算出する。なお、ロボットアーム１３によって掴めない程度に大きいサイズのものや、選別する対象となっていない素材（例えば、ガラスやゴム）の廃棄物Ｗについては、例えば選別を行わずに選別機構１０を通過させる。

【0052】

図５に示す取得情報処理部３３は、物品情報取得機構２０で撮影した画像データや計測した情報を用いた処理を行う。取得情報処理部３３は、例えば、オブジェクト処理部３３ａと、第一判定部３３ｂと、対象決定部３３ｃと、第二判定部３３ｄと、教師データ作成部３３ｅとを備える。

【0053】

オブジェクト処理部３３ａは、第一画像データＭ２１からオブジェクトを抽出する。オブジェクト処理部３３ａによるオブジェクトの抽出方法は特に限定されず、種々の方法を用いることができる。オブジェクト処理部３３ａは、例えば、第一画像データＭ２１（図３参照）を画像処理（セグメンテーション）することによってオブジェクトを抽出する。この画像処理は、ニューラルネットワークにより実現されてもよい。第一画像データＭ２１からオブジェクトを抽出した状態を図６に示す。オブジェクト処理部３３ａは、第二画像データＭ２２からも同様にオブジェクトを抽出する。

【0054】

なお、オブジェクト処理部３３ａは、計測手段２３によって計測した形状から廃棄物Ｗの範囲を予測し、その予測の結果に基づいてオブジェクトを抽出してもよい。また、計測手段２３によって読み取った形状に基づいて、第一画像データＭ２１に割り当てたオブジェクトの範囲（オブジェクトの枠の形状や大きさ）を修正してもよい。つまり、オブジェクト処理部３３ａは、第一画像データＭ２１および計測手段２３によって計測した計測結果を用いてオブジェクトを抽出してもよい。

【0055】

第一判定部３３ｂは、第一画像データＭ２１に写る廃棄物Ｗの種別を判定する。第一判定部３３ｂは、画像データから廃棄物Ｗの種別を判定する種別判定モデルを有しており、第一画像データＭ２１から抽出した各オブジェクトの画像を種別判定モデルに入力し、各オブジェクトの種別を判定する。種別判定モデルは、例えば、ニューラルネットワークとして構成されており、選別する対象となっている素材の種別（ここでは、コンがら、スプレー缶、木くず、及び石膏ボード）である可能性を算出する。例えば、ニューラルネットワークは、決められた画素数の画像を入力する入力層と、中間層（隠れ層）と、種別の数に応じたノード（本実施形態では、コンがら、スプレー缶、木くず、石膏ボードの四つ）を有する出力層と、によって構成されている。入力層には、所定の画素数に揃えたオブジェクト画像が入力される。出力層からは、選別する対象となっている素材の種別である可能性が確率として出力される。ここでは、廃棄物Ｗが各々の素材である確率を「認識率」と呼ぶ。つまり、本実施形態では、一つのオブジェクト（廃棄物Ｗ）に対して、コンがらである認識率、スプレー缶である認識率、木くずである認識率、石膏ボードである認識率の四つが出力される。なお、素材の種別ごとにモデルを用意しておき、オブジェクト画像を素材の種別ごとに用意したモデルに入力してもよい。第一判定部３３ｂによる判定結果の例示を図７に示す。図７では、スプレー缶およびスプレー缶と重なる木くずに対応するオブジェクトの認識率のみを表示し、その他のオブジェクトの認識率の表示を省略している。なお、廃棄物Ｗが各々の素材である確率（認識率）は、「自信度」などと呼ばれる場合もある。

【0056】

対象決定部３３ｃは、第一判定部３３ｂによる判定結果に基づいて、選別対象とする廃棄物Ｗを決定する。選別対象を決定する規則は予め決めておく。対象決定部３３ｃは、例えば、各々の選別ユニット１１が選別する廃棄物を決定する。ここでは、廃棄物Ｗの種別に関係なく認識率の高いものから順に選別する場合を想定する。その場合、対象決定部３３ｃは、第一の選別ユニット１１ａが最も認識率が高い廃棄物Ｗを選別し、第二の選別ユニット１１ｂが二番目に認識率が高い廃棄物Ｗを選別し、第三の選別ユニット１１ｃが三番目に認識率が高い廃棄物Ｗを選別するように決定する。

【0057】

第二判定部３３ｄは、第二画像データＭ２２に写る廃棄物Ｗの種別を判定する。第二判定部３３ｄは、第一判定部３３ｂと同様に画像データから廃棄物Ｗの種別を判定する種別判定モデルを有しており、第二画像データＭ２２から抽出したオブジェクトの画像を種別判定モデルに入力し、オブジェクトの種別を判定する。種別判定モデルは、例えば、ニューラルネットワークとして構成されており、選別する対象となっている素材の種別（ここでは、コンがら、スプレー缶、木くず、及び石膏ボード）である可能性（認識率）を算出する。なお、第二判定部３３ｄにおけるニューラルネットワークの構成は、第一判定部３３ｂにおけるニューラルネットワークの構成と同様であってよい。第二判定部３３ｄによる判定結果の例示を図８に示す。

【0058】

教師データ作成部３３ｅは、第二判定部３３ｄによる判定結果と第一画像データＭ２１とを関連づけて、教師データを作成する。教師データ作成部３３ｅは、第一画像データＭ２１を基にした教師データをクラウドシステム３の第一画像ＤＢ５１に格納する。
また、教師データ作成部３３ｅは、第二判定部３３ｄによる判定結果と第二画像データＭ２２とを関連づけて、教師データを作成する。教師データ作成部３３ｅは、第二画像データＭ２２を基にした教師データをクラウドシステム３の第二画像ＤＢ５２に格納する。

【0059】

次に、図１に示すクラウドシステム３について説明する。クラウドシステム３は、処理装置４０と、第一画像ＤＢ５１と、第二画像ＤＢ５２と、モデル記憶部５３と、を備える。

【0060】

第一画像ＤＢ５１は、第一画像データＭ２１を基にした教師データを格納する。
第二画像ＤＢ５２は、第二画像データＭ２２を基にした教師データを格納する。
モデル記憶部５３は、種別判定モデルを格納する。モデル記憶部５３に格納される種別判定モデルは、第一画像ＤＢ５１および第二画像ＤＢ５２の少なくとも何れか一方に格納される教師データを用いて学習される。学習済みの種別判定モデルは、所定のタイミングで制御装置３０に送信される。

【0061】

図１に示す処理装置４０は、例えばパーソナルコンピュータ（ＰＣ：Personal Computer）やサーバである。処理装置４０は、第一画像ＤＢ５１、第二画像ＤＢ５２およびモデル記憶部５３と通信可能に接続されている。なお、処理装置４０を「中央管理ＰＣ」と呼ぶ場合がある。

【0062】

図９を参照して、処理装置４０の構成を説明する。処理装置４０は、主に、機械学習部４１と、モデル更新部４２と、教師データ修正部４３と、を備える。処理装置４０が備えるこれらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。ここでは、処理装置４０が備える各機能の概要の説明を行い、後記する動作でその詳細を説明する。なお、図９に示す処理装置４０の各機能の分類は、説明の便宜上分けたものであり、本発明を限定するものではない。

【0063】

機械学習部４１は、第一画像ＤＢ５１に格納される教師データ（第一画像データＭ２１から抽出したオブジェクト画像を基にしたもの）、および、第二画像ＤＢ５２に格納される教師データ（第二画像データＭ２２を基にしたもの）の少なくとも何れか一方を用いて、モデル記憶部５３に格納される種別判定モデルを再学習する。ここで、第一画像ＤＢ５１に格納される教師データは、教師データ作成部３３ｅの処理によって、第一画像データＭ２１から抽出したオブジェクト画像に、第二判定部３３ｄによる判定結果（答え）が与えられたものである。また、第二画像ＤＢ５２に格納される教師データは、教師データ作成部３３ｅの処理によって、第二画像データＭ２２に、第二判定部３３ｄによる判定結果（答え）が与えられたものである。なお、第一撮影手段２１によって廃棄物群Ｖを構成する各々の廃棄物Ｗの撮影が可能であれば、第一撮影手段２１によって撮影した各々の廃棄物Ｗの画像データに、第二判定部３３ｄによる判定結果（答え）を与えてもよい。

【0064】

モデル更新部４２は、機械学習部４１で再学習された種別判定モデルによって、制御装置３０の第一判定部３３ｂおよび第二判定部３３ｄが有する種別判定モデルを更新する機能である。第一判定部３３ｂおよび第二判定部３３ｄの種別判定モデルを更新するタイミングや方法は特に限定されない。モデル更新部４２は、例えば、制御装置３０とモデル記憶部５３とを定期的に自動同期させ、制御装置３０が有する種別判定モデルのバージョンアップを自動的に行う。例えば、毎週月曜日の夜「24：00」に同期作業を自動的に行うように登録しておく。同期作業は「約10秒」程度で完了し、その間は物品選別装置５を動作させないようにしておく。これにより、制御装置３０が有する種別判定モデルの精度が半自動的に日々向上する。

【0065】

教師データ修正部４３は、人間（例えば、物品選別システム１の管理者）による教師データの修正を実現する機能である。管理者は、第二判定部３３ｄによる判定結果を例えば定期的に確認し、判定結果が間違えている場合には修正指示を出して第二画像データＭ２２を基にした教師データを修正する。なお、教師データ修正部４３は、管理者からの修正指示を受け付けた場合に、対応する第一画像データＭ２１を基にした教師データを併せて修正してもよい。

【0066】

＜第１実施形態に係る物品選別システムの動作＞
図１を参照して（適宜、図２ないし図９を参照）、第１実施形態に係る物品選別システム１の動作について説明する。ここでは、「物品の選別処理」、「選別で撮影した画像データを用いた学習処理」について説明する。

【0067】

（物品の選別処理）
図１に示すように、廃棄物群Ｖは、第一の物品選別装置５Ａの前方（上流）から接近し、第一の物品選別装置５Ａに到達する。これにより、第一の物品選別装置５Ａの処理が開始する。

【0068】

最初に、第一撮影手段２１は、搬送されている廃棄物群Ｖを撮影し、また、計測手段２３は、搬送されている廃棄物群Ｖを計測する。
オブジェクト処理部３３ａは、第一画像データＭ２１からオブジェクトを抽出する。この際に、オブジェクト処理部３３ａは、計測手段２３によって読み取った形状に基づいて、第一画像データＭ２１に割り当てたオブジェクトの範囲を修正する。

【0069】

次に、第一判定部３３ｂは、第一画像データＭ２１に写る廃棄物Ｗの種別を判定する。第一判定部３３ｂは、例えば、第一画像データＭ２１から抽出した各オブジェクトの画像を種別判定モデルに入力し、各オブジェクトの種別を判定する。これにより、オブジェクト単位に素材の種別（ここでは、コンがら、スプレー缶、木くず、及び石膏ボード）の可能性（認識率）が算出される（図７参照）。

【0070】

次に、対象決定部３３ｃは、第一判定部３３ｂによる判定結果に基づいて、選別対象とする廃棄物Ｗを決定する。対象決定部３３ｃは、例えば、各々の選別ユニット１１が選別する廃棄物Ｗを決定する。ここでは、廃棄物Ｗの種別に関係なく認識率の高いものから順に選別する場合を想定する。その場合、対象決定部３３ｃは、第一の選別ユニット１１ａが最も認識率が高い廃棄物Ｗを選別し、第二の選別ユニット１１ｂが二番目に認識率が高い廃棄物Ｗを選別し、第三の選別ユニット１１ｃが三番目に認識率が高い廃棄物Ｗを選別するように決定する。

【0071】

ここで、認識率が閾値を超えるオブジェクトの数Ｘが選別ユニット１１の数Ｙよりも少なかった場合（Ｘ＜Ｙ）、対象決定部３３ｃは、最も下流に配置される選別ユニット１１（ここでは、第三の選別ユニット１１ｃ）が廃棄物を攪拌するように決定する。攪拌は、廃棄物群Ｖに含まれる少なくとも一つの廃棄物Ｗの状態を変更させるものであればよく、例えば廃棄物群Ｖに含まれる廃棄物Ｗを分離して再配置する。

【0072】

次に、各々の選別ユニット１１は、自身に割り当てられた廃棄物Ｗを選別位置（ここでは、収納容器６）に移動する。ここでは、第一の選別ユニット１１ａが最も認識率が高い廃棄物Ｗを収納容器６まで移動させ、第二の選別ユニット１１ｂが二番目に認識率が高い廃棄物Ｗを収納容器６まで移動させ、第三の選別ユニット１１ｃが三番目に認識率が高い廃棄物Ｗを収納容器６まで移動させる。

【0073】

選別を行う際に、各々のロボットアーム１３は、例えば、廃棄物群Ｖの中から選別対象の廃棄物Ｗを掴み、掴んだ状態のまま持ち上げて廃棄物群Ｖから一つの廃棄物Ｗを分離する。ロボットアーム１３は、計測手段２３による廃棄物Ｗの計測結果を用いて廃棄物Ｗを分離する。
例えば、選別機構制御部３２は、計測手段２３の計測結果（基準点から選別対象の廃棄物Ｗまでの距離）に基づいて、保持部１３ｂを昇降させる移動量を算出し、算出した移動量だけ保持部１３ｂを移動させる。これにより、例えば、重なることによってコンベア４の表面から離れた位置にある廃棄物Ｗを分離する場合でも、廃棄物Ｗを正確に掴むことができる。
また、選別機構制御部３２は、計測結果（選別対象の廃棄物Ｗのサイズ）に基づいて、保持部１３ｂを開閉する開閉量を算出し、算出した開閉量だけ保持部１３ｂを動作させる。この開閉量は、選別対象の廃棄物Ｗよりも少しだけ大きい（廃棄物Ｗの幅よりも１〜２ｃｍ程度だけ広い）のがよい。これにより、例えば、密集して配置されている廃棄物Ｗを分離する場合でも、廃棄物Ｗを正確に掴むことができる。
また、選別機構制御部３２は、計測結果（選別対象の廃棄物Ｗの形状や配置方向）に基づいて、保持部１３ｂを水平方向に回転させる回転量を算出し、算出した回転量だけ保持部１３ｂを回転させる。この回転量は、選別対象の廃棄物Ｗの形状や配置方向に対応したものであるのがよい。これにより、例えば、掴みにくい形状の廃棄物Ｗや搬送方向に対して曲がって配置されている廃棄物Ｗを正確に掴むことができる。

【0074】

また、第二撮影手段２２は、ロボットアーム１３によって持ち上げられた状態（つまり、分離された状態）の廃棄物Ｗを撮影する。ロボットアーム１３は、第二撮影手段２２による撮影が完了するまで廃棄物Ｗを分離位置で停止させてもよい。オブジェクト処理部３３ａは、第二画像データＭ２２からオブジェクトを抽出する。

【0075】

続いて、第二判定部３３ｄは、第二画像データＭ２２に写る廃棄物Ｗの種別を判定する。第二判定部３３ｄは、例えば、第二画像データＭ２２から抽出したオブジェクトの画像を種別判定モデルに入力し、オブジェクトの種別を判定する。これにより、オブジェクト単位に素材の種別（ここでは、コンがら、スプレー缶、木くず、及び石膏ボード）の可能性（認識率）が算出される（図８参照）。

【0076】

続いて、ロボットアーム１３は、第二判定部３３ｄによる判定結果に基づいて、分離した選別対象の廃棄物Ｗを廃棄物ごとの選別位置（ここでは、収納容器６）まで運ぶ。なお、各々の選別ユニット１１の動作のタイミングは特に限定されない。例えば、第一の選別ユニット１１ａが選別を完了した後で第二の選別ユニット１１ｂが選別を開始してもよいし、また、第一の選別ユニット１１ａが選別を完了する前に第二の選別ユニット１１ｂが選別を開始してもよい。また、第二判定部３３ｄによる判定の結果、ロボットアーム１３で掴んだ廃棄物Ｗが選別する対象となっていない素材であると分かった場合、当該掴んだ廃棄物Ｗをコンベア４に戻すようにするのがよい。

【0077】

次に、教師データ作成部３３ｅは、第二判定部３３ｄによる判定結果と第一画像データＭ２１から抽出したオブジェクト画像とを関連づけて、教師データを作成する。教師データ作成部３３ｅは、第一画像データＭ２１を基にした教師データをクラウドシステム３の第一画像ＤＢ５１に格納する。
また、教師データ作成部３３ｅは、第二判定部３３ｄによる判定結果と第二画像データＭ２２とを関連づけて、教師データを作成する。教師データ作成部３３ｅは、第二画像データＭ２２を基にした教師データをクラウドシステム３の第二画像ＤＢ５２に格納する。
なお、各々の教師データを第一画像ＤＢ５１または第二画像ＤＢ５２に格納するタイミングは限定されず、随時格納してもよいし、所定数や所定時刻にまとめて格納してもよい。

【0078】

これにより、第一の物品選別装置５Ａによる廃棄物Ｗの選別が完了する。第一の物品選別装置５Ａによって選別されなかった廃棄物Ｗ（廃棄物群Ｖ）は、第二の物品選別装置５Ｂの前方（上流）から接近し、第二の物品選別装置５Ｂに到達する。そして、第二の物品選別装置５Ｂの処理が引き続き開始する。

【0079】

（選別で撮影した画像データを用いた学習処理）
図１を参照して（適宜、図２ないし図９を参照）、第１実施形態に係る学習処理について説明する。学習処理は任意のタイミングで実行される。

【0080】

機械学習部４１は、第一画像ＤＢ５１に格納される教師データ、および、第二画像ＤＢ５２に格納される教師データの少なくとも何れか一方を用いて、モデル記憶部５３に格納される種別判定モデルを再学習する。ここで、第一画像ＤＢ５１に格納される教師データは、教師データ作成部３３ｅの処理によって、第二判定部３３ｄによる判定結果と第一画像データＭ２１から抽出したオブジェクト画像とを関連づけられたものである。つまり、第二判定部３３ｄによる判定結果は、単一の廃棄物Ｗが写る第二画像データＭ２２を用いて廃棄物Ｗの種別の判定を行ったものであるので、認識精度が高いと言える。そのため、第一画像データＭ２１から抽出したオブジェクト画像に対して正解を自動的に付与できる。

【0081】

次に、モデル更新部４２は、機械学習部４１で再学習された種別判定モデルによって、制御装置３０の第一判定部３３ｂおよび第二判定部３３ｄが有する種別判定モデルを更新する。第一判定部３３ｂおよび第二判定部３３ｄの種別判定モデルを更新するタイミングや方法は特に限定されない。モデル更新部４２は、例えば、制御装置３０とモデル記憶部５３とを定期的に自動同期させ、制御装置３０が有する種別判定モデルのバージョンアップを自動的に行う。これにより、制御装置３０が有する種別判定モデルの精度が半自動的に日々向上する。

【0082】

以上のように、第１実施形態に係る物品選別システム１は、コンベア４によって搬送されている廃棄物群Ｖを第一撮影手段２１で撮影し、第一画像データＭ２１に写る各々の廃棄物Ｗの種別の可能性（認識率、自信度）を算出する（第一段目識別処理）。また、ロボットアーム１３は、第一画像データＭ２１に基づく判定結果に基づいて廃棄物Ｗを分離し、第二撮影手段２２によって分離した単一の廃棄物Ｗを撮影する。そして、物品選別システム１は、第二画像データＭ２２に写る単一の廃棄物Ｗの種別の可能性（認識率）を再び算出し（第二段目識別処理）、ロボットアーム１３は、第二画像データＭ２２に基づく判定結果に基づいて廃棄物Ｗを分離する。
ここで、第二画像データＭ２２には単一の廃棄物Ｗが写るので、第二画像データＭ２２に基づく判定結果は、認識精度が高い。そのため、本実施形態に係る物品選別システム１では、分散して配置されていない廃棄物Ｗを従来よりも精度よく選別することができる。

【0083】

また、本実施形態に係る物品選別システム１は、複数の廃棄物Ｗが写る第一画像データＭ２１の判定結果に基づいて第二撮影手段２２によって撮影する廃棄物Ｗを決定する。そのため、コンベア４によって搬送される廃棄物Ｗの中に選別する対象となっていない素材（ここでは、ガラスやゴムなど）が含まれている場合であっても、選別する対象となっている素材（ここでは、コンがら、スプレー缶、木くず、石膏ボードの四つ）を適切に選んでロボットアーム１３による分離および第二撮影手段２２による撮影を実行できる。したがって、選別する対象となっていない素材を間違えてロボットアーム１３によって分離してしまう可能性が低く、効率的に廃棄物Ｗを選別することができる。

【0084】

また、本実施形態に係る物品選別システム１は、第二画像データＭ２２に基づく判定結果と、第一画像データＭ２１とを関連付けて教師データを作成する。つまり、第二画像データＭ２２による判定結果は、単一の廃棄物Ｗが写る第二画像データＭ２２を用いて廃棄物Ｗの種別の判定を行ったものであるので、認識精度が高いといえる。そのため、第一画像データＭ２１から抽出したオブジェクト画像に対して正解を自動的に付与できる。

【0085】

また、本実施形態に係る物品選別システム１は、第一画像データＭ２１に基づいて作成した教師データを用いて、廃棄物Ｗの種別の判定に使用されるアプリケーションプログラム（種別判定モデル）を学習する。そのため、複数の廃棄物Ｗが写る第一画像データＭ２１の判定結果（認識精度）があまり高くないものであっても、繰り返し選別を行っていく中で第一画像データＭ２１の判定結果の精度が向上する。したがって、選別する対象となっていない素材を間違えてロボットアーム１３によって分離してしまう可能性がさらに低くなり、より効率的に廃棄物Ｗを選別することができる。

【0086】

［第２実施形態］
第１実施形態では、廃棄物群Ｖ（物品群）が撮影された画像データ（例えば、第一画像データＭ２１）から、各々の廃棄物Ｗ（物品）をオブジェクトとして抽出していた。しかしながら、オブジェクトの抽出方法はこれに限定されない。第２実施形態では、第一画像データＭ２１から廃棄物群Ｖ（物品群）に含まれる複数個の廃棄物Ｗ（物品）のまとまりをオブジェクト群として抽出する場合を説明する。

【0087】

また、第１実施形態では、クラウドシステム３の処理装置４０が備える機能（教師データ修正部４３）を用いて、物品選別装置５による廃棄物Ｗの判定結果の修正を行っていた。これにより、仮に物品選別装置５による判定結果が間違っていても、人間（例えば、物品選別システム１の管理者）が判定結果を修正することで、正しい教師データを作成することができた。しかしながら、判定結果の修正方法はこれに限定されない。第２実施形態では、ローカルシステム２（例えば廃棄物を選別する工場）内でリアルタイムに廃棄物Ｗの判定結果を修正する場合について説明する。

【0088】

＜第２実施形態に係る物品選別システムの構成＞
図１０を参照して、第２実施形態に係る物品選別システム１０１の構成について説明する。第２実施形態に係る物品選別システム１０１は、第１実施形態に係る物品選別システム１（図１参照）と同様に、物品を撮影した画像（映像を含む。以下同じ）から物品の種別を判定し、その判定結果に基づいて当該物品を選別するシステムである。以下では、第１実施形態に係る物品選別システム１との相違点を中心に説明する。

【0089】

図１０に示す物品選別システム１０１は、ローカルシステム１０２と、クラウドシステム３とを含んで構成されている。本実施形態に係るローカルシステム１０２は、コンベア４と、少なくとも一つの物品選別装置１０５（ここでは、二つの物品選別装置１０５Ａ，１０５Ｂを表記）と、を備える。物品選別装置１０５は、コンベア４によって搬送されている廃棄物Ｗを選別する装置である。第一の物品選別装置１０５Ａと第二の物品選別装置１０５Ｂとは同様の構成である。

【0090】

各々の物品選別装置１０５は、選別機構１０と、物品情報取得機構２０と、制御装置１３０と、作業員用の端末１６０とを備える。なお、第一の物品選別装置１０５Ａと第二の物品選別装置１０５Ｂとで一つの制御装置１３０および作業員用の端末１６０を共有してもよい。選別機構１０および物品情報取得機構２０の構成は、第１実施形態と同様である。作業員用の端末１６０は、例えばタブレット端末である。

【0091】

図１に示す制御装置１３０は、選別機構１０や物品情報取得機構２０の制御、および物品情報取得機構２０によって撮影や計測した情報を用いた処理を行う。制御装置１３０は、例えばパーソナルコンピュータ（ＰＣ：Personal Computer）やサーバである。制御装置１３０は、各々の選別ユニット１１、第一撮影手段２１、第二撮影手段２２および計測手段２３と通信可能に接続されている。また、制御装置１３０は、システム内の無線ネットワーク（図示せず）を介して作業員用の端末１６０と通信可能に接続されている。また、制御装置１３０は、外部ネットワークＮＷを介してクラウドシステム３と通信可能に接続されている。なお、選別ユニット１１の制御に着目して、制御装置１３０を特に「コントロールユニット」と呼ぶ場合がある。

【0092】

図１１を参照して（適宜、図１０などを参照）、制御装置１３０の構成を説明する。制御装置１３０は、主に、情報取得機構制御部３１と、選別機構制御部３２と、取得情報処理部１３３とを備える。制御装置１３０が備えるこれらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。なお、図１１に示す制御装置１３０の各機能の分類は、説明の便宜上分けたものであり、本発明を限定するものではない。

【0093】

制御装置１３０が備える情報取得機構制御部３１および選別機構制御部３２は、第１実施形態で説明した機能と同様である。つまり、情報取得機構制御部３１は、物品情報取得機構２０を制御する。また、選別機構制御部３２は、選別機構１０を制御する。

【0094】

図１１に示す取得情報処理部１３３は、物品情報取得機構２０で撮影した画像データや計測した情報を用いた処理を行う。取得情報処理部１３３は、例えば、オブジェクト処理部１３３ａと、第一判定部１３３ｂと、対象決定部１３３ｃと、第二判定部１３３ｄと、教師データ作成部１３３ｅと、判定結果修正部１３３ｆと、を備える。

【0095】

オブジェクト処理部１３３ａは、第一画像データＭ２１から廃棄物Ｗのまとまりを抽出する。以下では、このまとまりを「オブジェクト群」と呼ぶ。オブジェクト群は、例えば重なり合ったり、隙間なく並べられることにより密着した状態の廃棄物Ｗである。オブジェクト処理部１３３ａは、例えば、第一画像データＭ２１を分割した分割画像にオブジェクト群が含まれるように第一画像データＭ２１を分割する。オブジェクト処理部１３３ａは、クラスタ分析機能などと呼ばれる場合がある。なお、オブジェクト処理部１３３ａは、計測手段２３によって計測した形状から廃棄物Ｗの範囲を予測し、その予測の結果に基づいてオブジェクト群を抽出してもよい。また、オブジェクト処理部１３３ａは、オブジェクト群に含まれる各オブジェクト（または素材ごと）のおおよその位置を検出する。オブジェクト処理部１３３ａは、例えば、画像処理技術を用いて、第一画像データＭ２１の所定の基準位置に対する当該各オブジェクト（または素材ごと）の位置（例えば、座標情報）を算出する。なお、オブジェクト処理部３３ａは、計測手段２３によって読み取った形状などに基づいて、各オブジェクト（または素材ごと）の位置を検出してもよい。

【0096】

第一判定部１３３ｂは、第一画像データＭ２１に写る廃棄物Ｗの種別を判定する。第一判定部１３３ｂは、画像データから廃棄物Ｗの種別を判定する種別判定モデルを有している。第一判定部１３３ｂは、第一画像データＭ２１を分割した分割画像に写るオブジェクト群に選別する対象である廃棄物Ｗが含まれている可能性を算出する。第一判定部１３３ｂは、例えば、選別する対象となっている素材の種別（ここでは、コンがら、スプレー缶、木くず、及び石膏ボード）ごとの可能性を確率（認識率）として出力する。

【0097】

オブジェクト処理部１３３ａおよび第一判定部１３３ｂは、例えば単一のニューラルネットワークが有する機能の一部として構成されてもよい。オブジェクト処理部１３３ａおよび第一判定部１３３ｂを単一のニューラルネットワークで実現する場合の処理のイメージを図１２に示す。

【0098】

図１２に示すように、第一画像データＭ２１をニューラルネットワーク１３３ｇに入力すると、ニューラルネットワーク１３３ｇ内で様々な演算処理を行い、分割画像（オブジェクト群）に選別する対象である廃棄物Ｗが含まれる可能性を出力する。また、ニューラルネットワーク１３３ｇから各オブジェクト（または素材ごと）の位置が出力される。
図１２では、選別する対象となっている素材の種別を抽象化して簡単な図形で表している。そのため、図形の形状は、素材の種別（図１２では「対象物Ａ，Ｂ，Ｃ，Ｄ」と表記している）に対応しており、同じ形の図形は同じ素材の種別を表している。例えば、ひし形のものは「対象物Ａ」に対応し、四角形のものは「対象物Ｂ」に対応し、丸形のものは「対象物Ｃ」に対応し、三角形のものは「対象物Ｄ」に対応する。

【0099】

図１２では、ニューラルネットワーク１３３ｇによって、第一オブジェクト群（図１２では「第一Ｏｂｊ群」と表記）が写る分割画像Ｍ２１ａと、第二オブジェクト群（図１２では「第二Ｏｂｊ群」と表記）が写る分割画像Ｍ２１ｂと、第三オブジェクト群（図１２では「第三Ｏｂｊ群」と表記）が写る分割画像Ｍ２１ｃと、に分割されている。
分割画像Ｍ２１ａ（第一オブジェクト群）には、対象物Ｂおよび対象物Ｄが含まれている。分割画像Ｍ２１ｂ（第二オブジェクト群）には、対象物Ａ，対象物Ｂ，対象物Ｃおよび対象物Ｄが含まれている。分割画像Ｍ２１ｃ（第三オブジェクト群）には、二つの対象物Ａおよび対象物Ｃが含まれている。

【0100】

一方、ニューラルネットワーク１３３ｇによって算出される各々の分割画像Ｍ２１ａ，Ｍ２１ｂ，Ｍ２１ｃ（第一〜第三オブジェクト群）に含まれる素材の種別（対象物Ａ，Ｂ，Ｃ，Ｄ）の可能性は、ここでは以下の通りであったとする。
分割画像Ｍ２１ａ（第一オブジェクト群）に含まれる素材の種別（対象物Ａ，Ｂ，Ｃ，Ｄ）の可能性は、対象物Ａが「１０％」であり、対象物Ｂが「３０％」であり、対象物Ｃが「１５％」であり、対象物Ｄが「８５％」である。
分割画像Ｍ２１ｂ（第二オブジェクト群）に含まれる素材の種別（対象物Ａ，Ｂ，Ｃ，Ｄ）の可能性は、対象物Ａが「９０％」であり、対象物Ｂが「３０％」であり、対象物Ｃが「４０％」であり、対象物Ｄが「１５％」である。
分割画像Ｍ２１ｃ（第三オブジェクト群）に含まれる素材の種別（対象物Ａ，Ｂ，Ｃ，Ｄ）の可能性は、対象物Ａが「３０％」であり、対象物Ｂが「１０％」であり、対象物Ｃが「８５％」であり、対象物Ｄが「２０％」である。

【0101】

ニューラルネットワーク１３３ｇで算出されるオブジェクト群に含まれる素材の種別（対象物Ａ，Ｂ，Ｃ，Ｄ）の可能性の精度（認識精度）は、第１実施形態と同様に、学習を繰り返し行うことで次第に向上する。なお、分割するオブジェクト群の数（クラスタ分析によるクラスタの数）は、予め決まっていなくてよい。

【0102】

図１１に示す対象決定部１３３ｃは、第一判定部１３３ｂによる判定結果に基づいて、選別対象とする廃棄物Ｗを決定する。選別対象を決定する規則は予め決めておく。ここでは、廃棄物Ｗの種別に関係なく認識率の高いものから順に選別する場合を想定する。例えば、図１２に示す判定結果の場合、対象決定部１３３ｃは、最も認識率が高い第二オブジェクト群の対象物Ａを最初に選別する廃棄物Ｗとして決定する。選別機構制御部３２は、例えば選別することを決定した廃棄物Ｗの位置にロボットアーム１３を移動させ、当該廃棄物Ｗの選別を実行させる。つまり、ロボットアーム１３は、オブジェクト処理部１３３ａ（ニューラルネットワーク１３３ｇ）によって検出される位置情報に基づいて、オブジェクト群に含まれている可能性が最も高い廃棄物Ｗを掴んで持ち上げる。

【0103】

図１１に示す第二判定部１３３ｄは、第二画像データＭ２２に写る廃棄物Ｗの種別を判定する。第二判定部１３３ｄは、第一判定部１３３ｂと同様に画像データから廃棄物Ｗの種別を判定する種別判定モデルを有している。種別判定モデルは、例えば、ニューラルネットワークとして構成されており、選別する対象となっている素材の種別（ここでは、コンがら、スプレー缶、木くず、及び石膏ボード）である可能性（認識率）を算出する。なお、第二判定部１３３ｄにおけるニューラルネットワークの構成は、第一判定部１３３ｂにおけるニューラルネットワークの構成と同様であってよい。

【0104】

図１１に示す教師データ作成部１３３ｅは、第二判定部１３３ｄによる判定結果と第一画像データＭ２１とを関連づけて、教師データを作成する。教師データ作成部１３３ｅは、第一画像データＭ２１を基にした教師データをクラウドシステム３の第一画像ＤＢ５１に格納する。
また、教師データ作成部１３３ｅは、第二判定部１３３ｄによる判定結果と第二画像データＭ２２とを関連づけて、教師データを作成する。教師データ作成部１３３ｅは、第二画像データＭ２２を基にした教師データをクラウドシステム３の第二画像ＤＢ５２に格納する。

【0105】

図１３を参照して、教師データ作成部１３３ｅの処理を説明する。例えば、第一判定部１３３ｂによる判定結果と第二判定部１３３ｄによる判定結果とが同じ場合（つまり、第一判定部１３３ｂによる判定結果が正しかった場合）、教師データ作成部１３３ｅは、オブジェクト群に含まれる当該素材の種別を「１００％」にする。図１３では、第二オブジェクト群に対象物Ａが含まれる可能性を「９０％」から「１００％」に修正している。そして、教師データ作成部１３３ｅは、修正した内容に基づいて教師データを作成し、教師データをクラウドシステム３の第一画像ＤＢ５１に格納する。
一方、第一判定部１３３ｂによる判定結果と第二判定部１３３ｄによる判定結果とが異なる場合（つまり、第一判定部１３３ｂによる判定結果が間違っていた場合など）、教師データ作成部１３３ｅは、第二判定部１３３ｄによる判定結果に基づく素材の種別を「１００％」にする。図１３では、第二オブジェクト群に対象物Ｃが含まれる可能性を「４０％」から「１００％」に修正している。そして、教師データ作成部１３３ｅは、修正した内容に基づいて教師データを作成し、教師データをクラウドシステム３の第一画像ＤＢ５１に格納する。なお、第一判定部１３３ｂによる間違った判定結果（ここでは、対象物Ａが含まれる可能性「９０％」）を修正してもよいし、修正しなくてもよい（つまり、修正の要否は問わない）。

【0106】

図１１に示す判定結果修正部１３３ｆは、人間（例えば、廃棄物を選別する工場内の作業員）による第一画像データＭ２１の判定結果の修正を実現する機能である。判定結果修正部１３３ｆは、作業員用の端末１６０に第一判定部１３３ｂの判定結果を表示する。判定結果修正部１３３ｆによる判定結果の表示方法は特に限定されず、どのように判定結果を表示してもよい。判定結果修正部１３３ｆは、例えば、第一画像データＭ２１を作業員用の端末１６０に表示するとともに、オブジェクト群に含まれている可能性が高い素材の廃棄物Ｗを認識可能にする枠を当該廃棄物Ｗに付して表示する。また、判定結果修正部１３３ｆは、オブジェクト群に含まれている可能性が高い素材の廃棄物Ｗおよび当該廃棄物Ｗに付した枠の何れか一方または両方に対応付けて、判定した素材の種別（物品の種別）の名称を表示する。

【0107】

作業員は、作業員用の端末１６０に表示される判定結果の内容が正しければ、何も操作を行わず、以降の処理は第一判定部１３３ｂの判定結果に基づいて行われる。一方、作業員は、作業員用の端末１６０に表示される判定結果の内容が間違っている場合、作業員用の端末１６０を用いて第一判定部１３３ｂの判定結果を修正する。作業員は、例えば、第一画像データＭ２１を表示した画面の一部（例えば、オブジェクト群に含まれる対象の廃棄物Ｗ）を、画面の横に表示される図示しない素材の種別（物品の種別）欄に移動させる。これにより、第一判定部１３３ｂの判定結果は、作業員が操作した内容に修正される。判定結果の修正方法は、例えば、オブジェクト群に当該素材の種別（物品の種別）の廃棄物Ｗが含まれる可能性を「１００％」にする。そして、以降の処理は、作業員が修正した判定結果に基づいて行われる。なお、作業員によって第一判定部１３３ｂの判定結果が修正された場合、第二判定部１３３ｄは、第二画像データＭ２２に写る廃棄物Ｗの種別を判定せずに、修正された判定結果を引き継ぐようにしてもよい。

【0108】

以上説明した第２実施形態に係る物品選別システム１０１によっても、第１実施形態と略同等の効果を奏することができる。

【0109】

つまり、第２実施形態に係る物品選別システム１０１によれば、コンベア４によって搬送されている廃棄物群Ｖを第一撮影手段２１で撮影し、第一画像データＭ２１に写る廃棄物Ｗのまとまりに含まれる種別の可能性（認識率、自信度）を算出する（第一段目識別処理）。また、ロボットアーム１３は、第一画像データＭ２１に基づく判定結果に基づいて廃棄物Ｗを分離し、第二撮影手段２２によって分離した単一の廃棄物Ｗを撮影する。そして、物品選別システム１０１は、第二画像データＭ２２に写る単一の廃棄物Ｗの種別の可能性（認識率）を再び算出し（第二段目識別処理）、ロボットアーム１３は、第二画像データＭ２２に基づく判定結果に基づいて廃棄物Ｗを分離する。
ここで、第二画像データＭ２２には単一の廃棄物Ｗが写るので、第二画像データＭ２２に基づく判定結果は、認識精度が高い。そのため、本実施形態に係る物品選別システム１０１では、分散して配置されていない廃棄物Ｗを従来よりも精度よく選別することができる。

【0110】

また、第２実施形態に係る物品選別システム１０１によれば、作業員は、作業員用の端末１６０を用いて第一判定部１３３ｂの判定結果を修正できる。そのため、物品選別システム１０１の導入初期などの理由により、廃棄物Ｗの認識率が低い場合でも廃棄物Ｗを間違えることなく選別できる。なお、第１実施形態に係る物品選別システム１においても第２実施形態と同様に、作業員が作業員用の端末１６０を用いて第一判定部３３ｂ（図５参照）の判定結果を修正してもよい。

【0111】

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。

【0112】

各実施形態では、保持部１３ｂとして、図２のγ方向に開閉可能な複数本の指を備えるものを想定していた。しかしながら、廃棄物Ｗを一時的に保持することができるものであれば、保持部１３ｂの構成は図２に示すものに限定されない。例えば、廃棄物Ｗとして木材（例えば、木くず）を想定した場合、保持部１３ｂは電動ドリルであってもよい。つまり、廃棄物Ｗに電動ドリルを所定量（例えば、数ｃｍ）だけ突き刺した状態で移動させ、ドリルを逆回転させて廃棄物Ｗを離脱させる。

【符号の説明】

【0113】

１，１０１ 物品選別システム
２，１０２ ローカルシステム
３ クラウドシステム
４ コンベア（搬送装置）
５，１０５ 物品選別装置
１０ 選別機構
１１ 選別ユニット
２０ 物品情報取得機構
２１ 第一撮影手段
２２ 第二撮影手段
２３ 計測手段
３０，１３０ 制御装置
４０ 処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2020年1月27日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】請求項９

【補正方法】変更

【補正の内容】

【請求項9】

請求項３に記載の物品選別装置と、
前記教師データを用いて前記第一判定部を学習させる機械学習部を有する処理装置と、を備える、
ことを特徴とする物品選別システム。