特開 2024-37449 処理装置、処理プログラム、処理方法及び処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024037449

(43)【公開日】2024-03-19

(54)【発明の名称】処理装置、処理プログラム、処理方法及び処理システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240312BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022142328

(22)【出願日】2022-09-07

(71)【出願人】

【識別番号】520126295

【氏名又は名称】ＡｎｙＴｅｃｈ株式会社

(71)【出願人】

【識別番号】500570427

【氏名又は名称】Ｊ＆Ｔ環境株式会社

(74)【代理人】

【識別番号】100151448

【弁理士】

【氏名又は名称】青木 孝博

(74)【代理人】

【識別番号】230121016

【弁護士】

【氏名又は名称】小笠原 匡隆

(72)【発明者】

【氏名】渡邉 賢吾

(72)【発明者】

【氏名】櫻井 久也

(72)【発明者】

【氏名】鳴海 孝幸

(72)【発明者】

【氏名】吉本 修平

(72)【発明者】

【氏名】石山 達也

(57)【要約】

【課題】
搬送路上を搬送される搬送対象物の識別しより効率的な処理装置、処理プログラム、処理方法及び処理システムを提供する
【解決手段】
少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、搬送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラから前記搬送対象物を含む搬送画像を取得し、取得した前記搬送画像に基づいて、前記搬送画像に含まれる前記搬送対象物の中に識別対象物が含まれるか否かを判断し、前記判断の結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路に出力するための出力装置に、前記識別情報を出力する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

少なくとも一つのプロセッサを具備する処理装置であって、
前記少なくとも一つのプロセッサは、
搬送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラから前記搬送対象物を含む搬送画像を取得し、
取得した前記搬送画像に基づいて、前記搬送画像に含まれる前記搬送対象物の中に識別対象物が含まれるか否かを判断し、
前記判断の結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路に出力するための出力装置に、前記識別情報を出力する、
ための処理を実行するように構成された処理装置。

【請求項2】

前記判断は、前記識別対象物があらかじめ含まれる学習用画像を用いて機械学習することによって生成された学習済み識別モデルに、前記搬送画像を入力することにより実行される、請求項１に記載の処理装置。

【請求項3】

前記学習済み識別モデルによって前記搬送対象物が誤って識別対象物として判断されなかった場合には、誤って識別対象物として判断されなかった搬送対象物を含む学習用画像を取得し、
前記学習済み識別モデルは、取得した誤って判断された前記識別対象物を含む学習用画像を用いて再度機械学習される、
請求項２に記載の処理装置。

【請求項4】

出力装置は前記搬送路において前記搬送画像が取得された位置よりも後段に位置する、請求項１に記載の処理装置。

【請求項5】

前記識別情報は、前記搬送画像に含まれる前記識別対象物の位置に応じた位置に出力される、請求項１に記載の処理装置。

【請求項6】

前記識別情報は、前記搬送画像が取得された位置から前記搬送路上を所定の速度で前記識別対象物が搬送された位置に出力される、請求項１に記載の処理装置。

【請求項7】

前記識別情報は、前記搬送画像が取得された時間から所定の時間が経過したのちに、前記時間が経過する間に搬送された前記識別対象物位置に応じた位置に出力される、請求項１に記載の処理装置。

【請求項8】

前記識別情報は、前記搬送路上を搬送される前記識別対象物に追従するように移動して出力される、請求項１に記載の処理装置。

【請求項9】

少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、
搬送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラから前記搬送対象物を含む搬送画像を取得し、
取得した前記搬送画像に基づいて、前記搬送画像に含まれる前記搬送対象物の中に識別対象物が含まれるか否かを判断し、
前記判断の結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路上に出力するための出力装置に、前記識別情報を出力する、
ように機能させる処理プログラム。

【請求項10】

少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、
搬送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラから前記搬送対象物を含む搬送画像を取得する段階と、
取得した前記搬送画像に基づいて、前記搬送画像に含まれる前記搬送対象物の中に識別対象物が含まれるか否かを判断する段階と、
前記判断の結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路上に出力するための出力装置に、前記識別情報を出力する段階と、
を含む処理方法。

【請求項11】

請求項１に記載の処理装置と、
搬送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラと、
前記カメラで撮影された前記搬送対象物を含む搬送画像の中に識別対象物が含まれるか否かを判断した結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路上に出力するための出力装置と、
を含む処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、搬送路上を搬送される搬送対象物の識別をするための処理装置、処理プログラム、処理方法及び処理システムに関する。

【背景技術】

【0002】

従来より、所定の対象物を識別して分別するためのシステムが知られていた。例えば、特許文献１には、廃棄物が貯留されるごみピット内の映像を撮影することにより得られる過去の画像データに廃棄物の種類がラベリングされた教師データを学習済みの識別アルゴリズムを用いて、ごみピット内の新たな画像データを入力として前記ごみピット内に貯留されている廃棄物の種類を識別する種類識別部を備えたことを特徴とする情報処理装置を用いたシステムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０３８０５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、上述した背景からなされたものであり、搬送路上を搬送される搬送対象物の識別しより効率的な処理装置、処理プログラム、処理方法及び処理システムを提供する。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、「少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、搬送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラから前記搬送対象物を含む搬送画像を取得し、取得した前記搬送画像に基づいて、前記搬送画像に含まれる前記搬送対象物の中に識別対象物が含まれるか否かを判断し、前記判断の結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路に出力するための出力装置に、前記識別情報を出力する、ための処理を実行するように構成された処理装置」が提供される。

【0006】

本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、搬送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラから前記搬送対象物を含む搬送画像を取得し、取得した前記搬送画像に基づいて、前記搬送画像に含まれる前記搬送対象物の中に識別対象物が含まれるか否かを判断し、前記判断の結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路上に出力するための出力装置に、前記識別情報を出力する、ように機能させる処理プログラム」が提供される。

【0007】

本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、搬送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラから前記搬送対象物を含む搬送画像を取得する段階と、取得した前記搬送画像に基づいて、前記搬送画像に含まれる前記搬送対象物の中に識別対象物が含まれるか否かを判断する段階と、前記判断の結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路上に出力するための出力装置に、前記識別情報を出力する段階と、を含む処理方法」が提供される。

【0008】

本開示の一態様によれば、「上記処理装置と、送路上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラと、前記カメラで撮影された前記搬送対象物を含む搬送画像の中に識別対象物が含まれるか否かを判断した結果に応じて、前記識別対象物と前記識別対象物とは異なる他の搬送対象物とを識別可能にするための識別情報を前記速度に応じて前記搬送路上に出力するための出力装置と、を含む処理システム」が提供される。

【発明の効果】

【0009】

本開示によれば、搬送路上を搬送される搬送対象物の識別しより効率的な処理装置、処理プログラム、処理方法及び処理システムを提供することができる。

【0010】

なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、又は上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示の実施形態に係る処理システム１の構成を概略的に示す概念図である。

【図2】図２は、本開示の実施形態に係る処理装置１００の構成の例を示すブロック図である。

【図3】図３は、本開示の実施形態に係る処理システム１において実行される処理工程の例を示す図である。

【図4】図４は、本開示の実施形態に係る処理装置１００において実行される処理フローを示す図である。

【図5A】図５Ａは、本開示の実施形態に係る学習済み識別モデルの生成に係る処理フローを示す図である。

【図5B】図５Ｂは、本開示の実施形態に係る学習済み識別モデルの生成に係る処理フローを示す図である。

【図5C】図５Ｃは、本開示の実施形態に係る学習済み識別モデルの生成に係る処理フローを示す図である。

【図6】図６は、本開示の実施形態に係る搬送対象物の検出処理を概念的に示す図である。

【図7】図７は、本開示の実施形態に係る識別情報の出力位置の算出処理を概念的に示す図である。

【図8A】図８Ａは、本開示の実施形態に係る出力装置３００から出力される識別情報の例を示す図である。

【図8B】図８Ｂは、本開示の実施形態に係る出力装置３００から出力される識別情報の例を示す図である。

【図8C】図８Ｃは、本開示の実施形態に係る出力装置３００から出力される識別情報の例を示す図である。

【図8D】図８Ｄは、本開示の実施形態に係る出力装置３００から出力される識別情報の例を示す図である。

【図9】図９は、本開示の実施形態に係る処理システム１の他の例に係る構成を概略的に示す概念図である。

【発明を実施するための形態】

【0012】

添付図面を参照して本開示の実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。

【0013】

１．本開示に係る処理システム１の概要
本開示に係る処理システム１は、搬送路上を搬送される搬送対象物をカメラで撮影し、撮影された画像を処理装置に送信し、処理装置において撮影された画像に基づいて搬送されている搬送対象物が含まれるか否かを判断する。そして、当該処理システム１は、搬送対象物を識別可能にするための識別情報を出力装置から出力する。一例としては、当該処理システム１は、廃棄物の搬送を搬送路（例えば、ベルトコンベア）上で行い、当該廃棄物の中に所定の廃棄物（例えば、一次電池）が含まれるか否かを判断し、所定の廃棄物が含まれる場合にはその廃棄物及びそれ以外の廃棄物を互いに識別可能なように出力装置（例えば、プロジェクタ）から搬送路に向かって識別情報を出力する。これにより、搬送路において識別情報を見ながら各廃棄物が一次電池であるのか、それ以外であるのかを直ちに作業者が識別することが可能となる。

【0014】

また、当該処理システム１における搬送路は、所定の速度で搬送対象物を搬送するものである。また、当該処理システム１における出力装置は、カメラによって画像が撮影される位置よりも後段に配置されている。そのため、出力装置から識別情報が出力される位置は、撮影から出力の間に搬送対象物がどの程度移動したかを予測して出力するのが望ましい。また、出力装置から出力する識別情報も搬送される搬送対象物に追従して移動されるのが望ましい。

【0015】

図１は、本開示の実施形態に係る処理システム１の構成を概略的に示す概念図である。具体的には、図１は、本開示の処理システム１の構成と当該処理システム１と搬送路上を搬送される搬送対象物との関係を示す図である。図１によると、処理システム１は、搬送路４００上を搬送される搬送対象物を撮影するために搬送路４００の上方に設置されたカメラ２００と、当該カメラにおいて撮影された搬送画像に基づいて搬送対象物の中に識別対象物１１が含まれるか否かを判断し識別情報を出力するための処理装置１００と、出力された識別情報を搬送路４００に向かって出力するために搬送路４００の上方に設置された出力装置３００を含む。そして、処理システム１においては、処理装置１００、カメラ２００及び出力装置３００が互いに無線、有線又はこれらの組み合わせにより通信可能に接続されている。

【0016】

このような処理システム１は、処理装置１００、カメラ２００及び出力装置３００のすべてを含む必要はなく、これらの構成要素のうちのいくつかが別のシステムと組み合わされて構成されてもよい。また、図１では、処理システム１の例として、処理装置１００、カメラ２００及び出力装置３００をそれぞれ１体ずつ記載しているが、当然複数の処理装置、複数のカメラ２００又は複数の出力装置３００が含まれてもよい。

【0017】

図１によれば、搬送路４００上を搬送対象物が所定の速度で方向Ａの方向に搬送されている。このとき、カメラ２００は所定間隔で搬送画像を撮影し、撮影された搬送画像を処理装置１００に送信する。そして、処理装置１００は、カメラ２００によって撮影された搬送画像を取得すると、当該搬送画像の中に識別対象物が含まれているか否かを判断する。図１の例では、当該搬送画像の中に、識別対象物として、識別対象物１１が含まれている場合を示している。

【0018】

ここで、識別対象物１１は、上記のとおり、搬送路４００上を所定の速度で方向Ａの方向に搬送されている。また、出力装置３００は、当該識別対象物１１が撮影された位置１１Ａから一定距離離れた後段の位置に位置している。つまり、カメラ２００によって搬送画像が撮影された時間から、識別対象物１１が出力装置３００の出力範囲に位置するまでには所定の時間を要することとなる。そのため、搬送画像中に識別対象物１１が含まれている場合、当該識別対象物１１を識別可能にするための識別情報を出力装置３００は出力するが、処理装置１００はあらかじめ識別対象物１１が出力装置３００により識別情報の出力が可能な位置に達する時間を予測し識別情報の出力指示を送信する。

【0019】

また、識別対象物１１は、上記のとおり、搬送路４００上を上記のとおり方向Ａの方向に搬送されている。すなわち、出力装置３００から識別情報が出力されている間も、識別対象物１１は搬送路４００上を移動する。そのため、出力装置３００は、当該識別情報の出力位置を、識別対象物１１の移動に追従するように移動する。図１の例では、識別対象物１１が搬送路４００の位置１１Ｂに達したときに識別情報が出力され、一定時間後に識別対象物１１が位置１１Ｃに達したとき識別情報も当該位置に追従して移動する。

【0020】

このように、処理システム１は、搬送対象物に識別対象物１１が含まれるか否かの判断の結果に応じて識別対象物１１を識別するための識別情報を搬送路４００上に出力することが可能である。また、その際、処理システム１は、あらかじめ識別対象物１１の移動した位置・時間を予測して識別情報を出力することが可能である。さらに、処理システム１は、搬送路４００上を搬送される識別対象物１１の移動に追従するように識別情報を出力することが可能である。

【0021】

なお、本開示において、「搬送対象物」は搬送路４００上を搬送されることが可能な物を意味しているに過ぎず、特定の物品のみに限定されるものではない。このような搬送対象物の例としては、電池、木屑、繊維ごみ、衣類ごみ、プラスチックごみ、動物性残渣、動物死体、厨芥ごみ、草木、土、医療ごみ、焼却灰、自転車、たんす、ベッド、棚、机、椅子、農業系ビニール類、ペットボトル、発泡スチロール、肉骨粉、農作物、陶器、ガラスくず、金属くず、がれき類、コンクリートくず、畳、竹、わら、活性炭などの廃棄物、野菜、果物、生花、魚類、肉類などの収穫物、飲食品、化粧品、医薬品、電子部品、電子装置、その他の工業製品、所定の対象者が所持する所持物品又はこれらの組み合わせが挙げられる。なお、以下においては搬送対象物として廃棄物を例に説明するが、当然これのみに限定されるわけではない。

【0022】

また、本開示において、「識別対象物」は搬送対象物のうち識別される対象となる物を意味しているにすぎず、特定の物品のみに限定されるものではない。例えば、搬送対象物として廃棄物が搬送されており、その廃棄物に含まれる一次電池以外の電池を搬送路４００上から取り除きたい場合において、識別対象物は搬送路４００上にそのまま残される一次電池等の廃棄物であってもよいし、搬送路４００から取り除かれる一次電池以外の電池であってもよい。つまり、本開示において、搬送路４００から取り除かれるか否かによって区別されるものではない。なお、以下においては識別対象物として一次電池以外の電池を例に説明するが、当然これのみに限定されるわけではない。例えば、搬送対象物が工業製品である場合には製造不良の製品が識別対象物となったり、搬送対象物が収穫物である場合には規格外の収穫物が識別対象物となったり、搬送対象物が所持物品である場合には持ち込み制限品（例えば、空港施設等において持ち込みが制限される物品）が識別対象物となったりする。

【0023】

また、本開示において、「搬送画像」はカメラで撮影された画像であればいずれでもよく、特定の画像のみに限定されるものではない。すなわち、必ずしも搬送対象物や識別対象物が含まれている必要はない。また、当該画像は、１枚の静止画に限定されるものではなく、複数枚の静止画であってもよいし、１又は複数の動画であってもよい。また、当該画像は、特定のカラー画像のみに限定されるものではなく、赤外線画像、紫外線画像、白黒画像、点群画像又はこれらの組み合わせなど、いずれの画像であってもよい。また、搬送画像を撮影するカメラも、ＣＭＯＳセンサを備えるカメラのみならず、赤外線センサや紫外線センサを用いることも可能であるし、赤外線センサ、紫外線センサ、加速度センサ、ジャイロセンサなど、各種センサが組み合わされたものであってもよい。

【0024】

２．処理装置１００の構成
図２は、本開示の実施形態に係る処理装置１００の構成の例を示すブロック図である。処理装置１００は、典型的には、ラップトップパソコンやデスクトップパソコンが挙げられるが、当然当該装置のみには限られない。例えば、処理装置１００としては、スマートフォン、タブレット、携帯情報端末、ＰＤＡなど、本開示に係るプログラムを実行可能な装置であれば、いずれでも好適に適用することが可能である。また、例えば、一部及びすべての処理をクラウド上のサーバ装置において処理することも可能である。このような場合は、当該サーバ装置が又はサーバ装置を含めて処理装置と称する場合がある。

【0025】

図２によると、処理装置１００は、入力インターフェイス１１１、プロセッサ１１２、メモリ１１３及び通信インターフェイス１１４を含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、処理装置１００は、図２に示す構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。例えば、処理システム１は、各構成要素を駆動するためのバッテリ等を含むことが可能である。

【0026】

プロセッサ１１２は、メモリ１１３に記憶されたプログラムに基づいて処理装置１００の他の構成要素の制御を行う制御部として機能する。プロセッサ１１２は、メモリ１１３に記憶されたプログラムに基づいて、カメラ２００から搬送画像の画像データを取得し、識別対象物が含まれるか否かの判断や、識別情報の出力等係る処理を制御する。具体的には、プロセッサ１１２は、「搬送路４００上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラ２００から搬送対象物を含む搬送画像を取得する処理」、「取得した搬送画像に基づいて、当該搬送画像に含まれる搬送対象物の中に識別対象物が含まれるか否かを判断する処理」、「当該判断の結果に応じて、識別対象物１１と識別対象物１１とは異なる他の搬送対象物とを識別可能にするための識別情報を速度に応じて搬送路に出力するための出力装置３００に、当該識別情報を出力する処理」などを、メモリ１１３に記憶されたプログラムに基づいて実行する。プロセッサ１１２は、主に一又は複数のプロセッサで構成されてもよく、このようなプロセッサとしては、ＣＰＵ、ＧＰＵやＦＰＧＡなどを組み合わせてもよい。

【0027】

メモリ１１３は、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。メモリ１１３は、本実施形態に係る処理装置１００の様々な制御のための指示命令をプログラムとして記憶する。具体的には、メモリ１１３は、「搬送路４００上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラ２００から搬送対象物を含む搬送画像を取得する処理」、「取得した搬送画像に基づいて、当該搬送画像に含まれる搬送対象物の中に識別対象物が含まれるか否かを判断する処理」、「当該判断の結果に応じて、識別対象物１１と識別対象物１１とは異なる他の搬送対象物とを識別可能にするための識別情報を速度に応じて搬送路に出力するための出力装置３００に、当該識別情報を出力する処理」など、プロセッサ１１２が実行するためのプログラムを記憶する。また、メモリ１１３は、当該プログラムのほかに、カメラ２００で撮影された搬送画像の画像データなどを記憶する。また、メモリ１１３は、搬送画像中に識別対象物が含まれるか否かを判断するための学習済み識別モデル等の各学習済みモデルに係るプログラムを記憶する。

【0028】

入力インターフェイス１１１は、処理装置１００に対する使用者の指示入力を受け付ける入力部として機能する。入力インターフェイス１１１の一例としては、テンキーや文字入力キーなどの物理キーボタンが挙げられる。また、物理キーボタンに代えて又は加えて、入力インターフェイス１１１には、通信インターフェイス１１４疎開して接続されたディスプレイに重畳して設けられ、ディスプレイの表示座標系に対応する入力座標系を有するタッチパネルを用いることも可能である。この場合、ディスプレイに上記物理キーに対応するアイコンが表示され、タッチパネルを介して使用者が指示入力を行うことで、各アイコンに対する選択が行われる。タッチパネルによる使用者の指示入力の検出方式は、静電容量式、抵抗膜式などいかなる方式であってもよい。入力インターフェイス１１１は、常に処理装置１００に物理的に備えられる必要はなく、有線や無線ネットワークを介して必要に応じて接続されてもよい。このような入力インターフェイス１１１は、一例としては、処理システム１の初期設定情報（例えば、カメラ２００の明るさや画角等のカメラ設定情報、搬送路４００の搬送速度、識別情報を出力するときに遅延させる遅延時間等の出力設定情報など）の設定に係る指示入力を受け付ける。

【0029】

通信インターフェイス１１４は、無線、有線又はこれらの組み合わせから構成されるネットワークを介して接続されたカメラ２００及び出力装置３００に対して搬送画像や識別情報等を送受信するための通信部として機能する。また、通信インターフェイス１１４は、カメラ２００及び出力装置３００に限らず、サーバ装置や他の処理装置と情報を送受信することも可能である。通信インターフェイス１１４の一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、セルラ通信、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。

【0030】

また、具体的に図示はしていないものの、カメラ２００は、カメラ、光源、プロセッサ、メモリ、表示パネル、入力インターフェイス及び通信インターフェイス等を含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、カメラ２００は、これらの構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。

【0031】

３．カメラ２００及び出力装置３００の構成
具体的に図示はしていないものの、カメラ２００は、センサ、光源、プロセッサ、メモリ及び通信インターフェイス等を含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、カメラ２００は、これらの構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。

【0032】

カメラ２００のうち、センサは、被写体であるに反射した反射光を検出して被写体画像を生成する撮影部として機能する。センサは、一例としてＣＭＯＳセンサが挙げられる。なお、ＣＭＯＳセンサ以外にも、ＣＣＤセンサなどのイメージセンサや、赤外線センサや紫外線センサを用いることも可能であるし、赤外線センサ、紫外線センサ、加速度センサ、ジャイロセンサなど、各種センサが組み合わされたものであってもよい。

【0033】

光源は、処理装置１００又はカメラ２００からの指示によって駆動され、口腔内に光を照射するための光源部として機能する。光源は、一又は複数の光源を含む。本実施形態においては、光源は、一又は複数のＬＥＤから構成され、各ＬＥＤから所定の周波数帯域を有する光が被写体に照射される。光源には、一例としては、紫外光帯域、可視光帯域、赤外光帯域の中から所望の帯域を有する光、又はそれらの組み合わせが用いられる。

【0034】

プロセッサは、メモリに記憶されたプログラムに基づいてカメラ２００の他の構成要素の制御を行う制御部として機能する。具体的は、プロセッサは、メモリに記憶されたプログラムに基づいて、センサの駆動、光源の駆動を制御するとともに、センサによって撮影された搬送画像の送信や撮影における撮影条件等のメモリへの記憶を制御する。

【0035】

メモリは、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。メモリは、カメラ２００の様々な制御のための指示命令をプログラムとして記憶する。また、メモリは、当該プログラムのほかに、カメラで撮影された搬送画像などを記憶する。

【0036】

通信インターフェイスは、処理装置と情報の送受信を行うための通信部として機能する。通信インターフェイスの一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、セルラ通信、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。

【0037】

出力装置３００は、典型的には、レーザ照射ユニット、光源、プロセッサ、メモリ及び通信インターフェイス等を含むプロジェクタが用いられる。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。通信インターフェイスを介して処理装置１００から出力された識別情報及び出力指示を受信し、識別情報をレーザ照射ユニットから照射されたレーザ光によって搬送路４００上に出力する。

【0038】

なお、出力装置３００としては、当然にプロジェクタのみには限らない。例えば、ディスプレイ等の各種表示装置や、搬送路４００上から識別対象物１１をピックアップするための採取ロボットなども出力装置として機能することが可能である。なお、以下においては、出力装置３００としてプロジェクタを用いる場合について説明する。

【0039】

４．処理工程
図４は、本開示の実施形態に係る処理装置１００において実行される処理フローを示す図である。ここでは、一例として、搬送路４００上を廃棄物が搬送される場合を例に説明する。すなわち、図４は、搬送対象物である廃棄物（一次電池、二次電池及びその他の電池が含まれる廃棄物）から、二次電池やその他の電池を搬送路から取り除き、一次電池を破砕して金属等を回収するまでの一連の処理工程を示す図である。なお、搬送対象物が廃棄物以外の場合には、当然、当該処理工程とは異なる工程が実施される場合もある。

【0040】

図４によると、当該処理工程は、まず搬送対象物である廃棄物の受入工程が実施される（Ｓ１０１）。当該受入工程では、作業者等により一次電池、二次電池及びその他の電池等の廃棄物が含まれた廃棄袋が、処理システム１や搬送路４００が設置された処理施設に持ち込まれる。

【0041】

次に、受入工程で持ち込まれた廃棄物は、廃棄袋を破袋してトロンメル等の回転選別機内に投入され回転選別工程が実施される（Ｓ１０２）。回転選別機は、篩庫を回転させてその内部に投入された廃棄物から塵芥などの所定の大きさ以下のものとそれよりも大きいものとを選別し、廃棄物から所定の大きさ以下のものを除去する。

【0042】

次に、回転選別工程でそのまま残された廃棄物が振動篩上に搬送され、廃棄物中に含まれるボタン電池を除去するためお振動選別工程が実施される（Ｓ１０３）。振動選別工程では、ボタン電池に対応する大きさの網目を有する振動篩が用いられ、ボタン電池及びそれ以下の大きさを有する他の廃棄物が除去される。

【0043】

次に、ボタン電池及びそれ以下の大きさを有する他の廃棄物が除去された廃棄物が搬送路４００上に搬送され、二次電池及びその他の異物を除去するための搬送対象物識別工程が実施される（Ｓ１０４）。当該工程では、搬送路４００上に置かれた搬送対象物が所定の速度でカメラ２００の方向に搬送される。そして、処理システム１の処理によって、その搬送過程において識別対象物１１である一次電池を識別するための識別情報を搬送路４００上に出力する。その後、一例としては、各作業員によってその識別情報を参照しつつ、一次電池以外の廃棄物（例えば、二次電池やその他の異物）を手選別し、搬送路４００から除去する。なお、処理システム１の処理の詳細は後述する。

【0044】

次に、搬送対象物選別工程によって最終的に搬送路４００上に残された一次電池は、そのまま搬送路４００上を搬送され、当該一次電池を破砕するための破砕工程が実施される（Ｓ１０５）。当該破砕工程では、一次電池は破砕機に投入され、当該破砕機の回転カッターによるせん断力によって完全にせん断される。そして、一次電池がせん断されると、そのせん断された一次電池の中からマグネットやエア等を用いて所望の金属等を回収するための回収工程が実施される（Ｓ１０６）。例えば、回収された鉛等の金属や廃プラスチック等は、その用途に応じて再販売される。

【0045】

５．処理システム１において実行される処理フロー
図４は、本開示の実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図３の搬送対象物識別工程において処理システム１のうち処理装置１００において実行される処理フローを示す図である。当該処理フローは、主に処理装置１００のプロセッサ１１２がメモリ１１３に記憶されたプログラムを読み出して実行することにより行われる。

【0046】

図４によると、処理装置１００のプロセッサ１１２は、入力インターフェイス１１１を介して、使用者の操作入力を受け付けて、処理システム１による処理のために必要な各種初期設定パラメータ値の設定を行う（Ｓ２０１）。具体的には、プロセッサ１１２は、初期設定情報として、カメラ２００の明るさや画角等のカメラ設定情報、搬送路４００の搬送速度及び識別情報を出力するときに遅延させる遅延時間等の出力設定情報などについて、入力インターフェイス１１１を介して使用者の操作入力を受け付ける。そして、プロセッサ１１２は、受け付けた各初期設定情報をメモリ１１３に記憶するとともに、カメラ設定情報をカメラ２００に通信インターフェイス１１４を介して送信する。また、特に図示はしないが、プロセッサ１１２は、入力インターフェイス１１１を介して使用者の操作入力を受け付けて、搬送画像の撮影開始を指示するための撮影開始信号を通信インターフェイス１１４を介してカメラ２００に送信する。

【0047】

次に、撮影開始信号がカメラ２００によって受信されると、カメラ設定情報として設定された所定の間隔（例えば、３０ｍ秒）で、カメラ２００では所定の速度で搬送対象物を搬送ることが可能な搬送路４００の撮影を開始する。そして、カメラ２００は撮影された画像を搬送画像としてメモリに記憶するとともに、撮影された画像を随時のタイミングで処理装置１００に送信する。なお、カメラ２００により撮影された搬送画像は、静止画であってもよいし、動画であってもよい。すなわち、静止画である場合には、所定の間隔で撮像処理を繰り返し複数枚の静止画を搬送画像として取得する。また、動画である場合には、所定の間隔でフレーム画像が取り込まれた動画を搬送画像として取得する。

【0048】

次に、処理装置１００のプロセッサ１１２は、通信インターフェイス１１４を介して受信することにより搬送画像を取得する（Ｓ２０２）。プロセッサ１１２は、取得した搬送画像をメモリ１１３に格納する。

【0049】

次に、処理装置１００のプロセッサ１１２は、メモリ１１３に格納された搬送画像を読みだして、搬送画像に含まれる搬送対象物の中に識別対象物１１が含まれるか否かを判断する（Ｓ２０３）。当該判断は、一例としては、識別対象物１１が含まれる学習用画像を用いて機械学習することによって生成された学習済み識別モデルに、読みだされた搬送画像を入力することにより実行される。

【0050】

ここで、図５Ａ～図５Ｃは、本開示の実施形態に係る学習済み識別モデルの生成に係る処理フローを示す図である。具体的には、図５Ａ～図５Ｃは、図４のＳ２０３の識別対象物の判別処理に用いられる学習済み識別モデルの生成に係る処理フローを示す図である。図５Ａ～図５Ｃにおいては、当該処理フローを処理装置１００のプロセッサ１１２が実行する場合について説明するが、他の処理装置のプロセッサが実行してもよい。

【0051】

まず、図５Ａは、取得された搬送画像を入力して当該画像中に搬送対象物が含まれるか否かを判断するための学習済み搬送対象物識別モデルを生成するための処理フローを示す。図５Ａによると、プロセッサ１１２は、識別対象物１１である一次電池、搬送対象物である二次電池や異物等の搬送対象物が少なくとも含まれカメラ２００によって撮影された学習用画像の画像データを取得するステップを実行する（Ｓ３０１）。次に、プロセッサ１１２は、取得された学習用画像に対して識別対象物１１である一次電池、搬送対象物である二次電池や異物等の搬送対象物の識別処理を行い、これらを正解ラベル情報を付与する処理ステップを実行する（Ｓ３０２）。そして、プロセッサ１１２は付与された正解ラベル情報を学習用識別情報として学習用画像に対応付けて記憶するステップを実行する（Ｓ３０３）。

【0052】

学習用画像とそれに対応付けられた学習用識別情報がそれぞれ得られると、プロセッサ１１２は、それらを用いて搬送対象物の識別パターンの機械学習を行うステップを実行する（Ｓ３０４）。当該機械学習は、一例として、ニューロンを組み合わせたニューラルネットワークに対して、これら情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済み搬送対象物識別モデルを取得するステップが実行される（Ｓ３０５）。取得された学習済み搬送対象物識別モデルは、処理装置１００のメモリ１１３や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置（例えば、クラウド上のサーバ装置）内に記憶される。

【0053】

なお、図５Ａにおいては、学習用画像としてカメラ２００により撮影された画像を用い、当該学習用画像に対して例えば使用者により識別処理がなされる場合について説明した。しかし、これに限らず、あらかじめ搬送対象物のみが含まれた画像を学習用画像として用いたり、ＣＧ（コンピュータグラフィックス）画像を作成し学習用画像及び学習用識別情報として利用することも可能である。

【0054】

また、図５Ａにおいては、学習用画像と学習用識別情報とを用いて学習する場合について説明したが、例えばカメラ２００で画像が撮影されたときの撮影条件情報や、撮影されたときに各種センサ装置で測定された出力値である撮影環境情報をさらに用いて学習させてもよい。

【0055】

次に、図５Ｂは、学習済み搬送対象物識別モデルによって識別された搬送対象物が異物かそれ以外の搬送対象物かを判断するための学習済み異物識別モデルを生成するための処理フローを示す。図５Ｂによると、プロセッサ１１２は、種々の搬送対象物がカメラ２００によって撮影された学習用画像の画像データを取得するステップを実行する（Ｓ３２１）。次に、プロセッサ１１２は、取得された学習用画像に対して異物かそれ以外の搬送対象物かの識別処理を行い、これらを異物に対して正解ラベル情報を付与する処理ステップを実行する（Ｓ３２２）。そして、プロセッサ１１２は付与された正解ラベル情報を学習用識別情報として学習用画像に対応付けて記憶するステップを実行する（Ｓ３２３）。

【0056】

学習用画像とそれに対応付けられた学習用識別情報がそれぞれ得られると、プロセッサ１１２は、それらを用いて異物の識別パターンの機械学習を行うステップを実行する（Ｓ３２４）。当該機械学習は、一例として、ニューロンを組み合わせたニューラルネットワークに対して、これら情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済み異物識別モデルを取得するステップが実行される（Ｓ３２５）。取得された学習済み異物識別モデルは、処理装置１００のメモリ１１３や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置（例えば、クラウド上のサーバ装置）内に記憶される。

【0057】

なお、図５Ｂにおいては、学習用画像としてカメラ２００により撮影された画像を用い、当該学習用画像に対して例えば使用者により識別処理がなされる場合について説明した。しかし、これに限らず、あらかじめ異物のみが含まれた画像を学習用画像として用いたり、ＣＧ（コンピュータグラフィックス）画像を作成し学習用画像及び学習用識別情報として利用することも可能である。

【0058】

また、図５Ｂにおいては、学習用画像と学習用識別情報とを用いて学習する場合について説明したが、例えばカメラ２００で画像が撮影されたときの撮影条件情報や、撮影されたときに各種センサ装置で測定された出力値である撮影環境情報をさらに用いて学習させてもよい。

【0059】

次に、図５Ｃは、学習済み異物識別モデルによって識別された異物以外の他の搬送対象物の中に、一次電池である識別対象物が含まれるか否かを判断するための学習済み識別対象物識別モデルを生成するための処理フローを示す。図５Ｂによると、プロセッサ１１２は、識別対象物１１である一次電池と他の搬送対象物がカメラ２００によって撮影された学習用画像の画像データを取得するステップを実行する（Ｓ３４１）。次に、プロセッサ１１２は、取得された学習用画像に対して識別対象物１１である一次電池の識別処理を行い、一次電池に対して正解ラベル情報を付与する処理ステップを実行する（Ｓ３４２）。そして、プロセッサ１１２は付与された正解ラベル情報を学習用識別情報として学習用画像に対応付けて記憶するステップを実行する（Ｓ３４３）。

【0060】

学習用画像とそれに対応付けられた学習用識別情報がそれぞれ得られると、プロセッサ１１２は、それらを用いて識別対象物の識別パターンの機械学習を行うステップを実行する（Ｓ３４４）。当該機械学習は、一例として、ニューロンを組み合わせたニューラルネットワークに対して、これら情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済み識別対象物識別モデルを取得するステップが実行される（Ｓ３４５）。取得された学習済み識別対象物識別モデルは、処理装置１００のメモリ１１３や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置（例えば、クラウド上のサーバ装置）内に記憶される。

【0061】

なお、図５Ｃにおいては、学習用画像としてカメラ２００により撮影された画像を用い、当該学習用画像に対して例えば使用者により識別処理がなされる場合について説明した。しかし、これに限らず、あらかじめ一次電池のみが含まれた画像を学習用画像として用いたり、ＣＧ（コンピュータグラフィックス）画像を作成し学習用画像及び学習用識別情報として利用することも可能である。

【0062】

また、図５Ｃにおいては、学習用画像と学習用識別情報とを用いて学習する場合について説明したが、例えばカメラ２００で画像が撮影されたときの撮影条件情報や、撮影されたときに各種センサ装置で測定された出力値である撮影環境情報をさらに用いて学習させてもよい。

【0063】

再び図４に戻り、上記のとおり、プロセッサ１１２は、図５Ａ～図５Ｃで説明した処理により得られた学習済み搬送対象物識別モデル、学習済み異物識別モデル及び学習済み識別対象物識別モデルを用いて、読みだされた搬送画像に含まれる搬送対象物の中に識別対象物１１が含まれるか否かを判断する。具体的には、プロセッサ１１２は、まず撮影された搬送用画像を学習済み搬送対象物識別モデルに入力し、当該搬送画像中に何らかの搬送対象物が含まれるか否かを判断する。そして、含まれる場合には、プロセッサ１１２は、識別された各搬送対象物に対して固有のＩＤ情報を付与し、各搬送対象物の切り出し画像の画像データをＩＤ情報に対応付けてメモリ１１３に記憶する。次に、プロセッサ１１２は、搬送画像から得られた各搬送対象物の切り出し画像を学習済み異物識別モデルに入力し、各搬送対象物の切り出し画像中に含まれる搬送対象物が異物であるかそれ以外の搬送対象物であるかを判断する。異物以外の搬送対象物であると判断されると、プロセッサ１１２はその搬送対象物の切り出し画像を学習済み識別対象物識別モデルに入力し、搬送対象物の切り出し画像中に含まれる搬送対象物が識別対象物１１であるか否かを判断する。そして、プロセッサ１１２は、識別対象物１１と判断された搬送対象物の切り出し画像のＩＤ情報に対応付けて、識別対象物１１であるという判断結果をメモリ１１３に記憶する。このように、３段の各学習済み識別モデルを用いることによって、識別対象物１１の識別精度をより向上させることが可能である。なお、３段の各学習済み識別モデルを用いた判断処理は一例であって、画像マッチング技術を用いたロジック処理などのより判断してもよい。また、識別対象物１１をラベルした画像を学習用画像として用いて学習させた学習済みモデルを用いて、１段構成又は２段構成で判断処理を行ってもよい。

【0064】

また、図４の判断処理に用いられる搬送画像及び図５の学習用画像は、カメラ２００等で取得された画像をそのまま用いてもよいし、所望に応じて所定の前処理を行うことも可能である。このような前処理としては、ハイパスフィルタやローパスフィルタを含むバンドパスフィルタ、平均化フィルタ、ガウシアンフィルタ、ガボールフィルタ、キャニーフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、メディアンフィルタ、バイラテラルフィルタなどのフィルタ処理、トリミング処理、曇り除去処理、超解像処理及びこれらの組み合わせから、高精細化、領域抽出、ノイズ除去、エッジ強調、画像補正、画像変換などの目的に応じて選択される。このように、前処理を実行することによって、識別精度をさらに向上させることが可能となる。

【0065】

次に、処理装置１００のプロセッサ１１２は、Ｓ２０３の判断処理において識別対象物１１が含まれていないと判断された場合には以降の処理をスキップする。一方、識別対象物１１が含まれていると判断された場合には、プロセッサ１１２は、搬送画像中の識別対象物１１の位置を検出する。

【0066】

ここで、図６は、本開示の実施形態に係る搬送対象物の位置の検出処理を概念的に示す図である。図６によると、カメラ２００において所定の間隔（例えば、３０ｍ秒）で撮影されカメラ２００から取得された各搬送画像Ｉ１～Ｉｎが示されている。つまり、最初に撮影された搬送画像が搬送画像Ｉ１であり、以降３０ｍ秒間隔で搬送画像Ｉ２、搬送画像Ｉ３、搬送画像Ｉ４、搬送画像Ｉ５、搬送画像Ｉ６、搬送画像Ｉ７が取得され、搬送画像Ｉｎに至るｎ枚の搬送画像が処理装置１００において取得されている。処理装置１００のプロセッサ１１２は、取得された各搬送画像Ｉ１～Ｉｎのそれぞれに対して、図４のＳ２０３で説明した判断処理を実行する。

【0067】

図６は、上記判断処理の結果、搬送画像Ｉ１～Ｉ３では搬送対象物の中に識別対象物１１が含まれているとは判断されず、搬送画像Ｉ４においてはじめて識別対象物１１が含まれていると判断されたことを示している。搬送画像Ｉ４によれば、当該画像中に、識別対象物１１に加えて、搬送対象物２１Ａ～２１Ｃが含まれている。しかし、搬送対象物２１Ａは図３の回転選別工程（Ｓ１０２）や振動選別構成（Ｓ１０３）で除去されずに搬送路４００上に残った異物であり、搬送対象物２１Ｂは同様に搬送路４００上に残った角型の二次電池であり、搬送対象物２１Ｃは同様に搬送路４００上に残ったボタン電池である。そのため、これらは、識別対象物１１とは判断されない。

【0068】

処理装置１００のプロセッサ１１２は、搬送画像Ｉ４に対応して、画像の所定位置（図６においては、左隅）を原点Ｏとする画像座標空間を形成し、当該原点Ｏから識別対象物１１及び搬送対象物２１Ａ～２１Ｃの位置の座標（ｘ１，ｙ１）を検出する。ここで、上記で説明したとおり、識別対象物１１及び搬送対象物２１Ａ～２１Ｃには、それぞれ固有のＩＤ情報が付与され、識別対象物１１及び搬送対象物２１Ａ～２１Ｃの各切り出し画像の画像データと対応付けてメモリ１１３に記憶されている。したがって、プロセッサ１１２は、検出された各座標を各ＩＤ情報に対応付けてメモリ１１２に記憶する。なお、図６では識別対象物の重心となる位置を識別対象物の位置として検出しているが、重心に限らず、最も原点Ｏに近い位置などいずれの位置であってもよい。また、プロセッサ１１２は、図６では識別対象物１１が１個の場合を説明しているが、搬送画像中に複数の識別対象物１１が含まれる場合には識別対象物ごとに複数の座標を検出しメモリ１１３に記憶するようにしてもよい。

【0069】

次に、処理装置１００のプロセッサ１１２は、同様の処理を搬送画像Ｉ５以降に対しても実行する。すなわち、搬送画像Ｉ５、搬送画像Ｉ６及び搬送画像Ｉ７において、識別対象物１１及び搬送対象物２１Ａ～２１Ｃが識別されると、プロセッサ１１２は、メモリ１１３を参照して、すでにＩＤ情報が付与された搬送対象物の切り出し画像の画像データと所定の閾値以上で類似するか否かを判断する。そして、類似すると判断された場合には、当該ＩＤ情報に対応付けて、各搬送画像中の位置情報（座標）を記憶する。次に、プロセッサ１１２は、取得された搬送画像において最後に識別対象物１１が識別された搬送画像を特定する。図６の例においては搬送画像Ｉ７が当該搬送画像に該当する。

【0070】

再び図４に戻り、プロセッサ１１２は、最後に識別対象物１１が識別された搬送画像中の識別対象物１１の位置を検出すると、その検出された位置の座標に基づいて識別情報を出力する処理を行う（Ｓ２０５）。

【0071】

ここで、図７は、本開示の実施形態に係る識別情報の出力位置の算出処理を概念的に示す図である。具体的には、図７は、搬送路４００上を上方から俯瞰した状態において、所定の期間にわたって搬送対象物が搬送される様子を示す図である。

【0072】

まず、図７に基づいて、出力装置３００において識別情報が出力される位置について説明する。図７によると、搬送路４００の上方に設置されたカメラ２００は、画角１４の範囲で搬送画像を撮影することが可能である。そして、搬送対象物である識別対象物１１が搬送路４００において位置１１Ａに達したときに搬送路４００の上方に設置されたカメラ２００によって搬送画像Ｉ７（図６）が撮影される。つまり、図６で説明したとおり、識別対象物１１は、カメラ２００によって撮影された搬送画像Ｉ７において座標（ｘ１，ｙ１）に位置している。そして、識別対象物１１は、搬送路４００上を所定の速度で方向Ａの方向に搬送され、所定の時間（Ｔ１）が経過すると、出力装置３００による識別情報の出力可能領域１５に達する。

【0073】

ここで、搬送画像Ｉ７において原点Ｏを原点とする画像座標空間が形成され識別対象物１１の位置が検出されているが、出力装置３００による識別情報の出力可能領域１５には当該座標空間に対応して出力座標空間が設定されている。つまり、出力可能領域１５は、搬送画像Ｉ７に形成された座標空間の原点Ｏに対応（例えば、同じ左隅）して原点Ｏ’と、当該原点Ｏ’を原点とする出力座標空間とを有する。したがって、処理装置１００のプロセッサ１１２は、搬送画像Ｉ７において識別対象物１１の座標（ｘ１，ｙ１）を検出すると、当該座標に対応する出力座標空間の座標（ｘ１’，ｙ１’）を識別情報の出力位置（例えば、識別情報の重心の位置）として設定する。そして、プロセッサ１１２は、出力装置３００に対して座標（ｘ１’，ｙ１’）の位置に識別情報を出力するよう指示する。

【0074】

なお、上記においては、原点Ｏを原点とする画像座標空間に対応して原点Ｏ’を原点とする出力座標空間が設定されると説明した。この「対応」は、画像座標空間と出力座標空間が同じ大きさを有する場合と、搬送方向である方向Ａに沿った軸（例えばｘ軸）に所定の倍数の大きさを有する場合のいずれをも含みうる。すなわち、画像座標空間と出力座標空間が同じ大きさを有する場合は、識別対象物１１の位置が原点Ｏからの距離が横方向にｘ、縦方向にｙだけ離れた座標（ｘ１，ｙ１）であると検出されると、識別情報の出力位置は原点Ｏ’から横方向にｘ、縦方向にｙだけ離れた座標（ｘ１’，ｙ１’）に設定される。また、画像座標空間と出力座標空間が２倍の大きさを有する場合は、識別対象物１１の位置が原点Ｏからの距離が横方向にｘ、縦方向にｙだけ離れた座標（ｘ１，ｙ１）であると検出されると、識別情報の出力位置は原点Ｏ’から横方向に２ｘ、縦方向にｙだけ離れた座標（ｘ１’，ｙ１’）に設定される。さらに、画像座標空間と出力座標空間が１／２倍の大きさを有する場合は、識別対象物１１の位置が原点Ｏからの距離が横方向にｘ、縦方向にｙだけ離れた座標（ｘ１，ｙ１）であると検出されると、識別情報の出力位置は原点Ｏ’から横方向にｘ／２、縦方向にｙだけ離れた座標（ｘ１’，ｙ１’）に設定される。

【0075】

次に、図７に基づいて、出力装置３００において識別情報が出力されるタイミングについて説明する。上記において説明したとおり、識別対象物１１は、搬送路４００上を所定の速度で搬送されている。そのため、識別対象物１１が位置１１Ａに到達した時間（すなわち、識別対象物１１が識別された搬送画像Ｉ７が撮影された時間）と、出力装置３００において出力可能領域１５に当該識別対象物１１が到達する時間との間には、搬送速度に応じた時間差（時間Ｔ１に相当する時間）が生じる。当該時間差は、あらかじめ図４のＳ２０１において遅延時間（例えば、３秒）として設定される。なお、この遅延時間は、図４で説明したとおり、あらかじめ遅延時間として使用者が設定してもよいが、搬送路４００の搬送速度として設定された設定値と、カメラ２００と出力装置３００との間の距離（例えば、原点Ｏと原点Ｏ’との間の距離）に基づいてプロセッサ１１２の処理により算出されてもよい。

【0076】

カメラ２００は、各搬送画像が撮影された時間を示す時間情報を搬送画像の画像データとともに取得し、処理装置１００のプロセッサ１１２は各搬送画像に対応付けて各時間情報もメモリ１１３に記憶する。そして、プロセッサ１１２は、搬送画像Ｉ７において識別対象物１１が識別されると、搬送画像Ｉ７に対応付けられた時間情報を読み出し、当該時間情報が示す時間に設定された遅延時間を加算した時間を出力時間として設定する。プロセッサ１１２は、処理装置１００に設けられたタイマによって出力時間に達したことが検出されると、出力装置３００に識別情報（描画データ）、上記のとおり設定された出力位置を示す座標（ｘ１’，ｙ１’）及び出力指示を出力装置３００に通信インターフェイス１１４を介して出力する。

【0077】

このように、出力装置３００を介して、上記のとおり設定された出力位置（座標（ｘ１’，ｙ１’））に、上記のとおり設定されたタイミング（時間情報が示す時間に設定された遅延時間を加算した時間）で識別情報１３が出力される。このように、最後に識別対象物が識別された搬送画像Ｉ７を基準にして識別情報の出力する位置及びタイミングを制御することによってより識別情報の出力の正確性を向上させることが可能である。具体的には、搬送路４００での搬送過程において各搬送対象物の位置や向きが変化することがある。これに起因して識別対象物１１を誤って識別することがある。しかし、上記においては、各搬送画像において最初に識別されてからその搬送の過程においてＩＤ情報を付して同様の識別対象物１１であるか否かを各搬送画像において判断している。そのため、上記のとおり正確性を向上することが可能となる。

【0078】

次に、図７に基づいて、出力装置３００において識別情報１３が識別対象物１１に移動に追従して出力される処理について説明する。上記において説明したとおり、識別対象物１１は、搬送路４００上を所定の速度で搬送されている。そのため、識別対象物１１が識別情報１３の出力位置（座標（ｘ１’，ｙ１’））に対応する位置１１Ｂに達すると識別情報１３が出力されるが、さらに所定の時間（Ｔ２）が経過すると、識別対象物１１は位置１１Ｃまで移動する。そのため、識別情報１３も当該位置１１Ｃに対応する位置までに移動して出力される必要がある。

【0079】

処理装置１００のプロセッサ１１２は、まず図４のＳ２０１において設定された搬送路４００の搬送速度を読み出す。そして、プロセッサ１１２は、識別情報１３が位置１１Ｂに対応する出力位置（座標（ｘ１’，ｙ１’））に出力された時間から現在までに経過した経過時間（時間Ｔ２：例えば、５００ｍ秒）をタイマによって算出し、搬送速度と当該経過時間から識別対象物１１が移動した距離を算出する。次いで、プロセッサ１１２は、識別情報１３の出力位置である座標（ｘ１’，ｙ１’）に対して、搬送方向Ａに沿う軸（ｘ軸）のｘ座標ｘ１’に対して算出した距離分だけ加算したｘ座標ｘ２’を算出する。そして、プロセッサ１１２は、時間Ｔ２が経過した後の識別情報１３の出力位置として座標（ｘ２’，ｙ１’）を設定する。これにより、プロセッサ１１２は、時間Ｔ２が経過したときに、出力装置３００に識別情報（描画データ）、上記のとおり設定された出力位置を示す座標（ｘ２’，ｙ１’）及び出力指示を出力装置３００に通信インターフェイス１１４を介して出力する。出力装置３００は、当該情報を受信すると、座標（ｘ２’，ｙ１’）に識別情報１３を出力する。

【0080】

処理装置１００及び出力装置３００は、上記処理を所定間隔（例えば、３０ｍ秒）ごとに実行する。これによって、識別情報１３は３０ｍ秒ごとに識別対象物１１の搬送方向Ａに移動して出力されこと繰り返し、識別対象物１１の搬送に追従して出力されることとなる。このように、識別情報１３は、搬送路４００上を搬送される識別対象物１１に追従するように出力される。

【0081】

ここで、図８Ａ～図８Ｃは、本開示の実施形態に係る出力装置３００から出力される識別情報の例を示す図である。具体的には、出力装置３００から出力される識別情報１３は、所望に応じて複数の態様を採りえるが、図８Ａ～図８Ｃはその一例を示す図である。

【0082】

図８Ａによると、図７等において説明したとおり、搬送路４００上を搬送される搬送対象物のうち、そのまま搬送路上に残され破砕される搬送対象物を識別対象物１１とした場合を示す。この例では、識別された識別対象物１１の位置に対応する位置に識別情報１３を出力することによって、他の搬送対象物と識別対象物１１とを作業者が識別することが可能となる。すなわち、図８Ａの例では、作業者は識別情報１３を参照して、当該識別情報１３が出力された位置にある識別対象物１１以外の搬送対象物を、搬送路４００から選別して取り除くことが可能となる。

【0083】

また、図８Ｂによると、図８Ａの例とは異なり、搬送路４００上を搬送される搬送対象物のうち、そのまま搬送路上に残され破砕される搬送対象物ではなく、搬送路４００から取り除かれる搬送対象物を識別対象物１２Ａ～１２Ｃとした場合を示す。この例では、識別対象物１２Ａ～１２Ｃのそれぞれの位置に対応する位置に識別情報１６Ａ～１６Ｃを出力することによって、他の搬送対象物と識別対象物１２Ａ～１２Ｃとを作業者が識別することが可能となる。すなわち、図８Ｂの例では、作業者は識別情報１６Ａ～１６Ｃを参照して、当該識別情報１６Ａ～１６Ｃが出力された位置にある識別対象物１２Ａ～１２Ｃを、搬送路４００から選別して取り除くことが可能となる。

【0084】

また、図８Ｃによると、図８Ａ及び図８Ｃの例とは異なり、搬送路４００上を搬送される搬送対象物のうち、そのまま搬送路上に残され破砕される搬送対象物、及び搬送路４００から取り除かれる搬送対象物をそれぞれ識別対象物１１及び１２Ａ～１２Ｃとした場合を示す。この例では、識別対象物１１の位置に対応する位置に識別情報１７を出力し、識別対象物１２Ａ～１２Ｃのそれぞれの位置に対応する位置に識別情報１８Ａ～１８Ｃを出力する。そして、このとき、識別情報１７と識別情報１８Ａ～１８Ｃの出力態様を異ならせることによって（例えば、識別情報１７は実線で描かれた枠状の態様を有し、識別情報１８Ａ～１８Ｃは破線で描かれた枠状の態様を有する）、識別対象物１１と識別対象物１２Ａ～１２Ｃとを作業者が識別することが可能となる。すなわち、図８Ｃの例では、作業者は識別情報１７と識別情報１８Ａ～１８Ｃを参照して、識別情報１７が出力された位置にある識別対象物１１はそのまま搬送路４００上に残し、当該識別情報１８Ａ～１８Ｃが出力された位置にある識別対象物１２Ａ～１２Ｃを搬送路４００から選別して取り除くことが可能となる。

【0085】

また、図８Ｄは、本開示の実施形態に係る出力装置３００から出力される識別情報の例を示す図である。具体的には、図８Ａ～図８Ｃにおいては、識別情報を、各識別対象物を囲うような枠状の出力態様で出力した場合について説明した。しかし、このような出力態様に限らず、例えば識別対象物１１の識別情報１９のように、識別対象物１１の少なくとも一部に重畳するような枠状の出力態様で出力されてもよい。また、例えば識別対象物１２Ａ～１２Ｃの識別情報２０Ａ～２０Ｃのように、識別対象物１２Ａ～１２Ｃの少なくとも一部に重畳するように、所定の形状（例えば、円形、四角形等の多角形）を有しその内部が着色された出力態様で出力されてもよい。このとき、各識別情報２０Ａ～２０Ｃは各識別対象物１２Ａ～１２Ｃを透過して出力させることで、識別対象物１２Ａ～１２Ｃに対する視認性を妨げることなく出力させることが可能である。

【0086】

再び図４に戻り、以上のように、処理装置１００のプロセッサ１１２は、識別対象物１１を識別可能にするための識別情報を出力する。そして当該処理フローを終了する。

【0087】

６．学習済み識別モデルの処理効率の向上
図４のＳ２０３においては、搬送画像に含まれる搬送対象物の中に、識別対象物が含まれるか否かの判断のために、学習済み識別モデルが用いられる。以下では、当該識別済み学習済みモデルを用いた判断の精度の向上をするための処理について説明する。

【0088】

まず、Ｓ２０３において学習済み識別モデルによる識別対象物の判断の結果、本来であれば識別対象物であるにもかかわらず、誤って識別対象物として判断されず、作業者によって識別対象物として搬送路４００に戻されることがある。そのような場合は、当該搬送対象物が含まれた搬送画像を学習用画像として取得し、図５の処理フローによって学習済み識別モデルを当該学習用画像を用いて再度機械学習を行わせる。これによって学習済み識別モデルの精度をさらに向上させることが可能となる。

【0089】

次に、図４のＳ２０３においては、１枚の搬送画像を学習済み識別モデルに入力して識別対象物が含まれているか否かの判断を行っている。しかし、複数のカメラ２００によって同時に複数枚の搬送画像を取得したり、カメラ２００によって時間的に連続して撮影された複数枚（例えば３枚）の搬送画像（静止画の場合には複数回にわたって撮影された複数枚の静止画であり、動画の場合には所定期間に取得された複数のフレーム画像）を取得する。そして、これら複数の搬送画像（例えば３枚）それぞれを学習済み識別モデルに入力して上記判断を行い、所定の閾値以上（例えば、２枚以上）の搬送画像において識別対象物が識別された場合のみ、識別対象物が含まれていると判断することも可能である。これによって学習済み識別モデルの判断の精度をさらに向上させることが可能となる。

【0090】

次に、図４のＳ２０３においては、搬送画像を学習済み識別モデルに入力して識別対象物が含まれているか否かの判断を行っている。このとき、学習済み識別モデルからの出力としては、含まれているか否かの結果ではなく、含まれると判断したことの確からしさを示す値を出力してもよい（例えば、７０％や８０％など）。そして、処理装置１００のプロセッサ１１２は、その値があらかじめ設定した閾値を超える場合には、識別対象物が含まれると判断し、超えない場合は識別対象物が含まれないと判断する。また、処理装置１００のプロセッサ１１２は、入力インターフェイス１１１を介して使用者からの操作入力を受け付けて、上記閾値を変更可能にしもよい。このようにすることで、例えば識別対象物ごとに最適な閾値に調整することが可能となり、より識別の効率を上げることが可能である。

【0091】

以上、図１～図８に示す例においては、搬送路上を搬送される搬送対象物の識別しより効率的な処理装置、処理プログラム、処理方法及び処理システムを提供することが可能である。特に、処理システム１は、搬送対象物に識別対象物１１が含まれるか否かの判断の結果に応じて識別対象物１１を識別するための識別情報を搬送路４００上に出力することが可能である。また、その際、処理システム１は、あらかじめ識別対象物１１の移動した位置・時間を予測して識別情報を出力することが可能である。さらに、処理システム１は、搬送路４００上を搬送される識別対象物１１の移動に追従するように識別情報を出力することが可能である。

【0092】

７．他の処理システム１の例
図１～図８の例では、処理システム１として処理装置１００、カメラ２００及び出力装置３００を有する場合について説明した。図９は、本開示の他の実施形態に係る処理システム１の他の例に係る構成を概略的に示す概念図である。図９によると、処理システム１は、出力装置３００に代えて、搬送路４００において識別対象物及び識別対象物以外の他の搬送対象物の少なくともいずれかを選別するための選別装置５００を含む。その他の処理装置１００及びカメラ２００は図１～図８の例と同様である。そして、当該選別装置５００は、搬送方向Ａにおいてカメラ２００の後段に位置し、その先端に配置された捕獲アームで識別された識別対象物及び識別対象物以外の他の搬送対象物の少なくともいずれかを把持し、搬送路４００から取り除く。

【0093】

すなわち、図９の処理システム１の処理装置１００は、少なくとも一つのプロセッサを具備し、当該少なくとも一つのプロセッサは、「搬送路４００上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラ２００から搬送対象物を含む搬送画像を取得し、取得した搬送画像に基づいて搬送画像に含まれる搬送対象物の中に識別対象物が含まれるか否かを判断し、搬送路４００において識別対象物及び識別対象物とは異なる他の搬送対象物の少なくともいずれかを選別するための選別装置５００に、搬送画像が取得された位置１１Ａから所定の速度で所定の時間搬送対象物が搬送された位置１１Ｂにおいて、識別対象物及び前記識別対象物とは異なる他の搬送対象物の少なくともいずれかを搬送路４００上から選別するための制御信号を出力する」ための処理を実行するように構成されている。

【0094】

また、図９の処理システム１に用いられる処理装置１００のメモリ１１３には、「搬送路４００上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラ２００から搬送対象物を含む搬送画像を取得し、取得した搬送画像に基づいて搬送画像に含まれる搬送対象物の中に識別対象物が含まれるか否かを判断し、搬送路４００において識別対象物及び識別対象物とは異なる他の搬送対象物の少なくともいずれかを選別するための選別装置５００に、搬送画像が取得された位置１１Ａから所定の速度で所定の時間搬送対象物が搬送された位置１１Ｂにおいて、識別対象物及び前記識別対象物とは異なる他の搬送対象物の少なくともいずれかを搬送路４００上から選別するための制御信号を出力する」ように、処理装置１００のプロセッサを機能させる処理プログラムが記憶されている。

【0095】

また、図９の処理システム１に用いられる処理装置１００において、少なくとも一つのプロセッサによって、「搬送路４００上を所定の速度で搬送される一又は複数の搬送対象物を撮影するように構成されたカメラ２００から搬送対象物を含む搬送画像を取得する段階と、取得した搬送画像に基づいて搬送画像に含まれる搬送対象物の中に識別対象物が含まれるか否かを判断する段階と、搬送路４００において識別対象物及び識別対象物とは異なる他の搬送対象物の少なくともいずれかを選別するための選別装置５００に、搬送画像が取得された位置１１Ａから所定の速度で所定の時間搬送対象物が搬送された位置１１Ｂにおいて、識別対象物及び前記識別対象物とは異なる他の搬送対象物の少なくともいずれかを搬送路４００上から選別するための制御信号を出力する段階とをふくむ処理方法」が実行される。

【0096】

図９に示すように、選別装置５００は、搬送路４００においてカメラ２００の後段に配置されており、カメラ２００において搬送画像が撮影された時間から、選別装置５００の選別位置に識別対象物が達するまでには所定の時間（図７に示す時間Ｔ１）を要することとなる。すなわち、図９の例では、処理装置１００のプロセッサ１１２は、図４のＳ２０３において識別対象物が搬送画像の中に含まれているか否かを判断すると、図４のＳ２０４と同様の処理により、時間Ｔ１が経過した後の識別対象物の位置を算出する。そして、プロセッサ１１２は、図４のＳ２０５の同様の処理により、タイマによって時間Ｔ１の経過が検出されると、識別対象物の選別位置を示す座標及び選別装置５００で選別動作を実行させるための制御信号を出力する。

【0097】

制御信号を受信した選別装置５００は、同じく受信した選別位置を示す座標に基づいて選別装置５００の捕獲アームを制御し搬送路４００上を搬送されている識別対象物を把持し、搬送路４００から取り除くことが可能となる。

【0098】

なお、図９では選別装置５００の例として捕獲アームを有し、当該捕獲アームで識別対象物を把持する場合について説明した。しかし、これに代えて、例えば選別装置にエア等を搬送路４００に向けて照射する照射ユニットを有し、識別対象物の選別位置を示す座標に向けて照射ユニットからエアを照射し、識別対象物を搬送路４００から弾き飛ばすことによって選別するようにしてもよい。

【0099】

また、図９で説明した例では、出力装置３００に代えて選別装置５００を用いた例について説明したが、当然出力装置３００に組み合わせて選別装置５００を用いてもよい。

【0100】

以上、図９に示す例においては、図１～図８に示す例と同様に、搬送路上を搬送される搬送対象物の識別しより効率的な処理装置、処理プログラム、処理方法及び処理システムを提供することができる。

【0101】

本明細書で説明される処理及び手順は、本開示において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。

【0102】

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。

【符号の説明】

【0103】

１ 処理システム
１００ 処理装置
２００ カメラ
３００ 出力装置
４００ 搬送路
５００ 選別装置

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図9】