(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-30
(54)【発明の名称】小荷物の検出とインテリジェントな仕分け
(51)【国際特許分類】
B65G 47/49 20060101AFI20220523BHJP
B65G 43/08 20060101ALI20220523BHJP
【ＦＩ】
B65G47/49
B65G43/08 A
B65G43/08 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021550169
(86)(22)【出願日】2020-03-16
(85)【翻訳文提出日】2021-08-27
(86)【国際出願番号】 US2020022969
(87)【国際公開番号】W WO2020209986
(87)【国際公開日】2020-10-15
(31)【優先権主張番号】62/831,801
(32)【優先日】2019-04-10
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】508181663
【氏名又は名称】レイトラム，エル．エル．シー．
(74)【代理人】
【識別番号】110001302
【氏名又は名称】特許業務法人北青山インターナショナル
(72)【発明者】
【氏名】ドラゴゼット，アレクサンダー アイ．
(72)【発明者】
【氏名】ラグノー，ジェイソン
【テーマコード（参考）】
3F015
3F027
【Ｆターム（参考）】
3F015AA06
3F015AA24
3F015HA01
3F015JC02
3F015JC07
3F015JC08
3F015JC12
3F015JC17
3F027AA01
3F027CA01
3F027DA15
3F027EA01
3F027FA12
3F027FA14
3F027FA18
(57)【要約】
選択された行先に小荷物を仕分ける仕分けコンベヤおよび方法。マルチコア分類プロセッサによって実行されるニューラルネットワークが、送り込みコンベヤ上を搬送される小荷物単位の取り込み画像を使用して、各小荷物単位を分類する。制御プロセッサが、仕分けコンベヤを制御して、各小荷物単位を、小荷物単位の分類に応じた行先に指向させる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
分離された小荷物単位を搬送方向の下流に搬送する送り込みコンベヤ区画と；前記送り込みコンベヤ区画に沿った検出位置で前記小荷物単位を検出する小荷物単位検出器と；
前記送り込みコンベヤ区画の目標物ゾーン内の前記小荷物単位の画像を取り込む撮像システムと；
プログラム命令を実行する計算機処理システムであって、前記小荷物単位のそれぞれの位置を、それらが前記送り込みコンベヤ区画上を搬送されるさいに追跡するプログラム命令、および前記小荷物単位の画像のそれぞれを、小荷物単位の組を認識するように訓練された分類器への入力として提供するプログラム命令、および分類器が認識するように訓練された前記小荷物単位の組の構成員の１つに対応する分類を、前記小荷物単位のそれぞれに割り当てるプログラム命令、を実行する計算機処理システムと；
前記送り込みコンベヤ区画から前記小荷物単位を受け取る、下流のコンベヤ区画と；
を具備するコンベヤシステムであって、前記下流のコンベヤ区画を制御して各小荷物単位を前記小荷物単位の分類に応じて搬送するプログラム命令を、前記計算機処理システムが実行する、コンベヤシステム。
【請求項2】
前記計算機処理システムが：前記送り込みコンベヤ区画上の前記小荷物単位のそれぞれの位置を、それらが前記搬送方向に前進するさいに、前記検出位置を通過しているものとして検出されたそれらの占有面積から計算するプログラム命令；
前記撮像システムを制御して、小荷物単位の１つまたは複数のものの画像を、前記小荷物単位の１つまたは複数のものの前記計算された位置が前記送り込みコンベヤ区画上の前記目標物ゾーン内にある場合に取り込んで、前記目標物ゾーン内の前記小荷物単位の前記１つまたは複数のものの画像を生成するプログラム命令；
前記画像を切り抜いて、１つまたは複数の切り抜き画像にし、前記各切り抜き画像を前記目標物ゾーン内の前記１つまたは複数の小荷物単位の１つに対応させるプログラム命令；
前記切り抜き画像を分類して、前記分類の一つにするプログラム命令、
を実行する、請求項１に記載のコンベヤシステム。
【請求項3】
前記計算機処理システムが、前記検出された占有面積の重心の座標を計算し、前記重心が、前記送り込みコンベヤ区画上の前記小荷物単位の位置を定義する、請求項２に記載のコンベヤシステム。
【請求項4】
前記計算機処理システムが、前記画像を切り抜く前に、前記搬送方向を基準にして非斜角の向きに前記画像を回転させる、請求項２に記載のコンベヤシステム。
【請求項5】
前記計算機処理システムが、プログラム命令を並列に実行する複数のコアを有するマルチコア・プロセッサを含む、請求項２に記載のコンベヤシステム。
【請求項6】
第１のプロセッサと、前記下流のコンベヤ区画を制御して、前記小荷物単位のそれぞれを、前記小荷物単位の分類に応じた複数の行先のうちの１つに仕分ける第２のプロセッサとを、前記計算機処理システムが含む、請求項１に記載のコンベヤシステム。
【請求項7】
前記分類器が認識するように訓練された前記小荷物単位の組が：（ａ）ポリ袋；（ｂ）ポリ袋ではない認識された単一の小荷物；（ｃ）重なりが所定の百分率未満である小荷物の積み重なり；（ｄ）重なりが所定の百分率より大きい小荷物の積み重なりである、請求項６に記載のコンベヤシステム。
【請求項8】
前記第２のプロセッサが、前記仕分け機を制御して、重なりが前記所定の百分率より大きい小荷物の積み重なりとして、または認識されなかった小荷物単位として分類された小荷物単位を、人間の作業者を配置させた行先に仕分ける、請求項７に記載のコンベヤシステム。
【請求項9】
前記第２のプロセッサが、前記仕分け機を制御して、認識された単一の小荷物として、または重なりが所定の百分率未満である小荷物の積み重なりとして分類された小荷物単位を、下流の行先に仕分けてさらに処理する、請求項７に記載のコンベヤシステム。
【請求項10】
前記小荷物単位検出器が、前記小荷物単位の占有面積を検出する、請求項１に記載のコンベヤシステム。
【請求項11】
送り込みコンベヤ区画上を搬送される小荷物を仕分ける、プロセッサ実装された方法であって：（ａ）搬送スピードで搬送方向に前記送り込みコンベヤ区画上を、検出位置を過ぎて前進する複数小荷物単位を検出することと；
（ｂ）前記送り込みコンベヤ区画上の前記検出位置を通過しているものとして検出された前記複数小荷物単位のそれぞれの位置を、それらが前記コンベヤに沿って前進するさいに計算することと；
（ｃ）前記送り込みコンベヤ区画上の画像取り込みエリア内で前記複数小荷物単位の１つまたは複数のものを撮像して、前記取り込みエリア内の前記複数小荷物単位の前記１つまたは複数のものの画像を生成することと；
（ｄ）前記画像を切り抜いて、１つまたは複数の切り抜き画像にし、各切り抜き画像を前記画像取り込みエリア内の１つまたは複数の複数小荷物単位の１つに対応させることと；
（ｅ）人工知能を用いて、前記切り抜き画像を分類して複数の分類にし、これを、前記１つまたは複数の複数小荷物単位のそれぞれに前記分類の１つを割り当てることにより行うことと；
（ｆ）前記１つまたは複数の複数小荷物単位のそれぞれを、前記小荷物単位の分類に応じた行先に仕分けることと、
を含む方法。
【請求項12】
マルチコア・プロセッサにおいてステップ（ｂ）～（ｅ）を並列に実行することを含む、請求項１１に記載の方法。
【請求項13】
前記マルチコア・プロセッサと通信する別個の制御プロセッサにおいてステップ（ａ）および（ｆ）を実行することを含む、請求項１２に記載の方法。
【請求項14】
前記マルチコア・プロセッサが、前記１つまたは複数の複数小荷物単位のそれぞれに割り当てられた分類を前記制御プロセッサに送信する、請求項１３に記載の方法。
【請求項15】
前記小荷物単位が：（ａ）ポリ袋、（ｂ）ポリ袋ではない認識された単一の小荷物；（ｃ）重なりが所定の百分率未満である小荷物の積み重なり；（ｄ）重なりが所定の百分率より大きい小荷物の積み重なり；および（ｅ）認識されなかった小荷物単位、として分類される、請求項１１に記載の方法。
【請求項16】
重なりが所定の百分率より大きい小荷物の積み重なりとして、または認識されなかった小荷物単位として分類された小荷物単位を、人間の作業者を配置させた行先に仕分けることを含む、請求項１５に記載の方法。
【請求項17】
所定の占有面積サイズよりも大きい占有面積を有する小荷物単位を、人間の作業者を配置させた行先に仕分けることを含む、請求項１５に記載の方法。
【請求項18】
認識された単一の小荷物として、または重なりが所定の百分率未満である小荷物の積み重なりとして分類された小荷物単位を、前記小荷物単位を搬送するコンベヤ上に仕分けてさらに処理することを含む、請求項１５に記載の方法。
【請求項19】
様々な種類の小荷物単位を認識するように訓練されたニューラルネットワークによって前記分類が実行される、請求項１１に記載の方法。
【請求項20】
前記検出された占有面積の隅の座標を計算することを含む、請求項１１に記載の方法。
【請求項21】
前記検出された占有面積の重心の座標を計算することを含む方法であって、前記重心が、前記送り込みコンベヤ区画上の前記小荷物単位の位置を定義する、請求項１１に記載の方法。
【請求項22】
前記画像を切り抜く前に、前記搬送方向に対して非斜角の向きに前記画像を回転させることを含む、請求項１１に記載の方法。
【請求項23】
前記切り抜き画像を分類する前に、前記切り抜き画像を並列に前処理して、前記切り抜き画像を分類用にフォーマットすることを含む、請求項１１に記載の方法。
【請求項24】
小荷物単位を搬送方向の下流に搬送スピードで搬送する送り込みコンベヤ区画と；前記送り込みコンベヤ区画に沿った検出位置に配置される占有面積検出器と；
前記検出位置の下流に前記送り込みコンベヤ区画に沿って配置され、前記送り込みコンベヤ区画上の取り込みエリアの画像を取り込むカメラと；
前記送り込みコンベヤ区画から前記小荷物単位を受け取り、前記小荷物単位を複数の行先に選択的に仕分ける仕分けコンベヤ区画と；
制御プロセッサであって：
前記占有面積検出器を動作させて、前記検出位置を過ぎて前記搬送方向に前進する前記小荷物単位の占有面積を検出するプログラム命令；
前記仕分けコンベヤ区画および前記送り込みコンベヤ区画を制御するプログラム命令、
を実行する制御プロセッサと；
前記制御プロセッサと通信する分類プロセッサであって：
前記送り込みコンベヤ区画上の前記小荷物単位のそれぞれの位置を、それらが前記搬送方向に前進するさいに、前記検出位置を通過しているものとして検出されたそれらの占有面積から計算するプログラム命令；
前記カメラを制御して、前記小荷物単位の１つまたは複数のものの画像を、前記前記小荷物単位の１つまたは複数のものの計算された位置が前記送り込みコンベヤ区画上の取り込みエリアの目標物ゾーン内にある場合に取り込んで、前記取り込みエリア内の前記小荷物単位の前記１つまたは複数のものの画像を生成するプログラム命令；
前記画像を切り抜いて、１つまたは複数の切り抜き画像にし、各切り抜き画像を、前記取り込みエリア内の前記１つまたは複数の小荷物単位の１つに対応させるプログラム命令；
人工知能を用いて、前記切り抜き画像を分類して複数の分類にし、これを、前記１つまたは複数の小荷物単位のそれぞれに前記分類の１つを割り当てることにより行うプログラム命令、
を実行する分類プロセッサと；
を含むコンベヤシステムであって、前記制御プロセッサが、前記仕分けコンベヤ区画を制御して、前記１つまたは複数の小荷物単位のそれぞれを、前記小荷物単位の分類に応じた行先に仕分けるコンベヤシステム。
【請求項25】
前記分類プロセッサが、様々な小荷物単位を認識するように訓練されたニューラルネットワークにおいて前記切り抜き画像を分類し、その分類を前記制御プロセッサに送信する、請求項２４に記載のコンベヤシステム。
【請求項26】
前記制御プロセッサが、前記仕分けコンベヤ区画および前記送り込みコンベヤ区画を制御する仮想のまたは別個のプログラマブル・ロジック・コントローラを含む、請求項２４に記載のコンベヤシステム。
【請求項27】
前記分類プロセッサが、前記プログラム命令を並列に実行する複数のコアを有するマルチコア・プロセッサである、請求項２４に記載のコンベヤシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は概して、動力駆動式のコンベヤに関するものであり、より詳細には、人工知能を用いて小荷物を分類し、小荷物をその分類に応じた行先に仕分けするコンベヤに関するものである。
【背景技術】
【0002】
小荷物取り扱い業界では、仕分けコンベヤを使用して、無秩序な方向を向いたそして様々なサイズや形状の積み重ねられた小荷物の積み荷の流れから、個々の小荷物を仕分けている。しかし、小荷物を適切な行先に仕分けできるようにする前に、それらの小荷物どうしを分離する必要がある。コンベヤは、様々な技術を用いて、積み荷の流れを個々の小荷物に分離する。しかし時折、コンベヤが、すべての小荷物の分離に失敗し、人手による介入が必要になることがある。また、特大の箱は、渋滞の原因となることにより問題になる可能性があり、これが認識された場合には、その箱は手作業で取り除かれる。しかし、特大のポリ袋は柔軟性があるので、渋滞の原因とはならないこともある。そのため、こうした袋を仕分け機から取り除くことで、全体としてのスループットが低下する。
【発明の概要】
【0003】
本発明の特徴を具現化した一形式のコンベヤシステムは、分離された小荷物単位を搬送方向下流に搬送する送り込みコンベヤ区画を具備する。小荷物単位検出器が、送り込みコンベヤ区画に沿った検出位置で小荷物単位を検出する。撮像システムが、送り込みコンベヤ区画の目標物ゾーン内の小荷物単位の画像を取り込む。計算機処理システムが、送り込みコンベヤ区画上を小荷物単位が搬送されると小荷物単位のそれぞれの位置を追跡するプログラム命令、および小荷物単位の画像のそれぞれを分類器への入力として提供するプログラム命令を実行する。分類器は、一組の小荷物単位を認識するように訓練され、そして分類器が認識するように訓練された一組の小荷物単位の構成員の１つに対応する分類を、小荷物単位のそれぞれに割り当てるように訓練される。下流のコンベヤ区画が、送り込みコンベヤから小荷物単位を受け取る。計算機処理システムは、下流のコンベヤ区画を制御して各小荷物単位をその小荷物単位の分類に応じて搬送するプログラム命令を実行する。
【0004】
小荷物単位を搬送方向下流に搬送スピードで搬送する送り込みコンベヤ区画を、別形式のコンベヤシステムが具備する。送り込みコンベヤ区画に沿った検出位置に、占有面積検出器が配置される。検出位置の下流の送り込みコンベヤ区画に沿ってカメラが配置され、送り込みコンベヤ区画上の取り込みエリアの画像を取り込む。仕分けコンベヤ区画が、送り込みコンベヤ区画から小荷物単位を受け取り、小荷物単位を複数の行先に選択的に仕分ける。制御プロセッサが：（１）占有面積検出器を動作させて、検出位置を過ぎて搬送方向に前進する小荷物単位の占有面積を検出するプログラム命令；および（２）仕分けコンベヤ区画および送り込みコンベヤ区画を制御するプログラム命令を実行する。制御プロセッサと通信している分類プロセッサが：（１）送り込みコンベヤ区画上の小荷物単位のそれぞれの位置を、それらがコンベヤに沿って前進するさいに、検出位置を通過しているものとして検出されたそれらの占有面積から計算するプログラム命令；（２）小荷物単位の１つまたは複数のものの計算された位置が、送り込みコンベヤ区画上の取り込みエリアの目標物ゾーン内にある場合に、カメラを制御して、小荷物単位の１つまたは複数ものの画像を取り込んで、取り込みエリア内の小荷物単位の１つまたは複数のものの画像を生成するプログラム命令；（３）画像を切り抜いて、１つまたは複数の切り抜き画像にし、各切り抜き画像を取り込みエリア内の１つまたは複数の小荷物単位の１つに対応させるプログラム命令；および（４）人工知能を使用して、切り抜き画像を分類して複数の分類にし、これを、１つまたは複数の小荷物単位のそれぞれに分類の１つを割り当てることにより行うプログラム命令、を実行する。制御プロセッサは、仕分けコンベヤ区画を制御して、１つまたは複数の小荷物単位のそれぞれを、小荷物単位の分類に応じた行先に仕分ける。
【0005】
別の態様では、送り込みコンベヤ区画上で搬送される小荷物を仕分ける、プロセッサ実装された方法が：（ａ）送り込みコンベヤ区画上を搬送スピードで搬送方向に検出位置を過ぎて前進する複数小荷物単位を検出することと；（ｂ）送り込みコンベヤ区画上の検出位置を通過しているものとして検出された複数小荷物単位のそれぞれの位置を、それらがコンベヤに沿って前進するさいに計算することと；（ｃ）送り込みコンベヤ区画上の画像取り込みエリア内の複数小荷物単位の１つまたは複数のものを撮像して、取り込みエリア内の複数小荷物単位の１つまたは複数のものの画像を生成することと；（ｄ）画像を切り抜いて１つまたは複数の切り抜き画像にし、各切り抜き画像を画像取り込みエリア内の１つまたは複数の複数小荷物単位の１つに対応させることと；（ｅ）人工知能を使用して切り抜き画像を複数の分類に分類し、これを、１つまたは複数の複数小荷物単位のそれぞれに分類の１つを割り当てることにより行うことと；（ｆ）１つまたは複数の複数小荷物単位のそれぞれを、小荷物単位の分類に応じた行先に仕分けることと、を含む。
【図面の簡単な説明】
【0006】
【図1】本発明の特徴を具現化した搬送システムの上面図である。
【発明を実施するための形態】
【0007】
小荷物をインテリジェントに仕分ける本発明の特徴を具現化するコンベヤシステムを図１に示す。コンベヤ１０は、小荷物１３を搬送方向１４下流に搬送する送り込みコンベヤ区画１２を含む。検出位置に、送り込みコンベヤ区画１２に沿って小荷物単位検出器１６が配置されている。この例では、送り込みコンベヤ区画１２は、一連の２つのコンベヤ：つまり小荷物単位検出器１６の上流にある第１のコンベヤ１８と、小荷物単位検出器の下流にある第２のコンベヤ１９として図示されている。両コンベヤ１８、１９は例えば、ベルト・コンベヤ、スラット・コンベヤ、チェーン・コンベヤ、またはローラ・コンベヤとして実現することができる。送り込みコンベヤ区画１２は、単一のコンベヤとして、または２台より多いコンベヤとして実現することができる。この２コンベヤ形式では、小荷物単位検出器１６は、送光器配列から２台のコンベヤ１８、１９の間の間隙２０を通して受光器配列に幕状の光を放射する。受光器と送光器は、コンベヤ区画１２の両側、一方が下に、もう一方が上に配置されている。結果として得られる幕状の光は、コンベヤ区画１２の幅にまたがって広がる。幕状の光を通過する小荷物１３が、送光ビームを遮断し、受光器配列にこのビームが到達するのを阻止する。小荷物１３が小荷物単位検出器１６を通過すると、その占有面積、すなわち、送り込みコンベヤ区画上へのその投影を、遮断された受光器のパターンから決定することができる。よって、この形式では、小荷物単位検出器１６は、占有面積検出器である。他の種類の小荷物単位検出器、例えばレーザ距離計やカメラをかわりに使用することができる。
【0008】
小荷物単位検出器１６の下流に、送り込みコンベヤ区画１２に沿って、カメラ２２を含む撮像システムが位置している。カメラ２２は、送り込みコンベヤ区画１２の搬送側の一続きの範囲を、その幅にまたがって対象範囲とする取り込みエリア２４を有する。撮像システムは、取り込みエリア２４を通過する小荷物１３の画像を取り込む。送り込みコンベヤ区画１２を出る小荷物１３は、下流の仕分けコンベヤ区画２５上で受け取られる。仕分けコンベヤ区画２５は、仕分けコンベヤ２６として、例えば２台のフランキング・コンベヤ（ｆｌａｎｋｉｎｇ ｃｏｎｖｅｙｏｒ）２８、２９のうちの一方に物品を転向させるために選択的に作動して回転するローラを有するローラ・ベルトとして、実現することができる。仕分けコンベヤ２６およびフランキング・コンベヤ２８、２９は、まさに２つの例として、動力付きローラ・コンベヤであってもよいし、またはモジュラー・プラスチック・ベルト・コンベヤであってもよい。また、送り込みコンベヤ区画１２と仕分けコンベヤ２６は、単一のコンベヤベルトにより実現することができる。一形式では、仕分けコンベヤ２６は、イントラロックス社（Ｉｎｔｒａｌｏｘ，Ｌ．Ｌ．Ｃ．）、ハラハン（Ｈａｒａｈａｎ）、ルイジアナ州、米国が製造販売するＩＮＴＲＡＬＯＸ（登録商標）Ｓｅｒｉｅｓ７０００アクティベーティッド・ローラ・ベルト・コンベヤ（ａｃｔｉｖａｔｅｄ－ｒｏｌｌｅｒ－ｂｅｌｔ ｃｏｎｖｅｙｏｒ）である。フランキング・コンベヤ２８、２９も同様に、例えば、ローラ・ベルト、フラット・ベルト、モジュラー・プラスチック・ベルト、スロット・コンベヤ、シュート（ｃｈｕｔｅ）、またはローラ・コンベヤによって実現することができる。仕分けコンベヤは、そのローラを選択的に作動させることにより、３つの行先、つまり：（１）右のフランキング・コンベヤ２８；（２）左のフランキング・コンベヤ２９；または（３）受け取った小荷物単位をどのように処分するかを決めることのできる人間の作業者３２を配置させているのが示された行先３０、のうちの１つに小荷物を転向させる。
【0009】
占有面積検出器１６の出力は、検出位置で検出器を通過する小荷物１３の占有面積を決定するようにプログラムされた制御プロセッサ３４を含む計算機処理システム３３に送られる。（計算機処理システム３３は、定数、および１つまたは複数のプロセッサによって実行されるプログラム命令を記憶するプログラムメモリと、計算、テーブル、およびその他の一時的または変更可能な情報を記憶する揮発性データメモリとを含む）。いくつかの小荷物は、他の小荷物から分離されていない場合がある。それらの重なり合った、すなわち積み重ねられた小荷物は、単一の分離された小荷物の占有面積とは異なる形状となり得る占有面積を有する。この理由から、占有面積検出器１６は、単一の分離された小荷物を包含する分離された小荷物単位の占有面積と、占有面積が単一の輪郭線によって定義される、重なり合ったまたは積み重ねられた小荷物の群の占有面積とを検出する。
【0010】
制御プロセッサ３４は、検出位置を通過する小荷物単位の個々の占有面積を定義する、記憶されたプログラム命令を実行する。例えば、各占有面積は、その隅の座標によって、または制御プロセッサ３４によって計算されたその重心によって定義することができる。送り込みコンベヤ上の各小荷物単位の位置は、ｘ－ｙ座標系におけるその座標によっていつでも記述することができ、この座標系は例えば、検出位置をｘ＝０という基準位置とし、送り込みコンベヤ区画１２の右側縁３５をｙ＝０という基準位置とする。
【0011】
その任意の座標系では、ｘ軸は搬送方向１４と平行であり、ｙ軸は搬送方向に対して垂直である。制御プロセッサ３４はまた：（ａ）送り込みコンベヤ区画１２、仕分けコンベヤ２６、ならびに第１および第２のコンベヤ２８、２９の速度を制御するタスク；（ｂ）様々なコンベヤのスピードを報告する入力を受け取るタスク；および（ｃ）制御プロセッサ自体と、撮像システムとともに使用される分類プロセッサ３６との間の通信ネットワークを制御するタスク、を実行するようにプログラムすることもできる。制御プロセッサ３４と同様に、分類プロセッサ３６は、計算機処理システム３３内に含まれており、外部のまたは同一チップの画像処理装置（ＧＰＵ）を含んでもよい。制御プロセッサ３４は、コンベヤ１２、２６、２８、２９とのインタフェースにおいて、外部の物理的なプログラマブル・ロジック・コントローラ（ＰＬＣ）３８を介して、または内部の仮想ＰＬＣを介して制御を行ってもよいし、また外部の物理的なＰＬＣと内部の仮想ＰＬＣとの間で制御を分担してもよい。例えば、外部のＰＬＣは、送り込みおよび仕分けのコンベヤ区画を駆動する発動機を制御できる可能性、そしてベルトのスピードを報告するセンサを読み取ることのできる可能性がある一方、仮想ＰＬＣは、占有面積検出器の出力を受信する。いずれにしても、ＰＬＣ３８は、制御プロセッサ３４の一部と見なされ、計算機処理システム３３の一部と見なされる。
【0012】
制御プロセッサ３４および分類プロセッサ３６の動作を、図２～５の流れ図を参照しつつ記載する。
【0013】
制御プロセッサ３４（図１）によって実行されるＴＣＰ（伝送制御プロトコル）接続マネージャ・タスク４０を、図３にさらに詳細に示す。このタスクは、制御プロセッサ３４と、分類プロセッサ３６と、ＰＬＣ３８との通信を担う通信ネットワーク４２（図１）を制御する。ＴＣＰ接続マネージャ・タスク４０は、３つのサブタスク：つまり（１）読み取りタスク４４；（２）接続モニタ・タスク４６；および（３）書き込みイベント・ハンドラ・タスク４８を有する。
【0014】
読み取りタスク４４は、メッセージ５０を読み取り、メッセージ５２を構文解析し、メッセージ５４を実行する。小荷物単位に対応する占有面積が占有面積検出器によって識別されたとする、制御プロセッサ３４からのメッセージの場合には、その占有面積とその座標に対応する項目が、送り込みコンベヤ状態テーブルに追加されるが、このテーブルは、検出位置の下流の送り込みコンベヤ１９における小荷物単位の、識別されたあらゆる占有面積の最も新しく計算された位置を表すものである。
【0015】
書き込みイベント・ハンドラ４８は、発生したあらゆるイベント５６を処理し、そのイベントに関するあらゆる関連データ５８と共にそのイベントの発生を示すメッセージをフレーム化し、通信ネットワークを介してメッセージフレーム６０を送信して、意図された受け手によって読まれるようにする。一例を後に記載する。
【0016】
接続モニタ・タスク４６は、あらゆる装置またはノード、例えば、制御プロセッサ３４、分類プロセッサ３６、およびＰＬＣ３８が接続されていることをチェックして確認する。このタスクは、通信ネットワークを介してハートビート・メッセージ（ｈｅａｒｔｂｅａｔ ｍｅｓｓａｇｅ）を送出する６２。このタスクは、意図された受け手側装置によってメッセージが受信されたかどうかを判断する６４。メッセージ送信の失敗がない場合、制御プロセッサは、ネットワークが損なわれていないことを知る６６。送信失敗がある場合、制御プロセッサは、切断された装置への再接続を試みる６８。
【0017】
分類プロセッサ３６は、図２に示すようにタイマチック・タスク（ｔｉｍｅｒ－ｔｉｃｋ ｔａｓｋ）７０を含む記憶されたプログラム命令を、タイマによって設定された周期的なレートで、例えば７５ｍｓ毎に実行する。タイマチック・タスク７０は、いくつかのサブタスクを命令するが、これらのタスクは、送り込みコンベヤ区画上の小荷物単位を追跡し、小荷物単位の画像を取り込み、小荷物単位を分類するものである。まず、タイマチック・タスク７０は、古いサブタスクを消去し７２、新たな実行のためにそれらを準備する。分類プロセッサ３６は、送り込みコンベヤ状態テーブルにおける小荷物単位識別占有面積のそれぞれについて、小荷物追跡タスク７４を実行する。この形式における分類プロセッサ３６は、複数のコアを有しており、これらのコアは、小荷物追跡タスク７４を同時に並列して実行することができるものである。各検出された小荷物単位についてのタスクは、これらのコアの１つまたは別のものにおいて、または複数のスレッドを実行している１つのコアにおける専用スレッドにおいて実行される。小荷物追跡タスク７４とそれに続くタスクを別個のコアまたはスレッドにおいて並列に実行することにより、コンベヤシステムは、高い小荷物スループットレートに対処することができる。同様に、制御プロセッサ３４は、マルチコア・プロセッサとすることができる可能性もある。
【0018】
図４にさらに詳細に示すとおり、送り込みコンベヤ区画上の各小荷物単位についての小荷物追跡タスク７４は、その小荷物単位について先にそのタスクを実行してからの時間間隔を計算する７６。タスク７４は、搬送スピードの情報を用いて、前回更新があってから搬送方向に小荷物単位が前進した距離を計算して７８、その小荷物単位の位置の座標を現在の位置に更新する８０。
【0019】
小荷物単位の位置が更新された後、マルチコア分類プロセッサ３６（図１）は、小荷物単位が画像取り込みエリア２４内の目標物ゾーン８４に何時あるのかを判断する目標物絞り込みタスク（ｉｎ－ｔａｒｇｅｔ ｔａｓｋ）８２を並列に実行することで、カメラ２２を動作させて目標物ゾーン内の小荷物単位の画像を取り込むことができるようにする。目標物絞り込みタスク８２を実行する前に、分類プロセッサ３６は、まず、目標物絞り込みタスクの実行を、未だ撮像されていない小荷物単位に限定する８６。
【0020】
目標物絞り込みタスク８２のそれぞれは、まず、小荷物単位が目標物ゾーン８４（図１）内にあるかどうか、その座標を目標物ゾーンの座標範囲と比較することによって判断する８８。小荷物単位が目標物ゾーン内にあると判断される場合、タスクは小荷物単位を目標物リストに追加し９０、そうでなければ何も実行しない９２。次いで分類プロセッサは、図２に示すとおり、目標物リストをチェックする９４。１つまたは複数の小荷物単位が目標物リストに新たに追加された場合、分類プロセッサ３６は、目標物ゾーン８４内の小荷物単位の画像を取り込むよう、カメラ２２（図１）に信号を送る９６。目標物リストに新たな小荷物単位がない場合、何も実行されず９８、タイマチック・タスク７０は完了する。
【0021】
すべての新しい画像を用いて、分類プロセッサ３６は、図５に詳細に示される目標物処理タスク１００を並列に実行する。各目標物処理タスク１００は、まず取り込み画像内の小荷物単位の相対的な画素座標を計算する１０４画像切り抜きタスク１０２を含む。例えば、小荷物単位の隅の画素座標を、相対的な画素座標として使用することができる。それらの座標に基づき、画像切り抜きタスク１０２は次いで、小荷物単位を含む画像の座標回転１０６を実行して、効果的な切り抜きを行えるように小荷物単位の向きを決める。座標回転の結果、取り込み画像内の小荷物単位の座標が回転する。回転した取り込み画像は次いで、さらに小さな矩形領域に切り抜かれる１０８が、これらの領域は、取り込み画像内の回転した小荷物単位画像のそれぞれを包含するものである。矩形領域内の画素は、切り抜き画像を定義し、それらは次いで記憶される１１０。
【0022】
切り抜き画像のそれぞれについて、分類タスク１１２が、分類プロセッサのコアによって並列に実行される。各切り抜き画像は、１バイト（０～２５５）のＲＧＢ値の矩形画素配列を含む。まず、各分類タスク１１２は、切り抜き画像を前処理して１１４、使用されている特定の分類プログラム用のフォーマットにする。例えば、画素配列の寸法を変更し、ゼロでパディングして配列を埋める必要がある場合がある。分類プログラムの例には：ＡｌｅｘＮｅｔ；Ｉｎｃｅｐｔｉｏｎ Ｎｅｔｗｏｒｋ ｖ１、ｖ２、ｖ３、ｖ３；ＭｏｂｉｌｅＮｅｔ；ＰＮＡＳＮｅｔ；ＳｑｕｅｅｚｅＮｅｔ；ＲｅｓＮｅｔなどが挙げられる。画素配列は、ニューラルネットワーク１１６（図６）に入力Ｐとして供給され、このニューラルネットワークは、小荷物単位の切り抜き画像を分類する１１８（図５）。いったん小荷物単位が分類されると、分類タスクは、送り込みコンベヤ状態テーブルにこの分類を記憶する１２０。
【0023】
この形式では、分類プロセッサは、分類器としてニューラルネットワークの形態の人工知能を使用する。しかし、他の人工知能技術、例えばハール特徴（Ｈａａｒ ｆｅａｔｕｒｅ）を用いるカスケード型分類器、完全接続ネットワーク、畳み込みニューラルネットワーク、サポートベクターマシン、ベイジアン・ニューラルネットワーク、ｋ－ＮＮネットワーク、パーゼン（Ｐａｒｚｅｎ）・ニューラルネットワーク、ファジー論理を、小荷物単位の画像を分類する分類器として使用できる可能性がある。図６におけるニューラルネットワーク１１６は、小荷物単位を分類するために人工知能がどのように使用されるかを説明する例示的なニューラルネットワークを表している。入力Ｐは、前処理された切り抜き画像の画素配列内の画素のＲＧＢ値である。入力には、重み付け係数ｗが乗算されるが、この重み付け係数は、隠れ層１２２における第１の層のニューロンＮ１に入力Ｐを接続する各線に付随して異なる。第１の層の各ニューロンＮ１は、それに接続された入力値Ｐと重みとの積の総和を規格化したものにバイアス項を加えた値、すなわち活性化値を有する。規格化は、限られた範囲、例えば０から１に総和をマッピングする数学関数によって実現される。同様にして、第１の隠れ層Ｎ１の活性化値は、第２の隠れ層のニューロンＮ２に適用される。そして、第２の隠れ層のニューロンＮ２の活性化値は、出力（Ａ～Ｅ）を計算するのに使用される。小荷物単位を分類するのに使用される実際のニューラルネットワークは、各隠れ層について示されたおよそ６つのニューロンの、２層より多い隠れ層を有することができる可能性がある。
【0024】
出力Ａ～Ｅは、小荷物単位の様々な分類の組を表す。分類タスクは、５つの出力のうち最大の活性化値を有する分類を、各小荷物単位に割り当てる。例えば、Ａ＝ポリ袋；Ｂ＝ポリ袋ではない認識された単一の小荷物；Ｃ＝重なりが所定の百分率（例えば、２５％）未満である小荷物の積み重なり；Ｄ＝重なりが所定の百分率より大きい小荷物の積み重なり；Ｅ＝認識されなかった小荷物、である。もちろん、小荷物単位分類の他の組を使用して、他の小荷物の型または小荷物の特性、例えば、表面の質感、裂け目や破れ目、濡れ染み、特定の色、特定の視認できる指標、さらにはバーコードなどの機械読み取り可能な指標が判読不能になった皺のよったポリ袋を識別することができる。
【0025】
ニューラルネットワーク分類器は、出力分類に対応する小荷物単位の多数の切り抜き画像をネットワークに与えることによって訓練される。この訓練は、各層のニューロンの重みｗとバイアスを調整して、コスト関数、つまり画像に対して所望される出力（その画像に対応する出力以外のすべての出力の場合には０であり、その画像に対応する出力は１である）とニューラルネットワークによって計算された出力との間の差を最小化する。訓練過程では、従来の誤差逆伝播法により、各学習用画像について重みとバイアスを反復調整する。訓練は典型的には、実時間で実行されるのではなくオフラインで実行される。
【0026】
図５に示とおり、各小荷物単位についてニューラルネットワークによって決定された分類は、制御プロセッサに送信され１２４、無効な小荷物単位および先に分類された小荷物単位が、分類されるべき項目のテーブルから除去される１２６。切り抜き画像、タイムスタンプ、および小荷物単位の画素座標などのメタデータが、オフライン分析のために記憶装置１３０に送られる１２８。
【0027】
図１における制御プロセッサ３４は、分類プロセッサの小荷物追跡タスクによって更新された、送り込みコンベヤ区画１２上の小荷物単位１３の位置をチェックする。いったん小荷物単位１３が仕分けコンベヤ区画２５に到達すると、制御プロセッサ３４は、各小荷物単位の位置の計算と、その行先および軌跡の判定とを引き継ぐ。各小荷物単位の行先は、その分類によって決まる。例えば、認識されなかった小荷物単位（分類Ｅ）および２５％以上の重なりがある積み重ねられた小荷物（分類Ｄ）は、人間の作業者３２を配置させた行先３０に送られる。所定の最大サイズを超えるあらゆる分類のあらゆる小荷物単位を、人を配置させた行先３０に送ることができる可能性もある。この形式では、それらの小荷物単位の軌跡は、搬送方向１４にまっすぐである。ポリ袋（分類Ａ）、ポリ袋ではない認識された単一の小荷物（分類Ｂ）、および重なりが２５％未満である積み重ねられた小荷物（分類Ｃ）は、フランキング・コンベヤ２８、２９の一方またはもう一方の仕分け先に転向され、これらのコンベヤが、小荷物をさらに処理するために下流に搬送する。各小荷物単位１３の軌跡１３２を制御するために、制御プロセッサ３４は、ローラ・ベルトもしくは動力付きローラ・コンベヤのローラの区画、またはシュー・ソータ（ｓｈｏｅ ｓｏｒｔｅｒ）のシュー、またはプッシャ（ｐｕｓｈｅｒ）を選択的に作動させて、指定の行先に小荷物単位を転向させる。
【0028】
本発明を、２つのプロセッサとＰＬＣとを含む計算機処理システムを用いた例示的な形式に関して詳細に記載してきた。そのシステムは、分類プロセッサが万一故障した場合に、冗長性を提供する。故障が発生した場合、制御プロセッサは、小荷物単位が分類されているというさらなる利点がなくとも、小荷物単位の占有面積だけに基づいて小荷物を仕分けることができる。また、制御プロセッサが故障した場合、ＰＬＣは、制御プロセッサが復旧するまでの間、小荷物を単に仕分けるだけで、一時的に人間の作業者を配置させた２つのフランキング・コンベヤ上で、バランスのとれた流れを作り出すようにすることができる。しかし、他の形式も可能である。例えば、制御プロセッサと分類プロセッサを、計算機処理システム内の単一のマルチコア・プロセッサにより実現することも可能である。別の例として、分類プロセッサは、個々のコアやスレッドでタスク命令を並列に実行するマルチコア・プロセッサである必要はない。分類プロセッサは、一度に１つのタスク命令を実行するシングルコア・プロセッサとすることができる可能性がある。
【0029】
代替形式では、カメラの画像取り込みエリアは、占有面積検出器の上流の送り込みコンベヤ区画に沿って配置することができる可能性がある。その場合、分類プロセッサは、継続的に画像を取り込むタスク、そして取り込み画像をプロセッサの揮発性メモリ内の画像テーブルにタイムスタンプ付きで記憶するタスクを実行する可能性がある。制御プロセッサは、画像取り込みエリアの下流にある占有面積検出器で占有面積を検出する可能性がある。送り込みコンベヤのスピードと、画像取り込みエリアから占有面積検出位置までの距離との情報を用いて、分類プロセッサは、画像テーブル内の取り込み画像に含まれる小荷物単位画像と各占有面積を関連付ける可能性がある。次いで分類プロセッサは、小荷物単位が送り込みコンベヤ区画を出て仕分けコンベヤ区画に入る前に、図５のとおり小荷物単位を回転、切り抜き、前処理、および分類する可能性がある。
【0030】
また、小荷物単位の占有面積または位置を検出するために、撮像システムを占有面積検出器として使用して、専用の占有面積検出器を別個には使用しないことも可能である。分類プロセッサは、小荷物単位をその画像から分類するのに必要なタスクを実行する以外にも、タスクを実行する可能性があり、そのタスクは小荷物単位検出器として働くものであって、これは、送り込みコンベヤ区画に沿ってそれらの小荷物単位が前進するさいに個々の小荷物単位を認識しそれらの位置を追跡して、割り当てられた行先にそれらを仕分けできるようにすることによってなされる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】