知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155186
(43)【公開日】2024-10-31
(54)【発明の名称】落下物検知装置及び移載装置
(51)【国際特許分類】
G06T 7/136 20170101AFI20241024BHJP
B25J 13/08 20060101ALI20241024BHJP
B65G 47/90 20060101ALI20241024BHJP
【ＦＩ】
G06T7/136
B25J13/08 A
B65G47/90 A
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023069651
(22)【出願日】2023-04-20
(71)【出願人】
【識別番号】000141886
【氏名又は名称】株式会社京都製作所
(74)【代理人】
【識別番号】110002217
【氏名又は名称】弁理士法人矢野内外国特許事務所
(72)【発明者】
【氏名】堀渕 浩之
(72)【発明者】
【氏名】島本 純也
【テーマコード（参考）】
3C707
3F072
5L096
【Ｆターム（参考）】
3C707AS04
3C707BS24
3C707KS30
3C707KT01
3C707KT06
3C707NS02
3F072AA06
3F072GA10
3F072GD03
3F072GG03
3F072KA01
3F072KD01
3F072KD03
3F072KE11
3F072KE13
5L096BA02
5L096BA05
5L096CA02
5L096DA02
5L096EA37
5L096EA43
5L096GA51
(57)【要約】
【課題】第１の所定位置にてピッキングされ、当該第１の所定位置から第２の所定位置まで物品を移動させる移載装置において、何らかの原因で物品の落下が発生した場合、その落下した物品を落下物として検知する落下物検知装置、及び当該落下物検知装置を備える移載装置であって、当該物品の落下を確実に検知することができる落下物検知装置及び移載装置を提供する。
【解決手段】移動する物品Ｗを撮像して画像データを取得する撮像手段５１と、撮像手段５１によって取得された画像データに基づき、落下物を検知する落下検知制御手段５２とを備え、撮像手段５１は、イベントカメラであり、落下検知制御手段５２は、輝度の変化が発生した画素領域に対して、予め設定された閾値を有し、輝度の変化が発生した画素領域が前記閾値の範疇となる場合、当該物品Ｗを落下物として検知する。
【選択図】図１
【解決手段】移動する物品Ｗを撮像して画像データを取得する撮像手段５１と、撮像手段５１によって取得された画像データに基づき、落下物を検知する落下検知制御手段５２とを備え、撮像手段５１は、イベントカメラであり、落下検知制御手段５２は、輝度の変化が発生した画素領域に対して、予め設定された閾値を有し、輝度の変化が発生した画素領域が前記閾値の範疇となる場合、当該物品Ｗを落下物として検知する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の所定位置から第２の所定位置に物品を移載する移載装置において、物品の落下が発生した場合、その落下した物品を落下物として検知する落下物検知装置であって、
移動する物品を撮像して画像データを取得する撮像手段と、
前記撮像手段によって取得された前記画像データに基づき、落下物を検知する制御手段とを備え、
前記撮像手段は、イベントカメラであり、
前記制御手段は、
輝度の変化が発生した画素領域に対して、予め設定された閾値を有し、
輝度の変化が発生した画素領域が前記閾値の範疇となる場合、当該物品を落下物として検知する、
ことを特徴とする落下物検知装置。
移動する物品を撮像して画像データを取得する撮像手段と、
前記撮像手段によって取得された前記画像データに基づき、落下物を検知する制御手段とを備え、
前記撮像手段は、イベントカメラであり、
前記制御手段は、
輝度の変化が発生した画素領域に対して、予め設定された閾値を有し、
輝度の変化が発生した画素領域が前記閾値の範疇となる場合、当該物品を落下物として検知する、
ことを特徴とする落下物検知装置。
【請求項2】
前記制御手段は、
前記画像データ上において、
前記物品以外の移動する対象物に対してマスキング処理を施して、二値化処理を実行することにより、落下した物品の画像を抽出する画像処理部を有する、
ことを特徴とする、請求項１に記載の落下物検出装置。
前記画像データ上において、
前記物品以外の移動する対象物に対してマスキング処理を施して、二値化処理を実行することにより、落下した物品の画像を抽出する画像処理部を有する、
ことを特徴とする、請求項１に記載の落下物検出装置。
【請求項3】
前記第１の所定位置及び／または前記第２の所定位置の周囲に隣接して設けられ、
一方向に向かって傾斜するスロープを備える、
ことを特徴とする、請求項１または請求項２に記載の落下物検知装置。
一方向に向かって傾斜するスロープを備える、
ことを特徴とする、請求項１または請求項２に記載の落下物検知装置。
【請求項4】
前記撮像手段は、
平面視において、
撮像方向が前記スロープの傾斜方向と交差した状態で配置される、
ことを特徴とする、請求項３に記載の落下物検知装置。
平面視において、
撮像方向が前記スロープの傾斜方向と交差した状態で配置される、
ことを特徴とする、請求項３に記載の落下物検知装置。
【請求項5】
前記撮像手段の撮像方向において、当該撮像手段と対向して配置され、
前記撮像手段側に向かって照明する照明手段を備える、
ことを特徴とする、請求項１または請求項２に記載の落下物検知装置。
前記撮像手段側に向かって照明する照明手段を備える、
ことを特徴とする、請求項１または請求項２に記載の落下物検知装置。
【請求項6】
前記物品は、内容物を包容した袋部材からなり、
少なくとも外側の表面に光沢を有する、
ことを特徴とする、請求項１または請求項２に記載の落下物検知装置。
少なくとも外側の表面に光沢を有する、
ことを特徴とする、請求項１または請求項２に記載の落下物検知装置。
【請求項7】
請求項１または請求項２に記載の落下物検知装置と、
前記第１の所定位置を構成し、複数の物品を収容する容器と、
前記第２の所定位置を構成し、前記物品を一方向に搬送する搬送手段と、
前記容器から前記物品を各々個別にピッキングして、前記搬送手段まで移動させて載置するロボットアームを有する移載ロボットと、を備える、
ことを特徴とする移載装置。
前記第１の所定位置を構成し、複数の物品を収容する容器と、
前記第２の所定位置を構成し、前記物品を一方向に搬送する搬送手段と、
前記容器から前記物品を各々個別にピッキングして、前記搬送手段まで移動させて載置するロボットアームを有する移載ロボットと、を備える、
ことを特徴とする移載装置。
【請求項8】
前記落下物検知装置において、
前記制御手段は、
前記容器から前記搬送手段に物品を移動させる際の、前記画像処理部による当該物品の落下の有無の検知結果と実際の落下物の有無との対応関係を機械学習することにより、物品の落下の検知に関するＡＩモデルを取得するＡＩモデル取得部を有する、
ことを特徴とする、請求項７に記載の移載装置。
前記制御手段は、
前記容器から前記搬送手段に物品を移動させる際の、前記画像処理部による当該物品の落下の有無の検知結果と実際の落下物の有無との対応関係を機械学習することにより、物品の落下の検知に関するＡＩモデルを取得するＡＩモデル取得部を有する、
ことを特徴とする、請求項７に記載の移載装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、落下物検知装置、及び当該落下物検知装置を備える移載装置に関する。
【背景技術】
【0002】
従来より、コンテナ等からなる容器内にて乱雑に山積みされた複数の物品を、ロボットアームによって順に個別にピッキングし、予め設定された所定位置に移動させて載置（プレイス）するピッキングシステム（移載装置）が知られている（例えば、「特許文献１」を参照）。
このような移載装置においては、ロボットアームによる物品の移動時における、当該物品の突発的な落下を検知するために、様々な手法が用いられている。
例えば、その一例として、物品を一時的に保持する手段としてロボットアームの先端部に吸着パッドが設けられている場合、当該吸着パッドに作用する空気圧の変化を監視することにより、物品の落下を検知する手法（以下、適宜「空気圧監視法」と記載する）が知られている。
また、他の一例として、レーザスキャナを用いて、落下する物品を直接的にスキャンすることにより、物品の落下を検知する手法（以下、適宜「レーザスキャナ法」と記載する）も考えられる。
このような移載装置においては、ロボットアームによる物品の移動時における、当該物品の突発的な落下を検知するために、様々な手法が用いられている。
例えば、その一例として、物品を一時的に保持する手段としてロボットアームの先端部に吸着パッドが設けられている場合、当該吸着パッドに作用する空気圧の変化を監視することにより、物品の落下を検知する手法（以下、適宜「空気圧監視法」と記載する）が知られている。
また、他の一例として、レーザスキャナを用いて、落下する物品を直接的にスキャンすることにより、物品の落下を検知する手法（以下、適宜「レーザスキャナ法」と記載する）も考えられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１２－４１１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
前記空気圧監視法においては、吸着パッドに作用する空気圧が所定の真空圧である場合、当該吸着パッドによって物品は正常に保持されているとして、「物品の落下は発生していない」と判断される。
一方、吸着パッドに作用する空気圧が所定の真空圧を超えて大気圧に近付く場合、当該吸着パッドによって物品は保持されていない（或いは、正常に保持されておらず、不完全な状態で保持されている）として、「物品の落下が発生した」と判断される。
一方、吸着パッドに作用する空気圧が所定の真空圧を超えて大気圧に近付く場合、当該吸着パッドによって物品は保持されていない（或いは、正常に保持されておらず、不完全な状態で保持されている）として、「物品の落下が発生した」と判断される。
【0005】
このような空気監視圧法によって物品の落下を検知する場合、例えば、容器内に山積みされた複数の物品の中から一つの物品を吸着してピッキングする際に、他の物品が当該一つの物品に引っ掛かり、その後、予め定められた所定位置に向かって当該一つの物品が移動される途中で当該他の物品が落下しても、吸着パッドによって当該一つの物品が正常に保持されている限り、物品（より具体的には、当該他の物品）の落下を検知することは困難である。
また、上記他の物品を引っ掛けた状態で、上記一つの物品が容器内から上方に向かって抜け出す際に、当該他の物品が容器から零れ落ちた場合においても、吸着パッドによって当該一つの物品が正常に保持されている限り、物品（より具体的には、当該他の物品）の落下を検知することは困難である。
また、上記他の物品を引っ掛けた状態で、上記一つの物品が容器内から上方に向かって抜け出す際に、当該他の物品が容器から零れ落ちた場合においても、吸着パッドによって当該一つの物品が正常に保持されている限り、物品（より具体的には、当該他の物品）の落下を検知することは困難である。
【0006】
また、前記レーザスキャナ法においては、物品の落下が発生し得る領域を予め想定し、当該領域内にて赤外線レーザを往復走査させて、物品に跳ね返った赤外線レーザを検知した場合に「物品の落下が発生した」と判断される。
【0007】
このようなレーザスキャナ法によって物品の落下を検知する場合、一般的に、物品の落下速度に対して、赤外線レーザを照射してから物品に跳ね返った赤外線レーザを検知するまでにかかるスキャン周期が長過ぎて、落下する物品の挙動を捉えることが難しく、物品の落下を検知することは非常に困難である。
また、検知する対象物である物品が、内容物を包容した袋部材であり、当該袋部材の外側の表面に光沢を有している場合、外形形状が任意に変形する当該物品に反射した赤外線レーザは、任意の方向に乱反射するため、物品に跳ね返った赤外線レーザを常に確実に検知することができず、物品の落下を検知することは非常に困難である。
また、検知する対象物である物品が、内容物を包容した袋部材であり、当該袋部材の外側の表面に光沢を有している場合、外形形状が任意に変形する当該物品に反射した赤外線レーザは、任意の方向に乱反射するため、物品に跳ね返った赤外線レーザを常に確実に検知することができず、物品の落下を検知することは非常に困難である。
【0008】
本発明は、以上に示した現状の問題点に鑑みてなされたものであり、第１の所定位置にてピッキングされ、当該第１の所定位置から第２の所定位置まで物品を移動させる移載装置において、何らかの原因で物品の落下が発生した場合、その落下した物品を落下物として検知する落下物検知装置、及び当該落下物検知装置を備える移載装置であって、当該物品の落下を確実に検知することができる落下物検知装置及び移載装置を提供することを課題とする。
【課題を解決するための手段】
【0009】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【0010】
即ち、本発明の態様１に係る落下物検知装置は、第１の所定位置から第２の所定位置に物品を移載する移載装置において、物品の落下が発生した場合、その落下した物品を落下物として検知する落下物検知装置であって、移動する物品を撮像して画像データを取得する撮像手段と、前記撮像手段によって取得された前記画像データに基づき、落下物を検知する制御手段とを備え、前記撮像手段は、イベントカメラであり、前記制御手段は、輝度の変化が発生した画素領域に対して、予め設定された閾値を有し、輝度の変化が発生した画素領域が前記閾値の範疇となる場合、当該物品を落下物として検知することを特徴とする。
このように、本発明に係る落下物検知装置においては、撮像手段によって取得された画像データに基づき、落下した物品を検知することから、前述した空気圧監視法を用いた場合に比べて、物品の突発的な落下を確実に検知することができる。
即ち、例えば、第１の所定位置である容器内に山積みされた複数の物品の中から一つの物品を吸着してピッキングする際に、他の物品が当該一つの物品に引っ掛かり、その後、第２の所定位置に向かって当該一つの物品が移動される途中で当該他の物品が落下しても、当該他の物品の挙動を画像データによって捉えることにより、物品の落下を確実に検知することができる。
また、上記他の物品を引っ掛けた状態で、上記一つの物品が容器内から上方に向かって抜け出す際に、当該他の物品が容器から零れ落ちた場合においても、当該他の物品の挙動を画像データによって捉えることにより、物品の落下を確実に検知することができる。
さらに、本発明に係る落下物検知装置によれば、前述したレーザスキャナ法を用いた場合のように、スキャン周期の問題を考慮する必要が無く、物品の挙動を画像データによって捉えることにより、物品の落下を確実に検知することができる。
また、本発明に係る落下物検知装置において、画像データを取得する撮像手段は、対象物の移動速度に基づき可視化するイベントカメラからなるため、前述したレーザスキャナ法を用いた場合のように、たとえ、検知する対象物である物品が内容物を包容した袋部材であり、当該袋部材の外側の表面に光沢を有して、通常のカメラではハレーションを起こしてしまい良好に物品Ｗの撮像が困難な場合であっても、当該表面による光の乱反射の影響を受けること無く、物品の挙動を画像データによって捉えることにより、物品の落下を確実に検知することができる。
このように、本発明に係る落下物検知装置においては、撮像手段によって取得された画像データに基づき、落下した物品を検知することから、前述した空気圧監視法を用いた場合に比べて、物品の突発的な落下を確実に検知することができる。
即ち、例えば、第１の所定位置である容器内に山積みされた複数の物品の中から一つの物品を吸着してピッキングする際に、他の物品が当該一つの物品に引っ掛かり、その後、第２の所定位置に向かって当該一つの物品が移動される途中で当該他の物品が落下しても、当該他の物品の挙動を画像データによって捉えることにより、物品の落下を確実に検知することができる。
また、上記他の物品を引っ掛けた状態で、上記一つの物品が容器内から上方に向かって抜け出す際に、当該他の物品が容器から零れ落ちた場合においても、当該他の物品の挙動を画像データによって捉えることにより、物品の落下を確実に検知することができる。
さらに、本発明に係る落下物検知装置によれば、前述したレーザスキャナ法を用いた場合のように、スキャン周期の問題を考慮する必要が無く、物品の挙動を画像データによって捉えることにより、物品の落下を確実に検知することができる。
また、本発明に係る落下物検知装置において、画像データを取得する撮像手段は、対象物の移動速度に基づき可視化するイベントカメラからなるため、前述したレーザスキャナ法を用いた場合のように、たとえ、検知する対象物である物品が内容物を包容した袋部材であり、当該袋部材の外側の表面に光沢を有して、通常のカメラではハレーションを起こしてしまい良好に物品Ｗの撮像が困難な場合であっても、当該表面による光の乱反射の影響を受けること無く、物品の挙動を画像データによって捉えることにより、物品の落下を確実に検知することができる。
【0011】
また、本発明の態様２に係る落下物検知装置は、上記態様１において、前記制御手段は、前記画像データ上において、前記物品以外の移動する対象物に対してマスキング処理を施して、二値化処理を実行することにより、落下した物品の画像を抽出する画像処理部を有することを特徴とする。
このような構成を有することにより、画像データ上において、例えば、物品を保持して移動させるロボットアームの軌跡に対して予めマスキング処理を施して、当該画像データの二値化処理を実行することにより、物品の落下をより確実に検知することができる。
このような構成を有することにより、画像データ上において、例えば、物品を保持して移動させるロボットアームの軌跡に対して予めマスキング処理を施して、当該画像データの二値化処理を実行することにより、物品の落下をより確実に検知することができる。
【0012】
また、本発明の態様３に係る落下物検知装置は、上記態様１または上記態様２において、前記第１の所定位置及び／または前記第２の所定位置の周囲に隣接して設けられ、一方向に向かって傾斜するスロープを備えることを特徴とする。
このような構成を有することにより、第１の所定位置と、第２の所定位置との間の任意の位置にて、突発的に落下した物品は、その後、スロープを滑落することとなり、当該スロープによって物品の移動方向を所定方向（より具体的にはスロープの傾斜方向）に規制することができ、落下した物品の挙動を画像データに捉える撮像手段（イベントカメラ）の必要台数を低減することができる。
このような構成を有することにより、第１の所定位置と、第２の所定位置との間の任意の位置にて、突発的に落下した物品は、その後、スロープを滑落することとなり、当該スロープによって物品の移動方向を所定方向（より具体的にはスロープの傾斜方向）に規制することができ、落下した物品の挙動を画像データに捉える撮像手段（イベントカメラ）の必要台数を低減することができる。
【0013】
また、本発明の態様４に係る落下物検知装置は、上記態様３において、前記撮像手段は、平面視において、撮像方向が前記スロープの傾斜方向と交差した状態で配置されることを特徴とする。
このような構成を有することにより、落下した物品は、スロープを滑落することとなるため、自然落下に比べて移動速度を低下させることができ、もって、物品の挙動を、撮像手段によって確実に画像データに捉えることができる。
このような構成を有することにより、落下した物品は、スロープを滑落することとなるため、自然落下に比べて移動速度を低下させることができ、もって、物品の挙動を、撮像手段によって確実に画像データに捉えることができる。
【0014】
また、本発明の態様５に係る落下物検知装置は、上記態様１または上記態様２において、前記撮像手段の撮像方向にて、当該撮像手段と対向して配置され、前記撮像手段側に向かって照明する照明手段を備えることを特徴とする。
このような構成を有することにより、照明手段によって、落下する物品の形態をより鮮明に浮き立たせることができ、当該物品の挙動を、撮像手段によって、より確実に画像データに捉えることができる。
このような構成を有することにより、照明手段によって、落下する物品の形態をより鮮明に浮き立たせることができ、当該物品の挙動を、撮像手段によって、より確実に画像データに捉えることができる。
【0015】
また、本発明の態様６に係る落下物検知装置は、上記態様１または上記態様２において、前記物品は、内容物を包容した袋部材からなり、少なくとも外側の表面に光沢を有することを特徴とする。
このような形態からなる物品を、検知する対象物とする場合であっても、本発明に係る落下物検知装置によれば、上述したように、物品の落下を確実に検知することができる。
このような形態からなる物品を、検知する対象物とする場合であっても、本発明に係る落下物検知装置によれば、上述したように、物品の落下を確実に検知することができる。
【0016】
さらに、本発明の態様７に係る移載装置は、請求項１または請求項２に記載の落下物検知装置と、前記第１の所定位置を構成し、複数の物品を収容する容器と、前記第２の所定位置を構成し、前記物品を一方向に搬送する搬送手段と、前記容器から前記物品を各々個別にピッキングして、前記搬送手段まで移動させて載置するロボットアームを有する移載ロボットと、を備えることを特徴とする。
このような構成を有することにより、本発明に係る移載装置によれば、ロボットアームによる容器から搬送手段までの移動途中に、物品が突発的に落下した場合だけでなく、何らかの原因で落下物が発生した場合でであっても、落下した物品を確実に検知することができる。
このような構成を有することにより、本発明に係る移載装置によれば、ロボットアームによる容器から搬送手段までの移動途中に、物品が突発的に落下した場合だけでなく、何らかの原因で落下物が発生した場合でであっても、落下した物品を確実に検知することができる。
【0017】
また、本発明の態様８に係る移載装置は、上記態様７において、前記落下物検知装置における前記制御手段は、前記容器から前記搬送手段に物品を移動させる際の、前記画像処理部による当該物品の落下の有無の検知結果と実際の落下物の有無との対応関係を機械学習することにより、物品の落下の検知に関するＡＩモデルを取得するＡＩモデル取得部を有することを特徴とする。
このような構成を有することにより、本発明に係る移載装置によれば、ＡＩモデル取得部にて取得したＡＩモデルに基づき、物品の落下をより効果的に検知することができる。
このような構成を有することにより、本発明に係る移載装置によれば、ＡＩモデル取得部にて取得したＡＩモデルに基づき、物品の落下をより効果的に検知することができる。
【発明の効果】
【0018】
本発明の効果として、以下に示すような効果を奏する。
即ち、本発明に係る落下物検知装置、及び当該落下物移載装置を備える移載装置によれば、何らかの原因で物品の落下が発生した場合、その落下した物品を落下物として確実に検知することができる。
即ち、本発明に係る落下物検知装置、及び当該落下物移載装置を備える移載装置によれば、何らかの原因で物品の落下が発生した場合、その落下した物品を落下物として確実に検知することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施形態に係る物品の移載装置の全体的な構成を示した断面平面図である。
【図3】撮像手段によって取得された画像データに対して、画像処理を実行する際の手順を示したブロック図である。
【図4】撮像手段によって取得された画像データを説明するための図である。
【発明を実施するための形態】
【0020】
次に、本発明の一実施形態について、図１乃至図４を用いて説明する。
なお、以下の説明に関しては便宜上、搬送手段１００の搬送方向を前方とし、図１及び図２（ａ）（ｂ）中に示した矢印の方向によって、移載装置１の前後方向、左右方向、及び上下方向を規定して記述する。
なお、以下の説明に関しては便宜上、搬送手段１００の搬送方向を前方とし、図１及び図２（ａ）（ｂ）中に示した矢印の方向によって、移載装置１の前後方向、左右方向、及び上下方向を規定して記述する。
【0021】
【0022】
移載装置１は、予め設定された第１の所定位置Ｐ１と第２の所定位置Ｐ２との間において、第１の所定位置Ｐ１にて物品Ｗをピッキングした後、当該物品Ｗを第２の所定位置Ｐ２まで移動させて載置（プレイス）する装置である。
移載装置１は、例えば商品の製造ラインにおける検査工程や包装工程等に配置され、図１に示すように、主に、第１の所定位置Ｐ１を構成する容器２と、第２の所定位置Ｐ２を構成する搬送手段３と、容器２と搬送手段３との間において、物品Ｗをピッキングして載置する移載ロボット４とを備える。
また、移載装置１は、移載ロボット４によって移動される物品Ｗの落下を検知する落下物検知装置５と、移載装置１全体の動作を制御する制御装置６（図２（ａ）を参照）とを備える。
移載装置１は、例えば商品の製造ラインにおける検査工程や包装工程等に配置され、図１に示すように、主に、第１の所定位置Ｐ１を構成する容器２と、第２の所定位置Ｐ２を構成する搬送手段３と、容器２と搬送手段３との間において、物品Ｗをピッキングして載置する移載ロボット４とを備える。
また、移載装置１は、移載ロボット４によって移動される物品Ｗの落下を検知する落下物検知装置５と、移載装置１全体の動作を制御する制御装置６（図２（ａ）を参照）とを備える。
【0023】
搬送手段３は、例えば、水平方向且つ一方向（図１中の矢印Ａの方向）を搬送方向とする搬送コンベアによって構成されており、第２の所定位置Ｐ２は、当該搬送コンベアの搬送面３ａ（上面）上に設定される。
また、容器２は、複数の物品Ｗを山積みされた状態で収容するコンテナ等によって構成され、例えば本実施形態においては、複数（本実施形態においては、２個）設けられている。
また、容器２は、複数の物品Ｗを山積みされた状態で収容するコンテナ等によって構成され、例えば本実施形態においては、複数（本実施形態においては、２個）設けられている。
【0024】
なお、本実施形態においては、移載装置１の周囲に対して、移載ロボット４（より具体的には、後述するロボットアーム４２）の可動領域を隔離するための作業ブース７が設けられており、図１及び図２（ｂ）に示すように、搬送手段３は、当該作業ブース７の壁部７１に対向して設けられた一対の開口部７１ａを介して、作業ブース７を貫通した状態で配置される。
【0025】
そして、図１に示すように、これら複数（２個）の容器２（以下、適宜「第１容器２１」及び「第２容器２２」と記載）は、搬送手段３の幅方向（平面視にて、搬送方向（矢印Ａの方向）との直交方向）の一方側（本実施形態においては、右側）、且つ当該搬送手段３における第２の所定位置Ｐ２の近傍において、互いに並べて配置されており、移載ロボット４は、第１容器２１に収容された複数の物品Ｗ（以下、適宜「第１物品Ｗ１」と記載）、及び第２容器２２に収容された複数の物品Ｗ（以下、適宜「第２物品Ｗ２」と記載）を、順に交互にピッキングして各々個別に搬送手段３まで移動させ、当該搬送手段３上の第２の所定位置Ｐ２に載置する。
【0026】
なお、第１容器２１に収容された複数の第１物品Ｗ１と、第２容器２２に収容された複数の第２物品Ｗ２とは、同種類の商品であってもよく、また別種類の商品であってもよい。
また、第２の所定位置Ｐ２が設定される場所については、本実施形態に限定されるものではなく、例えば、所定の載置台の上面等、何れの場所に設定されていてもよい。
また、第２の所定位置Ｐ２が設定される場所については、本実施形態に限定されるものではなく、例えば、所定の載置台の上面等、何れの場所に設定されていてもよい。
【0027】
移載ロボット４は、例えば本実施形態においては、三次元の任意の方向に向かって第１物品Ｗ１及び第２物品Ｗ２を移動可能な、パラレルメカニズムを用いたロボットによって構成され、図２（ａ）に示すように、駆動源や制御系等を内装するロボット本体４１、及び当該ロボット本体４１に回動可能に支持される複数（本実施形態においては３本）のロボットアーム４２などを有する。
【0028】
各ロボットアーム４２は、延出方向の中途部に設けられる回動節部４２ａを介して、屈曲可能に構成されている。
また、複数のロボットアーム４２は、延出方向の一端において、ロボット本体４１とそれぞれ回動可能に連結されるとともに、延出方向の他端において互いに集約され、可動ヘッド４３を介して連結されている。
また、複数のロボットアーム４２は、延出方向の一端において、ロボット本体４１とそれぞれ回動可能に連結されるとともに、延出方向の他端において互いに集約され、可動ヘッド４３を介して連結されている。
【0029】
そして、上記可動ヘッド４３の下端には、第１物品Ｗ１及び第２物品Ｗ２を各々個別に保持可能な保持機構４４が設けられている。
なお、保持機構４４の構成については、例えば、吸引動作によって第１物品Ｗ１または第２物品Ｗ２を保持する吸着パッドや、開閉可能な複数の爪部によって第１物品Ｗ１または第２物品Ｗ２を保持するチャッキング機構など、何れのような構成であってもよい。
なお、保持機構４４の構成については、例えば、吸引動作によって第１物品Ｗ１または第２物品Ｗ２を保持する吸着パッドや、開閉可能な複数の爪部によって第１物品Ｗ１または第２物品Ｗ２を保持するチャッキング機構など、何れのような構成であってもよい。
【0030】
このような構成を備える移載ロボット４は、互いに並べて配置された第１容器２１及び第２容器２２（図１を参照）によって構成される第１の所定位置Ｐ１と、搬送手段３における第２の所定位置Ｐ２との間の直上において、可動ヘッド４３（即ち、保持機構４４）を下方に向けた状態で配置される。
また、移載ロボット４は、ロボット本体４１に内装される複数のサーボモータ（図示せず）によって、複数のロボットアーム４２が各々所定方向に同時に可動されることにより、水平方向、且つ垂直方向に向かって任意に、可動ヘッド４３（保持機構４４）を変位させる構成となっている。
また、移載ロボット４は、ロボット本体４１に内装される複数のサーボモータ（図示せず）によって、複数のロボットアーム４２が各々所定方向に同時に可動されることにより、水平方向、且つ垂直方向に向かって任意に、可動ヘッド４３（保持機構４４）を変位させる構成となっている。
【0031】
そして、移載ロボット４は、ロボットアーム４２を可動させて、第１容器２１または第２容器２２に向かって可動ヘッド４３を移動させ、当該可動ヘッド４３の下端に設けられた保持機構４４によって、第１物品Ｗ１または第２物品Ｗ２を保持してピッキングする。
また、移載ロボット４は、第１物品Ｗ１または第２物品Ｗ２を保持した後、再びロボットアーム４２を可動させて、第２の所定位置Ｐ２に向かって可動ヘッド４３を移動させ、保持機構４４の保持状態を開放し、第１物品Ｗ１または第２物品Ｗ２を当該第２の所定位置Ｐ２に載置（プレイス）する。
こうして、移載ロボット４による、容器２（第１容器２１または第２容器２２）から搬送手段３における第２の所定位置Ｐ２への、物品Ｗ（第１物品Ｗ１または第２物品Ｗ２）の移載（ピック・アンド・プレイス）動作が実行される。
また、移載ロボット４は、第１物品Ｗ１または第２物品Ｗ２を保持した後、再びロボットアーム４２を可動させて、第２の所定位置Ｐ２に向かって可動ヘッド４３を移動させ、保持機構４４の保持状態を開放し、第１物品Ｗ１または第２物品Ｗ２を当該第２の所定位置Ｐ２に載置（プレイス）する。
こうして、移載ロボット４による、容器２（第１容器２１または第２容器２２）から搬送手段３における第２の所定位置Ｐ２への、物品Ｗ（第１物品Ｗ１または第２物品Ｗ２）の移載（ピック・アンド・プレイス）動作が実行される。
【0032】
なお、移載ロボット４の構成については、本実施形態に限定されるものではなく、例えば、直角座標型、垂直多関節型、または水平多関節型等、何れのメカニズムを用いたロボットによって構成されていてもよい。
【0033】
落下物検知装置５は、移載ロボット４によって、第１の所定位置Ｐ１である容器２にてピッキングされ、当該容器２から搬送手段３における第２の所定位置Ｐ２まで移動される物品Ｗが、例えば、移動途中にて落下してしまい移載できなかった、すわなち、移載が失敗した場合、その落下した物品Ｗを落下物として検知する。
なお、落下物検知装置５の詳細な構成については、後述する。
なお、落下物検知装置５の詳細な構成については、後述する。
【0034】
制御装置６は、上述したように、移載装置１全体の運転を制御するものであって、搬送手段３や、移載ロボット４や、落下物検知装置５等の動作を制御するものである。
制御装置６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される演算処理部や、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）・ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等により構成される記憶部などを備え、当該記憶部には、落下物検知装置５による物品Ｗの落下の有無の検知結果に基づき、搬送手段３及び移載ロボット４の動作を制御するためのプログラム等が予め格納されている。
制御装置６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される演算処理部や、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）・ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等により構成される記憶部などを備え、当該記憶部には、落下物検知装置５による物品Ｗの落下の有無の検知結果に基づき、搬送手段３及び移載ロボット４の動作を制御するためのプログラム等が予め格納されている。
【0035】
なお、制御装置６には、例えばタッチパネルなどにより構成される入力手段や、モニターなどにより構成される出力手段等が備えられていてもよい。
【0036】
このように、本実施形態における移載装置１は、第１の所定位置Ｐ１を構成し、複数の物品Ｗ（第１物品Ｗ１または第２物品Ｗ２）を収容する容器２（第１容器２１または第２容器２２）と、搬送面３ａ上において第２の所定位置Ｐ２を構成し、各物品Ｗを一方向に搬送する搬送手段３と、容器２から物品Ｗを各々個別にピッキングして、搬送手段３（より具体的には、第２の所定位置Ｐ２）まで移動させて載置するロボットアーム４２を有する移載ロボット４と、ロボットアーム４２によって移動される物品Ｗの落下を検知する落下物検知装置５と、を備える構成となっている。
【0037】
このような構成を有することにより、本実施形態における移載装置１によれば、ロボットアーム４２による容器２から搬送手段３までの移動途中に、物品Ｗが突発的に落下したという場合であっても、落下した物品Ｗを確実に検知することができる。
【0038】
［落下物検知装置５の構成］
次に、落下物検知装置５の構成について、図１乃至図４を用いて詳細に説明する。
落下物検知装置５は、図１に示すように、主に、移載ロボット４によって移動される物品Ｗを撮像して画像データを取得する撮像手段５１と、撮像手段によって取得された画像データに基づき、落下した物品Ｗを落下物として検知する落下検知制御装置５２（図２（ａ）を参照）とを備える。
また、落下物検知装置５は、移載ロボット４のロボットアーム４２より落下した物品Ｗの移動方向を規制する、例えば一方向に向かって傾斜するスロープ５３と、撮像手段５１と対向して配置され、撮像手段５１における撮像範囲を照明する照明手段５４とを備える。
次に、落下物検知装置５の構成について、図１乃至図４を用いて詳細に説明する。
落下物検知装置５は、図１に示すように、主に、移載ロボット４によって移動される物品Ｗを撮像して画像データを取得する撮像手段５１と、撮像手段によって取得された画像データに基づき、落下した物品Ｗを落下物として検知する落下検知制御装置５２（図２（ａ）を参照）とを備える。
また、落下物検知装置５は、移載ロボット４のロボットアーム４２より落下した物品Ｗの移動方向を規制する、例えば一方向に向かって傾斜するスロープ５３と、撮像手段５１と対向して配置され、撮像手段５１における撮像範囲を照明する照明手段５４とを備える。
【0039】
撮像手段５１は、例えば本実施形態においては、複数（本実施形態においては２個）設けられており、後述する第１スロープ５３Ａ及び第２スロープ５３Ｂの下部近傍に各々配置されている。
これら２個の撮像手段５１（以下、適宜「第１撮像手段５１Ａ」及び「第２撮像手段５１Ｂ」と記載）は、各々「イベントカメラ」により構成されており、静止した被写体を認識することなく、動きのある被写体のみを認識して、画像データとして取得することが可能となっている。
これら２個の撮像手段５１（以下、適宜「第１撮像手段５１Ａ」及び「第２撮像手段５１Ｂ」と記載）は、各々「イベントカメラ」により構成されており、静止した被写体を認識することなく、動きのある被写体のみを認識して、画像データとして取得することが可能となっている。
【0040】
第１撮像手段５１Ａは、第１スロープ５３Ａの下部近傍であって、撮像方向Ｚ１を搬送手段３の搬送方向と平行、且つ、作業ブース７の室内中央部に向けた状態で、当該作業ブース７の一方の壁部７１に支持されている。
また、第２撮像手段５１Ｂは、第２スロープ５３Ｂの下部近傍であって、撮像方向Ｚ２を搬送手段３の搬送方向と平行、且つ、作業ブース７の室内中央部に向けた状態で、当該作業ブース７の一方の壁部７１に支持されている。
また、第２撮像手段５１Ｂは、第２スロープ５３Ｂの下部近傍であって、撮像方向Ｚ２を搬送手段３の搬送方向と平行、且つ、作業ブース７の室内中央部に向けた状態で、当該作業ブース７の一方の壁部７１に支持されている。
【0041】
そして、第１撮像手段５１Ａは、ロボットアーム４２から落下した後に第１スロープ５３Ａを滑落し、当該第１スロープ５３Ａによって移動方向を規制された物品Ｗの画像データを、取得可能に設けられている。
また、第２撮像手段５１Ｂは、ロボットアーム４２から落下した後に第２スロープ５３Ｂを滑落し、当該第２スロープ５３Ｂによって移動方向を規制された物品Ｗの画像データを、取得可能に設けられている。
また、第２撮像手段５１Ｂは、ロボットアーム４２から落下した後に第２スロープ５３Ｂを滑落し、当該第２スロープ５３Ｂによって移動方向を規制された物品Ｗの画像データを、取得可能に設けられている。
【0042】
なお、撮像手段５１の構成については、本実施形態に限定されるものではなく、例えば、第１撮像手段５１Ａまたは第２撮像手段５１Ｂの何れか一方のみ設けられる構成であってもよく、また、３個以上の撮像手段によって構成されていてもよい。
【0043】
落下検知制御装置５２は、本発明に係る制御手段の一例であって、落下物検知装置５全体の動作を制御する。
落下検知制御装置５２は、図２（ａ）に示すように、撮像手段５１によって取得された画像データに基づき画像処理を実行し、落下した物品Ｗを落下物として検知する画像処理部５２１と、当該画像処理部５２１による画像処理の結果に基づき機械学習を実行し、物品Ｗの落下の検知に関するＡＩモデルを取得するＡＩモデル取得部５２２とを有する。
落下検知制御装置５２は、図２（ａ）に示すように、撮像手段５１によって取得された画像データに基づき画像処理を実行し、落下した物品Ｗを落下物として検知する画像処理部５２１と、当該画像処理部５２１による画像処理の結果に基づき機械学習を実行し、物品Ｗの落下の検知に関するＡＩモデルを取得するＡＩモデル取得部５２２とを有する。
【0044】
画像処理部５２１及びＡＩモデル取得部５２２は、それぞれ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される演算処理部や、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）・ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等により構成される記憶部などを備えている。
【0045】
そして、画像処理部５２１の上記記憶部には、画像データの画像処理を実行するプログラムや、当該処理後の結果に基づき物品Ｗの落下の有無を検知するためのプログラムなどが予め格納されている。
また、ＡＩ処理部５２２の上記記憶部には、画像処理部５２１による物品Ｗの落下の有無の検知結果に基づき機械学習を実行するためのプログラムや、当該機械学習の結果に基づき、より正確に物品Ｗの落下の有無を検知するためのＡＩモデルを取得するためのプログラムが予め格納されている。
また、ＡＩ処理部５２２の上記記憶部には、画像処理部５２１による物品Ｗの落下の有無の検知結果に基づき機械学習を実行するためのプログラムや、当該機械学習の結果に基づき、より正確に物品Ｗの落下の有無を検知するためのＡＩモデルを取得するためのプログラムが予め格納されている。
【0046】
なお、画像処理部５２１及びＡＩモデル取得部５２２の何れにおいても、例えばタッチパネルなどにより構成される入力手段や、モニターなどにより構成される出力手段等が、備えられていてもよい。
【0047】
図１において、スロープ５３は、例えば本実施形態においては、容器２及び搬送手段３に隣接して配置される一対の第１スロープ５３Ａと、当該搬送手段３のみに隣接して配置される第２スロープ５３Ｂとを有する。
【0048】
第１スロープ５３Ａは、搬送手段３における前記幅方向の一方側（図中の右側）において、当該搬送手段３と、一対の容器２（第１容器２１及び第２容器２２）と、作業ブース７の壁部７１とによって囲まれた空間部Ｓ１を各々閉塞するようにして配置される。
また、図２（ａ）に示すように、各第１スロープ５３Ａは、搬送手段３における前記幅方向であって、当該搬送手段３と離間する方向（本実施形態においては、右方向）に向かって、下方に傾斜するように配置されている。
換言すると、各第１スロープ５３Ａは、第１の所定位置Ｐ１を構成する容器２（第１容器２１または第２容器２２）の周囲に隣接して設けられ、搬送手段３と離間する方向（右方向）に向かって一方向に傾斜するように配置されている。
また、図２（ａ）に示すように、各第１スロープ５３Ａは、搬送手段３における前記幅方向であって、当該搬送手段３と離間する方向（本実施形態においては、右方向）に向かって、下方に傾斜するように配置されている。
換言すると、各第１スロープ５３Ａは、第１の所定位置Ｐ１を構成する容器２（第１容器２１または第２容器２２）の周囲に隣接して設けられ、搬送手段３と離間する方向（右方向）に向かって一方向に傾斜するように配置されている。
【0049】
一方、図１に示すように、第２スロープ５３Ｂは、搬送手段３における前記幅方向の他方側（図中の左側）において、当該搬送手段３と、作業ブース７の壁部７１とによって囲まれた空間部Ｓ２を閉塞するようにして配置される。
また、図２（ａ）に示すように、第２スロープ５３Ｂは、搬送手段３における前記幅方向であって、当該搬送手段３と離間する方向（本実施形態においては、左方向）に向かって、上方に傾斜するように配置されている。
換言すると、第２スロープ５３Ｂは、搬送手段３の搬送面３ａ上における第２の所定位置Ｐ２の周囲に隣接して設けられ、搬送手段３と離間する方向（左方向）に向かって一方向に傾斜するように配置されている。
また、図２（ａ）に示すように、第２スロープ５３Ｂは、搬送手段３における前記幅方向であって、当該搬送手段３と離間する方向（本実施形態においては、左方向）に向かって、上方に傾斜するように配置されている。
換言すると、第２スロープ５３Ｂは、搬送手段３の搬送面３ａ上における第２の所定位置Ｐ２の周囲に隣接して設けられ、搬送手段３と離間する方向（左方向）に向かって一方向に傾斜するように配置されている。
【0050】
このように、本実施形態における落下物検知装置５は、第１の所定位置Ｐ１を構成する容器２及び／または搬送手段３の搬送面３ａ上における第２の所定位置Ｐ２（本実施形態においては、第１の所定位置Ｐ１、及び第２の所定位置Ｐ２の双方）の周囲に隣接して設けられ、一方向（搬送手段３における前記幅方向であって、本実施形態においては左右方向）に向かって傾斜するスロープ５３（第１スロープ５３Ａ及び第２スロープ５３Ｂ）を備える構成となっている。
【0051】
このような構成を有することにより、第１の所定位置Ｐ１と、第２の所定位置Ｐ２との間の任意の位置にて、ロボットアーム４２より突発的に落下した物品Ｗは、その後、スロープ５３を滑落することとなり、当該スロープ５３によって、物品Ｗの移動方向を所定方向（より具体的には、スロープ５３の傾斜方向）に規制することができ、落下した物品Ｗの挙動を画像データに捉える撮像手段５１の必要台数を、低減することができる。
【0052】
ところで、上述したように、第１スロープ５３Ａによって落下後の移動方向を規制された物品Ｗの画像データは、主に第１撮像手段５１Ａによって捉えられ、また第２スロープ５３Ｂによって落下後の移動方向を規制された物品Ｗの画像データは、主に第２撮像手段５１Ｂによって捉えられる。
【0053】
そして、図１に示すように、第１撮像手段５１Ａは、平面視において、撮像方向Ｚ１が第１スロープ５３Ａの傾斜方向（左右方向）と交差（本実施形態においては、直交）した状態で配置される。
また、第２撮像手段５１Ｂは、平面視において、撮像方向Ｚ２が第２スロープ５３Ｂの傾斜方向（左右方向）と交差（本実施形態においては、直交）した状態で配置される。
また、第２撮像手段５１Ｂは、平面視において、撮像方向Ｚ２が第２スロープ５３Ｂの傾斜方向（左右方向）と交差（本実施形態においては、直交）した状態で配置される。
【0054】
このような構成を有することにより、落下した物品Ｗは、スロープ５３（第１スロープ５３Ａ、または第２スロープ５３Ｂ）を滑落することとなるため、自然落下に比べて移動速度を低下させることができ、もって、物品Ｗの挙動を、撮像手段５１（第１撮像手段５１Ａまたは第２撮像手段５１Ｂ）によって確実に画像データに捉えることができる。
【0055】
照明手段５４は、第１撮像手段５１Ａに対応する第１照明手段５４Ａ、及び第２撮像手段５１Ｂに対応する第２照明手段５４Ｂによって構成されている。
そして、第１照明手段５４Ａは、第１撮像手段５１Ａの撮像方向Ｚ１において、当該第１撮像手段５１Ａと対向して配置され、且つ第１撮像手段５１Ａ側（本実施形態においては、前側）に向かって照明するように配置される。
また、第２照明手段５４Ｂは、第２撮像手段５１Ｂの撮像方向Ｚ２において、当該第２撮像手段５１Ｂと対向して配置され、且つ第２撮像手段５１Ｂ側（本実施形態においては、前側）に向かって照明するように配置される。
そして、第１照明手段５４Ａは、第１撮像手段５１Ａの撮像方向Ｚ１において、当該第１撮像手段５１Ａと対向して配置され、且つ第１撮像手段５１Ａ側（本実施形態においては、前側）に向かって照明するように配置される。
また、第２照明手段５４Ｂは、第２撮像手段５１Ｂの撮像方向Ｚ２において、当該第２撮像手段５１Ｂと対向して配置され、且つ第２撮像手段５１Ｂ側（本実施形態においては、前側）に向かって照明するように配置される。
【0056】
ここで「イベントカメラ」とは、撮影する対象の"輝度の変化"を検知して、輝度の変化があった画素の情報を出力するものであるところ、上述した構成によれば、照明手段５４（第１照明手段５４Ａ及び第２照明手段５４Ｂ）を撮像手段５１（第１撮像手段５１Ａ及び第２撮像手段５１Ｂ）と対向させて配置していることから、撮像手段５１と照明手段５４との間を落下した物品が通過すると、撮像手段５１に対して、落下した物品が照明手段５４からの照明を遮ることとなるため、輝度の変化を確実且つ顕著に発生させることができ、もって「イベントカメラ」での検知を確実にできる。
即ち、上述した構成により、落下する物品Ｗの挙動を、「イベントカメラ」である撮像手段５１（第１撮像手段５１Ａまたは第２撮像手段５１Ｂ）によって、より確実に画像データに捉えることができる。
即ち、上述した構成により、落下する物品Ｗの挙動を、「イベントカメラ」である撮像手段５１（第１撮像手段５１Ａまたは第２撮像手段５１Ｂ）によって、より確実に画像データに捉えることができる。
【0057】
以上のような構成からなる落下物検知装置５は、撮像手段５１によって取得された画像データを、上述した画像処理部５２１によって以下の手順に従い画像処理することにより、落下した物品Ｗを落下物として検知する。
なお、第１撮像手段５１Ａ及び第２撮像手段５１Ｂによって各々撮像された画像データに対する画像処理の手順については、互いに同等であるため、以下の説明においては、第１撮像手段５１Ａによって撮像された画像データの画像処理の手順について記載し、第２撮像手段５１Ｂによって撮像された画像データの画像処理の手順についての記載は省略する。
なお、第１撮像手段５１Ａ及び第２撮像手段５１Ｂによって各々撮像された画像データに対する画像処理の手順については、互いに同等であるため、以下の説明においては、第１撮像手段５１Ａによって撮像された画像データの画像処理の手順について記載し、第２撮像手段５１Ｂによって撮像された画像データの画像処理の手順についての記載は省略する。
【0058】
先ず始めに、図３に示すように、第１撮像手段５１Ａは、予め設定された周期（例えば、本実施形態においては２００μｓｅｃ／１回）ごとに被写体を撮像し、その各周期毎の画素の情報を蓄積し、画像データとして取得する（ステップＳ０１）。
【0059】
ここで、第１撮像手段５１Ａは「イベントカメラ」により構成されているため、取得された画像データは、例えば図４に示すように、静止している容器２（第１容器２１及び第２容器２２）やスロープ５３（第１スロープ５３Ａ及び第２スロープ５３Ｂ）などの画像が含まれず、動きのあるロボットアーム４２や、当該ロボットアーム４２によって保持された物品Ｗや、一方向に向かって常時搬送面３ａを可動させている搬送手段３などの画像のみが含まれる。
【0060】
第１撮像手段５１Ａによって画像データが取得されると、画像処理部５２１は、当該画像データに対してマスキング処理を実行する（ステップＳ０２）。
マスキング処理を行う領域については、予め設定されており、突発的に落下した物品Ｗ（以下、適宜「落下物品Ｗａ」と記載）以外の移動する対象物に対して、効率良くマスキング可能な領域に設定されている。
例えば、本実施形態においては、第１の所定位置Ｐ１を構成する容器２（第１容器２１及び第２容器２２）と、搬送手段３の搬送面３ａ上における第２の所定位置Ｐ２との間で、物品Ｗをピッキングして移載（プレイス）するロボットアーム４２の軌跡を、十分にマスキング可能な領域Ｙに設定されている。
マスキング処理を行う領域については、予め設定されており、突発的に落下した物品Ｗ（以下、適宜「落下物品Ｗａ」と記載）以外の移動する対象物に対して、効率良くマスキング可能な領域に設定されている。
例えば、本実施形態においては、第１の所定位置Ｐ１を構成する容器２（第１容器２１及び第２容器２２）と、搬送手段３の搬送面３ａ上における第２の所定位置Ｐ２との間で、物品Ｗをピッキングして移載（プレイス）するロボットアーム４２の軌跡を、十分にマスキング可能な領域Ｙに設定されている。
【0061】
画像データのマスキング処理が終了すると、画像処理部５２１は、当該画像データの二値化処理を実行する（ステップＳ０３）。
ここで、「イベントカメラ」では、輝度の変化がない場合には画像データの出力はせず、輝度の変化（輝度が明るくなる変化と輝度が暗くなる変化）が発生した場合にのみ画像データを出力する。
そして、画像処理部５２１において、物品Ｗの落下の検知に際して、輝度が明るくなる変化の際に出力される画像データ、及び輝度が暗くなる変化の際に出力される画像データを一つの値とし、当該一つの値に基づき、輝度の変化がない場合の画像出力が無の値との「二値化処理」を行うことで、物品Ｗの落下の検知をより正確に行うことが可能となる。
ここで、「イベントカメラ」では、輝度の変化がない場合には画像データの出力はせず、輝度の変化（輝度が明るくなる変化と輝度が暗くなる変化）が発生した場合にのみ画像データを出力する。
そして、画像処理部５２１において、物品Ｗの落下の検知に際して、輝度が明るくなる変化の際に出力される画像データ、及び輝度が暗くなる変化の際に出力される画像データを一つの値とし、当該一つの値に基づき、輝度の変化がない場合の画像出力が無の値との「二値化処理」を行うことで、物品Ｗの落下の検知をより正確に行うことが可能となる。
【0062】
そこで、画像処理部５２１は、画像データの二値化処理を実行することにより落下物品Ｗａの画像を抽出し、当該落下物品Ｗａを落下物として検知する（ステップＳ０４）。
【0063】
さらに、画像処理部５２１においては、輝度の変化が発生した画素領域の大きさに基づく閾値（例えば、上限と下限）が予め設定されており、当該閾値を用いて、落下物品Ｗａにより発生した輝度の変化と、例えばノイズ等が原因で発生した輝度の変化とを切り分けるようにしている。
そして、画像処理部５２１は、輝度変化が発生した画素領域が上記閾値の範疇となる場合、当該物品Ｗを落下物として検知する。
これにより、落下物検知装置５による一連の手順は終了する。
そして、画像処理部５２１は、輝度変化が発生した画素領域が上記閾値の範疇となる場合、当該物品Ｗを落下物として検知する。
これにより、落下物検知装置５による一連の手順は終了する。
【0064】
このように、本実施形態において、落下検知制御装置５２は、撮像手段５１によって取得された画像データ上において（ステップＳ０１）、物品Ｗ以外の移動する対象物に対してマスキング処理を施して（ステップＳ０２）、二値化処理を実行することにより（ステップＳ０３）、落下した物品Ｗの画像を抽出する（ステップＳ０４）画像処理部５２１を有している。
【0065】
このような構成を有することにより、画像データ上において、例えば、物品Ｗを保持して移動させるロボットアーム４２の軌跡に対して予めマスキング処理を施して、当該画像データの二値化処理を実行することにより、物品Ｗの落下をより確実に検知することができる。
【0066】
ところで、上述したように、本実施形態における落下物検知装置５においては、ＡＩモデル取得部５２２によって、画像処理部５２１による画像処理の結果に基づき機械学習を実行し、より正確に物品Ｗの落下の有無を検知するためのＡＩモデルを取得することが可能である。
【0067】
即ち、ＡＩモデル取得部５２２は、第１の所定位置Ｐ１を構成する容器２（第１容器２１及び第２容器２２）と、搬送手段３の搬送面３ａ上における第２の所定位置Ｐ２との間において、物品Ｗがロボットアーム４２によってピッキングして移載（プレイス）される度に、画像処理部５２１での画像データの処理による物品Ｗの落下の有無の検知結果と、実際の物品Ｗの落下の有無の結果とを互いに関連付けて上記記憶部に記憶する。
【0068】
そして、ＡＩモデル取得部５２２は、これらの上記記憶部に記憶した情報に基づき、対応関係を自動的に機械学習することで、より正確に物品Ｗの落下の有無を検知するためのＡＩモデルを取得する。
【0069】
このように、本実施形態において、落下検知制御装置５２は、第１の所定位置Ｐ１を構成する容器２（第１容器２１及び第２容器２２）から、搬送手段３の搬送面３ａ上における第２の所定位置Ｐ２に物品Ｗを移動させる際の、画像処理部５２１による当該物品Ｗの落下の有無の検知結果と実際の落下物の有無との対応関係を機械学習することにより、物品Ｗの落下の検知に関するＡＩモデルを取得するＡＩモデル取得部５２２を有している。
【0070】
このような構成を有することにより、本実施形態における落下物検知装置５を備えた移載装置１によれば、ＡＩモデル取得部５２２にて取得したＡＩモデルに基づき、物品Ｗの落下をより効果的に検知することができる。
【0071】
以上のように、本実施形態における落下物検知装置５は、物品Ｗを第１の所定位置Ｐ１を構成する容器２（第１容器２１及び第２容器２２）にてピッキングし、当該第１の所定位置Ｐ１から搬送手段３の搬送面３ａ上における第２の所定位置Ｐ２まで移動する移載装置において、物品Ｗの落下が発生した場合、その落下した物品Ｗを落下物として検知する装置であって、移動する物品Ｗを撮像して画像データを取得する撮像手段５１（第１撮像手段５１Ａ及び第２撮像手段５１Ｂ）と、撮像手段５１によって取得された画像データに基づき、落下物を検知する落下検知制御手段（制御手段）５２と、を備えている。
【0072】
ここで、撮像手段５１は、イベントカメラからなる。
また、落下検知制御手段５２は、撮像手段５１によって取得された画像データに基づき画像処理を実行し、落下した物品Ｗを落下物として検知する画像処理部５２１と、当該画像処理部５２１による画像処理の結果に基づき機械学習を実行し、物品Ｗの落下の検知に関するＡＩモデルを取得するＡＩモデル取得部５２２とを有する構成となっている。
また、落下検知制御手段５２は、撮像手段５１によって取得された画像データに基づき画像処理を実行し、落下した物品Ｗを落下物として検知する画像処理部５２１と、当該画像処理部５２１による画像処理の結果に基づき機械学習を実行し、物品Ｗの落下の検知に関するＡＩモデルを取得するＡＩモデル取得部５２２とを有する構成となっている。
【0073】
このように、本実施形態における落下物検知装置５においては、撮像手段５１（第１撮像手段５１Ａ及び第２撮像手段５１Ｂ）によって取得された画像データに基づき、落下した物品Ｗを検知することから、前述した従来からの空気圧監視法を用いた場合に比べて、物品Ｗの突発的な落下を確実に検知することができる。
なお、物品Ｗの落下の態様については、上述したような、物品Ｗの移載の際、移動途中に突発的に落下したという場合に限るものではなく、何らかの原因で落下物が発生した場合であっても、以上において説明した、本発明の一実施形態における落下物検知装置５により、その落下物の検知を確実に行うことできる。
なお、物品Ｗの落下の態様については、上述したような、物品Ｗの移載の際、移動途中に突発的に落下したという場合に限るものではなく、何らかの原因で落下物が発生した場合であっても、以上において説明した、本発明の一実施形態における落下物検知装置５により、その落下物の検知を確実に行うことできる。
【0074】
例えば、移載に際して落下物が発生する別の例として、第１の所定位置Ｐ１である容器２（第１容器２１及び第２容器２２）内に山積みされた複数の物品Ｗの中から一つの物品Ｗ（以下、適宜「物品Ｗｂ」と記載）を吸着してピッキングする際に、他の物品Ｗ（以下、適宜「物品Ｗｃ」と記載）が当該一つの物品Ｗｂに引っ掛かり、その後、第２の所定位置Ｐ２に向かって当該一つの物品Ｗｂが移動される途中で当該他の物品Ｗｃが落下する、という場合がある。
この場合は、物品Ｗｂの移載は成功しているが、付随してきた物品Ｗｃの落下が発生することとなり、この場合でも当該他の物品Ｗｃの挙動を画像データによって捉えることにより、物品Ｗの落下を確実に検知することができる。
この場合は、物品Ｗｂの移載は成功しているが、付随してきた物品Ｗｃの落下が発生することとなり、この場合でも当該他の物品Ｗｃの挙動を画像データによって捉えることにより、物品Ｗの落下を確実に検知することができる。
【0075】
また、移載に際して落下物が発生する、さらに別の例として、上記他の物品Ｗｃを引っ掛けた状態で、上記一つの物品Ｗｂが容器２内から上方に向かって抜け出す際に、当該他の物品Ｗｃが容器２から零れ落ちることで落下物の発生となる、という場合がある。
この場合も、物品Ｗｂの移載は成功しているが、零れ落ちた物品Ｗｃの落下が発生することとなり、この場合でも当該他の物品Ｗｃの挙動を画像データによって捉えることにより、物品Ｗの落下を確実に検知することができる。
この場合も、物品Ｗｂの移載は成功しているが、零れ落ちた物品Ｗｃの落下が発生することとなり、この場合でも当該他の物品Ｗｃの挙動を画像データによって捉えることにより、物品Ｗの落下を確実に検知することができる。
【0076】
さらに、本実施形態における落下物検知装置５によれば、前述した従来からのレーザスキャナ法を用いた場合のように、スキャン周期の問題を考慮する必要が無く、物品Ｗの挙動を画像データによって捉えることにより、物品Ｗの落下を確実に検知することができる。
【0077】
また、本実施形態における落下物検知装置５において、画像データを取得する撮像手段５１は、対象物の移動速度に基づき可視化するイベントカメラからなるため、前述した従来からのレーザスキャナ法を用いた場合のように、たとえ、検知する対象物である物品Ｗが内容物を包容した袋部材であり、当該袋部材の外側の表面に光沢を有して、通常のカメラではハレーションを起こしてしまい良好に物品Ｗの撮像が困難な場合であっても、当該表面による光の乱反射の影響を受けること無く、物品Ｗの挙動を画像データによって捉えることにより、物品Ｗの落下を確実に検知することができる。
【0078】
つまり、本実施形態において取り扱われる物品Ｗは、内容物を包容した袋部材からなり、少なくとも外側の表面に光沢を有するものであってもよい。
このような形態からなる物品Ｗを、検知する対象物とする場合であっても、本実施形態における落下物検知装置５によれば、上述したように、物品Ｗの落下を確実に検知することができる。
このような形態からなる物品Ｗを、検知する対象物とする場合であっても、本実施形態における落下物検知装置５によれば、上述したように、物品Ｗの落下を確実に検知することができる。
【0079】
以上、本発明を具現化する一実施形態について説明を行ったが、本発明はこうした実施の形態に何等限定されるものではなく、あくまで例示であって、本発明の要旨を逸脱しない範囲内において、さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、及び範囲内の全ての変更を含む。
【符号の説明】
【0080】
１ 移載装置
２ 容器
２１ 第１容器
２２ 第２容器
３ 搬送手段
４ 移載ロボット
４２ ロボットアーム
５ 落下物検知装置
５１ 撮像手段
５１Ａ 第１撮像手段
５１Ｂ 第２撮像手段
５２ 落下検知制御手段（制御手段）
５２１ 画像処理部
５２２ ＡＩモデル取得部
５３ スロープ
５３Ａ 第１スロープ
５３Ｂ 第２スロープ
５４ 照明手段
５４Ａ 第１照明手段
５４Ｂ 第２照明手段
Ｐ１ 第１の所定位置
Ｐ２ 第２の所定位置
Ｗ 物品
Ｚ１、Ｚ２ 撮像方向
２ 容器
２１ 第１容器
２２ 第２容器
３ 搬送手段
４ 移載ロボット
４２ ロボットアーム
５ 落下物検知装置
５１ 撮像手段
５１Ａ 第１撮像手段
５１Ｂ 第２撮像手段
５２ 落下検知制御手段（制御手段）
５２１ 画像処理部
５２２ ＡＩモデル取得部
５３ スロープ
５３Ａ 第１スロープ
５３Ｂ 第２スロープ
５４ 照明手段
５４Ａ 第１照明手段
５４Ｂ 第２照明手段
Ｐ１ 第１の所定位置
Ｐ２ 第２の所定位置
Ｗ 物品
Ｚ１、Ｚ２ 撮像方向
【図1】
【図2】
【図3】
【図4】