特許7392116ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-27
(45)【発行日】2023-12-05
(54)【発明の名称】ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体
(51)【国際特許分類】
B65G 1/137 20060101AFI20231128BHJP
G06T 7/60 20170101ALI20231128BHJP
【ＦＩ】
B65G1/137 G
G06T7/60 200Z
【請求項の数】
14
(21)【出願番号】P 2022513882
(86)(22)【出願日】2020-12-22
(65)【公表番号】
(43)【公表日】2022-11-10
(86)【国際出願番号】 CN2020138291
(87)【国際公開番号】W WO2021129608
(87)【国際公開日】2021-07-01
【審査請求日】2022-02-28
(31)【優先権主張番号】201911368940.5
(32)【優先日】2019-12-26
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】518025205
【氏名又は名称】北京極智嘉科技股▲ふん▼有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｇｅｅｋｐｌｕｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】７０１ ｏｆ Ｆ７， １０１ ｏｆ Ｆｌｏｏｒ １－１０ ｏｆ Ｂｌｏｃｋ ４， Ｎｏ．３０ Ｂｅｉｙｕａｎ Ｒｏａｄ， Ｃｈａｏｙａｎｇ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100130111
【弁理士】
【氏名又は名称】新保 斉
(72)【発明者】
【氏名】王 迎春
(72)【発明者】
【氏名】陳 超
(72)【発明者】
【氏名】郭 暁麗
【審査官】長清 吉範
(56)【参考文献】
【文献】特開２００９－１５６８４（ＪＰ，Ａ）
【文献】特表２０１８－５１３８２２（ＪＰ，Ａ）
【文献】特開２０１８－３９６６８（ＪＰ，Ａ）
【文献】特開２０１７－９７６２２（ＪＰ，Ａ）
【文献】特開２００５－８３９８４（ＪＰ，Ａ）
【文献】特開２００４－１９６４３９（ＪＰ，Ａ）
【文献】特開２０１９－１６３１７２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６５Ｇ １／１３７
Ｇ０６Ｔ ７／６０
(57)【特許請求の範囲】
【請求項1】
画像ピックアップ装置と、画像処理モジュール及び位置特定モジュールを有するプロセッサと、ピックアンドプレース部材とを備えるロボットであって前記ロボットは、ピックアップ工程または保管工程の少なくとも１つを実行するものであり、
前記ピックアップ工程において、
前記画像処理モジュールは、前記ロボットが商品を保管している目標スロット位置に移動したときに、前記画像ピックアップ装置によって撮像された目標画像を取得するとともに、前記目標画像から商品識別子を選別するように配置され、
前記位置特定モジュールは、前記選別によって前記商品識別子が得られたことに応答して、前記商品識別子に基づいて、前記目標スロット位置における取り出すべき商品の位置情報を特定するように配置され、
前記ピックアンドプレース部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されており、
前記保管工程において、
前記画像処理モジュールは、前記ロボットが商品を保管すべき目標スロット位置に移動したときに、前記画像ピックアップ装置によって撮像された目標画像を取得するとともに、前記目標画像からスロット識別子を選別するように配置され、
前記位置特定モジュールは、前記選別によって前記スロット識別子が得られたことに応答して、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置され、
前記ピックアンドプレース部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている、ロボット。
【請求項2】
前記ピックアップ工程において、前記目標画像には、現在スロット位置に対応するスロット識別子が含まれており、前記画像処理モジュールは、さらに、前記スロット識別子に基づいて、現在スロット位置が前記取り出すべき商品を保管している目標スロット位置であると特定したことに応答して、前記目標画像から商品識別子を選別するように配置されている、請求項１に記載のロボット。
【請求項3】
前記画像処理モジュールは、さらに、前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出し、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得し、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定し、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するように配置されている、請求項２に記載のロボット。
【請求項4】
前記スロット識別子は二次元コードであり、前記画像処理モジュールは、さらに、
前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報が前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定するように配置されている、請求項２に記載のロボット。
【請求項5】
前記画像処理モジュールは前記目標画像から商品識別子を選別し、具体的に、前記目標画像において前記スロット識別子の上方にある画像領域を関心領域とし、
前記関心領域に予め設定された形状を有する識別子が含まれているか否かを検出し、
前記関心領域に予め設定された形状を有する識別子が含まれていると検出した場合に、当該識別子を前記商品識別子とするように配置されている、請求項２に記載のロボット。
【請求項6】
前記ピックアップ工程において、前記位置特定モジュールは前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定し、具体的に、前記目標画像における前記商品識別子の中心位置情報を特定し、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品の相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている、請求項１に記載のロボット。
【請求項7】
前記ピックアップ工程において、前記画像処理モジュールは、さらに、前記商品識別子が選別で得られなかった場合に、前記目標スロット位置に前記取り出すべき商品が存在しないと特定するように配置されている、請求項１に記載のロボット。
【請求項8】
ピックアップ工程と保管工程の少なくとも１つを含む商品処理方法であって、前記ピックアップ工程は、
ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像から商品識別子を選別するステップと、
前記選別によって前記商品識別子が得られたことに応答して、前記商品識別子に基づいて、前記目標スロット位置における取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含み、
前記保管工程は、
保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像からスロット識別子を選別するステップと、
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む、商品処理方法。
【請求項9】
前記ピックアップ工程において、前記目標画像には、現在スロット位置に対応するスロット識別子が含まれており、前記目標画像から商品識別子を選別するステップは、
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定したことに応答して、前記目標画像から商品識別子を選別するステップを含む、請求項８に記載の方法。
【請求項10】
前記目標画像を取得した後、前記方法は、さらに、前記目標画像を二値化処理し、二値化処理された画像から、予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得するステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含む、請求項９に記載の方法。
【請求項11】
前記スロット識別子は二次元コードであり、前記方法は、さらに、前記スロット識別子に対応するスロット位置が前記取り出すべき商品を保管している目標スロット位置であるか否かを特定するステップを備え、即ち、
前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報は前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定する、請求項９に記載の方法。
【請求項12】
前記ピックアップ工程において、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップは、前記目標画像における前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品の相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップとを含む、請求項８に記載の方法。
【請求項13】
コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されるとき、ピックアップ工程と保管工程の少なくとも１つを含む商品処理方法を実行するコンピュータ可読記憶媒体であって、前記ピックアップ工程は、
ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像から商品識別子を選別するステップと、
前記選別によって前記商品識別子が得られたことに応答して、前記商品識別子に基づいて、前記目標スロット位置における取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含み、
前記保管工程は、
保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像からスロット識別子を選別するステップと、
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む、、コンピュータ可読記憶媒体。
【請求項14】
コンピュータプログラムであって、前記コンピュータプログラムがコンピュータにおいて実行されるとき、コンピュータに、ピックアップ工程と保管工程の少なくとも１つを含む商品処理方法を実行させ、
前記ピックアップ工程は、
ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像から商品識別子を選別するステップと、
前記選別によって前記商品識別子が得られたことに応答して、前記商品識別子に基づいて、前記目標スロット位置における取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含み、
前記保管工程は、
保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像からスロット識別子を選別するステップと、
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１９年１２月２６日に中国国家知識産権局に出願された、出願番号が２０１９１１３６８９４０．５、発明名称が「ピックアップロボット、ピックアップ方法、コンピュータ可読記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は、参照により本出願に組み込まれる。
【0002】
本出願は画像処理及びコンピュータソフトウェア分野に関し、具体的に、ピックアップロボット、ピックアップ方法及びコンピュータ可読記憶媒体に関する。
【背景技術】
【0003】
ネットショッピングの利用に伴い、物流業界の処理速度に対する要求がますます高まっている。倉庫から必要な商品を出荷することは、物流業界の一環とされ、その中のピックアップ作業は、徐々に手動操作からロボットに代替されるようになってきた。
【0004】
ロボットで商品をピックアップする作業では、ロボットは出荷すべき商品が保管されている位置まで移動し、商品を正確にピックアップする必要がある。しかし、従来技術では、位置決めの欠陥により、ピックアップの失敗率が高く、ピックアップの効率及び物流業界全体の物流効率が低下されることは問題となった。
【発明の概要】
【0005】
これに鑑み、本出願は、少なくともピックアップロボット、ピックアップ方法及びコンピュータ可読記憶媒体を少なくとも提供する。
【0006】
第一の局面では、本出願は、カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、ピックアップ部材とを備えるピックアップロボットを提供する。
前記カメラは、ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得するように配置されている。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記画像処理モジュールは、前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
前記カメラは、ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得するように配置されている。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記画像処理モジュールは、前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
【0007】
第二の局面では、本出願は、カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、ピックアップ部材とを備えるピックアップロボットを提供する。
前記カメラは、ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップように配置されている。
前記カメラは、ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像から商品識別子を選別するように配置されている。
前記位置特定モジュールは、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップように配置されている。
【0008】
第三の局面では、本出願は、カメラと、画像処理モジュール及び位置特定モジュールを有するプロセッサと、保管部材とを備える保管ロボットを提供する。
前記カメラは、前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置されている。
前記位置特定モジュールは、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置されている。
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている。
前記カメラは、前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するように配置されている。
前記画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置されている。
前記位置特定モジュールは、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置されている。
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている。
【0009】
第四の局面では、本出願は、以下のステップを含むピックアップ方法を提供する。即ち、
ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得する。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別する。
前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップする。
ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得する。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別する。
前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップする。
【0010】
第五の局面では、本出願は、以下のステップを含む保管方法を提供する。即ち、
前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得する。
前記目標画像からスロット識別子を選別する。
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定する。
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させる。
前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得する。
前記目標画像からスロット識別子を選別する。
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定する。
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させる。
【0011】
第六の局面では、本出願は、さらに、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されるときに、前記のピックアップ又は保管方法のステップを実行するコンピュータ可読記憶媒体を提供する。
【0012】
本出願は、ピックアップロボット、ピックアップ方法及びコンピュータ可読記憶媒体を提供する。まず、ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得する。その後、目標画像におけるスロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、目標画像から商品識別子を選別する。商品識別子が選別で得られた場合に、商品識別子に基づいて、目標スロット位置における取り出すべき商品の位置情報を特定する。最後に、前記位置情報に基づいて目標スロット位置から取り出すべき商品をピックアップする。前記技術案では、スロット識別子及び商品識別子に基づいて、取り出すべき商品を保管している目標スロット位置、及び目標スロット位置での取り出すべき商品の位置情報を精度よく特定でき、また特定された当該位置情報に基づいて、取り出すべき商品を正確にピックアップすることができるので、ピックアップの成功率が大幅に向上されると同時に、物流業界の物流効率の向上にも寄与する。
【図面の簡単な説明】
【0013】
本出願の実施形態に係る技術案をより明確に説明するために、以下にて、実施形態で使用する必要のある図面について簡単に説明する。以下の図面において、本出願の幾つかの実施形態のみを示すことは理解されるべきであるので、範囲を制限するものと見なされるべきではない。当業者は進歩性に値する労働を付することなく、他の関連する図面をこれらの図面に基づいて得ることができる。
【図1】本出願の実施形態に係るピックアップロボットの構造を示す概略図である。
【図2】本出願の実施形態に係る目標画像を示す概略図である。
【図3】本出願の実施形態に係るピックアップ方法を示すフローチャートである。
【発明を実施するための形態】
【0014】
本出願の実施形態の目的や技術案および利点をより明確にするために、以下において、本出願の実施形態における図面を参照しながら、本出願の実施形態に係る技術案について明確かつ完全に説明する。本出願の図面は、説明と記述をする目的だけで利用され、本出願の保護範囲を制限するものではない。なお、概略図は原物に比例して描かれていないことは理解されるべきであろう。本出願で使用されるフローチャートは、本出願の幾つかの実施形態に従って実現される操作を示している。フローチャートの操作は順序に従って実現されなくてもよく、論理的文脈のないステップは、逆な順序に従い、または同時に実施される可能性があることは理解されるべきであろう。さらに、本出願の内容に基づいて、当業者はフローチャートに１つまたは複数の他の操作を追加するか、またはフローチャートから１つまたは複数の操作を削除することができる。
【0015】
さらに、本明細書に記載される実施形態は、本出願のすべての実施形態ではなく、一部にすぎない。一般的に、本明細書の図面に記載および例示されている本出願の実施形態の構成要素は、様々な異なるレイアウトで配置および設計することができる。したがって、以下の添付図面に提供される本出願の実施形態に対する詳細な説明は、保護請求される本出願の範囲を限定することを意図されるものではなく、本出願の特定の実施形態のみを示す。本出願の実施形態に基づいて、当業者が進歩性に値する労働を付することなく取得したすべての他の実施形態は、本出願の保護範囲に含まれるものとする。
【0016】
なお、「含む」という用語は、本出願の実施形態において、その後に記載される特徴の存在を示すために使用されるが、他の特徴の追加を排除するものではない。
【0017】
現在、物流業界では、ロボットにより倉庫から商品をピックアップする際に、位置決めの欠陥により、ピックアップの成功率が低いという問題があった。これに鑑みて、本出願はピックアップロボット、ピックアップ方法及びコンピュータ可読記憶媒体を提供する。本出願では、スロット識別子と商品識別子に基づいて、取り出すべき商品を保管している目標スロット位置、および目標スロット位置での取り出すべき商品の位置情報を精度よく特定でき、また特定された当該位置情報に基づいて、取り出すべき商品を正確にピックアップすることができるので、ピックアップの成功率が効果的に向上されると同時に、物流業界の物流効率の向上にも寄与する。
【0018】
具体的に、本出願の実施形態は、図１に示すように、カメラ１１０、プロセッサ１２０、ピックアップ部材１３０を備えるピックアップロボットを提供する。前記プロセッサ１２０は、画像処理モジュール１２０１及び位置特定モジュール１２０２を備える。
【0019】
前記カメラ１１０は、商品が保管されている各スロット位置にピックアップ部材１３０が移動したときに撮像した目標画像を取得するように配置されている。ここで、前記目標画像には、現在スロット位置に対応するスロット識別子を含む。 前記画像処理モジュール１２０１は、前記スロット識別子に基づいて現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するように配置されている。前記位置特定モジュール１２０２は、前記商品識別子が選別で得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するように配置されている。 前記ピックアップ部材１３０は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
予め設定された時間が経つたびに、カメラは１つの画像を撮像する。前記目標画像は、ピックアップロボット又はロボットのピックアップ部材が商品を保管しているスロット位置に移動したとき撮像した画像である。当該画像には、スロット位置に対応するスロット識別子を含む。
予め設定された時間が経つたびに、カメラは１つの画像を撮像する。前記目標画像は、ピックアップロボット又はロボットのピックアップ部材が商品を保管しているスロット位置に移動したとき撮像した画像である。当該画像には、スロット位置に対応するスロット識別子を含む。
【0020】
前記スロット位置は商品を収納するものであり、スロット識別子は各スロットの下方、例えばスロット位置の下部ビームに設けられてもよい。当該スロット識別子は対応するスロット位置を識別するものであり、例えば、スロット位置のＩＤ番号を識別することができる。具体的に実施する際に、前記スロット識別子は二次元コード等に設定されてもよい。
【0021】
ピックアップロボットのカメラ１１０がスロット識別子を含む目標画像を得た後、および画像処理モジュール１２０１が目標画像から商品識別子を選別する前に、ピックアップロボットは、画像処理モジュール１２０１により目標画像からスロット識別子を抽出するとともに、抽出したスロット識別子を解析してスロット位置の識別情報を取得する必要がある。その後、画像処理モジュール１２０１は、取り出すべき商品を保管している目標スロット位置の識別情報を取得し、目標スロット位置の識別情報が目標画像におけるスロット位置の識別情報と同じであるか否かを判定する。同じであれば、目標画像におけるスロット位置は取り出すべき商品を保管している目標スロット位置であり、そうでなければ、目標画像におけるスロット位置は取り出すべき商品を保管している目標スロット位置の位置ではなく、ロボットを移動させ続ける必要があると特定する。
【0022】
ピックアップロボットの画像処理モジュール１２０１により、目標画像におけるスロット位置が取り出すべき商品を保管している目標スロット位置であると特定された後、前記目標画像から商品識別子を選別するステップを実行する。
【0023】
画像処理モジュール１２０１は、目標画像からスロット識別子を抽出する。即ち、画像処理モジュール１２０１は、スロット識別子の目標画像での位置情報を特定する。具体的に実施する際に、画像処理モジュール１２０１は、以下のステップにより、目標画像におけるスロット識別子の位置情報を特定することができる。
【0024】
ステップ１：前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出する。
画像処理モジュール１２０１は、目標画像を二値化処理し、二値化画像を得る。
二値化画像を取得後、当該二値化画像から予め設定されたグレー値を有するピクセルを抽出し、即ちスロット識別子を位置決めるための位置決め識別子のピクセルを抽出する。図２に示すように、具体的に実施する際に、スロット識別子の位置決め識別子は特定の幅を有する黒枠２１であれば、このステップでは、画像処理モジュール１２０１は黒色のピクセルを抽出する。
画像処理モジュール１２０１は、目標画像を二値化処理し、二値化画像を得る。
二値化画像を取得後、当該二値化画像から予め設定されたグレー値を有するピクセルを抽出し、即ちスロット識別子を位置決めるための位置決め識別子のピクセルを抽出する。図２に示すように、具体的に実施する際に、スロット識別子の位置決め識別子は特定の幅を有する黒枠２１であれば、このステップでは、画像処理モジュール１２０１は黒色のピクセルを抽出する。
【0025】
ステップ２：抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得する。
画像処理モジュール１２０１は位置決め識別子のピクセルを抽出した後、直線をフィッティングし、特定の幅を有する黒枠を得る。このステップで得られた黒枠は候補位置決め識別子であり、当該黒枠がスロット識別子を位置決める目標位置決め識別子であるか否かをさらに検証する必要がある。フィッティングされた直線の交点は位置決め識別子のコーナーポイントである。
画像処理モジュール１２０１は位置決め識別子のピクセルを抽出した後、直線をフィッティングし、特定の幅を有する黒枠を得る。このステップで得られた黒枠は候補位置決め識別子であり、当該黒枠がスロット識別子を位置決める目標位置決め識別子であるか否かをさらに検証する必要がある。フィッティングされた直線の交点は位置決め識別子のコーナーポイントである。
【0026】
ステップ３：前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定する。
画像処理モジュール１２０１は、フィッティングにより候補位置決め識別子を得た後、予め設定された条件により、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であるか否かを検証する。例えば、候補位置決め識別子の線幅が予め設定された幅であるか、或いは候補位置決め識別子が予め設定された形状を有するかなどについて検証する。
候補位置決め識別子が予め設定された条件を満たすと、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であると特定する。
画像処理モジュール１２０１は、フィッティングにより候補位置決め識別子を得た後、予め設定された条件により、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であるか否かを検証する。例えば、候補位置決め識別子の線幅が予め設定された幅であるか、或いは候補位置決め識別子が予め設定された形状を有するかなどについて検証する。
候補位置決め識別子が予め設定された条件を満たすと、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であると特定する。
【0027】
ステップ４：前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定する。
画像処理モジュール１２０１は目標位置決め識別子を特定した後、当該目標位置決め識別子とスロット識別子の予め設定された相対的な位置関係に基づいて、スロット識別子の位置決めを実現し、即ち、目標画像でのスロット識別子の位置情報を特定する。
目標画像でのスロット識別子の位置情報を特定すれば、スロット識別子を解析し、目標画像での現在スロット位置は取り出すべき商品を保管している目標スロット位置であるかを特定することができる。
画像処理モジュール１２０１は目標位置決め識別子を特定した後、当該目標位置決め識別子とスロット識別子の予め設定された相対的な位置関係に基づいて、スロット識別子の位置決めを実現し、即ち、目標画像でのスロット識別子の位置情報を特定する。
目標画像でのスロット識別子の位置情報を特定すれば、スロット識別子を解析し、目標画像での現在スロット位置は取り出すべき商品を保管している目標スロット位置であるかを特定することができる。
【0028】
画像処理モジュール１２０１は、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、商品識別子に基づいて目標スロット位置における取り出すべき商品の位置情報を特定するように、目標画像から商品識別子を選別する必要がある。
【0029】
具体的に実施する際に実施する際に実施する際に、画像処理モジュール１２０１は、以下のステップにより目標画像から商品識別子を選別することができる。
【0030】
ステップ１：前記目標画像において前記スロット識別子の上方にある画像領域を関心領域とする。
具体的に実施する際に、商品識別子が取り出すべき商品上に設けられ、その位置がスロット識別子より高く設定されているので、このステップでは、スロット識別子の上方の画像領域を関心領域として商品識別子を選別する。また、スロット識別子を算出する際にそのサイズが得られるので、予め設定された情報に基づいて、商品識別子のサイズを特定することができる。
具体的に実施する際に、商品識別子が取り出すべき商品上に設けられ、その位置がスロット識別子より高く設定されているので、このステップでは、スロット識別子の上方の画像領域を関心領域として商品識別子を選別する。また、スロット識別子を算出する際にそのサイズが得られるので、予め設定された情報に基づいて、商品識別子のサイズを特定することができる。
【0031】
ステップ２：前記関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。
具体的に実施する際に、図２に示すように、商品識別子は、予め設定された形状を有する識別子２２であり得るので、このステップでは、関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。前記予め設定された形状は、円形、三角形、四角形等であり得るが、本出願では商品識別子の形状を限定しない。
勿論、商品識別子は、予め設定された色を有する識別子であってもよいし、二次元コード等であってもよい。本出願では、商品識別子の具体的な形態を制限せず、商品識別子を選別するときに商品識別子の実際の具体的な形態に応じて選別すればよい。
具体的に実施する際に、図２に示すように、商品識別子は、予め設定された形状を有する識別子２２であり得るので、このステップでは、関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。前記予め設定された形状は、円形、三角形、四角形等であり得るが、本出願では商品識別子の形状を限定しない。
勿論、商品識別子は、予め設定された色を有する識別子であってもよいし、二次元コード等であってもよい。本出願では、商品識別子の具体的な形態を制限せず、商品識別子を選別するときに商品識別子の実際の具体的な形態に応じて選別すればよい。
【0032】
ステップ３：前記関心領域に予め設定された形状を有する識別子が含まれていると特定された場合に、当該識別子を前記商品識別子とする。
関心領域に予め設定された形状を有する識別子を含む場合、画像処理モジュール１２０１は当該識別子を前記商品識別子として取り扱う。
商品識別子が商品上に設けられているので、画像処理モジュール１２０１により前記商品識別子が選別されなかった場合に、目標スロット位置には取り出すべき商品が存在せず、今回のピックアップ作業が失敗したことが分かる。
関心領域に予め設定された形状を有する識別子を含む場合、画像処理モジュール１２０１は当該識別子を前記商品識別子として取り扱う。
商品識別子が商品上に設けられているので、画像処理モジュール１２０１により前記商品識別子が選別されなかった場合に、目標スロット位置には取り出すべき商品が存在せず、今回のピックアップ作業が失敗したことが分かる。
【0033】
画像処理モジュール１２０１により、商品識別子が選別された後、位置特定モジュール１２０２は、以下のステップにより、前記目標スロット位置での前記取り出すべき商品の位置情報を特定することができる。
【0034】
ステップ１：前記目標画像における前記商品識別子の中心位置情報を特定する。
位置特定モジュール１２０２は画像解析等の技術により、前記目標画像での商品識別子の中心の位置情報を特定する。
位置特定モジュール１２０２は画像解析等の技術により、前記目標画像での商品識別子の中心の位置情報を特定する。
【0035】
ステップ２：前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
【0036】
商品識別子は商品の所定箇所に予め配置されているので、商品識別子と前記取り出すべき商品との相対的な位置情報が既知である。商品識別子の目標画像での中心位置情報及び商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、目標画像における取り出すべき商品の位置情報を特定でき、その後、画像座標系と地理座標系の変換関係に基づいて、目標スロット位置での取り出すべき商品の位置情報を特定できる。
【0037】
具体的に実施する際に、商品識別子は商品の任意箇所に設置されてもよい。このとき、商品識別子が二次元コードであってもよく、当該二次元コードには、商品識別子と前記取り出すべき商品との相対的な位置情報が記憶されている。位置特定モジュール１２０２は、商品識別子を復号処理することにより、商品識別子と前記取り出すべき商品との相対的な位置情報を取得することができる。
【0038】
位置特定モジュール１２０２によって、前記目標スロット位置における取り出すべき商品の位置情報が特定された後、ピックアップロボットは、ピックアップ部材により、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップすることができる。
【0039】
前記ピックアップ部材１３０は、ピックアップロボットに設けられる伸縮式フォークであってもよい。
【0040】
前記実施形態では、スロット識別子及び商品識別子に基づいて、取り出すべき商品を保管している目標スロット位置、及び取り出すべき商品の目標スロット位置での位置情報を正確に特定でき、また特定されたこの位置情報に基づいて、取り出すべき商品を正確にピックアップすることができるので、ピックアップの成功率が効果的に向上されるとともに、物流業界の物流効率向上にも有利である。
【0041】
前記ピックアップロボットに対応して、本出願の実施形態は、さらに、ピックアップ方法を提供する。当該方法は前記ピックアップロボットに利用され、同一又は類似する有益な効果を実現できるので、重複な部分について記述しない。
【0042】
具体的に、図３に示すように、本出願に係るピックアップ方法は、次のステップを含んでもよい。
【0043】
Ｓ３１０：ピックアップ部材が商品を保管している各スロット位置に移動したときに撮像した目標画像を取得する。前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
Ｓ３２０：前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別する。
Ｓ３３０：前記商品識別子が選別により得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
Ｓ３４０：前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップする。
Ｓ３２０：前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別する。
Ｓ３３０：前記商品識別子が選別により得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
Ｓ３４０：前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップする。
【0044】
幾つかの実施形態では、前記目標画像を取得後、前記ピックアップ方法は、さらに、
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を得るステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含むことができる。
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を得るステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含むことができる。
【0045】
幾つかの実施形態では、前記スロット識別子は二次元コードである。
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が前記取り出すべき商品を保管している目標スロット位置であるか否かを特定するステップを含む。即ち、
前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報が前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置は前記目標スロット位置であると特定する。
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が前記取り出すべき商品を保管している目標スロット位置であるか否かを特定するステップを含む。即ち、
前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報が前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置は前記目標スロット位置であると特定する。
【0046】
幾つかの実施形態では、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップは、
前記目標画像での前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップとを含む。
前記目標画像での前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップとを含む。
【0047】
本出願の一実施形態は、カメラと、プロセッサと、ピックアップ部材とを備えるピックアップロボットを提供する。前記プロセッサは、画像処理モジュール及び位置特定モジュールを備える。
【0048】
本出願の実施形態では、前記ピックアップロボットは、取り出すべき商品が収容されている目標スロット位置の位置情報を予めに知ることができる。この場合、前記ピックアップロボットは前記目標スロット位置までに直接に移動できる。
【0049】
前記カメラは、前記ピックアップロボットが商品を保管している目標スロット位置に移動するときに撮像した目標画像を取得するように配置されている。
【0050】
前記画像処理モジュールは、前記目標画像から商品識別子を選別するように配置されている。
【0051】
前記位置特定モジュールは、選別により前記商品識別子が得られた場合に、前記商品識別子に基づいて、前記目標スロット位置での前記取り出すべき商品の位置情報を特定するように配置されている。
【0052】
前記ピックアップ部材は、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするように配置されている。
【0053】
予め設定された時間が経つたびに、カメラは１つの画像を撮像する。前記目標画像は、ピックアップロボット又はロボットのピックアップ部材が商品を保管しているスロット位置に移動したとき撮像した画像である。当該画像には、スロット位置に対応するスロット識別子を含む。
【0054】
スロット識別子は各スロットの下方、例えばスロット位置の下部ビームに設けられてもよい。当該スロット識別子は対応するスロット位置を識別するものであり、例えば、スロット位置のＩＤ番号を識別することができる。具体的に実施する際に、前記スロット識別子は二次元コード等に設定されてもよい。
【0055】
ピックアップロボットのカメラがスロット識別子を含む目標画像を得た後、および画像処理モジュールが目標画像から商品識別子を選別する前に、ピックアップロボットは、画像処理モジュールにより目標画像からスロット識別子を抽出するとともに、抽出したスロット識別子を解析してスロット位置の識別情報を取得する必要がある。その後、画像処理モジュールは、取り出すべき商品を保管している目標スロット位置の識別情報を取得し、目標スロット位置の識別情報が目標画像におけるスロット位置の識別情報と同じであるか否かを判定する。同じであれば、目標画像におけるスロット位置は取り出すべき商品を保管している目標スロット位置であると特定する。
【0056】
画像処理モジュールは、目標画像におけるスリット識別子の位置情報を特定する。具体的に実施する際に、画像処理モジュールは、以下のステップにより、目標画像におけるスロット識別子の位置情報を特定することができる。
【0057】
ステップ１：前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出する。
画像処理モジュールは、目標画像を二値化処理し、二値化画像を得る。
二値化画像を取得後、当該二値化画像から予め設定されたグレー値を有するピクセルを抽出し、即ちスロット識別子を位置決めるための位置決め識別子のピクセルを抽出する。図２に示すように、具体的に実施する際に、スロット識別子の位置決め識別子が特定の幅を有する黒枠２１であれば、このステップでは、画像処理モジュールは黒色のピクセルを抽出する。
画像処理モジュールは、目標画像を二値化処理し、二値化画像を得る。
二値化画像を取得後、当該二値化画像から予め設定されたグレー値を有するピクセルを抽出し、即ちスロット識別子を位置決めるための位置決め識別子のピクセルを抽出する。図２に示すように、具体的に実施する際に、スロット識別子の位置決め識別子が特定の幅を有する黒枠２１であれば、このステップでは、画像処理モジュールは黒色のピクセルを抽出する。
【0058】
ステップ２：抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を取得する。
画像処理モジュールは位置決め識別子のピクセルを抽出した後、直線をフィッティングし、特定の幅を有する黒枠を得る。このステップで得られた黒枠は候補位置決め識別子であり、当該黒枠がスロット識別子を位置決める目標位置決め識別子であるか否かをさらに検証する必要がある。フィッティングされた直線の交点は位置決め識別子のコーナーポイントである。
画像処理モジュールは位置決め識別子のピクセルを抽出した後、直線をフィッティングし、特定の幅を有する黒枠を得る。このステップで得られた黒枠は候補位置決め識別子であり、当該黒枠がスロット識別子を位置決める目標位置決め識別子であるか否かをさらに検証する必要がある。フィッティングされた直線の交点は位置決め識別子のコーナーポイントである。
【0059】
ステップ３：前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定する。
画像処理モジュールは、フィッティングにより候補位置決め識別子を得た後、予め設定された条件により、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であるか否かを検証する。例えば、候補位置決め識別子の線幅が予め設定された幅であるか、或いは候補位置決め識別子が予め設定された形状を有するかなどについて検証する。
候補位置決め識別子が予め設定された条件を満たすと、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であると特定する。
画像処理モジュールは、フィッティングにより候補位置決め識別子を得た後、予め設定された条件により、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であるか否かを検証する。例えば、候補位置決め識別子の線幅が予め設定された幅であるか、或いは候補位置決め識別子が予め設定された形状を有するかなどについて検証する。
候補位置決め識別子が予め設定された条件を満たすと、当該候補位置決め識別子がスロット識別子を位置決めるための目標位置決め識別子であると特定する。
【0060】
ステップ４：前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定する。
画像処理モジュールは目標位置決め識別子を特定した後、当該目標位置決め識別子とスロット識別子の予め設定された相対的な位置関係に基づいて、スロット識別子の位置決めを実現し、即ち、目標画像でのスロット識別子の位置情報を特定する。
目標画像でのスロット識別子の位置情報を特定すれば、スロット識別子を解析し、目標画像での現在スロット位置は取り出すべき商品を保管している目標スロット位置であるかを特定することができる。
画像処理モジュールは目標位置決め識別子を特定した後、当該目標位置決め識別子とスロット識別子の予め設定された相対的な位置関係に基づいて、スロット識別子の位置決めを実現し、即ち、目標画像でのスロット識別子の位置情報を特定する。
目標画像でのスロット識別子の位置情報を特定すれば、スロット識別子を解析し、目標画像での現在スロット位置は取り出すべき商品を保管している目標スロット位置であるかを特定することができる。
【0061】
画像処理モジュールは、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、商品識別子に基づいて目標スロット位置における取り出すべき商品の位置情報を特定するように、目標画像から商品識別子を選別する必要がある。
【0062】
具体的に実施する際に、画像処理モジュールは、以下のステップにより目標画像から商品識別子を選別することができる。
【0063】
ステップ１：前記目標画像において前記スロット識別子の上方にある画像領域を関心領域とする。
具体的に実施する際に、商品識別子が取り出すべき商品に設けられ、その位置がスロット識別子より高く設定されているので、このステップでは、スロット識別子の上方の画像領域を関心領域とし商品識別子を選別する。また、スロット識別子を算出する際にそのサイズが得られるので、予め設定された情報に基づいて、商品識別子のサイズを特定することができる。
具体的に実施する際に、商品識別子が取り出すべき商品に設けられ、その位置がスロット識別子より高く設定されているので、このステップでは、スロット識別子の上方の画像領域を関心領域とし商品識別子を選別する。また、スロット識別子を算出する際にそのサイズが得られるので、予め設定された情報に基づいて、商品識別子のサイズを特定することができる。
【0064】
ステップ２：前記関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。
具体的に実施する際に、図２に示すように、商品識別子は、予め設定された形状を有する識別子２２であり得るので、このステップでは、関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。前記予め設定された形状は、円形、三角形、四角形等であり得るが、本出願では商品識別子の形状を限定しない。
勿論、商品識別子は、予め設定された色を有する識別子であってもよいし、二次元コード等であってもよい。本出願では、商品識別子の具体的な形態を制限せず、商品識別子を選別するときに商品識別子の実際の具体的な形態に応じて選別すればよい。
具体的に実施する際に、図２に示すように、商品識別子は、予め設定された形状を有する識別子２２であり得るので、このステップでは、関心領域に予め設定された形状を有する識別子が含まれているか否かを検出する。前記予め設定された形状は、円形、三角形、四角形等であり得るが、本出願では商品識別子の形状を限定しない。
勿論、商品識別子は、予め設定された色を有する識別子であってもよいし、二次元コード等であってもよい。本出願では、商品識別子の具体的な形態を制限せず、商品識別子を選別するときに商品識別子の実際の具体的な形態に応じて選別すればよい。
【0065】
ステップ３：前記関心領域に予め設定された形状を有する識別子が含まれていると特定された場合に、当該識別子を前記商品識別子とする。
関心領域に予め設定された形状を有する識別子を含む場合、画像処理モジュールは当該識別子を前記商品識別子として取り扱う。
商品識別子が商品上に設けられているので、画像処理モジュールにより前記商品識別子が選別されなかった場合に、目標スロット位置には取り出すべき商品が存在せず、今回のピックアップ作業が失敗したことが分かる。
関心領域に予め設定された形状を有する識別子を含む場合、画像処理モジュールは当該識別子を前記商品識別子として取り扱う。
商品識別子が商品上に設けられているので、画像処理モジュールにより前記商品識別子が選別されなかった場合に、目標スロット位置には取り出すべき商品が存在せず、今回のピックアップ作業が失敗したことが分かる。
【0066】
画像処理モジュールによって商品識別子が選別された後、位置特定モジュールは、以下のステップにより、前記目標スロット位置での前記取り出すべき商品の位置情報を特定することができる。
【0067】
ステップ１：前記目標画像における前記商品識別子の中心位置情報を特定する。
位置特定モジュールは画像解析等の技術により、前記目標画像での商品識別子の中心の位置情報を特定する。
位置特定モジュールは画像解析等の技術により、前記目標画像での商品識別子の中心の位置情報を特定する。
【0068】
ステップ２：前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定する。
【0069】
商品識別子は商品の所定箇所に予め配置されているので、商品識別子と前記取り出すべき商品との相対的な位置情報が既知である。商品識別子の目標画像での中心位置情報及び商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、目標画像における取り出すべき商品の位置情報を特定でき、その後、画像座標系と地理座標系の変換関係に基づいて、目標スロット位置での取り出すべき商品の位置情報を特定できる。
【0070】
具体的に実施する際に、商品識別子は商品の任意箇所に設置されてもよい。このとき、商品識別子が二次元コードであってもよく、当該二次元コードには、商品識別子と前記取り出すべき商品との相対的な位置情報が記憶されている。位置特定モジュールは、商品識別子を復号処理することにより、商品識別子と前記取り出すべき商品との相対的な位置情報を取得することができる。
【0071】
位置特定モジュールによって、前記目標スロット位置における取り出すべき商品の位置情報が特定された後、ピックアップロボットは、ピックアップ部材により、前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップすることができる。
【0072】
前記ピックアップ部材は、ピックアップロボットに設けられる伸縮式フォークであってもよい。
【0073】
前記実施形態では、スロット識別子及び商品識別子に基づいて、取り出すべき商品を保管している目標スロット位置、及び取り出すべき商品の目標スロット位置での位置情報を正確に特定でき、また特定されたこの位置情報に基づいて、取り出すべき商品を正確にピックアップすることができるので、ピックアップの成功率が効果的に向上されるとともに、物流業界の物流効率向上にも有利である。
【0074】
前記ピックアップロボットに対応して、本出願の実施形態はピックアップ方法をさらに提供する。当該方法は前記ピックアップロボットに適用され、同一又は類似する有益な効果を実現できるので、重複な部分について記述しない。
【0075】
具体的に、本出願の一実施形態では、ピックアップロボットは、取り出すべき商品が収容されている目標スロット位置の位置情報を予め知ることができる。この場合、前記ピックアップロボットは前記目標スロット位置に直接に移動することができる。本出願に係るピックアップ方法は、
ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像から商品識別子を選別するステップと、
前記商品識別子が選別により得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含むことができる。
ピックアップ部材が商品を保管している目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像から商品識別子を選別するステップと、
前記商品識別子が選別により得られた場合に、前記商品識別子に基づいて、前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記目標スロット位置から前記取り出すべき商品をピックアップするステップとを含むことができる。
【0076】
オプションとして、前記目標画像には、現在スロット位置に対応するスロット識別子が含まれている。
前記目標画像から商品識別子を選別するステップは、
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するステップを含む。
前記目標画像から商品識別子を選別するステップは、
前記スロット識別子に基づいて、現在スロット位置が取り出すべき商品を保管している目標スロット位置であると特定した場合に、前記目標画像から商品識別子を選別するステップを含む。
【0077】
幾つかの実施形態では、前記目標画像が取得された後、前記ピックアップ方法は、さらに、
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を得るステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含む。
前記目標画像を二値化処理し、二値化処理された画像から予め設定されたグレー値を有するピクセルを抽出するステップと、
抽出した前記ピクセルに基づいて、フィッティングにより前記スロット識別子の候補位置決め識別子を得るステップと、
前記候補位置決め識別子が予め設定された条件を満たすと、前記候補位置決め識別子が前記スロット識別子の目標位置決め識別子であると特定するステップと、
前記目標位置決め識別子に基づいて、前記目標画像における前記スロット識別子の位置情報を特定するステップとを含む。
【0078】
幾つかの実施例では、前記スロット識別子は二次元コードである。
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が、前記取り出すべき商品を保管している目標スロット位置であるかを特定するステップを含む。即ち、
前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報は前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定する。
前記ピックアップ方法は、さらに、前記スロット識別子に対応するスロット位置が、前記取り出すべき商品を保管している目標スロット位置であるかを特定するステップを含む。即ち、
前記二次元コードを復号処理し、前記二次元コードに対応する現在スロット位置の識別情報を取得し、
取得された前記識別情報は前記取り出すべき商品を保管している目標スロット位置の識別情報と同じであると、前記二次元コードに対応する現在スロット位置が前記目標スロット位置であると特定する。
【0079】
幾つかの実施例では、前記商品識別子に基づいて前記目標スロット位置における前記取り出すべき商品の位置情報を特定するステップは、
前記目標画像での前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品位置情報を特定するステップとを含む。
前記目標画像での前記商品識別子の中心位置情報を特定するステップと、
前記中心位置情報及び前記商品識別子と前記取り出すべき商品との相対的な位置情報に基づいて、前記目標スロット位置における前記取り出すべき商品位置情報を特定するステップとを含む。
【0080】
本出願の一実施形態は、さらに、カメラ、プロセッサ及び保管部材を備える保管ロボットを提供する。前記プロセッサは画像処理モジュール及び位置特定モジュール備える。
前記カメラは、前記保管ロボットが商品を保管すべきスロット位置に移動したときに撮像した目標画像を取得するように配置され、
画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置され、
前記位置特定モジュールは、前記スロット識別子に対応する目標スロット位置を特定した場合に、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置され、
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている。
前記カメラは、前記保管ロボットが商品を保管すべきスロット位置に移動したときに撮像した目標画像を取得するように配置され、
画像処理モジュールは、前記目標画像からスロット識別子を選別するように配置され、
前記位置特定モジュールは、前記スロット識別子に対応する目標スロット位置を特定した場合に、前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するように配置され、
前記保管部材は、前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるように配置されている。
【0081】
前記保管部材は保管ロボットに設けられる伸縮式フォークであっても良い。
【0082】
前記実施形態では、スロット識別子及びスロット識別子の前記目標画像での位置に基づいて、保管すべき商品の目標スロット位置、及び保管すべき商品の目標スロット位置での保管位置情報を精度よく特定でき、また特定されたこの位置情報に基づいて、保管すべき商品を正確に保管できるので、商品保管の成功率が効果的に向上されるとともに、物流業界の物流効率向上にも寄与する。
【0083】
当業者に知られるように、本出願に係るピックアップロボット及び保管ロボットは、作業別にロボットを機能的に区分しただけであり、実際に使用するとき、ロボットがピックアップ作業を実行するとピックアップロボットとされ、またロボットが保管作業を実行すると保管ロボットとされてもよい。ピックアップロボットのピックアップ部材及び保管ロボットの保管部材は、ピックアップ及び保管機能を同時に実現できる同一の部材であってもよい。
【0084】
前記保管ロボットに応じて、本出願の実施形態は、さらに保管方法を提供する。当該方法は前記保管ロボットに適用され、同一又は類似する有益な効果を実現できるので、重複な部分について記述しない。
【0085】
本出願の実施形態に係る保管方法は、
前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像からスロット識別子を選別するステップと、
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む。
前記保管ロボットが商品を保管すべき目標スロット位置に移動したときに撮像した目標画像を取得するステップと、
前記目標画像からスロット識別子を選別するステップと、
前記目標画像における前記スロット識別子の位置に基づいて、前記目標スロット位置における保管すべき商品の位置情報を特定するステップと、
前記位置情報に基づいて、前記保管すべき商品を前記目標スロット位置に保管させるステップとを含む。
【0086】
本出願の実施形態は、さらに、プログラムコードを記憶するコンピュータ可読記憶媒体を含む、前記の方法に対応するコンピュータプログラム製品を提供する。プログラムコードに含まれる命令は、前記方法の実施形態における方法を実行するために使用され得る。具体的には、方法の実施形態を参照できるので、ここでは記述しない。
【0087】
以上に各実施形態に対する説明は、各実施形態の相違を強調する傾向があるが、それらの共通点または類似点を互いに参照することができる。簡潔のため、本明細書では記述しない。
【0088】
当業者であれば明確に理解できるように、説明および簡潔の便宜上、前記明細書に記載されたシステムおよび装置の具体的な動作過程は、方法の実施形態での対応する過程を参照できるので、本出願では記述しない。本出願に提供されるいくつかの実施形態では、開示されたシステム、装置および方法は、他の方法で実施され得ることが理解されるべきである。前記明細書に記載された装置の実施形態は、例示的なものに過ぎない。例えば、前記モジュールの分割は、ロジック機能の分割に過ぎず、実際に実現するときに別の分割方式がある。また例えば、複数のモジュールまたはコンポーネントを他のシステムに組み合わせるか統合させ、または一部の機能を無視するか、実行しなくてもよい。さらに、表示または説明されている相互結合または直接結合または通信接続は、いくつかの通信インターフェース、デバイスまたはモジュールを介した間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【0089】
個別の部材として説明された前記モジュールは、物理的に分離されてもよいし分離されなくてもよい。モジュールとして表示される部材は、物理的なユニットであってもよく、つまり、１つの場所に配置されてもよいし、複数のネットワークユニットに分散されてもよい。実際の要求に応じて、一部または全部のユニットを選択して本実施例の目的を実現することができる。
【0090】
また、本出願の各実施形態における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが物理的に単独で存在してもよく、または２つ以上のユニットが１つのユニットに統合されてもよい。
【0091】
前記機能がソフトウェア機能ユニットの形で実現され、独立した製品として販売または使用される場合に、プロセッサによって実行可能な不揮発性コンピュータ可読記憶媒体に記憶してもよい。この理解に基づいて、本出願の技術案または既存技術に貢献した部分または当該技術案の一部は、本質的に、ソフトウェア製品の形で具体化することができ、このコンピュータソフトウェア製品は１つの記憶場体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバー、またはネットワークデバイスなどであり得る）に、本出願の各実施形態に記載された方法のステップの全部または一部を実行させるためのいくつかの命令を含む 。前述の記憶媒体には、Ｕディスク、モバイルハードディスク、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスク等プログラムコードを記憶できる媒体が含まれる。
【0092】
以上は、本出願の具体的な実施形態に過ぎないが、本出願の保護範囲はこれに限定されない。本出願に開示されている技術範囲内から当業者が容易に想到できた変更または置換は、いずれも本願の保護範囲内に含まれる。したがって、本出願の保護範囲は、特許請求の範囲の保護範囲を基準とする。
【図1】
【図2】
【図3】