知財求人 - 知財ポータルサイト「IP Force」
▶ ビジョンナビ ロボティクス（シェンチェン）カンパニー，リミテッドの特許一覧
特開2022-189761ケージ積上げの確認方法、コンピュータ装置及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022189761
(43)【公開日】2022-12-22
(54)【発明の名称】ケージ積上げの確認方法、コンピュータ装置及び記憶媒体
(51)【国際特許分類】
G06V 10/70 20220101AFI20221215BHJP
G06T 7/00 20170101ALI20221215BHJP
B65G 1/137 20060101ALI20221215BHJP
【ＦＩ】
G06V10/70
G06T7/00 350B
B65G1/137 B
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022091950
(22)【出願日】2022-06-07
(31)【優先権主張番号】202110648779.8
(32)【優先日】2021-06-10
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】522194898
【氏名又は名称】ビジョンナビ ロボティクス（シェンチェン）カンパニー，リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】チェン，ペン
(72)【発明者】
【氏名】リ，ルーヤン
(72)【発明者】
【氏名】ファン，ム
(72)【発明者】
【氏名】ル，ユジエ
(72)【発明者】
【氏名】ジェン，ファン
(72)【発明者】
【氏名】ヤン，ビンチュアン
【テーマコード（参考）】
3F522
5L096
【Ｆターム（参考）】
3F522AA02
3F522BB01
3F522BB06
3F522CC05
3F522FF17
3F522FF37
3F522GG07
3F522KK05
5L096BA08
5L096DA02
5L096FA66
5L096FA69
5L096GA51
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】ケージが積上げられることができるか否かを素早く、且つ、正確に判断でき、ケージ積上げの確認効率を大幅に向上させるケージ積上げの確認方法、コンピュータ装置及び記憶媒体を提供する。
【解決手段】ケージ積上げの確認方法は、第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影しケージ画像を取得するステップ２０２と、第一の検出モデルによって２つのケージ各自の積上げ装置の位置情報を取得するステップ２０４と、さらに第一の積上げ結果を取得して、第二の検出モデルによって第二の積上げ結果を取得するステップ２０８と、を含む。
【選択図】図２
【解決手段】ケージ積上げの確認方法は、第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影しケージ画像を取得するステップ２０２と、第一の検出モデルによって２つのケージ各自の積上げ装置の位置情報を取得するステップ２０４と、さらに第一の積上げ結果を取得して、第二の検出モデルによって第二の積上げ結果を取得するステップ２０８と、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
ケージ積上げの確認方法であって、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ前記特徴情報に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を含む
ことを特徴とするケージ積上げの確認方法。
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ前記特徴情報に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を含む
ことを特徴とするケージ積上げの確認方法。
【請求項2】
前記ケージ画像は第一のケージ画像と第二のケージ画像とを含み、
前記第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することは、
前記第一ケージの第一方位に位置する第一の積上げ装置と前記第二ケージの前記第一方位に位置する第二の積上げ装置を撮影し、前記第一のケージ画像を取得すること、及び、
前記第一ケージの前記第一方位とは異なる第二方位に位置する第一の積上げ装置と、前記第二ケージの前記第二方位に位置する第二の積上げ装置を撮影し、前記第二のケージ画像を取得すること、を含む
ことを特徴とする請求項１に記載の方法。
前記第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することは、
前記第一ケージの第一方位に位置する第一の積上げ装置と前記第二ケージの前記第一方位に位置する第二の積上げ装置を撮影し、前記第一のケージ画像を取得すること、及び、
前記第一ケージの前記第一方位とは異なる第二方位に位置する第一の積上げ装置と、前記第二ケージの前記第二方位に位置する第二の積上げ装置を撮影し、前記第二のケージ画像を取得すること、を含む
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記第一の積上げ装置と前記第二の積上げ装置はいずれもスタンド、及び前記スタンドとセットになる支柱を含み、
前記第一ケージの第一方位に位置する第一の積上げ装置と前記第二ケージの前記第一方位に位置する第二の積上げ装置を撮影し、前記第一のケージ画像を取得することは、
前記第一ケージの前記第一方位に位置するスタンド及び前記第二ケージの前記第一方位に位置する支柱を撮影し、前記第一のケージ画像を取得する、ことを含み、
前記第一ケージの前記第二方位に位置する第一の積上げ装置と前記第二ケージの前記第二方位に位置する第二の積上げ装置を撮影し、前記第二のケージ画像を取得することは、
前記第一ケージの前記第二方位に位置するスタンド及び前記第二ケージの前記第二方位に位置する支柱を撮影し、前記第二のケージ画像を取得する、ことを含む
ことを特徴とする請求項２に記載の方法。
前記第一ケージの第一方位に位置する第一の積上げ装置と前記第二ケージの前記第一方位に位置する第二の積上げ装置を撮影し、前記第一のケージ画像を取得することは、
前記第一ケージの前記第一方位に位置するスタンド及び前記第二ケージの前記第一方位に位置する支柱を撮影し、前記第一のケージ画像を取得する、ことを含み、
前記第一ケージの前記第二方位に位置する第一の積上げ装置と前記第二ケージの前記第二方位に位置する第二の積上げ装置を撮影し、前記第二のケージ画像を取得することは、
前記第一ケージの前記第二方位に位置するスタンド及び前記第二ケージの前記第二方位に位置する支柱を撮影し、前記第二のケージ画像を取得する、ことを含む
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記第一方位及び前記第二方位は倉庫無人フォークリフトの両側である、ことを特徴とする請求項３に記載の方法。
【請求項5】
前記第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することは、
前記第一の検出モデルによって前記ケージ画像の特徴情報を取得し、且つ前記特徴情報に基づいて、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別する、ことを含む
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
前記第一の検出モデルによって前記ケージ画像の特徴情報を取得し、且つ前記特徴情報に基づいて、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別する、ことを含む
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記第一ケージの第一面に第一のスタンドが設けられ、前記第一ケージの第二面に第一の支柱が設けられ、
前記第二ケージの第一面に第二のスタンドが設けられ、前記第二ケージの第二面に第二の支柱が設けられ、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することは、
前記第一の積上げ装置における前記第一のスタンドの第一の位置情報及び前記第二の積上げ装置における前記第二の支柱の第二の位置情報を決定することと、
前記第一の位置情報と前記第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得することと、
各積上げ組み合わせに対し、前記第一のスタンドと前記第二の支柱との間の距離を距離閾値と照合し、各積上げ組み合わせの照合結果を取得することと、
各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定することと、を含み、
前記第一ケージが前記第二ケージに積上げられた状態で、同一の積上げ組み合わせにおける第一のスタンドと第二の支柱は同一の垂直方位にアラインされる
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
前記第二ケージの第一面に第二のスタンドが設けられ、前記第二ケージの第二面に第二の支柱が設けられ、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することは、
前記第一の積上げ装置における前記第一のスタンドの第一の位置情報及び前記第二の積上げ装置における前記第二の支柱の第二の位置情報を決定することと、
前記第一の位置情報と前記第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得することと、
各積上げ組み合わせに対し、前記第一のスタンドと前記第二の支柱との間の距離を距離閾値と照合し、各積上げ組み合わせの照合結果を取得することと、
各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定することと、を含み、
前記第一ケージが前記第二ケージに積上げられた状態で、同一の積上げ組み合わせにおける第一のスタンドと第二の支柱は同一の垂直方位にアラインされる
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項7】
前記第一ケージの前記第一面は前記第一ケージの底面であり、前記第一ケージの前記第二面は前記第一ケージの上面であり、
前記第二ケージの前記第一面は前記第二ケージの底面であり、前記第二ケージの前記第二面は前記第二ケージの上面であり、
前記第一ケージが前記第二ケージに積上げられた時、前記第一ケージの底面は前記第二ケージの上面に近接又は接触する
ことを特徴とする請求項６に記載の方法。
前記第二ケージの前記第一面は前記第二ケージの底面であり、前記第二ケージの前記第二面は前記第二ケージの上面であり、
前記第一ケージが前記第二ケージに積上げられた時、前記第一ケージの底面は前記第二ケージの上面に近接又は接触する
ことを特徴とする請求項６に記載の方法。
【請求項8】
前記第一の積上げ装置における前記第一のスタンドの第一の位置情報及び前記第二の積上げ装置における前記第二の支柱の第二の位置情報を決定することは、
前記第一のスタンドと前記第二の支柱とから構成された矩形枠の中点を、前記第一のスタンドと前記第二の支柱の位置決め点とし、画像取得デバイスの内部パラメータと外部パラメータと、各画像取得デバイスの座標系における地面の方程式とに基づいて、前記第一の位置情報と前記第二の位置情報をリアルタイムに取得することを含む
ことを特徴とする請求項６に記載の方法。
前記第一のスタンドと前記第二の支柱とから構成された矩形枠の中点を、前記第一のスタンドと前記第二の支柱の位置決め点とし、画像取得デバイスの内部パラメータと外部パラメータと、各画像取得デバイスの座標系における地面の方程式とに基づいて、前記第一の位置情報と前記第二の位置情報をリアルタイムに取得することを含む
ことを特徴とする請求項６に記載の方法。
【請求項9】
前記各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定することは、 前記各積上げ組み合わせの照合結果がいずれも、前記第一ケージが前記第二ケージに積上げられることができることを指示する場合、前記第一の積上げ結果は、前記第一ケージが前記第二ケージに積上げられることができることと確定すること、または、前記各積上げ組み合わせの照合結果のそれぞれを前記第一の積上げ結果とすること、を含む、
ことを特徴とする請求項６に記載の方法。
ことを特徴とする請求項６に記載の方法。
【請求項10】
前記第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ前記特徴情報に基づいて第二の積上げ結果を取得する前に、前記方法は、
積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含むケージ画像サンプルを取得することと、
前記ケージ画像サンプル、及び、前記ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得すること、をさらに含む
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含むケージ画像サンプルを取得することと、
前記ケージ画像サンプル、及び、前記ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得すること、をさらに含む
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項11】
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することは、
積上げ確認モデルによって、前記第一の積上げ結果と前記第二の積上げ結果を加重加算して積上げデータを取得すること、及び、
前記積上げデータと積上げ閾値とを照合し、照合結果に基づいて前記第一ケージを前記第二ケージに積上げることができるか否かを決定すること、を含む
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
積上げ確認モデルによって、前記第一の積上げ結果と前記第二の積上げ結果を加重加算して積上げデータを取得すること、及び、
前記積上げデータと積上げ閾値とを照合し、照合結果に基づいて前記第一ケージを前記第二ケージに積上げることができるか否かを決定すること、を含む
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項12】
前記積上げ確認モデルはトレーニングされた分類器である、ことを特徴とする請求項１１に記載の方法。
【請求項13】
前記第一ケージを前記第二ケージに積上げることができると決定された場合、前記第一ケージを前記第二ケージに積上げる操作がトリガーされ、
前記第一ケージを前記第二ケージに積上げることができないと決定された場合、前記第一ケージを前記第二ケージに積上げることを阻止する操作がトリガーされる、
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
前記第一ケージを前記第二ケージに積上げることができないと決定された場合、前記第一ケージを前記第二ケージに積上げることを阻止する操作がトリガーされる、
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項14】
前記第一の位置情報は、前記第一の積上げ装置の座標情報であり、
前記第二の位置情報は、前記第二の積上げ装置の座標情報である、
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
前記第二の位置情報は、前記第二の積上げ装置の座標情報である、
ことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項15】
コンピュータ装置であって、
プロセッサと、
コンピュータ命令を記憶するためのメモリと、を備え、 前記コンピュータ命令がプロセッサによって実行される場合に、前記プロセッサに、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を、画像取得デバイスによって撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ前記特徴情報に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を実行させる
ことを特徴とするコンピュータ装置。
プロセッサと、
コンピュータ命令を記憶するためのメモリと、を備え、 前記コンピュータ命令がプロセッサによって実行される場合に、前記プロセッサに、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を、画像取得デバイスによって撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ前記特徴情報に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を実行させる
ことを特徴とするコンピュータ装置。
【請求項16】
コンピュータプログラムが記憶された不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがコンピュータによって実行される場合に、前記コンピュータに、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ前記特徴情報に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、
を実行させることを特徴とする不揮発性コンピュータ読み取り可能な記憶媒体。
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ前記特徴情報に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、
を実行させることを特徴とする不揮発性コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は倉庫保管・物流の技術分野に関し、特に、ケージ積上げの確認方法、コンピュータ装置及び記憶媒体に関する。
【背景技術】
【0002】
倉庫保管・物流技術の発展に伴い、倉庫管理作業の過程において、ケージを使用して貨物を輸送・保管することが一般であり、且つケージを積上げることで、立体化倉庫保管を実現することができ、倉庫スペースへの占用を低減することができる。
従来の倉庫保管場面では、運転者は、フォークリフトを運転してケージを積上げるたびに、頭部をフォークリフトの外に出してケージの状態を見る必要があり、それによりケージを積上げることができるか否かを決定する。しかしながら、ケージを積上げるたびに、運転者が人為的に操作して積上げを確認することが必要であり、ケージを積上げる効率は低下する。
従来の倉庫保管場面では、運転者は、フォークリフトを運転してケージを積上げるたびに、頭部をフォークリフトの外に出してケージの状態を見る必要があり、それによりケージを積上げることができるか否かを決定する。しかしながら、ケージを積上げるたびに、運転者が人為的に操作して積上げを確認することが必要であり、ケージを積上げる効率は低下する。
【発明の概要】
【0003】
それに基づいて、上記技術課題に対して、ケージ積上げの確認方法、コンピュータ装置及び記憶媒体を提供する必要がある。
【0004】
ケージ積上げの確認方法であって、当該方法は、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、ケージ画像の特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を含む。
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、ケージ画像の特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を含む。
【0005】
コンピュータ装置であって、プロセッサとメモリとを備える。
メモリは、コンピュータ命令を記憶するために用いられ、該コンピュータ命令がプロセッサによって実行される場合に、プロセッサに、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を、画像取得デバイスによって撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を実行させる。
メモリは、コンピュータ命令を記憶するために用いられ、該コンピュータ命令がプロセッサによって実行される場合に、プロセッサに、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を、画像取得デバイスによって撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、前記ケージ画像の特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を実行させる。
【0006】
コンピュータプログラムが記憶された不揮発性コンピュータ読み取り可能な記憶媒体であって、
該コンピュータプログラムがコンピュータによって実行される場合に、コンピュータに、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、ケージ画像の特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を実行させる。
該コンピュータプログラムがコンピュータによって実行される場合に、コンピュータに、
第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得することと、
第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、前記ケージ画像から、前記第一ケージの前記第一の積上げ装置及び前記第二ケージの前記第二の積上げ装置を識別することと、
前記第一の積上げ装置の第一の位置情報と前記第二の積上げ装置の第二の位置情報とを決定し、且つ前記第一の位置情報と前記第二の位置情報とに基づいて第一の積上げ結果を決定することと、
第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、ケージ画像の特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得することと、
前記第一の積上げ結果と前記第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定することと、を実行させる。
【0007】
上記ケージ積上げの確認方法、コンピュータ装置及び記憶媒体は、第一ケージを第二ケージに積上げる前に、第一ケージと第二ケージの積上げ装置を撮影して、対応するケージ画像を取得する。それで、２つの検出モデルによってケージ画像における２つのケージ各自の積上げ装置をそれぞれ識別でき、第一の検出モデルによって２つのケージの積上げ装置の位置情報を取得した後、第一の積上げ結果を取得して、且つ第二の検出モデルによって２つのケージの積上げ装置に対応する第二の積上げ結果を取得する。このようにして、２つの検出モデルを使用することに加えて、それぞれ異なる方式を採用して得られた積上げ結果によって、最終積上げ結果を取得できる。よって、２つのケージが積上げられることができるか否かを人為的に確認する必要なく、２つの検出モデルによってケージが積上げられることができるか否かを素早く且つ正確に判断でき、ケージ積上げの確認効率を大幅に向上させる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
本出願の目的、技術案及び利点をより明確にするように、以下、図面及び実施形態を参照しながら、本出願をさらに詳細に説明する。ここで説明される具体的な実施形態は本出願を説明するためのものに過ぎず、本出願を制限するものではないと理解すべきである。
【0010】
本出願に提供されるケージ積上げの確認方法は図１に示す環境に応用できる。図１に示すように、画像取得デバイス１０２は、ネットワークを介してコンピュータ装置１０４と通信する。画像取得デバイス１０２は、第一ケージを第二ケージに積上げる前に、該第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、ケージ画像を取得してコンピュータ装置１０４に伝送する。コンピュータ装置１０４は、第一の検出モデルによって該ケージ画像に対して第一の目標検出を行い、該ケージ画像から、該第一ケージの第一の積上げ装置、及び該第二ケージの第二の積上げ装置を識別する。そして、コンピュータ装置１０４は、該第一の積上げ装置の第一の位置情報と該第二の積上げ装置の第二の位置情報とを決定し、且つ該第一の位置情報と該第二の位置情報とに基づいて第一の積上げ結果を決定する。コンピュータ１０４はまた、第二の検出モデルによって該ケージ画像に対して第二の目標検出を行い、且つ特徴情報を抽出し、この特徴情報に基づいて第二の積上げ結果を取得する。最後に、コンピュータ装置１０４は、該第一の積上げ結果と該第二の積上げ結果とに基づいて、最終積上げ結果を決定し、即ち、第一ケージを第二ケージに積上げることができるか否かを決定する。第一ケージが第二ケージに積上げられることができると決定されると、該第一ケージを該第二ケージに積上げる操作がトリガーされる。第一ケージが第二ケージに積上げられることができないと決定されると、該第一ケージを該第二ケージに積上げることを阻止する操作がトリガーされる。画像取得デバイス１０２は、様々な画像収集装置であってもよく、例えば、ハイビジョンカメラ、ハイビジョン車載カメラ、電荷結合カメラ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ ｃａｍｅｒａ、ＣＣＤカメラ）、スキャナー又は撮影機能付きの携帯電話が挙げられるが、それらに限定されない。コンピュータ装置１０４は具体的に端末又はサーバであってもよく、端末は各種のパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレットコンピュータ及び携帯型ウェアラブル装置、倉庫輸送ツール上の産業用パソコンであってもよいがそれらに限定されず、サーバは独立したサーバ又は複数のサーバで構成されたサーバクラスタで実装されることができる。
【0011】
上記特徴情報は輪郭情報、例えば、第一の積上げ装置と第二の積上げ装置の輪郭情報であってもよい。例えば、第一の積上げ装置と第二の積上げ装置はいずれもスタンドと支柱とを備え、該輪郭情報はスタンドの輪郭情報と、支柱の輪郭情報とを含む。該輪郭情報によって、ケージ画像における対象がスタンドと支柱であるか否かを決定できる。
【0012】
【0013】
ステップ２０２、該第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、ケージ画像を取得する。当該ステップは、第一ケージを第二ケージに積上げる前に行われる。
【0014】
本明細書で使用される「第一」「第二」等は説明を容易にするためのものであり、ケージの順番及び構造を制限するものではない。第一ケージと第二ケージとは同じ構造を有することができ、第一の積上げ装置と第二の積上げ装置とも同じ構造を有することができる。第一ケージ及び第二ケージを総称してケージと呼び、第一の積上げ装置及び第二の積上げ装置を総称して積上げ装置と呼ぶ。
【0015】
ケージは、通常金属鋼材の原材料を溶接して構成される物流容器であり、物品を貯蔵するために用いられる。ケージは他の材料で製造されてもよく、例えば、木質、プラスチック、又は他の金属が挙げられる。ケージを積上げることによって倉庫スペースの有効利用率を向上させることができる。
【0016】
積上げ装置は、同じケージに位置するスタンドと支柱である。且つ同じケージにおいて、ケージが積上げされようとする状態又は積上げ状態にある場合、スタンドは支柱の下方にあり、図３Ａ及び図３Ｂに示すケージ構造の模式図を参照する。
【0017】
ケージは、荷物を載置するためのケージ本体、ケージ本体の第一面に設けられたスタンド、及び、ケージ本体の第二面に設けられた支柱を含み、１つのケージの支柱は積上げされようとする他のケージのスタンドと合う（マッチする）ことができ、２つのケージ同士の積上げを可能にする。各ケージに対して、Ｎ個のスタンドとＮ個の支柱を含み、Ｎは４以上の正の整数であることが好ましい。例えば、１つの実施形態において、Ｎ＝４。具体的には図３Ａ及び図３Ｂに示すケージ構造の模式図を参照する。２つのケージを積上げる必要がある場合、第一ケージの第一面に位置するスタンドを第二ケージの第二面に位置する支柱と合わせる（マッチさせる）。２つのケージが積上げ状態にある時に、合わせられたスタンドと支柱は、垂直方向においてアラインされており、１つの積上げ組み合わせを形成する。各ケージが４つのスタンドと４つの支柱を含む場合、積上げ状態にある２つのケージは合計４つの積上げ組み合わせを有する。理解できるように、ケージはさらにより多い又はより少ないスタンド及び支柱を含むことができ、例えば、各ケージは６つのスタンド及び６つの支柱等を含むことができ、本願の実施形態はこれを制限しない。図３Ａ及び図３Ｂに示すように、ケージはさらに、ケージ本体の第二面の対向する両側に設けられ且つ荷物がケージ本体から落下することを防止する制限バッフルをさらに備える。
【0018】
倉庫無人フォークリフトは、産業用パソコンと画像取得デバイスを備え、該産業用パソコンと画像取得デバイスとは同一のイントラネットにあり、具体的には図４に示す倉庫無人フォークリフトの構造の模式図を参照する。具体的に、倉庫無人フォークリフトは、第一ケージを第二ケージに積上げる前に、画像取得デバイスによって、該第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、且つ倉庫無人フォークリフトにおける産業用パソコンが画像取得デバイスによって収集されたケージ画像を取得する。例えば、倉庫無人フォークリフトがフォークリフトに置かれた第一ケージを第二ケージに積上げる必要がある場合、倉庫無人フォークリフトにおける画像取得デバイスは、第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、そして、倉庫無人フォークリフトにおける産業用パソコンによって、収集されたケージ画像を取得する。該画像取得デバイスは、様々な画像収集装置であってもよく、例えば、ハイビジョンカメラ、ハイビジョン車載カメラ、電荷結合カメラ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ ｃａｍｅｒａ、ＣＣＤカメラ）、スキャナー又は撮影機能付きの携帯電話、タブレットコンピュータ等が挙げられるが、それらに限定されない。倉庫無人フォークリフトは様々な無人運転装置であってもよく、例えば、無人車又は無人機等が挙げられるがそれらに限定されない。
【0019】
ステップ２０４、第一の検出モデルによって該ケージ画像に対して第一の目標検出を行い、該ケージ画像から、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別する。
【0020】
第一の検出モデルはコンピュータ装置の検出モデルであり、例えば、倉庫無人フォークリフトの産業用パソコンにおいてＯｐｅｎＶＩＮＯ（Ｏｐｅｎ Ｖｉｓｕａｌ Ｉｎｆｅｒｅｎｃｅ＆Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｏｐｔｉｍｉｚａｔｉｏｎ、開放式視覚推論及びニューラルネットワーク最適化、該ＯｐｅｎＶＩＮＯはアプリケーションプログラム及び解決手段を高速に開発する総合ツールキットである）によってデプロイされた検出モデルＹｏｌｏｖ５（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ ｖ５、該アルゴリズムはＹｏｌｏアルゴリズムシリーズに属し、ディープニューラルネットワークに基づく対象識別及び位置決めアルゴリズムであり、より高速且つ効率的に目標検出を行うために用いられる）が挙げられ、該検出モデルは産業用パソコンに設定されたプログラムによって実行される。
【0021】
具体的に、コンピュータ装置は取得されたケージ画像を第一の検出モデルに入力して、第一の目標検出を行い、該ケージ画像に基づいて第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別する。例えば、倉庫無人フォークリフトの産業用パソコンはケージ画像を、ＯｐｅｎＶＩＮＯによってデプロイされた第一の検出モデルＹｏｌｏｖ５に入力して、第一の目標検出を行い、該目標検出によって第一ケージに対応する第一の積上げ装置、及び第二ケージに対応する第二の積上げ装置を識別する。
【0022】
ステップ２０６、該第一の積上げ装置の第一の位置情報と該第二の積上げ装置の第二の位置情報とを決定し、且つ該第一の位置情報と該第二の位置情報とに基づいて第一の積上げ結果を決定する。
【0023】
第一の位置情報は、第一の積上げ装置の座標情報であり、第二の位置情報は、第二の積上げ装置の座標情報である。第一の積上げ結果は、該第一ケージが第二ケージに積上げられるることができるか否かであり、積上げられることができると、結果がＳｕｃｃｅｓｓで、１と記録することができる。積上げられることができないと、第一の積上げ結果がＦａｉｌで、０と記録することができる。
【0024】
具体的に、コンピュータ装置は、第一の検出モデルによって識別された第一の積上げ装置と第二の積上げ装置とに基づいて、第一の積上げ装置の第一の座標情報及び第二の積上げ装置の第二の座標情報を決定し、且つ第一の座標情報と第二の座標情報とに基づいて第一の積上げ結果を決定する。例えば、倉庫無人フォークリフトにおける産業用パソコンは、第一の検出モデルによって識別された第一の積上げ装置と第二の積上げ装置とに基づいて、第一の積上げ装置の第一の座標情報及び第二の積上げ装置の第二の座標情報を算出し、且つ第一の座標情報と第二の座標情報とに基づいて第一の積上げ結果を決定し、第一ケージが第二ケージに積上げられることができる場合、第一の積上げ結果がＳｕｃｃｅｓｓで、１と記録することができる。第一ケージが第二ケージに積上げられることができない場合、第一の積上げ結果がＦａｉｌで、０と記録することができる。
【0025】
ステップ２０８、第二の検出モデルによって該ケージ画像に対して第二の目標検出を行い、ケージ画像の特徴情報を抽出し、且つ特徴情報に基づいて第二の積上げ結果を取得する。
【0026】
第二の検出モデルは、産業用パソコンにおいてＯｐｅｎＶＩＮＯ（Ｏｐｅｎ Ｖｉｓｕａｌ Ｉｎｆｅｒｅｎｃｅ＆Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｏｐｔｉｍｉｚａｔｉｏｎ、開放式視覚推論及びニューラルネットワーク最適化、該ＯｐｅｎＶＩＮＯはアプリケーションプログラム及び解決手段を高速に開発する総合ツールキットである）によってデプロイされた検出モデルＹｏｌｏｖ５（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ ｖ５、より高速且つ効率的に目標検出を行うために用いられる）であり、該検出モデルは産業用パソコンに設定されたプログラムによって実行される。該第二の検出モデルは、入力された画像に基づいて検出結果を直接に取得できる。第二の積上げ結果は、該第一ケージが第二ケージに積上げられることができるか否かであり、積上げられることができると、結果がＳｕｃｃｅｓｓで、１と記録することができる。積上げられることができないと、第二の積上げ結果がＦａｉｌで、０と記録することができる。
【0027】
具体的に、コンピュータ装置は、取得されたケージ画像を第二の検出モデルに入力して、第二の目標検出を行い、ケージ画像に対応する特徴情報を抽出し、該特徴情報に基づいて第二の積上げ結果を取得する。当該特徴情報は例えば画像特徴であることができる。例えば、倉庫無人フォークリフトの産業用パソコンはケージ画像を、ＯｐｅｎＶＩＮＯによってデプロイされた第二の検出モデルＹｏｌｏｖ５に入力して、第二の目標検出を行い、ケージ画像に対応する画像特徴を抽出し、該画像特徴に基づいて、該第二の検出モデルは第二の積上げ結果を直接に取得する。第一ケージが第二ケージに積上げられることができる場合、第二の積上げ結果がＳｕｃｃｅｓｓで、１と記録することができる。第一ケージが第二ケージに積上げられることができない場合、第二の積上げ結果がＦａｉｌで、０と記録することができる。
【0028】
ステップ２１０、該第一の積上げ結果と該第二の積上げ結果とに基づいて、最終積上げ結果を決定する、即ち、第一ケージを第二ケージに積上げることができるか否かを決定する。第一ケージが第二ケージに積上げられることができる場合、該第一ケージを該第二ケージに積上げる操作がトリガーされ、逆に、第一ケージが第二ケージに積上げられることができない場合、該第一ケージを該第二ケージに積上げることを阻止する操作がトリガーされる。
【0029】
具体的に、コンピュータ装置は、第一の積上げ装置と第二の積上げ装置とに基づいて、第一ケージと第二ケージの最終積上げ結果を決定する。該最終積上げ結果は、倉庫無人フォークリフトの産業用パソコンが該第一ケージを第二ケージに積上げる操作をトリガーする結果、及び、倉庫無人フォークリフトが第一ケージを第二ケージに積上げることを阻止する結果を含む。当該阻止操作は、提示情報であってもよく、倉庫無人フォークリフトが第一ケージを第二ケージに積上げることを直接に禁止する操作であってもよい。
【0030】
上記ケージ積上げの確認方法では、第一ケージを第二ケージに積上げる前に、第一ケージと第二ケージのそれぞれの積上げ装置を撮影して、ケージ画像を取得する。こうして、２つの検出モデルによってケージ画像における２つのケージの積上げ装置をそれぞれ識別し、第一の検出モデルによって２つのケージの積上げ装置の位置情報を取得して、第一の積上げ結果を取得して、第二の検出モデルによって第二の積上げ結果を取得する。こうすることで、２つの検出モデルを使用してそれぞれ異なる方式で取得した積上げ結果に基づいてそれらを統合して、最終積上げ結果を取得できる。よって、２つの検出モデルによって、ケージが積上げられることができるか否かを素早く、正確に決定することができ、従来技術における２つのケージが積上げられることができるか否かを人為的に確認するのに対して、ケージ積上げの確認効率を大幅に向上させる。
【0031】
一実施形態において、該ケージ画像は第一のケージ画像と第二のケージ画像とを含み、該第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、ケージ画像を取得することは、該第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得すること、及び該第一ケージの第一方位とは異なる第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得すること、を含む。
【0032】
画像取得デバイスは、倉庫無人フォークリフトの両側に設けられ、即ち、それぞれが第一の画像取得デバイス及び第二の画像取得デバイスであり、具体的には図４における倉庫無人フォークリフト上の画像取得デバイスの取り付け位置を参照する。該第一方位と第二方位は倉庫無人フォークリフトの両側である。該第一の画像取得デバイスは、第二方位に対応する画像を取得するために用いられ、該第二の画像取得デバイスは、第一方位に対応する画像を取得するために用いられる。第一方位は倉庫無人フォークリフトの左側であってもよく、第二方位は倉庫無人フォークリフトの右側であってもよい。
【0033】
具体的に、第一ケージを第二ケージに積上げる前に、第二の画像取得デバイスは、該第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得する。第一の画像取得デバイスは、該第一ケージの第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得する。例えば、倉庫無人フォークリフトがフォークリフトに置かれた第一ケージを第二ケージに積上げる必要がある場合、倉庫無人フォークリフトの左側における第二の画像取得デバイスは、該第一ケージと第二ケージの右側における積上げ装置を撮影し、第一のケージ画像を取得し、倉庫無人フォークリフトの右側における第一の画像取得デバイスは、第一ケージと第二ケージの左側における積上げ装置を撮影し、第二のケージ画像を取得する。
【0034】
本実施形態において、第一ケージを第二ケージに積上げる前に、該第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得すること、及び該第一ケージの第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得することによって、より詳細なケージ画像を取得でき、ケージ積上げの最終積上げ結果を決定することに役立ち、さらに最終積上げ結果の信頼性及び正確性を向上させることができる。
【0035】
一実施形態において、当該積上げ装置はスタンド、及び該スタンドとセットになる支柱を含む。図５に示すように、該第一ケージを第二ケージに積上げる前に、第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得すること、及び、該第一ケージの第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得することは、以下の内容を含む。
【0036】
ステップ５０２、第一ケージを第二ケージに積上げる前に、第一ケージの第一方位に位置するスタンド及び第二ケージの第一方位に位置する支柱を撮影し、第一のケージ画像を取得する。
【0037】
具体的に、第一ケージを第二ケージに積上げる前に、倉庫無人フォークリフトの第二の画像取得デバイスは、該第一ケージの第一方位に位置するスタンド及び第二ケージの第一方位に位置する支柱を撮影し、第一のケージ画像を取得する。例えば、倉庫無人フォークリフトがフォークリフトに置かれた第一ケージを第二ケージに積上げる必要がある場合、倉庫無人フォークリフトの左側における第二の画像取得デバイスは、該第一ケージの右側におけるスタンド、及び、第二ケージの右側における支柱を撮影し、第一のケージ画像を取得する。
【0038】
ステップ５０４、第一ケージの第二方位に位置するスタンド及び第二ケージの第二方位に位置する支柱を撮影し、第二のケージ画像を取得する。
【0039】
具体的に、倉庫無人フォークリフトの第一の画像取得デバイスは、該第一ケージの第二方位に位置するスタンド及び第二ケージの第二方位に位置する支柱を撮影し、第二のケージ画像を取得する。例えば、倉庫無人フォークリフトの右側における第一の画像取得デバイスは、該第一ケージの左側におけるスタンド、及び、第二ケージの左側における支柱を撮影し、第二のケージ画像を取得する。
【0040】
本実施形態において、第一ケージを第二ケージに積上げる前に、第一ケージの第一方位に位置するスタンド及び第二ケージの第一方位に位置する支柱を撮影し、第一のケージ画像を取得する。第一ケージの第二方位に位置するスタンド及び第二ケージの第二方位に位置する支柱を撮影し、第二のケージ画像を取得することによって、より詳細なケージ画像を取得でき、ケージ積上げの最終積上げ結果を決定することに役立ち、さらに最終積上げ結果の信頼性及び正確性を向上させることができる。
【0041】
一実施形態において、第一の検出モデルによって該ケージ画像に対して第一の目標検出を行い、該ケージ画像から、該第一ケージに対応する第一の積上げ装置及び該第二ケージに対応する第二の積上げ装置を識別することは、
第一の検出モデルによって該ケージ画像の特徴情報を取得し、且つ該特徴情報に基づいて、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別する、ことを含む。
第一の検出モデルによって該ケージ画像の特徴情報を取得し、且つ該特徴情報に基づいて、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別する、ことを含む。
【0042】
第一の検出モデルは、産業用パソコンにおいてＯｐｅｎＶＩＮＯ（該ＯｐｅｎＶＩＮＯはアプリケーションプログラム及び解決手段を高速に開発する総合ツールキットである）によってデプロイされた検出モデルＹｏｌｏｖ５（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ ｖ５はより高速且つ効率的に目標検出を行うために用いられる）であり、該検出モデルは産業用パソコンに設定されたプログラムによって実行される。
【0043】
具体的に、コンピュータ装置は、取得された画像を第一の検出モデルに入力して、該第一の検出モデルがリアルタイムに取得した該ケージ画像における各対象の特徴情報によって、各対象の特徴情報に基づいて各対象を分類することで、第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別する。例えば、倉庫無人フォークリフトの産業用パソコンはケージ画像を、ＯｐｅｎＶＩＮＯによってデプロイされた第一の検出モデルＹｏｌｏｖ５に入力して、該第一の検出モデルがリアルタイムに取得した該ケージ画像における各対象の特徴情報によって、各対象の特徴情報に基づいて各対象を分類することで、第一ケージの第一の積上げ装置及び第二ケージの第二の積上げ装置を識別する。
【0044】
本実施形態において、第一の検出モデルによって該ケージ画像の特徴情報を取得し、且つ該特徴情報によって、該第一ケージに対応する第一の積上げ装置及び該第二ケージに対応する第二の積上げ装置を識別して、第一の検出モデルによって取得された第一の積上げ装置と第二の積上げ装置との情報をリアルタイムに取得でき、よって、ケージ積上げの最終積上げ結果を決定することに役立ち、さらに最終積上げ結果の信頼性及び正確性を向上させることができる。
【0045】
一実施形態において、第一ケージは、対向する第一面Ｂと第二面Ａとを有し、第一面Ｂは第一ケージの底面であってもよく、第二面Ａは第一ケージの上面であってもよい。例えば、第一面Ｂは、該第一ケージが第二ケージに積上げられた時に、第一ケージの第二ケージに近接又は接触する面を指す。該第一ケージの第一面Ｂに第一のスタンドＤが設けられ、該第一ケージの第二面Ａに第一の支柱Ｃが設けられる。該第二ケージの第一面Ｂ’に第二のスタンドＤ’が設けられ、該第二ケージの第二面Ａ’に第二の支柱Ｃ’が設けられる。第一ケージが第二ケージに積上げられた時に、第一のスタンドＤは第二の支柱Ｃ’と積上げ組み合わせを構成する。図６に示すように、該第一の積上げ装置の第一の位置情報と該第二の積上げ装置の第二の位置情報とを決定し、且つ該第一の位置情報と該第二の位置情報とに基づいて第一の積上げ結果を決定することは、以下の内容を含む。
【0046】
ステップ６０２、該第一の積上げ装置における第一のスタンドの第一の位置情報、及び該第二の積上げ装置における第二の支柱の第二の位置情報を決定する。
【0047】
該第一の積上げ装置における第一のスタンドの第一の位置情報は、第一ケージの第一面における第一のスタンドの第一の座標情報であり、該第二の積上げ装置における第二の支柱の第二の位置情報は、第二ケージの第二面における第二の支柱の第二の座標情報である。
【0048】
具体的に、コンピュータ装置は、第一のスタンドと第二の支柱とから構成された矩形枠の中点を、第一のスタンドと第二の支柱の位置決め点とし、画像取得デバイス（例えば、カメラ）の内部パラメータと外部パラメータと、各画像取得デバイスの座標系における地面の方程式とに基づいて、第一の積上げ装置における第一のスタンドの第一の位置情報をリアルタイムに取得し、及び該第二の積上げ装置における第二の支柱の第二の位置情報を決定する。例えば、倉庫無人フォークリフトの産業用パソコンは、第一のスタンドと第二の支柱とから構成された矩形枠の中点を、第一のスタンドと第二の支柱の位置決め点とし、カメラの焦点距離、画素等の内部パラメータとカメラの位置、回転方向等の外部パラメータ、及び各画像取得デバイスの座標系における地面の平面方程式（即ち、空間座標系には任意の平面がｘｙｚの三元一次方程式Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０で表すことができる（そのうち、Ａ、Ｂ、Ｃ、Ｄは定数である））に基づいて、第一の積上げ装置における第一のスタンドの第一の座標情報と、第二の積上げ装置における第二の支柱の第二の座標情報とをリアルタイムに取得する。
【0049】
ステップ６０４、該第一の位置情報と該第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得し、積上げ状態では、該積上げ組み合わせにおける第一のスタンドと第二の支柱は同一の垂直方位にアラインされる。
【0050】
図３Ａ及び図３Ｂに示すケージの構造の模式図を参照し、同じケージについて、４つの支柱と４つのスタンドを含む。第一の積上げ装置における第一のスタンドと第二の積上げ装置における第二の支柱について、積上げ状態では、同一の垂直方位にアラインされる支柱とスタンドとは、１つの積上げ組み合わせを構成するため、４つの積上げ組み合わせを有することができる。
【0051】
具体的に、コンピュータ装置は、リアルタイムに取得された第一の位置情報と該第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を計算する。
【0052】
一実施形態において、各積上げ組み合わせに対し、コンピュータ装置は、第一の積上げ装置における第一のスタンドの第一の座標情報と、第二の積上げ装置における第二の支柱の第二の座標情報とを減算し、その減算結果が、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を表す。
【0053】
ステップ６０６、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離をそれぞれ距離閾値と照合し、各積上げ組み合わせの照合結果を取得する。
【0054】
具体的に、コンピュータ装置は、取得された各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離をそれぞれ距離閾値と照合し、各積上げ組み合わせの照合結果を取得する。各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離が距離閾値未満である場合、該積上げ組み合わせの照合結果は、該積上げ組み合わせが積上げられることができるということである。各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離が距離閾値以上である場合、該積上げ組み合わせの照合結果は、該積上げ組み合わせが積上げられることができないということである。距離閾値は現場の実際のケージの形状に応じて修正でき、一般的には１ｃｍに設定する。
【0055】
ステップ６０８、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定する。
【0056】
具体的に、コンピュータ装置は、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定する。
【0057】
一実施形態において、前記各積上げ組み合わせのそれぞれを前記第一の積上げ結果とする。具体的に、コンピュータ装置は、各積上げ組み合わせの照合結果を、直接に第一の積上げ結果とすることができる。つまり、第一の積上げ結果には、各積上げ組み合わせが積上げられることができるか否かの結果が含まれる。
【0058】
他の実施形態において、コンピュータ装置は、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定することができる。例えば、各積上げ結果がいずれも、前記第一ケージが前記第二ケージに積上げられることができることを指示する場合、前記第一の積上げ結果は、前記第一ケージが前記第二ケージに積上げられることができるということである。具体的に、全ての積上げ組み合わせの照合結果において、全ての照合結果が積上げられることができることを表徴する場合、第一の積上げ結果は積上げられることができるということである。少なくとも１つの照合結果標準が積上げられることができないことを表徴する場合、第一の積上げ結果は積上げられることができないということである。
【0059】
本実施形態において、まず、該第一の積上げ装置における第一のスタンドの第一の位置情報及び該第二の積上げ装置における第二の支柱の第二の位置情報を決定する。そして、該第一の位置情報と該第二の位置情報に基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得する。さらに、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離をそれぞれ距離閾値と照合し、各積上げ組み合わせの照合結果を取得する。最後に、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定する。よって、後続の第二の積上げ結果を組み合わせて最終積上げ結果を決定することに役立ち、さらにケージ積上げの効率を向上させることができる。
【0060】
一実施形態において、図７に示すように、該第二の検出モデルによって該ケージ画像に対して第二の目標検出を行い、ケージ画像の特徴情報を抽出し、且つ該特徴情報に基づいて、第二の積上げ結果を直接に出力する前に、以下の内容をさらに含む。
【0061】
ステップ７０２、ケージ画像サンプルを取得する。該ケージ画像サンプルは、積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含む。
【0062】
具体的に、倉庫無人フォークリフトの画像取得デバイスによって、コンピュータ装置は、積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含むケージ画像サンプルを１つ以上取得する。
【0063】
ステップ７０４、該ケージ画像サンプル、及び、該ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得する。
【0064】
具体的に、コンピュータ装置は、１つ以上のケージ画像サンプル、及び、該ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、Ｙｏｌｏｖ５に基づく第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得する。該第二の検出モデルはケージ画像サンプルによって、ケージの積上げ結果を直接に取得できる。
【0065】
本実施形態において、まず、ケージ画像サンプルを取得する。該ケージ画像サンプルは、積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含む。最後に、該ケージ画像サンプル、及び該ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得する。そのため、実際の場面では、取得されたケージ画像をトレーニングされた第二の検出モデルに入力して、第二の積上げ結果を直接に取得でき、よって、後続の第一の積上げ結果を組み合わせて最終積上げ結果を決定することに役立ち、さらにケージ積上げの効率を向上させることができる。
【0066】
一実施形態において、図８に示すように、該第一の積上げ結果と該第二の積上げ結果とに基づいて、最終積上げ結果を決定することは、以下の内容を含む。
【0067】
ステップ８０２、積上げ確認モデルによって、該第一の積上げ結果と該第二の積上げ結果とを加重加算して、積上げデータを取得する。
【0068】
積上げ確認モデルはレーニングされた分類器であり、レーニングされた分類器によって第一の積上げ結果の重みと、第二の積上げ結果の重みを取得することができ、且つ積上げ閾値を決定することができる。
【0069】
具体的に、コンピュータ装置は、第一の積上げ結果と第二の積上げ結果を積上げ確認モデルに入力し、積上げ確認モデルにおける第一の積上げ結果の重みと第二の積上げ結果の重みによって、第一の積上げ結果と第二の積上げ結果とを加重加算して、積上げデータを取得する。
【0070】
一実施形態において、該積上げ確認モデルはレーニングされた分類器である。コンピュータ装置は、第一の積上げ結果における各積上げ組み合わせの照合結果を分類器に入力するとともに、第二の積上げ結果における各積上げ組み合わせの照合結果を分類器に入力し、分類器における２種類の積上げ結果の重み分布に基づいて、第一の積上げ結果と第一の積上げ結果に対応する重みとを乗算して、第一の積上げデータを取得し、及び第二の積上げ結果と第二の積上げ結果に対応する重みとを乗算して、第二の積上げデータを取得して、最後に第一の積上げデータと第二の積上げデータとを加算して積上げデータを取得する。
【0071】
ステップ８０４、積上げデータを積上げ閾値と照合し、照合結果に基づいて最終積上げ結果を取得する。
【0072】
具体的に、コンピュータ装置は、該積上げ確認モデルによって、積上げデータを積上げ閾値と照合し、照合結果に基づいて最終積上げ結果を取得する。各積上げ結果の状態がいずれも積上げられることができることである場合、該最終積上げ結果は積上げられることができると決定されることである。最終積上げ結果が積上げられることができることである場合、ＪｓｏｎＲＰＣ（Ｊｓｏｎに基づく言語間遠隔呼び出し転送プロトコル）通信に基づいて、感知プログラムは倉庫無人フォークリフトのメインプログラムに最終的な２つのケージの積上げ状態を出力する。倉庫無人フォークリフトは最終積上げ結果を受信し、最終積上げ結果が積上げられることができることである場合、第一ケージを第二ケージに積上げる操作がトリガーされ、第一ケージを第二ケージの上に直接に置く。最終積上げ結果が積上げられることができないことである場合、第一ケージを第二ケージに積上げることを阻止する操作がトリガーされ、倉庫無人フォークリフトはエラーを報告し、現在の動作を停止する。
【0073】
本実施形態において、まず、積上げ確認モデルに基づいて、該第一の積上げ結果と該第二の積上げ結果とを加重加算して、積上げデータを取得できる。そして、積上げデータを積上げ閾値と照合し、照合結果に基づいて最終積上げ結果を取得できる。したがって、積上げ確認モデルに基づいて、２種類の積上げ結果を総合的に考慮することができ、よって、２つのケージが積上げられることができるか否かを素早く且つ正確に判断でき、さらにケージ積上げの効率を向上させることができる。
【0074】
図２、５～８のフロー図における各ステップは、矢印の指示に従って順次に表示されているが、必ずしも矢印で示す順で実行される必要はないと理解すべきである。本願明細書に明確な説明がない限り、これらのステップの実行は厳密な順序に制限されず、他の順序で実行されてもよい。それに、図２、５～８における少なくとも一部のステップは、複数のステップ又は複数の段階を含むことができ、これらのステップ又は段階は必ずしも同じタイミングで実行して完了される必要はなく、異なるタイミングで実行されることができる。これらのステップ又は段階の実行順序も必ずしも順次に行われる必要はなく、他のステップ、又は、他のステップにおけるステップ又は段階の少なくとも一部と順番に又は交互に実行されることができる。
【0075】
一実施形態において、図９に示すように、ケージ積上げの確認装置が提供される。該装置９００は、取得モジュール９０２、第一の処理モジュール９０４、第一の決定モジュール９０６、第二の処理モジュール９０８及び第二の決定モジュール９１０を含む。
【0076】
取得モジュール９０２は、該第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置を撮影し、ケージ画像を取得するために用いられる。該取得モジュールはカメラ、ビデオカメラ、カメラヘッド等の撮像機能を有する装置であってもよい。
【0077】
第一の処理モジュール９０４は、第一の検出モデルによって前記ケージ画像に対して第一の目標検出を行い、該ケージ画像から、該第一ケージの第一の積上げ装置、及び該第二ケージの第二の積上げ装置を識別するために用いられる。
【0078】
第一の決定モジュール９０６は、該第一の積上げ装置の第一の位置情報と該第二の積上げ装置の第二の位置情報とに基づいて第一の積上げ結果を決定するために用いられる。
【0079】
第二の処理モジュール９０８は、第二の検出モデルによって前記ケージ画像に対して第二の目標検出を行い、ケージ画像の特徴情報を抽出し、且つ該特徴情報に基づいて第二の積上げ結果を取得するために用いられる。
【0080】
第二の決定モジュール９１０は、該第一の積上げ結果と前記第二の積上げ結果とに基づいて、最終積上げ結果を決定する、即ち第一ケージを第二ケージに積上げることができるか否かを決定するために用いられる。第一ケージを第二ケージに積上げることができると決定される場合、該第一ケージを該第二ケージに積上げる操作がトリガーされ、第一ケージを第二ケージに積上げることができないと決定される場合、該第一ケージを該第二ケージに積上げることを阻止する操作がトリガーされる。
【0081】
一実施形態において、該取得モジュール９０２は、第一ケージを第二ケージに積上げる前に、該第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得し、及び、該第一ケージの第一方位とは異なる第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得するために用いられる。
【0082】
一実施形態において、該取得モジュール９０２は、第一ケージを第二ケージに積上げる前に、第一ケージの第一方位に位置するスタンド及び第二ケージの第一方位に位置する支柱を撮影し、第一のケージ画像を取得し、第一ケージの第二方位に位置するスタンド及び第二ケージの第二方位に位置する支柱を撮影し、第二のケージ画像を取得するために用いられる。
【0083】
一実施形態において、該第一の処理モジュール９０４は、第一の検出モデルによって該ケージ画像の特徴情報を取得し、且つ該特徴情報に基づいて該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別するために用いられる。
【0084】
一実施形態において、該第一の決定モジュール９０６は、該第一の積上げ装置における第一のスタンドの第一の位置情報、及び該第二の積上げ装置における第二の支柱の第二の位置情報を決定し、該第一の位置情報と該第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得するために用いられる。前記第一ケージが前記第二ケージに積上げられた状態で、同一の積上げ組み合わせにおける第一のスタンドと第二の支柱は同一の垂直方位にアラインされる。該第一の決定モジュール９０６はさらに、各積上げ組み合わせに対し、その第一のスタンドと第二の支柱との間の距離を距離閾値と照合し、各積上げ組み合わせの照合結果を取得し、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定するために用いられる。
【0085】
一実施形態において、図１０に示すように、該装置９００は、ケージ画像サンプルを取得するためのトレーニングモジュール９１２をさらに含み、該ケージ画像サンプルは、積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含む。トレーニングモジュール９１２は該ケージ画像サンプル、及び、該ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得するために用いられる。
【0086】
一実施形態において、該第二の決定モジュールは、積上げ確認モデルによって該第一の積上げ結果と該第二の積上げ結果とを加重加算して、積上げデータを取得し、積上げデータを積上げ閾値と照合し、照合結果に基づいて最終積上げ結果を取得するために用いられる。
【0087】
ケージ積上げの確認装置の具体的な限定は、前文にケージ積上げの確認方法に対する限定を参照し、ここでは説明を省略する。上記ケージ積上げの確認装置における各モジュールは、全部又は一部がソフトウェア、ハードウェア及びその組み合わせによって実現されることができる。上記各モジュールは、プロセッサが上記各モジュールに対応する操作を呼び出して実行しやすくするように、ハードウェアの形でコンピュータ装置におけるプロセッサに埋め込まれ又は独立してもよく、ソフトウェアの形でコンピュータ装置におけるメモリに記憶されてもよい。
【0088】
一実施形態において、コンピュータ装置が提供される。該コンピュータ装置はサーバであってもよく、その内部構造図は図１１に示されている。このコンピュータ装置は、システムバスを介して接続されているプロセッサと、メモリと、ネットワークインタフェースとを含む。該コンピュータ装置のプロセッサは、計算及び制御能力を提供するために用いられる。該コンピュータ装置のメモリは、オペレーティングシステム、コンピュータプログラム及びデータベースが記憶されている不揮発性メモリと、不揮発性記憶媒体におけるオペレーティングシステムやコンピュータプログラムの実行環境を提供する内部メモリとを含む。該コンピュータ装置のデータベースは、ケージ積上げの確認データを記憶するために用いられる。該コンピュータ装置のネットワークインタフェースは外部の端末とネットワークを介して通信するために用いられる。前記コンピュータプログラムはプロセッサによって実行されるときに、ケージ積上げの確認方法を実行する。
【0089】
このプロセッサは、カメラ等の画像取得装置と接続しており、画像取得装置によって上述したケージ画像を取得する。この画像取得装置は、該コンピュータ装置の構成要素であってもよく、コンピュータ装置の外部要素であってもよい。
【0090】
当業者であれば理解されるように、図１１に示す構造は、本願発明に関連する一部の構造のブロック図にすぎず、本願発明が適用されるコンピュータ装置を限定するものではなく、具体的なコンピュータ装置は図示される部品よりも多い又は少ない部品を含み、又はいくつかの部品を組み合わせ、又は異なる部品配置を有することができる。
【0091】
一実施形態において、コンピュータプログラムが記憶されたメモリと、プロセッサとを含むコンピュータ装置が提供される。該プロセッサがコンピュータプログラムを実行するときに、
画像取得デバイスによって該第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、ケージ画像を取得するステップと、
第一の検出モデルによって該ケージ画像に対して第一の目標検出を行い、該ケージ画像から、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別するステップと、
該第一の積上げ装置の第一の位置情報と該第二の積上げ装置の第二の位置情報とを決定し、且つ該第一の位置情報と該第二の位置情報とに基づいて第一の積上げ結果を決定するステップと、
第二の検出モデルによって該ケージ画像に対して第二の目標検出を行い、特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得するステップと、
該第一の積上げ結果と該第二の積上げ結果とに基づいて、第一ケージを第二ケージに積上げることができるか否かを決定するステップと、
第一ケージを第二ケージに積上げることができると決定される場合、該第一ケージを該第二ケージに積上げる操作がトリガーされ、第一ケージを第二ケージに積上げることができないと決定される場合、該第一ケージを該第二ケージに積上げることを阻止する操作がトリガーされるステップとを実現する。
画像取得デバイスによって該第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、ケージ画像を取得するステップと、
第一の検出モデルによって該ケージ画像に対して第一の目標検出を行い、該ケージ画像から、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別するステップと、
該第一の積上げ装置の第一の位置情報と該第二の積上げ装置の第二の位置情報とを決定し、且つ該第一の位置情報と該第二の位置情報とに基づいて第一の積上げ結果を決定するステップと、
第二の検出モデルによって該ケージ画像に対して第二の目標検出を行い、特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得するステップと、
該第一の積上げ結果と該第二の積上げ結果とに基づいて、第一ケージを第二ケージに積上げることができるか否かを決定するステップと、
第一ケージを第二ケージに積上げることができると決定される場合、該第一ケージを該第二ケージに積上げる操作がトリガーされ、第一ケージを第二ケージに積上げることができないと決定される場合、該第一ケージを該第二ケージに積上げることを阻止する操作がトリガーされるステップとを実現する。
【0092】
一実施形態において、プロセッサがコンピュータプログラムを実行するときに、以下のステップをさらに実現する。
第一ケージを第二ケージに積上げる前に、該第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得し、及び、該第一ケージの第一方位とは異なる第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得する。
第一ケージを第二ケージに積上げる前に、該第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得し、及び、該第一ケージの第一方位とは異なる第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得する。
【0093】
一実施形態において、プロセッサがコンピュータプログラムを実行するときに、以下のステップをさらに実現する。
第一ケージを第二ケージに積上げる前に、第一ケージの第一方位に位置するスタンド及び第二ケージの第一方位に位置する支柱を撮影し、第一のケージ画像を取得し、第一ケージの第二方位に位置するスタンド及び第二ケージの第二方位に位置する支柱を撮影し、第二のケージ画像を取得する。
第一ケージを第二ケージに積上げる前に、第一ケージの第一方位に位置するスタンド及び第二ケージの第一方位に位置する支柱を撮影し、第一のケージ画像を取得し、第一ケージの第二方位に位置するスタンド及び第二ケージの第二方位に位置する支柱を撮影し、第二のケージ画像を取得する。
【0094】
一実施形態において、プロセッサがコンピュータプログラムを実行するときに、以下のステップをさらに実現する。
第一の検出モデルによって該ケージ画像の特徴情報を取得し、且つ該特徴情報に基づいて第一ケージの第一の積上げ装置及び第二ケージの第二の積上げ装置を識別する。
第一の検出モデルによって該ケージ画像の特徴情報を取得し、且つ該特徴情報に基づいて第一ケージの第一の積上げ装置及び第二ケージの第二の積上げ装置を識別する。
【0095】
一実施形態において、プロセッサがコンピュータプログラムを実行するときに、以下のステップをさらに実現する。
該第一の積上げ装置における第一のスタンドの第一の位置情報及び該第二の積上げ装置における第二の支柱の第二の位置情報を決定し、該第一の位置情報と第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得し、各積上げ組み合わせに対し、その第一のスタンドと第二の支柱との間の距離をそれぞれ距離閾値と照合し、各積上げ組み合わせの照合結果を取得し、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定する。前記第一ケージが前記第二ケージに積上げられた状態で、同一の積上げ組み合わせにおける第一のスタンドと第二の支柱は同一の垂直方位にアラインされる。
該第一の積上げ装置における第一のスタンドの第一の位置情報及び該第二の積上げ装置における第二の支柱の第二の位置情報を決定し、該第一の位置情報と第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得し、各積上げ組み合わせに対し、その第一のスタンドと第二の支柱との間の距離をそれぞれ距離閾値と照合し、各積上げ組み合わせの照合結果を取得し、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定する。前記第一ケージが前記第二ケージに積上げられた状態で、同一の積上げ組み合わせにおける第一のスタンドと第二の支柱は同一の垂直方位にアラインされる。
【0096】
一実施形態において、プロセッサがコンピュータプログラムを実行するときに、以下のステップをさらに実現する。
ケージ画像サンプルを取得する。該ケージ画像サンプルは、積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含む。該ケージ画像サンプル、及び、該ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得する。
ケージ画像サンプルを取得する。該ケージ画像サンプルは、積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含む。該ケージ画像サンプル、及び、該ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得する。
【0097】
一実施形態において、プロセッサがコンピュータプログラムを実行するときに、以下のステップをさらに実現する。
積上げ確認モデルによって、該第一の積上げ結果と該第二の積上げ結果とを加重加算して、積上げデータを取得し、積上げデータを積上げ閾値と照合し、照合結果に基づいて最終積上げ結果を取得する。
積上げ確認モデルによって、該第一の積上げ結果と該第二の積上げ結果とを加重加算して、積上げデータを取得し、積上げデータを積上げ閾値と照合し、照合結果に基づいて最終積上げ結果を取得する。
【0098】
一実施形態において、コンピュータプログラムが記憶された不揮発性コンピュータ読み取り可能な記憶媒体が提供される。コンピュータプログラムがコンピュータによって実行される場合に、コンピュータに、
画像取得デバイスによって第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、ケージ画像を取得するステップと、
第一の検出モデルによって該ケージ画像に対して第一の目標検出を行い、該ケージ画像から、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別するステップと、
該第一の積上げ装置の第一の位置情報と該第二の積上げ装置の第二の位置情報とを決定し、且つ該第一の位置情報と該第二の位置情報とに基づいて第一の積上げ結果を決定するステップと、
第二の検出モデルによって該ケージ画像に対して第二の目標検出を行い、特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得するステップと、
該第一の積上げ結果と該第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定するステップと、を実現させる。
画像取得デバイスによって第一ケージの第一の積上げ装置と第二ケージの第二の積上げ装置に対して画像収集を行い、ケージ画像を取得するステップと、
第一の検出モデルによって該ケージ画像に対して第一の目標検出を行い、該ケージ画像から、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別するステップと、
該第一の積上げ装置の第一の位置情報と該第二の積上げ装置の第二の位置情報とを決定し、且つ該第一の位置情報と該第二の位置情報とに基づいて第一の積上げ結果を決定するステップと、
第二の検出モデルによって該ケージ画像に対して第二の目標検出を行い、特徴情報を抽出し、且つ画像特徴に基づいて第二の積上げ結果を取得するステップと、
該第一の積上げ結果と該第二の積上げ結果とに基づいて、前記第一ケージを前記第二ケージに積上げることができるか否かを決定するステップと、を実現させる。
【0099】
一実施形態において、コンピュータプログラムがコンピュータによって実行される場合に、コンピュータが以下のステップをさらに実現する。
画像取得デバイスによって、該第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得し、及び、該第一ケージの第一方位とは異なる第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得する。
画像取得デバイスによって、該第一ケージの第一方位に位置する第一の積上げ装置と第二ケージの第一方位に位置する第二の積上げ装置を撮影し、第一のケージ画像を取得し、及び、該第一ケージの第一方位とは異なる第二方位に位置する第一の積上げ装置と第二ケージの第二方位に位置する第二の積上げ装置を撮影し、第二のケージ画像を取得する。
【0100】
一実施形態において、コンピュータプログラムがコンピュータによって実行される場合に、コンピュータが以下のステップをさらに実現する。
画像取得デバイスによって、第一ケージの第一方位に位置するスタンド及び第二ケージの第一方位に位置する支柱を撮影し、第一のケージ画像を取得し、第一ケージの第二方位に位置するスタンド及び第二ケージの第二方位に位置する支柱を撮影し、第二のケージ画像を取得する。
画像取得デバイスによって、第一ケージの第一方位に位置するスタンド及び第二ケージの第一方位に位置する支柱を撮影し、第一のケージ画像を取得し、第一ケージの第二方位に位置するスタンド及び第二ケージの第二方位に位置する支柱を撮影し、第二のケージ画像を取得する。
【0101】
一実施形態において、コンピュータプログラムがコンピュータによって実行される場合に、コンピュータが以下のステップをさらに実現する。
第一の検出モデルによって該ケージ画像の特徴情報を取得し、且つ該特徴情報に基づいて、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別する。
第一の検出モデルによって該ケージ画像の特徴情報を取得し、且つ該特徴情報に基づいて、該第一ケージの第一の積上げ装置及び該第二ケージの第二の積上げ装置を識別する。
【0102】
一実施形態において、コンピュータプログラムがコンピュータによって実行される場合に、コンピュータが以下のステップをさらに実現する。
該第一の積上げ装置における第一のスタンドの第一の位置情報及び該第二の積上げ装置における第二の支柱の第二の位置情報を決定し、該第一の位置情報と該第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得し、各積上げ組み合わせに対し、その第一のスタンドと第二の支柱との間の距離をそれぞれ距離閾値と照合し、各積上げ組み合わせの照合結果を取得し、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定する。前記第一ケージが前記第二ケージに積上げられた状態で、同一の積上げ組み合わせにおける第一のスタンドと第二の支柱は同一の垂直方位にアラインされる。
該第一の積上げ装置における第一のスタンドの第一の位置情報及び該第二の積上げ装置における第二の支柱の第二の位置情報を決定し、該第一の位置情報と該第二の位置情報とに基づいて、各積上げ組み合わせにおける第一のスタンドと第二の支柱との間の距離を取得し、各積上げ組み合わせに対し、その第一のスタンドと第二の支柱との間の距離をそれぞれ距離閾値と照合し、各積上げ組み合わせの照合結果を取得し、各積上げ組み合わせの照合結果に基づいて、第一の積上げ結果を決定する。前記第一ケージが前記第二ケージに積上げられた状態で、同一の積上げ組み合わせにおける第一のスタンドと第二の支柱は同一の垂直方位にアラインされる。
【0103】
一実施形態において、コンピュータプログラムがコンピュータによって実行される場合に、コンピュータが以下のステップをさらに実現する。
ケージ画像サンプルを取得する。該ケージ画像サンプルは、積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含む。該ケージ画像サンプル、及び、該ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得する。
ケージ画像サンプルを取得する。該ケージ画像サンプルは、積上げ可能な状態にある２つのケージの第一のケージサンプル画像と、積上げ不可能な状態にある２つのケージの第二のケージサンプル画像とを含む。該ケージ画像サンプル、及び、該ケージ画像サンプルに対応の、２つのケージが積上げ可能な状態にあるか否かのラベルにより、第二の検出モデルをトレーニングし、トレーニングされた第二の検出モデルを取得する。
【0104】
一実施形態において、コンピュータプログラムがプロセッサによって実行される場合に、以下のステップをさらに実現する。
積上げ確認モデルによって、該第一の積上げ結果と該第二の積上げ結果とを加重加算して、積上げデータを取得し、積上げデータを積上げ閾値と照合し、照合結果に基づいて最終積上げ結果を取得する。
積上げ確認モデルによって、該第一の積上げ結果と該第二の積上げ結果とを加重加算して、積上げデータを取得し、積上げデータを積上げ閾値と照合し、照合結果に基づいて最終積上げ結果を取得する。
【0105】
当業者であれば理解できるように、上記実施形態の方法における全部又は一部のフローを実現するには、コンピュータプログラムによって関連するハードウェアを指示して完了することができ、前述したコンピュータプログラムは不揮発性コンピュータの読み取り可能な記憶媒体に記憶されることができる。該コンピュータプログラムが実行される際に、上記各方法の実施形態のフローを含むことができる。本願に提供される各実施形態に用いられるメモリ、記憶、データベース又は他の媒体への任意の引用は、いずれも不揮発性メモリ及び揮発性メモリのうちの少なくとも１つを含むことができる。不揮発性メモリとしては、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、磁気テープ、フロッピーディスク、フラッシュメモリ、光メモリ等を含むことができる。揮発性メモリとしては、ランダム・アクセス・メモリ（ＲａｎｄｏｍＡｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）又は外部キャッシュ・メモリを含むことができる。説明として限定するものではなく、ＲＡＭは様々な形態であってもよく、例えばスタティックＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）又はダイナミックＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）等が挙げられる。
【0106】
上記実施形態の各技術特徴は任意に組み合わせられることができる。説明を簡潔にするために、上記実施形態における各技術特徴の全ての可能な組み合わせについて説明していないが、これらの技術的特徴の組み合わせが矛盾しない限り、本願明細書に記載の範囲であると考えられるべきである。
【0107】
上述した実施形態は本願発明のいくつかの実施形態を表現したのにすぎず、その説明は具体的で詳細であるが、それにより発明特許の範囲を限定するものであると解釈してはならない。なお、当業者であれば、本願発明の思想から逸脱することなく、いくつかの変形及び改良を行うことができ、これらはいずれも本願発明の保護範囲に属する。したがって、本願発明の特許請求の範囲は添付の請求項に準じる。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
