IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 杭州海康机器人技術有限公司の特許一覧

特表2023-508510小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体
<>
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図1
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図2A
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図2B
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図2C
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図3
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図4
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図5A
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図5B
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図6
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図7
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図8
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図9
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図10
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図11
  • 特表-小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-02
(54)【発明の名称】小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230222BHJP
【FI】
G06T7/00 300F
G06T7/00 C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022539768
(86)(22)【出願日】2020-12-31
(85)【翻訳文提出日】2022-06-28
(86)【国際出願番号】 CN2020142175
(87)【国際公開番号】W WO2021136509
(87)【国際公開日】2021-07-08
(31)【優先権主張番号】201911413069.6
(32)【優先日】2019-12-31
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519059292
【氏名又は名称】杭州海康机器人股▲ふん▼有限公司
【氏名又は名称原語表記】Hangzhou Hikrobot Co., Ltd.
【住所又は居所原語表記】Room 304, Unit B, Building 2, 399 Dangfeng Road, Binjiang District, Hangzhou, Zhejiang 310051, China
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】胡茂邦
(72)【発明者】
【氏名】顧叡
(72)【発明者】
【氏名】周楊
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA09
5L096EA03
5L096EA39
5L096FA06
5L096FA59
5L096FA60
5L096FA67
5L096FA70
5L096JA11
(57)【要約】
本出願は、小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体を提供する。小包を検出するための方法であって、小包の外面の点群データを取得するステップと、前記点群データに基づいて、前記小包の外観特徴を確定するステップと、前記小包の外観特徴に基づいて、前記小包の規則度を確定するステップであって、前記規則度は、小包の表面の平坦度及び/又は小包の積載済み量と小包の容量上限との近接度を表すステップとを含む、方法。
【特許請求の範囲】
【請求項1】
小包を検出するための方法であって、
小包の外面の点群データを取得するステップと、
前記点群データに基づいて、前記小包の外観特徴を確定するステップと、
前記小包の外観特徴に基づいて、前記小包の規則度を確定するステップであって、前記規則度は、小包の表面の平坦度及び/又は小包の積載済み量と小包の容量上限との近接度を表すステップとを含む、方法。
【請求項2】
請求項1に記載の方法であって、
前記小包の外面の点群データを取得するステップは、
点群データ収集装置によって搬送ベルト上の前記小包を走査して得られた走査結果を受信するステップと、
前記走査結果に基づいて、前記点群データを確定するステップとを含む、方法。
【請求項3】
請求項1に記載の方法であって、
前記点群データに基づいて、前記小包の外観特徴を確定するステップは、
前記点群データに基づいて、前記小包の上面の平坦度を確定するステップであって、前記上面の平坦度は、前記小包の頂部表面の平滑度を表すステップと、
前記点群データに基づいて、前記小包の体積デューテイ比を確定するステップであって、前記体積デューテイ比は、前記小包の体積と前記小包の最小外接直方体の体積との比であるステップと、
前記点群データに基づいて、前記小包の理想的な体積占有率を確定するステップであって、前記理想的な体積占有率は、前記小包の体積と前記小包の容量上限との比であるステップと、
前記点群データに基づいて、前記小包の輪郭矩形度を確定するステップであって、前記輪郭矩形度は、前記小包の水平投影領域の面積と水平投影領域の最小外接矩形領域の面積との比であるステップと、
のうちの少なくとも1つのステップを含む、方法。
【請求項4】
請求項3に記載の方法であって、
前記小包の外観特徴に基づいて、前記小包の規則度を確定するステップは、
前記上面の平坦度と、体積デューテイ比と、理想的な体積占有率と、輪郭矩形度のうちの少なくとも1つの外観特徴の加重和を計算し、前記加重和を前記小包の規則度とするステップを含む、方法。
【請求項5】
請求項3に記載の方法であって、
前記点群データに基づいて、前記小包の上面の平坦度を確定するステップは、
前記点群データの主方向を確定するステップであって、前記主方向は、前記点群データの全体的な向きを反映するためのものであるステップと、
前記点群データの目標サブセットを確定するステップであって、目標サブセットにおける各点の法線方向と前記主方向との間の角度は角度閾値より小さいステップと、
前記目標サブセットにおける点の数と前記点群データにおける点の数との比を前記上面の平坦度とするステップとを含む、方法。
【請求項6】
請求項5に記載の方法であって、
前記点群データの主方向を確定するステップは、
点群データに対してダウンサンプリング操作を行って、サンプリングされた点群データを得るステップと、
サンプリングされた点群データの主方向を確定するステップとを含む、方法。
【請求項7】
請求項3に記載の方法であって、
前記点群データに基づいて、前記小包の体積デューティ比を確定するステップは、
前記点群データに基づいて、小包の外観モデルを確定するステップと、
前記小包の外観モデルに基づいて、前記小包の最小外接直方体を確定し、前記最小外接直方体の体積を確定するステップと、
前記点群データに基づいて、前記小包の体積を確定するステップと、
前記最小外接直方体の体積と前記小包の体積に基づいて、前記体積デューテイ比を確定するステップとを含む、方法。
【請求項8】
請求項7に記載の方法であって、
前記点群データに基づいて、前記小包の体積を確定するステップは、
前記点群データを所定の平面に投影して、前記点群データに対応する投影点を得るステップと、
前記点群データに対応する投影点に対してグリッド化処理を行って、投影点を含む複数のグリッドを得るステップと、
各グリッドに対応する体積を計算するステップであって、各グリッドに対応する体積は、当該グリッドの面積と当該グリッドに投影された点群データの高さとの積であるステップと、
複数のグリッドに対応する体積の和を小包の体積とするステップとを含む、方法。
【請求項9】
請求項3に記載の方法であって、
前記点群データに基づいて、前記小包の輪郭矩形度を確定するステップは、
水平面における前記点群データの水平投影領域を確定し、水平投影領域の面積を確定するステップと、
前記水平投影領域の最小外接矩形領域を確定し、前記最小外接矩形領域の面積を確定するステップと、
前記水平投影領域の面積と前記最小外接矩形領域の面積との比を前記輪郭矩形度とするステップとを含む、方法。
【請求項10】
請求項5に記載の方法であって、
前記点群データの主方向を確定するステップは、
点群データの中心点を計算するステップであって、前記中心点の座標は点群データにおける点の座標の平均値であるステップと、
点群データにおける各点の座標から中心点の座標を引いて、中心がずれた点群データを得るステップと、
中心がずれた点群データからなる第1の行列と第2の行列とを確定するステップであって、第2の行列は第1の行列の転置行列であるステップと、
第1の行列と第2の行列との積を計算し、共分散行列を得るステップと、
共分散行列に対して特異値分解を行って、特徴値が最大な特徴ベクトルを点群データの主方向とするステップとを含む、方法。
【請求項11】
小包を検出するための装置であって、
小包の外面の点群データを取得するための取得手段と、
前記点群データに基づいて、前記小包の外観特徴を確定するための特徴抽出手段と、
前記小包の外観特徴に基づいて、前記小包の規則度を確定するための規則度確定手段であって、前記規則度は、小包の表面の平坦度及び小包の積載済み量と容量の上限との近接度を表す規則度確定手段と、を含む装置。
【請求項12】
メモリと、
プロセッサと、
当該メモリに記憶され前記プロセッサによって実行されるように構成されるプログラムであって、請求項1~10のいずれか1項に記載の方法を実行するための命令を含むプログラムと、を含む計算装置。
【請求項13】
プログラムが記憶されており、前記プログラムは、計算装置によって実行されると、前記計算装置に請求項1~10のいずれか1項に記載の方法を実行させるための命令を含む、記憶媒体。
【請求項14】
請求項12に記載の計算装置と、
搬送ベルトと、
前記搬送ベルト上の小包の点群データを収集するための点群データ収集装置とを含む、物流システム。
【請求項15】
コマンドを含むコンピュータプログラム製品であって、
前記コンピュータプログラム製品がコンピュータによって実行されると、前記コンピュータに請求項1~10のいずれか1項に記載の方法を実現させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は物流自動化技術の分野に関し、特に小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体に関する。
【背景技術】
【0002】
現在、物流の応用シーンにおいて、搬送される小包の規則度が高いことを確保し、搬送効率を確保するために、作業員は、通常、搬送ベルト上の小包の規則度を検出する必要がある。ここで、規則度は、小包の表面の平坦度及び小包の積載済み量と容量の上限との近接度を表す。
【0003】
しかし、小包の規則度を手動で検出する方式は、効率が良くないし、検出結果の一致性が悪い。このため、小包の規則度を自動的に検出する手段が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本出願は、小包の規則度への自動検出を実現でき、さらに小包の検出効率を向上させると共に検出の一致性を向上させることができる小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本出願の一態様によれば、小包を検出するための方法であって、
小包の外面の点群データを取得するステップと、
前記点群データに基づいて、前記小包の外観特徴を確定するステップと、
前記小包の外観特徴に基づいて、前記小包の規則度を確定するステップであって、前記規則度は、小包の表面の平坦度及び/又は小包の積載済み量と小包の容量上限との近接度を表すステップとを含む、方法を提供する。
【0006】
いくつかの実施例において、前記小包の外面の点群データを取得するステップは、
点群データ収集装置によって搬送ベルト上の前記小包を走査して得られた走査結果を受信するステップと、
前記走査結果に基づいて、前記点群データを確定するステップとを含む。
【0007】
いくつかの実施例において、前記点群データに基づいて、前記小包の外観特徴を確定するステップは、
前記点群データに基づいて、前記小包の上面の平坦度を確定するステップであって、前記上面の平坦度は、前記小包の頂部表面の平滑度を表すステップと、
前記点群データに基づいて、前記小包の体積デューティ比を確定するステップであって、前記体積デューテイ比は、前記小包の体積と前記小包の最小外接直方体の体積との比であるステップと、
前記点群データに基づいて、前記小包の理想的な体積占有率を確定するステップであって、前記理想的な体積占有率は、前記小包の体積と前記小包の容量上限との比であるステップと、
前記点群データに基づいて、前記小包の輪郭矩形度を確定するステップであって、前記輪郭矩形度は、前記小包の水平投影領域の面積と水平投影領域の最小外接矩形領域の面積との比であるステップとのうちの少なくとも1つのステップを含む。
【0008】
いくつかの実施例において、前記小包の外観特徴に基づいて、前記小包の規則度を確定するステップは、
前記上面の平坦度と、体積デューテイ比と、理想的な体積占有率と、輪郭矩形度のうちの少なくとも1つの外観特徴の加重和を計算し、前記加重和を前記小包の規則度とするステップを含む。
【0009】
いくつかの実施例において、前記点群データに基づいて、前記小包の上面の平坦度を確定するステップは、
前記点群データの主方向を確定するステップであって、前記主方向は、前記点群データの全体的な向きを反映するためのものであるステップと、
前記点群データの目標サブセットを確定するステップであって、目標サブセットにおける各点の法線方向と前記主方向との間の角度は角度閾値より小さいステップと、
前記目標サブセットにおける点の数と前記点群データにおける点の数との比を前記上面の平坦度とするステップとを含む。
【0010】
いくつかの実施例において、前記点群データの主方向を確定するステップは、
点群データに対してダウンサンプリング操作を行って、サンプリングされた点群データを得るステップと、
サンプリングされた点群データの主方向を確定するステップとを含む。
【0011】
いくつかの実施例において、前記点群データに基づいて、前記小包の体積デューティ比を確定するステップは、
前記点群データに基づいて、小包の外観モデルを確定するステップと、
前記小包の外観モデルに基づいて、前記小包の最小外接直方体を確定し、前記最小外接直方体の体積を確定するステップと、
前記点群データに基づいて、前記小包の体積を確定するステップと、
前記最小外接直方体の体積と前記小包の体積に基づいて、前記体積デューテイ比を確定するステップとを含む。
【0012】
いくつかの実施例において、前記点群データに基づいて、前記小包の体積を確定するステップは、
前記点群データを所定の平面に投影して、前記点群データに対応する投影点を得るステップと、
前記点群データに対応する投影点に対してグリッド化処理を行って、投影点を含む複数のグリッドを得るステップと、
各グリッドに対応する体積を計算するステップであって、各グリッドに対応する体積は、当該グリッドの面積と当該グリッドに投影された点群データの高さとの積であるステップと、
複数のグリッドに対応する体積の和を小包の体積とするステップとを含む。
【0013】
いくつかの実施例において、前記点群データに基づいて、前記小包の輪郭矩形度を確定するステップは、
水平面における前記点群データの水平投影領域を確定し、水平投影領域の面積を確定するステップと、
前記水平投影領域の最小外接矩形領域を確定し、前記最小外接矩形領域の面積を確定するステップと、
前記水平投影領域の面積と前記最小外接矩形領域の面積との比を前記輪郭矩形度とするステップとを含む。
【0014】
いくつかの実施例において、前記点群データの主方向を確定するステップは、
点群データの中心点を計算するステップであって、前記中心点の座標は点群データにおける点の座標の平均値であるステップと、
点群データにおける各点の座標から中心点の座標を引いて、中心がずれた点群データを得るステップと、
中心がずれた点群データからなる第1の行列と第2の行列とを確定するステップであって、第2の行列は第1の行列の転置行列であるステップと、
第1の行列と第2の行列との積を計算し、共分散行列を得るステップと、
共分散行列に対して特異値分解を行って、特徴値が最大な特徴ベクトルを点群データの主方向とするステップとを含む。
【0015】
本出願の一態様によれば、小包を検出するための装置であって、
小包の外面の点群データを取得するための取得手段と、
前記点群データに基づいて、前記小包の外観特徴を確定するための特徴抽出手段と、
前記小包の外観特徴に基づいて、前記小包の規則度を確定するための規則度確定手段であって、前記規則度は、小包の表面の平坦度及び小包の積載済み量と容量の上限との近接度を表す規則度確定手段とを含む、装置を提供する。
【0016】
本出願の一態様によれば、メモリと、プロセッサと、当該メモリに記憶され前記プロセッサによって実行されるように構成されるプログラムであって、本出願による小包を検出するための方法を実行するための命令を含むプログラムとを含む、計算装置を提供する。
【0017】
本出願の一態様によれば、プログラムが記憶されており、前記プログラムは、計算装置によって実行されると、前記計算装置に本出願による小包を検出するための方法を実行させるための命令を含む、記憶媒体を提供する。
【0018】
本出願の一態様によれば、計算装置と、搬送ベルトと、 前記搬送ベルト上の小包の点群データを収集するための点群データ収集装置とを含む、物流システムを提供する。
【0019】
本出願の一態様によれば、コマンドを含むコンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータによって実行されると、前記コンピュータに本出願による小包を検出するための方法を実行させる、コンピュータプログラム製品を提供する。
【発明の効果】
【0020】
以上より、本出願による小包を検出する技術案によれば、小包の点群データに基づいて、小包の外観特徴を取得し、且つ外観特徴に基づいて、規則度を確定する。小包を検出する技術案は、小包の規則度を手動で検出する手間を省くことができ、装置によって小包の規則度に対する自動検出を実現し、さらに小包の規則度の検出効率を向上させると共に検出結果の一致性を向上させることができる。
【図面の簡単な説明】
【0021】
本出願の実施例及び従来技術の技術案をより明確に説明するために、以下に実施例及び従来技術に使用される図面を簡単に説明するが、無論、以下に説明される図面は、単に本出願のいくつかの実施例によるものに過ぎなく、当業者であれば、創造的な働きをせずに、これらの図面に基づいて他の図面を得ることもできる。
図1図1は本出願のいくつかの実施例による物流システムの模式図を示す。
図2A図2Aは本出願のいくつかの実施例による小包を検出するための方法200のフローチャットを示す。
図2B図2Bは本出願のいくつかの実施例による小包の模式図を示す。
図2C図2Cは本出願のいくつかの実施例による点群データの模式図を示す。
図3図3は本出願のいくつかの実施例による小包の外観特徴を確定するための方法300のフローチャットを示す。
図4図4は本出願のいくつかの実施例による小包を検出するための方法400のフローチャットを示す。
図5A図5Aは本出願のいくつかの実施例による小包の上面の平坦度を確定するための方法500のフローチャットを示す。
図5B図5Bは本出願のいくつかの実施例による点群データの主方向を確定するステップのフローチャットを示す。
図6図6は本出願のいくつかの実施例による小包の上面の平坦度を確定するための方法600のフローチャットを示す。
図7図7は本出願のいくつかの実施例による体積デューティ比を計算するための方法700のフローチャットを示す。
図8図8は本出願のいくつかの実施例による小包の体積を確定するための方法800のフローチャットを示す。
図9図9は本出願のいくつかの実施例による輪郭矩形度を確定するための方法900のフローチャットを示す。
図10図10は本出願のいくつかの実施例による小包を検出する装置1000の模式図を示す。
図11図11は本出願のいくつかの実施例による小包を検出する装置1100の模式図を示す。
図12図12は本出願のいくつかの実施例による計算装置の模式図を示す。
【発明を実施するための形態】
【0022】
本発明の目的、技術案、及び利点をより明確にするために、以下、図面を参照しながら実施例を挙げることで、本発明をより詳しく説明する。説明される実施例は単に本発明の一部の実施例に過ぎず、全ての実施例ではないことは明らかである。本発明における実施例に基づいて、当業者が創造的な働きをせずに得られるすべての他の実施例は、いずれも本発明の保護範囲に含まれる。
【0023】
図1は本出願のいくつかの実施例による物流システムの模式図を示す。図1に示すように、物流システムは、搬送ベルト110と、点群データ収集装置120と、計算装置130とを含む。
【0024】
搬送ベルト110は輸送方向に小包を輸送し、例えば、図1に示す小包140を輸送する。ここで、輸送方向は、例えば図1において左から右の方向である。
【0025】
点群データ収集装置120は、例えばレーザレーダ又は深度カメラであってよい。深度カメラは、例えば構造化光式カメラ、飛行時間型(Time of Flight、ToFと略称される)カメラ、立体視(Stereo)カメラ等である。
【0026】
点群データ収集装置120は、搬送ベルトを介して検出領域S1に輸送される小包を走査し、走査結果を計算装置130に出力する。
【0027】
計算装置130は、例えばサーバー、ノートパソコン、タブレットコンピュータ、PDA等の装置である。計算装置130は、点群データ収集装置120からの走査結果に基づいて、小包の外面の点群データ(point cloud data)を確定する。点群データは小包の外面における点の集合である。点群データにおける各点の座標は、点群データ収集装置120の座標系における座標として表されてよく、ワールド座標系における座標として表されてもよい。
【0028】
上記点群データが具体的に小包のどの表面における点の集合であるかは、点群データ収集装置120の設置位置及び角度に依存する。点群データは、点群データ収集装置120によって収集できる小包の外面における点の集合である。例えば、点群データ収集装置120が搬送ベルト110の上方に位置し、搬送ベルト110に垂直な方向に小包を走査する場合、点群データは、小包の上面における点と側面から突出した部分における点の集合であり、つまり、点群データ収集装置120によって収集できる小包の外面における点の集合である。
【0029】
計算装置130は小包の点群データに基づいて、自動的に小包の規則度を検出してよい。ここで、規則度とは、小包の表面の平坦度及び小包の積載済み量と容量の上限との近接度を指す。
【0030】
以下、図2を参照して、小包の規則度を検出する態様について説明する。
【0031】
図2Aは本出願のいくつかの実施例による小包を検出するための方法200のフローチャットを示す。方法200は例えば計算装置130によって実行される。
【0032】
図2Aに示すように、ステップS201では、小包の外面の点群データを取得する。例えば、ステップS201では、計算装置は小包の上面の点群データを取得してよい。小包の上表面とは、俯瞰して観察できる小包の表面領域を指す。
【0033】
いくつかの実施例において、ステップS201では、計算装置は点群データ収集装置によって搬送ベルト上の小包を走査して得られた走査結果を受信してよい。走査結果に基づいて、ステップS201では、計算装置は小包の外面の点群データを確定できる。点群データにおける各点は小包の外面における点に対応すると考えられる。点群データにおける各点の情報は当該点の位置情報を含む。1つの点の位置情報は例えば三次元座標系における一つの座標として表されてよい。例えば、図2Bは本出願のいくつかの実施例による小包の模式図を示す。図2Cは本出願のいくつかの実施例による点群データの模式図を示す。図2Cにおいて、点群データは図2Bにおける小包の外観特徴を表す。
【0034】
ステップS202では、点群データに基づいて、小包の外観特徴を確定する。ここで、外観特徴は例えば、上面の平坦度と、体積デューテイ比と、理想的な体積占有率と輪郭矩形度のうちの少なくとも1つを含んでよい。
【0035】
ステップS203では、小包の外観特徴に基づいて、小包の規則度を確定する。ここで、規則度は、小包の表面の平坦度及び/又は小包の積載済み量と小包の容量上限との近接度を表す。規則度は例えば小包の複数の外観特徴の加重和である。例えば、ステップS203では、計算装置は、上面の平坦度と、体積デューテイ比と、理想的な体積占有率と輪郭矩形度のうちの少なくとも1つの外観特徴の加重和を計算し、該加重和を前記小包の規則度としてよい。
【0036】
以上より、本出願による小包を検出するための方法200によれば、小包の点群データに基づいて、小包の外観特徴を取得し、且つ外観特徴に基づいて、規則度を確定する。方法200は、小包の規則度を手動で検出する手間を省き、装置による小包の規則度に対する自動検出を実現し、さらに小包の規則度に対する検出効率を向上させると共に検出結果の一致性を向上させることができる。
【0037】
いくつかの実施例において、ステップS202は方法300として実施されてよい。つまり、上記ステップS202は以下のステップを含んでよい。
【0038】
図3に示すように、ステップS301では、点群データに基づいて、小包の上面の平坦度を確定する。
【0039】
ここで、上面の平坦度は、小包の頂部表面の平滑度を表すためのものである。頂部表面は、俯瞰して観察できる小包の表面領域であってもよい。
【0040】
ステップS302では、点群データに基づいて、小包の体積デューティ比を確定する。
【0041】
体積デューテイ比は、小包の体積と小包の最小外接直方体の体積との比である。ここで、体積デューテイ比が高いほど、小包が直方体に近いことを意味する。計算装置は、点群データによって表される小包に対応する各点の座標に基づいて、さらに小包の体積を確定する。点群データによって表される小包に対応する各点の座標に基づいて、小包の最小外接直方体を確定し、さらに小包の体積と小包の最小外接直方体の体積との比に基づいて、体積デューテイ比を確定する。
【0042】
ステップS303では、点群データに基づいて、小包の理想的な体積占有率を確定する。
【0043】
理想的な体積占有率は、小包の体積と小包の容量上限との比である。ここで、理想的な体積占有率が高いほど、小包の積載量が小包の容量上限に近いことを意味する。小包の体積は、点群データによって表される小包に対応する各点の座標に基づいて確定されてよい。小包の容量上限は予め取得されて記憶されてよい。
【0044】
一実施形態において、各小包は、容量が同じである同一仕様の小包である場合、計算装置は、予め小包の容量を取得して記憶し、小包の理想的な体積占有率を計算する際に使用できるようにしてよい。各小包は、容量が同じでない異なる仕様の小包である場合、計算装置は、予め各小包の容量を取得し、各小包の標識に対応して記憶してよい。上記点群データ収集装置120は、小包に対する走査を行う際に、小包における二次元コードを走査する等の方式により小包の標識を取得し、さらに計算装置に送信してもよい。このように、計算装置は、当該標識に基づいて、それに対応する小包の容量を確定し、さらに小包の理想的な体積占有率を確定できる。
【0045】
ステップS304では、点群データに基づいて、小包の輪郭矩形度を確定する。
【0046】
輪郭矩形度は、小包の水平投影領域の面積と水平投影領域の最小外接矩形領域の面積との比であり、つまり、水平面における小包の投影領域の面積と、水平面における投影領域の最小外接矩形領域の面積との比である。輪郭矩形度が高いほど、小包の外観が直方体又は立方体に近く、小包の外観も規則的になることを意味する。
【0047】
一実施形態において、計算装置は、小包の点群データに基づいて、水平面における小包の投影領域を確定し、さらに、当該投影領域の最小外接矩形を確定し、この後、小包の水平投影領域の面積と水平投影領域の最小外接矩形領域の面積との比を計算し、小包の輪郭矩形度を確定してもよい。
【0048】
以上より、方法300は、様々な観点から小包の外観特徴を分析することができ、これにより複数の外観特徴により小包の規則度を確定することができる。外観特徴は、上面の平坦度、体積デューテイ比、理想的な体積占有率及び/又は輪郭矩形度を含むため、計算して得られた小包の規則度は、小包の表面の平坦度及び/又は小包の積載済み量と小包の容量上限との近接度を表してよい。
【0049】
図4は本出願のいくつかの実施例による小包を検出するための方法400のフローチャットを示す。方法400は例えば計算装置130によって実行される。
【0050】
図4に示すように、ステップS401では、小包の外面の点群データを取得する。
【0051】
ステップS402では、点群データに基づいて、小包の外観特徴を確定する。
【0052】
ステップS403では、小包の外観特徴に基づいて、小包の規則度を確定する。
【0053】
上記ステップS401~ステップS403はそれぞれ上記ステップS201~ステップS203と同じであるため、上記ステップS201~ステップS203の説明を参照できる。ここで、その説明を省略する。
【0054】
ステップS404では、規則度が規則度閾値に達したかどうかを判断する。
【0055】
ここで、規則度閾値は、予め実際のニーズに応じて設定される。小包の規則度に対する要求が比較的に高い場合、規則度閾値は高く設定されてもよい一方、小包の規則度に対する要求が比較的に低い場合、規則度閾値は低く設定されてもよい。
【0056】
ステップS404において規則度が規則度閾値に達したと判断すると、方法400では、続いてステップS405を実行し、小包の分類結果が第1のカテゴリであると確定する。ステップS404において規則度が規則度閾値より低いと判断すると、方法400では、続いてステップS406を実行し、小包の分類結果が第2のカテゴリであると確定する。
【0057】
ここで、第1のカテゴリは規則度に対する要求を満たすタイプであり、第2のカテゴリは規則度に対する要求を満たさないタイプである。小包の規則度が規則度閾値に達している場合は、当該小包の規則度が比較的に高く、小包の規則度に対する要求を満たすことを意味しているため、当該小包のカテゴリが第1のカテゴリであると確定できる。小包の規則度が規則度閾値に達していない場合は、当該小包の規則度が比較的に低く、小包の規則度に対する要求を満たさないことを意味しているため、当該小包のカテゴリが第2のカテゴリであると確定できる。
【0058】
ステップS406を実行した後、続いてステップS407を実行する。ステップS407では、小包の分類結果を仕分け装置に送信する。このように、仕分け装置は、分類結果に基づいて、小包に対する仕分けを行ってよい。例えば、仕分け装置は、搬送ベルト上の第2のカテゴリに属する小包を目標位置に仕分けする。このようにして、作業員が第2のカテゴリに属する小包を整理し、整理された当該小包が規則度に対する要求を満たすことができ、小包の輸送の便利性が向上することができる。小包のカテゴリが第1のカテゴリであると、当該小包の規則度が比較的に高く、小包の規則度に対する要求を満たすことを意味しているので、次の処理を行ってよい。例えば、当該小包に対してトラック積込み、入庫の処理を行ったり、次の仕分けプロセスに入ったりしてよいが、作業員により整理する必要がない。
【0059】
いくつかの実施例において、ステップS301は方法500として実施されてよい。つまり、上記ステップS301は以下のステップを含んでよい。
【0060】
図5Aに示すように、ステップS501では、点群データの主方向を確定する。主方向は、点群データの全体的な向きを反映するのものである。
【0061】
いくつかの実施例において、ステップS501は図5Bに示すフローチャットとして実施されてよい。つまり、ステップS501は以下のステップを含んでよい。
【0062】
図5Bに示すように、ステップS5011では、点群データの中心点を計算する。中心点の座標は点群データにおける点の座標の平均値である。
【0063】
ステップS5012では、点群データにおける各点の座標から中心点の座標を引いて、中心がずれた点群データを得る。
【0064】
ステップS5013では、中心がずれた点群データからなる第1の行列と第2の行列とを確定する。第2の行列は第1の行列の転置行列である。
【0065】
ステップS5014では、第1の行列と第2の行列との積を計算し、共分散行列を得る。例えば、仮に、第1の行列がAであり、第2の行列がAであり、共分散行列cov = AAとする。
【0066】
ステップS5015では、共分散行列に対して特異値分解(Singular Value Decomposition,SVD)を行って、共分散行列の特徴ベクトルを取得し、さらに特徴値が最大な特徴ベクトルを点群データの主方向とする。
【0067】
ステップS502では、点群データの目標サブセットを確定する。
【0068】
目標サブセットにおける各点の法線方向と主方向との間の角度が角度閾値より小さい。ここで、角度閾値は例えば10度、15度、18度等であるが、これらに限らない。点群データの主方向を確定した後、計算装置は、点群データにおける各点の法線方向と主方向との間の角度を計算し、さらに角度が角度閾値より小さい点からなる集合を点群データの目標サブセットとして確定する。そのうち、各点の法線は当該点を通って当該点が位置している局所的平面に垂直する直線である。
【0069】
ステップS503では、目標サブセットにおける点の数と点群データにおける点の数との比を上面の平坦度とする。
【0070】
ここで、上面の平坦度が高いほど、小包の頂部表面が平滑である。具体的に、目標サブセットにおける点の数が多いほど、対応する法線方向と主方向との間の角度が角度閾値より小さい点の数が多いことを意味し、つまり、一つの平面における小包の頂部の点の数が多いことを意味するため、小包の頂部表面が平滑であると確定できる。
【0071】
いくつかの実施例において、ステップS301は方法600として実施されてよい。つまり、上記ステップS301は以下のステップを含んでよい。
【0072】
図6に示すように、ステップS601では、点群データに対してダウンサンプリング操作を行って、サンプリングされた点群データを得る。ここで、ダウンサンプリング操作により、点群データのデータの量を低減することができ、これにより、上面の平坦度を計算する效率が向上する。
【0073】
ステップS602では、主成分分析アルゴリズムに基づいて、サンプリングされた点群データの主方向を確定する。主方向は、点群データの全体的な向きを反映するためのものである。具体的に、主成分分析アルゴリズムは、上記特異値分解アルゴリズムであってよい。ここで、その説明を省略する。
【0074】
ステップS603では、サンプリングされた点群データの目標サブセットを確定する。
【0075】
目標サブセットにおける各点の法線方向と主方向との間の角度が角度閾値より小さい。ここで、角度閾値は例えば10度であるが、これに限らない。ステップS603は上記ステップS502と同じであるため、上記ステップS502の説明を参照でき、ここでその説明を省略する。
【0076】
ステップS604では、目標サブセットにおける点の数とサンプリングされた点群データにおける点の数との比を上面の平坦度とする。
【0077】
例えば、上面の平坦度は以下の式に基づいて得られる。
【数1】

flat_ratioは上面の平坦度であり、Nangleは目標サブセットにおける点の数であり、Nsampledはサンプリングされた点群データにおける点の数を表す。
【0078】
いくつかの実施例において、ステップS302は方法700として実施されてよい。つまり、ステップS302は以下のステップを含んでよい。
【0079】
図7に示すように、ステップS701では、点群データに基づいて、小包の外観モデルを確定する。換言すれば、ステップS701では、点群データに基づいて、小包の三次元モデルを確定してよい。点群データは小包の外部の各点の位置を表すことができるので、点群データに基づいて、小包の三次元モデルを構築してよい。
【0080】
ステップS702では、小包の外観モデルに基づいて、小包の最小外接直方体を確定し、最小外接直方体の体積を確定する。
【0081】
小包の外観モデルを確定した後、当該外観モデルに基づいて、小包の最小外接直方体を確定し、さらに当該最小外接直方体の体積を計算してよい。
【0082】
ステップS703では、点群データに基づいて、小包の体積を確定する。ここで、点群データに基づいて、ステップS703では、様々な体積計算方法により、小包の体積を確定してよい。
【0083】
いくつかの実施例において、ステップS703は方法800として実施されてよい。つまり、ステップS703は以下のステップを含んでよい。
【0084】
図8に示すように、ステップS801では、点群データを所定の平面に投影して、前記点群データに対応する投影点を得る。当該所定の平面は小包の載置面であってよい。例えば、小包が搬送ベルト上に置かれた場合、小包の下面が搬送ベルトの表面と重なるため、所定の平面は搬送ベルトの表面であってもよい。
【0085】
ステップS802では、点群データに対応する投影点をグリッド化して、投影点を含む複数のグリッドを得る。
【0086】
ステップS803では、各グリッドに対応する体積を計算し、各グリッドに対応する体積は、当該グリッドの面積と当該グリッドに投影された点群データの高さとの積である。
【0087】
当該グリッドに投影された点群データの高さは、当該グリッドに投影された点群データの高さの平均値又は当該グリッドに投影された点群データの高さ範囲における最も数の多い点に対応する高さの値である。ここで、最も数の多い点に対応する高さの値は、高さに応じて当該グリッドに投影された点群データをグループ化した後、最も数の多い点が含まれたグループに対応する高さの値であると理解される。点群データにおける単一点の高さは、当該点の三次元座標系における鉛直方向の座標値と搬送ベルトの鉛直方向における座標値との差である。ここで、各グリッドに対応する体積は、当該グリッドに対応する柱体の体積であるとと理解される。柱体は、グリッドを利用して小包の外観モデルを鉛直に分割して得られた柱体であると考えられる。
【0088】
ステップS804では、複数のグリッドに対応する体積の和を小包の体積とする。
【0089】
そのうち、ステップS804では、複数のグリッドに対応する体積の和を小包の体積とすることは、全てのグリッドに対応する体積の和を小包の体積とすることを意味する。
【0090】
以上より、方法800は、点群データをグリッド化する方式により、積分による小包の体積を計算してよい。このため、小包の表面が平坦でない場合でも、方法800はより正確に小包の体積を確定することができる。
【0091】
ステップS704では、直方体の体積と小包の体積とに基づいて、体積デューテイ比を計算する。例えば、ステップS704では、以下の式に基づいて体積デューテイ比を計算してよい。
【数2】

volintegralは小包の体積であり、volboxは当該小包の最小外接直方体の体積である。
【0092】
いくつかの実施例において、ステップS304は方法900として実施されてよい。つまり、上記ステップS304は以下のステップを含んでよい。
【0093】
図9に示すように、ステップS901では、水平面における点群データの水平投影領域を確定し、水平投影領域の面積を確定する。
【0094】
ステップS902では、水平投影領域の最小外接矩形領域を確定し、最小外接矩形領域の面積を確定する。
【0095】
ステップS903では、水平投影領域の面積と最小外接矩形領域の面積との比を輪郭矩形度とする。例えば、ステップS903では、以下の式に基づいて輪郭矩形度を計算してもよい。
【数3】

rectangularityは輪郭矩形度であり、Sconvex_hullは水平投影領域の面積であり、Smin_rectは最小外接矩形領域の面積である。輪郭矩形度が1に近いほど、小包の上面が長方形に近く、小包の規則度が優れる。
【0096】
上記実施例において、小包の規則度は上面の平坦度、体積デューテイ比、理想的な体積占有率及び輪郭矩形度に関連する。そのうち、上面の平坦度が高いほど、小包の表面の平坦度が高く、小包の規則度も高いことを意味する。体積デューテイ比と理想的な体積占有率が高いほど、小包の残りの容量が少なく、小包の規則度も高いことを意味する。輪郭矩形度が高いほど、小包の輪郭が矩形に近く、小包の規則度も高いことを意味する。つまり、小包の規則度と、上面の平坦度、体積デューテイ比、理想的な体積占有率及び輪郭矩形度の各々に正の相関関係がある。
【0097】
図10は本出願のいくつかの実施例による小包を検出する装置1000を示す。装置1000は例えば計算装置130に配置されてよい。
【0098】
図10に示すように、装置1000は、取得手段1001と、特徴抽出手段1002と、規則度確定手段1003とを含む。
【0099】
取得手段1001は、小包の外面の点群データを取得するためのものである。
【0100】
特徴抽出手段1002は、点群データに基づいて、小包の外観特徴を確定するためのものである。
【0101】
規則度確定手段1003は、小包の外観特徴に基づいて、小包の規則度を確定するためのものである。ここで、規則度は、小包の表面の平坦度及び/又は小包の積載済み量と小包の容量上限との近接度を表す。装置1000の更なる具体的な実施形態は方法200と一致するため、ここでその説明を省略する。
【0102】
以上より、本出願による小包を検出する装置1000によれば、小包の点群データに基づいて、小包の外観特徴を取得し、且つ外観特徴に基づいて、規則度を確定する。装置1000は、小包の規則度を手動で検出する手間を省くことができ、装置によって小包の規則度に対する自動検出を実現し、さらに小包の規則度の検出効率を向上させると共に検出結果の一致性を向上させることができる。
【0103】
図11は本出願のいくつかの実施例による小包を検出する装置1100を示す。装置1100は例えば計算装置130に配置されてよい。
【0104】
図11に示すように、装置1100は、取得手段1101と、特徴抽出手段1102と、規則度確定手段1103と、分類手段1104とを含む。
【0105】
取得手段1101は、小包の外面の点群データを取得するためのものである。
【0106】
特徴抽出手段1102は、点群データに基づいて、小包の外観特徴を確定するためのものである。
【0107】
規則度確定手段1103は、小包の外観特徴に基づいて、小包の規則度を確定するためのものである。
【0108】
分類手段1104は、規則度が規則度閾値に達したかどうかを判断するためのものである。規則度が規則度閾値に達している場合、分類手段1104は、小包の分類結果が第1のカテゴリであると確定する。規則度が規則度閾値より低い場合、分類手段1104は、小包の分類結果が第2のカテゴリであると確定する。
【0109】
いくつかの実施例において、点群データを取得するために、取得手段1101は点群データ収集装置によって搬送ベルト上の小包を走査して得られた走査結果を受信してよい。走査結果に基づいて、取得手段1101は点群データを確定する。
【0110】
点群データに基づいて、特徴抽出手段1102は、小包の1つ又は複数の外観特徴を確定してよい。例えば、点群データに基づいて、特徴抽出手段1102は、小包の上面の平坦度を確定する。ここで、上面の平坦度は、小包の頂部表面の平滑度を表す。点群データに基づいて、特徴抽出手段1102は、小包の体積デューティ比を確定する。体積デューテイ比は、小包の体積と小包の最小外接直方体の体積との比である。点群データに基づいて、特徴抽出手段1102は、小包の理想的な体積占有率を確定する。理想的な体積占有率は、小包の体積と小包の容量上限との比である。点群データに基づいて、小包の輪郭矩形度を確定する。輪郭矩形度は、小包の水平投影領域の面積と水平投影領域の最小外接矩形領域の面積との比である。
【0111】
いくつかの実施例において、規則度確定手段1103は、上面の平坦度、体積デューテイ比、理想的な体積占有率及び輪郭矩形度のうちの少なくとも1つの外観特徴の加重和を計算し、加重和を前記小包の規則度としてよい。
【0112】
特徴抽出手段1102は、点群データの主方向を確定するために使用されてもよい。主方向は、点群データの全体的な向きを反映するためのものである。特徴抽出手段1102は、さらに点群データの目標サブセットを確定するために使用されてもよい。目標サブセットにおける各点の法線方向と主方向との間の角度が角度閾値より小さい。このように、特徴抽出手段1102は、目標サブセットにおける点の数と点群データにおける点の数との比を上面の平坦度としてよい。
【0113】
点群データの主方向を確定する前に、特徴抽出手段1102は、さらに点群データに対してダウンサンプリング操作を行って、サンプリングされた点群データを得るために使用されてもよい。
【0114】
いくつかの実施例において、特徴抽出手段1102は、点群データに基づいて、小包の外観モデルを確定するために使用されてもよい。小包の外観モデルに基づいて、特徴抽出手段1102は、小包の最小外接直方体を確定し、最小外接直方体の体積を確定するために使用されてもよい。点群データに基づいて、特徴抽出手段1102は、小包の体積を確定してよい。最小外接直方体の体積と小包の体積とに基づいて、特徴抽出手段1102は、体積デューテイ比を計算してよい。
【0115】
小包の体積を確定するために、特徴抽出手段1102は、所定の平面における格子化配列に従って、点群データに対して格子化分割を行い、複数のグリッドに対応する点を得るために使用されてよい。そのうち、各グリッドに対応する点の水平投影は当該グリッドの範囲に属する。各グリッドに対応する点に基づいて、特徴抽出手段1102は、当該グリッドに対応する体積を計算する。そのうち、当該グリッドに対応する体積は、当該グリッドの面積と当該グリッドに対応する点の高さとの積である。特徴抽出手段1102は、複数のグリッドに対応する体積の和を小包の体積とする。
【0116】
小包の輪郭矩形度を確定するために、特徴抽出手段1102は、水平面における点群データの水平投影領域を確定し、水平投影領域の面積を確定するために使用されてもよい。特徴抽出手段1102は、水平投影領域の最小外接矩形領域を確定し、最小外接矩形領域の面積を確定してよい。特徴抽出手段1102は、水平投影領域の面積と最小外接矩形領域の面積との比を輪郭矩形度としてよい。
【0117】
点群データの主方向を確定するために、特徴抽出手段1102は、点群データの中心点を計算するために使用されてもよい。中心点の座標は点群データにおける点の座標の平均値である。特徴抽出手段1102は、点群データにおける各点の座標から中心点の座標を引いて、中心がずれた点群データを得る。特徴抽出手段1102は、中心がずれた点群データからなる第1の行列と第2の行列とを確定する。ここで、第2の行列は第1の行列の転置行列である。特徴抽出手段1102は、第1の行列と第2の行列との積を計算し、共分散行列を得る。特徴抽出手段1102は、共分散行列に対して特異値分解を行って、特徴値が最大な特徴ベクトルを点群データの主方向とする。
【0118】
図12は本出願のいくつかの実施例による計算装置の模式図を示す。図12に示すように、当該計算装置は、1つ又は複数のプロセッサ(Central Processing Unit,CPU)1202と、通信モジュール1204と、メモリ1206と、ユーザインタフェース1210と、これらの部品を相互接続するための通信バス1208とを含む。ただし、図12には、1つのプロセッサのみを模式的に示す。
【0119】
プロセッサ1202は、ネットワーク通信及び/又はローカル通信を実現するために、通信モジュール1204によりデータを送受信できる。
【0120】
ユーザインタフェース1210には、1つ又は複数のスピーカー及び/又は1つ又は複数の可視ディスプレイを含む1つ又は複数の出力機器1212を含む。ユーザインタフェース1210には1つ又は複数の入力機器1214も含む。ユーザインタフェース1210は例えばリモコンからの命令を受信してよいが、これに限らない。ただし、図12には、1つの出力機器と1つの入力機器のみを模式的に示す。
【0121】
メモリ1206は、例えばDRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートストレージデバイスのような高速ランダムアクセスメモリ、或いは、例えば1つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリー、又は他の非揮発性ソリッドステートストレージデバイスのような非揮発性メモリであってよい。
【0122】
メモリ1206は、オペレーティングシステム1216とアプリケーション1218とを含む、プロセッサ1202によって実行可能な命令セットを記憶する。
【0123】
オペレーティングシステム1216は、様々な基本的なシステムサービスを処理するためのプログラムと、ハードウェアに関連するタスクを実行するためのプログラムとを含む。
【0124】
アプリケーション1218は、上記小包の検出を実現するための様々なプログラムを含み、例えば小包を検出する装置1000と1100とを含んでよい。このようなプログラムは、上記各実例における処理フローを実現でき、例えば小包を検出する方法を含んでよい。一実施形態において、アプリケーション1218は、上記小包の検出を実現する様々なプログラムを含み、例えば小包を検出する装置1000又は小包を検出する装置1100を含んでよい。
【0125】
なお、本出願の各実施例は、コンピュータのようなデータ処理装置によって実行されるデータ処理プログラムにより実現されてよい。データ処理プログラムが本出願を構成することは明らかである。また、一般的に、1つの記憶媒体に記憶されるデータ処理プログラムは、プログラムを直接に記憶媒体から読み取るか、或いは、プログラムをデータ処理装置にインストール又はコピーする記憶装置(例えばハードディスク及び/又はメモリ)により実行される。このため、このような記憶媒体も本出願を構成する。記憶媒体は、例えば紙媒体(例えば紙テープ等)、磁気記憶媒体(例えばフロッピー(登録商標)ディスク、ハードディスク、メモリ等)、光学記憶媒体(例えばCD-ROM等)、光磁気記憶媒体(例えばMO等)等のような任意タイプの記憶方式を使用するものであってよい。
【0126】
このため、本出願は、プログラムを記憶している非揮発性記憶媒体を更に開示する。当該プログラムは、命令を含み、前記命令がプロセッサによって実行されると、計算装置に本出願による小包を検出するための方法を実行させる。
【0127】
本出願は、コマンドを含むコンピュータプログラム製品をさらに開示する。前記コンピュータプログラム製品がコンピュータによって実行されると、前記コンピュータに上記いずれかの実施例に記載の小包を検出するための方法を実行させる。
【0128】
本出願による小包を検出する技術案によれば、コンピュータプログラム製品がコンピュータによって実行されると、コンピュータは、小包の点群データに基づいて、小包の外観特徴を取得し、且つ外観特徴に基づいて、規則度を確定してよい。小包を検出する技術案は、小包の規則度を手動で検出する手間を省くことができ、装置によって小包の規則度に対する自動検出を実現し、さらに小包の規則度の検出効率を向上させると共に検出結果の一致性を向上させることができる。
【0129】
なお、本出願に記載の方法におけるステップは、データ処理プログラムによって実現されるほか、ハードウェアによって実行されてもよい。例えば、論理ゲート、スイッチング、特定用途向け集積回路(ASIC)、プログラマブル論理コントローラ及び組込みマイクロコントローラ等によって実現されてよい。このため、このような本出願に記載の方法を実現するハードウェアも、本出願を構成してよい。以上の記載は本出願の好ましい実施例に過ぎず、本出願を限定することを意図するものではない。本出願の主旨及び原則の範囲で行われる任意の変更、等価置換、改良等は何れも本出願の保護範囲内に含まれるべきである。
【0130】
〔関連出願の相互参照〕
本出願は、2019年12月31日に中国特許庁に提出された、出願番号が201911413069.6であり、発明の名称が「小包を検出するための方法、装置、計算装置、物流システム及び記憶媒体」である中国特許出願に基づき優先権を主張する。ここで、その全ての内容は、援用により本出願に組み込まれる。
図1
図2A
図2B
図2C
図3
図4
図5A
図5B
図6
図7
図8
図9
図10
図11
図12
【国際調査報告】