知財求人 - 知財ポータルサイト「IP Force」
▶ ビジョンナビ ロボティクス（シェンチェン）カンパニー，リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-20
(45)【発行日】2023-09-28
(54)【発明の名称】倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体
(51)【国際特許分類】
G06V 20/52 20220101AFI20230921BHJP
G06T 7/00 20170101ALI20230921BHJP
【ＦＩ】
G06V20/52
G06T7/00 660B
【請求項の数】
14
(21)【出願番号】P 2022108074
(22)【出願日】2022-07-05
(65)【公開番号】P2023010638
(43)【公開日】2023-01-20
【審査請求日】2022-07-05
(31)【優先権主張番号】202110769235.7
(32)【優先日】2021-07-07
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】522194898
【氏名又は名称】ビジョンナビ ロボティクス（シェンチェン）カンパニー，リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ヤン，ビンチュアン
(72)【発明者】
【氏名】ル，ユジエ
(72)【発明者】
【氏名】ファン，ム
(72)【発明者】
【氏名】リ，ルーヤン
(72)【発明者】
【氏名】チェン，ペン
【審査官】伊知地 和之
(56)【参考文献】
【文献】国際公開第２０２０／１３２５３５（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１６／０３７３７３４（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１２３０７７８６（ＣＮ，Ａ）
【文献】米国特許出願公開第２０１０／００４０２８５（ＵＳ，Ａ１）
【文献】特開２００８－２６５９０９（ＪＰ，Ａ）
【文献】特開２０２１－０８９５６９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０２６７７７６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
コンピュータにより実現される、倉庫ロケーションの監視方法であって、ロケーションエリアと前記ロケーションエリアの周辺エリアとを含む倉庫ロケーションエリアのビデオデータを取得し、且つ前記ビデオデータに基づいて前記倉庫ロケーションエリアに対応する目標画像を取得すること（２０２）であって、前記ロケーションエリアの周辺エリアは、前記ロケーションエリアに対して位置が調整可能なエリアであり、前記ロケーションエリアの周辺エリアの位置の調整範囲は予め設定された範囲内にある、取得することと、
カテゴリ検出モデルに基づいて前記目標画像を検出することによって、前記目標画像に現れる各対象が所属する、人間、車両、及び貨物のうちの少なくとも１つを含むカテゴリを確定すること（２０４）と、
前記各対象が所属するカテゴリに基づいて前記各対象の状態を検出することによって、人間が倉庫ロケーションエリアに入っているか否か、車両の状態情報、及びロケーション在庫情報のうちの少なくとも１つを含む検出結果を取得すること（２０６）と、
前記検出結果を倉庫スケジューリングシステムに送信すること（２０８）と、を含み、
前記検出結果は前記倉庫スケジューリングシステムが前記倉庫ロケーションエリアを監視するために用いられる、
ことを特徴とする倉庫ロケーションの監視方法。
【請求項2】
前記倉庫ロケーションエリアのビデオデータを取得し、且つ前記ビデオデータに基づいて前記倉庫ロケーションエリアに対応する目標画像を取得することは、前記倉庫ロケーションエリアの前記ビデオデータを取得すること（４０２）と、
前記ビデオデータに対して復号処理を行うことによって、前記ビデオデータに対応する復号画像を取得すること（４０４）と、
前記復号画像に対して校正処理を行うことによって、校正画像を取得すること（４０６）と、
前記校正画像をダウンサンプリング処理することによって、前記倉庫ロケーションエリアに対応する前記目標画像を取得すること（４０８）と、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記カテゴリ検出モデルに基づいて前記目標画像を検出することによって、前記目標画像に現れる各対象が所属するカテゴリを確定することは、前記カテゴリ検出モデルに基づいて、前記目標画像に対して特徴抽出を行うことによって、前記目標画像に対応する画像特徴を取得することと、
前記画像特徴に基づいて、前記目標画像に現れる前記各対象が所属する前記カテゴリを確定することと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項4】
前記各対象が所属するカテゴリに基づいて前記各対象の状態を検出することによって、検出結果を取得することは、前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ前記車両が前記ロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること（５０２）と、
前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、前記ビデオデータにおける前記ロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理後の前記エリア画像に基づいてロケーション在庫情報を確定すること（５０４）と、
前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ前記人間が前記ロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること（５０６）と、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項5】
前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、前記ビデオデータにおける前記ロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理後の前記エリア画像に基づいてロケーション在庫情報を確定することは、前記ロケーションエリアに貨物があると確定された場合、前記貨物が、前記貨物の全てが予め設定された姿勢に応じて前記ロケーションエリアに位置する目標状態にあるか否かを判定すること（６０２）と、
前記貨物が前記目標状態にある場合、前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをＮ回行うことによって、状態フィルタリングの回数に対応するＮ個の第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定すること（６０４）と、
Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周囲に車両が存在し、且つ前記ロケーションエリアと前記車両との距離が距離閾値より大きい場合、又は、前記Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周囲に車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ前記貨物に対応する貨物情報によって貨物種類を確定すること（６０６）と、
前記ロケーションエリアの使用情報及び前記貨物種類を前記ロケーションエリアの前記ロケーション在庫情報とすること（６０８）と、を含み、
前記Ｎは２以上の正の整数であり、
前記Ｎ個の同一の連続的な第一の状態フィルタリング結果は、前記ロケーションエリアに貨物があることである、
ことを特徴とする請求項４に記載の方法。
【請求項6】
前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをＮ回行うことによって、状態フィルタリングの回数に対応するＮ個の第一の状態フィルタリング結果を取得することは、前記ビデオデータに基づいて、前記ロケーションエリアを表すＮフレームのエリア画像を抽出することと、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記Ｎ個の第一の状態フィルタリング結果を取得することと、を含む、
ことを特徴とする請求項５に記載の方法。
【請求項7】
前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをＮ回行うことによって、状態フィルタリングの回数に対応するＮ個の第一の状態フィルタリング結果を取得することは、前記ビデオデータに基づいて、前記ロケーションエリアを表す現在のフレームのエリア画像を抽出することと、
前記現在のフレームのエリア画像に対して状態フィルタリングをＮ回行うことによって、前記Ｎ個の第一の状態フィルタリング結果を取得することと、を含む、
ことを特徴とする請求項５に記載の方法。
【請求項8】
前記Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと前記車両との距離が前記距離閾値以下である場合、前記ロケーションエリアの前記使用情報の確定を停止すること、をさらに含む、ことを特徴とする請求項５に記載の方法。
【請求項9】
前記Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと前記車両との距離が前記距離閾値以下である場合、前記警報情報を生成すること、をさらに含む、ことを特徴とする請求項５に記載の方法。
【請求項10】
前記ロケーションエリアに貨物がないと確定された場合、前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをＭ回行うことによって、状態フィルタリングの回数に対応するＭ個の第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定することと、Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと前記車両との距離が前記距離閾値より大きい場合、又は、前記Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ前記使用情報を前記ロケーションエリアの前記ロケーション在庫情報とすることと、を含み、
前記Ｍは２以上の正の整数であり、
前記Ｍ個の同一の連続的な第二の状態フィルタリング結果は、前記ロケーションエリアに貨物がないことである、
ことを特徴とする請求項５に記載の方法。
【請求項11】
前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをＭ回行うことによって、状態フィルタリングの回数に対応するＭ個の第二の状態フィルタリング結果を取得することは、前記ビデオデータに基づいて、前記ロケーションエリアを表すＭフレームのエリア画像を抽出することと、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記Ｍ個の第二の状態フィルタリング結果を取得することと、を含む、
ことを特徴とする請求項１０に記載の方法。
【請求項12】
前記Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得することは、前記Ｍ個の第二の状態フィルタリング結果における任意の２つの隣接するフレームのエリア画像に対応するフィルタリング結果の照合が完了するまで、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することにより、前記Ｍ個の連続的な第二の状態フィルタリング結果を取得することと、
前記Ｍ個の第二の状態フィルタリング結果が同じである場合、前記Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得することと、を含む、
ことを特徴とする請求項１１に記載の方法。
【請求項13】
コンピュータプログラムが記憶されたメモリ（１２０２）と、プロセッサ（１２０１）とを備えるコンピュータ装置であって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１～１２のいずれか１項に記載の倉庫ロケーションの監視方法を実現する、
ことを特徴とするコンピュータ装置。
【請求項14】
コンピュータプログラムが記憶された不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、請求項１～１２のいずれか１項に記載の倉庫ロケーションの監視方法を実現する、
ことを特徴とする不揮発性コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、倉庫ロケーション管理の技術分野に関し、特に、倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体に関する。
【背景技術】
【0002】
倉庫ロケーション管理技術の発展に伴い、倉庫におけるシーンは益々複雑になり、フォークリフト、作業者、貨物等の様々な混合シーンが存在し、レーザセンサを用いる方法で倉庫ロケーションを監視することによって、倉庫ロケーション管理を実現することは、よくあることである。
しかしながら、レーザセンサを用いる方法では、倉庫ロケーションに貨物が存在するか否かしか監視できず、被検出対象の種類を区別することができず、誤検出事象が多くなり、倉庫ロケーションに対する識別精度が低い場合がある。
しかしながら、レーザセンサを用いる方法では、倉庫ロケーションに貨物が存在するか否かしか監視できず、被検出対象の種類を区別することができず、誤検出事象が多くなり、倉庫ロケーションに対する識別精度が低い場合がある。
【発明の概要】
【0003】
倉庫ロケーションの監視方法であって、該方法は、
ロケーションエリアとロケーションエリアの周辺エリアとを含む倉庫ロケーションエリアのビデオデータを取得し、且つ該ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得することと、
カテゴリ検出モデルに基づいて該目標画像を検出することによって、該目標画像に現れる各対象が所属する、人間、車両、及び貨物のうちの少なくとも１つを含むカテゴリを確定することと、
該各対象が所属するカテゴリに基づいて、前記各対象の状態を検出することによって、人間が倉庫ロケーションエリアに入っているか否か、車両の状態情報、及びロケーション在庫情報のうちの少なくとも１つを含む検出結果を取得することと、
該検出結果を倉庫スケジューリングシステムに送信することと、を含み、
前記検出結果は倉庫スケジューリングシステムが該倉庫ロケーションエリアを監視するために用いられる。
ロケーションエリアとロケーションエリアの周辺エリアとを含む倉庫ロケーションエリアのビデオデータを取得し、且つ該ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得することと、
カテゴリ検出モデルに基づいて該目標画像を検出することによって、該目標画像に現れる各対象が所属する、人間、車両、及び貨物のうちの少なくとも１つを含むカテゴリを確定することと、
該各対象が所属するカテゴリに基づいて、前記各対象の状態を検出することによって、人間が倉庫ロケーションエリアに入っているか否か、車両の状態情報、及びロケーション在庫情報のうちの少なくとも１つを含む検出結果を取得することと、
該検出結果を倉庫スケジューリングシステムに送信することと、を含み、
前記検出結果は倉庫スケジューリングシステムが該倉庫ロケーションエリアを監視するために用いられる。
【0004】
コンピュータプログラムが記憶されたメモリと、プロセッサとを備えるコンピュータ装置であって、
前記プロセッサが前記コンピュータプログラムを実行すると、上記に記載の倉庫ロケーションの監視方法を実現する。
前記プロセッサが前記コンピュータプログラムを実行すると、上記に記載の倉庫ロケーションの監視方法を実現する。
【0005】
コンピュータプログラムが記憶された不揮発性コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、上記に記載の倉庫ロケーションの監視方法を実現する。
前記コンピュータプログラムがプロセッサによって実行されると、上記に記載の倉庫ロケーションの監視方法を実現する。
【0006】
上記倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体は、まず、倉庫ロケーションエリアのビデオデータを取得し、且つ前記ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得ことにより、ディープラーニング画像識別技術に基づいて、カテゴリ検出モデルによって目標画像を検出し、倉庫に現れる人間、車両及び貨物等の対象を正確的且つ効率的に識別することができる。さらに各ロケーションにおける対象の状態を検出して検出結果を取得することができ、該検出結果は倉庫スケジューリングシステムにリアルタイムに共有され、よって、倉庫ロケーションに対するリアルタイム監視が可能となり、倉庫ロケーションに対する識別精度を大幅に向上させる。また、本発明に検出された検査結果はユーザの倉庫スケジューリングシステムにリアルタイムに共有され、企業にロケーション安全情報を提供すると同時に、点検ロボット等のインテリジェントデバイスの無人化作業を補助することもできる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
本発明の目的、技術案及び利点をより明確にするように、以下、図面及び実施形態を参照しながら、本発明をさらに詳細に説明する。ここで説明される具体的な実施形態は本発明を説明するためのものに過ぎず、本発明を制限するものではないと理解すべきである。
【0009】
本発明に係る倉庫ロケーションの監視方法は図１に示す環境に応用できる。撮像装置１０２は、ネットワークを介してコンピュータ装置１０４と通信する。撮像装置１０２は、倉庫ロケーションエリアに対して画像収集を行い、対応するビデオデータを取得してコンピュータ装置１０４に伝送する。コンピュータ装置１０４は、該ビデオデータを取得し、且つ該ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得する。コンピュータ装置１０４は、カテゴリ検出モデルに基づいて目標画像を検出することによって、目標画像に現れる各対象が所属するカテゴリを確定する。コンピュータ装置１０４は、各対象が所属するカテゴリに基づいて、各対象の状態を検出することによって、検出結果を取得する。コンピュータ装置１０４は、スケジューリングシステム１０６が倉庫ロケーションを監視するように、検出結果を倉庫スケジューリングシステム１０６に送信する。撮像装置１０２は様々な画像収集装置であってもよく、例えば、ハイビジョンカメラ、視覚センサ、撮影機能付きの携帯電話が挙げられるが、それらに限定されない。コンピュータ装置１０４は具体的に端末又はサーバであってもよく、端末は各種のパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレットコンピュータ及び携帯型ウェアラブル装置であってもよいがそれらに限定されず、サーバは独立したサーバ又は複数のサーバで構成されたサーバクラスタで実装されることができる。倉庫スケジューリングシステム１０６はＲＣＳシステム（Ｒｏｂｏｔｓ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ）であり、中央制御スケジューリングシステムとも呼ばれ、主にロボットスケジューリングに用いられる。倉庫スケジューリングシステム１０６は具体的に端末又はサーバであってもよく、端末は各種のパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレットコンピュータ及び携帯型ウェアラブル装置であってもよいがそれらに限定されず、サーバは独立したサーバ又は複数のサーバで構成されたサーバクラスタで実装されることができる。
【0010】
【0011】
ステップ２０２：ロケーションエリアとロケーションエリアの周辺エリアとを含む倉庫ロケーションエリアのビデオデータを取得し、且つ該ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得する。
【0012】
ロケーションエリアは倉庫保管エリアであってもよく、ロケーションエリアの周辺エリアはプラットフォーム積み込み・積み下ろしエリアであってもよい。該撮像装置は、少量且つ安価な視覚センサを用いることができる。前記ロケーションエリアの周辺エリアは、前記ロケーションエリアに対して位置が調整可能なエリアであり、前記ロケーションエリアの周辺エリアの調整範囲は予め設定された範囲内にある。ロケーションエリアの周辺エリアは安全エリアとも呼ばれ、その大きさは柔軟に設定されることができ、即ち、倉庫ロケーションエリアに対するロケーションエリアの周辺エリアの位置、及びロケーションエリアの周辺エリアの形状と面積などのエリアパラメータはいずれも、実際の状況に応じて手動で柔軟に設定されることができ、又はコンピュータ装置１０４がロケーションエリアの周辺エリアの履歴データによって自動的に設定することができる。ロケーションエリアの周辺エリアは、前記ロケーションエリアに対して位置が調整可能なエリアであるため、異なる応用シーンによりよく適応することができ、例えば、異なる倉庫全体の空間サイズによって、前記ロケーションエリアに対するロケーションエリアの周辺エリアの異なる位置を設置することができ、異なる貨物の危険係数によって、前記ロケーションエリアに対するロケーションエリアの周辺エリアの異なる位置を設置することもでき、これで、倉庫ロケーションの監視のインテリジェント性及び普遍性を向上させる。
【0013】
具体的に、撮像装置は、倉庫ロケーションエリアに対してビデオ監視を行い、倉庫ロケーションエリアのビデオデータを取得する。撮像装置は、交換機を介してビデオデータをコンピュータ装置に送信し、該コンピュータ装置は倉庫ロケーションエリアのビデオデータを受信する。コンピュータ装置は、該ビデオデータに基づいて、倉庫ロケーションエリアに対応する目標画像を取得する。
【0014】
１つの実施形態において、撮像装置とコンピュータ装置は、交換機を介してビデオストリーム（ビデオデータ）の伝送を実現し、撮像装置と交換機は、有線ネットワークを介してデータストリームを実現することができ、交換機とコンピュータ装置は有線ネットワーク又は移動通信技術（例えば第五代通信技術（５ｔｈＧｅｎｅｒａｔｉｏｎ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ、５Ｇ））を介してデータストリームを実現することができる。
【0015】
１つの実施形態において、倉庫保管エリア及びプラットフォーム積み込み・積み下ろしエリアに配置された撮像装置に基づいて、倉庫ロケーションエリアのビデオデータをリアルタイムに取得する。該ビデオデータは有線ネットワークを介して交換機に伝送され、コンピュータ装置の監視プログラムは、交換機に基づいてビデオストリームを絶えずに取得し、且つ該ビデオストリームに基づいて、コンピュータ装置は倉庫ロケーションエリアに対応する目標画像を取得する。該撮像装置は赤外線機能を備えるカメラであってもよいため、照明がない状況でも依然としてリアルタイム検出タスクを行うことができ、夜間動作のインテリジェントデバイスに情報支持を提供し、運営コストを低減させる。倉庫保管・物流、製造、航空などの分野における各種の平面倉庫保管、貨物輸送などのシーンに好適である。
【0016】
ステップ２０４：カテゴリ検出モデルに基づいて該目標画像を検出することによって、該目標画像に現れる各対象が所属するカテゴリを確定する。前記カテゴリは人間、車両、及び貨物のうちの少なくとも１つを含む。
【0017】
具体的に、コンピュータ装置は、取得された目標画像をカテゴリ検出モデルに入力して検出し、目標画像に現れる各対象に基づいて、各対象が所属するカテゴリに応じて各対象を分類し、検出結果を取得する。例えば、コンピュータ装置は、目標画像をカテゴリ検出モデルに入力して、該カテゴリ検出モデルは、目標画像に現れる対象を、人間、車両、貨物のカテゴリに応じて分類し、該目標画像に現れる各対象が所属するカテゴリを取得する。
【0018】
ステップ２０６：該各対象が所属するカテゴリに基づいて、各対象の状態を検出することによって、人間が倉庫ロケーションエリアに入っているか否か、車両の状態情報、及びロケーション在庫情報のうちの少なくとも１つを含む検出結果を取得する。
【0019】
ロケーション在庫情報は、ロケーションが使用されているか否か、及びロケーションにおける貨物の種類を含む。
【0020】
具体的に、コンピュータ装置は、状態評価モジュールに基づいて、カテゴリに対応する検出方式に従って、各対象の状態を検出することによって、各対象の状態に対応する検出結果を取得する。例えば、コンピュータ装置は、状態評価モジュールを介して各対象の状態を検出し、カテゴリに対応する検出方式に従って、各対象の状態に対応する検出結果、例えばロケーションエリアにおける人員状態、車両状態、ロケーションに貨物があるか否か、及びロケーションにおける貨物の種類を取得する。これにより、貨物の種類に応じてインテリジェントな選別機能を実現することができる。
【0021】
ステップ２０８：倉庫スケジューリングシステムが該倉庫ロケーションエリアを監視するように、検出結果を倉庫スケジューリングシステムに送信する。
【0022】
倉庫スケジューリングシステムはＲＣＳシステムであり、中央制御スケジューリングシステムとも呼ばれ、主にロボットスケジューリングに用いられる。
【0023】
具体的に、コンピュータ装置は、検出結果をＲＣＳシステムに送信し、該ＲＣＳシステムは、該検出結果に基づいて該倉庫ロケーションエリアをスケジューリングする。例えば、倉庫無人フォークリフトの動作を指示するために、コンピュータ装置はｗｉｆｉ又は５Ｇを介してＲＣＳとネットワーク接続を行うことができ、ハイパーテキスト転送プロトコル（ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ、Ｈｔｔｐ）及びＪｓｏｎ＿ｒｐｃ（ｊａｖａｓｃｒｉｐｔ ｏｂｊｅｃｔ ｎｏｔａｔｉｏｎ ｒｅｍｏｔｅ ｐｒｏｃｅｄｕｒｅ ｃａｌｌ）の方式によって、検出結果をＲＣＳシステムに送信する。
【0024】
上記倉庫ロケーションの監視方法において、まず、倉庫ロケーションエリアのビデオデータを取得し、且つ該ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得する。よって、画像識別技術をディープラーニングでき、カテゴリ検出モデルによって目標画像を検出し、倉庫に現れる人間、車両及び貨物等の対象を正確的且つ効率的に識別することができる。さらに各対象の状態を検出して検出結果を取得することができる。最後、該検出結果は倉庫スケジューリングシステムにリアルタイムに共有され、よって、倉庫ロケーションに対するリアルタイム監視が可能となり、倉庫ロケーションに対する識別精度を大幅に向上させる。また、本発明に検出された検査結果はユーザの倉庫スケジューリングシステムにリアルタイムに共有され、企業にロケーション安全情報を提供すると同時に、点検ロボット等のインテリジェントデバイスの無人化作業を補助することもできる。
【0025】
１つの選択可能な実施形態において、図３に示すように、撮像装置は、倉庫保管エリア及びプラットフォーム積み込み・積み下ろしエリアに対応するビデオデータをそれぞれ取得し、ビデオデータを、有線ネットワークを介して交換機に送信する。交換機は、有線ネットワーク又は５Ｇ技術を介して、ビデオデータをコンピュータ装置に送信することができる。コンピュータ装置の監視プログラムはビデオストリームを絶えずに取得し、該ビデオストリームに基づいて、コンピュータ装置は、倉庫保管エリア、プラットフォーム積み込み・積み下ろしエリアに対応する目標画像を取得する。該目標画像に基づいて、コンピュータ装置はカテゴリ検出モデルにより、該目標画像における各対象のカテゴリを取得する。コンピュータ装置は各対象のカテゴリに基づいて、カテゴリに対応する検出方式により、カテゴリに対応する検出結果を取得する。倉庫無人フォークリフトの動作を指示するために、コンピュータ装置は、５Ｇ技術又はｗｉｆｉを介してＲＣＳシステムとネットワーク接続を行うことができ、Ｈｔｔｐ及びＪｓｏｎ＿ｒｐｃの方式によって、検出結果をＲＣＳシステムに送信する。ＲＣＳシステムと無人フォークリフトは５Ｇ技術又はｗｉｆｉを介して接続することができ、よって、倉庫ロケーションに対するリアルタイム監視が可能となり、さらに倉庫ロケーションに対する識別精度を向上させる。
【0026】
１つの実施形態において、図４に示すように、倉庫ロケーションエリアのビデオデータを取得し、且つ該ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得することは、以下の内容を含む。
【0027】
ステップ４０２：倉庫ロケーションエリアのビデオデータを取得する。
【0028】
具体的に、コンピュータ装置の監視プログラムは交換機を介して、倉庫ロケーションエリアのビデオストリームを連続的に取得する。例えば、ロケーション検出カメラは、倉庫ロケーションエリアに対応するビデオデータをコンピュータ装置の画像処理モジュールに入力し、該画像処理モジュールは画像収集及び前処理に用いられる。
【0029】
ステップ４０４：該ビデオデータに対して復号処理を行うことにとって、ビデオデータに対応する復号画像を取得する。
【0030】
具体的に、コンピュータ装置は、ビデオデータを画像処理モジュールに入力した後、ビデオデータに対して復号処理を行うことにとって、ビデオデータに対応する復号画像を取得する。
【0031】
ステップ４０６：復号画像に対して校正処理を行うことによって、校正画像を取得する。
【0032】
具体的に、異なる撮像装置に対応する型番が異なるため、復号画像に歪みが生じる。コンピュータ装置は、復号画像に対してパラメータ調整を行い、復号画像の歪み領域を調整し、校正画像を取得する。
【0033】
ステップ４０８：該校正画像をダウンサンプリング処理することによって、倉庫ロケーションエリアに対応する目標画像を取得する。
【0034】
具体的に、コンピュータ装置は、該校正画像をダウンサンプリング処理することによって、倉庫ロケーションエリアに対応する目標画像を取得する。それで、画像の計算量を減少する。コンピュータ装置は倉庫ロケーションエリアに対応する該ビデオデータを保存する。
【0035】
本実施形態において、コンピュータ装置は、倉庫ロケーションエリアのビデオストリームを取得し、該ビデオデータに基づいて、復号処理を行うことにとって校正画像を取得し、ビデオを画像に転換する過程を実現する。また、復号画像に対して校正処理を行うことによって、校正画像を取得する。それで、異なる撮像装置による画像歪みの問題を解決する。そして、コンピュータ装置は、校正画像をダウンサンプリング処理することによって、目標画像を取得し、それで、目標画像の計算量を減少する。
【0036】
１つの実施形態において、カテゴリ検出モデルに基づいて該目標画像を検出することによって、該目標画像に現れる各対象が所属するカテゴリを確定することは、
トレーニングされたカテゴリ検出モデルを取得することと、
該カテゴリ検出モデルに基づいて、該目標画像に対して特徴抽出を行うことによって、該目標画像に対応する画像特徴を取得することと、
該画像特徴に基づいて、該目標画像に現れる各対象が所属するカテゴリを確定することと、を含む。
トレーニングされたカテゴリ検出モデルを取得することと、
該カテゴリ検出モデルに基づいて、該目標画像に対して特徴抽出を行うことによって、該目標画像に対応する画像特徴を取得することと、
該画像特徴に基づいて、該目標画像に現れる各対象が所属するカテゴリを確定することと、を含む。
【0037】
具体的に、コンピュータ装置は、倉庫ロケーションエリアに対応する目標画像を取得した後、トレーニングされたカテゴリ検出モデルをロードし、目標画像をカテゴリ検出モデルに入力して特徴抽出を行う。該カテゴリ検出モデルがフォワード計算を完了した後、該目標画像に対応する画像特徴が取得される。該カテゴリ検出モデルは画像特徴によって、目標画像に現れる各対象を分類し、各対象が所属するカテゴリを取得する。特徴抽出は画像のエッジ特徴、色特徴、テクスチャ特徴、形状特徴及び空間関係特徴などの画像特徴の抽出を含むがそれらに限定されない。フォワード計算は、一組の入力によって出力を計算する過程である。具体的に、コンピュータ装置は取得された目標画像をディープラーニング物体検出分類モジュールに入力し、該ディープラーニング物体検出分類モジュールにおけるトレーニングされた分類モデルをロードし、フォワード計算を行い、目標画像における人員、貨物、車両に対応する特徴を取得し、目標画像に現れる特徴に応じて整理し、目標画像における各対象が所属するカテゴリを確定する。
【0038】
本実施形態において、コンピュータ装置は、トレーニングされたカテゴリ検出モデルによって、目標画像に対応する画像特徴を取得し、該画像特徴に基づいて目標画像に現れる各対象が所属するカテゴリを確定する。そのため、ディープラーニング技術を利用することで環境への依存度（例えば場所、周辺、照明など）を減少することができ、且つ倉庫ロケーションエリアの人員、貨物、及び車両を効率的に識別することができ、それによりインテリジェントな分類が可能となり、ロケーション監視識別の精度を向上させることができる。
【0039】
１つの実施形態において、図５に示すように、各対象が所属するカテゴリに基づいて、各対象の状態を検出することによって、検出結果を取得することは、以下の内容を含む。
【0040】
ステップ５０２：前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ該車両がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信する。
【0041】
具体的に、コンピュータ装置は、撮像装置のロケーション割り当て構成テーブルに基づいて、倉庫ロケーションエリアを検出する。前記撮像装置のロケーション割り当て構成テーブルは、撮像装置識別子とロケーションとの対応関係を含み、前記撮像装置識別子は、撮像装置の製品シリアル番号等を含むことができる。コンピュータ装置は、前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ該車両がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信する。警報情報は、倉庫ロケーションエリアに配置された指示ランプ、スピーカーによって警報されてもよく、警報情報をコンピュータ装置の表示インタフェースに送信することで警報されてもよく、警報情報をＲＣＳシステムに送信することで警報されてもよい。例えば、コンピュータ装置は、倉庫ロケーションエリアに車両が入っているか否かを検出する。車両が倉庫ロケーションエリアに入っている場合に、車両が倉庫ロケーションエリアから離れるまで、倉庫におけるスピーカーと指示ランプは、それぞれ音声とランプ光により警告を行い、同時に、警報文字がコンピュータ装置の表示インタフェースに送信されるとともに、該警報情報がＲＣＳシステムに送信される。他の実施形態では、前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ該車両が倉庫ロケーションエリアに入っていると確定された場合、警報情報を送信する。又は、前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ該車両が倉庫ロケーションエリアとロケーションエリアに入っていると確定された場合、警報情報を送信する。
【0042】
ステップ５０４：前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、該ビデオデータにおけるロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理の結果に基づいてロケーション在庫情報を確定する。
【0043】
具体的に、コンピュータ装置は、撮像装置のロケーション割り当て構成テーブルに基づいて、各ロケーションを検出する。カテゴリが貨物である場合、フィルタリング回数を設定し、該ビデオデータにおけるロケーションエリアを表すエリア画像に対して状態フィルタリング処理を複数回行うことによって、フィルタリング回数に対応する状態フィルタリング結果を取得し、且つ状態フィルタリング処理結果に基づいてロケーション在庫情報を確定する。
【0044】
１つの実施形態において、コンピュータ装置は、状態評価モジュールによって撮像装置のロケーション割り当て構成テーブルを取得し、倉庫ロケーションエリアにおける各ロケーションを検出する。カテゴリが貨物である場合、ビデオデータにおけるロケーションエリアを表す各フレームのエリア画像に基づいて、各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、フレーム数に対応する状態フィルタリング結果を取得するとともに、各フレームのエリア画像に対応する状態フィルタリング結果に基づいて、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合し、複数の照合結果を取得し、照合結果に基づいてロケーション在庫情報を確定する。
【0045】
１つの実施形態において、コンピュータ装置は、状態評価モジュールによって撮像装置のロケーション割り当て構成テーブルを取得し、倉庫ロケーションエリアにおける各ロケーションを検する。カテゴリが貨物である場合、ビデオデータにおけるロケーションエリアを表す現在のフレームに対応するエリア画像に基づいて、現在のフレームのエリア画像に対して状態フィルタリングを複数回行うことによって、フレーム数に対応する状態フィルタリング結果を取得し、現在のフレームのエリア画像における前回の状態フィルタリング結果を、現在の状態フィルタリング結果と照合し、複数の照合結果を取得し、照合結果に基づいてロケーション在庫情報を確定する。
【0046】
ステップ５０６：前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ該人間がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信する。
【0047】
具体的に、コンピュータ装置は、前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ人間がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信する。警報情報は、倉庫ロケーションエリアに配置された指示ランプ、スピーカーによって警報されてもよく、警報情報をコンピュータ装置の表示インタフェースに送信することで警報されてもよく、警報情報をＲＣＳシステムに送信することで警報されてもよい。例えば、ンピュータ装置は、前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ人間がロケーションエリアの周辺エリアに入っていると確定された場合、人間が倉庫ロケーションエリアから離れるまで、倉庫におけるスピーカーと指示ランプは、それぞれ音声とランプ光により警告を行い、同時に、警報文字がコンピュータ装置の表示インタフェースに送信されるとともに、該警報情報がＲＣＳシステムに送信される。他の実施形態では、前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ該人間が倉庫ロケーションエリアに入っていると確定された場合、警報情報を送信する。又は、前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ該人間が倉庫ロケーションエリアとロケーションエリアに入っていると確定された場合、警報情報を送信する。
【0048】
本実施形態において、前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ該車両がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信する。前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、ビデオデータにおけるロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理の結果に基づいてロケーション在庫情報を確定する。前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ該人間がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信する。したがって、カテゴリに対応する検出方式に従って検出し、人員、車両に対して安全監視をリアルタイムに行うことができ、及び倉庫ロケーションエリアにおける各ロケーションの在庫情報をリアルタイムに取得でき、よって、ロケーション監視識別の精度を向上させることができる。
【0049】
１つの実施形態において、図６に示すように、前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、該ビデオデータにおけるロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理後のエリア画像に基づいてロケーション在庫情報を確定することは、以下の内容を含む。
【0050】
ステップ６０２：該ロケーションエリアに貨物があると確定された場合、該貨物が目標状態にあるか否かを判定する。
【0051】
具体的に、コンピュータ装置はロケーションエリアを検出し、ロケーションエリアに貨物があると確定した時、該ロケーションと貨物との位置関係に基づいて、該貨物が目標状態にあるか否かを判定する。該目標状態は貨物が全て予め設定された姿勢に応じてロケーションエリアに位置することである。上記予め設定された姿勢は方形の姿勢であってもよい。例えば、貨物が方形であれば、方形の姿勢は方形貨物の少なくとも一つの平面が倉庫ロケーションエリアの底面と平行する姿勢である。
【0052】
１つの実施形態において、コンピュータ装置は該貨物が目標状態にないと判定する場合、倉庫におけるスピーカーと指示ランプはそれぞれ音声とランプ光により警告を行うと同時に、警報文字がコンピュータ装置の表示インタフェースに送信され、且つ該警報情報がＲＣＳシステムに送信される。
【0053】
ステップ６０４：該貨物が目標状態にある場合、該ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＮ回行うことによって、状態フィルタリングの回数に対応するＮ個の第一の状態フィルタリング結果を取得し、且つ該ロケーションエリアの周辺エリアに車両が存在するか否かを判定する。
【0054】
具体的に、撮像装置のロケーション割り当て構成テーブルに基づいて、各ロケーションを検出する。カテゴリが貨物であり、且つ貨物が目標状態にある場合、コンピュータ装置はフィルタリングの回数を設定し、且つビデオデータにおけるロケーションエリアを表すエリア画像に基づいて状態フィルタリングを複数回行うことによって、複数の第一の状態フィルタリング結果を取得する。コンピュータ装置は、ロケーションエリアの周辺エリアに車両が存在するか否かを判定する。
【0055】
ステップ６０６：Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、且つ該ロケーションエリアの周辺エリアに車両が存在しない場合、該ロケーションエリアの使用情報を確定し、且つ貨物に対応する貨物情報によって貨物の種類を確定する。前記Ｎ個の同一の連続的な第一の状態フィルタリング結果は、前記ロケーションエリアに貨物があることである。
【0056】
具体的に、コンピュータ装置はＮ個の第一の状態フィルタリング結果を取得する。コンピュータ装置は、フィルタリング回数と同じ個数を有する同一の連続的な第一の状態フィルタリング結果を取得し、ロケーションエリアに車両が存在すると検出し、且つロケーションエリアと車両との距離が距離閾値より大きい場合、又は、Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、且つロケーションエリアの周辺エリアに車両が存在しないと検出した場合、第一の状態フィルタリング結果に基づいて、該ロケーションエリアにおけるロケーションの占有状況を確定し、且つ貨物情報を取得することによって貨物の種類を確定する。
【0057】
１つの実施形態において、コンピュータ装置の状態評価モジュールは、撮像装置のロケーション割り当て構成テーブルを取得し、倉庫ロケーションエリアにおける各ロケーションを検出する。カテゴリが貨物であり、且つロケーションに貨物がある場合、状態フィルタリングの回数を設定し、例えば、１分以内に状態フィルタリングを２０回行う。ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、少なくとも２０フレームのエリア画像を取得し、各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、対応する第一の状態フィルタリング結果を取得し、且つコンピュータ装置は、該ロケーションエリアの周辺エリアに車両が存在するか否かを検出する。
【0058】
例えば、第一の状態フィルタリング結果が初めて２０回連続の貨物ありとして現れる場合、即ち、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することによって、いずれも貨物があるという２０の照合結果を取得し、同時にロケーションエリアの周辺エリアに車両がないと検出した場合、該ロケーションに貨物があると確定され、且つコンピュータ装置の表示インタフェースに該ロケーションが赤色として表示されており、即ち、貨物があることが示される。又は、第一の状態フィルタリング結果が初めて２０回連続の貨物ありとして現れる場合、即ち、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することによって、いずれも貨物があるという２０の照合結果を取得し、同時にロケーションエリアの周辺エリアに車両が存在すると検出し、且つ該車両とロケーションエリアとの距離が距離閾値より大きい（例えば、距離閾値が２ｍであり、該車両とロケーションエリアとの距離が２ｍを超える）場合、該ロケーションに貨物があると確定され、且つコンピュータ装置の表示インタフェースに該ロケーションが赤色として表示されており、即ち、貨物があることが示される。フィルタリング回数に達していない場合、コンピュータ装置は、２０回の同一の連続的なフィルタリング結果が現れるまでフィルタリング回数を増加する。コンピュータ装置は貨物情報を取得することによって貨物の種類を確定する。
【0059】
１つの実施形態において、コンピュータ装置の状態評価モジュールは、撮像装置のロケーション割り当て構成テーブルを取得し、倉庫ロケーションエリアにおける各ロケーションを検出する。カテゴリが貨物であり、且つロケーションに貨物がある場合、状態フィルタリングの回数を設定する、例えば、１分以内に状態フィルタリングを２０回行う。ビデオデータにおけるロケーションエリアを表す現在のフレームに対応するエリア画像に基づいて、現在のフレームのエリア画像に対して少なくとも２０回の状態フィルタリングを行うことによって、対応する第一の状態フィルタリング結果を取得し、且つコンピュータ装置は、該ロケーションエリアの周辺エリアに車両が存在するか否かを検出する。
【0060】
例えば、第一の状態フィルタリング結果が初めて２０回連続の貨物ありとして現れる場合、即ち、現在のフレームのエリア画像における前回のフィルタリング結果を、現在のフィルタリング結果と照合することによって、いずれも貨物があるという２０の照合結果を取得し、且つロケーションエリアの周辺エリアに車両がないと検出した場合、該ロケーションに貨物があると確定され、且つコンピュータ装置の表示インタフェースに該ロケーションが赤色として表示されており、貨物があることが示される。又は、第一の状態フィルタリング結果が初めて２０回連続の貨物ありとして現れる場合、即ち、現在のフレームのエリア画像における前回のフィルタリング結果を、現在のフィルタリング結果と照合し、いずれも貨物があるという２０の照合結果を取得し、ロケーションエリアの周辺エリアに車両が存在し、且つ該車両とロケーションエリアとの距離が距離閾値より大きい（例えば、距離閾値が２ｍであり、該車両とロケーションエリアとの距離が２ｍを超える）場合、該ロケーションに貨物があると確定され、且つコンピュータ装置の表示インタフェースに該ロケーションが赤色として表示されており、貨物があることが示される。フィルタリング回数に達していない場合、コンピュータ装置は、２０回の同一の連続的なフィルタリング結果が現れるまでフィルタリング回数を増加する。コンピュータ装置は貨物情報を取得することによって貨物の種類を確定する。
【0061】
ステップ６０８：該ロケーションエリアの使用情報及び該貨物の種類をロケーションエリアのロケーション在庫情報とする。
【0062】
具体的に、コンピュータ装置はロケーションエリアの使用情報及びロケーションにおける貨物の種類をともにロケーションエリアのロケーション在庫情報とする。該コンピュータ装置はロケーション在庫情報を保存し、且つＲＣＳシステム及びコンピュータ装置の表示モジュールに出力する。例えば、無人フォークリフトの動作を指示するために、コンピュータ装置は、ロケーションエリアにおけるロケーションの使用状況及びロケーションにおける貨物の種類をロケーションエリアのロケーション在庫情報として、Ｈｔｔｐ及びＪｓｏｎ＿ｒｐｃの方式によって、ＲＣＳシステムに送信する。ＲＣＳシステムは５Ｇ技術又はｗｉｆｉを介して無人フォークリフトと接続することができる。コンピュータ装置のインタフェースプログラムが画像取得コマンドを送信した後、Ｈｔｔｐ及びＲｐｃｌｉｂ（Ｒｅｓｅａｒｃｈ ａｎｄ Ｐｕｂｌｉｃａｔｉｏｎ Ｃｏｍｍｉｔｔｅｅ ｌｉｂｒａｒｙ）を介して画像をコンピュータ装置の表示モジュールに入力する。
【0063】
本実施例において、ロケーションエリアに貨物があると確定された場合、コンピュータ装置は貨物が目標状態にあるか否かを判定することによって、貨物がロケーションに安全に格納されるか否かをタイムリーに確保する。貨物が目標状態にある場合、ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて状態フィルタリングを複数回行うことによって、第一の状態フィルタリング結果を取得し、且つ該ロケーションエリアの周辺エリアに車両が存在するか否かを判定する。複数の同一の連続的な第一の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、複数の同一の連続的な第一の状態フィルタリング結果を取得し、且つ該ロケーションエリアの周辺エリアに車両が存在しない場合、ロケーションエリアの使用情報を確定し、且つ貨物に対応する貨物情報によって貨物の種類を確定し、ロケーションエリアの使用情報及び貨物の種類をロケーションエリアのロケーション在庫情報とする。したがって、ロケーションエリアにおける各ロケーションの占有状況をリアルタイムに取得できるのみならず、ロケーションに保存される貨物の種類を取得することもできる。よって、倉庫ロケーションエリアにおける各ロケーションの在庫情報をリアルタイムに取得し、ロケーション監視識別の精度を向上させることができる。
【0064】
１つの実施形態において、Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値以下である場合、該ロケーションエリアの使用情報の確定を停止する。
【0065】
具体的に、コンピュータ装置は複数の第一の状態フィルタリング結果を取得する。コンピュータ装置は、フィルタリング回数と同じ個数を有する同一の連続的な第一の状態フィルタリング結果を取得し、ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値以下である場合、該ロケーションエリアの使用情報の確定を停止する。該ロケーションエリアの使用情報の確定は、該ロケーションエリアの占有状況を更新することである。
【0066】
１つの実施形態において、コンピュータ装置の状態評価モジュールは、撮像装置のロケーション割り当て構成テーブルを取得し、倉庫ロケーションエリアにおける各ロケーションを検出する。カテゴリが貨物であり、且つ該ロケーションに貨物がある（即ち、車両が貨物を該ロケーションに置く）場合、状態フィルタリングの回数を設定し、例えば、１分以内に状態フィルタリングを２０回行う。ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、少なくとも２０フレームのエリア画像を取得し、各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、対応する第一の状態フィルタリング結果を取得し、且つ該ロケーションエリアと車両との距離が距離閾値以下である（即ち、車両は該ロケーションエリアの周辺エリアに貨物を置いており、まだ離れていない）。該距離閾値はコンピュータ装置によって設置されることができ、例えば、コンピュータ装置が距離閾値を２ｍと設置する。
【0067】
無人フォークリフトはＲＣＳシステムの格納コマンドを受信すると、ロケーションエリアに入る時、該コマンドは無人フォークリフトが貨物を貨物が格納されていないロケーションに格納することを指示し、貨物が格納されていないロケーション標識は青色である。コンピュータ装置の表示インタフェースは貨物が格納されているロケーションを赤色で標識し、貨物が格納されていないロケーションを青色で標識する。コンピュータ装置は無人フォークリフトが貨物をロケーションに搬送して格納した後、該ロケーションに対して状態フィルタリングを行う。該ロケーションの第一の状態フィルタリング結果が初めて２０回連続の貨物ありとして現れ、且つ無人フォークリフトからロケーションまでの距離が２ｍ以下である場合、コンピュータ装置は該ロケーションエリアの使用情報の確定を停止する。即ち、コンピュータ装置の表示インタフェースは該ロケーションの更新を停止し、換言すると、コンピュータ装置の表示インタフェースは依然として該ロケーションが青色であることを表示する。ロケーションと無人フォークリフトとの距離が２ｍより大きくなるまで、倉庫におけるスピーカーと指示ランプはそれぞれ音声とランプ光により警告を行うと同時に、警報文字がコンピュータ装置の表示インタフェースに送信され、且つ該警報情報がＲＣＳシステムに送信される。その後、コンピュータ装置は該ロケーションを再び更新し始め、即ち、該ロケーションは青色標識から赤色標識に変わる。
【0068】
本実施形態において、複数の同一の連続的な第一の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値以下である場合、該ロケーションエリアの使用情報の確定を停止する。したがって、コンピュータ装置は車両とロケーションエリアとの距離をリアルタイムに監視でき、さらに車両の運行状態をリアルタイムにフィードバックし、車両に対する安全監視を実現する。
【0069】
１つの実施形態において、該ロケーションエリアに貨物がないと確定された場合、該ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングを複数回行うことによって、状態フィルタリングの回数に対応するＭ個の第二の状態フィルタリング結果を取得し、且つ該ロケーションエリアの周辺エリアに車両が存在するか否かを判定する。Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、且つ該ロケーションエリアの周辺エリアに車両が存在しない場合、該ロケーションエリアの使用情報を確定し、且つ該使用情報を該ロケーションエリアのロケーション在庫情報とする。前記Ｍは２以上の正の整数であり、前記Ｍ個の同一の連続的な第二の状態フィルタリング結果は、前記ロケーションエリアに貨物がないことである。
【0070】
具体的に、撮像装置のロケーション割り当て構成テーブルに基づいて、各ロケーションを検出する。ロケーションエリアに貨物がないと確定された場合、コンピュータ装置はフィルタリングの回数を設定し、且つビデオデータにおけるロケーションエリアを表すエリア画像に基づいて状態フィルタリングを複数回行うことによって、複数の第二の状態フィルタリング結果を取得する。コンピュータ装置は、ロケーションエリアの周辺エリアに車両が存在するか否かを判定する。コンピュータ装置は、複数の第二の状態フィルタリング結果を取得する。コンピュータ装置は、フィルタリング回数と同じ個数を有する同一の連続的な第二の状態フィルタリング結果を取得し、ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、複数の第二の状態フィルタリング結果を取得し、且つロケーションエリアの周辺エリアに車両が存在しないと検出した場合、第二の状態フィルタリング結果に基づいて、該ロケーションエリアにおけるロケーションの占有状況を確定し、且つ該使用情報を該ロケーションエリアのロケーション在庫情報とする。
【0071】
１つの実施形態において、コンピュータ装置は状態評価モジュールによって、撮像装置のロケーション割り当て構成テーブルを取得し、倉庫ロケーションエリアにおける各ロケーションを検出する。ロケーションエリアに貨物がないと確定された場合、状態フィルタリングの回数を設定し、例えば、１分以内に状態フィルタリングを２０回行う。ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、少なくとも２０フレームのエリア画像を取得し、各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、対応する第二の状態フィルタリング結果を取得し、且つコンピュータ装置は、該ロケーションエリアの周辺エリアに車両が存在するか否かを検出する。
【0072】
例えば、第二の状態フィルタリング結果が初めて２０回連続の貨物無しとして現れ、且つロケーションエリアの周辺エリアに車両がない場合、即ち前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することによって、いずれも貨物がないという２０の照合結果を取得する場合、該ロケーションに貨物がないと確定され、且つコンピュータ装置の表示インタフェースに該ロケーションが青色として表示されており、即ち、貨物がないことが示される。又は、第二の状態フィルタリング結果が初めて２０回連続の貨物無しとして現れ、ロケーションエリアの周辺エリアに車両が存在し、且つ該車両とロケーションエリアとの距離が距離閾値より大きい（例えば、距離閾値が２ｍであり、該車両とロケーションエリアとの距離が２ｍを超える）場合、即ち、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することによって、いずれも貨物があるという２０の照合結果を取得する場合、該ロケーションに貨物がないと確定され、且つコンピュータ装置の表示インタフェースに該ロケーションが青色として表示されており、貨物がないことが示される。フィルタリング回数に達していない場合、コンピュータ装置は、２０回の同一の連続的なフィルタリング結果が現れるまでフィルタリング回数を増加する。
【0073】
１つの実施形態において、コンピュータ装置は状態評価モジュールによって、撮像装置のロケーション割り当て構成テーブルを取得し、倉庫ロケーションエリアにおける各ロケーションを検出し、ロケーションエリアに貨物がないと確定された場合、フィルタリングの回数を設定し、例えば、１分以内に状態フィルタリングを２０回行う。ビデオデータにおけるロケーションエリアを表す現在のフレームに対応するエリア画像に基づいて、現在のフレームのエリア画像に対して少なくとも２０回の状態フィルタリングを行うことによって、対応する第二の状態フィルタリング結果を取得し、且つコンピュータ装置は、該ロケーションエリアの周辺エリアに車両が存在するか否かを検出する。
【0074】
例えば、第二の状態フィルタリング結果が初めて２０回連続の貨物無しとして現れ、且つロケーションエリアの周辺エリアに車両がない場合、即ち、現在のフレームのエリア画像における前回のフィルタリング結果を、現在のフィルタリング結果と照合することによって、いずれも貨物がないという２０の照合結果を取得する場合、該ロケーションに貨物がないと確定され、且つコンピュータ装置の表示インタフェースに該ロケーションが青色として表示されており、貨物がないことが示される。又は、第二の状態フィルタリング結果が初めて２０回連続の貨物無しとして現れ、ロケーションエリアの周辺エリアに車両が存在し、且つ該車両とロケーションエリアとの距離が距離閾値より大きい（例えば、距離閾値が２ｍであり、該車両とロケーションエリアとの距離が２ｍを超える）場合、即ち、現在のフレームのエリア画像における前回のフィルタリング結果を、現在のフィルタリング結果と照合することによって、いずれも貨物があるという２０の照合結果を取得する場合、該ロケーションに貨物がない状態と確定され、且つコンピュータ装置の表示インタフェースに該ロケーションが青色として表示されており、貨物がないことが示される。フィルタリング回数に達していない場合、コンピュータ装置は、２０回の同一の連続的なフィルタリング結果が現れるまでフィルタリング回数を増加する。
【0075】
本実施形態において、ロケーションエリアに貨物がないと確定された場合、ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＭ回行うことによって、第二の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在するか否かを判定する。Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、且つ該ロケーションエリアの周辺エリアに車両が存在しない場合、ロケーションエリアの使用情報を確定し、且つ使用情報をロケーションエリアのロケーション在庫情報とする。したがって、倉庫無人フォークリフト倉庫が格納可能なロケーションを指示するために、倉庫ロケーションエリアにおける各ロケーションの在庫情報をリアルタイムに取得することができる。
【0076】
１つの実施形態において、無人フォークリフトはＲＣＳシステムの荷取りコマンドを受信すると、ロケーションエリアから出る時、該コマンドは無人フォークリフトが、貨物が格納されており且つ標識が赤色であるロケーションから貨物を取り出すこと指示する。無人フォークリフトは貨物を、その貨物が格納されたロケーションから取り出した後、該ロケーションに対して状態フィルタリングを行う。該ロケーションの第一の状態フィルタリング結果が初めて２０回連続の貨物ありとして現れ、且つ無人フォークリフトからロケーションまでの距離が２ｍ以下である場合、コンピュータ装置の表示インタフェースは該ロケーションの更新を停止し、即ち、コンピュータ装置の表示インタフェースは依然として該ロケーションが赤色であることを表示する。ロケーションと無人フォークリフトとの距離が２ｍより大きくなるまで、倉庫におけるスピーカーと指示ランプはそれぞれ音声とランプ光により警告を行うと同時に、警報文字がコンピュータ装置の表示インタフェースに送信され、且つ該警報情報がＲＣＳシステムに送信される。その後、コンピュータ装置は該ロケーションを再び更新し始め、即ち、該ロケーションは赤色標識から青色標識に変わる。
【0077】
本実施形態において、複数の同一の連続的な第一の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値以下である場合、該ロケーションエリアの使用情報の確定を停止する。したがって、コンピュータ装置は車両とロケーションエリアとの距離をリアルタイムに監視でき、さらに車両の運行状態をリアルタイムにフィードバックし、車両に対する安全監視を実現する。
【0078】
倉庫ロケーションエリアにおける対象の状態の検出案をより明確に理解するように、以下、より詳しい実施形態を提供して説明する。倉庫ロケーションエリアにおける対象の状態の検出案について、具体的には図７に示すように、監視システムはコンピュータ装置と理解されてもよい。監視システムは倉庫ロケーションエリアにおける対象が所属するカテゴリを取得して状態検出を行い、まずは倉庫ロケーションエリア、ロケーションエリアをそれぞれ検出する。倉庫ロケーションエリア全体に人員が入っていると検出した場合、人員が倉庫ロケーションエリアから離れるまで、倉庫におけるスピーカーと指示ランプは、それぞれ音声とランプ光により警告を行うと同時に、警報文字が監視システムの表示インタフェースに送信され、且つ該警報情報がＲＣＳシステムに送信される。倉庫ロケーションエリアにおける各ロケーションを検出する場合、カメラのロケーション割り当て構成テーブルを組み合わせて、各ロケーションに車両又は貨物があるか否かを判定する。カメラのロケーション割り当て構成テーブルは、上記撮像装置のロケーション割り当て構成テーブルの一種に属し、カメラ識別子とロケーションとの対応関係を含む。カメラ識別子は、カメラの製品シリアル番号などであってもよい。ロケーションに車両が現れた場合、車両が該ロケーションエリアから離れるまで、倉庫におけるスピーカーと指示ランプにより警報を行い、警報文字が監視システムの表示インタフェースに送信され、且つ該警報情報がＲＣＳシステムに送信される。倉庫ロケーションに貨物がある場合、まずは該ロケーションにおける貨物が全て前記ロケーションエリアに位置するか否かを判定し、貨物が全て前記ロケーション領域に位置していない場合、監視システムは表示インタフェースを介して警報してもよく、スピーカーと指示ランプにより警報してもよく、且つ貨物が安全な状態に置かれることを確保するために、該警報情報がＲＣＳシステムに送信される。該ロケーションに貨物が存在し、且つ貨物が全て前記ロケーションエリアに位置し、又は該ロケーションに貨物がない場合、フィルタリング回数を設定し、且つ今回の状態フィルタリング結果が前回の状態フィルタリング結果と一致するか否か、状態フィルタリングがフィルタリング回数に達したか否か、及びフィルタリング判定を行う過程に車両が現れたか否かをそれぞれ判定する。同一の連続的な状態フィルタリング結果が現れ、且つフィルタリング回数に達し、ロケーションエリアの周辺エリアに車両が存在し、且つロケーションエリアと車両との距離が距離閾値より大きい場合、又は、同一の連続的な状態フィルタリング結果が現れ、且つフィルタリング回数に達し、ロケーションエリアの周辺エリアに車両が現れない場合、ロケーション状態を変更し、且つロケーションの占有状態を記録する。該ロケーションに貨物が存在する場合、監視システムはロケーションにおける貨物情報を取得することによって貨物の種類情報を確定する。したがって、ロケーションに貨物が存在する場合、倉庫無人フォークリフトの動作を指示するために、監視システムはロケーションの占有状態及び貨物の種類情報を記録し、且つＲＣＳシステムに出力する。ロケーションに貨物がない場合、倉庫無人フォークリフトの動作を指示するために、監視システムは該ロケーションの占有状況を記録し、且つＲＣＳシステムに出力する。したがって、監視システムは各対象が所属するカテゴリに応じて各対象の状態を検出することができ、それにより倉庫ロケーションエリアにおける各ロケーションの在庫情報をタイムリーに取得し、ロケーション監視識別の精度を向上させることができる。
【0079】
本発明の技術案をより明確に理解するように、以下、より詳しい実施形態を提供して説明する。倉庫ロケーションを監視する時に、まずは監視システムの初期試験調整を行う。監視システムはコンピュータ装置と理解されてもよい。具体的には図８に示すように、カメラ（即ち、撮像装置）の取り付け及び調整を検出し、監視サーバ環境を構築する。そして、カメラの内部パラメータを校正し、且つスライスマップツールを用いて倉庫ロケーションエリアに対してロケーション分割を行う。さらに検出によって検出データを取得し、且つ検出データに対してデータの明確化、サンプルの均等化、データ表記、及びモデルトレーニングを行うことによってトレーニングされたカテゴリ検出モデルを取得する。さらに該モデルを導入し、テストプログラムを入力し、及び運行モデルを設定する。最後にＲＣＳシステムを監視システムに接続し、ドッキングテストを行い、ドッキングテストが完了した後、試験調整された監視システムを図１に示す応用環境に運用する。該収集された検出データは単独の人員、複数の人員、単独の車両、複数の車両、各角度及び位置における車両、有人フォークリフト、車両の近傍に人員がいること、単独の貨物、多種類の貨物（即ち、様々な種類の貨物、様々なピッチを有する貨物、様々な角度及び位置における貨物が存在する）、車両が貨物を搬送していること、貨物の傍に車両があること、車両が貨物を搬送しており且つ近傍に人がいること、貨物の近傍に人と車両があること、人がフォークリフトで操作すること、人がパレットで立つこと（パレットがある場合）などを含む。
【0080】
倉庫ロケーションエリの監視案について、具体的には図９に示すように、まずは監視システムにおける監視プログラムは撮像装置におけるロケーション検出カメラからビデオストリームを絶えずに取得し、コンピュータ装置は監視システムであってもよい。ビデオデータを画像処理モジュールに入力して処理を行うことによって目標画像を取得し、該画像処理モジュールは入力されたビデオデータに対して復号処理を行うことにとって、復号画像を取得し、さらに該復号画像における歪みを調整し、続いてダウンサンプリング処理を行い、計算量を減少させ、且つ原始素材のビデオストリームを保存する。目標画像をディープラーニング物体検出分類モジュールに入力して分類し、目標画像に現れる各対象が所属するカテゴリを取得する。まずはトレーニングされたカテゴリ検出モデルをロードし、さらに目標画像をカテゴリ検出モデルに入力してフォワード計算を行い、各対象が所属するカテゴリを取得する。各対象が所属するカテゴリを状態評価モジュールに入力し、取得されたロケーション貨物状態及び種類、倉庫ロケーションエリアの人員状態、倉庫ロケーションエリアの車両状態を状態結果とする。最後に状態結果は監視システムに記録され、且つ監視システムはＨＴＴＰ＋Ｊｓｏｎ＿ｒｐｃを介して、状態結果をＲＣＳシステム及びインタフェース表示システムに出力する。インタフェースプログラムが画像を取得するコマンドを送信する場合、ＨＴＴＰ＋Ｒｐｃｌｉｂを介して画像を監視システムの表示モジュールに入力することによって、倉庫ロケーションに対するリアルタイム監視が可能となり、さらに倉庫ロケーションに対する識別精度を向上させる。
【0081】
該インタフェース表示モジュール（即ち、インタフェースシステム）がネットワークを介して画像及び状態情報を伝送するため、インタフェースプログラムは、携帯性に優れ、ロケーション監視サーバ、クライアントのサーバ、タブレットコンピュータ等に配置されることができる。該インタフェース表示モジュールの表示プログラムを介して、撮像装置をクリックすることによって地図を概観し、又は、固定されたカメラ識別子番号を入力し、ある固定されたカメラを選択することによって画像をプレビューすることができる。且つ該インタフェース表示モジュールはさらに遠隔制御されることができ、配置の機能の一部を完了することができる。
【0082】
上記実施形態において、ビデオデータが監視システムにおけるロケーション監視インタフェース（即ち、インタフェース表示モジュール）、監視システムにおけるディープラーニングロケーション監視・感知モジュール、ＲＣＳシステムにおける流通状況については、具体的に図１０を参照する。図における双方向矢印はデータの双方向流通を代表し、Ｘｍｌ構成ロケーションテーブルはカメラのロケーション割り当て構成テーブルに対応し、即ち、各カメラの座標、内部パラメータと外部パラメータ、含まれるロケーション情報等を含む。ディープラーニングロケーション監視・感知モジュールは、監視システムに対応する。ロケーション監視インタフェースは、監視システムから出力される表示モジュールに対応する。ディープラーニングロケーション監視・感知モジュールはＪｓｏｎ＿ｒｐｃ及びＲｐｃｌｉｂを介して表示インタフェースと通信する。Ｊｓｏｎ＿ｒｐｃは共通インタフェースであり、インタフェースプログラムと通信し、ＲＣＳシステムと通信し、主にロケーション、人と車両の状態を伝送する。Ｊｓｏｎ＿ｒｐｃは画像を伝送することができないため、Ｒｐｃｌｉｂ Ｍｅｓｓａｇｅ ｐａｃｋを用いてインタフェースプログラムに画像を伝送する。
【0083】
ビデオデータが監視システムのロケーション監視インタフェース（即ち、インタフェース表示モジュール）、ディープラーニングロケーション監視・感知モジュール、ＲＣＳシステムにおける流通状況について、監視システムはコンピュータ装置と理解されてもよい。ロケーション監視インタフェースはまず視聴しようとするカメラ番号（即ち、撮像装置）をディープラーニングロケーション監視・感知モジュールに送信し、ディープラーニングロケーション監視・感知モジュールは画像をロケーション監視インタフェースに伝送する。インタフェースプログラムは感知モジュールを制御して校正、データ収集、ログ記録等の仕事を完成することができ、ｘｍｌロケーションテーブルを読み書きすることができる。ディープラーニングロケーション監視・感知モジュールとＲＣＳシステムとの間のデータも双方向に流通し、ディープラーニングロケーション監視・感知モジュールはＲＣＳシステムに状態を送信し、ＲＣＳシステムも単独で人員及び車両の位置を問い合わせることができ、又はディープラーニングロケーション監視・感知モジュールは更新及び初期化等を行わない。
【0084】
図２、図４～７、図９～１０のフロー図における各ステップは、矢印の指示に従って順次に表示されているが、必ずしも矢印で示す順で実行される必要はないと理解すべきである。本願明細書に明確な説明がない限り、これらのステップの実行は厳密な順序に制限されず、他の順序で実行されてもよい。それに、図２、図４～７、図９～１０における少なくとも一部のステップは、複数のステップ又は複数の段階を含むことができ、これらのステップ又は段階は必ずしも同じタイミングで実行して完了される必要はなく、異なるタイミングで実行されることができる。これらのステップ又は段階の実行順序も必ずしも順次に行われる必要はなく、他のステップ、又は、他のステップにおけるステップもしくは段階の少なくとも一部と順番に又は交互に実行されることができる。
【0085】
１つの実施形態において、図１１に示すように、取得モジュール１１０２、確定モジュール１１０４、検出モジュール１１０６及び送信モジュール１１０８を備える倉庫ロケーションの監視装置が提供されている。
【0086】
取得モジュール１１０２は、ロケーションエリアとロケーションエリアの周辺エリアとを含む倉庫ロケーションエリアのビデオデータを取得し、且つ該ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得するために用いられる。
【0087】
確定モジュール１１０４は、カテゴリ検出モデルに基づいて該目標画像を検出することによって、該目標画像に現れる各対象が所属するカテゴリを確定するために用いられる。前記カテゴリは人間、車両、及び貨物のうちの少なくとも１つを含む。
【0088】
検出モジュール１１０６は、該各対象が所属するカテゴリに基づいて、各対象の状態を検出することによって、検出結果を取得するために用いられる。該検出結果は人間が倉庫ロケーションエリアに入っているか否か、車両の状態情報、及びロケーション在庫情報のうちの少なくとも１つを含む。
【0089】
送信モジュール１１０８は、該検出結果を倉庫スケジューリングシステムに送信するために用いられ、前記検出結果は該倉庫スケジューリングシステムが該倉庫ロケーションエリアを監視するために用いられる。
【0090】
１つの実施形態において、該取得モジュール１１０２は、具体的には、
倉庫ロケーションエリアのビデオデータを取得すること、
該ビデオデータに対して復号処理を行うことにとって、ビデオデータに対応する復号画像を取得すること、
該復号画像に対して校正処理を行うことによって、校正画像を取得すること、
該校正画像をダウンサンプリング処理することによって、倉庫ロケーションエリアに対応する目標画像を取得こと、のために用いられる。
倉庫ロケーションエリアのビデオデータを取得すること、
該ビデオデータに対して復号処理を行うことにとって、ビデオデータに対応する復号画像を取得すること、
該復号画像に対して校正処理を行うことによって、校正画像を取得すること、
該校正画像をダウンサンプリング処理することによって、倉庫ロケーションエリアに対応する目標画像を取得こと、のために用いられる。
【0091】
１つの実施形態において、該確定モジュール１１０４は、具体的には、
前記カテゴリ検出モデルに基づいて、前記目標画像に対して特徴抽出を行うことによって、前記目標画像に対応する画像特徴を取得すること、
前記画像特徴に基づいて、前記目標画像に現れる各対象が所属するカテゴリを確定すること、のために用いられる。
前記カテゴリ検出モデルに基づいて、前記目標画像に対して特徴抽出を行うことによって、前記目標画像に対応する画像特徴を取得すること、
前記画像特徴に基づいて、前記目標画像に現れる各対象が所属するカテゴリを確定すること、のために用いられる。
【0092】
１つの実施形態において、該検出モジュール１１０６は、具体的には、
前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ該車両がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること、
前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、該ビデオデータにおけるロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理後のエリア画像に基づいてロケーション在庫情報を確定すること、
前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ該人間がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること、のために用いられる。
前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ該車両がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること、
前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、該ビデオデータにおけるロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理後のエリア画像に基づいてロケーション在庫情報を確定すること、
前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ該人間がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること、のために用いられる。
【0093】
１つの実施形態において、該検出モジュール１１０６は、
前記ロケーションエリアに貨物があると確定された場合、前記貨物が、前記貨物の全てが前記ロケーションエリアに位置する目標状態にあるか否かを判定すること、
前記貨物が目標状態にある場合、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＮ回行うことによって、状態フィルタリングの回数に対応するＮ個の第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定こと、
Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周囲に車両が存在し、且つ前記ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、前記Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周囲に車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ貨物に対応する貨物情報によって貨物の種類を確定こと、
前記ロケーションエリアの使用情報及び前記貨物の種類をロケーションエリアのロケーション在庫情報とすること、のために用いられる。前記Ｎは２以上の正の整数であり、前記Ｎ個の同一の連続的な第一の状態フィルタリング結果は、前記ロケーションエリアに貨物があることである。
前記ロケーションエリアに貨物があると確定された場合、前記貨物が、前記貨物の全てが前記ロケーションエリアに位置する目標状態にあるか否かを判定すること、
前記貨物が目標状態にある場合、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＮ回行うことによって、状態フィルタリングの回数に対応するＮ個の第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定こと、
Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周囲に車両が存在し、且つ前記ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、前記Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周囲に車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ貨物に対応する貨物情報によって貨物の種類を確定こと、
前記ロケーションエリアの使用情報及び前記貨物の種類をロケーションエリアのロケーション在庫情報とすること、のために用いられる。前記Ｎは２以上の正の整数であり、前記Ｎ個の同一の連続的な第一の状態フィルタリング結果は、前記ロケーションエリアに貨物があることである。
【0094】
１つの実施形態において、該検出モジュール１１０６は、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＮ回行うことによって、状態フィルタリングの回数に対応するＮ個の第一の状態フィルタリング結果を取得するために用いられる場合、具体的には、
前記ビデオデータに基づいて、ロケーションエリアを表すＮフレームのエリア画像を抽出すること、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記Ｎ個の第一の状態フィルタリング結果を取得すること、のために用いられる。
前記ビデオデータに基づいて、ロケーションエリアを表すＮフレームのエリア画像を抽出すること、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記Ｎ個の第一の状態フィルタリング結果を取得すること、のために用いられる。
【0095】
１つの実施形態において、該検出モジュール１１０６は、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＮ回行うことによって、状態フィルタリングの回数に対応するＮ個の第一の状態フィルタリング結果を取得するために用いられる場合、具体的には、
前記ビデオデータに基づいて、ロケーションエリアを表す現在のフレームのエリア画像を抽出すること、
前記現在のフレームのエリア画像に対して状態フィルタリングをＮ回行うことによって、前記Ｎ個の第一の状態フィルタリング結果を取得すること、のために用いられる。
前記ビデオデータに基づいて、ロケーションエリアを表す現在のフレームのエリア画像を抽出すること、
前記現在のフレームのエリア画像に対して状態フィルタリングをＮ回行うことによって、前記Ｎ個の第一の状態フィルタリング結果を取得すること、のために用いられる。
【0096】
１つの実施形態において、該検出モジュール１１０６は、さらに、Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、該ロケーションエリアの周辺エリアに車両が存在し、且つ該ロケーションエリアと車両との距離が距離閾値以下である場合、前記ロケーションエリアの使用情報の確定を停止することのために用いられる。
【0097】
１つの実施形態において、前記倉庫ロケーションの監視装置は、警報モジュール１１１０をさらに含む。警報モジュール１１１０は、Ｎ個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと車両との距離が距離閾値以下である場合、警報情報を生成するために用いられる。
【0098】
１つの実施形態において、該検出モジュール１１０６は、さらに
前記ロケーションエリアに貨物がないと確定された場合、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＭ回行うことによって、状態フィルタリングの回数に対応するＭ個の第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定すること、
Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、前記Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ前記使用情報を前記ロケーションエリアのロケーション在庫情報とすること、のために用いられる。前記Ｍは２以上の正の整数であり、前記Ｍ個の同一の連続的な第二の状態フィルタリング結果は、前記ロケーションエリアに貨物がないことである。
前記ロケーションエリアに貨物がないと確定された場合、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＭ回行うことによって、状態フィルタリングの回数に対応するＭ個の第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定すること、
Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、前記Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ前記使用情報を前記ロケーションエリアのロケーション在庫情報とすること、のために用いられる。前記Ｍは２以上の正の整数であり、前記Ｍ個の同一の連続的な第二の状態フィルタリング結果は、前記ロケーションエリアに貨物がないことである。
【0099】
１つの実施形態において、該検出モジュール１１０６は、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＭ回行うことによって、状態フィルタリングの回数に対応するＭ個の第二の状態フィルタリング結果を取得するために用いられる場合、具体的には、
前記ビデオデータに基づいて、ロケーションエリアを表すＭフレームのエリア画像を抽出すること、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記Ｍ個の第二の状態フィルタリング結果を取得すること、のために用いられる。
前記ビデオデータに基づいて、ロケーションエリアを表すＭフレームのエリア画像を抽出すること、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記Ｍ個の第二の状態フィルタリング結果を取得すること、のために用いられる。
【0100】
１つの実施形態において、該検出モジュール１１０６は、Ｍ個の同一の連続的な第二の状態フィルタリング結果を取得するために用いられる場合、具体的には、
前記Ｍ個の第二の状態フィルタリング結果における任意の２つの隣接するフレームのエリア画像に対応するフィルタリング結果の照合が完了するまで、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することにより、Ｍ個の連続的な第二の状態フィルタリング結果を取得すること、
Ｍ個の第二の状態フィルタリング結果が同じである場合、同一の連続的なＭ個の第二の状態フィルタリング結果を取得すること、のために用いられる。
前記Ｍ個の第二の状態フィルタリング結果における任意の２つの隣接するフレームのエリア画像に対応するフィルタリング結果の照合が完了するまで、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することにより、Ｍ個の連続的な第二の状態フィルタリング結果を取得すること、
Ｍ個の第二の状態フィルタリング結果が同じである場合、同一の連続的なＭ個の第二の状態フィルタリング結果を取得すること、のために用いられる。
【0101】
１つの実施形態において、該検出モジュール１１０６は、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをＭ回行うことによって、状態フィルタリングの回数に対応するＭ個の第二の状態フィルタリング結果を取得するために用いられる場合、具体的には、
前記ビデオデータに基づいて、ロケーションエリアを表す現在のフレームのエリア画像を抽出すること、
前記現在のフレームのエリア画像に対して状態フィルタリングをＭ回行うことによって、前記Ｍ個の第二の状態フィルタリング結果を取得すること、のために用いられる。
前記ビデオデータに基づいて、ロケーションエリアを表す現在のフレームのエリア画像を抽出すること、
前記現在のフレームのエリア画像に対して状態フィルタリングをＭ回行うことによって、前記Ｍ個の第二の状態フィルタリング結果を取得すること、のために用いられる。
【0102】
１つの実施形態において、前記倉庫ロケーションの監視装置は、トレーニングモジュール１１１２をさらに含む。
【0103】
検出データを収集し、前記検出データは複数のシーンに対応する画像データを含み。前記複数のシーンは、単独の人員、複数の人員、単独の車両、複数の車両、各角度及び位置における車両、有人フォークリフト、車両の近傍に人員がいること、単独の貨物、多種類の貨物、車両が貨物を搬送していること、貨物の傍に車両があること、車両が貨物を搬送しており且つ近傍に人がいること、貨物の近傍に人と車両があること、人がフォークリフトで操作すること、人がパレットで立つことを含む。トレーニングされたカテゴリ検出モデルを取得するために、検出データに基づいてカテゴリ検出モデルをトレーニングする。
【0104】
倉庫ロケーションの監視装置に対する具体的な限定については、前文における倉庫ロケーションの監視方法に対する限定を参照することができ、ここでは説明を省略する。上記倉庫ロケーションの監視装置における各モジュールの全部又は一部は、ソフトウェア、ハードウェア及びその組み合わせによって実現されることができる。プロセッサが上記各モジュールに対応する操作を呼び出して実行しやすくするように、上記各モジュールは、ハードウェアの形でコンピュータ装置におけるプロセッサに埋め込まれ又は独立してもよく、ソフトウェアの形でコンピュータ装置におけるメモリに記憶されてもよい。
【0105】
１つの実施形態において、コンピュータ装置が提供される。該コンピュータ装置はサーバであってもよく、その内部構造図は図１２に示されている。このコンピュータ装置は、システムバスを介して接続されているプロセッサと、メモリと、ネットワークインタフェースとを含む。該コンピュータ装置のプロセッサは、計算及び制御能力を提供するために用いられる。該コンピュータ装置のメモリは、オペレーティングシステム、コンピュータプログラム及びデータベースが記憶されている不揮発性記憶媒体と、不揮発性記憶媒体におけるオペレーティングシステムやコンピュータプログラムの実行環境を提供する内部メモリとを含む。該コンピュータ装置のデータベースは、倉庫ロケーションの監視データを記憶するために用いられる。該コンピュータ装置のネットワークインタフェースはネットワーク接続を介して外部の端末と通信するために用いられる。該コンピュータプログラムはプロセッサによって実行されると、倉庫ロケーションの監視方法を実行する。
【0106】
当業者であれば、以下のことを理解できる。図１２に示す構造は、本願発明に関連する一部の構造のブロック図にすぎず、本願発明が適用されるコンピュータ装置を限定するものではない。具体的なコンピュータ装置は図示される部品より多い又は少ない部品を含み、又はいくつかの部品を組み合わせ、又は異なる部品配置を有することができる。
【0107】
１つの実施形態において、コンピュータプログラムが記憶されたメモリと、プロセッサとを含むコンピュータ装置が提供される。該プロセッサがコンピュータプログラムを実行すると、前記各方法実施形態におけるステップを実現する。
【0108】
１つの実施形態において、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体が提供される。該コンピュータプログラムがプロセッサによって実行されると、前記各方法実施形態におけるステップを実現する。
【0109】
当業者であれば、以下のことを理解できる。上記実施形態の方法における全部又は一部のフローを実現するには、コンピュータプログラムによって関連するハードウェアを指示して完了することができ、前述したコンピュータプログラムは不揮発性コンピュータ読み取り可能な記憶媒体に記憶されることができる。該コンピュータプログラムが実行される際に、上記各方法の実施形態のフローを含むことができる。本発明に係る各実施形態に用いられるメモリ、記憶、データベース又は他の媒体への任意の引用は、いずれも不揮発性メモリ及び揮発性メモリのうちの少なくとも１つを含むことができる。不揮発性メモリとしては、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、磁気テープ、フロッピーディスク、フラッシュメモリ、光メモリ等を含むことができる。揮発性メモリとしては、ランダム・アクセス・メモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）又は外部高速キャッシュ・メモリを含むことができる。限定ではなく説明として、ＲＡＭは様々な形態であってもよく、例えば、スタティックＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）又はダイナミックＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）等が挙げられる。
【0110】
上記実施形態の各技術特徴は任意に組み合わせられることができる。説明を簡潔にするために、上記実施形態における各技術特徴の全ての可能な組み合わせについて説明していないが、これらの技術的特徴の組み合わせが矛盾しない限り、本願明細書に記載の範囲であると考えられるべきである。
【0111】
上述した実施形態は本願発明のいくつかの実施形態を表現したのにすぎず、その説明は具体的で詳細であるが、それにより発明特許の範囲を限定するものであると解釈してはならない。なお、当業者であれば、本願発明の思想から逸脱することなく、いくつかの変形及び改良を行うことができ、これらはいずれも本願発明の保護範囲に属する。したがって、本願発明の特許の保護範囲は添付の請求項に準じるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】